CN1327345A - 用运动预测和块效应过滤进行视频源编码 - Google Patents

用运动预测和块效应过滤进行视频源编码 Download PDF

Info

Publication number
CN1327345A
CN1327345A CN01120822A CN01120822A CN1327345A CN 1327345 A CN1327345 A CN 1327345A CN 01120822 A CN01120822 A CN 01120822A CN 01120822 A CN01120822 A CN 01120822A CN 1327345 A CN1327345 A CN 1327345A
Authority
CN
China
Prior art keywords
image
benchmark
block
effect filtering
block effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01120822A
Other languages
English (en)
Other versions
CN1206871C (zh
Inventor
内丁·阿塞夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel CIT SA
Alcatel Lucent SAS
Alcatel Lucent NV
Original Assignee
Alcatel NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel NV filed Critical Alcatel NV
Publication of CN1327345A publication Critical patent/CN1327345A/zh
Application granted granted Critical
Publication of CN1206871C publication Critical patent/CN1206871C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种视频源编码格式,尤其适用于通过信道以低的比特率和高的错误率进行传输,例如无线传输信道。它提出使用具有运动预测的块编码,并使用多个基准图像。基准图像用于块效应过滤。在对图像进行编码时选择基准图像。通过使用多个基准图像,本发明限制发送信道时间传播错误。由于诸基准图像被进行块效应过滤,独立于块编码造成的本质错误校正传输定时错误。

Description

用运动预测和块效应过滤进行视频源编码
本发明涉及编码，尤其涉及用于无线传输的视频源编码。
无线传输的特征在于相对低的传输比特率和高的错误率。当关注传输比特率时，低的比特率意味着低于100kbit/s的比特率值，例如GSM信道为14kbit/s。高的错误率意味着高于10-6或甚至高于10-4的错误率。
ITU-T H.263+标准提出用于视频源编码的方案。该标准包括一个必须的公共部分和除了标准的公共部分外可以实现的可选附件集。该标准未指出关于所获取的图像质量或在某个环境中应用的附件的组合，尤其是无线传输中。由于低的可用传输比特率和错误率，实现所有的附件产生了一个难于应用于无线传输的系统。
H.263+标准的公共部分提出了用预测进行块编码。在图像序列中对图像进行区分，即分为完整发送的图像(称为“1”图像)，没有完全传输但从一个在前的图像进行预测的图像(称为“p”图像)，及没有完全传输，但是从一个在前的图像和一个随后的图像预测的图像，编码处理使用下面的步骤对包括块或由多个块组成的宏块的图像进行编码，通常这些块中六个块中的四个是亮度块，两个是色度块：
-估计每个图像的诸块或诸宏块的运动，
-相对于一个基准图像进行运动补偿预测，及
-通常通过用压缩编码进行传输编码(包括离散余弦变换(DCT)，量化和可变长度编码(VLC))。
译码处理使用与重新组成每个图像相反的步骤。
标准的附件J提出了块效应问题的解决方案。在块编码中，对像素块进行处理可以导致在从一个块移动到另一个块时像素值的突然变化。然后对应于块的方块出现在发送的图像上。附件J提出在编码循环中使用一个块边缘过滤器来限制块效应。过滤应用到由8×8像素形成的块的边缘。来自每个块的边缘的像素被过滤；对于一个垂直边缘的诸像素，附件J提出对四个相邻的水平像素进行过滤的例子，并且对于一个水平边缘的诸像素对四个相邻的垂直像素进行过滤的例子。过滤器函数是三角形。
在附件J中提出的方法所获得的去除块边滤的评价效果实质上是有质量的。其目的是使块效应对人眼来说不可察觉。在数量的角度，这对应于限制图像的高频成分或相邻像素的值之间的差分。
标准的附件N提出使用多个基准图像(存储图像)进行图像预测。它提出，在编码器中，从可用的图像中选择一个存储图像以优化编码质量。选择用于预测编码的存储图像被发送到译码器，它使用适当的存储图像作为从编码器接收的指令函数。在附件N中提出的解决方案防止了时间错误的传播。
本发明提出了解决无线传输系统的视频质量问题的方案。它尤其提出了解决由块编码导致的块人工制品或块效应的方案。它改善了图像质量；独立于该图像质量的改善，本发明限制了与传输相关的问题。
更确切的，本发明提出了进行运动预测的图像块编码方法，在编码一个图像时使用多个基准图像，它们经过块效应过滤及，从所述基准图像中选择一个基准图像。
本发明还提供一种具有运动预测的图像块编码系统，具有一个运动估计器，它接收要被编码的图像，及提供运动矢量，一个运动补偿预测器，它接收运动矢量及一个基准图像，并且提供一个估计图像，一个基准图像存储器，存储至少两个基准图像，并且将所述基准图像的一个提供给所述预测器，及一个块效应过滤器，用于在基准图像存储在基准图像存储器之前从基准图像中过滤块效应。
本发明还提供一种具有运动预测的图像块译码的方法，包括从已经经过块效应过滤的多个已接收的参考图像中所选择的基准图像重新组成一个发送图像。
本发明的一个实施例向重新组成的图像应用块效应过滤。
本发明进一步提供一种具有运动预测的图像块译码方法，包括一个译码器，它提供运动矢量及要重新组成的图像与一个估计图像之间的差分，一个运动补偿预测器，它接收运动矢量及一个基准图像并提供一个估计图像，一个基准图像存储器，存储至少两个基准图像并向所述预测器提供所述基准图像的一个，及一个块效应过滤器，用于在基准图像存储在基准图像存储中之前过滤基准图像中的块效应。
本发明的一个实施例包括一个加法器，接收所述差分和所述估计的图像，并向所述块效应过滤器提供一个重新组成的图像。
本发明提供一种块编码传输方法，具有运动预测，包括：
在编码时，使用已经经过块效应过滤的多个基准图像，及在编码要发送的图像时从所述基准图像选择一个基准图像，及
在译码时，从已经经过块效应过滤的所接收的多个基准图像中选择的一个基准图像重新组成所发送的图像。
在一个实施例中，用具有高的错误率的低的比特率进行传输。
该方法的另一个实施例中，包括对重新组成的图像应用块效应过滤。
本发明最后提供一种具有运动预测的块编码发送系统，包括上述部分的编码系统和上述部分的译码系统。
通过以下关于本发明实施例的描述将新更清楚地了解本发明的特征和优点，这是通过参考附图来描述的。
图1是示出根据本发明的预测编码系统的框图，及
图2是示出根据本发明的译码系统的框图。
图1提出使用块边缘过滤及在H.263+标准中提出的预测块编码系统中的多个存储帧。并且在H.263+标准的附件J和N中提出的解决方案与在标准的必须部分中设置的系统组合起来。本发明的优点尤其在于在再生的图像被存储在图像存储器中之前过滤块效应。从而由编码引起的块效应被压制，并且使用多个存储图像限制了传播时间错误。
图1是示出根据本发明的预测编码系统的框图，它使用多个基准存储图像。在编码系统的输入处的视频图像被应用到运动估计器2及减法器4的输入端。运动估计器提供对相对于在前图像的一个图像的诸块或诸宏块的运动估计；可以使用8×8像素块或宏块，其中包括六个块，其中有四个为亮度块，两个为色度块，如在标准中提出的那样。诸块的诸运动矢量被发送到运动补偿预测器6。为了估计目的，预测器还在其输入端从一个基准图像存储器8接收一个基本图像。如在标准的附件N中所提出的，基准图像存储器包含多个基准图像，并且相对于基准图像的一个进行运动补偿预测。更具体的，基准图像存储器包含多个存储的图像及一个开关，用于将诸图像的一个提供给差量补偿预测器。可以作为一个不同基准的函数控制开关，例如再生图像的质量或要发送的信息数量，进行选择的原则在本技术领域中已知。相似的，并且也是本领域中已知的，使用的图像从编码系统发送到选择系统。在编码系统的命令中在译码系统中也更新基准图像。
根据本发明，处理存储在基准图像存储器中的诸基准图像来在它们被存储之前消除块效应，如图1中的11及下面更详细的解释。
运动补偿预测器提供基于基准图像和运动矢量的估计图像，应用于减法器4的减法输入和加法器10的输入。
然后减法器接收输入视频图像和基于包含在基本图像存储器中的参考图像的估计图像。估计的图像被从视频图像中减去，并且结果被送入压缩编码器12的输入端，典型的是一个离散余弦变换编码器。接着在量化器14中执行量化，最好用可变量化步骤。量化器14的输出被应用到可变长度编码器16及量化反相器18，反相器执行相反操作。由译码器12应用的变换的相反操作被应用在量化反相器的输出20上。在编码反相器20的输出端获得如在图2所示的译码系统的接收后再生的并且没有传输错误的重新组成的输入图像和估计图像的差分。该差分被馈入加法器10的输入端。然后加法器10向基准图像存储器输出一个基准图像(可以在译码系统接收后获得的图像)，该基准图像可能被传输错误所影响。
可变长度编码器接收编码器14的输出和运动估计器2的输出，换句话说，是输入图像和估计图像之间的差分及运动矢量。在通过信道发送之前，VLC的输出被馈入视频缓冲器22；当然，视频信号在发送之前可以与音频或其它信号多路复用；这是现有技术，对本发明的功能没有影响。如果量化步骤可变，在缓冲器中的信息数量可以使用以控制量化步骤，如图1中箭头把缓冲器22与量化器14连接起来所示。
在根据图1所示的发明的系统中，处理对于限制存储在基准图像存储器中的基准图像的边缘效应是有效的。在该图所示的实施例中，在基准图像被存储在基准图像存储器中之前，该处理立即被应用到加法器10的输出11。用于预测编码的基准图像然后不会有(很少有)由通过使用块来估计运动所造成的错误。即标准的附件N的解决方案(从几个基准图像中进行选择)现在仅能减少传输信道错误，而不是编码处理中固有的错误。
图2是示出根据本发明的译码系统的图。该译码系统接收在输入缓冲器30中以低的比特率通过信道发送的信息。所接收的信息被传送给可变长度译码器32，它的功能是执行图1系统中可变长度编码器的反向操作。可变长度译码器32提供运动矢量，它们被馈入运动补偿预测器34，并且将输入图像与估计图像之间的差分馈入量化反相器36，与图1所示的反相器18类似，并且馈入反相器38中，与图1中的反相器20类似。
运动补偿器从基准图像存储器40接收基准图像。如图1存储器所示，基准图像存储器包含多个基准图像并且一个开关将诸基准图像中的一个馈入运动补偿预测器34。如上所示，开关(基准图像选择器)可以被作为从图1的编码系统通过输入信道接收的信息的函数来控制。其它的解决方案可能是例如基于与在编码系统中应用的那些相似的选择规则的译码系统中的本地应用的方案：对于被正确重新组成的发送的图像，唯一重要的是在译码系统中的基准图像选择处理与在编码系统中基准图像选择处理相同。运动补偿预测器从运动矢量和基准图像产生估计图像，它被馈入加法器42。
加法器42接收由运动补偿预测器提供的估计图像及由反相器38提供的估计图像与参考图像的差分。它在其输出端产生重新组成的图像。
然后可以显示那个图像。也可以作为基准图像存储和使用。在该例中，它被传送到与图1的设备11类似的块效应限制处理设备44中。然后基准图像存储器40包含忽略了传输错误并且与在图像系统的基准图像存储器8中包含的那些相同的基准图像。
在图2的实施例中，在基准图像输出端获得显示图像。这确保所显示的图像已经经过了边缘效应限制44。注意，对于显示的图像进行该处理不是不可缺少的，但是由于基准图像进行该处理。不用说对于显示的图像也进行边缘效应限制处理的优点是：在图2的系统中表示必要的装置，并且应用该处理仅可改善显示的图像的质量。
上述描述仅涉及如何在编码系统或译码系统中选择基准图像。本领域中已知方案也可用于该目的。
相似的，仅顺便提及边缘效应限制处理的特征。处理可以是在H263+标准的附件J中提供的类型。更普遍的，可以使用其它方案，例如通过改变过滤所应用的像素数，仅应用水平过滤，仅应用垂直过滤，或使用在附件J中未提出的过滤器函数。总之如上所示，在块效应不为用户所察觉的程度上高质量地访问过滤结果。
本发明改善了视频编码的质量，并且尤其用于以低的比特率和高的错误率进行的传输；它不对编码器的结构进行很大改动：所有在H263+标准的公共部分所提出的与编码器相关的部件提供存储多个基准图像的能力及执行块效应处理的计算装置。在译码器中需要相似装置。
当然，本发明不限于上述实施例，对于本领域技术人员来讲可以有许多变化。因此可以改变图1中的编码，量化和信道编码处理12，14和16，或图2中的相反处理38，36和32。本发明不仅涉及对图1和图2分别所示的编码系统和译码系统的组合，而且它们每一个可以单独进行参考。相似的，本发明不仅涉及进行编码和译码的传输处理，也涉及分别考虑的编码处理和译码处理。

Claims (11)

1.一种具有运动预测的图像块编码方法，在编码一个图像时使用多个基准图像，它们经过块效应过滤及，从所述基准图像中选择一个基准图像。
2.一种具有运动预测的图像块编码系统，具有一个运动估计器，它接收要被编码的图像，及提供运动矢量，一个运动补偿预测器，它接收运动矢量及一个基准图像，并且提供一个估计图像，一个基准图像存储器，存储至少两个基准图像，并且将所述基准图像的一个提供给所述预测器，及一个块效应过滤器，用于在基准图像存储在基准图像存储器之前从基准图像中过滤块效应。
3.一种具有运动预测的图像块译码方法，包括从已经经过块效应过滤的多个已接收的参考图像中所选择的基准图像重新组成一个发送图像。
4.根据权利要求3的方法，其中向重新组成的图像应用块效应过滤。
5.一种具有运动预测的图像块译码方法，包括一个译码器，它提供运动矢量及要重新组成的图像与一个估计图像之间的差分，一个运动补偿预测器，它接收运动矢量及一个基准图像并提供一个估计图像，一个基准图像存储器，存储至少两个基准图像并向所述预测器提供所述基准图像的一个，及一个块效应过滤器，用于在基准图像存储在基准图像存储中之前过滤基准图像中的块效应。
6.根据权利要求5的系统，包括一个加法器，接收所述差分和所述估计的图像，并向所述块效应过滤器提供一个重新组成的图像。
7.一种块编码传输方法，具有运动预测，包括：
在编码时，使用已经经过块效应过滤的多个基准图像，及在编码要发送的图像时从所述基准图像选择一个基准图像，及
在译码时，从已经经过块效应过滤的所接收的多个基准图像中选择的一个基准图像重新组成所发送的图像。
8.根据权利要求7的方法，其中用具有高的错误率的低的比特率进行传输。
9.根据权利要求7的方法，包括对重新组成的图像应用块效应过滤。
10.一种具有运动预测的块编码发送系统，包括根据权利要求2的编码系统和权利要求5的译码系统。
11.一种具有运动预测的块编码发送系统，包括根据权利要求2的编码系统和根据权利要求6的译码系统。
CNB011208228A 2000-05-29 2001-05-29 具有运动预测的图像块编码、译码方法和系统 Expired - Fee Related CN1206871C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0006841A FR2809572B1 (fr) 2000-05-29 2000-05-29 Codage video de source avec prediction du mouvement et filtrage des effets de blocs
FR0006841 2000-05-29

Publications (2)

Publication Number Publication Date
CN1327345A true CN1327345A (zh) 2001-12-19
CN1206871C CN1206871C (zh) 2005-06-15

Family

ID=8850720

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011208228A Expired - Fee Related CN1206871C (zh) 2000-05-29 2001-05-29 具有运动预测的图像块编码、译码方法和系统

Country Status (5)

Country Link
US (1) US20010046265A1 (zh)
EP (1) EP1161101A1 (zh)
JP (1) JP2002027485A (zh)
CN (1) CN1206871C (zh)
FR (1) FR2809572B1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371585B (zh) * 2006-01-09 2014-07-30 汤姆森特许公司 提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2339854A3 (en) * 2001-11-30 2013-11-13 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
AU2002357828A1 (en) * 2001-12-14 2003-06-30 The Texas A And M University System System for actively controlling distributed applications
FR2834178A1 (fr) * 2001-12-20 2003-06-27 Koninkl Philips Electronics Nv Procede de decodage de signaux video codes
US7084929B2 (en) * 2002-07-29 2006-08-01 Koninklijke Philips Electronics N.V. Video data filtering arrangement and method
US7808937B2 (en) 2005-04-07 2010-10-05 Rambus, Inc. Variable interference cancellation technology for CDMA systems
MXPA06002211A (es) * 2003-08-26 2006-05-19 Thomson Licensing Metodo y aparato para reducir al minimo el numero de imagenes de referencia utilizadas para inter-codificacion.
JP4417919B2 (ja) 2006-03-31 2010-02-17 株式会社東芝 画像符号化装置及び画像復号化装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5369449A (en) * 1991-11-08 1994-11-29 Matsushita Electric Industrial Co., Ltd. Method for predicting move compensation
GB9401989D0 (en) * 1994-02-02 1994-03-30 British Broadcasting Corp Video motion estimation
US6091460A (en) * 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
US6188799B1 (en) * 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
US6370276B2 (en) * 1997-04-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
EP0940989A3 (en) * 1998-03-02 2003-10-29 Nippon Telegraph and Telephone Corporation Video communication system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371585B (zh) * 2006-01-09 2014-07-30 汤姆森特许公司 提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置

Also Published As

Publication number Publication date
CN1206871C (zh) 2005-06-15
JP2002027485A (ja) 2002-01-25
US20010046265A1 (en) 2001-11-29
EP1161101A1 (fr) 2001-12-05
FR2809572A1 (fr) 2001-11-30
FR2809572B1 (fr) 2002-08-16

Similar Documents

Publication Publication Date Title
KR100312603B1 (ko) 영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법
US7929608B2 (en) Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
EP2262269B1 (en) Skip macroblock coding
US7876829B2 (en) Motion compensation image coding device and coding method
US7688894B2 (en) Scan patterns for interlaced video content
JP3856262B2 (ja) 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
US8077769B2 (en) Method of reducing computations in transform and scaling processes in a digital video encoder using a threshold-based approach
RU2162280C2 (ru) Устройство компрессии с дифференциальной импульсно-кодовой модуляцией
US20120093236A1 (en) Deblocking filter
EP2150061A1 (en) Video encoding device, video encoding method, and video encoding program
WO2005017699A2 (en) Method and apparatus for selection of scanning mode in dual pass encoding
EP1134981A1 (en) Automatic setting of optimal search window dimensions for motion estimation
CN1149853C (zh) 带有运动补偿的编码和译码装置
KR100196838B1 (ko) 블럭벌 상관 관계에 의한 부호화 장치
WO2006074043A2 (en) Method and apparatus for providing motion estimation with weight prediction
CN1206871C (zh) 具有运动预测的图像块编码、译码方法和系统
EP1720356A1 (en) A frequency selective video compression
CN1166208C (zh) 代码转换方法和设备
GB2585067A (en) Image data encoding and decoding
KR100207396B1 (ko) 영상부호기의 에러 보정방법
KR0178225B1 (ko) 영상기기의 부호화장치
JPH09289642A (ja) ビデオ信号符号化方法、ビデオ信号復号化方法及び装置
KR0174959B1 (ko) 초저속 전송을 위한 동영상부호화 장치
JP5298487B2 (ja) 画像符号化装置、画像復号化装置、および画像符号化方法
US8358694B2 (en) Effective error concealment in real-world transmission environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee