CN1669326A - 使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码 - Google Patents

使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码 Download PDF

Info

Publication number
CN1669326A
CN1669326A CNA038167719A CN03816771A CN1669326A CN 1669326 A CN1669326 A CN 1669326A CN A038167719 A CNA038167719 A CN A038167719A CN 03816771 A CN03816771 A CN 03816771A CN 1669326 A CN1669326 A CN 1669326A
Authority
CN
China
Prior art keywords
frame
group
zone
partial decoding
wavelet coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038167719A
Other languages
English (en)
Inventor
D·图拉加
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1669326A publication Critical patent/CN1669326A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种用于编码一组视频帧的方法和设备。按照本发明，组中的第一数目帧根据多个帧被运动补偿时间滤波。组中的第二数目帧根据单个参考帧被运动补偿时间滤波。第一和第二数目帧被变换为小波系数。此外，小波系数被熵编码。在一个实例中，第一数目帧位于组的第一部分内，而第二数目帧位于组的第二部分内。在另一实例中，第一数目帧和第二数目帧在组内交织。

Description

使用根据单个和多个参考帧的 运动补偿滤波的基于小波的编码
本申请要求2002年4月29日提交的U.S.临时申请序号NO.60/376,381和2002年7月15日提交的U.S.临时申请序号NO.60/395,921的权益，它们的教导在此引用以作参考。
本申请涉及与此同时提交的标题为“Motion CompensatedTemporal Filtering Based On Multiple Reference Frames ForWavelet Based Coding(用于基于小波的编码的、根据多个参考帧的运动补偿时间滤波)”的U.S.申请序号NO._________和标题为“Scalable Wavelet Based Coding Using Motion CompensationTemporal Filtering Based On Multiple Reference Frames(使用根据多个参考帧的运动补偿时间滤波的可缩放的基于小波的编码)”的U.S.申请序号NO._________。
本发明总体涉及视频压缩，更详细地，涉及利用既根据单个参考帧又根据多个参考帧的运动补偿时间滤波的基于小波的编码。
许多目前的视频编码算法都基于被认为是混合方案的运动补偿预测编码。在这种混合方案中，使用运动补偿减少时间冗余，而通过变换编码运动补偿的残留来减少空间冗余。通常使用的变换包括离散余弦变换(DCT)或子带/小波分解。但是这种方案在提供真正可缩放比特流方面缺乏灵活性。
称为基于3D子带/小波(下文中“3D小波”)的编码的另一类方案已经获得普及，特别是在当前通过不同类网络的视频传输的情况中。这些方案在这样的应用中是所希望的，因为提供了非常灵活的可缩放比特流和更高的错误恢复力。在3D小波编码中，与在基于DCT的编码中那样逐块地变换不同，每次变换整个帧。
3D小波方案的一个组成部分是运动补偿时间滤波(MCTF)，其被执行以用于减少时间冗余。MCTF的一个例子在Seung-Jong Choi和John Woods的标题为“Motion-Compensated 3-D Subband Coding ofVideo(视频的运动补偿3D子带编码)”(IEEE Transactions On ImageProcessing，卷8，No.2，1999年2月)的文章中描述，在下文中称为“Woods”。
在Woods中，在执行空间分解之前沿运动方向对帧进行时间滤波。在时间滤波期间，由于场景中运动的性质和对象的覆盖/不覆盖的原因，有些像素要么不被参考，要么被多次参考。这种像素被称为不连接像素，并需要特别处理，这导致编码效率的降低。不连接和连接像素的例子在图1中示出，其来自Woods。
本发明涉及一种用于编码一组视频帧的方法和设备。按照本发明，该组中的第一数目的帧根据多个帧被运动补偿时间滤波。该组中的第二数目的帧根据单个参考帧被运动补偿时间滤波。第一和第二数目的帧被变换为小波系数。此外，小波系数被熵编码。在一个实例中，第一数目的帧位于该组的第一部分内，而第二数目的帧位于该组的第二部分内。在另一实例中，第一数目的帧和第二数目的帧在该组内交织。
本发明还涉及一种解码包括一组用于编码视频帧的比特流的方法和设备。按照本发明，比特流被熵解码来产生小波系数。小波系数被变换为一组部分解码的帧。第一数目的部分解码帧被使用多个参考帧逆时间滤波。第二数目的部分解码帧被使用单个参考帧逆时间滤波。在一个实例中，第一数目的部分解码帧位于该组的第一部分内，而第二数目的帧位于该组的第二部分内。在另一实例中，第一数目的部分解码帧和第二数目的部分解码帧在该组内交织。
现在参考附图，相同的附图标记始终表示相应的部分：
图1是说明已知运动补偿时间滤波技术情况的图；
图2是按照本发明的编码器的一个示例的框图；
图3是说明2D小波变换的一个示例的框图；
图4是说明按照本发明的时间滤波的一个示例的图；
图5是说明按照本发明的时间滤波的另一个示例的图；
图6是按照本发明的解码器的一个示例；和
图7是按照本发明的系统的一个示例。
如前所述，3D小波方案的一个组成部分是运动补偿时间滤波(MCTF)，其被执行以用于减少时间冗余。在MCTF期间，不连接像素会导致需要特别处理，这会使得编码效率降低。本发明致力于在运动估计和时间滤波期间既使用单个参考帧又使用多个参考帧的MCTF方案。为了通过改善匹配质量来改善编码效率，以及减少不连接像素数目，希望使用多个参考帧。此外，单个和多个参考帧的使用可以根据希望的编码效率自适应地选择。
按照本发明的编码器的一个实例在图2中示出。如可看到的，编码器包括分割单元2，用于将输入视频划分为作为一个单元编码的图像组(GOP)。按照本发明，分割单元2起作用从而使得GOP包括预定数目的帧或者是根据例如带宽、编码效率和视频内容之类的参数在工作期间动态地确定。例如，如果视频由快速场景变化和高速运动组成，较短的GOP更有效，而如果视频主要地由固定的对象组成，则较长的GOP更有效。
如可看到的那样，还包括MCTF单元4，它由运动估计单元6和时间滤波单元8构成。如前所述，本发明涉及既使用单个参考帧又使用多个参考帧的MCTF。因此，在工作期间，运动估计单元6将特定帧的区域与相同GOP中的另一帧的区域或多个帧的区域匹配。单个或多个参考帧的使用可以以预定方式执行，或者可以根据希望的编码效率自适应地选择。
对于根据多个参考帧的运动补偿，由运动估计单元6处理的帧将被定义为H帧。此外，GOP中的多个帧将不被运动估计单元6处理，它们被定义为A帧。每个GOP中A帧的数目会因为许多因素而变化。首先，每个GOP中的第一或最后一帧可以是A帧，这由是使用前向、后向还是双向预测来决定。此外，为了提供时间可缩放性，每个GOP中的多个帧可以被选择作为A帧。该选择可以以任意间隔进行，例如每隔一帧、每隔两帧、每隔三帧……等等。
A帧的使用使得按照本发明编码的视频能够是时间可缩放的。因为A帧是独立编码的，视频能够以较低帧速率高质量地解码。此外，根据哪些帧没有被选择来由运动估计单元6处理，A帧可以以任意间隔被插入GOP中，这使得视频能够以任意帧速率被解码，例如二分之一、三分之一、四分之一……等等。此外，A帧的使用限制了预测漂移，因为这些帧没有参考任何其它帧来编码。
在一个实例中，运动估计单元6将根据多个参考帧执行后向预测。因此，将GOP的一个或多个帧中的像素组或区域与相同GOP的先前帧中的类似像素组或区域相匹配。在该实例中，GOP中的先前帧是所处理的每个帧的参考帧。因为该实例中使用后向预测，GOP中的第一帧可以是A帧，因为没有先前帧可用。但是，替换地，在另一实例中，第一帧可以被前向预测。
在另一实例中，运动估计单元6将根据多个参考帧执行前向预测。因此，将GOP的一个或多个帧中的像素组或区域与相同GOP的后续帧中的类似像素组或区域相匹配。在该实例中，GOP中的后续帧是所处理的每个帧的参考帧。因为该实施例中使用前向预测，GOP中的最后一帧可以是A帧，因为没有后续帧可用。但是，替换地，在另一实例中，最后一帧可以被后向预测。
在另一实例中，运动估计单元6将根据多个参考帧执行双向预测。因此，将GOP的一个或多个帧中的像素组或区域与相同GOP的先前和后续帧中的类似像素组或区域相匹配。在该实例中，GOP中的先前和后续帧是所处理的每个帧的参考帧。因为该实例中使用双向预测，GOP中的第一或最后一帧可以是A帧，因为没有先前或后续帧可用。但是，替换地，在另一实例中，第一帧可以被前向预测或最后一帧可以被后向预测。
作为上述匹配的结果，运动估计单元6将为在正被处理的当前帧中匹配的每个区域提供运动矢量MV和帧号。如果使用单个参考帧，特定帧中的区域应当具有相同的关联帧号。如果使用多个参考帧，则特定帧中的区域应当具有不同的关联帧号。此外，在一些情况中，将只有一个运动矢量MV和帧号与正被处理的当前帧中的每个区域相关联。但是，如果使用双向预测，可以有两个运动矢量MV和帧号与每个区域相关联。每个运动矢量和帧号将指示位置和包括与正被处理的每个帧中的区域相匹配的类似区域的GOP中的另一帧。
在工作期间，时间滤波单元8按照由运动估计单元6提供的运动矢量MV和帧号减少每个GOP的帧之间的时间冗余。为了执行该工作，时间滤波单元8检索先前与正被处理的每个帧中的区域相匹配的类似区域。这将按照由运动估计单元6提供的运动矢量和帧参考号来执行。此外，时间滤波单元8然后将根据对于特定帧所执行的运动补偿是根据单个参考帧还是多个参考帧来将不同方法应用于特定帧。
如果运动补偿是基于单个参考帧，则该特定帧将如Woods(Seung-Jong Choi和John Woods的标题为“Motion-Compensated3-D Subband Coding of Video(视频的运动补偿3D子带编码)”的文章，IEEE Transactions On Image Processing，卷8，No.2，1999年2月)中一样时间滤波。如可从图1看到的，Woods采用两个帧，并将这些帧变换为包括高(H)频帧和低(L)频帧的两个帧。往回参考图2，时间滤波单元8通过求出两个帧中的对应区域之间的平均以及然后用某一缩放因子去除该平均来产生L帧。此外，时间滤波单元通过求出两个帧中的对应区域之间的差以及然后用某一缩放因子除该差来产生H帧。适合的缩放因子的例子可以是二的平方根
Figure A0381677100091
或二的平方根的倒数
Figure A0381677100092
如果运动补偿是根据多个参考帧，则时间滤波单元8为每个正被处理的帧产生一个H帧。如前所述，每个GOP中的多个帧(A帧)可以不被处理。因此，时间滤波单元8将不对这些帧执行任何滤波，而仅是不改变地传送这些帧通过。此外，被选作H帧的帧通过求出每个帧的区域和在GOP的其它帧中找到的类似区域之间的差而被时间滤波。
如前所述，正被处理的每个帧中的区域被与相同GOP中的其它帧中的类似区域相匹配。在检索到类似区域以后，时间滤波单元8然后将计算类似区域中的像素值和正被处理的帧的区域中的像素值之间的差。此外，为了产生H帧，时间滤波单元8优选地将用某一缩放因子除该差。
按照本发明，该MCTF方案带来改进的编码效率，因为最佳匹配的质量被显著改善，并且不连接像素的数目也减少了。特别地，仿真已经显示，不连接像素的数目从每帧百分之三十四(34)减少到百分之二十二(22)。但是，该方案仍然产生一些不连接像素。因此，时间滤波单元8将如Woods中所描述的那样来处理这些不连接像素。
如可看到的，还包括空间分解单元10，用于减少由MCTF单元4提供的帧中的空间冗余。在工作期间，从MCTF单元4接收的帧按照2D小波变换被变换为小波系数。有许多不同类型的小波变换的滤波器和
实施方式。
适合的2D小波变换的一个例子在图3中示出。如可看到的，使用小波滤波器将帧分解为低频和高频子带。因为这是2-D变换，所以有三个高频子带(水平、垂直和对角)。低频子带被标记为LL子带(水平和垂直频率都低)。这些高频子带被标记为LH、HL和HH，对应于水平高频、垂直高频和水平及垂直高频。低频子带可以被进一步递归分解。在图3中，WT表示小波变换。在Stephane Mallat的标题为“AWavelet Tour of Signal Processing(信号处理的小波导引)”，(Academic Press，1997)的书中描述的其它公知的小波变换方案。
往回参考图2，编码器还包括重要性编码单元12，用于按照重要性信息编码空间分解单元10的输出。在该实例中，重要性可以意味着小波系数的大小，其中较大系数比较小系数更重要。在该实例中，重要性编码单元12将注意从空间分解单元10接收的小波系数，然后按照大小重新排序小波系数。因此，具有最大值的小波系数将被首先发送。重要性编码的一个例子是分层树中的集合分割(SPIHT)。这在A.Said和W.Pearlman的标题为“A New Fast and Efficient ImageCodec Based on Set Partitioning in Hierarchical Trees(基于分层树中的集合分割的新的快速且高效的编解码器)”(IEEETransactions on Circuits and Systems for Video Technology，卷6，1996年6月)的文章中描述。
如可从图2看到的，所包括的虚线用于指示一些操作之间的依赖性。在一个例子中，运动估计6依赖于重要性编码12的性质。例如，由运动估计产生的运动矢量可以用于确定哪个小波系数更重要。在另一个例子中，空间分解10也可以依赖于重要性编码12的类型。例如小波分解层次的数目可以和重要性系数的数目有关。
如可进一步看到的，所包括的熵编码单元14用于产生输出比特流。在工作期间，熵编码技术被应用来将小波系数编码为输出比特流。熵编码技术还被应用于由运动估计单元6提供的运动矢量和帧号。该信息被包括在输出比特流中，以便允许解码。适合的熵编码技术的例子包括可变长度编码和算术编码。
按照本发明的时间滤波的一个例子在图4中示出。在该示例中，使用时间金字塔形分解方案，其中A和L帧的混合可以被放置在不同的层次。如可看到的，该示例中的金字塔形分解在三个层次中执行。
在层1中，使用多个参考帧和双向预测。如可从层1中看到的，第一帧是A帧，因为GOP中没有先前的帧用来执行后向预测。因此，该帧不被滤波而保持不变。该GOP中的每隔一帧也被选作A帧。如前所述，GOP中的多个帧被选择为A帔，以便提供空间可缩放性。此外，没有被选作A帧的帧被作为H帧处理。在该示例中，如前所述，H帧由根据多个参考帧的双向预测和时间滤波产生。这产生如层1中所示的帧。
在层2中，如前所述，来自层1的A帧被收集，然后被使用单个参考帧时间滤波。因此，正如所示的那样来自层1的每对A帧都被变换为L帧和H帧。由于该方案，来自层1和2的帧将在正被处理的帧组内被交织。
在层3中，来自层2的L帧被使用多个参考帧技术时间滤波。在该示例中，层2中仅有两个L帧。因此，仅第一或最后一帧可用作参考帧。因此，在该示例中，仅使用单个参考帧。但是，在其它示例中(其中在层2中有超过两个的L帧可用)将使用多个参考帧。在该示例中，层2中的第一L帧被选作A帧，因此不被滤波。此外，来自层2的第二L帧被变换为单个H帧。这通过使用第一L帧作为参考帧、然后求出两个帧中相应区域之间的经缩放的差来执行后向预测来完成。
应当说明，图4的方案仅是一个示例。在其它示例中，GOP中可能包括更多的帧。在层1中，如所示的那样，后向或前向预测可以代替双向预测使用。在层3中，如所示的那样，前向或双向预测可以代替后向预测使用。例如，如果在层3中使用前向预测，第二L帧将被选作A帧，而第一L帧将被变换为H帧。此外，图4中的层次可以改变。例如，基于单个参考帧的时间滤波可以在层1中执行，而基于多个参考帧的时间滤波可以在层2中执行。
按照本发明的时间滤波的另一个示例在图5中示出。如可看到的，GOP的一部分被选择成使用多个参考帧时间滤波，而另一部分使用单个参考帧滤波。如前所述，该选择可以是预定的或自适应地执行。在该示例中，GOP的前半部被选择成使用多个参考帧时间滤波。此外，在该示例中，前半部中的每隔一个帧被选作A帧。因此，GOP的前半部中的其它帧被使用双向预测变换为H帧。应当说明，可以改为使用后向预测或前向预测。在该示例中，GOP的后半部被使用单个参考帧时间滤波。因此，两对帧的每个被变换为L和H帧，如所示的那样。
还应当说明，图5的示例中，对于可以被选作A帧的帧数没有限制。此外，L帧的数目也可以通过选择GOP的要使用单个参考帧滤波的更大部分来增加。而且，因为A帧在该示例中没有滤波，这些帧将具有比L帧大的值。因此，也用缩放因子除A帧以补偿该差异可能是优选的。这将使A帧能够和L帧被编组在一起来作为金字塔形方案的一部分一起滤波。
按照本发明的解码器的一个示例在图6中示出。如前面就图2所述的，输入视频被划分为GOP，每个GOP作为一个单元编码。因此，输入比特流可以包括也将作为一个单元而被解码的一个或多个的GOP。比特流还将包括对应于先前经运动补偿时间滤波的GOP中的每个帧的多个运动矢量MV和帧号。运动矢量和帧号将指示先前与已经时间滤波的每个帧中的区域相匹配的相同GOP中的其它帧中的区域。
如可看到的，解码器包括熵解码单元16，用于解码进入的比特流。在工作期间，输入比特流将按照在编码侧执行的熵编码技术的逆技术被解码。该熵解码将产生对应每个GOP的小波系数。此外，熵解码产生将在以后被利用的多个运动矢量和帧号。为了按照重要性信息解码来自熵解码单元16的小波系数，包括了重要性解码单元18。因此，在工作期间，将通过使用与在编码器侧使用的技术的逆技术、按照正确的空间顺序对小波系数进行排序。
如可进一步看到的，还包括空间重组单元20，用于将来自重要性解码单元18的小波系数变换为部分解码的帧。在工作期间，对应每个GOP的小波系数将按照在编码器侧执行的2D小波变换的逆变换被变换。这将产生已经按照本发明运动补偿时间滤波的部分解码的帧。如前所述，按照本发明的运动补偿时间滤波在相同GOP中既使用单个参考帧也使用多个参考帧。因此，每个GOP将包括A、H和L帧的混合。
还包括逆时间滤波单元22，用于通过执行在编码器侧执行的时间滤波的逆滤波重构来自空间重组单元20的部分解码帧。如果使用时间金字塔形分解方案，逆时间滤波优选地由最高层向下至层1逐层执行。例如，在图4的示例中，来自层3的帧首先被时间滤波，随后分别是层2和层1的帧。此外，逆时间滤波单元22将根据编码器侧的时间滤波是基于单个参考帧还是多个参考帧来对特定帧应用不同的方法。
如果时间滤波是根据单个参考帧，则逆时间滤波单元22如下处理每个GOP中包括的每对H和L帧。首先，每对H和L帧被和编码器侧使用的相同的缩放因子相乘。然后计算每对H和L帧的和与差。每个和与差然后被另一缩放因子除，以便提供对应于特定GOP中包括的每对H和L帧的重构帧。适合的缩放因子的例子可以是数值二(2)。
如果时间滤波是根据多个参考帧，则逆时间滤波单元22如下处理每个GOP中包括的H帧。首先，如果编码器侧的H帧被某一缩放因子除，这些帧将被相同的因子相乘。每个GOP中的H帧将根据由熵解码单元16提供的运动矢量MV和帧号重构。
为了重构H帧，首先将确定编码器侧执行的是哪种运动补偿。
如果编码器侧使用的是后向运动估计，GOP中的第一个A帧后的H帧将优选地被首先重构。具体来说，该H帧通过按照为该特定帧提供的运动矢量和帧号检索像素值来重构。在该示例中，运动矢量将指向第一A帧内的区域。逆时间滤波单元22然后将所检索到的像素值加到正被重构的H帧中的对应区域，从而将差转换为实际像素值。GOP中的剩余H帧将类似地被重构，只是来自一个以上先前帧的像素值可以被检索并加到正被重构的帧中的对应区域。
如果编码器侧使用的是前向运动估计，GOP中的最后一个A帧之前的H帧将优选地被首先重构。具体来说，该H帧通过按照为该特定帧提供的运动矢量和帧号检索像素值来重构。在该示例中，运动矢量将指向最后一个A帧内的区域。逆时间滤波单元22然后将所检索到的像素值添加到当前正被重构的当前H帧中的对应区域，从而将差转换为实际像素值。GOP中的剩余H帧将类似地被重构，只是来自一个以上后续帧的像素值可以被检索并添加到正被重构的帧中的对应区域。
如果编码器侧使用的是双向运动估计，GOP中的第一个A帧之后或最后一个A帧之前的H帧将优选地根据所实施的是哪个示例被首先重构。具体来说，该H帧通过按照为该特定帧提供的运动矢量和帧号检索像素值来重构。此时，运动矢量将指向第一或最后一个A帧内的区域。
如前所述，双向H帧可以包括根据来自先前帧、后续帧或两者的匹配而滤波的区域。对于仅来自先前或后续帧的匹配，像素值将只是被检索并添加到正被处理的当前帧中的对应区域。对于来自两者的匹配，来自先前和后续帧的值都将被检索然后平均。该平均然后将被添加到正被处理的当前帧中的对应区域。GOP中的剩余H帧将类似地被重构，只是来自一个以上先前或后续帧的像素值可以被检索并添加到正被重构的帧中的对应区域。
图7中示出了系统的一个示例，其中可以实施按照本发明利用根据单个和多个参考帧的运动补偿时间滤波的基于小波的编码。通过示例，该系统可以表示电视机、机顶盒、桌上型或膝上型或掌上型计算机、个人数字助理(PDA)、视频/图像存储设备(例如录像机(VCR)、数字录像机(DVR)、TiVO设备等等)以及这些或其它设备的部分或组合。该系统包括一个或多个视频源26、一个或多个输入/输出设备34、处理器28、存储器30和显示设备36。
视频/图像源26可以表示例如电视接收机、VCR或其它视频/图像存储设备。源26可替代地表示用于通过例如全球计算机通信网络(例如因特网、广域网、城域网、局域网、地面广播系统、有线网络、卫星网络、无线网络或电话网络以及这些和其它类型网络的部分或组合)从服务器接收视频的一个或多个网络连接。
输入/输出设备34、处理器28和存储器30通过通信介质32通信。通信介质32可以表示例如总线、通信网络、电路或电路卡或其它设备的一个或多个内部连接以及这些和其它通信介质的部分和组合。来自源26的输入视频数据按照在存储器30中存储并由处理器28执行的一个或多个软件程序来处理，以便生成提供给显示设备36的输出视频/图像。
具体来说，在存储器30中存储的软件程序包括如先前就图2和6描述的、利用根据单个和多个参考帧的运动补偿时间滤波的基于小波的编码。在该实施例中，利用根据单个和多个参考帧的运动补偿时间滤波的基于小波的编码通过由系统执行的计算机可读代码来实施。该代码可以存储在存储器30中或从存储介质(例如CD-ROM或软盘)读取/下载。在其它实施例中，可以代替或结合软件指令来使用硬件电路以实施发明。
虽然以上已经就特定示例描述了本发明，但应当理解，本发明不希望被局限或限制在这里公开的示例。因此，本发明希望覆盖包括在所附权利要求书的宗旨和范围内的各种结构和修改。

Claims (22)

1.一种编码一组视频帧的方法，包括步骤：
根据多个参考帧对该组中的第一数目的帧进行运动补偿时间滤波；
根据单个参考帧对该组中的第二数目的帧进行运动补偿时间滤波；
将第一和第二数目的帧变换为小波系数；和
熵编码小波系数。
2.如权利要求1的方法，其中根据多个参考帧对组中的第一数目的帧进行运动补偿时间滤波包括：
将该数目的的帧中的每一个中的区域和该多个参考帧中的区域相匹配；
计算第一数目帧中的每一个中的区域和多个参考帧中的区域的像素值之间的差。
3.如权利要求2的方法，进一步包括用缩放因子除第一数目帧中的每一个中的区域和所述多个帧中的区域的像素之间的差。
4.如权利要求1的方法，其中根据单个参考帧对组中的第二数目的帧进行运动补偿时间滤波包括：
将第二数目的帧的前半部中的区域和后半部中的区域相匹配；
计算第二数目的帧的前半部和后半部中的区域的像素值之间的差；和
计算第二数目的帧的前半部和后半部中的区域的像素值的平均。
5.如权利要求1的方法，进一步包括按照重要性信息编码小波系数。
6.如权利要求1的方法，其中第一数目的帧位于组的第一部分内，而第二数目的帧位于组的第二部分内。
7.如权利要求1的方法，其中第一数目帧和第二数目帧在组内交织。
8.一种编码一组视频帧的方法，包括步骤：
将组中的至少一个帧中的区域和多个参考帧中的区域相匹配；
计算该至少一个帧中的区域和该多个参考帧中的区域的像素值之间的差；
将组中的至少另一帧中的区域和单个参考帧中的区域相匹配；
计算组中该至少另一帧中的区域和单个参考帧中的区域的平均和第二差；和
将所述平均、差和第二差变换为小波系数。
9.一种编码视频序列的设备，包括：
分割单元，用于将视频序列划分为多组帧；
运动补偿时间滤波单元，用于根据多个帧处理组中的第一数目的帧，和根据单个参考帧处理组中的第二数目的帧；和
空间分解单元，用于将第一和第二数目的帧变换为小波系数。
10.如权利要求9的设备，进一步包括熵编码单元，用于将小波系数编码为比特流。
11.一种包括用于编码一组视频帧的代码的存储介质，所述代码包括：
用于根据多个参考帧对组中的第一数目的帧进行运动补偿时间滤波的代码；
用于根据单个参考帧对组中的第二数目的帧进行运动补偿时间滤波的代码；
用于将第一和第二数目的帧变换为小波系数的代码；和
用于熵编码小波系数的代码。
12.一种解码包括一组编码视频帧的比特流的方法，包括步骤：
对比特流进行熵解码来产生小波系数；
将小波系数变换为一组部分解码的帧；和
使用多个参考帧对第一数目的部分解码帧进行逆时间滤波；和
使用单个参考帧对第二数目的部分解码帧进行逆时间滤波。
13.如权利要求12的方法，其中对第一数目的部分解码帧的逆时间滤波包括：
从先前与第一数目部分解码帧中的每一个中的区域相匹配的多个参考帧中检索区域；和
将该多个参考帧中的区域的像素值添加到第一数目部分解码帧中的区域的像素值。
14.如权利要求13的方法，其中从多个参考帧中检索区域的步骤按照比特流中包括的运动矢量和帧号来执行。
15.如权利要求13的方法，进一步包括用缩放因子乘以第一数目部分解码帧。
16.如权利要求12的方法，其中对第二数目部分解码帧的逆时间滤波包括：
计算第二数目部分解码帧的前半部和后半部之间的差；和
计算第二数目部分解码帧的前半部和后半部之间的和。
17.如权利要求16的方法，进一步包括用缩放因子除所述差与和。
18.如权利要求12的方法，进一步包括按照重要性信息解码小波系数。
19.如权利要求12的方法，其中第一数目部分解码帧位于组的第一部分内，而第二数目部分解码帧位于组的第二部分内。
20.如权利要求12的方法，其中第一数目部分解码帧和第二数目部分解码帧在组内交织。
21.一种解码包括一组编码视频帧的比特流的设备，包括：
一个熵解码单元，用于将比特流解码为小波系数；
一个空间重组单元，用于将小波系数变换为部分解码的帧；和
一个逆时间滤波单元，用于使用多个参考帧处理第一数目的部分解码帧和使用单个参考帧处理第二数目的部分解码帧。
22.一种包括用于解码包括一组编码视频帧的比特流的代码的存储介质，所述代码包括：
用于对比特流进行熵解码来产生小波系数的代码；
用于将小波系数变换为部分解码的帧的代码；和
用于使用多个参考帧对第一数目的部分解码帧进行逆时间滤波的代码；和
用于使用单个参考帧对第二数目的部分解码帧进行逆时间滤波的代码。
CNA038167719A 2002-07-15 2003-06-20 使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码 Pending CN1669326A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US39592102P 2002-07-15 2002-07-15
US60/395,921 2002-07-15
US10/218,213 2002-08-13
US10/218,213 US7042946B2 (en) 2002-04-29 2002-08-13 Wavelet based coding using motion compensated filtering based on both single and multiple reference frames

Publications (1)

Publication Number Publication Date
CN1669326A true CN1669326A (zh) 2005-09-14

Family

ID=30117881

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038167719A Pending CN1669326A (zh) 2002-07-15 2003-06-20 使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码

Country Status (7)

Country Link
US (1) US7042946B2 (zh)
EP (1) EP1523856A1 (zh)
JP (1) JP2005533425A (zh)
KR (1) KR20050028019A (zh)
CN (1) CN1669326A (zh)
AU (1) AU2003242933A1 (zh)
WO (1) WO2004008769A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067605B (zh) * 2008-08-01 2014-05-07 卓瑞公司 用集成的时间滤波器降噪的视频编码器
WO2015070739A1 (en) * 2013-11-15 2015-05-21 Mediatek Inc. Method of block-based adaptive loop filtering

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9728040B2 (en) * 1997-02-07 2017-08-08 Aim Management, Inc. Printing and dispensing system for an electronic gaming device that provides an undisplayed outcome
EP1461956A1 (en) * 2001-12-20 2004-09-29 Koninklijke Philips Electronics N.V. Video encoding and decoding method and device
AU2003213769A1 (en) 2002-03-07 2003-09-22 Aware, Inc. Interleaved sign bit coding
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
EP1455534A1 (en) * 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US7627040B2 (en) * 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
CN1813479A (zh) * 2003-06-30 2006-08-02 皇家飞利浦电子股份有限公司 过完备小波域中的视频编码
US7292635B2 (en) * 2003-07-18 2007-11-06 Samsung Electronics Co., Ltd. Interframe wavelet video coding method
DE60317670T2 (de) * 2003-09-09 2008-10-30 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung
US20070031052A1 (en) * 2003-09-29 2007-02-08 Koninklijke Philips Electronics N.V. Morphological significance map coding using joint spatio-temporal prediction for 3-d overcomplete wavelet video coding framework
US20070053435A1 (en) * 2003-10-10 2007-03-08 Koniklijke Philips Electronics N.V. 3D video scalable video encoding method
US7444419B2 (en) * 2003-10-10 2008-10-28 Microsoft Corporation Media stream scheduling for hiccup-free fast-channel-change in the presence of network chokepoints
WO2005051000A1 (en) * 2003-11-21 2005-06-02 Electronics And Telecommunications Research Institute Interframe wavelet coding apparatus and method capable of adjusting computational complexity
KR100834750B1 (ko) * 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
FR2867329A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de codage d'une sequence d'images par analyse temporelle hierarchique.
EP1599046A1 (en) * 2004-05-19 2005-11-23 THOMSON Licensing Method for coding video data of a sequence of pictures
JP2008507170A (ja) * 2004-07-13 2008-03-06 フランス テレコム エス アー ビデオ画像配列の符号化方法および装置
CN100370808C (zh) * 2005-06-13 2008-02-20 北京中星微电子有限公司 一种运动检测方法
US20100039536A1 (en) * 2008-08-14 2010-02-18 Sony Ericsson Mobile Communications Ab Video recording device and method
US11973985B2 (en) * 2021-11-23 2024-04-30 Mediatek Inc. Video encoder with motion compensated temporal filtering

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5301020A (en) * 1991-11-01 1994-04-05 Aware, Inc. Method and apparatus for coding motion pictures utilizing motion compensation
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
KR100308627B1 (ko) * 1995-10-25 2001-11-02 마찌다 가쯔히꼬 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더
AU5501296A (en) * 1996-04-19 1997-11-12 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
US6373894B1 (en) * 1997-02-18 2002-04-16 Sarnoff Corporation Method and apparatus for recovering quantized coefficients
CN1205818C (zh) * 2000-04-11 2005-06-08 皇家菲利浦电子有限公司 视频编码和解码方法
US6718055B1 (en) * 2000-12-05 2004-04-06 Koninklijke Philips Electronics, N.V. Temporal and spatial correction for perfusion quantification system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067605B (zh) * 2008-08-01 2014-05-07 卓瑞公司 用集成的时间滤波器降噪的视频编码器
US9414091B2 (en) 2008-08-01 2016-08-09 Qualcomm Incorporated Video encoder with an integrated temporal filter
WO2015070739A1 (en) * 2013-11-15 2015-05-21 Mediatek Inc. Method of block-based adaptive loop filtering
CN105794206A (zh) * 2013-11-15 2016-07-20 联发科技股份有限公司 基于块的自适应环路滤波方法
CN105794206B (zh) * 2013-11-15 2018-12-28 联发科技股份有限公司 用于重建视频的自适应环路滤波方法
US10567806B2 (en) 2013-11-15 2020-02-18 Mediatek Inc. Method of block-based adaptive loop filtering

Also Published As

Publication number Publication date
US7042946B2 (en) 2006-05-09
WO2004008769A1 (en) 2004-01-22
US20030202597A1 (en) 2003-10-30
JP2005533425A (ja) 2005-11-04
AU2003242933A1 (en) 2004-02-02
KR20050028019A (ko) 2005-03-21
EP1523856A1 (en) 2005-04-20

Similar Documents

Publication Publication Date Title
CN1669326A (zh) 使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US6898324B2 (en) Color encoding and decoding method
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
CN1650634A (zh) 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码
US20050169379A1 (en) Apparatus and method for scalable video coding providing scalability in encoder part
US7023923B2 (en) Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
WO2001006794A1 (en) Encoding method for the compression of a video sequence
CN1276664C (zh) 视频编码方法
CN1813479A (zh) 过完备小波域中的视频编码
CN102006483B (zh) 一种视频编解码方法及装置
AU2004314092B2 (en) Video/image coding method and system enabling region-of-interest
CN1650633A (zh) 用于小波编码的基于多参考帧的运动补偿时间过滤
CN1689045A (zh) 用于基于小波的编码中的运动补偿的时间滤波的既有被滤波区域又有未滤波区域的l帧
KR100577364B1 (ko) 적응형 프레임간 비디오 코딩방법, 상기 방법을 위한 컴퓨터로 읽을 수 있는 기록매체, 및 장치
Zoghlami et al. High-level implementation of Video compression chain coding based on MCTF lifting scheme
Zhang et al. High performance full scalable video compression with embedded multiresolution MC-3DSPIHT
KR100582024B1 (ko) 웨이블렛 변환 기반 동영상 부호화를 위한 3차원 블록분할방식
CN1706197A (zh) 使用自适应运动补偿时间滤波的完全可分级3－d过完整小波视频编码
WO2006080665A1 (en) Video coding method and apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication