CN1650634A - 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码 - Google Patents

利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码 Download PDF

Info

Publication number
CN1650634A
CN1650634A CNA038095769A CN03809576A CN1650634A CN 1650634 A CN1650634 A CN 1650634A CN A038095769 A CNA038095769 A CN A038095769A CN 03809576 A CN03809576 A CN 03809576A CN 1650634 A CN1650634 A CN 1650634A
Authority
CN
China
Prior art keywords
frame
frames
zone
reference frames
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038095769A
Other languages
English (en)
Inventor
T·迪帕克
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1650634A publication Critical patent/CN1650634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提出了用于对一组视频帧进行编码的方法和设备。根据本发明，从该组中选择一些帧。这些帧的每一个帧中的区域都与多个参考帧中的区域相匹配。计算在这些帧的每个帧中的区域的像素值和多个参考帧中的区域的像素值之间的差值。将该差值变换为小波系数。本发明还提出了通过执行上述编码的反向过程来对一组视频帧进行解码的方法和设备。

Description

利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码
技术领域
本发明一般涉及视频压缩，特别是涉及使用多个参考帧进行运动补偿时域滤波的基于小波的编码。
背景技术
许多目前的视频编码算法都是基于运动补偿的预测编码，它们都是相当复杂的混合系统。在这些混合系统中，利用运动补偿来减少时间冗余，同时通过对运动补偿的产物进行变换编码来减少空间冗余。通常使用的变换包括离散余弦变换(DCT)或子带/小波分解。然而这些系统，在提供实际的可分级比特流方面缺乏灵活性。
另一种类型的系统是基于3D子带/小波的编码(以下称为“3D小波”)，这种系统目前比较流行，特别是在异类(heterogeneous)网络上的视频传输的当前脚本(scenario)中比较流行。这些系统特别适用于具有非常灵活的分级比特流和较高的错误适应性的应用系统。在3D小波编码中，一次对整个帧进行变换，而不是像基于DCT的编码那样一个块一个块地进行变换。
3D小波系统中的一个部分是运动补偿的时域滤波(MCTF)，用于减少时间冗余。在Seung-Jong Choi和John Woods，以下称为“Woods”，发表于1999年2月，IEEE Transactions On Image Processing，No.2，第8栏的标题为“视频的运动补偿的3-D子带编码(Motion-Compensated3-D Subband Coding of Video)”的文章中描述了MCTF的一个例子。
在Woods的文章中，在执行空间分解之前，在运动方向上对帧进行时域滤波。在时域滤波期间，由于场景中的运动属性和目标的覆盖/未覆盖情况，一些像素不是没有被参考就是被参考了多次。这些像素被称为未连接像素，并需要专门进行处理，而这会引起编码效率降低。在图1中示出了Woods的文章中的未连接像素和连接像素的例子。
发明内容
本发明提出了用于对一组视频帧进行编码的方法和设备。根据本发明，从该组中选择一些帧。这些帧的每一个帧中的区域都与多个参考帧中的区域相匹配。计算在这些帧的每个帧中的区域的像素值和多个参考帧中的区域的像素值之间的差值。将该差值转换为小波系数。
在根据本发明的编码的另一例子中，至少一个帧中的区域还与另一帧中的区域相匹配。该至少一个帧和该另一帧并不包含在所述一些帧中。计算在该至少一个帧中的区域的像素值和该另一帧中的区域的像素值之间的差值。并将该差值转换为小波系数。
本发明还提出了用于对包含一组编码视频帧的比特流进行解码的方法和设备。根据本发明，该比特流被熵解码，以产生小波系数。对该小波系数进行变换，以产生部分解码的帧。利用多个参考帧对一些部分解码帧进行反向时域滤波。
在一个例子中，该反向时域滤波包括从多个参考帧中查找匹配区域，这些区域先前与一些部分解码帧中的每一个帧中的区域相匹配。另外，在多个参考帧中的区域的像素值被加到一些部分解码帧的每一个帧中的区域的像素值上。
在根据本发明的解码的另一个例子中，至少一个部分解码帧根据另一个部分解码帧也被反向时域滤波。该反向时域滤波包括从另一个部分解码帧中查找先前与被查找到的至少一个部分解码帧中的区域相匹配的区域。并且，在另一个部分解码帧中的区域的像素值被加到至少一个部分解码帧中的区域的像素值上。该至少一个部分解码帧和另一个部分解码帧并不包含在所述一些帧中。
附图说明
下面参照附图，相同的参考标号表示相对应的部件：
图1是表示已知的运动补偿的时域滤波技术的示意图；
图2是根据本发明的编码器的一个例子的方框图；
图3表示2D小波变换的一个例子的方框图；
图4是表示根据本发明的时域滤波的一个例子的示意图；
图5是表示根据本发明的时域滤波的另一个例子的示意图；
图6是表示根据本发明的时域滤波的另一个例子的示意图；
图7是根据本发明的解码器的一个例子；和
图8是根据本发明的系统的一个例子。
具体实施方式
如上所述，3D小波系统的一个部分是运动补偿时域滤波(MCTF)，它的执行用于减少时间冗余。在MCTF期间，未连接像素可能会需要专门处理，而这会导致编码效率降低。本发明提出了一种新的MCTF系统，在运动补偿和时域滤波期间使用了多个参考帧，从而显著提高了匹配质量并减少了未连接像素的数目。因此，这种新系统可通过改进最佳匹配和减少未连接像素的数目而提供更高的编码效率。并且，该新的MCTF系统可以被选择性地应用到特定组中的帧。这样可以使该新系统能够提供时域可分级性，该时域可分级性能够使视频以不同的帧频进行解码。
图2示出了根据本发明的编码器的一个例子。可以看出，该编码器包括划分单元2，用于将输入视频划分为图像组(GOP)，该图像组被编码为一个单元。根据本发明，划分单元2进行操作，使得GOP包括预定数目的帧或者根据诸如带宽、编码效率和视频内容等参数在操作期间动态地确定。例如，若视频由快速场景变化和高速运动构成，则较短的GOP更为有效，若视频主要由静态目标构成，则较长的GOP更为有效。
可以看出，MCTF单元4由运动估计单元6和时域滤波单元8构成。在操作期间，运动估计单元6对每个GOP中的一些帧执行运动估计。被运动估计单元6所处理的这些帧被定义为H帧。并且在每个GOP中可能有一些其它帧没有被运动估计单元6处理，这些帧被定义为A帧。在每个GOP中的A帧的数目可能会根据一些因素而改变。首先，根据所使用的前向、后向或双向预测，在每个GOP中的第一个或最后一个帧可以是A帧。并且，可以选择在每个GOP中的一些帧作为A帧，以便提供时域可分级性。该选择可以是在任意间隔，例如每两个帧，每三个帧，每四个帧...等等进行。
根据本发明，A帧的使用可以使根据本发明的视频编码能够被时域分级。由于A帧是独立编码的，因此可以以较低的帧频和良好的质量来解码视频。并且，根据选择哪个帧不被运动估计单元6处理，A帧可以以任意间隔被插入到GOP中，这样可使视频以任意帧频，例如二分之一，三分之一，四分之一...等等进行解码。相反，在Woods的文章中所述的MCTF系统只能以2的倍数来分级，因为时域滤波是成对执行的。并且，A帧的使用限制了预测偏移，因为这些帧是不参考任何其他帧而编码的。
如上所述，运动估计单元6对每个GOP中的一些帧执行运动估计。然而，根据本发明，对这些帧执行的运动估计是基于多个参考帧的。因此，所处理的每个帧中的象素组或区域将与相同GOP的其它帧中的类似像素组相匹配。所使用的GOP中的其它帧可以是未处理的帧(A帧)或已处理的帧(H帧)。因此，在GOP中的其它帧是用于每个处理帧的参考帧。
在一个例子中，运动估计单元6将执行后向预测。因此，在该GOP的一个或多个帧中的像素组或区域，与该同一GOP的先前帧中的类似的像素组或区域相匹配。在该例子中，该GOP中的先前帧是用于每个处理帧的参考帧。在该例子中由于使用了后向预测，因此在GOP中的第一个帧可以是A帧，因为没有可用的先前帧。然而作为选择，在其他例子中，该第一帧也可以是前向预测的。
在另一个例子中，运动估计单元6将执行前向预测。因此，在该GOP的一个或多个帧中的像素组或区域，与该同一GOP的后续帧中的类似的像素组或区域相匹配。在该例子中，该GOP中的后续帧是用于每个处理帧的参考帧。在该例子中由于使用了前向预测，因此在GOP中的最后一个帧可以是A帧，因为没有可用的后续帧。然而作为选择，在其他例子中，该最后一帧也可以是后向预测的。
在另一个例子中，运动估计单元6将执行双向预测。因此，在该GOP的一个或多个帧中的像素组或区域，与该同一GOP的先前帧和后续帧中的类似的像素组或区域相匹配。在该例子中，该GOP中的先前帧和后续帧是用于每个处理帧的参考帧。在该例子中由于使用了双向预测，因此在GOP中的第一个帧或最后一个帧可以是A帧，因为没有可用的先前帧或后续帧。然而作为选择，在其他例子中，该第一帧也可以是前向预测的，或者该最后一帧也可以是后向预测的。
作为上述匹配的结果，运动估计单元6将为正被处理的当前帧中所匹配的每个区域都提供一个运动矢量MV和一个帧号。在某些情况下，将会只有一组与正被处理的当前帧中的每个区域相关联的运动矢量My和帧号。然而，若使用双向预测，则可能有两组与每个区域相关联的运动矢量MV和帧号。每组运动矢量和帧号都将指示，包含与每个处理帧中的区域相匹配的类似区域的该GOP中的位置和其他帧。
在操作期间，根据运动估计单元6提供的运动矢量MV和帧号，时域滤波单元8消除了每个GOP的帧之间的时间冗余。由图1可看出，Woods的文章中的MCTF使用了两个帧，并将这两个帧变换为包括低子带和高子带的两个子带。低子带对应于两个帧中对应像素的(分级的)平均值，而高子带对应于两个帧中对应像素之间的(分级的)差值。
再次参见图2，本发明的时域滤波单元8只产生对应每个帧的一个子带或帧。如前所述，在每个GOP中的一些帧(A帧)没有被处理。因此，时域滤波单元8将不会对这种帧执行任何滤波，而只是原样通过这些帧。并且，该GOP的剩余帧(H帧)将通过在每个帧的区域和在该GOP的其他帧中找到的类似区域之间取差值而进行时域滤波。
特别地，时域滤波单元8将通过首先查找与每个H帧中的区域相匹配的类似区域，而对H帧进行滤波。这是根据运动估计单元6提供的运动矢量和帧参考号来完成的。如前所述，在每个H帧中的区域都与相同GOP中的其他帧中的类似区域相匹配。在查找到类似区域后，时域滤波单元8将计算在该类似区域中的像素值和该匹配区域中的像素值之间的差值。并且，时域滤波单元8最好通过某个比例因数对该差值进行相除。
根据本发明，由于显著改进了最佳匹配的质量和减少了未连接像素的数目，上述MCTF系统可以提高编码效率。特别地，通过仿真已经示出，每个帧的未连接像素的数目从百分之三十四(34)减少到百分之二十二(22)。然而，本发明的MCTF系统仍然产生了一些未连接像素。因此，时域滤波单元8将处理这些未连接像素，如Woods的文章中所述。
可以看出，包含的空间分解单元10用于减少MCTF单元4提供的帧中的空间冗余。在操作期间，根据2D小波变换将从MCTF单元4接收的帧变换为小波系数。有许多种不同类型的滤波器和小波变换实施方式。
图3示出了一种适当的2D小波变换的一个例子。可以看出，利用小波滤波器将一个帧分解为低频子带和高频子带。由于这是2D变换，因此有三个高频子带(水平，垂直和对角)。低频子带被表示为LL子带(水平和垂直频率都为低)。这些高频子带被表示为LH，HL和HH，分别对应于水平高频，垂直高频，和水平、垂直都为高频。低频子带还可以被递归地进一步分解。在图3中，WT表示小波变换。在学术出版社(AcademicPress)1997年出版的Stephane Mallat所写的，标题为“信号处理的小波综述(A Wavelet Tour of Signal Processing)”的书中描述了其他一些公知的小波变换系统。
再参见图2，该编码器还可以包括重要性编码单元12，用于根据重要性信息来编码空间分解单元10的输出信号。在该例子中，重要性可以表示小波系数的幅度，其中较大的系数比较小的系数更为重要。在该例子中，重要性编码单元12将查看从空间分解单元10接收的小波系数，然后根据幅度对这些小波系数重新排序。因此，具有最大幅度的小波系数将被首先发送。重要性编码的一个例子是层次树中的集合划分(SPIHT)。在A.Said和W.Pearlman发表于1996年6月，IEEETransactions on Circuits and Systems for Video Technology，vol.6的标题为“基于层次树中的集合划分的一种新的快速而有效的图像编解码(A New Fast and Efficient Image Codec Based on Set Partitioningin Hierarchical Trees)”的文章中对此有所说明。
从图2可以看出，其中的虚线表示某些操作之间的依赖性。在一个例子中，运动估计6依赖于重要性编码12的特性。例如，运动估计所产生的运动矢量可以用来确定哪个小波系数更为重要。在另一个例子中，空间分解8可能依赖于重要性编码12的类型。例如小波分解的级别数目可能与重要性系数的数目相关。
还可以看出，其中包含的熵编码单元14是用于产生输出比特流。在操作期间，应用熵编码技术将小波系数编码为输出比特流。熵编码技术还可以应用于运动估计单元6提供的运动矢量和帧号。该信息被包含在输出比特流中以便用于解码。适当熵编码技术的例子包括可变长度编码和算术编码。
图4示出了根据本发明的时域滤波器的一个例子。在该例子中，使用了后向预测。因此，通过对当前帧与其在先前帧中的匹配一起，对每个像素滤波可产生H帧。可以看出，帧1是一个A帧，因为在该GOP中没有前面的帧可以执行后向预测。因此，帧1没有进行滤波，没有改变。然而，帧2与它在帧1中的匹配一起被滤波。并且，帧3与它在帧1和2中的匹配一起被滤波。
可以看出，帧4是一个A帧，因此没有被时域滤波。如前所述，在GOP中的一些帧被选择作为A帧，以便提供时域可分级性。在该例子中，选择每个第三帧作为A帧。这样可以使视频以帧频的三分之一和良好的质量被解码。例如，若图4中的帧3被去除，则仍然有两个独立编码的帧可以用来解码剩余的帧。
应当注意，A帧可以被插入到任意位置，从而使一个视频序列能够以任意低的帧频来解码。例如，在图4中，若帧2被选择作为A帧，则现在每两个帧中就有一个是A帧。这样可以使视频序列以总帧频的一半来解码，从而可以使一个视频序列以任意的中间帧频来解码，这样比先前的“2的乘幂”的时域分级更为灵活。
图5示出了根据本发明的时域滤波器的另一个例子。在该例子中，使用了锥形分解以便提高编码效率。可以看出，该例子中的锥形分解有两个级别。在级别1，这些帧以类似于图4例子的方式被时域滤波，除了该例子以外，每个第二帧都是一个A帧。因此，在图5中，帧3没有被时域滤波，帧4将与它在帧1，2和3中的匹配一起被时域滤波。在级别2，对来自第一级别的A帧进行时域滤波，以便产生对应帧3的另一个H帧，因为该例子中使用了后向预测。若使用了前向预测，则额外的H帧将对应帧1。
为了实施上述系统，图2的运动估计单元6将在级别1中找到这些帧的匹配。然后运动估计单元6将为级别2的A帧找到匹配。然后由于运动估计单元6会对每个帧提供运动矢量MV和帧号，则每个GOP的帧都将按规律的时间顺序被时域滤波，根据这些运动矢量MV和帧号，从级别1开始到更高级别，逐个级别地进行时域滤波。
在其他例子中，当一个GOP中包含大量的帧时，锥形分解系统可以包括多于两个的级别。在每个这些级别中，再次选择一些帧作为A帧不进行滤波。并且，对剩余的帧进行滤波以产生H帧。例如，来自级别2的A帧可以被再次分组并在级别3中被滤波，以此类推。在这种锥形分解中，级别的数目依赖于该GOP中的帧的数目和时域可分级性要求。
图6示出了根据本发明的时域滤波的另一个例子。在该例子中，使用了双向预测。双向预测是很必要的，因为对于经过场景改变的帧和在封闭场景中有许多运动目标的帧，双向预测可以显著地改进性能。虽然在编码运动矢量的第二集合时会有一些相关的编码开销，但这是无关紧要的。因此，在该例子中，通过对当前帧及其在先前帧和后续帧中的匹配一起，对每个像素都进行滤波，可以产生H帧。
从图6可以看出，帧1是一个A帧，因为在该GOP中没有前面的帧可以执行双向预测。因此，帧1没有进行滤波，没有改变。然而，帧2与它在帧1和4中的匹配一起被时域滤波。并且，帧3与它在帧1，2，4中的匹配一起被时域滤波。然而，应当注意并不是所有在双向H帧中的区域都进行了双向滤波。例如，一个区域可能只与先前帧中的一个区域相匹配。因此，将利用后向预测根据先前帧中的匹配对这个区域进行滤波。类似地，对于只与后续帧中的区域相匹配的一个区域，可以相应地使用前向预测来进行滤波。
在一个区域在先前帧和后续帧中都有匹配区域的情况下，对该特定区域执行双向滤波。因此，在先前帧和后续帧中的区域中的对应像素被平均。然后从被滤波的帧中的对应像素减去该平均值，在本例子中，这些帧是帧2和3。如前所述，最好通过某些比例因数对该差值相除。
从图6可以看出，帧4是一个A帧，因此没有被时域滤波。因此，在该例子中，每个第三帧被选择作为A帧。应当注意该双向系统也可以以图5所述的锥形分解系统来实施。
图7示出了根据本发明的解码器的一个例子。如前面参照图2所述，输入的视频被划分被多个GOP，每个GOP作为一个单元来编码。因此，输入比特流可以包括一个或多个GOP，它也被解码为一个单元。该比特流还包括对应于GOP中的每个帧的一些运动矢量MV和帧号，其中该GOP已先前进行了运动补偿的时域滤波。该运动矢量和帧号将指示相同GOP中的其他帧中的区域，其中这些区域先前与已被时域滤波的每个帧中的区域相匹配。
可以看出，该解码器包括熵解码单元16，用于解码输入的比特流。在操作期间，将根据在编码侧执行的熵编码技术的反向过程对输入比特流进行解码。该熵解码将会产生对应于每个GOP的小波系数。并且，该熵解码还产生一些将在随后用到的运动矢量和帧号。其中的重要性解码单元18是用于根据重要性信息对来自熵解码单元16的小波系数进行解码。因此，在操作期间，将利用在编码侧使用的技术的反向过程根据正确的空间顺序对小波系数进行排序。
还可以看出，其中的空间重组单元20用于将来自重要性解码单元18的小波系数变换为部分解码的帧。在操作期间，将根据在编码侧使用的2D小波变换的反向过程，对与每个GOP对应的小波系数执行变换。这将产生根据本发明的已被运动补偿时域滤波后的部分解码帧。如前所述，根据本发明的运动补偿时域滤波可使每个GOP被表示为许多H帧和A帧。H帧是在GOP中的每个帧和相同GOP中的其他帧之间的差异，而A帧在编码侧不进行运动补偿和时域滤波的处理。
反向时域滤波单元22是通过执行在编码侧进行的时域滤波的反向过程，而重建每个GOP中包含的H帧。首先，若H帧在编码侧被某个比例因数相除，则来自空间重组单元20的帧将被相同的因数相乘。并且，时域滤波单元22将根据熵解码单元16提供的运动矢量MV和帧号，来重建每个GOP中包含的H帧。若使用了锥形分解系统，则最好从最高级别开始直到级别1，逐个级别地执行时域反向滤波。例如，在图5的例子中，来自级别2的帧被首先时域滤波，然后是级别1中的帧。
再参见图7，为了重建H帧，首先要确定在编码侧执行了哪种运动补偿。若在编码侧使用了后向运动估计，则本例子中在该GOP中的第一帧将是一个A帧。这样，反向时域滤波单元22将开始重建该GOP中的第二帧。特别地，将根据为该特定帧所提供的运动矢量和帧号，通过查找像素值来重建该第二帧。该情况下，该运动矢量将指向第一帧内的区域。然后反向时域滤波单元22将该查找到的像素值加到第二帧中的对应区域，从而将该差值转换为实际的像素值。该GOP中剩余的H帧将以类似地方式来重建。
若在编码侧使用了前向运动估计，则本例子中在该GOP中的最后一帧将是一个A帧。这样，反向时域滤波单元22将开始重建该GOP中的倒数第二帧。根据为该特定帧所提供的运动矢量和帧号，通过查找像素值来重建该倒数第二帧。该情况下，该运动矢量将指向最后一帧内的区域。然后反向时域滤波单元22将该查找到的像素值加到倒数第二帧中的对应区域，从而将该差值转换为实际的像素值。该GOP中剩余的H帧将以类似地方式来重建。
若在编码侧使用了双向运动估计，则根据所实施的例子，在该GOP中的第一帧或最后一帧将是一个A帧。这样，反向时域滤波单元22将开始重建该GOP中的第二帧或倒数第二帧。类似地，将根据为该特定帧所提供的运动矢量和帧号，通过查找像素值来重建这个帧。
如前所述，双向H帧可能包括根据先前帧或后续帧或两者的匹配进行滤波的区域。对于只来自先前帧或后续帧的匹配，可以只查找像素值并加到当前处理帧的对应区域即可。对于来自先前帧和后续帧的匹配，则需要查找来自先前帧和后续帧的值并进行平均。然后将该平均值加到当前处理帧的对应区域。该GOP中剩余的H帧将以类似地方式来重建。
如图8所示，是根据本发明，实现了利用多个参考帧用于运动补偿时域滤波的基于可分级小波的编码系统的一个例子。作为举例，该系统可以代表电视，机顶盒，台式机，膝上型计算机或掌上型计算机，个人数字助理(PDA)，视频/图像存储设备，例如盒式录像机(VCR)，数字视频录像机(DVR)，TiVO设备等等，以及这些和其他设备的部分或组合。该系统包括一个或多个视频源26，一个或多个输入/输入设备34，处理器28，存储器30和显示设备36。
视频/图像源26可以代表，例如电视接收机，VCR或其他视频/图像存储设备。视频源26也可以代表一个或多个网络连接器，用于通过例如全球计算机通信网从服务器接收视频，该全球计算机通信网例如是互联网，广域网，域际网，局域网，地面广播系统，有线网，卫星网，无线网，或电话网，以及这些和其他类型网络的部分或组合。
输入/输出设备34，处理器28和存储器30通过通信介质32进行通信。通信介质32可以代表，例如总线，通信网，一个或多个电路的内部连接，电路卡或其他设备，以及这些和其他通信媒体的部分和组合。从视频源26输入的视频数据是根据一个或多个存储器30中存储的软件程序来处理的，并由处理器28来执行，以便产生提供到显示设备36的输出视频/图像。
特别地，存储在存储器30中的软件程序包括利用多个参考帧进行运动补偿时域滤波的基于可分级小波的编码，先前关于如图2和7所述。在本实施例中，利用多个参考帧进行运动补偿时域滤波的基于可分级小波的编码是通过该系统执行计算机可读代码来实施的。该代码可被存储在存储器30或从诸如CD-ROM或软盘这样的存储介质中读出/下载。在其他实施例中，可以使用硬件电路来代替软件指令或与软件指令结合使用来实施本发明。
虽然结合特定实施例对本发明进行了说明，但应当理解本发明并不局限于这里所公开的例子。因此，本发明可覆盖随后权利要求的精神和范围内所包含的各种结构和变化。

Claims (33)

1.一种对一组视频帧进行编码的方法，包括以下步骤：
从该组中选择一些帧；
将这些帧的每一个帧中的区域都与多个参考帧中的区域相匹配；
计算在这些帧中的每个帧的区域的像素值和该多个参考帧中的区域的像素值之间的差值；和
将该差值转换为小波系数。
2.如权利要求1所述的方法，其中该多个参考帧是该组中的先前的帧。
3.如权利要求1所述的方法，其中该多个参考帧是该组中的后续的帧。
4.如权利要求1所述的方法，其中该多个参考帧是该组中的先前帧和后续帧。
5.如权利要求1所述的方法，还包括通过一个比例因数对该差值进行相除，该差值是这些帧中每个帧的区域的像素和多个参考帧中的区域的像素之间的差值。
6.如权利要求1所述的方法，还包括根据重要性信息对该小波系数进行编码。
7.如权利要求1所述的方法，还包括对该小波系数进行熵编码。
8.如权利要求1所述的方法，还包括以下步骤：
将至少一个帧中的区域与另一个帧中的区域相匹配，其中该至少一个帧和该另一个帧并不包含在所述的一些帧中；
计算在该至少一个帧中的区域的像素值和该另一个帧中的区域的像素值之间的差值；
将该差值转换为小波系数。
9.一种存储介质，包含用于对一组视频帧进行编码的代码，该代码包括：
用于从该组中选择一些帧的代码；
用于将这些帧的每一个帧中的区域都与多个参考帧中的区域相匹配的代码；
用于计算在这些帧中每个帧的区域的像素值和该多个参考帧中的区域的像素值之间的差值的代码；和
用于将该差值转换为小波系数的代码。
10.一种用于对视频序列进行编码的设备，包括：
划分单元，用于将该视频序列划分为许多组帧；
运动补偿时域滤波单元，用于从每个组中选择一些帧，并利用多个参考帧对这些帧的每个帧进行运动补偿时域滤波；和
空间分解单元，用于将每个组变换为小波系数。
11.如权利要求10所述的设备，其中该运动补偿时域滤波单元将这些帧的每个帧中的区域都与该多个参考帧中的区域相匹配，并计算在这些帧中的每个帧的区域的像素值和多个参考帧中的区域的像素值之间的差值。
12.如权利要求10所述的设备，其中该多个参考帧是该同一组中的先前的帧。
13.如权利要求10所述的设备，其中该多个参考帧是该同一组中的后续的帧。
14.如权利要求10所述的设备，其中该多个参考帧是该同一组中的先前帧和后续帧。
15.如权利要求10所述的设备，其中该时域滤波单元通过一个比例因数对该差值进行相除，该差值是该至少一个帧中的区域的像素和该多个参考帧中的区域的像素之间的差值。
16.如权利要求10所述的设备，还包括一个单元，用于根据重要性信息对该小波系数进行编码。
17.如权利要求10所述的设备，还包括一个熵编码单元，用于将该小波系数编码为比特流。
18.如权利要求10所述的设备，其中该运动补偿时域滤波单元还将每个组中至少一个帧中的区域与另一个帧中的区域相匹配，并计算该至少一个帧中的像素值和该另一个帧的区域的像素值之间的差值，其中该至少一个帧和该另一个帧并不包含在所述的一些帧中。
19.一种对包含一组编码视频帧的比特流进行解码的方法，包括以下步骤：
将该比特流进行熵解码，以产生小波系数；
将该小波系数变换为部分解码的帧；和
利用多个参考帧对一些部分解码帧进行反向时域滤波。
20.如权利要求19所述的方法，其中该反向时域滤波包括：
从多个参考帧中查找先前与一些部分解码帧的每个帧中的区域相匹配的区域；和
将多个参考帧中的区域的像素值加到一些部分解码帧的每个帧中的区域的像素值上。
21.如权利要求19所述的方法，其中从多个参考帧中查找区域的步骤是根据比特流中包含的运动矢量和帧号来执行的。
22.如权利要求19所述的方法，其中该多个参考帧是该组中的先前的帧。
23.如权利要求19所述的方法，其中该多个参考帧是该组中的后续的帧。
24.如权利要求19所述的方法，其中该多个参考帧是该组中的先前帧和后续帧。
25.如权利要求19所述的方法，还包括通过一个比例因数对该一些部分解码帧进行相乘。
26.如权利要求19所述的方法，还包括根据重要性信息对该小波系数进行解码。
27.如权利要求19所述的方法，还包括根据另一个部分解码帧对至少一个部分解码帧进行反向时域滤波，其中该至少一个部分解码帧和该另一个部分解码帧并不包含在所述一些帧中。
28.一种存储介质，包含用于对包括一组编码视频帧的比特流进行解码的代码，该代码包括：
用于将该比特流进行熵解码以产生小波系数的代码；
用于将该小波系数变换为部分解码的帧的代码；和
用于利用多个参考帧对一些部分解码帧进行反向时域滤波的代码。
29.一种用于对包括一组编码视频帧的比特流进行解码的设备，包括：
熵解码单元，用于将该比特流解码为小波系数；
空间重组单元，用于将该小波系数变换为部分解码的帧；和
反向时域滤波单元，用于从多个参考帧中查找先前与一些部分解码帧中的区域相匹配的区域，并将该多个参考帧中的区域的像素值加到该一些部分解码帧中的区域的像素值上。
30.如权利要求29所述的设备，其中从多个参考帧中查找区域是根据比特流中包含的运动矢量和帧号来执行的。
31.如权利要求29所述的设备，其中该反向时域滤波单元通过一个比例因数对该一些部分解码帧进行相乘。
32.如权利要求29所述的设备，还包括重要性解码单元，用于根据重要性信息对该小波系数进行解码。
33.如权利要求29所述的设备，其中该反向时域滤波单元还从另一个部分解码帧中查找匹配区域，这些区域先前与至少一个部分解码帧中的区域相匹配，并将另一个部分解码帧中的区域的像素值加到至少一个部分解码帧中的区域的像素值上，其中该至少一个部分解码帧和另一个部分解码帧并不包含在所述一些帧中。
CNA038095769A 2002-04-29 2003-04-15 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码 Pending CN1650634A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US37638102P 2002-04-29 2002-04-29
US60/376,381 2002-04-29
US10/218,221 US20030202599A1 (en) 2002-04-29 2002-08-13 Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US10/218,221 2002-08-13

Publications (1)

Publication Number Publication Date
CN1650634A true CN1650634A (zh) 2005-08-03

Family

ID=29254156

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038095769A Pending CN1650634A (zh) 2002-04-29 2003-04-15 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码

Country Status (7)

Country Link
US (1) US20030202599A1 (zh)
EP (1) EP1504607A2 (zh)
JP (1) JP2005524352A (zh)
KR (1) KR20040106417A (zh)
CN (1) CN1650634A (zh)
AU (1) AU2003216659A1 (zh)
WO (1) WO2003094524A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103404122A (zh) * 2011-01-28 2013-11-20 皇家飞利浦电子股份有限公司 基于运动矢量的运动对象比较
CN110276812A (zh) * 2018-03-13 2019-09-24 奇景光电股份有限公司 有机发光二极管显示面板的补偿数据的压缩方法
CN113923453A (zh) * 2021-11-18 2022-01-11 北京达佳互联信息技术有限公司 视频的时域滤波方法及装置、电子设备、存储介质

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321625B2 (en) 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
FR2855356A1 (fr) * 2003-05-23 2004-11-26 Thomson Licensing Sa Procede de codage et/ou de decodage de groupe d'images
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7627040B2 (en) * 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
CN1813479A (zh) * 2003-06-30 2006-08-02 皇家飞利浦电子股份有限公司 过完备小波域中的视频编码
US20070053435A1 (en) * 2003-10-10 2007-03-08 Koniklijke Philips Electronics N.V. 3D video scalable video encoding method
AU2004310917B2 (en) * 2003-12-01 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
KR100596706B1 (ko) * 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
MXPA06006107A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
KR20050075578A (ko) * 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
KR100834750B1 (ko) * 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
KR100631777B1 (ko) * 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100586882B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
JP2008514107A (ja) * 2004-09-16 2008-05-01 サムスン エレクトロニクス カンパニー リミテッド ウェーブレット変換装置及びその方法、それを採用したスケーラブル画像符号化装置及びその方法、スケーラブル画像復号化装置及びその方法
KR101102393B1 (ko) 2004-12-06 2012-01-05 엘지전자 주식회사 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치
US20090274381A1 (en) * 2004-12-22 2009-11-05 Koninklijke Philips Electronics, N.V. Scalable coding
KR100695138B1 (ko) * 2005-01-21 2007-03-14 삼성전자주식회사 영상 압축 장치 및 그 방법
KR100755689B1 (ko) 2005-02-14 2007-09-05 삼성전자주식회사 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100703772B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
US8483277B2 (en) 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
US8279918B2 (en) 2005-07-15 2012-10-02 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using residual signal clipping
US8755440B2 (en) * 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5301020A (en) * 1991-11-01 1994-04-05 Aware, Inc. Method and apparatus for coding motion pictures utilizing motion compensation
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
KR100308627B1 (ko) * 1995-10-25 2001-11-02 마찌다 가쯔히꼬 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더
AU5501296A (en) * 1996-04-19 1997-11-12 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
KR100204478B1 (ko) * 1996-05-09 1999-06-15 배순훈 전역 움직임에 의한 빈 공간 보상 방법 및 그 장치
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
US6690835B1 (en) * 1998-03-03 2004-02-10 Interuniversitair Micro-Elektronica Centrum (Imec Vzw) System and method of encoding video frames
CN1205818C (zh) * 2000-04-11 2005-06-08 皇家菲利浦电子有限公司 视频编码和解码方法
US6842483B1 (en) * 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
US6959120B1 (en) * 2000-10-27 2005-10-25 Microsoft Corporation Rebinning methods and arrangements for use in compressing image-based rendering (IBR) data
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103404122A (zh) * 2011-01-28 2013-11-20 皇家飞利浦电子股份有限公司 基于运动矢量的运动对象比较
CN103404122B (zh) * 2011-01-28 2017-03-22 皇家飞利浦电子股份有限公司 基于运动矢量的运动对象比较
CN110276812A (zh) * 2018-03-13 2019-09-24 奇景光电股份有限公司 有机发光二极管显示面板的补偿数据的压缩方法
CN110276812B (zh) * 2018-03-13 2023-03-14 奇景光电股份有限公司 有机发光二极管显示面板的补偿数据的压缩方法
CN113923453A (zh) * 2021-11-18 2022-01-11 北京达佳互联信息技术有限公司 视频的时域滤波方法及装置、电子设备、存储介质
CN113923453B (zh) * 2021-11-18 2024-01-23 北京达佳互联信息技术有限公司 视频的时域滤波方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
WO2003094524A3 (en) 2004-02-05
US20030202599A1 (en) 2003-10-30
KR20040106417A (ko) 2004-12-17
AU2003216659A8 (en) 2003-11-17
JP2005524352A (ja) 2005-08-11
WO2003094524A2 (en) 2003-11-13
AU2003216659A1 (en) 2003-11-17
EP1504607A2 (en) 2005-02-09

Similar Documents

Publication Publication Date Title
CN1650634A (zh) 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码
US6898324B2 (en) Color encoding and decoding method
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
US6519284B1 (en) Encoding method for the compression of a video sequence
US7876820B2 (en) Method and system for subband encoding and decoding of an overcomplete representation of the data structure
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US7023923B2 (en) Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US6597739B1 (en) Three-dimensional shape-adaptive wavelet transform for efficient object-based video coding
US20050169379A1 (en) Apparatus and method for scalable video coding providing scalability in encoder part
CN1182335A (zh) 用于符合mpeg2的实时编码的有效灵活的运动估计结构
CN1813479A (zh) 过完备小波域中的视频编码
CN1276664C (zh) 视频编码方法
KR100561587B1 (ko) 3차원 웨이브렛 변환 방법 및 장치
CN1685731A (zh) 可分级视频编码
CN1650633A (zh) 用于小波编码的基于多参考帧的运动补偿时间过滤
CN1689045A (zh) 用于基于小波的编码中的运动补偿的时间滤波的既有被滤波区域又有未滤波区域的l帧
US20070110162A1 (en) 3-D morphological operations with adaptive structuring elements for clustering of significant coefficients within an overcomplete wavelet video coding framework
Ravichandran et al. Enhanced Adaptive Approach of Video Coding at Very Low Bit Rate Using MSPIHT Algorithm
Pesquet-Popescu et al. Embedded color coding for scalable 3D wavelet video compression
CN1706197A (zh) 使用自适应运动补偿时间滤波的完全可分级3－d过完整小波视频编码
WO2006080665A1 (en) Video coding method and apparatus
WO2006043750A1 (en) Video coding method and apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication