CN1650633A - 用于小波编码的基于多参考帧的运动补偿时间过滤 - Google Patents

用于小波编码的基于多参考帧的运动补偿时间过滤 Download PDF

Info

Publication number
CN1650633A
CN1650633A CNA038095165A CN03809516A CN1650633A CN 1650633 A CN1650633 A CN 1650633A CN A038095165 A CNA038095165 A CN A038095165A CN 03809516 A CN03809516 A CN 03809516A CN 1650633 A CN1650633 A CN 1650633A
Authority
CN
China
Prior art keywords
frame
zone
group
wavelet coefficient
accordance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038095165A
Other languages
English (en)
Inventor
D·图拉加
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/218,214 external-priority patent/US7023923B2/en
Priority claimed from US10/218,221 external-priority patent/US20030202599A1/en
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1650633A publication Critical patent/CN1650633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种用于对一组视频帧进行编码的方法和装置。按照本发明，将所述组内的至少一个帧中的区域与多个参考帧中的区域进行匹配。计算所述至少一个帧中的区域的像素值与所述多个参考帧中的区域的像素值之间的差值。将所述差值变换为小波系数。本发明还涉及一种用于通过执行上述编码的逆向过程对一组帧进行解码的方法和装置。

Description

用于小波编码的基于多参考帧的运动补偿时间过滤
本发明总地来说涉及视频压缩，并且更具体地讲，涉及利用用于运动补偿时间过滤的多个参考帧进行的基于小波的编码。
很多当前的视频编码算法是在运动补偿预测编码的基础上进行的，它们称为混合方案。在这些混合方案中，利用运动补偿使时间冗余度得到了降低，而空间冗余度是通过对运动补偿的剩余产物进行变换编码来降低的。通常使用的变换包括离散余弦变换(DCT)或次频段/小波分解。不过，在提供真正的可伸缩位流方面，这些方案缺乏灵活性。
另一种类型的称为基于3D次频段/小波(下文中称为“3D小波”)的编码的方案已经得到了普及，尤其是在当前在各种不同的网络上进行的视频传输的方案中得到了广泛应用。这些方案在这种应用中是比较理想的，因为它们实现了非常灵活的可伸缩位流和较高的出错复原能力。在3D小波编码中，一次同时对整个帧进行变换，而不是象基于DCT的编码那样一块一块地进行变换。
3D小波方案的一个要件是运动补偿时间过滤(MCTF)，进行运动补偿时间过滤的目的在于降低时间冗余度。MCTF的一个例子在标题为《视频的运动补偿3-D次频段编码(Motion-Compensated 3-DSubband Coding of Video)》(IEEE Transactions On ImageProcessing)，1999年2月，第2期，第8卷)的文章中进行了介绍，该文章作者为Seung-Jong Choi和John Woods，后面将把该文章称为“Woods”。
在Woods中，在进行空间分解之前，在运动方向上对帧进行时间过滤。在时间过滤期间，由于画面中运动的性质和物体的遮挡/显现，会造成某些像素未得到参考或得到多次参考。这些像素称为不连贯像素，并且需要特殊处理，这会导致编码效率的降低。在附图1中示出了不连贯和连贯像素的例子，该附图摘自Woods。
本发明涉及一种对一组视频帧进行编码的方法和装置。按照本发明，将所述组中的至少一个帧中的区域与多个参考帧中的区域进行匹配。计算所述至少一个帧中的区域的像素值与所述多个参考帧中的区域的像素值之间的差值。将该差值变换为小波系数。
本发明还涉及一种对包含一组编码视频帧的位流进行解码的方法和装置。按照本发明，对位流进行熵解码，以产生小波系数。对小波系数进行变换，以产生部分解码帧。使用多个参考帧对至少一个部分解码帧进行逆向时间过滤。
在一个例子中，所述逆向时间过滤包括从多个先前与至少一个部分解码帧中的区域相匹配的参考帧中取回的区域，以及加到所述至少一个部分解码帧中的区域的像素值上的多个参考帧中的区域的像素值。
现在所参照的附图中，相同的附图标记通篇表示相应的部分：
附图1是表示公知的运动补偿时间过滤技术的特征的示意图；
附图2是按照本发明的编码器的一个例子的框图；
附图3是表示2D小波变换的一个例子的框图；
附图4是表示按照本发明的运动估计的一个例子的示意图；
附图5是表示按照本发明的时间过滤的一个例子的示意图；
附图6是表示按照本发明的时间过滤的另一个例子的示意图；
附图7是按照本发明的解码器的一个例子；和
附图8是按照本发明的系统的一个例子。
如前面所述，3D小波方案的一个要件是运动补偿时间过滤(MCTF)，进行MCTF是为了降低时间冗余度。在MCTF期间，不连贯像素可能会造成需要特殊处理，这样会降低编码效率。本发明涉及一种新的MCTF方案，该方案在运动估计和时间过滤期间使用多个参考帧，以显著提高匹配的质量并且同时减少不连贯像素的数量。因此，这种新的方案通过改善最佳匹配并且同时减少不连贯像素的数量而提供提高的编码效率。
附图2中给出了一个按照本发明的编码器的例子。从图中可以看到，该编码器包括一个分割单元2，该分割单元2将输入视频划分为一组图像(GOP)，这些图像将编码为一个单元。按照本发明，分割单元2工作的结果是，使得GOP包括预定数量的帧，或者在工作期间根据诸如带宽、编码效率和视频内容之类的参数动态地确定GOP。例如，如果视频是由快速场景变换和高速运动构成的，那么具有较短的GOP将会效率更高，而如果视频主要是由静态物体构成的，那么具有较长的GOP将会效率更高。
从图中可以看到，还包含一个MCTF单元4，该单元由一个运动估计单元6和一个时间过滤单元8组成。在工作期间，运动估计单元6对每个GOP中的帧进行运动估计。如前文所述，对每个GOP进行的运动估计是在多个参考帧的基础上进行的。因此，GOP的帧中的像素组或区域将会与同一GOP内的其它帧中的类似的像素组或区域匹配。因此，对于每个处理过的帧而言，GOP中的其它帧都是参考帧。
在一个例子中，运动估计单元6将进行后向预测。这样，GOP内一个或多个帧中的像素组或区域将会与同一GOP内的在前帧中的类似像素组或区域匹配。在这个例子中，GOP内的在前帧是每个处理过的帧的参考帧。由于每个GOP作为一个单元进行处理，所以第一帧可能无法加以处理，这是因为没有在前帧可以利用。不过，可替换地，在另一个例子对该第一帧可以进行前向预测。
在另一个例子中，运动估计单元6会进行前向预测。这样，GOP内的一个或多个帧中的像素组或区域将会与同一GOP内的后续帧中的类似像素组或区域匹配。在这个例子中，GOP内的后续帧是每个处理过的帧的参考帧。由于每个GOP作为一个单元进行处理，最后帧可能无法加以处理，因为没有任何在前帧可以利用。不过，可替换地，可以在另外一个例子中对该最后帧进行后向预测。
在另外一个例子中，运动估计单元6将进行双向预测。这样，GOP内的一个或多个帧中的像素组或区域可以与同一GOP内的在前和后续帧中的类似的像素组或区域匹配。在这个例子中，GOP内的在前和后续帧都是每个处理过的帧的参考帧。由于每个GOP是作为一个单元进行处理的，因此GOP的第一帧和最后帧将无法得到双向处理。因此，在这个例子中，第一帧或最后帧可能无法由运动估计单元6加以处理，而另一个会得到前向或后向预测。
作为上述匹配的结果，运动估计单元6提供一个运动向量MV和当前正在处理的帧中加以匹配的每个区域的帧号码。在某些情况下，仅有一个与当前正在处理的帧中的每个区域相关的运动向量MV和帧号码。不过，如果使用了双向预测，可以有两个与每个区域相关的运动向量MV和帧号码。每个运动向量和帧号码将指示位置和该GOP内包含与每个处理过的帧中的区域相匹配的类似区域的其它帧。
在工作期间，时间过滤单元8依照由运动估计单元6提供的运动向量MV和帧号码消除各个GOP的帧之间的时间冗余度。如从附图1所见，Woods的MCTF取得两个帧并且将这些帧变换到两个次频段，包括一个低次频段和一个高次频段。低次频段对应于两个帧中相应像素的(经缩放的)平均值，而高边带对应于两个帧中相应像素之间的(经缩放的)差值。
相反，本发明的时间过滤单元8仅产生一个与每个帧相对应的次频段或帧。如前文中关于附图2所述的，取决于使用后向、前向或双向预测，GOP的第一帧或最后帧可能无法由运动估计单元6进行处理。这样，时间过滤单元8将无法对GOP的第一帧或最后帧进行任何过滤，把这样的帧定义为A帧。此外，GOP内剩下的帧将通过仅仅求得每个帧的区域与在GOP内的其它帧中找到的类似区域之间的差值进行时间过滤，把这样的帧定义为H帧。
特别是，时间过滤单元8将会通过首先取回与每个H帧中的区域匹配过的类似区域来对H帧进行过滤。这将会依照由运动估计单元6提供的运动向量和帧参考号码来完成。如前文所述，每个H帧中的区域要与同一GOP内的其它帧中的类似区域相匹配。在取回所述类似区域之后，时间过滤单元8随后会计算所述类似区域中的像素值与被匹配区域中的像素值之间差值。此外，时间过滤单元8优选地能够将这一差值除以某个缩放因子。
按照本发明，上述的MCTF方案得出了提高的编码效率，这是因为最佳匹配的质量得到了明显的提高并且不连贯像素的数量也得到了减少。具体来讲，仿真表明，对于每个帧，不连贯像素的数量从百分之三十四(34％)减小到了百分之二十二(22％)。不过，本发明的MCTF方案仍然会产生一些不连贯像素。因此，时间过滤单元8将会按照Woods所述的方式对这些不连贯像素进行处理。
如附图中所见，包含一个空间分解单元10，用以减少由MCTF单元4提供的帧中的空间冗余度。在工作期间，按照2D小波变换方式将从MCTF单元4接收到的帧变换为小波系数。现有许多不同类型的过滤器和小波变换实现方式。
附图3中给出了一个适当的2D小波变换的例子。如图中所见，使用小波过滤器将一个帧分解到低频和高频次频段。由于这是一个2D变换，从而有三个高频次频段(水平、垂直和对角线)。将低频次频段标为LL次频段(水平和垂直频率全部都低)。将这些高频次频段标为LH、HL和HH，对应于水平高频、垂直高频以及水平和垂直同为高频。可以采用递归方式对低频次频段进行进一步分解。在附图3中，WT代表小波变换。其它一些公知的小波变换方案在由Stephane Mallat所著的名为《信号处理的小波转换(A Wavelet Tour of SignalProcessing)》(1997，Academic Press)的书中进行了介绍。
回过头来参照附图2，编码器还可以包含一个重要性编码单元12，用于依据重要性信息对空间分解单元10的输出进行编码。在这个例子中，重要性可以意味着小波系数的大小，其中较大的系数比较小的系数更重要。在这个例子中，重要性编码单元10会查看从空间分解单元10接收到的小波系数，然后依照大小对小波系数进行记录。这样，具有最大大小的小波系数将会首先得以发送。重要性编码的一个例子是层次树的集划分(Set Partitioning In Hierarchical Trees)(SPIHT)。这种编码技术在A.Said和W.Pearlman所作的标题为《一种新的基于层次树的集划分的快速有效的图像编解码(A New Fast andEfficient Image Codec Based on Set Partitioning inHierarchical Tress)》(IEEE Transactions on Circuit and Systemfor Video Technology，1996年6月，第6卷)中做出了介绍。
从附图2中可以看出，所包含的虚线代表某些操作过程之间的相关性。在一种情况下，运动估计6依赖于重要性编码12的性质。例如，由运动估计产生的运动向量可用于确定哪些小波系数重要性更高。在另一种情况下，空间分解8还可能依赖于重要性编码12的类型。例如小波分解的级数可能与重要系数的数量相关。
进一步可以看出，包含有一个熵编码单元14，用以产生输出位流。在工作期间，应用了熵编码技术，来将小波系数编码为输出位流。也对由运动估计单元6提供的运动向量和帧号码应用熵编码技术。这个信息包含在输出位流中，以便使解码能够得以进行。适当的熵编码技术的实例包括可变长度编码和算术编码。
在附图4中给出了一个按照本发明的运动估计的实例。如前文所述，按照本发明的运动估计利用多个参考帧。从附图4中可以看出，在这个实例中使用了后向预测。这样，来自正在处理的当前帧的不同的块与在前帧中的类似块进行匹配。在这个例子中，显示了两个参考帧，不过在编码过程中，参考帧的数量既可以是固定的，也可以是适应性选取的。还应当注意到，在这个例子中，采用的是基于块的运动估计技术。此外，策略是分层次的并且考虑了可变的块大小。
附图5中给出了一个按照本发明的时间过滤的例子。如图中所见，旧的方案位于左侧，而按照本发明的新方案位于右侧。在旧的方案中，过滤是对来自当前帧的像素和来自单一参考帧的像素一起进行的，以产生对应的H和L帧。相反，在新的时间过滤方案中，过滤是对来自当前帧的像素和来自多个参考帧的像素一同进行的。在这个例子中，采用了后向预测，因此参考帧是在前帧。
而且，由于在新的时间过滤方案中采用了来自多个参考帧的区域或像素组，因此不需要产生对应的L帧。而是，除了称为A帧的第一帧之外，产生对应于GOP内的每个帧的H帧。所述H帧是通过对来自当前帧的每个像素连同在前帧中它的匹配项一起进行过滤而产生的。
从附图5的右侧可以进一步看出，将来自帧2的像素与帧1中的像素进行匹配，将来自帧3的像素与帧1和2中的像素进行匹配，并且将来自帧4的像素与帧1、2和3中的像素进行匹配。将来自帧2的像素连同对应的匹配项一起进行时间过滤，以产生相应的H帧。类似地，将来自帧3和4的像素连同对应的匹配项一起进行时间过滤，以产生相应的H帧。从附图5右侧可以进一步看出，来自帧1的像素没有得到过滤，从而无变化地通过。如前文所述，将这种类型的帧定义为A帧。
在附图6中示出了另一个按照本发明的时间过滤的例子。在这个例子中，采用了双向预测。如前文所述，在双向预测中，每个正在处理的帧中的区域可以同时与在前和后续帧中的区域进行匹配。然后对这些区域连同其在在前和后续帧中的匹配项一起进行时间过滤。双向过滤是非常理想的，因为它明显提高了跨越场景变化的帧或具有很多在场景中移动的物体而引起遮挡的帧的性能。存在与对第二组运动向量进行编码相关的额外开销，不过与编码效率的收益比较起来，这种额外开销是微不足道的。
从附图6中可以看出，并不是所有的帧都是双向过滤的。例如，帧1并没有得到过滤，因为在该组中没有在前帧可以用作参考帧。这样，帧1得以无变化地通过，并且将其定义为A帧。此外，对帧3进行了处理，以产生一个H帧。不过，由于在该组中没有可用的后续帧用作参考帧，故而无法使用双向过滤。替代地，使用在前帧对帧3进行时间过滤。这意味着会使用后向预测来找出在前帧中的匹配项，以便进行时间过滤。在时间过滤的另一个例子中，GOP中的第一帧可以是一个单向H帧，而最后帧可以是A帧。在这个例子中，为了进行时间过滤，会使用前向预测来找出后续帧中的匹配项。
如从图中所见，帧2是一个经双向过滤的H帧。不过，并非帧2中的所有的区域都可以得到双向过滤。例如，一个区域可能仅与在前帧中的区域进行匹配。于是，这样的区域会使用后向预测基于在前帧中的匹配项进行过滤。类似地，仅与后续帧中的区域匹配的区域会相应地使用前向预测进行过滤。
在一个区域既与在前帧又与后续帧中的区域进行匹配的情况下，双向过滤得以进行。这样，在前和后续帧中的区域的对应像素取平均。然后将正在过滤的帧(在这个例子中是帧2)中的对应像素减掉该平均值。如前文所述，这一差值优选地除以某个缩放因子。为了简化解码过程，优选的是不使用双向H帧作为参考帧。这是因为要解码双向帧，就必须首先解码在前和后续帧。因此，在其它的例子中，其中在GOP中包含有多个双向帧，就需要包括多个其它的单向H帧。
在附图7中给出了按照本发明的解码器的一个例子。如前面关于附图2所述的，将输入视频划分成多个GOP并且将每个GOP作为一个单元进行编码。这样，输入位流可能包括一个或多个将作为一个单元进行解码的GOP。该位流还将包括与GOP中的每个预先经过了运动补偿时间过滤的帧相对应的多个运动向量MV和帧号码。运动向量和帧号码表示预先与已经经过时间过滤的每个帧中的区域相匹配过的同一GOP内的其它帧中的区域。
如图中所见，该解码器包括一个用于对输入位流进行解码的熵解码单元16。在工作期间，将按照在编码端进行的熵编码技术的逆过程对输入位流进行解码。这一熵解码将会产生与每个GOP对应的小波系数。此外，该熵解码还产生稍后将要用到的多个运动向量和帧号码。
包括一个重要性解码单元18，以便依照重要性信息对来自熵解码单元16的小波系数进行解码。因此，在工作期间，通过使用在编码器端使用过的技术的逆过程按照正确的空间顺序对小波系数进行排序。从图中可以进一步看出，还包括一个空间重组单元20，用于将来自重要性解码单元18的小波系数变换为部分解码帧。在工作期间，按照在编码器端执行过的2D小波变换的逆过程对与每个GOP对应的小波系数进行变换。这样会产生经过按照本发明的运动补偿时间过滤的部分解码帧。
如前文所述，按照本发明的运动补偿时间过滤得出了由多个H帧和一个A帧表示的各个GOP，H帧是GOP内每个帧与同一GOP内的其它帧之间的差，而A帧是没有在编码器端由运动补偿和时间过滤进行过处理的第一帧或最后帧。根据执行了何种类型的预测，A帧可以代表GOP中的第一帧或最后帧。
包含一个逆向时间过滤单元22，用以通过执行编码器端所执行的时间过滤的逆过程重构包含在来自空间分解单元20的每个GOP中的H帧。首先，如果H帧在编码器端除以了某个缩放因子，那么来自空间分解单元20的帧就要乘以同样的因子。此外，时间过滤单元22随后根据熵解码单元16提供的运动向量MV和帧号码重构包含在每个GOP中的H帧。
为了重构H帧，首先确定A帧位于每个GOP中的什么位置。如果在编码器端使用了后向运动估计，则在这个例子中A帧就应当是GOP中的第一帧。这样，逆向时间过滤单元22将开始重构GOP中的第二帧。具体讲，通过依据为该特定帧提供的运动向量和帧号码来取回像素值而重构所述第二帧。在这种情况下，运动向量将指向第一帧中的区域，该第一帧是A帧。然后逆向时间过滤单元22将取回的像素值加到第二帧中的相应区域上，并且从而将差值转换为实际的像素值。然后使用第一帧和第二帧作为参考帧类似地重构下一帧，如此重复，直到GOP内所有的帧都得到了重构。
如果在编码器端使用了前向运动估计，那么在这个例子中A帧就是GOP内的最后帧。这样，逆向过滤单元22将开始重构GOP内的倒数第二帧。通过依据为该特定帧提供的运动向量和帧号码取回像素值来重构倒数第二帧。在这种情况下，运动向量指向最后帧中的区域，该最后帧是A帧。逆向时间过滤单元22然后将所取回的像素值加到倒数第二帧中相应的区域上，从而将差值转换为实际的像素值。然后使用最后和倒数第二帧作为参考帧来类似地重构下一帧，并且如此重复，直到GOP内的所有的帧都得到了重构。
如果在编码器端使用了双向运动估计，那么取决于实现了哪一个例子，A帧就会是第一帧或最后帧。这样，逆向过滤单元22将会开始重构GOP内的第二帧或倒数第二帧。类似地，通过依据为特定帧提供的运动向量和帧号码取回像素值来重构这一帧。
如前文所述，双向H帧可以包括基于来自在前帧、后续帧或二者的匹配项进行过滤的区域。对于仅来自在前或后续帧的匹配项，只取回像素值并且将其加到正在处理的当前帧中相应的区域上。对于来自它们二者的匹配项，取回来自在前和后续帧二者的值，并且对它们求平均。然后将这一平均值加到正在处理的当前帧中的相应区域上。
如前所述，如果GOP包括其它的双向H帧，也会重构这些帧。如前文针对双向时间过滤所述的，还可能与双向H帧一起包含有单向H帧，为了重构单向帧，将会根据在编码器端进行的是后向预测还是前向预测，对在前或后续帧进行逆向时间过滤。
在附图8中给出了可以实现按照本发明的用于运动补偿时间过滤的采用多个参考帧进行的基于小波的编码的系统的一个例子。通过举例，该系统可以表示电视、机顶盒、台式计算机、膝上型计算机或掌上型计算机、个人数字助理(PDA)、诸如视频盒式磁带记录器(VCR)、数字视频记录器(DVR)、TiVO装置之类的视频/图像存储装置、以及这些装置和其它装置的部分或组合。该系统包括一个或多个视频源26、一个或多个输入/输出装置34、一个处理器28、一个存储器30和一个显示装置36。
视频/图像源26可以代表，例如，电视接收机、VCR或其它视频/图像存储装置。可替换地，源26也可以代表一个或多个用于从一个服务器或多个服务器接收视频的网络连接，例如，诸如因特网这样的全球计算机通信网络、广域网、城域网、局域网、地面广播网、有线网、卫星网、无线网或电话网，以及这些网络和其它类型的网络的部分或组合。
输入/输出装置34、处理器28和存储器30通过通信介质32进行通信。通信介质32可以代表，例如，总线、通信网络、电路的一个或多个内部连接、电路卡或其它装置，以及这些介质和其它通信介质的部分和组合。来自源26的输入视频数据依照存储在存储器30中并由处理器28执行的一个或多个软件程序进行处理，以便产生供应给显示装置36的输出视频/图像。
具体来说，存储在存储器30上的软件程序包括用于运动补偿时间过滤的采用多个参考帧进行的基于小波的编码，如前面就附图2和7所介绍的。在本实施例中，用于运动补偿时间过滤的采用多个参考帧进行的基于小波的编码借助由该系统执行的计算机可读代码来实现。该代码可以存储在存储器30中或从诸如CD-ROM或软盘之类的存储介质中读取/下载。在其它的实施例中，可以使用硬件电路来替代软件指令或与软件指令结合使用以实现本发明。
虽然上面依据特定的实例对本发明进行了介绍，但是应当明白，本发明并非意欲由本文所公开的实例来加以约束或限制。因此，本发明意欲囊括包含在所附的权利要求书的思想和范围之内的其各种不同的结构和修改方案。

Claims (29)

1.一种对一组视频帧进行编码的方法，包括步骤：
将所述组内的至少一个帧中的区域与多个参考帧中的区域进行匹配；
计算所述至少一个帧中的所述区域的像素值与所述多个参考帧中的所述区域的像素值之间的差值；
将所述差值变换为小波系数。
2.按照权利要求1所述的方法，其中所述多个参考帧是所述组中的在前帧。
3.按照权利要求1所述的方法，其中所述多个参考帧是所述组中的后续帧。
4.按照权利要求1所述的方法，其中所述多个参考帧是所述组中的在前帧和后续帧。
5.按照权利要求1所述的方法，还包括：将所述至少一个帧中的区域内的像素与所述多个参照帧中的区域内的像素之间的差值除以一个缩放因子。
6.按照权利要求1所述的方法，还包括依据重要性信息对小波系数进行编码。
7.按照权利要求1所述的方法，还包括对小波系数进行熵编码。
8.一种包含用于对一组视频帧进行编码的代码的存储介质，所述代码包括：
用于将所述组内的至少一个帧中的区域与多个参考帧中的区域进行匹配的代码；
用于计算所述至少一个帧中的所述区域的像素值与所述多个参考帧中的所述区域的像素值之间的差值的代码；
用于将所述差值变换为小波系数的代码。
9.一种用于对视频序列进行编码的装置，包括：
分割单元，用于将所述视频序列划分为帧组；
用于使用多个参考帧对每个组内的至少一个帧进行运动补偿时间过滤的单元；
空间分解单元，用于将每个组变换为小波系数。
10.按照权利要求9所述的装置，其中所述运动补偿时间过滤单元包括：
运动估计单元，用于将至少一个帧中的区域与多个参考帧中的区域进行匹配；
时间过滤单元，用于计算所述至少一个帧中的所述区域的像素值与所述多个参考帧中的所述区域的像素值之间的差值。
11.按照权利要求9所述的装置，其中所述多个参考帧是同一组中的在前帧。
12.按照权利要求9所述的装置，其中所述多个参考帧是同一组中的后续帧。
13.按照权利要求9所述的装置，其中所述多个参考帧是同一组中的在前帧和后续帧。
14.按照权利要求10所述的装置，其中所述时间过滤单元将所述至少一个帧中的区域内的像素与所述多个参考帧中的区域内的像素之间的差除以一个缩放因子。
15.按照权利要求9所述的装置，还包括依据重要性信息对小波系数进行编码的单元。
16.按照权利要求9所述的装置，还包括熵编码单元，用于将小波系数编码为位流。
17.一种对包含一组编码视频帧的位流进行解码的方法，包括步骤：
对所述位流进行熵解码，以产生小波系数；
将所述小波系数变换为部分解码帧；和
使用多个参考帧对至少一个部分解码帧进行逆向时间过滤。
18.按照权利要求17所述的方法，其中所述逆向时间过滤包括：
从所述多个参考帧中取回先前与所述至少一个部分解码帧中的区域相匹配的区域；和
将所述多个参考帧中的区域的像素值加到所述至少一个部分解码帧中的区域的像素值上。
19.按照权利要求18所述的方法，其中从多个参考帧中取回区域的步骤是依据包含在所述位流中的运动向量和帧号码进行的。
20.按照权利要求17所述的方法，其中所述多个参考帧是所述组中的在前帧。
21.按照权利要求17所述的方法，其中所述多个参考帧是所述组中的后续帧。
22.按照权利要求17所述的方法，其中所述多个参考帧是所述组中的在前帧和后续帧。
23.按照权利要求17所述的方法，还包括将至少一个解码帧乘以一个缩放因子。
24.按照权利要求17所述的方法，还包括依据重要性信息对小波系数进行解码。
25.一种包含用于对包含一组编码视频帧的位流进行解码的代码的存储介质，所述代码包括：
用于对所述位流进行熵解码以产生小波系数的代码；
用于将所述小波系数变换为部分解码帧的代码；和
用于使用多个参考帧对至少一个部分解码帧进行逆向时间过滤的代码。
26.一种用于对包含一组编码视频帧的位流进行解码的装置，包括：
熵解码单元，用于将所述位流解码为小波系数；
空间重组单元，用于将所述小波系数变换为部分解码帧；和
逆向时间过滤单元，用于从所述多个参考帧中取回先前与所述至少一个部分解码帧中的区域相匹配的区域，并且将所述多个参考帧中的区域的像素值加到所述至少一个部分解码帧中的区域的像素值上。
27.按照权利要求26所述的装置，其中所述从多个参考帧中取回区域是依照包含在位流中的运动向量和帧号码进行的。
28.按照权利要求26所述的装置，其中所述逆向时间过滤单元将至少一个解码帧乘以一个缩放因子。
29.按照权利要求26所述的装置，其中还包括重要性解码单元，用于依据重要性信息对小波系数进行解码。
CNA038095165A 2002-04-29 2003-04-23 用于小波编码的基于多参考帧的运动补偿时间过滤 Pending CN1650633A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US37638102P 2002-04-29 2002-04-29
US60/376,381 2002-04-29
US10/218,214 2002-08-13
US10/218,214 US7023923B2 (en) 2002-04-29 2002-08-13 Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US10/218,221 US20030202599A1 (en) 2002-04-29 2002-08-13 Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US10/218,221 2002-08-13

Publications (1)

Publication Number Publication Date
CN1650633A true CN1650633A (zh) 2005-08-03

Family

ID=31192007

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038095165A Pending CN1650633A (zh) 2002-04-29 2003-04-23 用于小波编码的基于多参考帧的运动补偿时间过滤

Country Status (6)

Country Link
EP (1) EP1504608A2 (zh)
JP (1) JP2005524354A (zh)
KR (1) KR20040106418A (zh)
CN (1) CN1650633A (zh)
AU (1) AU2003219461A1 (zh)
WO (1) WO2003094526A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598670A (zh) * 2009-10-28 2012-07-18 三星电子株式会社 参考多个帧对图像进行编码/解码的方法和设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010963B (zh) 2004-08-31 2012-07-04 汤姆森特许公司 多参考画面的快速运动估计
KR100738076B1 (ko) 2004-09-16 2007-07-12 삼성전자주식회사 웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법
KR100755689B1 (ko) 2005-02-14 2007-09-05 삼성전자주식회사 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100703772B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
WO2006118384A1 (en) * 2005-05-02 2006-11-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding multi-layer video using weighted prediction
US8755440B2 (en) 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5301020A (en) * 1991-11-01 1994-04-05 Aware, Inc. Method and apparatus for coding motion pictures utilizing motion compensation
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598670A (zh) * 2009-10-28 2012-07-18 三星电子株式会社 参考多个帧对图像进行编码/解码的方法和设备
US9055300B2 (en) 2009-10-28 2015-06-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
CN102598670B (zh) * 2009-10-28 2015-11-25 三星电子株式会社 参考多个帧对图像进行编码/解码的方法和设备

Also Published As

Publication number Publication date
KR20040106418A (ko) 2004-12-17
WO2003094526A2 (en) 2003-11-13
EP1504608A2 (en) 2005-02-09
JP2005524354A (ja) 2005-08-11
WO2003094526A3 (en) 2004-02-05
AU2003219461A1 (en) 2003-11-17
AU2003219461A8 (en) 2003-11-17

Similar Documents

Publication Publication Date Title
CN1722838B (zh) 使用基础层的可伸缩性视频编码方法和设备
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
US7023923B2 (en) Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US7944975B2 (en) Inter-frame prediction method in video coding, video encoder, video decoding method, and video decoder
US6898324B2 (en) Color encoding and decoding method
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US20050169379A1 (en) Apparatus and method for scalable video coding providing scalability in encoder part
US20030202599A1 (en) Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US20060209961A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
US20050157794A1 (en) Scalable video encoding method and apparatus supporting closed-loop optimization
CN1276664C (zh) 视频编码方法
CN1813479A (zh) 过完备小波域中的视频编码
CN1650633A (zh) 用于小波编码的基于多参考帧的运动补偿时间过滤
CN1689045A (zh) 用于基于小波的编码中的运动补偿的时间滤波的既有被滤波区域又有未滤波区域的l帧
US20060088100A1 (en) Video coding method and apparatus supporting temporal scalability
Akujuobi Application of Wavelets to Video Compression
KR20050029542A (ko) 적응형 프레임간 웨이브렛 비디오 코딩방법, 상기 방법을위한 컴퓨터로 읽을 수 있는 기록매체, 및 장치
WO2006080665A1 (en) Video coding method and apparatus
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication