CN1606880A - 视频编码和解码方法及设备 - Google Patents

视频编码和解码方法及设备 Download PDF

Info

Publication number
CN1606880A
CN1606880A CNA028254317A CN02825431A CN1606880A CN 1606880 A CN1606880 A CN 1606880A CN A028254317 A CNA028254317 A CN A028254317A CN 02825431 A CN02825431 A CN 02825431A CN 1606880 A CN1606880 A CN 1606880A
Authority
CN
China
Prior art keywords
motion vector
coding
spatial
bit stream
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA028254317A
Other languages
English (en)
Inventor
V·博特雷奥
M·本内蒂雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1606880A publication Critical patent/CN1606880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种用于视频序列压缩的编码方法，所述视频序列被分为帧组(GOF)，每一帧组借助三维(3D)小波变换被分解，所述变换在每一分解级连续包括运动补偿步骤、时间滤波步骤和空间分解步骤。运动补偿基于一个运动估计，它导致产生一些被编码的空间矢量，这些空间矢量和所涉及的空间级的编码的纹理信息一起(并就在其之前)被放在编码的位流中。运动矢量的编码操作在最低空间分辨率执行，只是在每一其它空间分辨率的所述运动矢量的精化位逐个精化位平面内地被放在被编码位流中。特定的标记被引入编码的位流，用于指示该位平面、时间分解级和空间分解级各自的结尾。根据本发明，对于每一个时间分解级，然后在编码的位流中引入另外特定的标记，用于在每一空间分解级中指示与所述空间分解级相关的运动矢量信息的结尾。这一解决方案允许在非常低的解码比特率下跳过剩余的运动信息而只解码纹理信息，或者在另一个实现中，跳过所述剩余的运动信息以及所涉及的时间级的剩余空间级。

Description

视频编码和解码方法及设备
本发明涉及一种用于视频序列压缩的编码方法，所述视频序列被分成帧组(GOF)，所述帧组自身又细分为帧对，所述GOF的每一个借助三维(3D)小波变换被分解，所述变换在每一分解级连续包括在每一帧对的两帧之间的运动补偿步骤、时间滤波步骤、和对如此得到的每一时间子带的空间分解步骤，所述运动补偿对于每一时间分解级基于在最高空间分辨率级执行的运动估计，如此得到的运动矢量用2的幂除，以便得到也用于较低空间分辨率的运动矢量，估计的运动矢量允许重构被编码的任何空间分辨率级，所述空间分辨率级的编码就在由在这一给定的空间级处的小波系数形成的编码的纹理信息之前与其一起放在编码的位流中，所述编码操作在最低空间分辨率处对所述估计的运动矢量执行，从一个分辨率级到另一个，只是在每一空间分辨率的所述运动矢量的精化位(refinement bit)然后被逐个精化位平面地放在编码的位流中，并且特定的标记被引入所述编码的位流，用于指示该位平面、时间分解级和空间分解级各自的结尾。
本发明还涉及相应的编码设备，涉及包括通过这种编码设备产生的被编码的位流的可传输视频信号，涉及相应的解码设备，和涉及用于在这种解码设备中的计算机可执行处理步骤。
在异类网络上的视频流需要高可扩展性能力，亦即部分位流可以不要完全解码已编码的视频序列而被解码，并可以被组合而以较低的空间或时间分辨率(空间可扩展性，时间可扩展性)或者以较低的质量(SNR或比特率可扩展性)重构原来的视频信息。一种实现这三类可扩展性(空域、时域、SNR)的方便的方式是在对输入视频序列运动补偿后对所述序列的三维子带分解(对于设计高效的可扩展视频编码方案，运动估计和运动补偿真的是关键部分，但是它们都有一些相矛盾的需求，这主要是在提供良好的时间预测的同时保持运动信息管理开销低，以便不致激剧减少可用于纹理编码/解码的位预算)。
在文献WO 02/01881(PHFR000070)中已经说明了一种完全可扩展的视频编码方法。首先参考图1回忆这一方法的主要特征，该图表示一个视频序列的时间子带分解。把图示的具有运动补偿的3D小波分解应用于帧组(GOF)，在该帧组中的帧用F1到F8参考。每一GOF首先被运动补偿(MC)，以便处理具有大运动的序列，然后使用Haar小波(虚线箭头相应于高通时间滤波，而其它箭头相应于低通时间滤波)在时间上滤波(TF)。在运动补偿操作和时间滤波操作后，每一时间子带在空间被分解为空间-时间子带，其最后导向原来的GOF的一种3D小波表示，如图2所示。在图1和图2的例子中，表示出分解的三个阶段(L和H＝第一阶段，LL和LH＝第二阶段，LLL和LLH＝第三阶段)，在每一时间分解级产生一组运动矢量场：MV4在第一级，MV3在第二级，MV2在第三级(事实上，在所考虑的GOF中的每两帧之间在每一时间分解级产生一个运动矢量场，因此，以三个分解级为例，运动矢量场的数目因而等于在该时间子带内的帧数的一半，亦即在运动矢量场的第一级是4，在第二级是2，和在第三级是1)。
在解码器侧，在时间可扩展性的场合，为允许渐进解码，于是把位流例如如图3中所说明的方式组织：图1的三个时间分解级(现在叫做TDL)产生4个时间分辨率级(1到4)，它们表示可以从原来的帧速率得到的可能的帧速率。相应于最低分辨率时间级的系数被首先编码(1)，在这一级不需要发送运动矢量，对于所有其它的重构帧速率(2，3，4)，编码运动矢量场MV2到MV4和相应的高频时间子带2到4的帧。位流组织的这一说明只考虑了时间级，而在每一时间级内的空间可扩展性也必须要被考虑，这将导致图4所提示的完全的可扩展性解决方案：在每一时间刻度内，所有的空间分辨率被连续扫描(SDL＝空间分解级)，因此可以得到所有的空间频率(帧速率t＝1到4；显示大小s＝1到4)。使用标记分开位平面(在两个位平面之间的标志A)和时间级(在两个连续的时间分解级之间的标志B)。
在空间可扩展性的场合，为能够重构减少了空间分辨率的视频，似乎不希望在位流的开始传输全分辨率的运动矢量场，在引证的文献中为此目的建议的解决方案是使由该运动矢量说明的运动适配于当前空间级的大小：首先传输相应于最低空间分辨率的一个低分辨率运动矢量场，并且根据空间分辨率中的增加渐进增加运动矢量的分辨率，只编码和传输一个运动矢量场分辨率和另一个之间的差(在如此说明的技术解决方案中，假定运动矢量借助一种基于块的运动估计方法得到，所述估计方法类似完全检索块匹配或者其它任何导出的解决方案，于是必须仔细选择运动估计中的块的大小：的确，如果在完全分辨率中原来的块大小是8×8，则在一半的分辨率中是4×4，在四分之一分辨率中是2×2，等等，因此，如果块的原始大小太小的话，则可能出现问题，它将导致总要检查原来的大小是否与分解/重构级的数目兼容)。
例如对于s个空间分解级，如果希望相应于所有可能的分辨率的运动矢量，则要么把原来的运动矢量用2s除，要么执行S个位置的移动，表示该运动矢量的结果相应于从最低分辨率开始的块，其大小被2s除。用2s-1除原来的运动矢量将提供下一分辨率，不过该值已经可以从前一操作得到：它相应于移位s-1个位置。相对于第一操作的差是该运动矢量的二进制表示的具有权2s-1的位。于是把该位(称作精化位)加到先前传输的矢量上足以重构一个较高分辨率的运动矢量，这在图5中对于s＝4表示。如图6所示，运动矢量的这一渐进传输允许在位流中从一个空间分辨率到另一个空间分辨率就在相应于位于同一空间级的纹理的位之前包括该运动矢量场的精化位。和上面相同，使用标记来分开空间级(在两个连续级之间的标志C)。
通过这一可扩展运动矢量编码方法(如在所引证的文献中说明的并且在下面回忆的)，时间和空间级的层次纹理被变换为运动矢量编码，允许渐进地解码运动信息：对于一个给定的空间分辨率，解码器不必再解码在该级无用的那部分位流。然而，虽然所述可扩展矢量编码方法保证一个完全渐进的位流，但是运动信息的管理开销在非常低的比特率的情况下可能过高，导致下面的缺点：由于缺少可用的预算以致没有能力解码纹理位，并因此重构质量非常差。
因此，本发明的一个目的是提出一种避免这一缺点的方法，并因此更加适配于必须获得高位速率可扩展性的情形，亦即当解码位速率比编码位速率低很多时。
为此目的，本发明涉及一种诸如在说明的引言部分中定义的编码方法，此外它的特征在于，对于每一时间分解级，在所述编码的位流中引入另外的特殊标记，用于在每一空间分解级中指示与所述空间分解级有关的运动矢量信息的结尾。
本发明的另一个目的是提出一种用于执行所述编码方法的编码设备。
为此目的，本发明涉及一种用于编码视频序列的设备，所述视频序列被分为帧组(GOF)，它们自身又被细分为帧对，所述GOF的每一个借助三维(3D)小波变换分解，所述小波变换在每一分解级连续包括在每一帧对的两帧之间的运动补偿步骤、时间滤波步骤、和对如此得到的每一时间子带的空间分解步骤，所述运动补偿对于每一时间分解级基于在最高空间分辨率级执行的运动估计，如此得到的运动矢量用2的幂除，以便得到也用于较低空间分辨率的运动矢量，估计的运动矢量允许重构被编码的任何空间分辨率级，所述空间分辨率级的编码就在由在这一给定的空间级处的小波系数形成的编码的纹理信息之前与其一起放在编码的位流中，所述编码操作在最低空间分辨率对所述估计的运动矢量执行，从一个分辨率级到另一个，只是在每一空间分辨率的所述运动矢量的精化位然后被逐个精化位平面地放在被编码位流中，并且特定的标记被引入所述编码的位流，用于指示该位平面、时间分解级和空间分解级各自的结尾，所述编码设备包括运动估计装置，用于从所述视频序列决定与所有帧对关联的运动矢量；3D小波变换装置，用于在每一GOF内在所述视频序列和所述运动矢量的基础上连续执行运动补偿步骤、时间滤波步骤、和空间分解步骤；和编码装置，用于编码从所述变换装置发布的系数和由所述运动估计装置交付的运动矢量并产生所述编码的位流，所述编码设备另外的特征在于，它还包括这样的装置，用于在所述编码的位流中引入另外特定的标记，用于指示在每一空间分解级中与所述空间分解级相关的运动矢量信息的结尾。
本发明还涉及一种可传输的视频信号，它包含由这种编码设备产生的编码的位流，所述编码的位流的特征在于，它包括另外特定的标记，用于指示在每一空间分解级中与所述空间分解级相关的运动矢量信息的结尾。
本发明的另一个目的是提出一种用于解码通过执行诸如所提出的编码方法而产生的位流的解码设备。
为此目的，本发明涉及一种用于解码通过执行上述编码方法而产生的编码的位流的设备，所述解码设备包括解码装置，用于解码在所述编码的位流中的系数和运动矢量；逆3D小波变换装置，用于根据解码的系数和运动矢量重构输出视频序列；和资源控制装置，用于在每一运动矢量解码处理前决定已经花费的位预算的量和用于根据所述量决定停止或不停止涉及该运动信息的解码操作，这通过跳过对所述运动信息的剩余部分的操作来完成，本发明或者涉及用于解码通过执行所述编码方法而产生的编码的位流的设备，所述解码设备包括解码装置，用于解码在所述编码的位流中的系数和运动矢量；逆3D小波变换装置，用于根据解码的系数和运动矢量重构输出视频序列；和资源控制装置，用于在每一运动矢量解码处理前决定已经花费的位预算的量和用于根据所述量决定停止或不停止涉及该运动信息和所涉及的空间分解级的剩余部分的解码操作，这通过跳过对所述运动信息的剩余部分和所涉及的空间分解级的后面的剩余部分的操作来完成。
本发明还涉及用于这种解码设备的计算机可执行处理步骤。
现在参考附图以举例方式说明本发明，附图中：
图1表示带运动补偿的时间子带分解；
图2表示从三位小波分解产生的空间-时间子带；
图3表示为时间可伸缩性在位流中插入运动矢量；
图4表示通过对空间-时间树的时间驱动的扫描得到的位流的纹理；
图5是一个运动矢量及其从最低分辨率到最高分辨率的渐进传输的二进制表示；
图6表示以在先前引证的文件WO 02/01881中描述的完全可扩展方法中的运动矢量编码的位流组织；
图7表示当执行根据本发明的编码方法时得到的编码的位流并允许理解所述编码的位流然后如何根据本发明解码；
图8和图9表示用于分别执行根据本发明的编码和解码方法的编码和解码设备；
图10表示编码的位流的另一个表示，并图示根据本发明的解码方法的另一个实现。
图6所示的解决方案假定，在解码侧应该完全重构第一位平面(在两个A类型标志之间包括的并且相应于给定质量的每一位平面包括关于所有时间级的信息，每一时间级相应于一个给定的帧速率)，也就是说解码位速率(在编码器侧先前未知)应该足够，以便完全重构至少这一位平面，它相应于解码器所能达到的就质量、帧速率和空间分辨率来说的最低的重构参数(每一时间级包括关于所有空间级的信息，而每一空间级相应于一个给定的空间分辨率)。然而，在充分实施可扩展性的实际应用中，解码位速率在一个给定时刻(例如由于网络拥塞)对于根据希望的参数解码这一特定的位平面可能太低(例如用户也许需要以完全的帧速率和完全的空间分辨率的重构)。当这一情况出现时，重构的质量变得不可接受，因为第一位平面只包含该视频的一个粗略的平均，而必须解码几个另外的位平面，以便还能获得视频细节和获得视觉可接受的重构质量。
在这些特定的情况下，根据本发明，现提出着重于损害运动矢量解码的纹理(texture)位解码并且在该解码处理实现期间引入允许或者不允许继续解码该运动矢量的决定。给定一个一定的解码位速率，在每一运动矢量解码处理前(近似MV1或进一步MVi)检查已经花费的位预算的量。如果这一数量超过总的位预算的一定的百分比(M％)，则认为运动管理开销太高，以致不允许解码更详细的位平面，并且决定不解码运动信息的剩余部分，以便节省用于后继纹理系数的位。为能够实现这一技术解决方案，解码器必须能够跳过相应于该运动矢量的位流的部分，以便直接跳到下一纹理部分。例如在图7中，当在解码MV2中的运动矢量时可能会达到上述临界百分比，然后算法需要在s＝2的开始处重新同步解码处理。根据本发明，在该运动矢量信息的末尾添加另外的特殊标记-用D参照的标志，如图7所示，以便允许容易和直接访问纹理位。
如此说明的编码方法可以以图8表示的编码设备实现，它包括下面的主模块。首先，运动估计电路81，接收输入视频序列，执行(优选借助块匹配算法)运动矢量的估计。然后3D小波变换电路82接收输入视频序列和所估计的运动矢量，并执行运动补偿步骤、时间滤波步骤和空间分解步骤。由变换电路82产生的系数和可以在电路81的输出端得到的运动矢量最后由编码装置接收，其例如由串联的编码设备83和算术编码设备84组成，并被提供来编码从小波变换发布的系数和从运动估计发布的矢量两者，在所述编码装置的输出端可得到的经编码的位流CB被传输(考虑到其由解码器接收)或存储(考虑到其后来由解码器或由服务器接收)。
在解码侧(或在服务器中)，相应解码方法可以以在图9中表示的解码设备实现，它包括下面的主模块。接收的被编码的位流首先由解码设备91处理，后者例如包括串联的一个算术解码级和一个解码级，其为解码包括编码的系数和编码的运动矢量的被编码的位流而提供。解码的系数和运动矢量然后由逆3D小波变换电路92接收，其为重构相应于原来的视频序列的一个输出视频序列提供。该解码设备还包括一个资源控制器93，它负责检查操作，亦即它必须在每一运动矢量解码处理前验证已经花费的位预算的量，并根据所述量决定停止或者不停止涉及该运动信息的解码操作，并只解码所涉及的空间分解级的剩余的纹理信息，从而仍然允许可接受的重构质量。
然而，当运动矢量解码操作在一定的空间-时间级被停止时，所提出的方法可能在编码和解码操作之间引入漂移：如果另外的空间-时间级仍被解码，则为这些剩余的分辨率不真正执行运动补偿，包括在重构下的分辨率。为限制这一缺点，并考虑下述事实，即因为可用于解码的位预算的大部分已经为第一位平面达到，因此根据本发明现提出动态削减该组解码参数，例如通过根据给定的应用需求削减帧速率或空间分辨率，以便得到视觉上可接受的重构质量。运动矢量解码操作为之停止的空间-时间分辨率必须以可用位预算所允许的最大质量重构，而更高的分辨率可以被放弃。因此这里注重深入探索用于当前空间-时间分辨率的位平面，而不是试图重构它们全体-根据上述解码条件，其质量无论如何都将较差。这在图10中表示，其中，根据本发明，已经选择从第二空间分辨率停止运动矢量解码操作。剩余的两个空间级然后也已经为每一时间分辨率丢弃，其相应于以四分之一空间分辨率但是以完全的帧速率解码。
为图示和说明的目的已经介绍了本发明的优选实施例的上述说明。不打算穷举或限制本发明到所公开的精确形式，并且显然许多修改和改变根据上述教导是可能的，它们对于熟悉本技术领域的人来说是明显的，并且打算包括在本发明的范围内。
例如可以理解，这里说明的设备可以以硬件、软件、或者硬件和软件的组合实现，不排除单一硬件或软件执行几种功能，或者各硬件、软件或两者的组装执行单一功能。这些设备可以以任何类型的计算机系统-或者适于执行这里说明的方法的任何装置实现。硬件和软件的一种典型的组合可以是带有计算机程序的通用计算机系统，所述程序当被加载并执行时控制该计算机系统使之执行这里说明的方法。另外可选的方案是，可以使用包含用于执行本发明的一个或者多个功能任务的专用硬件的专用计算机。本发明也可以嵌入计算机程序产品中，所述产品包括允许实现这里说明的方法和功能的所有特征，并且，当它被加载到计算机系统中时，能够执行这些方法和功能。在本上下文中的计算机程序、软件程序、程序、程序产品、或软件意味着一组指令以任何语言的任何表达式、代码或记号，所述指令用来使一个系统具有信息处理能力以直接执行一个特定的功能，或者在下面的两个条件之一或两者之下：(a)变换为另一种语言、代码或记号；和/或(b)以不同的材料形式再现。

Claims (7)

1.一种用于压缩视频序列的编码方法，所述视频序列被分为帧组(GOF)，它们自身又被细分为帧对，所述GOF的每一个借助三维(3D)小波变换被分解，所述变换在每一分解级连续包括在每一帧对的两帧之间的运动补偿步骤、时间滤波步骤、和对如此得到的每一时间子带的空间分解步骤，所述运动补偿对于每一时间分解级基于在最高空间分辨率级执行的运动估计，如此得到的运动矢量用2的幂除，以便得到也用于较低空间分辨率的运动矢量，估计的运动矢量允许重构任何空间分辨率级，所述空间分辨率级被编码，并且和由在这一给定的空间级的小波系数形成的编码的纹理信息一起而且就在其之前被放置在编码的位流中，所述编码操作在最低空间分辨率对所述估计的运动矢量执行，从一个分辨率级到另一个，只是在每一空间分辨率的所述运动矢量的精化位然后被逐个精化位平面地放在被编码位流中，并且特定的标记被引入所述编码的位流，用于指示该位平面、时间分解级和空间分解级各自的结尾，所述方法的特征在于，对于每一个时间分解级，在所述编码的位流中引入另外特定的标记，用于在每一空间分解级中指示与所述空间分解级相关的运动矢量信息的结尾。
2.一种用于视频序列的编码设备，所述视频序列被分为帧组(GOF)，它们自身又被细分为帧对，所述GOF的每一个借助三维(3D)小波变换分解，所述变换在每一分解级连续包括在每一帧对的两帧之间的运动补偿步骤、时间滤波步骤、和对如此得到的每一时间子带的空间分解步骤，所述运动补偿对于每一时间分解级基于在最高空间分辨率级执行的运动估计，如此得到的运动矢量用2的幂除，以便得到也用于较低空间分辨率的运动矢量，估计的运动矢量允许重构任何空间分辨率级，所述空间分辨率级被编码并且和由在这一给定的空间级的小波系数形成的编码的纹理信息一起而且就在其之前被放置在编码的位流中，所述编码操作在最低空间分辨率对所述估计的运动矢量执行，从一个分辨率级到另一个，只是在每一空间分辨率的所述运动矢量的精化位然后被逐个精化位平面地放在被编码位流中，并且特定的标记被引入所述编码的位流，用于指示该位平面、时间分解级和空间分解级各自的结尾，所述编码设备包括运动估计装置，用于从所述视频序列决定与所有帧对关联的运动矢量；3D小波变换装置，用于在每一GOF内在所述视频序列和所述运动矢量的基础上连续执行运动补偿步骤、时间滤波步骤、和空间分解步骤；和编码装置，用于编码从所述变换装置发布的系数和由所述运动估计装置交付的运动矢量两者并产生所述编码的位流，所述编码设备另外的特征在于，它还包括这样的装置，该装置用于在所述编码的位流中引入另外特定的标记，用于在每一空间分解级中指示与所述空间分解级相关的运动矢量信息的结尾。
3.一种可传输的视频信号，它包含由根据权利要求2的编码设备产生的编码的位流，所述编码的位流的特征在于，它包括另外特定的标记，用于在每一空间分解级中指示与所述空间分解级相关的运动矢量信息的结尾。
4.一种设备，用于解码通过执行根据权利要求1的编码方法产生的编码的位流，所述解码设备包括解码装置，用于在所述编码的位流中解码系数和运动矢量；逆3D小波变换装置，用于根据解码的系数和运动矢量重构输出视频序列；和资源控制装置，用于在每一运动矢量解码处理前规定已经花费的位预算的量和用于根据所述量决定停止或不停止涉及该运动信息的解码操作，这是通过跳过对所述运动信息的剩余部分的操作来完成的。
5.用于为解码由执行根据权利要求1的编码方法产生的编码的位流的设备中的计算机可执行处理步骤，所述处理步骤包括解码步骤，用于在所述编码的位流中解码系数和运动矢量；逆3D小波变换步骤，用于根据解码的系数和运动矢量重构输出视频序列；和资源控制步骤，用于在每一运动矢量解码处理前决定已经花费的位预算的量和用于根据所述量决定停止或不停止涉及该运动信息的解码操作，这通过跳过对所述运动信息的剩余部分的操作来完成。
6.一种用于解码通过执行根据权利要求1的编码方法产生的编码的位流的设备，所述用于解码的设备包括解码装置，该解码装置用于在所述编码的位流中解码系数和运动矢量；逆3D小波变换装置，用于根据解码的系数和运动矢量重构输出视频序列；和资源控制装置，用于在每一运动矢量解码处理前规定已经花费的位预算的量和用于根据所述量决定停止或不停止涉及该运动信息和所涉及的空间分解级的剩余部分的解码操作，这通过跳过对所述运动信息的剩余部分和所涉及的空间分解级的后面的剩余部分的操作来完成。
7.用于为解码由执行根据权利要求1的编码方法产生的编码的位流的设备中的计算机可执行的处理步骤，所述处理步骤包括解码步骤，该解码步骤用于在所述编码的位流中解码系数和运动矢量；逆3D小波变换步骤，用于根据解码的系数和运动矢量重构输出视频序列；和资源控制步骤，用于在每一运动矢量解码处理前规定已经花费的位预算的量和用于根据所述量决定停止或不停止涉及该运动信息和所涉及的空间分解级的剩余部分的解码操作，这是通过跳过对所述运动信息的剩余部分和所涉及的空间分解级的后面的剩余部分的操作来完成。
CNA028254317A 2001-12-20 2002-12-09 视频编码和解码方法及设备 Pending CN1606880A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01403319 2001-12-20
EP01403319.5 2001-12-20

Publications (1)

Publication Number Publication Date
CN1606880A true CN1606880A (zh) 2005-04-13

Family

ID=8183040

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA028254317A Pending CN1606880A (zh) 2001-12-20 2002-12-09 视频编码和解码方法及设备

Country Status (7)

Country Link
US (1) US20050069212A1 (zh)
EP (1) EP1461956A1 (zh)
JP (1) JP2005513925A (zh)
KR (1) KR20040068963A (zh)
CN (1) CN1606880A (zh)
AU (1) AU2002366825A1 (zh)
WO (1) WO2003055224A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100512439C (zh) * 2005-10-27 2009-07-08 中国科学院研究生院 一种具有类框架小波结构的小波域运动估计方法
CN102055978A (zh) * 2010-12-28 2011-05-11 深圳市融创天下科技发展有限公司 帧运动补偿编码、解码方法、装置
CN103119592A (zh) * 2010-11-03 2013-05-22 瑞典移动成像公司 渐进的多媒体同步

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
EP1642463A1 (en) * 2003-06-30 2006-04-05 Koninklijke Philips Electronics N.V. Video coding in an overcomplete wavelet domain
KR20060038408A (ko) * 2003-06-30 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는비디오 처리를 위한 시스템 및 방법
WO2005078663A1 (en) * 2004-02-17 2005-08-25 Newsouth Innovations Pty Limited Improved method for motion adaptive transformation of video
CN101032171B (zh) * 2004-07-13 2010-09-01 法国电讯公司 把视频图像序列编码为不同空间分辨率的分波段系数的方法和装置
KR101102393B1 (ko) * 2004-12-06 2012-01-05 엘지전자 주식회사 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치
CN1319383C (zh) * 2005-04-07 2007-05-30 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
CN1319382C (zh) * 2005-04-07 2007-05-30 西安交通大学 可伸缩视频编解码器体系结构设计方法
JP2007081720A (ja) * 2005-09-13 2007-03-29 Sanyo Electric Co Ltd 符号化方法
FR2894421B1 (fr) * 2005-12-07 2008-01-18 Canon Kk Procede et dispositif de decodage d'un flux video code suivant un codage hierarchique
FR2896371B1 (fr) * 2006-01-19 2008-11-07 Canon Kk Procede et dispositif de traitement d'une sequence d'images numeriques au format extensible
US8875199B2 (en) * 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8155207B2 (en) * 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8416859B2 (en) * 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
KR101366086B1 (ko) 2007-01-03 2014-02-21 삼성전자주식회사 잔차 블록의 계수들에 대한 부호화 결정 방법, 장치,인코더 및 디코더
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
EP2213097A2 (en) * 2007-10-16 2010-08-04 Cisco Technology, Inc. Conveyance of concatenation properties and picture orderness in a video stream
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8619861B2 (en) * 2008-02-26 2013-12-31 Microsoft Corporation Texture sensitive temporal filter based on motion estimation
US8416858B2 (en) * 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8971402B2 (en) * 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8705631B2 (en) * 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8699578B2 (en) * 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US20090323822A1 (en) * 2008-06-25 2009-12-31 Rodriguez Arturo A Support for blocking trick mode operations
ES2546091T3 (es) 2008-11-12 2015-09-18 Cisco Technology, Inc. Procesamiento de un programa de vídeo que tiene representaciones procesadas plurales de una señal de vídeo única para reconstrucción y emisión
WO2010096767A1 (en) * 2009-02-20 2010-08-26 Cisco Technology, Inc. Signalling of decodable sub-sequences
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US20110222837A1 (en) * 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
JP5085762B2 (ja) 2011-04-25 2012-11-28 株式会社東芝 画像処理装置および画像処理方法
US9544587B2 (en) 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
EP3451663A1 (en) * 2017-08-31 2019-03-06 Thomson Licensing Pools of transforms for local selection of a set of transforms in video coding
CN108596069A (zh) * 2018-04-18 2018-09-28 南京邮电大学 基于深度3d残差网络的新生儿疼痛表情识别方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
WO2001006794A1 (en) * 1999-07-20 2001-01-25 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
CN1244232C (zh) * 2000-06-30 2006-03-01 皇家菲利浦电子有限公司 用于视频序列压缩的编码方法
EP1320831A2 (en) * 2000-09-12 2003-06-25 Koninklijke Philips Electronics N.V. Video coding method
AU2002213714A1 (en) * 2000-10-24 2002-05-06 Eyeball Networks Inc. Three-dimensional wavelet-based scalable video compression
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100512439C (zh) * 2005-10-27 2009-07-08 中国科学院研究生院 一种具有类框架小波结构的小波域运动估计方法
CN103119592A (zh) * 2010-11-03 2013-05-22 瑞典移动成像公司 渐进的多媒体同步
CN102055978A (zh) * 2010-12-28 2011-05-11 深圳市融创天下科技发展有限公司 帧运动补偿编码、解码方法、装置
CN102055978B (zh) * 2010-12-28 2014-04-30 深圳市融创天下科技股份有限公司 帧运动补偿编码、解码方法、装置

Also Published As

Publication number Publication date
EP1461956A1 (en) 2004-09-29
JP2005513925A (ja) 2005-05-12
KR20040068963A (ko) 2004-08-02
AU2002366825A1 (en) 2003-07-09
US20050069212A1 (en) 2005-03-31
WO2003055224A1 (en) 2003-07-03

Similar Documents

Publication Publication Date Title
CN1606880A (zh) 视频编码和解码方法及设备
KR100703774B1 (ko) 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
CN1764280B (zh) 基于多层在视频编码器中有效压缩运动矢量的方法和装置
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100703734B1 (ko) Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR100704626B1 (ko) 다 계층 기반의 모션 벡터를 압축하는 방법 및 장치
CN101010961A (zh) 用于编码和解码的方法和装置
Boulgouris et al. A family of wavelet-based stereo image coders
KR101500781B1 (ko) 이미지들을 처리하기 위한 방법 및 그 대응하는 전자 장치
EP1659797A2 (en) Method and apparatus for compressing motion vectors in video coder based on multi-layer
KR101217050B1 (ko) 코딩 및 디코딩 방법 및 장치
KR100755689B1 (ko) 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100843080B1 (ko) 비디오 트랜스코딩 방법 및 장치
KR20040106417A (ko) 다중 참조 프레임들에 기초하여 움직임 보상 시간필터링을 사용하는 스케일링 가능 웨이블릿 기반 코딩
CN1864177B (zh) 视频编码和解码方法及其相应设备
JP2006304329A (ja) 符号化方法及び復号化方法及び符号化装置及び復号化装置
Xing et al. Arbitrarily shaped video-object coding by wavelet
JPWO2020035829A5 (zh)
JP5204362B2 (ja) 画像シーケンスを符号化する方法または復号する方法および装置
KR100733966B1 (ko) 움직임 벡터 예측 장치 및 방법
KR20040106418A (ko) 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링
CN108432251B (zh) 比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质
JPH09224252A (ja) 動画像の動き補償予測符号化方法・復号方法および符号化装置・復号装置
KR0174959B1 (ko) 초저속 전송을 위한 동영상부호화 장치
JP2006503475A (ja) ドリフトのないビデオ符号化及び復号化方法、並びに対応する装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication