CN101213842A - 用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置 - Google Patents

用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置 Download PDF

Info

Publication number
CN101213842A
CN101213842A CNA200680023661XA CN200680023661A CN101213842A CN 101213842 A CN101213842 A CN 101213842A CN A200680023661X A CNA200680023661X A CN A200680023661XA CN 200680023661 A CN200680023661 A CN 200680023661A CN 101213842 A CN101213842 A CN 101213842A
Authority
CN
China
Prior art keywords
piece
motion vector
prediction
frame
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200680023661XA
Other languages
English (en)
Inventor
王祥林
M·卡克扎威克兹
鲍亦亮
J·里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101213842A publication Critical patent/CN101213842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了在用于视频编码的运动补偿时域滤波中执行更新操作的方法和模块。根据预测残差帧中的编码块来执行更新操作。依赖于预测步骤中的宏块模式，编码块可以具有不同的大小。宏块模式用以规定宏块如何被分割为块。在预测步骤中，运动向量的逆向被直接用作更新运动向量，因而无需执行运动向量推导过程。明显偏离其相邻运动向量的运动向量被视为不可靠的并在更新步骤中被排除。自适应滤波器被用来插值用于更新操作的预测残差块。自适应滤波器是较短滤波器和较长滤波器的自适应组合。

Description

用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置
技术领域
本发明一般涉及视频编码，并且特别涉及使用运动补偿时域滤波的视频编码。
背景技术
数字视频出于存储和广播的目的而被压缩，使得经过压缩的结果视频可以存储在较小的空间中。
数字图像序列，例如记录在胶片上的普通运动图像，包括静态图像序列，并且运动的幻像是通过以相对快速的帧率一个接一个地显示图像而产生的，通常的帧率是15到30帧每秒。压缩数字视频的普遍方法是利用这些连续图像之间的冗余(也即，时间冗余)。在给定时刻的典型视频中，与一些运动物体结合有缓慢摄像机移动或者是没有结合摄像机移动，并且连续的图像具有相似的内容。只传输连续图像之间的差异是有益的。被称为预测误差帧En的差异帧是当前帧In和参考帧Pn之间的差异。预测误差帧由下式给出：
En(x，y)＝In(x，y)-Pn(x，y).
其中n是帧号，(x，y)代表像素坐标。预测误差帧也被称为预测残差帧。在通常的视频编解码中，差异帧在传输之前被压缩。压缩是通过离散余弦变换(DCT)和霍夫曼编码或者类似方法实现的。
由于待压缩的视频包含运动，因此两个连续图像相减并不总是得到最小的差异。例如，当摄像机进行摇摄时，整个场景都在变化。为了补偿运动，被称为运动向量的位移(Δx(x，y)，Δy(x，y))被添加到前面帧的坐标中。预测误差因而变为：
En(x，y)＝In(x，y)-Pn(x+Δx(x，y)，y+Δy(x，y)).
在实践中，视频编解码中的帧被划分为块，并且对于每个块只有一个运动向量被传输，使得同一运动向量用于一个块中的所有像素。为一帧中的每个块找到最佳运动向量的过程称为运动估计。一旦运动向量可用，计算Pn(x+Δx(x，y)，y+Δy(x，y))的过程被称为运动补偿，并且所计算的项Pn(x+Δx(x，y)，y+Δy(x，y))被称为运动补偿预测。
在上文描述的编码机制中，参考帧Pn可以是之前编码帧中的一个。在这种情况下，Pn在编码器和解码器处都是已知的。这种编码架构称为闭环。
Pn也可以是原始帧中的一个。在这种情况下，编码架构被称为开环。由于原始帧只在编码器处可用而在解码器处不可用，所以在利用开环架构的预测过程中可能有漂移。漂移是指由于不同的帧被用作参考而导致的编码器和解码器之间的预测Pn(x+Δx(x，y)，y+Δy(x，y))的不匹配(或者说差异)。无论如何，开环架构在视频编码中，特别是可伸缩视频编码中越来越常用，这是因为开环架构使得有可能通过使用提升(lifting)步骤来获得视频的时域可伸缩表示，从而实现运动补偿时域滤波(也即，MCTF)。
图1a和图1b示出了使用提升步骤的MCTF的基本结构，其同时示出了使用提升结构的MCTF的分解过程和合成过程。在这些图中，In和In+1是原始的相邻帧。
提升包括两个步骤：预测步骤和更新步骤。它们在图1a和图1b中分别被标记为P和U。图1a是分解(分析)过程，图1b是合成(综合)过程。分解过程中的输出信号和合成过程中的输入信号是H和L信号。H和L信号由以下公式得到：
H＝In+1-P(In)
L＝In+U(H)
预测步骤P可被视为运动补偿。P的输出，也即P(In)，是运动补偿预测。在图1a中，H是基于来自帧In的预测的帧In+1的时域预测残差。H信号一般包含原始视频信号的时域高频分量。在更新步骤U中，为了产生时域低频分量L，H中的时域高频分量被反馈到帧In。出于这个原因，H和L分别被称为时域高频带信号和时域低频带信号。
在图1b中所示的合成过程中，重建帧I’n和I’n+1通过以下操作得到：
I’n＝L-U(H)
I’n+1＝H+P(I’n)
如果信号L和H在图1a和图1b所示的分解过程和合成过程之间保持不变，则I’n和I’n+1分别与In和In+1完全相同。在这种情况下，可以利用这种提升步骤实现完美的重建。
图1a和图1b中所示的结构也可以级联，使得视频序列能够被分解为多个时域级别。如图2所示，两个级别的提升步骤被执行。每个分解级别处的时域低频带信号可以提供时域可伸缩性。
在MCTF中，预测步骤实质上是一般的运动补偿过程，除非预测步骤是基于开环结构的。在这样的过程中，针对当前帧的补偿预测基于针对每个宏块的最佳估计运动向量而产生。由于运动向量通常具有亚像素(sub-pixel)精度，因此在运动补偿中需要亚像素插值(interpolation)。运动向量可以具有1/4像素的精度。在这种情况下，像素插值的可能位置在图3中示出。图3示出了可能的被插值降至四分之一像素的像素位置。在图3中，A、E、U和Y指示原始的整数像素位置，c、k、m、o和w指示半像素位置。所有其它位置是四分之一像素位置。
通常，半像素位置处的值通过使用具有冲激响应(1/32，-5/32，20/32、-5/32、1/32)的6阶(6-tap)滤波器来获得。滤波器沿着适合的水平方向和垂直方向在整数像素值上操作。为了简化解码器，一般不使用6阶滤波器来插值四分之一像素值。而是改为通过以如下的方式对整数位置和与其相邻的半像素位置求平均、并对两个相邻的半像素位置求平均来得到四分之一位置：
b＝(A+c)/2，d＝(c+E)/2，f＝(A+k)/2，g＝(c+k)/2，h＝(c+m)/2，i＝(c+o)/2，j＝(E+o)/2
l＝(k+m)/2，n＝(m+o)/2，p＝(U+k)/2，q＝(k+w)/2，r＝(m+w)/2，s＝(w+o)/2，t＝(Y+o)/2
V＝(w+U)/2，x＝(Y+w)/2
运动预测的一个示例在图4a中示出。在图4a中，An代表帧In中的块，An+1代表帧In+1中具有相同位置的块。假设An被用以预测帧In+1中的块Bn+1，并且如图4所示，用于预测的运动向量是(Δx，Δy)。依赖于运动向量(Δx，Δy)，An可以如图3所示被定位在像素或者亚像素位置。如果An被定位在亚像素位置，那么在将An用作预测而从块Bn+1中减去之前，需要插值An中的值。
发明内容
本发明提供了在用于视频编码的MCTF中执行更新步骤的有效方法。
根据预测残差帧中的编码块来执行更新操作。依赖于预测步骤中的宏块模式，编码块可以具有不同的大小。宏块模式被用以规定宏块如何被分割为块。例如，可以如选定的宏块模式所规定的那样将宏块分割为多个块，块的数目可以是一个或者多个。在更新步骤中，预测步骤中所使用的运动向量的逆向被直接用作更新运动向量，因而无需执行运动向量推导过程。
明显偏离其相邻运动向量的运动向量被视为不可靠的，并且在更新步骤中被排除。
自适应滤波器用来插值用于更新操作的预测残差块。自适应滤波器是较短滤波器(例如，双线性滤波器)和较长滤波器(例如，4阶FIR滤波器)的自适应组合。较短滤波器和较长滤波器之间的切换是基于相应预测残差块的能量水平。如果能量水平高，则使用较短滤波器来插值。否则使用较长滤波器。
对于每个预测残差块，阈值被自适应地确定，以便在块中的残差被用作更新信号之前限制其最大振幅。在确定阈值时，可以使用以下机制中的一个：
-  一般而言，基于预测残差块的能量水平，能量水平越高，所选择的阈值变得越小。
-  基于块匹配因子，使用指示符来指示块在预测步骤中的运动补偿过程中被匹配或者说被预测的优劣程度。如果所述块得到了良好匹配，则可以使用较高的阈值在更新步骤中限制残差块的最大振幅。为了获得块匹配因子，可以使用以下方法中的一个。
-  基于待更新的相应块的方差与预测残差块的能量水平的比率，如果该比率高，则假设块匹配相对良好。
-  对待更新的块执行高通滤波操作。接着，将块中每个经过滤波的像素的振幅(也即，绝对值)与相应的预测残差像素的振幅进行比较。假设：如果该块在预测步骤中得到了良好匹配，则预测残差像素的振幅应当小于相应的经过滤波的像素的振幅。块中满足上述假设的预测残差像素的百分比可用作块匹配因子。
因此，本发明的第一方面是对具有多个视频帧的视频序列进行编码和解码的方法，其中基于宏块模式来分割视频帧中的像素的宏块。所述方法包括更新操作和预测操作，其中更新操作部分地基于运动向量的逆向。
本发明的第二方面是具有用于执行上述编码和解码方法的多个处理器的编码模块和解码模块。
本发明的第三方面是具有如上所述的编码模块和/或解码模块的电子设备，例如移动终端。
本发明的第四方面是具有用于存储软件应用的存储器的软件应用产品，其中所述软件应用具有用以执行上述编码和/或解码方法的程序代码。
本发明提供了用于MCTF更新步骤的有效解决方案。它不仅简化了更新步骤插值过程，还省去了更新运动向量推导过程。通过自适应地确定阈值来限制预测残差，这个方法不需要将阈值保存在比特流中。
附图说明
图1a示出了使用提升结构的用于MCTF的分解过程。
图1b示出了使用提升结构的用于MCTF的合成过程。
图2示出了使用提升结构的用于MCTF的两级分解过程。
图3示出了可能的被插值降至四分之一像素的像素位置。
图4a示出了预测步骤中所使用的运动向量和关联块的关系的示例。
图4b示出了更新步骤中所使用的运动向量和关联块的关系的示例。
图5示出了用于更新运动向量推导的一个过程。
图6示出了更新步骤中所涉及的块的位置与预测步骤中块的位置的局部像素差异。
图7是示出了MCTF分解过程的框图。
图8是示出了MCTF合成过程的框图。
图9示出了基于MCTF的编码器的框图。
图10示出了基于MCTF的解码器的框图。
图11是示出了利用运动向量滤波器模块的MCTF分解过程的框图。
图12是示出了利用运动向量滤波器模块的MCTF合成过程的框图。
图13示出了基于预测残差块的能量水平在MCTF更新步骤中的自适应插值过程。
图14示出了基于预测残差块的能量水平对更新信号强度的自适应控制过程。
图15示出了基于块匹配因子对更新信号强度的自适应控制过程。
图16是根据本发明的一种实施方式用于说明编码方法的一部分的流程图。
图17是根据本发明的一种实施方式用于说明解码方法的一部分的流程图。
图18是根据本发明的电子设备的框图，该电子设备可以配备基于MCTF的编码模块和解码模块中的一个或二者。
具体实施方式
用于运动补偿时域滤波(MCTF)的分解过程和合成过程都可以使用提升结构。提升包括预测步骤和更新步骤。
在更新步骤中，可以沿着预测步骤中所使用的运动向量的逆向将块Bn+1处的预测残差添加到参考块中。如果运动向量是(Δx，Δy)(参见图4a)，则其逆向可以表示为(-Δx，-Δy)，它也可被视为运动向量。同样地，更新步骤也包括运动补偿过程。从预测步骤中获得的预测残差帧可以考虑用作参考帧。预测步骤中那些运动向量的逆向被用作更新步骤中的运动向量。利用这样的参考帧和运动向量，便可以构建补偿帧。补偿帧继而被添加到帧In中，以便消除帧In中的一些时域高频率。
更新过程只在帧In中的整数像素上执行。如果An位于亚像素位置，则它的最接近的整数位置块A’n根据运动向量(-Δx，-Δy)被实际更新。这在图4b中示出。在这种情况下，块An和A’n的位置之间存在局部像素差异。根据运动向量(-Δx，-Δy)，在更新步骤中用于A’n的参考块(标为B’n+1)也不位于整数像素位置。然而，块Bn+1和块B’n+1的位置之间也将存在相同的局部像素差异。出于这个原因，需要进行插值以便获得块B’n+1处的预测残差。因此，只要运动向量(-Δx，-Δy)在水平或者垂直方向不具有整数像素位移，在更新步骤中通常就需要进行插值。
更新步骤可以在待更新的帧中一块接一块地执行，块的大小是4×4。对于帧内的每个4×4块，可以通过如下方式得到用于更新该块的良好运动向量：扫描所有在预测步骤中使用的运动向量，并选择具有当前4×4块的最大覆盖率的运动向量。这在图5中示出。在图5中，帧In被用以预测帧In+1。如图所示，块B1和块B2的参考块都覆盖了待更新的当前4×4块A的一些区域。在这个示例中，由于块B1的参考块具有更大的覆盖面积，选中了块B1的运动向量，并且其逆向被用作块A的更新运动向量。这样的过程被称为更新运动向量推导过程，这样得到的运动向量在此被称为更新运动向量。使用这种方法，一旦得到了用于整个帧的更新运动向量，就可以直接将预测步骤中所使用的常规的基于块的运动补偿过程应用于更新步骤中的运动补偿过程。
在本发明的一种实施方式中，根据预测残差帧中的编码块来执行更新操作。依赖于预测步骤中的宏块模式，编码块可以具有不同的大小，(例如从4×4到16×16。
如图4a所示，在预测步骤中，帧In被用以预测帧In+1。当在预测步骤中减掉运动补偿预测之后，帧In+1只包含预测残差。在更新步骤中，根据帧In+1中的每个编码块来执行更新操作。例如，当块Bn+1将要在更新步骤中被处理时，首先根据预测步骤中所使用的运动向量(Δx，Δy)来定位在预测步骤中块Bn+1的参考块An。如果An位于亚像素位置，则最接近的整数位置块A’n被实际更新。更新操作实质上是运动补偿过程，其中预测步骤中所使用的运动向量的逆向被用作更新运动向量。在图4b所示的示例中，用于块A’n的更新运动向量是(-Δx，-Δy)。
现在，块A’n的位置和更新运动向量(-Δx，-Δy)都是可用的，在更新步骤中用于块A’n的参考块也可以被定位。这在图4b中示出。根据运动向量(-Δx，-Δy)，块An和块A’n的位置之间存在局部像素差异，因此，更新步骤中用于A’n的参考块的位置，或者说B’n+1的位置，应当是从块Bn+1的位置同样偏移等量差异后的位置。这种情况将在图6中进一步说明。在图6中，实心点表示整数像素位置，空心点表示亚像素位置。以虚线边界指明的块和以实线边界指明的块分别被涉及在预测步骤和更新步骤中。块An和块A’n之间位置的局部像素差异是(Δh，Δv)。相应地，块Bn+1和块B’n+1的位置之间具有等量的局部像素差异。由于块B’n+1位于局部像素位置，因此块B’n+1处的预测残差首先根据相邻的预测残差来插值，而后被用来更新块A’n处的像素。
总而言之，预测残差帧中的每个编码块Bn+1都在以下过程中进行处理：
1)定位预测步骤中所使用的它的参考块An。
2)定位该参考块最接近的整数位置块A’n。当An具有整数像素位置时，An和A’n相同。
3)使用预测步骤中块Bn+1的运动向量的逆向作为用于块A’n的更新运动向量。基于A’n的位置和更新运动向量，定位用于A’n的相应参考块B’n+1的位置。
4)获得块B’n+1处的预测残差，并将其用来更新块A’n。
根据本发明的一种实施方式，针对MCTF分解(或者分析)和MCTF合成(或者综合)的框图分别在图7和图8中示出。与MCTF模块相结合的编码器和解码器的框图分别在图9和图10中示出。因为不论是否使用MCTF技术都需要预测步骤运动补偿过程，所以还需要与MCTF相结合的用于更新步骤运动补偿过程的附加模块。图7和图8中的符号反相器用来改变运动向量分量的符号，以便获得运动向量的逆向。
图9根据本发明的一种实施方式示出了基于MCTF的编码器的框图。MCTF分解模块包括预测步骤和更新步骤两者。这个模块生成预测残差和包括块分割、参考帧索引、运动向量等在内的一些辅助信息(side information)。预测残差被转换、量化并继而被发送给熵编码模块。辅助信息也被发送给熵编码模块。熵编码模块将所有信息编码到压缩比特流中。编码器还包括用于执行MCTF分解过程中各种步骤的软件程序模块。
图10根据本发明一种实施方式示出了基于MCTF的解码器的框图。通过熵解码模块，比特流被解压缩，该比特流提供了预测残差和包括块分割、参考帧索引、运动向量等在内的辅助信息。预测残差继而被解量化、逆变换并被发送到MCTF合成模块。通过MCTF合成过程，视频图像被重建。解码器还包括用于执行MCTF合成过程中各种步骤的软件程序模块。
在上述过程中，待更新的像素没有以4×4的块来分组。作为替代，它们根据精确的块分割以及与该块分割相关联的运动向量来分组。
从更新步骤中消除异常的或不可靠的运动向量
为了改进编码性能并且进一步简化更新步骤操作，可以结合运动向量滤波过程以用于MCTF中的更新步骤。可以从更新操作中排除与其相邻运动向量差异过大的运动向量。
有不同的运动向量滤波方式可以用于这一目的。一种方式是检查预测残差帧中每个编码块的差异运动向量。差异运动向量被定义为当前运动向量和当前运动向量的预测之间的差异。当前运动向量的预测可以根据已经被编码的(或者被解码的)相邻编码块的运动向量来进行推断。为了编码效率，相应的差异运动向量被编码到比特流中。
差异运动向量反映了当前运动向量与其相邻运动向量之间的差异程度。因此，它可以直接被用在运动向量滤波过程中。例如，如果差异达到了某个阈值Tmv，则排除该运动向量。假设当前编码块的差异运动向量是(Δdx，Δdy)，则可以在滤波过程中使用以下条件：
|Δdx|+|Δdy|＜Tmv
如果差异运动向量没有满足上面的条件，则从更新操作中排除相应的运动向量。应当指出，上述条件只是一个示例。还可以推导和使用其它条件。例如，条件可以是：
max(|Δdx|，|Δdy|)＜Tmv.
这里的max是返回一组给定值中最大值的操作。
由于当前运动向量的预测只是根据已经被编码的(或者被解码的)相邻编码块的运动向量来推断，因此检查更多相邻块的运动向量而不管它们相对于当前块的编码顺序也是可能的。为了执行滤波，一个示例是考虑当前块的上、下、左、右的四个相邻块。计算与这四个相邻块关联的四个运动向量的平均，并将其与当前块的运动向量进行比较。上文提到的条件被再次用来测量该平均运动向量与当前运动向量之间的差异。如果该差异达到了某个阈值，则从更新操作中排除当前运动向量。
通过从更新步骤操作中移除一些运动向量，这样的滤波过程可以进一步降低更新步骤的计算复杂性。根据本发明的一种实施方式利用运动向量滤波模块的MCTF分解和合成过程分别在图11和12中示出。
图11是示出了根据本发明一种实施方式的MCTF分解过程的框图。该过程包括预测步骤和更新步骤。在图11中，在预测步骤中使用了运动估计模块和预测步骤运动补偿模块。其它模块在更新步骤中使用。在更新步骤中也使用了来自运动估计模块的运动向量，以得到用于更新步骤的运动向量，这经由运动向量滤波器在符号反相器中实现。如图所示，在预测步骤和更新步骤中都执行了运动补偿过程。
图12是示出了根据本发明的一种实施方式的MCTF合成过程的框图。基于所接收的并被解码的运动向量信息，经由运动向量滤波器在符号反相器中得到更新运动向量。然后，执行与MCTF分解过程中的运动补偿过程相同的运动补偿过程。与图11对比，可以看到MCTF合成是MCTF分解的逆过程。特别地，更新操作包括运动补偿预测，该运动补偿预测使用了所接收的预测残差、宏块模式以及图10和图12中说明的所接收的运动向量的逆向。预测操作包括运动补偿预测，所述运动补偿预测关于更新步骤的输出、所接收的运动向量以及宏块模式。
基于预测残差能量水平的用于更新步骤的自适应插值
本发明中，在用于更新操作的插值预测残差块中使用了自适应滤波器。自适应滤波器是较短滤波器(例如，双线性滤波器)和较长滤波器(例如，4阶滤波器)的自适应组合。较短滤波器和较长滤波器之间的切换可以基于每个4×4块的最终权重因子。最终权重因子是根据块的预测残差能量水平以及更新运动向量的可靠性确定的，其中所述更新运动向量是针对在具有轻微修改的更新过程中用于插值所采用的块而导出的。能量估计和插值在整个编码块上执行，而不管编码块的大小。在较大的编码块上插值意味着较少的整体计算，因为可以在该过程中共享更多的中间结果。
可以用不同的方法来执行能量估计。一种方法是将块的平均平方像素值用作能量水平。如果假设预测残差块的平均值是零，则块的平均平方像素值等价于该块的方差。在本发明的一种实施方式中，在对块进行插值时，根据所计算的能量水平选择来自滤波器集合中的不同滤波器。能量水平较低的块具有相对较小的预测残差，这也表明与这些块相关联的运动向量相对而言更为可靠。在选择插值滤波器时，优选地使用较长滤波器用于这些块的插值，因为它们对于保持编码性能而言更加重要。然而，对于能量水平较高的块，可以使用较短滤波器。
以图6为例，为了更新块A’n，需要对在块B’n+1处的预测残差进行插值。为了选择插值滤波器，计算块Bn+1的预测残差能量水平。出于说明的目的，假设能量水平E被标准化并且处于[0，1]的范围内。E的值越大，块能量水平就越高。继而将能量水平与预先确定的阈值Te进行比较。自适应插值机制所依据的条件是：如果E＜Te，则较长滤波器被用于块B’n+1处的插值。否则，使用较短滤波器。阈值Te例如可以通过测试而被确定。当Te高时，更多的块是利用较长滤波器来插值。当Te低时，更通常使用较短滤波器。这种用于MCTF更新步骤的自适应插值的框图在图13中示出。
图13根据本发明的一种实施方式示出了基于预测残差能量水平的用于MCFT更新步骤的自适应插值过程。如图所示，能量水平从块能量估计模块中获得。插值滤波器选择模块基于能量水平做出滤波器选择决定。块插值模块使用选定的滤波器在预测残差块和更新运动向量上执行插值，其中所述更新运动向量是基于来自预测步骤中的运动向量经由运动向量滤波器从符号反相器后得到的。插值结果继而被用于更新步骤中的运动补偿。
用于控制更新信号强度的自适应阈值
本发明中，针对每个编码块自适应地确定阈值，并将其用来限制用于块的更新信号的最大振幅。由于阈值在编码过程中被自适应地确定，因此无需在编码比特流中保存阈值。
在图6所示的示例中，假设块B’n+1处的插值预测残差是U(i，j)，其中(i，j)代表坐标并且(i，j)∈B′n+1。假设针对该块所确定的阈值是Tm(Tm＞0)。限制更新信号最大振幅的操作可以表示如下：
U(ij)＝min(Tm，max(-Tm，U(ij)))
在上式中，max和min分别是返回一组给定值中最大值和最小值的操作。
存在不同的方式来确定用于每个编码块的阈值。一种方式是基于块的能量水平确定阈值。由于块的能量水平已经在选择插值滤波器时被计算出来，所以在这个步骤中它可以被再次使用。
如上所述，能量水平较低的块具有相对较小的预测残差，这也表明与这些块相关联的运动向量相对而言更为可靠。在这种情况下，应该分配较高的阈值，使得该块中的多数预测残差值可直接用于更新，而不被阈值盖住。另一方面，对于能量水平较高的块，由于块的运动向量可能是不可靠的，应当分配相对较低的阈值以避免引入视觉伪像(artifact)。
使阈值与预测残差能量水平相关的一个示例可以给出如下：
Tm＝C1*(1-E)+D1
在上式中，E代表块的预测残差能量水平。如上文所述，假设E被标准化并且处于[0，1]的范围内。C1和D1是两个常量，它们的值可以通过测试而被确定。例如，在C1＝16且D1＝4时，发现的相应阈值是合适的且具有良好编码性能。根据上式，块的能量水平越高，使用的阈值越低。这种对更新信号强度的自适应控制过程的框图在图14中示出。
图14示出了基于预测残差能量水平的用于MCFT更新步骤的更新信号强度的自适应控制过程。在图14中，插值滤波器选择模块根据从块能量估计模块获得的能量水平做出滤波器选择决定。在块插值模块中根据更新运动向量来执行插值，其中所述更新运动向量是使用通过运动向量滤波器滤波后的来自预测步骤中的运动向量从符号反相器得到的。在通过振幅控制模块控制了更新信号强度的振幅之后，结果被用于运动补偿。
在本发明的另一实施方式中，基于块匹配因子自适应地确定阈值。块匹配因子是指示符，其指明了块在预测步骤中被匹配或者说被预测的优劣程度。如果块得以良好匹配，则意味着相应的运动向量更为可靠。在这种情况下，可以在更新步骤中可以使用较高的阈值。否则，应当使用较低的阈值。
为了获得块匹配因子，一种方法是检查相应的待更新块的方差和预测残差块的能量水平之间的比率。对于图6中所示的示例，计算块Bn+1的能量水平和块A’n的方差。可以将方差值和能量水平的比率用作块匹配因子。如果该比率大，则可以假设预测步骤中的块匹配是相对良好的。预测残差块Bn+1的能量水平为零的情况可以被排除。
获得块匹配因子的另一种方法是在待更新的块上执行高通滤波操作。接着，将块中每个经过滤波的像素的振幅(也即，绝对值)与相应的预测残差像素的振幅进行比较。可以假设，如果块在预测步骤中得以良好匹配，则预测残差像素的振幅应当小于相应的经过滤波的像素的振幅。可以将块中振幅小于相应经过滤波的像素的振幅的预测残差像素的百分比用作块匹配因子。该百分比可以是指示该块在预测步骤中得以很好匹配的良好指示。
高通滤波操作可以是一般的，并且不局限于一种方法。一个示例是应用如下的2维滤波器：
0         -1/4        0
-1/4      1           -1/4
0         -1/4        0
另一示例是计算当前像素和其四个最接近的相邻像素之间的差异。四个差异值中的最大差异可以作为针对当前像素的高通滤波值。
除了上面两个高通滤波器的示例之外，也可以使用其它高通滤波器。
一旦得到了块匹配因子，可以根据块匹配因子得到阈值。假设块匹配因子是M并且它是一个在[0，1]范围内的标准化值。根据块匹配因子得出阈值的一个示例给出如下：
Tm＝C2*M+D2
在上式中，C2和D2是两个常量，它们的值可以通过测试确定。例如，C2＝16且D2＝4可能是合适的值。根据上式，如果块得以良好匹配并且M具有相对大的值，则Tm也具有相对大的值。
基于块匹配因子的更新信号强度的自适应控制过程在图15中示出。图15示出了基于块匹配因子的用于MCFT更新步骤的更新信号强度的自适应控制过程。在图15中，插值滤波器选择模块基于从块能量估计模块中获得的能量水平做出滤波器选择决定。在块插值模块中根据更新运动向量来执行插值，其中更新运动向量是使用通过运动向量滤波器滤波后的来自预测步骤中的运动向量从符号反相器得到的。在通过振幅控制模块控制了更新信号强度的振幅之后，结果被用于运动补偿。如图15所示，从块匹配因子产生器中获得的块匹配因子也被用于控制更新信号强度。
总而言之，本发明提供了一种用于执行视频编码的运动补偿时域滤波中更新操作的方法、装置以及软件应用产品。
根据预测残差帧中的编码块来执行更新操作。依赖于预测步骤中的宏块模式，编码块可以具有不同的大小。在编码中，该方法在图16中说明。如图16中的流程图500所示，当编码模块接收到表示视频帧的数字视频序列的视频数据时，其在步骤510处开始选择宏块模式，使得在步骤520处可以如选定的宏块模式所规定的那样将视频帧中的像素所形成的宏块分割为许多块。在步骤530，基于关于参考视频帧的运动补偿预测和运动向量，在块上执行预测操作，以提供相应的预测残差块。在步骤540，基于关于预测残差块和宏块模式的运动补偿预测以及基于运动向量的逆向，更新视频参考帧。例如，使用在较短滤波器和较长滤波器之间自适应选择的插值滤波器来插值预测残差块的亚像素位置。插值滤波器的选择可以部分地基于块中预测残差的能量水平。此外，可以将更新信号的振幅限制到根据块的预测残差能量水平和/或块匹配因子来确定的阈值。如果被预测块的运动向量和相邻块的运动向量之间的差异大于阈值，则可以跳过更新操作。
在解码中，该方法在图17中说明。如图17中的流程图600所示，当解码模块接收到表示视频帧的已编码视频序列的已编码视频数据时，其在步骤610处开始对宏块模式解码，使得在步骤620处可以如选定的宏块模式所规定的那样将视频帧中的像素所形成的宏块分割为许多块。在步骤630，解码模块解码块的预测残差和运动向量。在步骤640，基于根据宏块模式的关于块的预测残差的运动补偿预测以及运动向量的逆向，更新块的参考帧。例如，可以使用在较短滤波器和较长滤波器之间自适应选择的插值滤波器插值预测残差块的亚像素位置。插值滤波器的选择可以部分地基于块中预测残差的能量水平。此外，可以将更新信号的振幅限制到基于块的预测残差的能量水平和/或块匹配因子来确定的阈值。如果接收的当前块的运动向量和相邻块的运动向量之间的差异大于阈值，则可以跳过这个更新操作。在步骤650，基于关于已更新参考视频帧的运动补偿预测以及运动向量，在块上执行预测操作。
现在参考图18。图18示出了配备有图9和图10中所示的MCTF编码模块和MCTF解码模块中至少一个的电子设备。根据本发明的一种实施方式，所述电子设备是移动终端。图18中所示的移动设备10支持蜂窝数据和语音通信。应当指出，本发明不局限于这种特定的实施方式，这种特定的实施方式只代表多种不同实施方式中的一种。移动设备10包括控制移动设备操作的(主)微处理器或微控制器100以及与微处理器相关联的组件。这些组件包括与显示模块135连接的显示控制器130，非易失性存储器140，例如随机访问存储器(RAM)的易失性存储器150，与麦克风161、扬声器162和/或耳机163连接的音频输入/输出(I/O)接口160，与键区175或键盘连接的键区控制器170，任意辅助输入/输出(I/O)接口200，以及短距离通信接口180。这样的设备通常还包括其它设备子系统，这些子系统被一般地示为190。
移动设备10可以在语音网络上通信，和/或同样可以在数据网络上通信，所述数据网络例如是任何公共陆地移动网络(PLMN)，其形式例如可以是数字蜂窝网络，特别是GSM(全球移动通信系统)或UMTS(通用移动通信系统)。语音和/或数据通信通常通过空中接口操作，空中接口也即与其它组件(参见上文)协作的连接到基站(BS)或节点B(未示出)的蜂窝通信接口子系统，其中基站(BS)或节点B是蜂窝网络基础设施的无线接入网络(RAN)的一部分。
在图18中被说明性描述的蜂窝通信接口子系统包括蜂窝接口110、数字信号处理器(DSP)120、接收机(RX)121、发射机(TX)122、以及一个或更多本地振荡器(LO)123，并且蜂窝通信接口子系统支持与一个或更多公共陆地移动网络(PLMN)的通信。数字信号处理器(DSP)120将通信信号124发送给发射机(TX)122，并从接收机(RX)121接收通信信号125。除了处理通信信号之外，数字信号处理器120还向接收机提供控制信号126和向发射机提供控制信号127。例如，除了分别对待发射的信号进行调制和对所接收的信号进行解调之外，应用于接收机(RX)121和发射机(TX)122中的通信信号上的增益水平也可以通过数字信号处理器(DSP)120中所实施的自动增益控制算法进行自适应控制。为了提供对收发机121/122的更复杂的控制，也可以在数字信号处理器(DSP)120中实施其它收发机控制算法。
在移动设备10通过PLMN的通信在单一频率或者一组相隔密集的频率上发生的情况下，那么单个本地振荡器(LO)123可以与发射机(TX)122和接收机(RX)123结合使用。可选地，如果语音/数据通信所使用的频率不同或者发射和接收所使用的频率不同，则可以使用多个本地振荡器以产生多个相应的频率。
尽管使用的是图18中所描述的具有天线129或分集天线系统(未示出)的移动设备10，但是也可以使用具有用于信号接收和发射的单个天线结构的移动设备10。包括语音和数据信息在内的信息通过蜂窝接口110与数字信号处理器(DSP)120之间的数据链路在两者之间进行双向通信。蜂窝接口110的详细设计，例如频带、组件选择、功率水平等，将依赖于移动设备10打算在其中操作的无线网络。
在任何所需的网络注册或激活过程之后，移动设备继而可以在无线网络上发送和接收包括语音和数据信号在内的通信信号，其中注册或激活过程可能涉及在蜂窝网络中注册所需的用户标识模块(SIM)210。天线129从无线网络接收的的信号被路由至接收机121，接收机121提供诸如信号放大、频率下转换、滤波、信道选择以及模数转换之类的操作。接收信号的模数转换使得诸如数字解调和解码之类较为复杂的通信功能可以使用数字信号处理器(DSP)120得以执行。通过类似的方式，要被发射给网络的信号被数字信号处理器(DSP)120处理，例如包括调制和编码，并继而被提供给发射机122以用于数模转换、频率上转换、滤波、放大以及通过天线129发射给无线网络。
也可以被指定为设备平台微处理器的微处理器/微控制器(μC)110管理移动设备10的功能。处理器110所使用的操作系统软件149优选地存储在例如非易失性存储器140之类的永久存储器中，其中非易失性存储器140例如可以被实现为闪速存储器、电池备份RAM、任何其它非易失性存储技术或者其任意组合。除了控制移动设备10的低级功能和(图形)基本用户接口功能的操作系统149之外，非易失性存储器140还包括多个高级软件应用程序或者模块，例如语音通信软件应用142、数据通信软件应用141、组织器模块(未示出)或者任何其它类型的软件模块(未示出)。这些模块由处理器100执行并提供了移动设备10的用户与移动设备10之间的高级接口。该接口通常包括由显示控制器130控制的显示器135所提供的图形组件和通过键区控制器170连接到处理器100上的键区175、辅助输入/输出(I/O)接口200和/或短距离(SR)通信接口180所提供的输入/输出组件。辅助I/O接口200特别地包括USB(通用串行总线)接口、串行接口、MMC(多媒体卡)接口以及相关的接口技术/标准，并包括任何其它标准化的或专有的数据通信总线技术，而短距离通信接口射频(RF)低功率接口特别地包括WLAN(无线局域网)和蓝牙通信技术或者IRDA(红外数据访问)接口。这里所称的RF低功率接口技术应被特别地理解为包括IEEE 801.xx标准技术，其说明可以从国际电子电气工程师协会处获得。而且，辅助I/O接口200和短距离通信接口180每一个都可以表示一个或多个的分别支持一个或多个输入/输出接口技术和通信接口技术的接口。操作系统、特定的设备软件应用或模块、或者其一部分可以被临时载入例如随机访问存储器(通常基于DRAM(直接随机访问存储器)技术实现以进行更快的操作)的易失性存储器150中。而且，在将所接收的通信信号永久地写入任何海量存储器或非易失性存储器140中的文件系统中之前，也可以将所接收的通信信号临时存储到易失性存储器150中，其中海量存储器优选地通过辅助I/O接口可拆卸地连接以存储数据。应当理解，上述组件代表在此以蜂窝电话的形式被具体化的传统移动设备10的典型组件。本发明不局限于这些特定的组件，所描述的这些组件的实现仅仅是出于说明和完整的缘故。
移动设备10的一个示例性软件应用模块是提供PDA功能性的个人信息管理器应用，其通常包括联系人管理器、日历、任务管理器等。这样的个人信息管理器由处理器100执行，可以访问移动设备10的组件，并可以与其它软件应用模块交互。例如，与语音通信软件应用的交互允许管理电话呼叫、语音邮件等，与数据通信软件应用的交互支持管理SMS(短消息服务)、MMS(多媒体服务)、电子邮件通信以及其它数据传输。非易失性存储器140优选地提供文件系统，用以促进设备上数据项的永久存储，其中数据项包括多个日历条目、联系人等。例如通过蜂窝接口、短距离通信接口或者辅助I/O接口与网络进行数据通信的能力支持通过这样网络所进行的上传、下载和同步。
应用模块141到149表示设备功能或者软件应用，它们被配置成由处理器100执行。在大多数已知的移动设备中，单个处理器管理和控制移动设备的全部操作以及所有的设备功能和软件应用。这种概念可应用于现在的移动设备。增强型多媒体功能性的实现例如包括通过集成的或可拆卸连接的数字相机功能性实现的视频流应用的再现、数字图像的操作以及视频序列的捕获。所述实现还可以包括具有复杂图形和必要计算能力的游戏应用。处理计算能力需求的一种方式通过实现强大且通用的处理器核来解决提高计算能力的问题，这种方式过去被沿用。另一种提供计算能力的方法是实现两个或者更多独立的处理器核，这是本领域公知的方法学。本领域技术人员可以立刻理解多个独立处理器核的优点。通用处理器被设计用于执行多种不同任务，而没有将不同任务的预选进行专门化，而多处理器配置可以包括一个或更多通用处理器，以及一个或更多适于处理预定义任务集合的专门处理器。无论如何，在一个设备中，特别是在例如移动设备10的移动设备中，实现多个处理器传统上需要对组件进行完全且复杂的重新设计。
下面，本发明将提供这样的概念，其支持将附加的处理器核简单地集成到已有处理设备的实现中，从而省略代价高昂的完全且复杂的重新设计。该创造性概念将参考系统芯片(SoC)设计来描述。系统芯片(SoC)的概念是将处理设备的至少众多(或所有)组件集成到单个高集成芯片中。这样的系统芯片可以包含数字、模拟、混合信号，并经常包含射频功能，所有这些功能都在一个芯片上。典型的处理设备包括多个执行不同任务的集成电路。这些集成电路特别地可以包括微处理器、存储器、通用异步接收机/发射机(UART)、串行/并行端口、直接存储器访问(DMA)控制器等。通用异步接收机/发射机(UART)在数据的并行比特和串行比特之间进行转换。半导体技术近来的发展使超大规模集成电路(VLSI)所能支持的复杂性显著增长，这使其能够将众多系统组件集成到单个芯片中。参考图18，其中的一个或更多组件，例如控制器130和170、存储器组件150和140、以及一个或更多接口200、180和110可以与处理器100一起集成到单个芯片中，最终形成系统芯片(SoC)。
而且，设备10配备有根据本发明的创造性操作的用于视频数据可伸缩编码的模块105和可伸缩解码的模块106。通过CPU100，可以独立地使用所述模块105、106。然而，设备10适于分别执行视频数据编码或解码。所述视频数据可以借助于设备的通信模块来接收，或者它也可以存储在设备10内任何可想象的存储装置中。视频数据可以在设备10和通信网络的其它电子设备之间以比特流来传送。
尽管本发明是相对于其一个或多个实施方式而被描述的，但本领域技术人员可以理解，在不背离本发明范围的前提下，本发明的形式及其细节可以进行上述的和各种其它的改变、省略或偏差。

Claims (38)

1.一种使用运动补偿时域滤波对数字视频序列进行编码以用于提供具有代表已编码视频序列的视频数据的比特流的方法，所述数字视频序列包括多个帧，其中每个帧包括可被划分成多个宏块中的像素的阵列，所述方法包括：
对于宏块，
选择宏块模式；
基于所述宏块模式将宏块分割为多个块；
基于关于参考视频帧的运动补偿预测以及运动向量来在块
上执行预测操作，以提供相应的预测残差块；以及
基于关于所述预测残差块和所述宏块模式的运动补偿预测，
并且还基于所述运动向量的逆向，更新所述视频参考帧。
2.根据权利要求1中所述的方法，其中每个块与一个运动向量相关联，所述方法还包括：
将与所述块中的一个块关联的运动向量和与相邻块关联的运动向量进行比较，以提供所述一个块的差异向量；以及
如果所述差异向量大于预定值，则跳过关于所述一个块的所述更新。
3.根据权利要求1中所述的方法，其中所述预测残差块形成预测残差帧，所述更新包括：
基于插值滤波器在预测残差帧中插值所述预测残差块的亚像素位置。
4.根据权利要求3中所述的方法，其中从至少包括较短滤波器和较长滤波器的多个滤波器中自适应地选择所述插值滤波器。
5.根据权利要求4中所述的方法，其中所述选择至少部分地基于所述块中预测残差的能量水平。
6.根据权利要求1中所述的方法，还包括：
将所述更新中块的预测残差的振幅限制到至少基于所述块中预测残差的能量水平而确定的阈值。
7.根据权利要求1中所述的方法，还包括：
将所述更新中块的预测残差块的振幅限制到至少基于所述块的块匹配因子而确定的阈值。
8.一种对来自代表已编码视频序列的比特流中视频数据的数字视频序列进行解码的方法，所述已编码视频序列包括多个帧，每个帧包括像素阵列，其中每个帧中的像素可以被划分为多个宏块，所述方法包括：
对于宏块，
获得宏块模式；
基于所述宏块模式将宏块分割为多个块；
解码所述块的运动向量和预测残差；
基于根据所述宏块模式的关于所述块的预测残差的运动补偿预测以及运动向量的逆向，在所述块的参考视频帧上执行更新操作；以及
基于关于已更新参考视频帧的运动补偿预测以及运动向量，在所述块上执行预测操作。
9.根据权利要求8中所述的方法，其中每个块与一个运动向量相关联，所述方法还包括：
将与所述块中的一个块关联的运动向量和与相邻块关联的运动向量进行比较，以提供所述一个块的差异向量；以及
如果所述差异向量大于预定值，则跳过关于所述一个块的所述更新。
10.根据权利要求8中所述的方法，其中所述预测残差块形成预测残差帧，所述更新还包括：
基于插值滤波器在预测残差帧中插值所述预测残差块的亚像素位置。
11.根据权利要求10中所述的方法，其中从至少包括较短滤波器和较长滤波器的多个滤波器中自适应地选择所述插值滤波器。
12.根据权利要求11中所述的方法，其中所述选择至少部分地基于所述块中预测残差的能量水平。
13.根据权利要求8中所述的方法，还包括：
将所述更新中块的预测残差的振幅限制到至少基于所述块中预测残差的能量水平而确定的阈值。
14.根据权利要求8中所述的方法，还包括：
将所述更新中块的预测残差的振幅限制到至少基于所述块的块匹配因子而确定的阈值。
15.一种用于使用运动补偿时域滤波对数字视频序列进行编码以用于提供具有代表已编码视频序列的视频数据的比特流的编码模块，所述数字视频序列包括多个帧，其中每个帧包括可被划分成多个宏块中的像素的阵列，所述编码模块包括：
模式决定模块，被配置用于为宏块选择宏块模式，以便基于所述宏块模式将宏块分割为多个块；
预测模块，用于基于关于参考视频帧的运动补偿预测以及运动向量来在所述块上执行预测操作，以提供相应的预测残差块；以及
更新模块，用于基于关于所述预测残差块和所述宏块模式的运动补偿预测，并且还基于所述运动向量的逆向，更新所述视频参考帧。
16.根据权利要求15中所述的编码模块，其中每个块与一个运动向量相关联，所述编码模块还包括：
处理器，用于将与所述块中的一个块关联的运动向量和与相邻块关联的运动向量进行比较以提供所述一个块的差异向量；使得当所述差异向量大于预定值时，所述更新模块被配置为跳过关于所述一个块的所述更新。
17.根据权利要求15中所述的编码模块，其中所述预测残差块形成预测残差帧，所述编码模块还包括：
插值滤波器模块，用于基于插值滤波器在预测残差帧中插值所述预测残差块的亚像素位置。
18.根据权利要求17中所述的编码模块，其中所述插值滤波器从至少包括较短滤波器和较长滤波器的多个滤波器中自适应地选择。
19.根据权利要求18中所述的编码模块，其中所述选择至少部分地基于所述块中预测残差的能量水平。
20.根据权利要求15中所述的编码模块，还包括：
振幅控制模块，用于将所述更新中块的预测残差的振幅限制到至少基于所述块中预测残差的能量水平而确定的阈值。
21.根据权利要求15中所述的编码模块，还包括：
振幅控制模块，用于将所述更新中块的预测残差的振幅限制到至少基于所述块的块匹配因子而确定的阈值。
22.一种用于对来自代表已编码视频序列的比特流中视频数据的数字视频序列进行解码的解码模块，所述已编码视频序列包括多个帧，每个帧包括像素阵列，其中每个帧中的像素可以被划分为多个宏块，所述解码模块包括：
第一解码子模块，用于响应于视频数据而解码宏块模式，以便基于所述宏块模式将宏块分割为多个块；
第二解码子模块，用于解码所述块的运动向量和预测残差；
更新模块，用于基于根据所述宏块模式的关于所述块的预测残差的运动补偿预测以及运动向量的逆向，在所述块的参考视频帧上执行更新操作；以及
预测模块，用于基于关于已更新参考视频帧的运动补偿预测以及运动向量，在所述块上执行预测操作。
23.根据权利要求22中所述的解码模块，其中每个块与一个运动向量相关联，所述解码模块还包括：
处理器，用于将与所述块中的一个块关联的运动向量和与相邻块关联的运动向量进行比较以提供所述一个块的差异向量；使得当所述差异向量大于预定值时，所述更新模块被配置为跳过关于所述一个块的所述更新。
24.根据权利要求22中所述的解码模块，其中所述预测残差块形成预测残差帧，所述解码模块还包括：
插值滤波器模块，用于基于插值滤波器在预测残差帧中插值所述预测残差块的亚像素位置。
25.根据权利要求24中所述的解码模块，其中所述插值滤波器从至少包括较短滤波器和较长滤波器的多个滤波器中自适应地选择。
26.根据权利要求25中所述的解码模块，其中所述选择至少部分地基于所述块中预测残差的能量水平。
27.根据权利要求22中所述的解码模块，还包括：
振幅控制模块，用于将所述更新中块的预测残差的振幅限制到至少基于所述块中预测残差的能量水平而确定的阈值。
28.根据权利要求22中所述的解码模块，还包括：
振幅控制模块，用于将所述更新中块的预测残差的振幅限制到至少基于所述块的块匹配因子而确定的阈值。
29.一种软件程序产品，包括具有软件应用的存储介质，所述软件应用用于使用运动补偿时域滤波对数字视频序列进行编码，以提供具有代表已编码视频序列的视频数据的比特流，所述数字视频序列包括多个帧，其中每个帧包括可被划分成多个宏块的像素的阵列，所述软件应用包括：
用于选择宏块模式的程序代码；
用于基于所述宏块模式将宏块分割为多个块的程序代码；
用于基于关于参考视频帧的运动补偿预测以及运动向量来在块上执行预测操作以提供相应的预测残差块的软件代码；以及
用于基于关于所述预测残差块和所述宏块模式的运动补偿预测并且还基于所述运动向量的逆向更新所述视频参考帧的软件代码。
30.根据权利要求29中所述的软件应用产品，其中每个块与一个运动向量相关联，所述软件应用产品还包括：
用于将与所述块中的一个块关联的运动向量和与相邻块关联的运动向量进行比较以提供所述一个块的差异向量并且在所述差异向量大于预定值时跳过关于所述一个块的所述更新的程序代码。
31.一种软件应用产品，包括具有软件应用的存储介质，所述软件应用用于对来自代表已编码视频序列的比特流中视频数据的数字视频序列进行解码，所述已编码视频序列包括多个帧，每个帧包括像素阵列，其中每个帧中的像素可以被划分为多个宏块，所述软件应用包括：
用于针对宏块从视频数据中获得宏块模式的程序代码；
用于基于所述宏块模式将宏块分割为多个块的程序代码；
用于解码所述块的运动向量和预测残差的程序代码；
用于基于根据所述宏块模式的关于所述块的预测残差的运动补偿预测以及运动向量的逆向来在所述块的参考视频帧上执行更新操作的程序代码；以及
用于基于关于已更新参考视频帧的运动补偿预测以及运动向量在所述块上执行预测操作的程序代码。
32.根据权利要求31中所述的软件应用产品，其中每个块与一个运动向量相关联，所述软件应用产品还包括：
用于将与所述块中的一个块关联的运动向量和与相邻块关联的运动向量进行比较以提供所述一个块的差异向量并且在所述差异向量大于预定值时跳过关于所述一个块的所述更新的程序代码。
33.一种被配置用以获取数字视频序列的移动终端，包括：
编码模块，用于使用运动补偿时域滤波来编码数字视频序列以提供具有代表已编码视频序列的视频数据的比特流，所述数字视频序列包括多个帧，其中每个帧包括可被划分成多个宏块的像素的阵列，所述编码模块包括：
模式决定模块，被配置用于为宏块选择宏块模式，以便基于所述宏块模式将宏块分割为多个块；
预测模块，用于基于关于参考视频帧的运动补偿预测以及运动向量，来在块上执行预测操作，以提供相应的预测残差块；以及
更新模块，用于基于关于所述预测残差块和所述宏块模式的运动补偿预测，并且还基于所述运动向量的逆向，更新所述视频参考帧。
34.根据权利要求33中所述的移动终端，还被配置用以接收代表已编码视频序列的视频数据，所述移动终端还包括：
解码模块，用于解码来自视频数据的已编码视频序列，所述已编码视频序列包括多个帧，每个帧包括像素阵列，其中每个帧中的像素可以被划分为多个宏块，所述解码模块包括：
第一解码子模块，用于响应于视频数据而解码宏块模式，以便基于所述宏块模式将宏块分割为多个块；
第二解码子模块，用于解码所述块的运动向量和预测残差；
更新模块，用于基于根据所述宏块模式的关于所述块的预测残差的运动补偿预测以及运动向量的逆向，在所述块的参考视频帧上执行更新操作；以及
预测模块，用于基于关于已更新参考视频帧的运动补偿预测以及运动向量，在所述块上执行预测操作。
35.一种用于使用运动补偿时域滤波对数字视频序列进行编码以用于提供具有代表已编码视频序列的视频数据的比特流的编码模块，所述数字视频序列包括多个帧，其中每个帧包括可被划分成多个宏块的像素的阵列，所述编码模块包括：
装置，用于为宏块选择宏块模式，以便基于所述宏块模式将宏块分割为多个块；
装置，用于基于关于参考视频帧的运动补偿预测以及运动向量来在所述块上执行预测操作以提供相应的预测残差块；以及
装置，用于基于关于所述预测残差块和所述宏块模式的运动补偿预测并且还基于所述运动向量的逆向来更新所述视频参考帧。
36.根据权利要求35中所述的编码模块，其中每个块与一个运动向量相关联，所述编码模块还包括：
装置，用于将与所述块中的一个块关联的运动向量和与相邻块关联的运动向量进行比较以提供所述一个块的差异向量；使得当所述差异向量大于预定值时，所述更新模块被配置为跳过关于所述一个块的所述更新。
37.一种用于对来自代表已编码视频序列的比特流中视频数据的数字视频序列进行解码的解码模块，所述已编码视频序列包括多个帧，每个帧包括像素阵列，其中每个帧中的像素可以被划分为多个宏块，所述解码模块包括：
装置，用于响应于视频数据而解码宏块模式以便基于所述宏块模式将宏块分割为多个块；
装置，用于解码所述块的运动向量和预测残差；
装置，用于基于根据所述宏块模式的关于所述块的预测残差的运动补偿预测以及运动向量的逆向来在所述块的参考视频帧上执行更新操作；以及
装置，用于基于关于已更新参考视频帧的运动补偿预测以及运动向量来在所述块上执行预测操作。
38.根据权利要求37中所述的解码模块，其中每个块与一个运动向量相关联，所述解码模块还包括：
用于将与所述块中的一个块关联的运动向量和与相邻块关联的运动向量进行比较以提供所述一个块的差异向量的装置；使得当所述差异向量大于预定值时，所述更新模块被配置为跳过关于所述一个块的所述更新。
CNA200680023661XA 2005-06-29 2006-06-29 用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置 Pending CN101213842A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US69564805P 2005-06-29 2005-06-29
US60/695,648 2005-06-29

Publications (1)

Publication Number Publication Date
CN101213842A true CN101213842A (zh) 2008-07-02

Family

ID=37595058

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200680023661XA Pending CN101213842A (zh) 2005-06-29 2006-06-29 用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置

Country Status (5)

Country Link
US (1) US20070053441A1 (zh)
EP (1) EP1908292A4 (zh)
CN (1) CN101213842A (zh)
WO (1) WO2007000657A1 (zh)
ZA (1) ZA200800881B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719979B (zh) * 2009-11-27 2011-08-03 北京航空航天大学 基于时域定区间记忆补偿的视频对象分割方法
WO2011124156A1 (zh) * 2010-04-09 2011-10-13 华为技术有限公司 一种视频编解码方法和装置
CN106067983A (zh) * 2010-04-13 2016-11-02 Ge视频压缩有限责任公司 跨平面预测
US20170134761A1 (en) 2010-04-13 2017-05-11 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
CN107743706A (zh) * 2015-08-11 2018-02-27 谷歌有限责任公司 超变换视频代码化
US20180324466A1 (en) 2010-04-13 2018-11-08 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10248966B2 (en) 2010-04-13 2019-04-02 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
CN110737669A (zh) * 2019-10-18 2020-01-31 北京百度网讯科技有限公司 数据存储方法、装置、设备及存储介质
CN112204977A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码方法、装置和计算机可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1915872A1 (en) * 2005-08-15 2008-04-30 Nokia Corporation Method and apparatus for sub-pixel interpolation for updating operation in video coding
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
US8369417B2 (en) * 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
JP5142373B2 (ja) * 2007-11-29 2013-02-13 パナソニック株式会社 再生装置
TW201004361A (en) * 2008-07-03 2010-01-16 Univ Nat Cheng Kung Encoding device and method thereof for stereoscopic video
US9100656B2 (en) * 2009-05-21 2015-08-04 Ecole De Technologie Superieure Method and system for efficient video transcoding using coding modes, motion vectors and residual information
JP5439162B2 (ja) * 2009-12-25 2014-03-12 株式会社Ｋｄｄｉ研究所 動画像符号化装置および動画像復号装置
US8971400B2 (en) * 2010-04-14 2015-03-03 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US8964845B2 (en) 2011-12-28 2015-02-24 Microsoft Corporation Merge mode for motion information prediction
US9041864B2 (en) * 2012-11-19 2015-05-26 Nokia Technologies Oy Method and apparatus for temporal stabilization of streaming frames
US10931950B2 (en) * 2018-11-19 2021-02-23 Intel Corporation Content adaptive quantization for video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006503518A (ja) * 2002-10-16 2006-01-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 高度にスケーラブルな３次元オーバコンプリート・ウェーブレット・ビデオ符号化
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
MXPA06006107A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR20060043051A (ko) * 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719979B (zh) * 2009-11-27 2011-08-03 北京航空航天大学 基于时域定区间记忆补偿的视频对象分割方法
WO2011124156A1 (zh) * 2010-04-09 2011-10-13 华为技术有限公司 一种视频编解码方法和装置
CN102823244A (zh) * 2010-04-09 2012-12-12 华为技术有限公司 一种视频编解码方法和装置
US9426487B2 (en) 2010-04-09 2016-08-23 Huawei Technologies Co., Ltd. Video coding and decoding methods and apparatuses
CN102823244B (zh) * 2010-04-09 2017-04-12 华为技术有限公司 一种视频编解码方法和装置
US9955184B2 (en) 2010-04-09 2018-04-24 Huawei Technologies Co., Ltd. Video coding and decoding methods and apparatuses
US10123041B2 (en) 2010-04-09 2018-11-06 Huawei Technologies Co., Ltd. Video coding and decoding methods and apparatuses
US10805645B2 (en) 2010-04-13 2020-10-13 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10250913B2 (en) 2010-04-13 2019-04-02 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US20180324466A1 (en) 2010-04-13 2018-11-08 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US20190089962A1 (en) 2010-04-13 2019-03-21 Ge Video Compression, Llc Inter-plane prediction
US10248966B2 (en) 2010-04-13 2019-04-02 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10855991B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Inter-plane prediction
US20190164188A1 (en) 2010-04-13 2019-05-30 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US20190174148A1 (en) 2010-04-13 2019-06-06 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US20190197579A1 (en) 2010-04-13 2019-06-27 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10856013B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10432979B2 (en) 2010-04-13 2019-10-01 Ge Video Compression Llc Inheritance in sample array multitree subdivision
US10432978B2 (en) 2010-04-13 2019-10-01 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10432980B2 (en) 2010-04-13 2019-10-01 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10440400B2 (en) 2010-04-13 2019-10-08 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10448060B2 (en) 2010-04-13 2019-10-15 Ge Video Compression, Llc Multitree subdivision and inheritance of coding parameters in a coding block
US10460344B2 (en) 2010-04-13 2019-10-29 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10621614B2 (en) 2010-04-13 2020-04-14 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10672028B2 (en) 2010-04-13 2020-06-02 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10681390B2 (en) 2010-04-13 2020-06-09 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10687085B2 (en) 2010-04-13 2020-06-16 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10687086B2 (en) 2010-04-13 2020-06-16 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10694218B2 (en) 2010-04-13 2020-06-23 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10708628B2 (en) 2010-04-13 2020-07-07 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10708629B2 (en) 2010-04-13 2020-07-07 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10721495B2 (en) 2010-04-13 2020-07-21 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10719850B2 (en) 2010-04-13 2020-07-21 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10721496B2 (en) 2010-04-13 2020-07-21 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10748183B2 (en) 2010-04-13 2020-08-18 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10764608B2 (en) 2010-04-13 2020-09-01 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10771822B2 (en) 2010-04-13 2020-09-08 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10803483B2 (en) 2010-04-13 2020-10-13 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
CN106067983A (zh) * 2010-04-13 2016-11-02 Ge视频压缩有限责任公司 跨平面预测
US10803485B2 (en) 2010-04-13 2020-10-13 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10848767B2 (en) 2010-04-13 2020-11-24 Ge Video Compression, Llc Inter-plane prediction
US11910030B2 (en) 2010-04-13 2024-02-20 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US20170134761A1 (en) 2010-04-13 2017-05-11 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
CN106067983B (zh) * 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
US10855990B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Inter-plane prediction
US10863208B2 (en) 2010-04-13 2020-12-08 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10873749B2 (en) 2010-04-13 2020-12-22 Ge Video Compression, Llc Inter-plane reuse of coding parameters
US10880581B2 (en) 2010-04-13 2020-12-29 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10880580B2 (en) 2010-04-13 2020-12-29 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US12010353B2 (en) 2010-04-13 2024-06-11 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US11983737B2 (en) 2010-04-13 2024-05-14 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10893301B2 (en) 2010-04-13 2021-01-12 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10855995B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Inter-plane prediction
US11037194B2 (en) 2010-04-13 2021-06-15 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11051047B2 (en) 2010-04-13 2021-06-29 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US20210211743A1 (en) 2010-04-13 2021-07-08 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11087355B2 (en) 2010-04-13 2021-08-10 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11102518B2 (en) 2010-04-13 2021-08-24 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11546641B2 (en) 2010-04-13 2023-01-03 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US11546642B2 (en) 2010-04-13 2023-01-03 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11553212B2 (en) 2010-04-13 2023-01-10 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US11611761B2 (en) 2010-04-13 2023-03-21 Ge Video Compression, Llc Inter-plane reuse of coding parameters
US11734714B2 (en) 2010-04-13 2023-08-22 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11736738B2 (en) 2010-04-13 2023-08-22 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using subdivision
US11765362B2 (en) 2010-04-13 2023-09-19 Ge Video Compression, Llc Inter-plane prediction
US11765363B2 (en) 2010-04-13 2023-09-19 Ge Video Compression, Llc Inter-plane reuse of coding parameters
US11778241B2 (en) 2010-04-13 2023-10-03 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11785264B2 (en) 2010-04-13 2023-10-10 Ge Video Compression, Llc Multitree subdivision and inheritance of coding parameters in a coding block
US11810019B2 (en) 2010-04-13 2023-11-07 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11856240B1 (en) 2010-04-13 2023-12-26 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11900415B2 (en) 2010-04-13 2024-02-13 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11910029B2 (en) 2010-04-13 2024-02-20 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division preliminary class
CN107743706A (zh) * 2015-08-11 2018-02-27 谷歌有限责任公司 超变换视频代码化
WO2021056210A1 (zh) * 2019-09-24 2021-04-01 北京大学 视频编解码方法、装置和计算机可读存储介质
CN112204977A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码方法、装置和计算机可读存储介质
CN110737669A (zh) * 2019-10-18 2020-01-31 北京百度网讯科技有限公司 数据存储方法、装置、设备及存储介质

Also Published As

Publication number Publication date
ZA200800881B (en) 2008-12-31
WO2007000657A1 (en) 2007-01-04
US20070053441A1 (en) 2007-03-08
EP1908292A4 (en) 2011-04-27
EP1908292A1 (en) 2008-04-09

Similar Documents

Publication Publication Date Title
CN101213842A (zh) 用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置
CN101278563A (zh) 用于视频编码中更新操作的亚像素内插的方法和装置
US20080075165A1 (en) Adaptive interpolation filters for video coding
CN101647285A (zh) 用于运动矢量预测的方法和系统
KR100931870B1 (ko) 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
US20070009050A1 (en) Method and apparatus for update step in video coding based on motion compensated temporal filtering
CN101416513A (zh) 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置
KR20080006607A (ko) 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
KR102524541B1 (ko) 비디오 코딩에서 인트라 예측을 위한 시스템 및 방법
US20140037006A1 (en) Adaptive interpolation filters for video coding
US20060256863A1 (en) Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
JP2005005844A (ja) 計算装置及び符号化処理プログラム
CN101180884B (zh) 用于视频数据的有效精细粒度伸缩（fgs）编码和解码的方法、装置和系统
CN102165771A (zh) 使用空间可变变换的视频编码
CN101682787A (zh) 空间增强的变换编码
CN101390398A (zh) 用于精细粒度可伸缩视频编码中的熵编码的方法和装置
US11122262B2 (en) System and method for motion compensation in video coding
CN101185340A (zh) 具有漂移控制的运动补偿精细粒度可伸缩视频编码方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20080702