CN101278563A - 用于视频编码中更新操作的亚像素内插的方法和装置 - Google Patents

用于视频编码中更新操作的亚像素内插的方法和装置 Download PDF

Info

Publication number
CN101278563A
CN101278563A CNA2006800363973A CN200680036397A CN101278563A CN 101278563 A CN101278563 A CN 101278563A CN A2006800363973 A CNA2006800363973 A CN A2006800363973A CN 200680036397 A CN200680036397 A CN 200680036397A CN 101278563 A CN101278563 A CN 101278563A
Authority
CN
China
Prior art keywords
prediction
motion vector
interpolation
piece
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800363973A
Other languages
English (en)
Inventor
王祥林
M·卡克泽威兹
J·里奇
鲍亦亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101278563A publication Critical patent/CN101278563A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在具有预测操作和更新操作的数字视频序列的视频编码和解码中，更新操作包括内插，以便产生能量分布内插。根据针对参考帧的运动补偿预测和运动向量在每个块上执行预测，以提供相应的预测残差块。根据针对预测残差块的运动补偿预测和运动向量的逆向在参考视频帧上执行更新。根据运动向量来确定内插滤波器，并且通过将预测残差块之外的采样值视为零从而使用预测残差块来内插亚像素的采样值。使用一维内插滤波器沿着水平方向和竖直方向分别执行内插。

Description

用于视频编码中更新操作的亚像素内插的方法和装置
技术领域
本发明一般地涉及视频编码，并且特别涉及使用运动补偿时域滤波的视频编码。
背景技术
数字视频出于存储和广播的目的而被压缩，使得经过压缩的结果视频可以存储在较小的空间中。
例如胶片上记录的普通运动图像的数字视频序列包括静止图像的序列，运动的幻像是通过以相对快速的帧率一个接一个地显示图像而产生的，通常的帧率是15到30帧每秒。压缩数字视频的普遍方法是利用这些连续图像之间的冗余(也即，时间冗余)。在给定时刻的典型视频中，一些运动物体结合有缓慢摄像机移动或者没有结合摄像机移动，并且连续的图像具有相似的内容。只传输连续图像之间的差异是有益的。被称为预测误差帧En的差异帧是当前帧In和参考帧Pn之间的差异。预测误差帧由下式给出：
En(x，y)＝In(x，y)-Pn(x，y).
其中n是帧号，(x，y)代表像素坐标。预测误差帧也被称为预测残差帧。在通常的视频编解码中，在传输之前对差异帧进行压缩。压缩是通过离散余弦变换(DCT)和霍夫曼编码或者类似方法实现的。
由于待压缩的视频包含运动，因此两个连续图像相减并不总是得到最小的差异。例如，当摄像机进行摇拍(pan)时，整个场景都在变化。为了补偿运动，将称为运动向量的位移(Δx(x，y)，Δy(x，y))添加到前面帧的坐标中。预测误差因而变为：
En(x，y)＝In(x，y)-Pn(x+Δx(x，y)，y+Δy(x，y)).
在实践中，将视频编解码中的帧划分为块，并且针对每个块只传输一个运动向量，使得同一运动向量用于一个块中的所有像素。为一帧中的每个块找到最佳运动向量的过程称为运动估计。一旦运动向量可用，计算Pn(x+Δx(x，y)，y+Δy(x，y))的过程称为运动补偿，并且所计算的项Pn(x+Δx(x，y)，y+Δy(x，y))称为运动补偿预测。
在上文描述的编码机制中，参考帧Pn可以是之前编码帧中的一个。在这种情况下，Pn在编码器和解码器处都是已知的。这种编码架构被称为闭环。
Pn也可以是原始帧中的一个。在这种情况下，编码架构被称为开环。由于原始帧只在编码器处可用而在解码器处不可用，所以在利用开环架构的预测过程中可能存在漂移。漂移是指由于将不同的帧用作参考而导致的编码器和解码器之间预测Pn(x+Δx(x，y)，y+Δy(x，y))的不匹配(或者说差异)。无论如何，开环架构在视频编码中，特别是可伸缩视频编码中越来越常用，这是因为开环架构使得有可能通过使用提升(lifting)步骤来获得视频的时域可伸缩表示，从而实现运动补偿时域滤波(也即，MCTF)。
图1a和图1b示出了使用提升步骤的MCTF的基本结构，其同时示出了使用提升结构的MCTF的分解过程和合成过程。在这些图中，In和In+1是原始相邻帧。
提升包括两个步骤：预测步骤和更新步骤。它们在图1a和图1b中分别被标记为P和U。图1a是分解(分析)过程，图1b是合成(综合)过程。分解过程中的输出信号和合成过程中的输入信号是H和L信号。H和L信号由以下公式得到：
H＝In+1-P(In)
L＝In+U(H)
可以将预测步骤P视为运动补偿。P的输出，也即P(In)，是运动补偿预测。在图1a中，H是基于根据帧In的预测的帧In+1的时域预测残差。H信号一般包含原始视频信号的时域高频分量。在更新步骤U中，将H中的时域高频分量反馈至帧In，以便产生时域低频分量L。出于这个原因，将H和L分别称为时域高频带信号和时域低频带信号。
在图1b中所示的合成过程中，通过以下操作得到重建帧I’n和I’n+1：
I’n＝L-U(H)
I’n+1＝H+P(I’n)
如果信号L和H在图1a和图1b所示的分解过程和合成过程之间保持不变，则I’n和I’n+1分别与In和In+1完全相同。在这种情况下，可以利用这种提升步骤实现完美的重建。
图1a和图1b中所示的结构也可以级联，使得能够将视频序列分解为多个时域级别。如图2所示，执行了两个级别的提升步骤。每个分解级别处的时域低频带信号可以提供时域可伸缩性。
在MCTF中，预测步骤基本上是一般的运动补偿过程，除非预测步骤是基于开环结构的。在这样的过程中，针对当前帧的补偿预测是根据针对每个宏块的最佳估计运动向量而产生的。由于运动向量通常具有亚像素(sub-pixel)精度，因此在运动补偿中需要亚像素内插(interpolation)。运动向量可以具有1/4像素的精度。在这种情况下，像素内插的可能位置在图3中示出。图3示出了下至四分之一像素的可能的内插像素位置。在图3中，A、E、U和Y指示原始的整数像素位置，c、k、m、o和w指示半像素位置。所有其它位置是四分之一像素位置。
通常，通过使用具有冲激响应(1/32，-5/32，20/32、-5/32、1/32)的6阶(6-tap)滤波器来获得半像素位置处的值。滤波器沿着适合的水平方向和垂直方向在整数像素值上操作。为了简化解码器，一般不使用6阶滤波器来内插四分之一像素值。而是改为通过以如下的方式对整数位置和与其相邻的半像素位置求平均、并对两个相邻的半像素位置求平均来得到四分之一位置：
b＝(A+c)/2，d＝(c+E)/2，f＝(A+k)/2，g＝(c+k)/2，h＝(c+m)/2，i＝(c+o)/2，j＝(E+o)/2
l＝(k+m)/2，n＝(m+o)/2，p＝(U+k)/2，q＝(k+w)/2，r＝(m+w)/2，s＝(w+o)/2，t＝(Y+o)/2
v＝(w+U)/2，x＝(Y+w)/2
运动预测的一个示例在图4a中示出。在图4a中，An代表帧In中的块，An+1代表帧In+1中具有相同位置的块。假设使用An来预测帧In+1中的块Bn+1，并且如图4所示，用于预测的运动向量是(Δx，Δy)。依赖于运动向量(Δx，Δy)，如图3所示，可以将An定位在像素或者亚像素位置。如果An被定位在亚像素位置，那么在将An用作预测而从块Bn+1中减去之前，需要在An中内插值。
发明内容
本发明提供用于更新步骤内插从而产生能量分布内插的简单而有效的方法。根据本发明，内插方案在块的基础上执行。对于每个块，使用一维内插滤波器沿着水平方向和垂直方向分别地执行操作。特别地，根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作，以提供相应的预测残差块。根据针对预测残差块的运动补偿预测和运动向量的逆向来在参考视频帧上执行更新操作。此外，在更新操作中，根据运动向量来确定内插滤波器，并且通过将预测残差块之外的采样值视为零从而使用该块的预测残差来内插亚像素的采样值。
因此，本发明的第一方面是一种使用运动补偿时域滤波来对数字视频序列进行编码的方法，其中，视频序列包括多个帧，并且每个帧包括被划分为多个块的像素阵列。该编码方法包括：根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作以提供相应的预测残差块，以及根据针对预测残差块的运动补偿预测和运动向量的逆向来更新视频参考帧。更新操作包括：根据运动向量确定滤波器，以及通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值。此外，使用一维内插滤波器来沿着水平方向和竖直方向分别地执行内插。
本发明的第二方面是一种对来自已编码视频序列的数字视频序列进行解码的方法，其中已编码视频序列包括多个帧，并且每个帧包括被划分为多个块的像素阵列。该解码方法包括：解码块的运动向量和该块的预测残差，根据针对该块的预定残差的运动补偿预测和运动向量的逆向来执行该块的参考视频帧的更新操作，以及根据针对参考视频帧的运动补偿预测和运动向量来在该块上执行预测操作。更新操作包括：根据运动向量来确定滤波器，以及通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值。此外，使用一维内插滤波器来沿着水平方向和竖直方向分别地执行内插。
本发明的第三方面是一种使用运动补偿时域滤波来对数字视频序列进行编码的视频编码器，其中视频序列包括多个帧，并且每个帧包括被划分为多个块的像素阵列。该编码器包括：预测模块，用于根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作，以提供相应的预测残差帧；以及更新模块，用于根据针对预测残差块的运动补偿预测和运动向量的逆向来更新视频参考帧。更新模块包括软件程序，用于根据运动向量来确定滤波器，以及通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值。此外，使用一维内插滤波器来沿着水平方向和竖直方向分别地执行内插。
本发明的第四方面是一种对来自已编码视频序列的数字视频序列进行解码的视频解码器，其中已编码视频序列包括多个帧，并且每个帧包括被划分为多个块的像素阵列。该解码器包括：解码模块，用于解码块的运动向量以及该块的预测残差；更新模块，用于根据针对该块的预测残差的运动补偿预测和运动向量的逆向来执行该块的参考视频帧的更新操作；以及预测模块，用于根据针对参考视频帧的运动补偿预测和运动向量来在该块上执行预测操作。更新模块包括软件程序，用于根据运动向量来确定滤波器，以及通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值。此外，使用一维内插滤波器来沿着水平方向和竖直方向分别地执行内插。
本发明的第五方面是一种具有根据本发明的第三和第四方面所述的编码器或解码器的移动终端。该移动终端可以具有编码器和解码器两者。
本发明的第六方面是一种软件应用产品，其包括具有软件应用的存储介质，该软件应用用于使用运动补偿时域滤波对数字视频序列进行编码，其中视频序列包括多个帧，并且每个帧包括被划分为多个块的像素阵列。该软件应用包括：用于根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作以提供相应的预测残差帧的程序代码，以及用于根据针对预测残差块的运动补偿预测和运动向量的逆向来更新视频参考帧的程序代码。更新程序代码包括用于根据运动向量来确定滤波器的程序代码，以及用于通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值的程序代码。使用一维内插滤波器沿着水平方向和竖直方向分别地执行内插。
本发明的第七方面是一种软件应用产品，其包括具有软件应用的存储介质，该软件应用用于对来自已编码视频序列的数字视频序列进行解码，其中已编码视频序列包括多个帧，并且每个帧包括被划分为多个块的像素阵列。该软件应用包括：用于解码块的运动向量以及该块的预测残差的程序代码，用于根据针对该块的预测残差的运动补偿预测和运动向量的逆向来执行该块的参考视频帧的更新操作的程序代码，以及用于根据针对参考视频帧的运动补偿预测和运动向量在该块上执行预测操作的程序代码。用于更新的程序代码包括用于根据运动向量来确定滤波器的程序代码，以及用于通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值的程序代码。使用一维内插滤波器来沿着水平方向和竖直方向分别地执行内插。
在阅读结合图5到图15的描述时，本发明将变得显而易见。
附图说明
图1a示出了使用提升结构的用于MCTF的分解过程。
图1b示出了使用提升结构的用于MCTF的合成过程。
图2示出了使用提升结构的用于MCTF的两级分解过程。
图3示出了下至四分之一像素的可能内插像素位置。
图4a示出了预测步骤中所使用的运动向量和关联块的关系的示例。
图4b示出了更新步骤中所使用的运动向量和关联块的关系的示例。
图5示出了更新步骤中所涉及的块与预测步骤中的块之间的部分像素位置差异。
图6示出了内插过程的示例。
图7是示出了MCTF分解过程的框图。
图8是示出了MCTF合成过程的框图。
图9示出了基于MCTF的编码器的框图。
图10示出了基于MCTF的解码器的框图。
图11是示出了利用运动向量滤波器模块的MCTF分解过程的框图。
图12是示出了利用运动向量滤波器模块的MCTF合成过程的框图。
图13是根据本发明的一种实施方式说明了编码方法的一部分的流程图。
图14是根据本发明的一种实施方式说明了解码方法的一部分的流程图。
图15是根据本发明的电子设备的框图，该电子设备可以配备有基于MCTF的编码模块和解码模块中的一个或二者。
具体实施方式
用于运动补偿时域滤波(MCTF)的分解过程和合成过程两者都可以使用提升结构。提升包括预测步骤和更新步骤。
在更新步骤中，可以沿着预测步骤中所使用的运动向量的逆向将块Bn+1处的预测残差添加到参考块中。如果运动向量是(Δx，Δy)(参见图4a)，则其逆向可以表示为(-Δx，-Δy)，它也可被视为运动向量。同样地，更新步骤也包括运动补偿过程。可以考虑将从预测步骤中获得的预测残差帧用作参考帧。将预测步骤中那些运动向量的逆向用作更新步骤中的运动向量。利用这样的参考帧和运动向量，便可以构建补偿帧。继而将补偿帧添加到帧In中，用以消除帧In中的一些时域高频率。
更新过程只在帧In中的整数像素上执行。如果An位于亚像素位置，则它的最接近的整数位置块A’n根据运动向量(-Δx，-Δy)被实际更新。这在图4b中示出。在这种情况下，块An和A’n的位置之间存在局部像素差异。根据运动向量(-Δx，-Δy)，在更新步骤中用于A’n的参考块(标为B’n+1)也不位于整数像素位置。然而，块Bn+1和块B’n+1的位置之间也将存在相同的局部像素差异。出于这个原因，需要进行内插以便获得块B’n+1处的预测残差。因此，只要运动向量(-Δx，-Δy)在水平或者垂直方向不具有整数像素位移，在更新步骤中通常就需要进行内插。
可以通过能量分布的方式来执行内插。更特别地，在内插过程中，独立地处理预测残差块中的每个像素，并且分别计算它对来自该块的更新信号的贡献。这在图5中示出，其中实心点代表整数像素位置，而空心点代表亚像素位置。块An在预测步骤中是块Bn+1的参考块。根据相同的运动向量，在帧In+1中所示的空心点与帧In中的整数像素位置相对应。如果假设在用于更新步骤的内插过程中使用双线性滤波器，则块Bn+1中的每个像素对其相邻的4个亚像素位置处的内插采样值有贡献。来自像素的对其4个相邻亚像素位置中每一个的贡献因子由内插滤波器系数确定。对来自块中相邻像素的对相同亚像素位置的贡献进行合计。如图5所示，当处理了预测残差块中的每个像素之后，K×K大小的块将产生大小为(K+1)×(K+1)的更新信号。
类似地，如果将4阶滤波器用于更新步骤内插，则块Bn+1中的每个像素将对其相邻的16(也即，4×4)个亚像素位置的内插采样值有贡献。像素对其16个相邻亚像素位置中每一个的贡献因子由内插滤波器系数确定。当处理了预测残差块中的每个像素之后，大小为K×K的块将产生大小为(K+3)×(K+3)的更新信号。
内插之后，根据预测步骤中所使用的运动向量的逆向将更新信号加回到低通帧(例如，图4a和图4b中的帧In)。
对于这种能量分布内插，如果它是逐个像素完成的，则计算复杂性可明显高于传统的基于块的内插。
能量分布内插和传统内插的主要差异在于，在这种能量分布内插过程中，每个预测残差块是独立处理的，而无需对与该块相邻的像素进行任何参考。然而，在传统内插中，当沿着当前块的边界进行滤波时，参考相邻块中的像素。由于相邻块中的预测残差不是十分相关，特别是在块具有不同的运动向量时，因此能量分布内插可以比描述中较早提到的传统内插方案更为准确或更为适合更新步骤。
根据本发明，能量分布内插是在块的基础上执行的，其中对于每个块，针对该块中的每个像素共享公共运动向量。在能量分布内插中，每个预测残差块被独立处理，而无需对其相邻块进行任何参考。采样值需要被内插的亚像素位置包括利用给定的滤波器由当前块的内插所可能影响的所有位置。可以根据运动向量来确定滤波器。当沿着块边界进行滤波时，将当前块之外的像素视为零像素(也即，具有零值的像素)。此外，内插处理是在逐块的基础上执行的，并且对于每个块，根据该块相应的运动向量来确定亚像素位置。更特别地，使用一维内插滤波器(例如，4阶滤波器)来沿着水平方向和竖直方向分别执行内插操作。水平滤波和竖直滤波的顺序不影响内插结果，因此可以改变。
图6示出了例子。在图6中，假设预测残差块是4×4块，将其表示为虚线矩形内的实心点。假设选择4阶滤波器用于当前块的内插。在这种情况下，可能受到当前块内插影响的亚像素位置包括图中表示为空心点的(4+3)×(4+3)个位置。因此，需要内插所有的(4+3)×(4+3)个亚像素值。使用给定的滤波器沿着水平方向和竖直方向分别执行内插。更特别地，如果假设首先执行水平滤波，则首先内插图6中表示为星号的位置处的采样值。基于这些值，通过垂直滤波进一步内插图6中表示为空心点的(4+3)×(4+3)个亚像素值。
当沿着当前块的边界进行滤波时，将当前块之外的像素视为零像素，图中将其示为矩形。应当指出，在实际的实现中，滤波过程中与零像素进行乘法操作没有影响，因此可以被忽略。例如，为了获得图6中所示的像素C的内插值，使用4阶滤波器只需要一次乘法。由于滤波过程中涉及的4个像素中的3个是零像素，因此这是可能的。还应当指出，此基于块的能量分布内插过程产生与基于像素的能量分布内插方法相同的内插结果。由于根据本发明的内插是沿着水平方向和竖直方向分别执行的，因此它的计算复杂性较低。
针对MCTF分解(或者分析)和MCTF合成(或者综合)的框图分别在图7和图8中示出。与MCTF模块相结合的编码器和解码器的框图分别在图9和图10中示出。因为不论是否使用MCTF技术都需要预测步骤运动补偿过程，所以还需要与MCTF相结合的用于更新步骤运动补偿过程的附加模块。图7和图8中的符号反向器用来改变运动向量分量的符号，以便获得运动向量的逆向。
图9根据本发明的一种实施方式示出了基于MCTF的编码器的框图。MCTF分解模块包括预测步骤和更新步骤两者。这个模块生成预测残差和包括块分割、参考帧索引、运动向量等在内的一些辅助信息(side information)。预测残差被转换、量化并继而被发送给熵编码模块。辅助信息也被发送给熵编码模块。熵编码模块将所有信息编码到压缩比特流中。编码器还包括用于执行MCTF分解过程中各种步骤的软件程序模块。软件程序还可用以根据块的运动向量来确定块中的亚像素位置，以及在执行水平滤波和竖直滤波之前将该块边界之外的像素的像素值设置为零。
图10根据本发明一种实施方式示出了基于MCTF的解码器的框图。通过熵解码模块，比特流被解压缩，该比特流提供了预测残差和包括块分割、参考帧索引、运动向量等在内的辅助信息。预测残差继而被解量化、逆变换并被发送到MCTF合成模块。通过MCTF合成过程，视频图像得以重建。解码器还包括用于执行MCTF合成过程中各种步骤的软件程序模块。
根据本发明的一种实施方式，利用运动向量滤波模块，MCTF分解和合成过程分别在图11和12中示出。
图11是根据本发明的一种实施方式示出了MCTF分解过程的框图。该过程包括预测步骤和更新步骤。在图11中，运动估计模块和预测步骤运动补偿模块在预测步骤中使用。其它模块在更新步骤中使用。在更新步骤中也使用了来自运动估计模块的运动向量，以导出用于更新步骤的运动向量，这经由运动向量滤波器在符号反相器中实现。如图所示，在预测步骤和更新步骤中都执行了运动补偿过程。
图12是根据本发明的一种实施方式示出了MCTF合成过程的框图。基于所接收的并被解码的运动向量信息，经由运动向量滤波器在符号反相器中导出更新运动向量。然后，执行与MCTF分解过程中的运动补偿过程相同的运动补偿过程。与图11对比，可以看到MCTF合成是MCTF分解的逆过程。
根据预测残差帧中的编码块来执行更新操作。在编码中，该方法在图13中说明。如图13中的流程图500所示，当编码模块接收到表示视频帧的数字视频序列的视频数据时，其在步骤510处开始将视频帧分割为多个块。在步骤520，根据针对参考视频帧的运动补偿预测和运动向量对该块执行预测操作，以提供相应的预测残差块。在步骤530，根据块的运动向量确定亚像素位置。在步骤540，将该块边界之外的像素的像素值设置为零，以便在不对相邻块中的像素进行任何参考的情况下独立地处理预测残差块。在步骤550，使用一维内插滤波器在一个维度中执行内插滤波。在步骤560，使用相同或不同的一维内插滤波器在其它方向上执行内插。
在解码中，该方法在图14中说明。如图14中的流程图600所示，当解码模块接收到表示视频帧的已编码视频序列的已编码视频数据时，其在步骤610处开始将经过编码的视频数据中的视频帧分割为多个块。在步骤620，解码模块解码运动向量和该块的预测残差。在步骤630，根据针对该块的运动残差的运动补偿预测和运动向量的逆向来更新参考帧。在步骤640，将每个块边界之外的像素的像素值设置为零。在步骤650，使用一维内插滤波器在一个维度中执行内插滤波。在步骤660，使用相同或不同的一维内插滤波器在其它方向上执行内插。在步骤670，根据预测帧中的编码块执行预测操作。
现在参考图15，图15示出了配备有图9和图10中所示的MCTF编码模块和MCTF解码模块中至少一个的电子设备。根据本发明的一种实施方式，所述电子设备是移动终端。图15中所示的移动设备10支持蜂窝数据和语音通信。应当指出，本发明不局限于这种特定的实施方式，这种特定的实施方式只代表多种不同实施方式中的一种。移动设备10包括控制移动设备操作的(主)微处理器或微控制器100以及与微处理器相关联的组件。这些组件包括与显示模块135连接的显示控制器130，非易失性存储器140，例如随机访问存储器(RAM)的易失性存储器150，与麦克风161、扬声器162和/或耳机163连接的音频输入/输出(I/O)接口160，与小键盘175或键盘连接的小键盘控制器170，任意辅助输入/输出(I/O)接口200，以及短距离通信接口180。这样的设备通常还包括其它设备子系统，这些子系统被一般地示为190。
移动设备10可以在语音网络上通信，且/或同样可以在数据网络上通信，所述数据网络例如是任何公共陆地移动网络(PLMN)，其形式例如可以是数字蜂窝网络，特别是GSM(全球移动通信系统)或UMTS(通用移动通信系统)。语音和/或数据通信通常通过空中接口操作，空中接口也即与其它组件(参见上文)协作的连接到基站(BS)或节点B(未示出)的蜂窝通信接口子系统，其中基站(BS)或节点B是蜂窝网络基础设施的无线接入网络(RAN)的一部分。
在图15中说明性描述的蜂窝通信接口子系统包括蜂窝接口110、数字信号处理器(DSP)120、接收机(RX)121、发射机(TX)122、以及一个或多个本地振荡器(LO)123，并且蜂窝通信接口子系统支持与一个或多个公共陆地移动网络(PLMN)的通信。数字信号处理器(DSP)120将通信信号124发送给发射机(TX)122，并从接收机(RX)121接收通信信号125。除了处理通信信号之外，数字信号处理器120还向接收机提供控制信号126以及向发射机提供控制信号127。例如，除了分别对待发射的信号进行调制和对所接收的信号进行解调之外，还可以通过数字信号处理器(DSP)120中所实现的自动增益控制算法对应用于接收机(RX)121和发射机(TX)122中的通信信号上的增益水平进行自适应控制。为了提供对收发机121/122的更复杂的控制，还可以在数字信号处理器(DSP)120中实施其它收发机控制算法。
在移动设备10通过PLMN的通信在单一频率或者一组相隔密集的频率上发生的情况下，单个本地振荡器(LO)123可以与发射机(TX)122和接收机(RX)123结合使用。可选地，如果语音/数据通信所使用的频率不同或者发射和接收所使用的频率不同，则可以使用多个本地振荡器以产生多个相应的频率。
尽管使用的是图15中所描述的具有天线129或分集天线系统(未示出)的移动设备10，但是也可以使用具有用于信号接收和发射的单个天线结构的移动设备10。包括语音和数据信息在内的信息通过蜂窝接口110与数字信号处理器(DSP)120之间的数据链路在两者之间进行双向通信。蜂窝接口110的详细设计，例如频带、组件选择、功率水平等，将依赖于移动设备10打算在其中操作的无线网络。
在任何所需的网络注册或激活过程之后，移动设备继而可以在无线网络上发送和接收包括语音和数据信号在内的通信信号，其中注册或激活过程可能涉及在蜂窝网络中注册所需的用户标识模块(SIM)210。天线129从无线网络接收的信号被路由至接收机121，接收机121提供诸如信号放大、频率下转换、滤波、信道选择以及模数转换之类的操作。接收信号的模数转换使得可以使用数字信号处理器(DSP)120来执行诸如数字解调和解码之类的较为复杂的通信功能。通过类似的方式，将要发射给网络的信号由数字信号处理器(DSP)120进行处理，例如包括调制和编码，并继而被提供给发射机122以用于数模转换、频率上转换、滤波、放大以及通过天线129发射给无线网络。
也可指定为设备平台微处理器的微处理器/微控制器(μC)110管理移动设备10的功能。处理器110所使用的操作系统软件149优选地存储在例如非易失性存储器140之类的永久存储器中，非易失性存储器140例如可以实现为闪速存储器、电池备份RAM、任何其它非易失性存储技术或者其任意组合。除了控制移动设备10的低层功能和(图形)基本用户接口功能的操作系统149之外，非易失性存储器140还包括多个高层软件应用程序或者模块，例如语音通信软件应用142、数据通信软件应用141、组织器模块(未示出)或者任何其它类型的软件模块(未示出)。这些模块由处理器100执行并提供了移动设备10的用户与移动设备10之间的高层接口。该接口通常包括由显示控制器130控制的显示器135所提供的图形组件和通过小键盘控制器170连接到处理器100上的小键盘175、辅助输入/输出(I/O)接口200和/或短距离(SR)通信接口180所提供的输入/输出组件。辅助I/O接口200特别地包括USB(通用串行总线)接口、串行接口、MMC(多媒体卡)接口以及相关的接口技术/标准，并包括任何其它标准化的或专有的数据通信总线技术，而短距离通信接口射频(RF)低功率接口特别地包括WLAN(无线局域网)和蓝牙通信技术或IRDA(红外数据访问)接口。应当将这里所称的RF低功率接口技术特别地理解为包括IEEE 801.xx标准技术，其说明可以从国际电子电气工程师协会处获得。而且，辅助I/O接口200和短距离通信接口180每一个都可以表示一个或多个分别支持一个或多个输入/输出接口技术和通信接口技术的接口。可以将操作系统、特定的设备软件应用或模块、或者其一部分临时载入例如随机访问存储器(通常基于DRAM(直接随机访问存储器)技术实现以进行更快的操作)的易失性存储器150中。而且，在将所接收的通信信号永久地写入任何海量存储器或非易失性存储器140中的文件系统中之前，也可以将所接收的通信信号临时存储到易失性存储器150中，其中海量存储器优选地通过辅助I/O接口可拆卸地连接，以便存储数据。应当理解，上述组件代表在此以蜂窝电话的形式被具体化的传统移动设备10的典型组件。本发明不局限于这些特定的组件，所描述的这些组件的实现仅仅是出于说明和完整的缘故。
移动设备10的一个示例性软件应用模块是提供PDA功能性的个人信息管理器应用，其通常包括联系人管理器、日历、任务管理器等。这样的个人信息管理器由处理器100执行，可以访问移动设备10的组件，并可以与其它软件应用模块交互。例如，与语音通信软件应用的交互允许管理电话呼叫、语音邮件等，与数据通信软件应用的交互支持管理SMS(短消息服务)、MMS(多媒体服务)、电子邮件通信以及其它数据传输。非易失性存储器140优选地提供文件系统，用以促进设备上数据项的永久存储，其中数据项包括多个日历条目、联系人等。例如通过蜂窝接口、短距离通信接口或者辅助I/O接口与网络进行数据通信的能力支持通过这样网络所进行的上传、下载和同步。
应用模块141到149表示设备功能或者软件应用，它们被配置成由处理器100执行。在大多数已知的移动设备中，单个处理器管理和控制移动设备的全部操作以及所有的设备功能和软件应用。这种概念可应用于现在的移动设备。增强型多媒体功能性的实现例如包括通过集成的或可拆卸连接的数字相机功能性实现的视频流应用的再现、数字图像的操作以及视频序列的捕获。所述实现还可以包括具有复杂图形和必要计算能力的游戏应用。处理计算能力需求的一种方式通过实现强大且通用的处理器核来解决提高计算能力的问题，这种方式过去被沿用。另一种提供计算能力的方法是实现两个或多个独立的处理器核，这是本领域公知的方法学。本领域技术人员可以立刻理解多个独立处理器核的优点。通用处理器被设计用于执行多种不同任务，而没有将不同任务的预选进行专门化，而多处理器配置可以包括一个或多个通用处理器，以及一个或多个适于处理预定义任务集合的专门处理器。无论如何，在一个设备中，特别是在例如移动设备10的移动设备中，实现多个处理器传统上需要对组件进行完全且复杂的重新设计。
下面，本发明将提供这样的概念，其支持将附加的处理器核简单地集成到已有处理设备的实现中，从而省略代价高昂的完全且复杂的重新设计。该创造性概念将参考系统芯片(SoC)设计来描述。系统芯片(SoC)的概念是将处理设备的至少众多(或所有)组件集成到单个高集成芯片中。这样的系统芯片可以包含数字、模拟、混合信号，并经常包含射频功能，所有这些功能都在一个芯片上。典型的处理设备包括多个执行不同任务的集成电路。这些集成电路特别地可以包括微处理器、存储器、通用异步接收机/发射机(UART)、串行/并行端口、直接存储器访问(DMA)控制器等。通用异步接收机/发射机(UART)在数据的并行比特和串行比特之间进行转换。半导体技术近来的发展使超大规模集成电路(VLSI)所能支持的复杂性显著增长，这使其能够将众多系统组件集成到单个芯片中。参考图15，其中的一个或多个组件，例如控制器130和170、存储器组件150和140、以及一个或多个接口200、180和110可以与处理器100一起集成到单个芯片中，最终形成系统芯片(SoC)。
而且，设备10配备有根据本发明的创造性操作的用于视频数据可伸缩编码的模块105和可伸缩解码的模块106。通过CPU 100，可以独立地使用所述模块105、106。然而，设备10适于分别执行视频数据编码或解码。所述视频数据可以借助于设备的通信模块来接收，或者它也可以存储在设备10内任何可想象的存储装置中。视频数据可以在设备10和通信网络的其它电子设备之间以比特流来传送。
总而言之，根据本发明的内插方案是在块的基础上执行的。对于每个块，使用一维内插滤波器沿着水平方向和竖直方向分别执行内插。特别地，根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测，以便提供相应的预测残差块。根据针对预测残差块的运动补偿预测和运动向量的逆向在参考视频帧上执行更新操作。此外，在更新操作中，根据运动向量来确定内插滤波器，并且通过将预测残差块之外的采样值视为零从而使用块的预测残差来内插亚像素的采样值。
因此，根据本发明，用于使用运动补偿时域滤波对数字视频序列进行编码的方法和设备，包括：使用预测模块，以根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作，以提供相应的预测残差块；以及使用更新模块，以根据针对预测残差块的运动补偿预测和运动向量的逆向来更新视频参考帧。该更新模块包括软件程序，用于根据运动向量来确定滤波器，以及用于通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值。内插是为了产生能量分布内差。
根据本发明，用于对来自已编码视频序列的数字视频序列进行解码的方法和设备，包括：使用解码模块，以解码块的运动向量和该块的预测参残差；使用更新模块，以根据针对该块的预测残差的运动补偿预测和运动向量的逆向，来执行块的参考视频帧的更新操作；以及使用预测模块，以根据针对参考视频帧的运动补偿预测和运动向量在块上执行预测。更新模块包括软件程序，用于根据运动向量来确定滤波器，以及用于通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值。使用一维内插滤波器沿着水平方向和竖直方向分别地执行内插。
根据本发明，移动终端可以配备有上述编码器或解码器。该移动终端可以具有编码器和解码器两者。
此外，编码和解码方法可以由具有包括软件应用的存储介质的软件应用产品来执行。对于编码，该软件应用包括用于根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作，以提供相应的预测残差帧的程序代码，以及用于根据针对预测残差块的运动补偿预测和运动向量的逆向来更新视频参考帧的程序代码。更新程序代码包括用于根据运动向量来确定滤波器的程序代码，以及用于通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值的程序代码。使用一维内插滤波器沿着水平方向和竖直方向分别地执行内插。
对于解码，该软件应用包括：用于解码块的运动向量以及该块的预测残差的程序代码，用于根据针对该块的运动残差的运动补偿预测和运动向量的逆向来执行该块的参考视频帧的更新操作的程序代码，以及用于根据针对参考视频帧的运动补偿预测和运动向量在该块上执行预测操作的程序代码。用于更新的程序代码包括：用于根据运动向量来确定滤波器的程序代码，以及用于通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值的程序代码。使用一维内插滤波器沿着水平方向和竖直方向分别地执行内插。
一般地，编码方法可以由这样的装置执行：用于根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作以提供相应的预测残差帧的装置，以及用于根据针对预测残差块的运动补偿预测和运动向量的逆向来更新视频参考帧的装置。更新装置包括：用于根据运动向量来确定滤波器的装置，以及用于通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值的装置。
解码方法可以由这样的装置执行：用于解码块的运动向量和该块的预测残差的装置，用于根据针对该块的预测残差的运动补偿预测和运动向量的逆向来执行该块的参考视频帧的更新操作的装置，以及用于根据针对参考视频帧的运动补偿预测和运动向量在该块上执行预测操作的装置。更新装置包括用于根据运动向量来确定滤波器的装置，以及用于通过将该块之外的采样值视为零从而使用预测残差块来内插亚像素位置的采样值的装置。使用一维内插滤波器沿着水平方向和竖直方向分别地执行内插。
尽管本发明是相对于其一个或多个实施方式而被描述的，但本领域技术人员可以理解，在不背离本发明范围的前提下，本发明的形式及其细节可以进行上述的和各种其它的改变、省略或偏差。

Claims (20)

1. 一种使用运动补偿时域滤波对数字视频序列进行编码以提供具有代表已编码视频序列的视频数据的比特流的方法，所述数字视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述方法包括：
对于块：
根据针对参考视频帧的运动补偿预测和运动向量在所述块上执行预测操作，以提供相应的预测残差块；
根据针对所述预测残差块的运动补偿预测和所述运动向量的逆向来更新所述视频参考帧，其中所述更新包括：
根据所述运动向量来确定滤波器，以及
通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值。
2. 根据权利要求1所述的方法，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
3. 一种用于对来自代表已编码视频序列的比特流中视频数据的数字视频序列进行解码的方法，所述已编码视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述方法包括：
对于块：
解码该块的预测残差和运动向量；
根据针对该块的预测残差的运动补偿预测和运动向量的逆向在该块的参考视频帧上执行更新操作；
根据针对该参考视频帧的运动补偿预测和运动向量在该块上执行预测操作，其中所述更新包括：
根据所述运动向量来确定滤波器，以及
通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值。
4. 根据权利要求3所述的方法，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
5. 一种用于使用运动补偿时域滤波对数字视频序列进行编码以提供具有代表已编码视频序列的视频数据的比特流的视频编码器，所述数字视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述编码器包括：
预测模块，用于根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作，以提供相应的预测残差块；以及
更新模块，用于根据针对所述预测残差块的运动补偿预测和所述运动向量的逆向来更新所述视频参考帧，其中所述更新模块包括：
软件程序，用于根据所述运动向量来确定滤波器，以及用于通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值。
6. 根据权利要求5所述的编码器，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
7. 一种用于对来自代表已编码视频序列的比特流中视频数据的数字视频序列进行解码的视频解码器，所述已编码视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述解码器包括：
用于解码所述块的预测残差和运动向量的模块；
更新模块，用于根据针对该块的预测残差的运动补偿预测和运动向量的逆向在该块的参考视频帧上执行更新操作；以及
预测模块，用于根据针对所述参考视频帧的运动补偿预测和所述运动向量在该块上执行预测操作，其中所述更新模块包括软件程序，用于根据所述运动向量来确定滤波器，以及用于通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值。
8. 根据权利要求7所述的解码器，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
9. 一种软件应用产品，包括具有软件应用的存储介质，所述软件应用用于使用运动补偿时域滤波对数字视频序列进行编码，以提供具有代表已编码视频序列的视频数据的比特流，所述数字视频序列包括多个帧，其中每个帧包括可被划分成多个块的像素的阵列，所述软件应用包括：
用于根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作以提供相应的预测残差块的程序代码；
用于根据针对所述预测残差块的运动补偿预测和所述运动向量的逆向来更新所述视频参考帧的程序代码；其中用于更新的程序代码包括：
用于根据所述运动向量来确定滤波器的程序代码；以及
用于通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值的程序代码。
10. 根据权利要求9所述的软件应用产品，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
11. 一种软件应用产品，包括具有软件应用的存储介质，所述软件应用用于对来自代表已编码视频序列的比特流中视频数据的数字视频序列进行解码，所述已编码视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述软件应用包括：
用于解码每个块的预测残差和运动向量的程序代码；
用于根据针对所述块的预测残差的运动补偿预测和所述运动向量的逆向所述在块的参考视频帧上执行更新操作的程序代码；
用于根据针对所述参考视频帧的运动补偿预测和所述运动向量在所述块上执行预测操作的程序代码，其中所述用于更新的程序代码包括：
用于根据所述运动向量来确定滤波器，以及通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值的程序代码。
12. 根据权利要求11所述的软件应用产品，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
13. 一种移动终端，包括：
编码器，用于使用运动补偿时域滤波对数字视频序列进行编码，所述数字视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述编码器包括：
预测模块，用于根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作，以提供相应的预测残差块；
以及
更新模块，用于根据针对所述预测残差块的运动补偿预测和所述运动向量的逆向来更新所述视频参考帧，其中所述更新模块包括软件程序，用于根据所述运动向量来确定滤波器，以及用于通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值，其中该移动终端适于提供具有代表已编码视频序列的视频数据的比特流。
14. 根据权利要求13所述的移动终端，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
15. 一种移动终端，适于接收来自代表已编码视频序列的比特流中视频数据的数字视频序列，所述已编码视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述移动终端包括：
用于解码所述块的预测残差和运动向量的模块；
更新模块，用于根据针对该块的预测残差的运动补偿预测和所述运动向量的逆向在该块的参考视频帧上执行更新操作；以及
预测模块，用于根据针对所述参考视频帧的运动补偿预测和所述运动向量在该块上执行预测操作，其中所述更新模块包括软件程序，用于根据所述运动向量来确定滤波器，以及用于通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值。
16. 根据权利要求15所述的移动设备，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
17. 一种设备，使用运动补偿时域滤波对数字视频序列进行编码，以提供具有代表已编码视频序列的视频数据的比特流，所述数字视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述设备包括：
用于根据针对参考视频帧的运动补偿预测和运动向量在每个块上执行预测操作以提供相应的预测残差块的装置；以及
用于根据针对所述预测残差块的运动补偿预测和所述运动向量的逆向来更新所述视频参考帧的装置，其中所述更新装置包括：
用于根据所述运动向量来确定滤波器的装置；以及
用于通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值的装置。
18. 根据权利要求17所述的设备，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
19. 一种设备，用于对来自代表已编码视频序列的比特流中视频数据的数字视频序列进行解码的设备，所述已编码视频序列包括多个帧，其中每个帧包括可被划分为多个块的像素的阵列，所述设备包括：
用于解码每个块的预测残差和运动向量的装置；
用于根据针对所述块的预测残差的运动补偿预测和所述运动向量的逆向在所述块的参考视频帧上执行更新操作的装置；
用于根据针对所述参考视频帧的运动补偿预测和所述运动向量在所述块上执行预测操作的装置，其中所述更新装置包括：
用于根据所述运动向量来确定滤波器的装置，以及
用于通过将所述预测残差块之外的采样值视为零从而使用所述预测残差块来内插亚像素位置的采样值的装置。
20. 根据权利要求19所述的设备，其中使用一维内插滤波器沿着水平方向和竖直方向分别执行所述内插。
CNA2006800363973A 2005-08-15 2006-08-15 用于视频编码中更新操作的亚像素内插的方法和装置 Pending CN101278563A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US70850905P 2005-08-15 2005-08-15
US60/708,509 2005-08-15

Publications (1)

Publication Number Publication Date
CN101278563A true CN101278563A (zh) 2008-10-01

Family

ID=37757341

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800363973A Pending CN101278563A (zh) 2005-08-15 2006-08-15 用于视频编码中更新操作的亚像素内插的方法和装置

Country Status (5)

Country Link
US (1) US20070110159A1 (zh)
EP (1) EP1915872A1 (zh)
KR (1) KR20080044874A (zh)
CN (1) CN101278563A (zh)
WO (1) WO2007020516A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934444A (zh) * 2010-04-06 2013-02-13 三星电子株式会社 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN104869400A (zh) * 2011-11-07 2015-08-26 李英锦 视频数据的解码方法
CN105393280A (zh) * 2013-05-23 2016-03-09 汤姆逊许可公司 对视频序列进行色调映射的方法
CN107257465A (zh) * 2010-12-08 2017-10-17 Lg 电子株式会社 内预测方法及使用该方法的编码装置和解码装置
CN108769682A (zh) * 2018-06-20 2018-11-06 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
US8369417B2 (en) * 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
KR101620441B1 (ko) * 2009-06-17 2016-05-24 주식회사 아리스케일 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치
GB2471323B (en) * 2009-06-25 2014-10-22 Advanced Risc Mach Ltd Motion vector estimator
KR101847072B1 (ko) 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9219921B2 (en) 2010-04-12 2015-12-22 Qualcomm Incorporated Mixed tap filters
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
KR102402671B1 (ko) 2015-09-09 2022-05-26 삼성전자주식회사 보간 필터의 연산 복잡도를 조절할 수 있는 영상 처리 장치, 영상 보간 방법 및 영상 부호화 방법
CN109417637B (zh) * 2016-04-26 2021-12-07 英迪股份有限公司 用于编码/解码图像的方法和设备
WO2017223382A1 (en) 2016-06-22 2017-12-28 Viewray Technologies, Inc. Magnetic resonance imaging at low field strength

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
CA2491679A1 (en) * 2002-07-09 2004-01-15 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
EP1908292A4 (en) * 2005-06-29 2011-04-27 Nokia Corp METHOD AND DEVICE FOR THE UPDATE STEP IN VIDEO CODING USING MOTION COMPENSATED TIME FILTERING
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934444A (zh) * 2010-04-06 2013-02-13 三星电子株式会社 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN107257465A (zh) * 2010-12-08 2017-10-17 Lg 电子株式会社 内预测方法及使用该方法的编码装置和解码装置
US11677961B2 (en) 2010-12-08 2023-06-13 Lg Electronics Inc. Intra prediction method and encoding apparatus and decoding apparatus using same
US11102491B2 (en) 2010-12-08 2021-08-24 Lg Electronics Inc. Intra prediction in image processing
US10785487B2 (en) 2010-12-08 2020-09-22 Lg Electronics Inc. Intra prediction in image processing
CN107257465B (zh) * 2010-12-08 2020-08-04 Lg 电子株式会社 由编码装置和解码装置执行的内预测方法及可读存储介质
CN104869401B (zh) * 2011-11-07 2018-03-23 李英锦 视频数据的解码方法
CN107517382A (zh) * 2011-11-07 2017-12-26 李英锦 视频数据的解码方法
CN104869400B (zh) * 2011-11-07 2018-03-27 李英锦 视频数据的解码方法
CN104967847B (zh) * 2011-11-07 2018-04-13 李英锦 视频数据的解码方法
CN104883568B (zh) * 2011-11-07 2018-04-17 李英锦 视频数据的解码方法
CN104967847A (zh) * 2011-11-07 2015-10-07 李英锦 视频数据的解码方法
CN104883568A (zh) * 2011-11-07 2015-09-02 李英锦 视频数据的解码方法
CN104869401A (zh) * 2011-11-07 2015-08-26 李英锦 视频数据的解码方法
CN104869400A (zh) * 2011-11-07 2015-08-26 李英锦 视频数据的解码方法
CN105393280A (zh) * 2013-05-23 2016-03-09 汤姆逊许可公司 对视频序列进行色调映射的方法
CN108769682A (zh) * 2018-06-20 2018-11-06 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN108769682B (zh) * 2018-06-20 2022-08-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20070110159A1 (en) 2007-05-17
EP1915872A1 (en) 2008-04-30
KR20080044874A (ko) 2008-05-21
WO2007020516A1 (en) 2007-02-22

Similar Documents

Publication Publication Date Title
CN101278563A (zh) 用于视频编码中更新操作的亚像素内插的方法和装置
CN101213842A (zh) 用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置
US20080240242A1 (en) Method and system for motion vector predictions
KR100931870B1 (ko) 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
CN101416513A (zh) 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置
US20070009050A1 (en) Method and apparatus for update step in video coding based on motion compensated temporal filtering
US20080075165A1 (en) Adaptive interpolation filters for video coding
CN104054350B (zh) 用于视频编码的方法和装置
KR20080006607A (ko) 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
CN101180884B (zh) 用于视频数据的有效精细粒度伸缩（fgs）编码和解码的方法、装置和系统
US20060256863A1 (en) Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
CN104704827A (zh) 用于下一代视频的内容自适应变换译码
EP3554075A1 (en) Method and apparatus for coding and decoding video using adative sorting tables
CN101682787A (zh) 空间增强的变换编码
CN103181167A (zh) 用于提供复杂度平衡熵编码的方法和装置
JP2009522973A (ja) 細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置
CN116847088B (zh) 图像处理方法、处理设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20081001