CN102204254B - 使用隐式运动预测进行预测精细化的方法及装置 - Google Patents

Abstract

提供了使用隐式运动预测进行预测精细化的方法和装置。一种装置包括编码器，其使用显式运动预测以生成对图像块的粗略预测(920)并且使用隐式运动预测精细化该粗略预测(925)来编码该图像块。

Description

使用隐式运动预测进行预测精细化的方法及装置

相关申请的交叉引用

本申请要求2008年9月4日提交的美国临时申请序列号61/094,295的权益，通过引用将其全部内容并入于此。

技术领域

本原理一般涉及视频编码和解码，并且更具体地涉及使用隐式(implicit)运动预测进行预测精细化(refinement)的方法及装置。

背景技术

大多数的现有视频编码标准通过基于块的运动补偿来利用时间冗余的存在。这种标准的示例是国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信分部(ITU-T)H.264建议(以下称为“MPEG-4AVC标准”)。

可以将这种利用时间冗余的存在的基于块的运动补偿考虑为一种前向运动预测，其中通过显式地发送辅助信息(即运动信息)来获得预测信号。为了使开销最小化以使其不比运动补偿(MC)的优点更为突出(outweigh)，经常使用粗略的运动场(基于块的)。诸如公知的最小平方预测(LSP)之类的后向运动预测可以避免传输运动矢量的必要性。然而，作为结果的预测性能高度依赖于模型参数设置(例如，滤波器支持和训练窗的拓扑)。在LSP方法中，期望将模型参数适配于局部运动特征。这里，同义地(可互换地)使用“前向运动预测”和“显式运动预测”。类似地，同义地(可互换地)使用“后向运动预测”和“隐式运动预测”。

帧间预测

在视频编码中，帧间预测被广泛地采用来减少目标帧和参考帧之间的时间冗余。运动估计/补偿是帧间预测中的关键部分。通常，可以将运动模型及其对应运动估计技术分为两种类别。第一类别是前向预测，其基于显式运动表示(运动矢量)。在该方法中将显式地传输运动矢量。第二类别是后向预测，其中运动信息不由运动矢量显式地表示，而是被以隐式方法利用。在后向预测中，不传输运动矢量，而在对应解码器处仍可以利用时间冗余。

转到图1，通过参考标号100总地指示包含块匹配的示例性前向运动估计方案。前向运动估计方案100包含重构的参考帧110，其具有搜索区域101和该搜索区域101内的预测102。前向运动估计方案100还包含当前帧150，其具有目标块151和重构的区域152。使用运动矢量Mv来表示目标块151和预测102之间的运动。

前向预测方法100对应于上述的第一类别，其是公知的并且在当前的视频编码标准(诸如，例如MPEG-4AVC标准)中被采用。通常以两步来执行该第一类别。估计目标(当前)块151和参考帧(例如，110)之间的运动矢量。然后，编码该运动信息(运动矢量Mv)并将其显式地发送给解码器。在解码器处，解码该运动信息并将其用于从先前解码的重构的参考帧中预测目标块151。

第二类别指的是不在比特流中显式地编码运动信息的一类预测方法。相反，如在编码器处执行的那样，在解码器处执行相同的运动信息推导。一种实际的后向预测方案是使用一种局部化的时空自回归(auto-regressive)模型，其中应用最小平方预测(LSP)。另一种方法是使用基于补丁的方法，诸如模板匹配预测方案。转到图2，通过参考标号200总地指示包含模板匹配预测(TMP)的示例性后向运动估计方案。后向运动估计方案200包含重构的参考帧210，其具有搜索区域211、该搜索区域211内的预测212、以及关于预测212的邻域(neighborhood)213。后向运动估计方案200还包含当前帧250，其具有目标块251、关于目标块251的模板252、以及重构的区域253。

通常，前向预测的性能高度依赖于预测块的大小以及所传输的开销量。当块的大小减小时，用于每个块的开销的成本将增加，这限制了前向预测仅擅长于预测平滑且刚性的运动。在后向预测中，由于没有传输开销，因此块的大小可以减小而不招致另外的开销。因此，后向预测更适合于复杂的运动，诸如可变形的运动。

MPEG-4AVC标准的帧间预测

MPEG-4AVC标准使用树结构的分层级的宏块分区(partition)。可以将帧间编码的16×16像素的宏块分解为16×8、8×16或8×8大小的宏块分区。8×8像素的宏块分区也被称为子宏块。子宏块还可以被分解为8×4、4×8和4×4大小的子宏块分区。编码器可以基于具体宏块的特征来选择如何将该具体的宏块划分为分区和子宏块分区，以便使压缩效率和主观质量最大化。

可以使用多参考画面来进行帧间预测，并利用编码的参考画面索引来指示使用多参考画面中的哪一个。在P画面(或P码片)中，仅使用单向预测，并且在列表0中管理所允许的参考画面。在B画面(或B码片)中，管理参考画面的两个列表：列表0和列表1。在B画面(或B码片)中，允许使用列表0或列表1的单向预测，或者允许使用列表0和列表1两者的双向预测。在使用双向预测时，对列表0预测(predictor)和列表1预测一起求平均，来形成最终预测。

每个宏块分区可能具有独立的参考画面索引、预测类型(列表0、列表1或双向预测)、以及独立的运动矢量。每个子宏块分区可能具有独立的运动矢量，但是同一子宏块中的所有子宏块分区使用相同的参考画面索引和预测类型。

在MPEG-4AVC联合模型(JM)参考软件中，将率失真优化(RDO)框架用于模式判定。对于帧间模式，将运动估计与模式判定分离地考虑。首先对帧间模式的所有块类型执行运动估计，并且然后通过将每种帧间模式和帧内模式的成本进行比较以作出模式判定。将具有最小成本的模式选择作为最佳模式。

对于P帧，可以选择以下模式：

对于B帧，可以选择以下模式：

然而，尽管当前的基于块的标准提供了增加这些标准的压缩效率的预测，但期望进行预测精细化以便具体地在变化的条件下进一步增加压缩效率。

发明内容

本原理解决现有技术的这些和其它缺陷和缺点，其针对使用隐式运动预测进行预测精细化的方法及装置。

根据本原理一方面，提供了一种装置，该装置包括编码器，其使用显式运动预测以生成对图像块的粗略预测并且使用隐式运动预测精细化该粗略预测以便对该图像块进行编码。

根据本原理另一方面，提供了一种编码图像块的编码器。该编码器包括运动估计器，其用于执行显式运动预测以生成对该图像块的粗略预测。该编码器还包括预测精细化器，其用于执行隐式运动预测以精细化该粗略预测。

根据本原理又一方面，提供了一种视频编码器中编码图像块的方法。该方法包括使用显式运动预测以生成对该图像块的粗略预测。该方法还包括使用隐式运动预测精细化该粗略预测。

根据本原理再一方面，提供了一种装置。该装置包括解码器，其用于通过接收使用显式运动预测生成的对图像块的粗略预测并使用隐式运动预测精细化该粗略预测来解码该图像块。

根据本原理又一方面，提供了一种解码图像块的解码器。该解码器包括运动补偿器，其用于接收使用显式运动预测生成的对该图像块的粗略预测并使用隐式运动预测精细化该粗略预测。

根据本原理再一方面，提供了一种视频解码器中解码图像块的方法。该方法包括接收使用显式运动预测生成的对图像块的粗略预测。该方法还包括使用隐式运动预测精细化该粗略预测。

从要结合附图来阅读的对示例实施例的以下详细描述中，本原理的这些和其它方面、特征和优点将变得清楚。

附图说明

根据以下示例附图，将更好地理解本原理，在附图中：

图1是示出包含块匹配的示例性前向运动估计方案的框图；

图2是示出包含模板匹配预测(TMP)的示例性后向运动估计方案的框图；

图3是示出使用最小平方预测的示例性后向运动估计方案的框图；

图4是示出基于块的最小平方预测的示例的框图；

图5是示出依据本原理实施例的、可以应用本原理的示例性视频编码器的框图；

图6是示出依据本原理实施例的、可以应用本原理的示例性视频解码器的框图；

图7A和7B是示出依据本原理实施例的、用于预测精细化的基于像素的最小平方预测的示例的框图；

图8是示出依据本原理实施例的、用于预测精细化的基于块的最小平方预测的示例的框图；

图9是示出依据本原理实施例的、用于使用利用最小平方预测的预测精细化来编码图像块的视频数据的示例性方法的流程图；以及

图10是示出依据本原理实施例的、用于使用利用最小平方预测的预测精细化来解码图像块的视频数据的示例性方法的流程图。

具体实施方法

本原理针对用于使用隐式运动预测进行预测精细化的方法及装置。

本描述说明本原理。因此，将认识到：本领域技术人员将能够设计出实施本原理并被包括在本原理的精神和范围内的各种布置，尽管在这里没有明确地描述或示出所述布置。

在此叙述的所有示例和条件性语言意欲用于教导的目的以便帮助读者理解本原理以及由(多个)发明人贡献以促进现有技术的构思，并且应该被解释为不限于这种具体叙述的示例和条件。

另外，在这里叙述本原理的原理、方面和实施例及其特定示例的所有陈述意欲包括其结构和功能等效物。另外，意图是：这样的等效物包括当前已知的等效物以及将来开发的等效物二者，即所开发的执行相同功能的任何元件，而不论其结构如何。

因此，例如，本领域技术人员将认识到：在此呈现的框图表示实施本原理的说明性电路的概念性视图。类似地，将认识到：任何流程图示、流程图、状态转换图、伪代码等表示实质上可以表示在计算机可读介质中并因此由计算机或处理器执行的各种处理，而不管是否明确地示出这样的计算机或处理器。

可以通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供图中示出的各种元件的功能。当利用处理器来提供所述功能时，可以利用单个专用处理器、利用单个共享处理器、或者利用其中一些可被共享的多个独立处理器来提供所述功能。另外，术语“处理器”或“控制器”的明确使用不应该被解释为排他性地指代能够执行软件的硬件，而是可以隐含地而不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和非易失性存储器。

还可以包括其它传统的和/或定制的硬件。类似地，图中示出的任何开关只是概念性的。它们的功能可以通过程序逻辑的运行、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动地来执行，如从上下文更具体地理解的那样，可以由实施者选择具体技术。

在其权利要求中，被表示为用于执行指定功能的部件的任何元件意欲包含执行那个功能的任何方法，例如包括：a)执行那个功能的电路元件的组合或者b)与适当电路相组合的任何形式的软件，所述软件因此包括固件或微代码等，所述适当电路用于执行该软件以完成所述功能。由这种权利要求限定的本发明在于如下事实，即，以权利要求所要求的方式将由所叙述的各种部件提供的功能组合和集合到一起。因此认为可以提供那些功能的任何部件与在此示出的那些部件等效。

在本说明书中提到的本原理的“一个实施例”或“实施例”以及它的其它变型是指结合所述实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在说明书各处出现的短语“在一个实施例中”和“在实施例中”以及它的其它变型的出现不一定都指代相同的实施例。

应当认识到，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况中，对于以下“/”、“和/或”、以及“...的至少一个”中任一个的使用意欲包括仅对于列出的第一个选项(A)的选择、或者仅对于列出的第二个选项(B)的选择、或者对于两个选项(A和B)的选择。作为另一示例，在“A、B和/或C”以及“A、B和C中的至少一个”的情况中，这种措辞意欲包括仅对于列出的第一个选项(A)的选择、或者仅对于列出的第二个选项(B)的选择、或者仅对于列出的第三个选项(C)的选择、或者仅对于列出的第一个和第二个选项(A和B)的选择、或者仅对于列出的第一个和第三个选项(A和C)的选择、或者仅对于列出的第二个和第三个选项(B和C)的选择、或者对于全部三个选项(A和B和C)的选择。如本领域和相关领域普通技术人员容易认识到的，这可以被扩展用于很多列出的项目。

如这里所使用的，术语“图像块”指代宏块、宏块分区、子宏块、以及子宏块分区中的任一个。

如上所述，本原理针对使用隐式运动预测进行预测精细化的方法及装置。依据本原理，提出了以下视频预测技术，其组合前向预测方法(运动补偿)和后向预测方法(例如，最小平方预测(LSP))来利用显式运动表示和隐式运动表示两者的优点。

相应地，下面将提供最小平方预测的描述，随后接着提供利用最小平方预测的预测精细化的描述。

最小平方预测

最小平方预测(LSP)是基于后向的用于预测目标块或像素的方法，其利用隐式方式的运动信息，并且不需要将任何运动矢量作为开销发送到对应的解码器。

更具体地，LSP将该预测公式化为时空自回归问题，即，可以通过目标像素的时空相邻者的线性组合来估计该目标像素的亮度值。可以通过在时空训练窗内进行局部化的学习来估计隐式地携带局部运动信息的回归系数。时空自回归模型和局部化的学习如下地操作。

使用X(x，y，t)来表示离散的视频源，其中(x，y)∈[1，W]×[1，H]是空间坐标，而t∈[1，T]是帧索引。为了简化，利用矢量来表示像素在时空空间中的位置，并且其的时空相邻者的位置由i＝1，2，...，N来表示(时空邻域中像素的数目N是我们的模型的阶)。

-时空自回归模型

在LSP中，目标像素的亮度值被公式化为该目标像素的相邻像素的线性组合。转到图3，通过参考标号300总地指示使用最小平方预测的示例性后向运动估计方案。目标像素X由具有斜纹阴影图案的椭圆形来指示。后向运动估计方案300包含K帧310和K-1帧350。目标像素X的相邻像素Xi由具有横线阴影图案的椭圆形来指示。训练数据Yi由具有水平阴影图案的椭圆形和具有横线阴影图案的椭圆形来指示。属于图3的示例的自回归模型如下：

$\hat{X}\left({\stackrel{\→}{n}}_0\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{k}X\left({\stackrel{\→}{n}}_k\right)---\left(1\right)$

其中，是目标像素X的估计，是组合系数。相邻者的拓扑(滤波器支持)可以是灵活的，以便合并空间上和时间上重构的像素。图3示出了对一种相邻者定义的示例，其包括9个时间上的并置的(collocated)像素(在K-1帧中)以及4个空间上的有因果关系的相邻像素(在K帧中)。

-时空局部化学习

基于非静止视频源，认为应当在时空空间内自适应地更新，而不是被假设为在所有的视频信号中是同质的(homogeneous)。适配的一种方式是如下地在局部的时空训练窗M内遵循使均方差(MSE)最小化的Wiener经典思想：

$\mathrm{MSE}=\underset{{\stackrel{\→}{n}}_0\∈M}{\mathrm{\Σ}}{[X\left({\stackrel{\→}{n}}_0\right)-\stackrel{\→}{X}\left({\stackrel{\→}{n}}_0\right)]}^2=\underset{{\stackrel{\→}{n}}_0\∈M}{\mathrm{\Σ}}{[X\left({\stackrel{\→}{n}}_0\right)-\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{a}_{k}X\left({\stackrel{\→}{n}}_k\right)]}^2---\left(2\right)$

假设在训练窗中有M个样本。可以将所有的训练样本写入M×1矢量如果将每个训练样本的N个相邻者置入1×N行向量，则所有的训练样本生成具有M×N大小的数据矩阵C。局部最优滤波器系数的推导被公式化为以下最小平方问题：

$\stackrel{\→}{a}=\arg \min \mathrm{MSE}=\arg \min {\left|\right|{\stackrel{\→}{y}}_{\mathrm{Mx}1}-C_{\mathrm{MxN}}{\stackrel{\→}{a}}_{\mathrm{Nx}1}\left|\right|}^2---\left(3\right)$

当训练窗大小M大于滤波器支持大小N时，以上问题是超定的(overdetermined)并且进入以下闭合形式解：

$\stackrel{\→}{a}={\left(C^{T}C\right)}^{-1}{C}^T\stackrel{\→}{y}---\left(4\right)$

尽管上述理论是基于像素的，但是可以非常容易地将最小平方预测扩展到基于块的预测。使用X ₀来表示要预测的目标块，而为如图4中所示的相邻重叠的块。转到图4，通过参考标号400来总地指示基于块的最小平方预测的示例。基于块的最小平方预测400包含具有相邻块401的参考帧410和具有训练块451的当前帧450。相邻块401也由参考标号X₁到X₉指示。目标块由参考标号X₀指示。训练块451由参考标号Y_i、Y₁和Y₁₀指示。

然后，基于块的回归将如下：

$\underset{\‾}{\hat{X}\left({\stackrel{\→}{n}}_0\right)}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_k{\underset{\‾}{X}}_i---\left(5\right)$

如图4地定义相邻块和训练块。在这种情况下，像公式(4)一样，容易推导系数的相似解。

-运动自适应

公式(1)或公式(5)的建模能力严重依赖于滤波器支持和训练窗的选择。为了捕获视频中的运动信息，滤波器支持和训练窗的拓扑应当适配于空间和时间两者中的运动特征。由于视频信号中运动信息的非静止特性，滤波器支持和训练窗的自适应选择是期望的。例如，在慢运动区域中，图3中所示的滤波器支持和训练窗是足够的。然而，这种拓扑不适合于捕获快速运动，这是因为并置的训练窗中的样本可能具有不同的运动特征，这使得局部化的学习失败。通常，滤波器支持和训练窗应当与运动轨迹朝向对准。

可以使用两种解决方案来实现运动自适应。一种解决方案是基于运动分割(segmentation)来获得视频信号的分层表示。在每层中，可以使用滤波器支持和训练窗的固定拓扑，这是由于一层内的所有样本共享相同的运动特征。然而，这种自适应策略不可避免地包含运动分割，这是另一个具有挑战的问题。

另一种解决方案是利用时空重新采样和经验贝叶斯融合(fusion)技术来实现运动自适应。重新采样产生视频信号的、具有分布的时空特征的冗余表示，其包括所生成的许多重新采样样本。在每个重新采样样本中，应用上面的具有滤波器支持和训练窗的固定拓扑的最小平方预测模型可以获得回归结果。最终预测是来自重新采样样本集合的所有回归结果的融合。该方法可以获得非常好的预测性能。然而，代价是通过对于每个重新采样样本应用最小平方预测而招致的极高复杂度，这限制了将最小平方预测应用于实际的视频压缩。

转到图5，通过参考标号500总地指示可以应用本原理的示例视频编码器。视频编码器500包括帧排序缓冲器510，其具有与组合器585的非反相输入端进行信号通信的输出端。组合器585的输出端与变换器和量化器525的第一输入端以信号通信地连接。变换器和量化器525的输出端与熵编码器545的第一输入端和逆变换器和逆量化器550的第一输入端以信号通信地连接。熵编码器545的输出端与组合器590的第一非反相输入端以信号通信地连接。组合器590的输出端与输出缓冲器535的第一输入端以信号通信地连接。

编码器控制器505的第一输出端与帧排序缓冲器510的第二输入端、逆变换器和逆量化器550的第二输入端、画面类型判定模块515的输入端、宏块类型(MB-类型)判定模块520的输入端、帧内预测模块560的第二输入端、去块滤波器565的第二输入端、(带有LSP精细化的)运动补偿器570的第一输入端、运动估计器575的第一输入端、以及参考画面缓冲器580的第二输入端以信号通信地连接。编码器控制器505的第二输出端与补充增强信息(SEI)插入器530的第一输入端、变换器和量化器525的第二输入端、熵编码器545的第二输入端、输出缓冲器535的第二输入端、以及序列参数集(SPS)和画面参数集(PPS)插入器540的输入端以信号通信地连接。编码器控制器505的第三输出端与最小平方预测模块533的第一输入端以信号通信地连接。

画面类型判定模块515的第一输出端与帧排序缓冲器510的第三输入端以信号通信地连接。画面类型判定模块515的第二输出端与宏块类型判定模块520的第二输入端以信号通信地连接。

序列参数集(SPS)和画面参数集(PPS)插入器540的输出端与组合器590的第三非反相输入端以信号通信地连接。

逆量化器和逆变换器550的输出端与组合器519的第一非反相输入端以信号通信地连接。组合器519的输出端与帧内预测模块560的第一输入端和去块滤波器565的第一输入端以信号通信地连接。去块滤波器565的输出端与参考画面缓冲器580的第一输入端以信号通信地连接。参考画面缓冲器580的输出端与运动估计器575的第二输入端、最小平方预测精细化模块533的第二输入端以及运动补偿器570的第三输入端以信号通信地连接。运动估计器575的第一输出端与运动补偿器570的第二输入端以信号通信地连接。运动估计器575的第二输出端与熵编码器545的第三输入端以信号通信地连接。运动估计器575的第三输出端与最小平方预测模块533的第三输入端以信号通信地连接。最小平方预测模块533的输出端与运动补偿器570的第四输入端以信号通信地连接。

运动补偿器570的输出端与开关597的第一输入端以信号通信地连接。帧内预测模块560的输出端与开关597的第二输入端以信号通信地连接。宏块类型判定模块520的输出端与开关597的第三输入端以信号通信地连接。开关597的第三输入端确定该开关的“数据”输入(与控制输入端相比，即第三输入端)是由运动补偿器570提供还是由帧内预测模块560提供。开关597的输出端与组合器519的第二非反相输入端和组合器585的反相输入端以信号通信地连接。

帧排序缓冲器510和编码器控制器505的输入端可用作编码器500的用于接收输入画面的输入端。此外，补充增强信息(SEI)插入器530的输入端可用作编码器500的用于接收元数据的输入端。输出缓冲器535的输出端可用作编码器500的用于输出比特流的输出端。

转到图6，由参考标号600总地指示可应用本原理的示例性视频解码器。

视频解码器600包括具有与熵解码器645的第一输入端以信号通信地连接的输出端的输入缓冲器610。熵解码器645的第一输出端与逆变换器和逆量化器650的第一输入端以信号通信地连接。逆变换器和逆量化器650的输出端与组合器625的第二非反相输入端以信号通信地连接。组合器625的输出端与去块滤波器665的第二输入端和帧内预测模块660的第一输入端以信号通信地连接。去块滤波器665的第二输出端与参考画面缓冲器680的第一输入端以信号通信地连接。参考画面缓冲器680的输出端与运动补偿器和LSP精细化预测器670的第二输入端以信号通信地连接。

熵解码器645的第二输出端与运动补偿器和LSP精细化预测器670的第三输入端以及去块滤波器665的第一输入端以信号通信地连接。熵解码器645的第三输出端与解码器控制器605的输入端以信号通信地连接。解码器控制器605的第一输出端与熵解码器645的第二输入端以信号通信地连接。解码器控制器605的第二输出端与逆变换器和逆量化器650的第二输入端以信号通信地连接。解码器控制器605的第三输出端与去块滤波器665的第三输入端以信号通信地连接。解码器控制器605的第四输出端与帧内预测模块660的第二输入端、运动补偿器和LSP精细化预测器670的第一输入端、以及参考画面缓冲器680的第二输入端以信号通信地连接。

运动补偿器和LSP精细化预测器670的输出端与开关697的第一输入端以信号通信地连接。帧内预测模块660的输出端与开关697的第二输入端以信号通信地连接。开关697的输出端与组合器625的第一非反相输入端以信号通信地连接。

输入缓冲器610的输入端可用作解码器600的用于接收输入比特流的输入端。去块滤波器665的第一输出端可用作解码器600的用于输出输出画面的输出端。

如上所述，依据本原理，提出了将前向(运动补偿)和后向(LSP)预测方法组合以利用显式和隐式运动表示两者的优点的视频预测技术。具体地，所提出的方案的使用包括显式地发送一些信息来捕获粗略运动，然后贯穿粗略运动使用LSP来精细化运动预测。这可以被看作是利用LSP的后向预测和前向运动预测的联合方法。本原理的优点包括降低比特率开销并提高对于前向运动的预测质量，以及提高LSP的精度，由此提高编码效率。尽管在此关于帧间预测背景进行了公开和描述，但是在被给予在此提供的本原理的教导的情况下，本领域及相关领域技术人员将能够在保持本原理的精神的同时容易地将本原理扩展到帧内预测。

利用LSP的预测精细化

使用最小平方预测来实现运动自适应，其要求捕获在每个位置处的运动轨迹。尽管可以将最小平方预测用于后向自适应视频编码方法以解决该问题，但是由此方法招致的复杂度正需要实际应用。为了以某种合理复杂度代价实现运动自适应，将运动估计结果作为辅助信息以便描述运动轨迹，其可以帮助最小平方预测来设立滤波器支持和训练窗。

在实施例中，首先执行运动估计，然后执行LSP。基于运动估计的输出运动矢量来设立滤波器支持和训练窗。因此，LSP作用为对于原始前向运动补偿的精细化步骤。滤波器支持能够灵活地与空间和/或时间相邻的重构像素进行合并。时间相邻者不限于在运动矢量所指向的参考画面之内。可以将相同的运动矢量或基于参考画面和当前画面之间的距离的缩放的运动矢量用于其它参考画面。以此方法，我们利用前向预测和后向LSP两者的优点以便提高压缩效率。

转到图7A和7B，由参考标号700总地指示用于预测精细化的基于像素的最小平方预测的示例。用于预测精细化的基于像素的最小平方预测700包括K帧710和K-1帧750。具体地，如图7A和7B所示，可以从运动矢量预测器或运动估计(诸如关于MPEG-4AVC标准执行的)中导出用于目标块722的运动矢量(Mv)。然后，使用该运动矢量Mv，沿着由该运动矢量所指向的朝向，设立用于LSP的滤波器支持和训练窗。可以在预测块711内部进行基于像素的或基于块的LSP。MPEG-4AVC标准支持基于树结构的分层级的宏块分区。在一个实施例中，将LSP精细化应用于所有分区。在另一实施例中，仅将LSP精细化应用于较大的分区，诸如16×16。如果在预测块上执行基于块的LSP，则LSP的块的大小不需要与预测块的大小相同。

接下来，描述包括本发明原理的示例性实施例。在此实施例中，提出在每个分区上首先进行前向运动估计的方法。然后，对于每个分区进行LSP以便精细化预测结果。尽管将使用MPEG-4AVC标准作为参考来描述算法，但如对于本领域及相关领域技术人员将显而易见的，本原理的教导可以容易地应用于其它编码标准、推荐等。

实施例：显式运动估计和LSP精细化

在此实施例中，首先进行显式运动估计来得到用于预测块或分区的运动矢量Mv。然后，进行基于像素的LSP(这里，为了简化，通过使用基于像素的LSP来描述我们的方法，但是其容易扩展到基于块的LSP)。基于运动矢量Mv来定义用于每个像素的滤波器支持和训练窗。转到图8，由参考标号800总地指示用于预测精细化的基于块的最小平方预测的示例。用于预测精细化的基于块的最小平方预测800包含具有相邻块801的参考帧810以及具有训练块851的当前帧850。相邻块801也由参考标号X₁到X₉指示。目标块由参考标号X₀指示。训练块851由Y_i、Y₁和Y₁₀指示。如图7A和7B或图8所示，可以沿着运动矢量Mv的方向定义滤波器支持和训练窗。滤波器支持和训练窗可以覆盖空间的和时间的像素两者。将逐像素地精细化预测块中像素的预测。在精细化了预测块内部所有像素之后，可以基于率失真(RD)成本在利用LSP精细化/不利用LSP精细化的预测候选者或者它们融合的版本之中选择最终预测。最终，如下地设置LSP指示符lsp_idc以发信号通知该选择：

如果lsp_idc等于0，则选择不利用LSP精细化的预测。

如果lsp_idc等于1，则选择利用LSP精细化的预测。

如果lsp_idc等于2，则选择利用及不利用LSP精细化的融合的预测版本。融合方案可以是先前的两个预测的任何线性的或非线性的组合。为了避免对于最终选择增加太多开销，可以在宏块级设计lsp_idc。

对其它编码块的影响

关于对其它编码块的影响，现在将给出关于依据本原理的各种实施例的用于最小平方预测的运动矢量的描述。在MPEG-4AVC标准中，当前块的运动矢量是从相邻块预测的。因此，当前块的运动矢量的值将影响将来的相邻块。这出现了对于LSP精细化块应使用什么运动矢量的问题。在第一实施例中，由于在每个分区级别进行前向运动估计，因此可以取得用于LSP精细化块的运动矢量。在第二实施例中，可以对于宏块内部的所有LSP精细化块使用宏块级运动矢量。

关于对其它编码块的影响，现在将依据本原理各种实施例给出关于使用去块滤波器的描述。对于去块滤波器，在第一实施例中，可以与对待前向运动估计块那样相同地对待LSP精细化块，并且使用上面的用于LSP精细化的运动矢量。然后，不改变去块处理。在第二实施例中，由于LSP精细化与前向运动估计块具有不同的特征，因此相应地可以调节边界强度(boundarystrength)、滤波器类型、以及滤波器长度。

表1示出了依据本原理实施例的码片首标语法。

表1

slice_header(){	C	描述符
			first_mb_in_slice	2	ue(v)
slice_type	2	ue(v)
			pic_parameter_set_id	2	ue(v)
...
			if(slice_type！＝I)
lsp_enable_flag	2	u(1)
			...

表1中的lsp_enable_flag语法元素的语义如下：

lsp_enable_flag等于1表明对于该码片使能LSP精细化预测。lsp_enable_flag等于0表明对于该码片不使能LSP精细化预测。

表2示出了依据本原理实施例的宏块层语法。

表2

表2中的lsp_idc语法元素的语义如下：

lsp_idc等于0表明该预测没有用LSP精细化进行精细化。lsp_idc等于1表明该预测是通过LSP精细化后的版本。lsp_idc等于2表明该预测是利用LSP精细化和不利用LSP精细化的预测候选者的组合。

转到图9，由参考标号900总地指示用于使用具有最小平方预测的预测精细化来编码图像块的视频数据的示例性方法。方法900包括开始块905，其将控制传递到判定块910。判定块910确定当前模式是否是最小平方预测模式。如果是，则将控制传递到功能块915。否则，将控制传递到功能块970。

功能块915执行前向运动估计，并将控制传递到功能块920和功能块925。功能块920执行运动补偿以便获得预测P_mc，并将控制传递到功能块930和功能块960。功能块925执行最小平方预测精细化以便生成精细化的预测P_lsp，并将控制传递到功能块930和功能块960。功能块960从预测P_mc和预测P_lsp的组合生成组合的预测P_comb，并将控制传递到功能块930。功能块930在P_mc、P_lsp和P_comb之中选择最佳预测，并将控制传递到功能块935。功能块935设置Isp_idc，并将控制传递到功能块940。功能块940计算率失真(RD)成本，并将控制传递到功能块945。功能块945对于图像块执行模式判定，并将控制传递到功能块950。功能块950编码该图像块的运动矢量和其它语法，并将控制传递到功能块955。功能块955编码图像块的残差，并将控制传递到功能块999。功能块970利用其它模式编码图像块(即，除了LSP模式)，并将控制传递到功能块945。

转到图10，由参考标号1000总地指示用于使用具有最小平方预测的预测精细化来解码图像块的视频数据的示例性方法。方法1000包括开始块1005，其将控制传递到功能块1010。功能块1010解析语法，并将控制传递到判定块1015。判定块1015确定Isp_idc是否大于0。如果是，则将控制传递到功能块1020。否则，将控制传递到功能块1060。功能块1020确定Isp_idc是否大于1。如果是，则将控制传递到功能块1025。否则，将控制传递到功能块1030。功能块1025解码运动矢量Mv和残差，并将控制传递到功能块1035和功能块1040。功能块1035执行运动补偿以便生成预测P_mc，并将控制传递到功能块1045。功能块1040执行最小平方预测精细化以便生成预测P_lsp，并将控制传递到功能块1045。功能块1045从预测P_mc和预测P_lsp的组合生成组合的预测P_comb，并将控制传递到功能块1055。功能块1055将残差添加到该预测，补偿当前块，并将控制传递到结束块1099。

功能块1060利用非LSP模式解码图像块，并将控制传递到结束块1099。

功能块1030解码运动矢量(Mv)和残差，并将控制传递到功能块1050。功能块1050通过LSP精细化来预测块，并将控制传递到功能块1055。

现在，将给出对于本发明的很多伴随的优点/特征中的一些的描述，所述优点/特征中的一些已经在上面提到。例如，一个优点/特征是一种具有用于编码图像块的编码器的装置，该编码器使用显式运动预测以生成对该图像块的粗略预测并且使用隐式运动预测来精细化该粗略预测。

另一优点/特征是如上所述的具有编码器的装置，其中，粗略预测是帧内预测和帧间预测中的任一种。

又一优点/特征是如上所述的具有编码器的装置，其中，隐式运动预测是最小平方预测。

此外，另一优点/特征是具有编码器的装置，其中如上所述隐式运动预测是最小平方预测，并且其中最小平方预测滤波器支持和最小平方预测训练窗覆盖与该图像块有关的空间上的和时间上的像素两者。

另外，另一优点/特征是具有编码器的装置，其中如上所述隐式运动预测是最小平方预测，并且其中最小平方预测可以是基于像素的或基于块的，并且被用于单一假设运动补偿预测或多假设运动补偿预测。

此外，另一优点/特征是具有编码器的装置，其中如上所述最小平方预测可以是基于像素的或基于块，并且被用于单一假设运动补偿预测或多假设运动补偿预测，并且其中基于前向运动估计定义用于最小平方预测的最小平方预测参数。

另外，另一优点/特征是具有编码器的装置，其中如上所述基于前向运动估计定义用于最小平方预测的最小平方预测参数，其中，可以关于一个或多个参考画面、或关于一个或多个参考画面列表来进行用于最小平方预测的时间上的滤波器支持。

此外，另一优点/特征是具有编码器的装置，其中如上所述最小平方预测可以是基于像素的或基于块，并且被用于单一假设运动补偿预测或多假设运动补偿预测，并且其中最小平方预测所基于的块的大小不同于前向运动估计块的大小。

另外，另一优点/特征是具有编码器的装置，其中如上所述最小平方预测可以是基于像素的或基于块，并且被用于单一假设运动补偿预测或多假设运动补偿预测，并且其中用于最小平方预测的运动信息可以通过运动矢量预测器来导出或估计。

基于这里的教导，相关领域的普通技术人员可以容易地确定本原理的这些和其它特征及优点。应当理解，可以以硬件、软件、固件、专用处理器或它们的组合的各种形式来实现本原理的教导。

最优选地，作为硬件和软件的组合来实现本原理的教导。此外，可以作为在程序存储单元上有形地体现的应用程序来实现所述软件。所述应用程序可以被上载到包括任何适当架构的机器并由其执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件的计算机平台上实现所述机器。该计算机平台还可以包括操作系统和微指令代码。在此描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序一部分或者它们的任何组合。此外，诸如附加的数据存储单元和打印单元之类的各种其它外围单元可以连接到该计算机平台。

还应当理解，因为优选地用软件来实现在附图中描绘的一些组成系统组件和方法，所以这些系统组件或处理功能块之间的实际连接可以根据本原理被编程的方式而不同。给出这里的教导，相关领域的普通技术人员将能够想到本原理的这些和类似的实现或配置。

尽管在这里参照附图描述了说明性实施例，但是应当理解，本原理不限于那些精确的实施例，并且相关领域的普通技术人员可以在其中进行各种改变和修改，而不背离本原理的范围或精神。所有这样的改变和修改都意欲被包括在如所附权利要求阐述的本原理的范围内。

Claims (42)

1.一种视频编码装置，包括：

编码器(500)，用于使用显式运动预测以生成对图像块的粗略预测并且使用隐式运动预测以精细化该粗略预测来编码该图像块，其中隐式运动预测是最小平方预测(925)，一次一个像素地细化预测块中的像素值，基于率失真成本在包括利用最小平方预测的预测、不利用最小平方预测的预测、以及利用和不利用最小平方预测的融合组合的预测候选者中选择最终预测，其中在宏块级使用指示符来发信号通知所述选择。

2.如权利要求1所述的装置，其中，粗略预测是帧内预测和帧间预测中的任一种。

3.如权利要求1所述的装置，其中，隐式运动预测是最小平方预测。

4.如权利要求3所述的装置，其中，最小平方预测滤波器支持和最小平方预测训练窗覆盖与该图像块有关的空间上的和时间上的像素二者。

5.如权利要求3所述的装置，其中，最小平方预测可以是基于像素的或基于块的，并且被用于单一假设运动补偿预测或多假设运动补偿预测中。

6.如权利要求5所述的装置，其中，基于前向运动估计定义用于最小平方预测的最小平方预测参数。

7.如权利要求6所述的装置，其中，可以关于一个或多个参考画面、或关于一个或多个参考画面列表来进行用于最小平方预测的时间上的滤波器支持。

8.如权利要求5所述的装置，其中，最小平方预测所基于的块的大小不同于前向运动估计块的大小。

9.如权利要求5所述的装置，其中，可以由运动矢量预测器导出或估计用于最小平方预测的运动信息。

10.一种编码图像块的编码器，包括：

运动估计器(575)，用于执行显式运动预测以生成对该图像块的粗略预测；以及

预测精细化器(533)，用于执行隐式运动预测以精细化该粗略预测，其中隐式运动预测是最小平方预测(925)，一次一个像素地细化预测块中的像素值，基于率失真成本在包括利用最小平方预测的预测、不利用最小平方预测的预测、以及利用和不利用最小平方预测的融合组合的预测候选者中选择最终预测，其中在宏块级使用指示符来发信号通知所述选择。

11.如权利要求10所述的编码器，其中，粗略预测是帧内预测和帧间预测中的任一种。

12.如权利要求10所述的编码器，其中，隐式运动预测是最小平方预测。

13.一种在视频编码器中编码图像块的方法，包括：

使用显式运动预测生成对该图像块的粗略预测(920)；以及

使用隐式运动预测精细化该粗略预测(925)，其中隐式运动预测是最小平方预测，一次一个像素地细化预测块中的像素值，基于率失真成本在包括利用最小平方预测的预测、不利用最小平方预测的预测、以及利用和不利用最小平方预测的融合组合的预测候选者中选择最终预测，其中在宏块级使用指示符来发信号通知所述选择。

14.如权利要求13所述的方法，其中，粗略预测是帧内预测和帧间预测中的任一种。

15.如权利要求13所述的方法，其中，隐式运动预测是最小平方预测(925)。

16.如权利要求15所述的方法，其中，最小平方预测滤波器支持和最小平方预测训练窗覆盖与该图像块有关的空间上的和时间上的像素二者。

17.如权利要求15所述的方法，其中，最小平方预测可以是基于像素的或基于块的，并且被用于单一假设运动补偿预测或多假设运动补偿预测。

18.如权利要求17所述的方法，其中，基于前向运动估计定义用于最小平方预测的最小平方预测参数(915，925)。

19.如权利要求18所述的方法，其中，可以关于一个或多个参考画面、或关于一个或多个参考画面列表来进行用于最小平方预测的时间上的滤波器支持。

20.如权利要求17所述的方法，其中，最小平方预测所基于的块的大小不同于前向运动估计块的大小(915)。

21.如权利要求17所述的方法，其中，可以由运动矢量预测器导出或估计用于最小平方预测的运动信息。

22.一种视频解码装置，包括：

解码器(600)，用于通过接收使用显式运动预测生成的对图像块的粗略预测并使用隐式运动预测精细化该粗略预测来解码该图像块，其中隐式运动预测是最小平方预测(925)，一次一个像素地细化预测块中的像素值，基于率失真成本在包括利用最小平方预测的预测、不利用最小平方预测的预测、以及利用和不利用最小平方预测的融合组合的预测候选者中选择最终预测，其中在宏块级使用指示符来发信号通知所述选择。

23.如权利要求22所述的装置，其中，粗略预测是帧内预测和帧间预测中的任一种。

24.如权利要求22所述的装置，其中，隐式运动预测是最小平方预测。

25.如权利要求24所述的装置，其中，最小平方预测滤波器支持和最小平方预测训练窗覆盖与该图像块有关的空间上的和时间上的像素二者。

26.如权利要求24所述的装置，其中，最小平方预测可以是基于像素的或基于块的，并且被用于单一假设运动补偿预测或多假设运动补偿预测。

27.如权利要求26所述的装置，其中，基于前向运动估计定义用于最小平方预测的最小平方预测参数。

28.如权利要求27所述的装置，其中，可以关于一个或多个参考画面、或关于一个或多个参考画面列表来进行用于最小平方预测的时间上的滤波器支持。

29.如权利要求26所述的装置，其中，最小平方预测所基于的块的大小不同于前向运动估计块的大小。

30.如权利要求26所述的装置，其中，可以由运动矢量预测器导出或估计用于最小平方预测的运动信息。

31.一种解码图像块的解码器，包括：

运动补偿器(670)，用于接收使用显式运动预测生成的对该图像块的粗略预测并使用隐式运动预测精细化该粗略预测，其中隐式运动预测是最小平方预测(925)，一次一个像素地细化预测块中的像素值，基于率失真成本在包括利用最小平方预测的预测、不利用最小平方预测的预测、以及利用和不利用最小平方预测的融合组合的预测候选者中选择最终预测，其中在宏块级使用指示符来发信号通知所述选择。

32.如权利要求31所述的解码器，其中，粗略预测是帧内预测和帧间预测中的任一种。

33.如权利要求31所述的解码器，其中，隐式运动预测是最小平方预测。

34.一种在视频解码器中解码图像块的方法，包括：

接收使用显式运动预测生成的对图像块的粗略预测(1035)；以及

使用隐式运动预测精细化该粗略预测(1040)，其中隐式运动预测是最小平方预测(925)，一次一个像素地细化预测块中的像素值，基于率失真成本在包括利用最小平方预测的预测、不利用最小平方预测的预测、以及利用和不利用最小平方预测的融合组合的预测候选者中选择最终预测，其中在宏块级使用指示符来发信号通知所述选择。

35.如权利要求34所述的方法，其中，粗略预测是帧内预测和帧间预测中的任一种。

36.如权利要求34所述的方法，其中，隐式运动预测是最小平方预测(1040)。

37.如权利要求36所述的方法，其中，最小平方预测滤波器支持和最小平方预测训练窗覆盖与该图像块有关的空间上的和时间上的像素二者。

38.如权利要求36所述的方法，其中，最小平方预测可以是基于像素的或基于块的并且被用于单一假设运动补偿预测或多假设运动补偿预测。

39.如权利要求38所述的方法，其中，基于前向运动估计定义用于最小平方预测的最小平方预测参数。

40.如权利要求39所述的方法，其中，可以关于一个或多个参考画面、或关于一个或多个参考画面列表来进行用于最小平方预测的时间上的滤波器支持。

41.如权利要求38所述的方法，其中，最小平方预测所基于的块的大小不同于前向运动估计块的大小。

42.如权利要求38所述的方法，其中，可以由运动矢量预测器导出或估计用于最小平方预测的运动信息(1025)。