CN101904173A

CN101904173A - 用于视频编码的改进像素预测

Info

Publication number: CN101904173A
Application number: CN2008801219470A
Authority: CN
Inventors: 肯尼思·安德森; 珀·福罗德亨; 克林顿·普瑞德; 乔纳坦·萨缪尔森; 理查德·肖伯格
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2007-12-21
Filing date: 2008-07-16
Publication date: 2010-12-01
Anticipated expiration: 2028-07-16
Also published as: CN101904173B; WO2009080132A1; EP2220869A1; JP5417342B2; US20110007801A1; JP2011507421A; US9049457B2; AR069887A1

Abstract

本发明提供了一种将输入视频帧编码为编码视频帧的方法。所述方法包括以下步骤：将输入视频帧分解为多个像素块；针对作为当前块的每个块：根据已重构的像素产生对应的预测块；通过从当前块中减去预测块来产生残留块；以及根据残留块和预测块来产生重构块；根据残留块来产生编码视频帧；在预测块的区域中创建重构像素的局部结构；将预测块与所述局部结构对齐以产生对齐的预测块；其中，在产生残留块和产生对应的重构块的步骤中使用对齐的预测块。对应的用于将编码视频帧解码为解码视频帧的方法也使用在预测块的区域中创建重构像素的局部结构以及将预测块与所述局部结构对齐以产生对齐的预测块的步骤。

Description

用于视频编码的改进像素预测

技术领域

本发明涉及一种将视频帧编码为编码视频帧的方法、视频解码方法、视频编码设备、视频解码设备、具有用于视频编码设备的计算机程序的计算机可读介质以及具有用于视频解码设备的计算机程序的计算机可读介质。更具体地，本发明涉及具有块预测的视频编码和视频解码。

背景技术

在视频编码/解码中，将输入视频帧编码为编码视频帧以进行存储或传输，对编码视频帧进行解码以获得原始视频信号的重构。编码实现了原始视频信号的压缩，允许在存储介质上存储压缩视频信号，所需的存储容量仅为存储原始视频信号所需存储容量的一小部分，或者，与传输原始视频信号所需的带宽相比，需要远小得多的带宽(即要传输的比特)来向另一设备进行传输。

在视频编码领域(H.264[7]，通过引用并入此处、H.263、MPEG2、MPEG4)，编码器执行所有步骤并进行所有必要判定来压缩输入视频信号。随后对编码器进行的与编码过程相关的所有判定进行传输或存储，以便解码器接收或取回并随后在解压缩过程中使用。在这一方面，解码器是被动的，并且不会自己进行任何判定，依赖于编码器来进行操作。在国际电信联盟(ITU)的视频编码专家组(VCEG)的新近发展中，已经提出了自适应滤波器[1，2]。对这些滤波器进行逐帧优化并对系数进行编码。它们提供了比例如视频压缩标准H.264中使用的滤波器更好的编码效率。

此外，已经有研究针对使用模板匹配来向解码器提供更多自由[3，4，5，6]，其中模板是指与要编码的块相邻的先前编码的像素区域。所有这些都极力尝试进一步改进视频编码/解码，以实现更高的压缩率和/或改进的感知重构图像质量。在一种进一步改进预测的尝试中，已经研究了用于对预测进行局部适配的方案。

然而，对预测进行局部适配消耗许多比特，并且对于高效视频编码而言不能负担，其中更加局部的适配潜在地可以减少预测误差。用于帧间预测的局部自适应滤波器可以实现这一目的，但是由于编码滤波器系数的代价而难以实现，并将在存储和传输中消耗许多比特。

模板匹配是实现预测的更加局部的适配的一种方式，不需要辅助信息，但是在匹配搜索中使用预测块之外的区域。换言之，根据最佳匹配，模板匹配搜索基于不同于用于实际预测的像素的重构像素。由于通信信道误差或编码误差而导致的先前解码的区域中的误差可以传播至预测块，而未进行任何调整。因此，本发明的目的是增强预测(即预测块)的精度，同时保留或限制带宽(即所需比特容量或要编码的比特)增大。

发明内容

根据本发明的第一方面，这一目的是通过一种将输入视频帧编码为编码视频帧的方法来实现的。所述方法包括以下步骤：

-将输入视频帧分解为多个像素块；针对作为当前块的每个块，执行以下步骤：

-根据已重构的像素产生对应的预测块；

-通过从当前块中减去预测块来产生残留块；以及

-根据残留块和预测块来产生重构块；

-根据残留块来产生编码视频帧；所述方法还包括以下步骤：

-在预测块的区域中创建重构像素的局部结构；

-将预测块与所述局部结构对齐以产生对齐的预测块；以及

-其中，在产生残留块和产生对应的重构块的步骤中使用对齐的预测块。

根据本发明的第二方面，这一目的是通过一种将编码视频帧解码为解码视频帧的方法来实现的。根据本发明第二方面的方法包括以下步骤：

-根据编码视频帧来产生反变换/解量化的残留块；

针对每个所产生的反变换/解量化的残留块，执行以下步骤：

-根据已重构的像素来产生预测块；

-根据编码视频帧和预测块来产生重构帧；

所述方法还包括以下步骤：

-在预测块的区域中创建重构像素的局部结构；

-将预测块与所述局部结构对齐为对齐的预测块；以及

-其中，在产生对应的重构块的步骤中使用对齐的预测块。

通过在预测块的区域中创建重构像素的局部结构，创建了合成原型，预测块可以与该合成原型对齐，其中尚无先前重构的像素可用。局部结构中的像素在预测块的区域内，而不像模板匹配那样在预测块的区域之外。重构像素的局部结构从先前重构的像素导出或扩展，因此可以更高效地使用来自先前重构像素的信息。创建重构像素的局部结构和随后对预测块进行对齐允许改进预测块的预测。由于局部结构的创建和对齐可以在编码和解码中独立进行，从编码过程至解码过程或从编码器至解码器不需要另外的比特容量(即要编码的比特)。因此，实现了针对编码视频帧的减小的比特容量的进一步改进或改进的感知重构视频质量。

局部结构(即合成原型)的部署实现了对预测块进行逐区域的局部修正。由于预测块可以与同预测块相邻的先前重构像素对齐，因此实现了编码和解码中更好的鲁棒性(更具体地，针对通信信道误差)。由于局部结构中预测与先前重构像素之间的更好匹配，可以减少如H.264中的对内环解块滤波器的使用。

在根据本发明的实施例中，产生预测块的步骤包括：使用帧间预测信息，根据先前重构帧中的重构像素来产生预测块。

在根据本发明的另一实施例中，产生预测块的步骤包括：使用帧内预测信息，根据当前重构帧中的重构像素来产生预测块。因此，本发明可以应用于帧间和帧内预测块。

根据本发明的另一实施例，在预测块的区域中创建重构像素的局部结构的步骤包括：使用来自当前重构帧的重构像素来产生所述局部结构的像素(帧内预测)。

这与帧内预测类似，可以有利地用于将已知图案和纹理空间扩展至局部结构。

根据本发明的另一实施例，在预测块的区域中创建重构像素的局部结构的步骤包括：使用来自先前重构帧的先前重构像素来产生所述局部结构的像素。这与帧间预测类似，从而在时间意义上将重构像素扩展至局部结构。然而，也可以将时间与空间扩展组合来创建局部结构。

本质上，根据本发明，任何预测块(不论帧间或帧内)可以对齐至局部结构，可以根据从当前重构帧或先前重构帧产生预测的任何其他方法来创建局部结构。

根据本发明的另一实施例，在预测块的区域中创建重构像素的局部结构的步骤包括：将当前重构帧或先前重构帧的重构像素内插入预测块的区域。

来自当前重构帧的、预测块区域周围的重构像素可以用于通过线性或多项式内插来内插尚未重构的像素，作为帧内预测的备选方法来创建局部结构。备选地，也可以内插先前重构帧中的重构像素来创建局部结构。

根据本发明的另一实施例，在预测块的区域中创建重构像素的局部结构的步骤包括：通过将重构像素外插入预测块的区域来产生所述局部结构的像素。

因此，可以外插来自当前重构帧或先前重构帧或先前重构帧的像素。这具有以下效果：将局部结构扩展至预测块的像素位置，以实现预测块与局部结构的改进的对齐。

根据本发明的另一实施例，在预测块的区域中创建重构像素的局部结构的步骤包括：根据相邻块的帧间预测信息，将来自另一先前重构帧的重构像素应用至当前重构帧的区域。这具有以下效果：将局部结构扩展至相邻块，以实现预测块与局部结构的改进的对齐。

执行创建重构像素的局部结构的任何方法可以与执行创建重构像素的局部结构的至少一个其他方法相结合，例如通过在像素值之间内插，或者在相应方法的像素之间进行空间内插。其优点在于，使用多种方法可以进一步提高精度。

根据本发明的另一实施例，在预测块的区域中创建重构像素的局部结构的步骤包括：确定用于预测预测块的行和/或列的转移函数。所述转移函数可以从至少一行和/或一列像素至与预测块相邻的至少下一行和或一列重构像素来确定。

通过将转移函数应用至与要预测的块的区域相邻的重构像素，可以预测预测块的区域中尚未重构的像素。这具有以下效果：对局部结构如何从一行至另一行或从一列至另一列变化进行建模。因此，可以将局部结构扩展至预测块的区域，并实现预测块与局部结构的改进的对齐。转移函数可以具有时间和空间属性。

根据本发明的另一实施例，将预测块与局部结构对齐的步骤包括：将预测块中的至少部分的像素的属性与局部结构中像素的对应属性进行匹配，并基于最佳匹配将预测块的属性适配至局部结构的对应属性。

这具有以下效果：基于局部结构的部分来确定预测块的对齐，使得能够改进对齐的预测块的视觉质量，并使用对齐的预测块与残留编码相结合来减少残差。因此，在广义上可以将对齐解释为使对应，并且不限于预测块的位置相对于局部结构的对齐，而是可以将与预测块和局部结构中的像素相关的任何属性进行对齐，例如但不限于：亮度、色度、纹理以及频谱内容、相位关系。

根据本发明的另一实施例，将预测块中的至少部分的像素的属性与局部结构中像素的对应属性进行匹配的步骤包括：建立预测块中的至少部分的像素的属性值与局部结构中像素的对应属性值的平方差或绝对差之和，其中，所述最佳匹配由最小和来确定。

这具有以下效果：可以评估各种匹配，其中选择给出最小差值的匹配。

根据本发明的另一实施例，将预测块中的至少部分的像素的属性与局部结构中像素的对应属性进行匹配的步骤包括：确定预测块中的至少部分与局部结构之间的空间转移函数；基于最佳匹配将预测块的属性适配至局部结构的对应属性的步骤包括：将空间转移函数应用至预测块以获得对齐的预测块。

这具有以下效果：建立用于修正预测块的修正，并将应用所述修正来得到与局部结构类似的特性。特性的一些示例是位移，还可以是纹理、平滑度/锐度。可以注意到，用于产生预测块的重构像素可以直接用于根据本发明产生对齐的预测块的步骤。

根据本发明的另一实施例，确定预测块中的部分与局部结构之间的空间转移函数的步骤是通过从预定空间转移函数集合中选择空间转移函数来执行的。

这具有以下优点：可以从例如根据H.264[7]标准已有的转移函数中选择空间转移函数。通过从集合中选择转移函数而不是计算系数，可以节约计算时间。

根据本发明的另一实施例，在最佳匹配的位置上对齐预测块的步骤包括：对预测块的像素或局部结构的像素进行子像素内插，以允许预测块相对于局部结构的子像素匹配和定位。

这具有以下效果：对预测块与局部结构的对齐进行进一步微调，例如通过对预测块进行垂直和水平移位或旋转预测块，以得到与局部结构的特性的更好匹配。

根据本发明的另一实施例，将预测块中的至少部分的像素的属性与局部结构中像素的对应属性进行匹配的步骤和基于最佳匹配将预测块的属性适配至局部结构的对应属性的步骤是对作为预测块的来源的像素执行的。

这具有以下优点，在单个计算步骤中对齐预测块，而不实际产生预测块，从而节约了计算时间。

根据本发明的另一实施例，预测块中的至少部分的像素的属性和局部结构中像素的对应属性基于局部结构的像素的变换，其中，基于最佳匹配，根据局部结构的像素的变换来适配预测块。

这具有以下优点：实现根据例如频域的对齐，例如强调高频特征(如边缘)、相位域特征(例如相位域中的线表示)或视觉误差。

根据本发明的另一实施例，将预测块中的至少部分的像素的属性与局部结构中像素的对应属性进行匹配的步骤包括：确定使得预测块的像素值与重构像素的局部结构的像素值最佳匹配的位置，其中，将预测块的属性适配至局部结构的对应属性的步骤包括：将预测块定位至使得预测块的像素值与重构像素的局部结构的像素值最佳匹配的位置。

这允许相对于局部结构来精确定位预测块。

此外，在本发明的第三方面，本发明的目的是通过一种视频编码设备来实现的，所述视频编码设备包括：输入接口，用于接收输入视频帧；输出接口，用于输出编码视频帧；以及处理装置和存储器和/或专用硬件装置，被配置为执行上述方法的步骤和实施例。

此外，在本发明的第四方面，本发明的目的是通过一种视频解码设备来实现的，所述视频解码设备包括：输入接口，用于接收编码视频帧；输出接口，用于输出解码视频帧；以及处理装置和存储器和/或专用硬件装置，被配置为执行上述方法的步骤及相关实施例。

此外，在本发明的第五方面，本发明的目的是通过一种计算机可读介质来实现的，所述计算机可读介质上存储有计算机指令，计算机指令在被加载入存储器并由上述编码设备中的处理器来处理时执行上述方法的步骤及相关联实施例。

此外，在本发明的第六方面，本发明的目的是通过一种计算机可读介质来实现的，所述计算机可读介质上存储有计算机指令，计算机指令在被加载入存储器并由上述解码设备中的处理器来处理时，执行上述方法的步骤及相关联实施例。

附图说明

以下参照附图更详细地描述本发明，在附图中：

图1A示出了根据现有技术的用于对原始视频帧进行编码的过程的框图。

图1B示出了根据现有技术的将编码视频帧解码为重构视频帧的过程的框图。

图2A示出了根据现有技术的在对输入视频帧进行编码时的预测块产生的示例的框图。

图2B示出了根据现有技术的在对编码视频帧进行解码时的预测块产生的子过程的框图。

图3A示出了根据本发明的实施例的将原始视频信号解码为编码视频帧的过程的框图。

图3B示出了根据本发明的实施例的将编码视频帧解码为重构视频信号的过程的框图。

图4A示出了根据现有技术的要适配入重构帧的预测块的示例。

图4B示出了根据本发明的实施例的根据当前重构帧创建的像素的局部结构的示例。

图4C示出了根据本发明的实施例的与图4B的局部结构对齐的图4A的预测块。

图5A示出了根据本发明的示例性实施例的编码设备的框图。

图5B示出了根据本发明的示例性实施例的解码设备的框图。

具体实施方式

以下将通过示例性实施例来详细解释本发明，如果参照附图来阅读，则将更好地理解本发明。附图中，每个框表示具有数据和/或控制信息作为输入和/或输出的处理步骤。数据由实线箭头表示，并且可以是像素块或像素帧。控制信息由虚线箭头表示。附图中相似的附图标记用于相似的特征。

然而，图中的每个框可以以专用硬件处理器来实现。类似地，可以以硬件将数据和控制信息实现为电子信号，分别用于在各种硬件处理器之间进行通信和控制。

视频编码的总体概念基于对输入视频帧进行编码的过程或方法，包括以下步骤：将输入视频帧分解为各种大小的像素块，例如4×4、8×8或16×16，从而通过从输入视频帧的当前块中减去预测块来产生差值或残留块。将残留块编码为编码视频帧。残留块用于根据预测块和残留块来创建重构块，重构块与先前重构块组装在一起形成由其产生预测块的重构帧。

通过提供以与编码过程相同的方式来产生重构帧的解码过程或方法，在解码过程中产生重构帧，可以在一些后处理之后将重构帧作为解码视频帧输出。

由于编码过程和解码过程均产生由其产生预测块的当前重构帧，解码过程可以遵循编码过程，并产生类似原始输入视频帧的解码视频帧。

图1A示出了根据现有技术(H.26x、MPEG2、MPEG4)对输入视频帧47进行编码的过程的框图，其中，将输入视频帧47分解46为多个块1，从而在处理循环中连续处理每个分解块1。将当前块1(来自输入视频帧47的分解产生的块之一)编码为编码视频帧18，编码视频帧18要发送至图1B所示的解码过程。因此，输入视频帧47被逐块编码并传送至解码过程。可以清楚看到，通过对输入视频帧47进行连续编码，可以将流传输视频编码为连续的编码视频帧18。可以以编码的形式在编码与解码之间执行中间存储(例如在致密光盘(CD)或数字多用途光盘(DVD)或任何其他存储介质上)。

在图1A中，在编码过程的循环中，对于当前块1，使用预测块9通过从当前块1中减去2预测块9来产生残留块3。可以通过从当前块1的对应像素的像素值中减去预测块9的像素的像素值来执行从当前块1中减去2预测块9的操作。可选地，将残留块3变换/量化4(可选框由虚线指示)为变换块6，继而对变换块6进行编码5，以产生编码视频帧18。可选地将残留块3变换/量化4为变换块6的步骤可以包括例如离散余弦变换(DCT)。对残留块3进行变换4的步骤还可以包括将得到的变换块量化以限制变换后的残留块6的可能值的数目。这将减小编码步骤5的工作负荷。编码5可以包括熵编码，即例如霍夫曼编码或用于减小数字传输所需比特量的任何其他编码方案。

可选地，将变换块6反变换和/或解量化7为反变换/解量化的残留块25。然后，将表示残留块3的反变换/解量化的残留块25与预测块9相加8，以产生重构块43。将该重构块43与先前重构块43组装44在一起，形成当前重构帧10的至少部分，因此，该部分可以用于下一循环中的帧内预测。存储当前重构帧10以提供先前重构帧12。在以下描述中，为完整起见假定使用变换/量化4和反变换7的可选步骤。

根据现有技术，通过使用先前重构帧12的帧间预测，或通过使用当前重构帧10的帧间预测，来产生42A预测块9。

来自预测产生步骤42A的预测控制信息45可以与要包括在编码视频帧18中的变换残留块6一起进行编码5。预测控制信息45的示例为(但不限于)在帧间预测的情况下的块划分信息、运动向量、参考帧编号(指示预测块9应当来自哪些先前重构视频帧12)以及在帧内预测情况下的块划分信息和帧内预测模式。

可以对当前重构帧10进行解块11并存储，以创建先前重构帧12，从而将块边界滤除，使得块边界对观看者不再明显。应当注意，对这种一般方法的变型是可能的。

图1B示出了根据现有技术的将编码视频帧18解码为解码视频帧29的过程的框图。

图1B中从右至左示出了解码过程。首先，将编码视频帧18解码19并反变换7为反变换/解量化的残留块25。将预测块9与反变换/解量化的残留块25相加8，以产生重构块43。相加9可以通过将反变换/解量化的残留块25的预测块中的像素的像素值与预测块9中的像素的像素值相加来执行。将重构块43与先前重构块43组装44在一起，以形成当前重构帧10。进一步存储当前重构帧10，以提供先前重构帧2。

如在图1A中一样，可以对当前重构帧10进行解块11并存储，以创建先前重构帧12，从而将块边界滤除，以使得块边界对观看者不再明显，由此产生了得到的解码视频帧29，例如可以将解码视频帧29转发至显示器用以观看。

根据现有技术，通过使用先前重构帧12的帧间预测，或通过使用当前重构帧10的帧间预测来产生42B预测块9。在编码过程中，来自预测产生步骤42A的预测控制信息45可以与要在预测块产生42B中使用的编码的变换残留块6一起进行解码19。

对编码视频帧18进行解码的过程与编码过程的相似之处在于：编码过程和解码过程都需要产生当前重构帧10和先前重构帧12，根据当前重构帧10和先前重构帧12，通过帧间预测或通过帧内预测来产生预测块9。必须确保针对图1A的编码过程和图1B的解码过程中的每个对应循环，预测块9相同。如果编码和解码过程的相应预测块产生42A/42B不同，则得到的解码视频帧29将不是输入视频帧47的精确表示。

图2A示出了根据现有技术的编码过程的预测块产生42A的示例。可以执行帧间预测和帧内预测。在帧间预测中，执行当前块相对于先前重构帧12的运动估计13。运动估计13的结果，即帧间预测信息23，可以是运动向量和对使用来自先前存储的帧12的哪个块的指示。使用先前重构帧12和帧间预测信息23，可以通过帧间预测补偿14来产生帧间预测块31。

在帧内预测中，在步骤15，可以通过将当前块1与当前重构帧10中的已重构像素进行比较，来确定帧内预测模式。帧内预测模式以及对要使用哪个块来进行帧内预测的指示一起形成帧内预测信息24。可以基于当前重构帧10和帧内预测信息24，通过执行帧内预测产生步骤16来产生帧内预测块32。

在选择步骤17A中，选择最佳匹配预测以进行进一步处理，得到预测块9和对应的预测信息45。

在图2B中，针对解码过程示出了预测产生42B的示例。根据解码的预测信息45，选择步骤17B选择在图2A的预测块产生42A中建立的预测。或者选择帧间预测，其中使用运动预测信息23来执行运动补偿14，使用先前重构帧12来产生帧间预测块31；或选择帧内预测，其中提供帧内预测信息24来执行帧内预测块产生16，基于帧内预测信息24和当前重构帧10来产生帧内预测块32。在图1B的解码过程中使用得到的预测块9。

图3A示出了根据本发明实施例的将输入视频帧47解码为编码视频帧18的过程的框图。图3A的过程与图1A的过程的相似之处在于：针对每个当前块1，使用预测块9以及根据本发明的对齐块22，通过从当前块1中逐像素减去2对齐的预测块块22来产生残留块3。将残留块3变换4为变换块6，继而对变换块6进行编码5，以产生编码视频帧18。将残留块3变换4为变换块6的步骤可以包括例如离散余弦变换(DCT)和/或将得到的变换量化以限制变换后的残留块的可能值的数目。这将减小编码步骤5的工作负荷。编码5可以包括熵编码，即例如霍夫曼编码或用于减小数字传输所需比特量的任何其他编码方案。

将变换块6反变换7为反变换/解量化的残留块25。然后，将表示残留块3的反变换/解量化的残留块25与对齐的预测块22相加8，以产生重构块43。将该重构块43与先前重构块43组装44在一起，以形成当前重构帧10的至少部分，因此，该部分可以用于下一循环中的帧内预测。存储当前重构帧10，以提供先前重构帧12。

对齐的预测块22是预测块9的改进版本。根据现有技术，预测块9是通过执行图2A中进一步详述的预测块产生42A来产生的。然而，根据本发明，该预测块9与重构像素的局部结构30对齐21，得到对齐的预测块22。

根据本发明，在预测块9的区域(其中要创建当前重构帧中尚未重构的像素)中执行创建20重构像素的局部结构30的步骤。重构像素的局部结构30的目的是创建在至少某个方面或者在预测块9的区域的至少部分中的像素值的尽可能好的表示。

使用来自当前重构帧10和/或来自先前重构帧12的重构像素，尚未重构的像素的区域与预测块9重叠，这意味着一般而言重构像素的局部结构30可以扩展至预测块9的限制之外。以下更详细描述创建20重构像素的局部结构30的一些示例。

在对齐步骤21中，预测块9与重构像素的局部结构30对齐，得到对齐的预测块22。这实现了对预测块9的微调。该对齐的预测块22随后用于通过从当前块1减去2对齐的预测块22来产生残留块3的步骤中。可以清楚看到，由于对齐的预测块22被微调至重构像素的局部结构30，与现有技术相比，得到的重构块43和随后得到的当前重构帧10以及最终得到的解块后的解码视频帧29具有更好的质量。

图3B示出了根据本发明实施例的将编码视频帧解码为重构视频信号的过程的框图。类似于图1B中描述的现有技术来执行产生42B预测块9的步骤。此外，与图3A所示的根据本发明的编码过程类似，在与预测块9相对应的区域中创建20重构像素的局部结构30。然后，可以将预测块9与重构像素的局部结构30对齐，以产生对齐的预测块22。然后，加法器8执行产生重构块43的步骤，将反变换/解量化的残留块25与对齐的预测块22逐像素相加，并将所形成的重构块43组装44为当前重构帧10。继而，已经通过如图1B中对编码视频帧18进行解码产生了反变换/解量化的残留块25。

在本发明的进一步改进中，如上所述在对未示出的输入视频帧47进行编码的过程中创建20重构像素的局部结构30的步骤和/或将预测块9与重构像素的局部结构30对齐21的步骤可以将创建信息和对齐信息与预测信息一起信号通知给如上所述并在图3B中示意的对应解码过程。按照这种方式，编码器可以选择针对哪些块应当使用根据本发明的创建20重构像素的局部结构30和对齐21。此外，根据本发明，可以通过在创建信息和对齐信息中分别使用对应指令来预先通知对应的解码过程可以如何执行创建20重构像素的局部结构30和如何执行对齐21预测块9。这可以限制解码过程的工作负荷，还对解码过程给出一些进一步指引以最佳创建重构像素的局部结构30和/或知道在何处最佳应用对齐21。在编码步骤5中，可能需要一些附加比特来产生编码视频帧18，但是改进了当前重构帧10的质量。

图4A示出了根据现有技术的要适配入当前重构帧10的预测块9的示例。可以通过帧间或帧内预测来产生42A或42B预测块9。从图3A中可以清楚看到，预测块9与当前重构帧10的周围像素不很合适。

图4B示出了根据本发明实施例的使用来自当前重构帧10的像素来创建20重构像素的局部结构30的示例。在本示例中，重构像素的局部结构30可以基于对来自当前重构帧10中的已重构像素的特征进行扩展(例如通过帧内预测)。

图4C示出了根据本发明实施例的与图3B的重构像素的局部结构30对齐21的图3A中的预测块9，从而得到对齐的预测块22。预测块9是根据与来自图3B的重构像素的局部结构30的对应像素的最佳匹配来定位的。

在以下部分中，将更详细讨论创建20重构像素的局部结构和对齐21的实施例。

空间转移函数

在创建20重构像素的局部结构30和在将预测块与重构像素的局部结构30对齐的步骤中，使用空间转移函数来提供数学模型。

在帧间预测以及帧内预测领域，可以对参考帧(如当前重构帧10或先前重构帧12)的像素应用空间转移函数，以获得预测块9。空间转移函数的目的是根据来自参考帧的预测信息将参考帧的像素重新定位至当前块1的像素位置。在等式1中，应用2维空间转移函数的一般情况描述为：

P (k, l) = Σ_{i = 0}^{N - 1} Σ_{j = 0}^{M - 1} wf (i, j) R (k + k_{1} - i + int (\frac{N}{2}) + int (v_{k}), l + l_{1} - j + int (\frac{M}{2}) + int (v_{l})) + o

(等式1)

其中P(k，l)是在预测块的行k和列l处的像素，R是参考帧，f(i，j)是具有N行M列的2维空间转移函数在位置(i，j)处的值，k₁和l₁是定位了参考帧中与当前块1的位置相对应的块的偏移，v_l和v_k是预测信息45，即分别为在水平方向(沿行)和垂直方向(沿列)与当前块1的位置的位移，int(x)是x的截取整数值，w是缩放因子，o是DC偏移。

在帧内预测的情况下，参考帧可以是当前重构帧10，或者在帧间预测的情况下，参考帧可以是先前重构帧12，而预测信息分别是帧内预测信息24和帧间预测信息23。

从[7]中得知空间转移函数的使用，其中已经定义了与像素的位移相关的空间转移函数的集合。以下示出了空间转移函数的两个示例。在等式2中，示出了通过从沿垂直和水平方向均与栅格点距离正好一半的位置进行的双线性内插来将像素值重新定位至规则间隔的栅格的转移函数。

f = [\begin{matrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{matrix}]

(等式2)

在等式3中，示出了在不进行重新定位的情况下对像素值进行滤波的转移函数。

f = [\begin{matrix} 0.05 & 0.1 & 0.05 \\ 0.1 & 0.4 & 0.1 \\ 0.05 & 0.1 & 0.05 \end{matrix}]

(等式3)

在本领域中已经开发出了帧自适应转移函数，见参考文献[1，2]。在这种情况下，根据预测信息45，针对不同类别的重新定位来确定帧自适应空间转移函数。自适应空间转移函数是一种具有可修正系数的空间转移函数。通过修正自适应空间转移函数的系数，得到的像素可以与作为参考像素的、先前重构帧12中的已重构像素相匹配。针对每个类别，编码过程选择将预测块9与当前输入帧47的当前块之间的平方误差最小化的自适应转移函数，例如通过最小二乘最小化。对所确定的帧自适应转移函数进行编码，并选择性地用于产生预测块9。然后，编码的自适应空间转移函数可以被解码19并由解码过程使用。

创建重构像素的局部结构

以下将讨论创建20重构像素的局部结构30的一些示例性实施例。根据本发明的实施例，与产生42A/42B预测块9类似，可以使用预测技术(即帧间预测和/或帧内预测)来执行创建20重构像素的局部结构30。

一般地，根据产生42A/42B预测块9的不同方案来执行创建20重构像素的局部结构30，从而对已经根据预测块9自身的像素以不同方式创建20的重构像素的局部结构30来执行预测块9的对齐步骤21。因此，通过帧间预测产生的预测块9可以与通过帧内预测技术创建的重构像素的局部结构30进行对齐21，反之，通过帧内预测技术产生的预测块9可以与使用帧间预测技术(即从先前重构帧12导出)的重构像素的局部结构30进行组合。

然而，只要所使用技术分别不同，就可以均使用帧间预测或均使用帧内预测来执行创建20重构像素的局部结构30和预测块产生42A/42B的步骤。

可以以各种方式来执行创建20重构像素的局部结构30。首先讨论使用来自当前重构帧10的像素信息来创建20重构像素的局部结构30。

如上所述，通过将来自当前和先前处理循环的重构块43进行组装来创建当前重构帧10。因此，当前重构帧10包含用于预测仍待重构的像素的先前重构像素，这与帧内预测类似。事实上，可以使用帧内预测的任何方法。

在预测块的区域中，将形成重构像素的局部结构30的、仍待重构的像素可以例如通过外插来自一个或多个重构块43中的已重构像素的一个或多个行或列的像素值或外插来自要产生的块之外的一个或多个重构块43中的先前重构像素的行和/或列的像素值来创建。

为了在预测块9的区域中创建20局部结构30，可以使用针对位移的空间转移函数(见等式2，使用具有像素重新定位的内插；或等式3，不使用像素重新定位)。在本示例中，来自当前重构帧10的已重构像素的一列的像素至用于确定另一列(例如形成局部结构30的部分的相邻列)中的像素，如等式4所示：

L (k, l) = Σ_{i = 0}^{N - 1} a (i) R (k - i + int (\frac{N}{2}), l - 1)

(等式4)

其中L(k，l)是局部结构30中在行k和列l处的像素，a(i)是转移函数在位置i的值，R(k-i+int(N/2)，l-1)表示当前重构帧10中的像素。

按照这种方式，可以根据当前重构帧10的邻近像素值来产生预测块9的区域中的重构像素的局部结构30。在另一实施例中，对当前重构帧的一行像素应用转移函数，以产生局部结构30中的另一行，以此类推。

在实施例中，从空间转移函数的预定集合中选择最小化局部结构与当前重构帧10的对应像素之间的平方误差或绝对误差的空间转移函数。对本领域技术人员而言这种空间转移函数集合是公知的，来自但不限于来自[7]，其中已经定义了与像素的位移相关的空间转移函数。具体地，根据本发明的实施例，可以有利地利用与子像素内插和/或不同程度的低通滤波相结合来执行位移的空间转移函数。

在另一实施例中，通过以下等式5的误差函数的最小二乘最小化来确定自适应转移函数。

E = Σ_{k = 0}^{K - 1} {(L (k, l) - R (k, l))}^{2}

(等式5)

其中E是计算误差，K是在最小化中使用的像素位置的数目，R(k，l)表示当前重构帧10中的像素。在这种情况下，示出了针对逐列转移函数的误差函数(k在0，…，K的范围内)。

通过评估例如H.264[7]中可用的空间转移函数集合的平方差之和来执行最小二乘最小化，可以使用等式来选择空间转移函数。

备选地，通过相对于单一空间转移函数的系数取导数并将结果设置为0，可以获得线性方程集合，根据该线性方程集合可以以数值方式解出对齐转移函数的系数。

通过相对于转移函数的系数取导数并将结果设置为0，可以获得线性方程集合，根据该线性方程集合可以以数值方式解出转移函数的系数。

通过针对已解码像素的部分执行该优化，并对更接近要产生的块的另一部分对其进行测试，可以根据测试结果来使用重构像素的局部结构30中的已产生块。可以通过在误差函数中考虑多个重构列来提高该方法的鲁棒性。类似地，可以确定逐行转移函数。

在另一示例中，也可以通过对来自当前重构帧10的先前重构像素进行多项式建模来执行创建20重构像素的局部结构30。多项式模型是使用对区域中的所有像素值恒定的基本空间转移函数，并使用多至水平(x)和垂直(y)位置的特定次幂的多项式对该区域中的像素值的表示，见等式6。可以与局部外插方法相结合来使用多项式模型或任何其他平滑模型，以实现创建还保持有来自当前重构帧10中先前重构像素的强边缘和线条的重构像素的局部结构30。

重构像素的局部结构可以使用以下等式6的多项式模型来表示：

L (k, l) = Σ_{p = 0}^{P - 1} Σ_{q = 0}^{Q - 1} a (q, p) k^{q} l^{p}

(等式6)

其中L(k，l)是局部结构30中在行k和列l处的像素，a(q，p)是相应多项式系数的值，P和Q是相应方向上多项式的阶。与等式5所示类似，可以使用最小二乘最小化，基于来自当前重构帧10的邻近像素来确定多项式系数。

外插和多项式建模的创建20重构像素的局部结构30的上述方法使用了当前重构帧10中的已重构像素。备选地，与帧间预测类似，也可以根据来自一个或多个先前重构帧12的像素来执行创建20重构像素的局部结构30。

可以使用帧间预测信息23或与预测块9相对应的运动补偿的块31(在图2A和2B中未示出)，通过帧间预测来执行创建20重构像素的局部结构30。

类似地，备选地，可以使用相邻块的帧间预测信息，通过当前预测块的帧间预测来执行创建20重构像素的局部结构30。

根据像素变化的特性，当创建20重构像素的局部结构30时，使用来自当前重构帧10的像素和来自先前重构帧12的像素的组合，或简单地在其间切换是有益的。一个示例是在当前重构帧10中的当前块之外的像素与先前重构帧12中的对应像素之间的绝对差之和(SAD)大于预测块9与根据当前重构帧10产生的重构像素的局部结构30之间的SAD时，使用当前重构帧10。

此外，在难以预测但对于对齐而言很重要的区域，可以向局部结构30添加编码的残留辅助信息，以实现与原型的更好匹配。该残留辅助信息在编码过程中产生，并进行编码以用于解码过程。

当创建的局部结构30不完全与其下的像素栅格匹配时，重新采样或内插可以是创建20重构像素的局部结构30的一部分。内插或重新采样解决这种失配，例如通过本领域公知的双线性内插。

对齐

根据本发明的实施例，可以通过根据来自预测块9的像素与来自局部结构的对应像素的最佳匹配的位置，相对于重构像素的局部结构30来定位预测块9，从而实现对齐21。定位可以包括相对于重构像素的局部结构30，沿任何方向平移和/或旋转预测块9。以下将讨论对齐21预测块9以实现对齐的预测块22的一些示例实施例。

根据本发明的实施例，来自上述预定义集合(见[7])的针对像素位移的空间转移函数应用于将预测块9与局部结构30对齐21。这是在编码器和解码器中均执行的，因此所选的对齐转移函数不需要在步骤5中进行编码，但是可以进行编码5以加快图3B中的解码过程。

在本发明的实施例中，如等式7所示，对预测块9应用对齐转移函数。

A (k, l) = Σ_{i = 0}^{N - 1} Σ_{j = 0}^{M - 1} w_{a} a (i, j) P (k - i + int (\frac{N}{2}), l - j + int (\frac{M}{2})) + o_{a}

(等式7)

其中A(k，l)是对齐的预测块22在行k和列l处的像素，a(i，j)是在位置(i，j)处的空间对齐转移函数，w_a是对齐缩放因子，o_a是对齐偏移。可以注意到，根据空间转移函数a(i，j)沿任意方向的大小N，M，预测块9通常可以稍大于当前块1，使得在确定对齐的预测块22的边界附近的值时有用的采样值可用于转移函数系数。将对齐转移函数a(i，j)直接应用至预测块9的一个优点在于，按照这种方式，对齐转移函数独立于用于获得预测块9的方法。例如，如果通过非线性转移函数来获得预测块9，则这可以是有利的。

在本发明的另一实施例中，将上述对齐转移函数直接应用至参考帧(即当前重构帧12或先前重构帧10)，而不是将转移函数应用至参考帧以获得预测块9并在随后应用另一转移函数来与局部结构对齐。在以下等式8中示出了针对该效果的等式：

A (k, l) = Σ_{i = 0}^{N - 1} Σ_{j = 0}^{M - 1} w_{a} wa (i, j) R (k - i + int (\frac{N}{2}) + int (v_{x}), l - j + int (\frac{M}{2}) + int (v_{y})) + o + o_{a}

(等式8)

如果预测块9是通过线性转移函数获得的，则可以将对齐转移函数a(i，j)直接应用至参考帧(即当前重构帧10或先前重构帧12)。这避免了接着应用转移函数f(i，j)来获得预测块9和单独应用对齐转移函数。

在本发明的另一实施例中，预测信息45指示的转移函数f(i，j)用作起始点，对齐转移函数a(i，j)执行转移函数f(i，j)的细化，如等式9所示：

A (k, l) = Σ_{i = 0}^{N - 1} Σ_{j = 0}^{M - 1} w_{a} w (f (i, j) + a (i, j)) R (k - i + int (\frac{N}{2}) + int (v_{x}), l - j + int (\frac{M}{2}) + int (v_{y})) + o + o_{a}

(等式9)

该实施例的原因是允许仅具有较少系数的对齐转移函数。这降低了采用对齐转移函数的复杂度。

在上述等式7至9中，转移函数f(i，j)与对齐转移函数a(i，j)的空间支持相同。对齐转移函数a(i，j)的空间支持与转移函数f(i，j)的空间支持不同也是可能的。换言之，对齐转移函数a(i，j)可以具有与转移函数f(i，j)的系数数目不同的系数数目。

在本发明的实施例中，建立了预定对齐转移函数的不同集合，对于如低通或高通和/或位移之类的转移函数属性，每个对齐转移函数具有不同的属性。对预定对齐转移函数中的每个进行测试，选择给出与局部结构30的最佳匹配的对齐转移函数用于对齐21预测块9。

在本发明的另一实施例中，使用自适应对齐转移函数。选择给出具有与局部结构30的最佳匹配的对齐的预测块22的对齐转移函数a(i，j)。最佳匹配可以被评估为局部结构30与对齐的预测块22的对应像素之间的平方差之和(SSD)或绝对差之和(SAD)，其中最佳匹配是具有最小和值的转移函数。也可以根据差值的傅立叶属性对最佳匹配进行加权，以便例如相对于较不可见的高频差值，更大程度消减更加可见的低频差值。

如以下所示，可以使用对齐的预测块22与局部结构30之间的最小二乘最小化。

E = Σ_{k = 0}^{K - 1} Σ_{l = 0}^{L - 1} {(L (k, l) - A (k, l))}^{2}

(等式10)

其中L(k，l)是局部结构中在行k和列l处的值，K和L指定了重构像素的局部结构30内在对齐中使用的区域，A(k，l)是在应用了上述空间转移函数之后得到的对齐的预测块22。K和L通常等于或小于对齐的预测块22的大小。

如等式5中一样，等式10可以用于通过评估例如H.264[7]中可用的空间转移函数集合的平方差之和来执行最小二乘最小化。

备选地，通过相对于单一对齐转移函数的系数取导数并将结果设置为0，可以获得线性方程集合，根据该线性方程集合可以以数值方式解出对齐转移函数的系数。这与[1]中在寻找最优转移函数时进行的操作类似，但在这种情况下是通过最小化等式10来进行的。

可以注意到，用于对齐的区域可以是不规则的。该区域可以包含例如边缘，沿该边缘来对齐预测块9，因此，可以使用局部结构30中该边缘附近的像素值。

当应用上述空间转移函数之一时，在增益和/或偏移中可以存在失配。在根据本发明的实施例中，使用上述等式8或9(其中w_a和o_a分别表示对齐21的缩放因子和偏移)，通过重新缩放并应用偏移至预测块9，预测块9也可以与重构像素的局部结构30对齐。

此外，可以基于预测块9的变换和重构像素的局部结构30的对应像素的变换来建立空间转移函数a(i，j)。例如可以通过傅立叶变换来获得变换，从而使用预测块9(或其部分)的变换后的相位图或变换后的幅度图来与创建的局部结构的变换相匹配。这尤其适用于将预测块9中的边缘与重构像素的局部结构30中的边缘对齐，从而可以使用傅立叶变换后的图像的相位图来对齐对应边缘的面。

使用变换来执行对齐21的另一示例是使用傅立叶频率内容来进行匹配。可以对初始预测块9中的行进行平滑或锐化，以更好地匹配重构像素的局部结构30中先前重构像素的傅立叶频率内容。平滑可以被认为是在由于在传输或存储期间以及在检索编码视频帧18时可能出现的差错而导致重构像素的局部结构30与预测块9之间的相似度较弱时增强差错恢复力。

使用预测块9的像素值的对齐21和使用预测块9的变换后的像素的对齐21可以连续使用，其中可以使用针对变换后的像素的对齐21来进一步细化先前的对齐。

此外，可以通过将与预测块9中的像素相关联的其他属性与重构像素的局部结构30中的像素进行匹配来执行对齐21。这种属性的示例是运动向量、平均像素值(DC)、色度、亮度或从像素值导出或与像素值相关联的任何其他函数。

用于创建20重构像素的局部结构30的任何方法可以与用于对齐21的任何方法结合使用。在编码/解码期间，可以选择用于创建20重构像素的局部结构30和/或对齐21的最优方法。在寻找与预测块9的行/列/部分的最佳匹配时，重构像素的局部结构30中具有强局部图像梯度的像素位置可能比具有弱局部梯度的像素位置更加重要。弱梯度可以是编码噪声。可以避免这种区域。因此，在建立预测块9的像素与局部结构30的像素之间的匹配时，与具有较低梯度的像素相比，可以利用更高的权重对具有较高梯度值的像素进行加权。

在根据现有技术的模板匹配中，也可以使用转移函数。在模板匹配中，在编码器和解码器中，从位移转移函数集合(见参考文献[3])中选择最佳转移函数。使用来自预测信息45的垂直和水平位移v_l和v_k来选择感兴趣的区域以搜索转移函数。然后，通过测试全像素位移的微小变化来细化初始位移。通过对整数位移int(v_l)和int(v_k)指出的区域之外的区域应用不同的重新定位转移函数，并选择给出与预测块之外的对应区域相比最小的绝对误差的转移函数(例如模板)，来确定转移函数。然后，使用所选的位移和转移函数来产生预测块9。传统上，根据现有技术的模板匹配典型地使用预测块9的区域之外的重构像素。根据本发明，在将模板匹配应用于重构像素的局部结构30时，根据本发明的实施例，可以在对齐中使用模板匹配。

示例

以下描述创建20重构像素的局部结构30与对齐21的组合的一些其他示例。

通过对齐至当前帧中的像素进行的帧间预测

这描述了根据本发明的实施例如何用于改进类似H.264编码器的帧间预测。根据本发明，为了创建重构像素的局部结构30，选择消耗一些比特来进行编码的帧间预测信息23，例如H.264中的P16×16宏块类型。然后，如标准中一样使用所选的宏块类型来获得预测块9。然后执行逐行和逐列分析，以建立重构像素的局部结构30。然后，将帧间预测块9与重构像素的局部结构30对齐21。

选择与重构像素的局部结构30相比给出最小SAD的对齐转移函数。可以执行对齐21从而对预测块9进行滤波以获得良好匹配。为了改进对齐21的精度，可以逐块地对16×16的预测块9中的各个4×4块进行调谐和编码，以产生对16×16宏块的多至16个调整。可以执行率失真(RD)优化以选择要使用哪个宏块类型，例如与标准中的情况相同，但是在此将本发明的教导应用至标准P16×16宏块模式。

通过对齐至根据相邻帧间预测信息的预测进行的帧间预测

可以通过将来自相邻块的帧间预测信息应用于当前块1的帧间预测，来执行创建20重构像素的局部结构30。然后，可以对齐21当前重构帧10的使用当前帧间预测信息的的预测块9，以与重构像素的局部结构30更好匹配，尤其是沿着与另一帧间预测信息所来自的相邻块的块边界。

使用局部结构作为帧内预测

可以使用本发明的实施例来改进类似H.26X编码器的帧内预测。在这种情况下，帧内预测信息24之一，例如H.264中的帧内4×4编码模式，已经被修改为对两种预测进行组合。所述预测之一是根据标准帧内预测信息24的预测块9，另一预测被选择为重构像素的局部结构30。将两种预测进行组合，即通过将帧内预测块9与重构像素的局部结构30对齐21(例如通过加权平均)，以产生对齐的预测块22。

备选地，可以通过分析10中的先前重构像素(在作为预测块9的块左侧分别向上两行和两列)来创建20重构像素的局部结构30。确定用于预测下方的行或左侧的列的转移函数，即空间外插函数。这可以通过最小化行/列的预测与行/列的重构值之间的平方差来进行。然后，通过对一行/列应用所选的转移函数以获得下一行/列(以此类推)来产生局部结构30。

可以执行率失真优化来选择针对每个4×4块预测块9要使用哪个帧内预测信息24，例如与在标准情况下典型进行的操作相同，但是如上所述在本情况中使用对齐的预测块22作为帧内预测信息24之一。这意味着，将选择给出最佳RD性能的预测，可以将该预测信号通知24给解码过程。

通过对齐至帧间预测进行的帧内预测

可以通过使用全局帧间预测信息23(如帧的全局运动或相对于相邻宏块的运动)，通过帧间预测来执行创建20重构像素的局部结构30。然后，帧内预测块9可以与所创建的重构像素的局部结构30对齐21，以获得对齐的预测块22。由于帧内预测仅由帧间预测来引导，但是实际预测是根据当前重构帧10中的先前解码的像素来执行的，因此，对齐的预测块将潜在地好于帧内预测块9，但仍具有良好的误差恢复属性。在重构像素的局部结构30的块边界像素与帧内预测块9的主要结构非常不同的情况下，可以通过避免对齐21帧内预测块9来实现进一步改善的误差恢复。

通过与局部结构对齐进行的帧内预测

在产生预测块9的步骤中，可以使用任何用户优选方法来产生一个或多个帧内预测，并且可以对用于选择17方法的参数进行编码。然后，可以使用本发明来将这些预测中的一个或多个对齐21，以产生与重构像素的局部结构30更好地对齐的、对齐的预测块22。还可以添加附加帧内预测信息24来描述如何产生对齐的预测块22。

在预测信息判定中使用局部结构

针对要编码的当前块1的全部或部分，使用当前重构帧10中的周围像素或来自先前帧12的像素(使用来自相邻块的帧间预测信息)来创建20重构像素的局部结构30。然后，可以使用该重构像素的局部结构30来执行帧内预测信息判定16和可能的帧间预测信息估计13(基于例如相对于重构像素的局部结构30的率失真优化)。由于重构像素的局部结构30可用于编码过程和解码过程中，因此不需要对预测信息进行编码/传输。因此可以实现比特率节约。

改进的模板匹配

可以使用重构像素的局部结构30，通过在模板匹配与基于重构像素的局部结构30的匹配之间进行切换来改进模板匹配。另一方法是将模板匹配限制为使用10中的相邻先前解码像素与预测块9的边界像素之间的相似性的预测。根据重构像素的局部结构30，还可以对根据模板匹配方法的预测进行微调，以产生对齐的预测块22。

受限的帧间预测信息估计

在标准编码过程中，重构像素的局部结构30可以用于帧间预测信息估计。在这种情况下，可以将帧间预测信息估计限制为给出使用10中的相邻先前解码像素与预测块9的边界像素之间的相似性的预测。

相邻块的相互对齐

在实施例中，可以将本发明扩展为使得不仅对要编码的当前块1执行对齐操作21，而且还影响相邻块中的像素，使得将跨越块边界平滑地重构结构。在与反变换/解量化的残留块25相加之前或之后，可以执行对齐21。

使用局部结构来调整帧间预测

在将预测块9与重构像素的局部结构30对齐21时，可以确定转移函数以对用于帧间预测的转移函数进行局部调谐。

图5A示出了根据本发明的示例性实施例的编码设备的框图。编码设备总体上包括：输入接口34，用于获取输入视频帧12；处理装置35和存储器37和/或专用硬件，用于视频编码；以及输出接口36，用于输出编码视频帧。

例如，编码设备可以包括在通信终端中，例如，电话或移动电话或个人计算机或装配有摄像机的被配置为对使用摄像机所捕获的视频进行数字通信或存储的任何其他设备、或者用于处理视频帧的任何其他设备。此外，可以应用用于对数字化的视频进行存储、传输或代码转换的设备。

可以经由输入接口34接收或获取上述输入视频帧47。输入视频帧47可以作为电子视频信号以模拟或数字形式来接收。在接收模拟视频信号的情况下，输入接口装配有模数转换器。在接收数字视频信号的情况下，可以相应地配置输入接口，这是本领域技术人员已知的。例如，可以从摄像机、便携式摄像机、视频播放器、CD-ROM/DVD播放等接收输入视频帧47。

处理装置35可以包括微处理器、DSP、微控制器或适于执行程序指令的任何设备以及专用硬件。专用硬件可以包括专用集成电路，现场可编程门阵列等，用于如图3A所示地作为整体或部分来执行对输入视频帧47进行编码的一些或全部步骤。

根据现有技术，通过合适的接口，可以从诸如CD-ROM、DVD、硬盘、软盘之类的计算机可读介质，或者从具有先前存储的程序指令的任何其他介质，将视频编码设备的程序指令加载入存储器37。程序指令被配置用于使得在由处理装置35执行时执行如上所述对输入视频帧47进行编码的步骤。

对输入视频帧47进行编码的结果(编码视频帧18)，可以作为数字信号输出，以通过输出接口36发送至另一设备进行解码、存储或任何其他目的，输出接口36被配置用于这种目的并且是本领域技术人员已知的。

图5B示出了根据本发明的示例性实施例的解码设备的框图。解码设备总体上具有：输入接口38，用于接收编码视频帧18；处理装置39和存储器41和/或用于视频解码的专用硬件；以及输出接口40，用于输出解码视频帧29。

解码设备可以是(但不限于)通信终端，例如，电话或移动电话或个人计算机或装配有显示器的任何其他设备，被配置用于对编码视频进行数字通信或显示。此外，可以应用用于对数字化视频进行存储、接收或代码转换的设备，或用于处理视频帧的任何其他设备。解码设备也可以包括在任一这种设备中。

输入接口38被配置用于接收从视频编码设备输出并通过通信链路(例如有线或无线连接)发送至视频解码设备的编码视频帧18。编码视频帧18也可以从本领域已知的任何存储设备输出，例如，CD-ROM、DVD、PC硬盘等。

处理装置39可以包括微处理器、DSP、微控制器或适于执行程序指令的任何设备、以及专用硬件。专用硬件可以包括专用集成电路，现场可编程门阵列等，用于如图3B所示地作为整体或部分来执行对编码视频帧18进行解码的一些或全部步骤。

根据现有技术，通过合适的接口，可以从诸如CD-ROM、DVD、硬盘、软盘之类的计算机可读介质，或者从具有先前存储的程序指令的任何其他介质，将视频编码设备的程序指令加载入存储器41。程序指令被配置为使得在由处理装置39执行时执行如上所述对编码视频帧18进行解码的步骤。

解码过程的结果(解码视频帧29)，可以经由解码器输出接口40输出，用于显示或任何其他目的。解码视频帧23可以作为模拟视频信号输出。为此目的，输出接口40可以具有数模转换器。

应理解，说明书和附图中的实施例仅作为示例给出，在不脱离由以下权利要求所定义的本发明的范围的前提下，可以进行修改。

参考文献

[1]Y.Vatis，B.Edler，D.T.Nguyen，J.Ostermann，“Two-dimensional non-separable Adaptive Wiener Interpolation Filter for H.264/AVC”，VCEG-Z17，ITU-T，Study group 16，Question 6，April 2005.

[2]“Separable Adaptive Interpolation Filter”，COM16-C219，Matsushita，July 2007

[3]“Decoder side MV derivation”，VCEG-AG16，Oct 2007

[4]“Inter Frame Coding with Template Matching Averaging”，InProc.IEEE Int.Conf.Image Processing ICIP，San Antonio，Tx，USA，Sep.2007

[5]“Intra prediction by Averaged Template Matching Predictors”，In Proc.IEEE Consumer Communications and Networking Conference CCNC，Jan.2007

[6]“Intra prediction based on displacement and templatematching”，VCEG-AE11，Jan 2007.

[7]ITU-T Recommendation H.264/ISO/IEC MPEG 14496-10，2003.

Claims

1.一种将输入视频帧(47)编码为编码视频帧(18)的方法，包括以下步骤：

-将输入视频帧(47)分解(46)为多个像素块；针对来自输入视频帧(12)的当前像素块(1)，执行以下步骤：

-根据已重构的像素(10、12)，产生(42A)与当前块(1)相对应的预测块(9)；

-通过从当前块(1)中减去预测块(9)来产生残留块(3)；以及

-根据残留块(3)和预测块(9)来产生(4、7、8、44)当前重构帧(10)；

-根据残留块(3)来产生编码视频帧(18)；

其特征在于，所述方法还包括以下步骤：

-在预测块(9)的区域中创建(20)重构像素的局部结构(30)；

-将预测块(9)与所述局部结构(30)对齐以产生对齐的预测块(22)；以及

-其中，在产生残留块(3)和产生对应的重构块(43)的步骤中使用对齐的预测块(22)。

2.一种将编码视频帧(18)解码为解码视频帧(29)的方法，包括以下步骤：

-根据编码视频帧(18)来产生(19、7)反变换/解量化的残留块(25)；

针对每个所产生的反变换/解量化的残留块(25)，执行以下步骤：

-根据已重构的像素(10、12)来产生(42B)预测块(9)；

-根据编码视频帧(18)和预测块(9)来产生(8、44)重构帧(10)；

其特征在于，所述方法还包括以下步骤：

-在预测块(9)的区域中创建(20)重构像素的局部结构(30)；

-将预测块(9)与所述局部结构(30)对齐(21)为对齐的预测块(22)；以及

-其中，在产生对应的重构块(43)的步骤中使用对齐的预测块(22)。

3.根据权利要求1或2所述的方法，其中，产生(42A、42B)预测块(9)的步骤包括：

-使用帧间预测信息(23)，根据先前重构帧(12)中的重构像素来产生(13、14)预测块(9)。

4.根据权利要求1或2所述的方法，其中，产生(42A、42B)预测块(9)的步骤包括：

-使用帧内预测信息(24)，根据当前重构帧(10)中的重构像素来产生(15、16)预测块(9)。

5.根据权利要求1-4中任一项所述的方法，其中，在预测块(9)的区域中创建(20)重构像素的局部结构(30)的步骤包括：

-使用来自当前重构帧(10)的重构像素来产生所述局部结构(30)的像素(帧内预测)。

6.根据权利要求1-4中任一项所述的方法，其中，在预测块(9)的区域中创建(20)重构像素的局部结构(30)的步骤包括：

-使用来自先前重构帧(12)的先前重构像素来产生所述局部结构(30)的像素(帧间预测)。

7.根据权利要求5所述的方法，其中，在预测块(9)的区域中创建(20)重构像素的局部结构(30)的步骤包括：

-将当前重构帧(10)的重构像素内插入预测块(9)的区域。

8.根据权利要求5或6所述的方法，其中，在预测块(9)的区域中创建(20)重构像素的局部结构(30)的步骤包括：

-将重构像素外插入预测块(9)的区域。

9.根据权利要求5或6所述的方法，其中，在预测块(9)的区域中创建(20)重构像素的局部结构(30)的步骤包括：

-根据相邻块的帧间预测信息，将来自另一先前重构帧(12)的重构像素应用至当前重构帧(10)的区域。

10.根据权利要求5或6所述的方法，其中，在预测块(9)的区域中创建(20)重构像素的局部结构(30)的步骤包括：

-确定用于预测与预测块(9)相邻的像素的行和/或列的转移函数；

-将用于预测行和/或列的所述转移函数应用于与预测块相邻的像素，以产生预测块(9)的区域中的行和/或列中尚未重构的像素。

11.根据之前任一权利要求所述的方法，其中，将预测块(9)与局部结构(30)对齐(21)的步骤包括：

-将预测块(9)中的至少部分的像素的属性与局部结构(30)中像素的对应属性进行匹配；

-基于最佳匹配，使预测块(9)的属性适配于局部结构(30)的对应属性。

12.根据权利要求11所述的方法，其中，将预测块(9)中的至少部分的像素的属性与局部结构(30)中像素的对应属性进行匹配的步骤包括：

-建立预测块(9)中的至少部分的像素的属性值与局部结构(30)中像素的对应属性值的平方差或绝对差之和，其中，所述最佳匹配由最小和来确定。

13.根据权利要求11-12中任一项所述的方法，其中，将预测块(9)中的至少部分的像素的属性与局部结构(30)中像素的对应属性进行匹配的步骤包括：

-确定预测块(9)中的至少部分与局部结构(30)之间的空间转移函数；

以及，基于最佳匹配使预测块(9)的属性适配于局部结构(30)的对应属性的步骤包括：

-将空间转移函数应用于预测块(9)，以产生对齐的预测块(22)。

14.根据权利要求13所述的方法，其中，确定预测块(9)中的部分与局部结构(30)之间的空间转移函数的步骤是通过从预定空间转移函数集合中选择空间转移函数来执行的。

15.根据权利要求11-14中任一项所述的方法，其中，将预测块(9)与局部结构(30)对齐(21)的步骤包括：

-对预测块(9)的像素和/或局部结构(30)的像素进行子像素内插，以允许预测块(9)相对于局部结构(30)的子像素匹配和子像素定位。

16.根据权利要求11-15中任一项所述的方法，其中，将预测块(9)中的至少部分的像素的属性与局部结构(30)中像素的对应属性进行匹配的步骤和基于最佳匹配使预测块(9)的属性适配于局部结构(30)的对应属性的步骤是对作为预测块(9)的来源的像素执行的。

17.根据权利要求1-16中任一项所述的方法，其中，预测块(9)中的至少部分的像素的属性和局部结构(30)中像素的对应属性基于局部结构(30)的像素的变换，其中，基于最佳匹配，根据局部结构(30)的像素的变换来适配预测块(9)。

18.根据权利要求11-17所述的方法，其中，将预测块(9)中的至少部分的像素的属性与局部结构(30)中像素的对应属性进行匹配的步骤包括：

-确定使得预测块(9)的像素值与重构像素的局部结构(30)的像素值最佳匹配的位置，

其中，使预测块(9)的属性适配于局部结构(30)的对应属性的步骤包括：

-将预测块(9)定位至所述使得预测块(9)的像素值与重构像素的局部结构(30)的像素值最佳匹配的位置。

19.一种视频编码设备，包括：输入接口(34)，用于接收输入视频帧(47)；输出接口(36)，用于输出编码视频帧(18)；以及处理装置(35)和存储器(37)和/或专用硬件装置，被配置为执行根据权利要求1、3-18中任一项所述的方法的步骤。

20.一种视频解码设备，包括：输入接口(38)，用于接收编码视频帧(18)；输出接口(40)，用于输出解码视频帧(29)；以及处理装置(39)和存储器(41)和/或专用硬件装置，被配置为执行根据权利要求2-18中任一项所述的方法的步骤。

21.一种计算机可读介质，其上存储有计算机指令，所述计算机指令在被加载入存储器(37)并由根据权利要求19所述的编码设备中的处理器(35)来处理时执行根据权利要求1、3-18中任一项所述的方法的步骤。

22.一种计算机可读介质，其上存储有计算机指令，计算机指令在被加载入存储器(41)并由根据权利要求20所述的解码设备中的处理器(39)来处理时执行根据权利要求2-18中任一项所述的方法的步骤。