CN101682780A - 使用图像修补进行帧内预测编码/解码的方法和设备 - Google Patents

Abstract

提供了一种帧内预测编码/解码的方法和设备。所述方法包括：基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，以预测当前块；使用预测结果对当前块执行预测编码。因此，可提供一种能够准确预测当前块的新的帧内预测模式。

Description

使用图像修补进行帧内预测编码/解码的方法和设备

技术领域

与本发明一致的方法和设备涉及帧内预测编码/解码，更具体地，涉及帧内预测当前块并随后基于帧内预测结果对当前块编码和解码。

背景技术

在视频压缩标准(诸如，运动图像专家组(MPEG)-1、MPEG-2和H.264/MPEG-4先进视频编码(AVC))中，图像被划分为用于视频编码的宏块。随后使用帧间预测和帧内预测来编码每个宏块。接下来，基于编码的宏块的数据大小以及编码的宏块与原始宏块之间的失真度来选择优化编码模式。在选择的编码模式下编码宏块。

在帧内预测中，取代于参照参考图像，使用与将被编码的当前块空间邻近的像素来编码当前块。首先，使用与当前块邻近的像素的像素值来产生将被编码的当前块的预测块。仅产生的预测块的像素值与当前块的像素值之差被编码。帧内预测模式被粗略地划分为用于亮度分量的4×4帧内预测模式、8×8帧内预测模式、16×16帧内预测模式以及用于色度分量的帧内预测模式。

图1示出根据现有技术的16×16帧内预测模式。

参照图1，存在四种16×16帧内预测模式，即，垂直模式、水平模式、直流(DC)模式和平面模式。

图2示出根据现有技术的4×4帧内预测模式。

参照图2，存在九种4×4帧内预测模式，即，垂直模式、水平模式、DC模式、对角线左下模式、对角线右下模式、垂直向右模式、垂直向左模式、水平向上模式和水平向下模式。

根据帧内预测模式的使用频率来确定索引到帧内预测模式的预测模式号。换句话说，由0索引的垂直模式是在帧内预测中最频繁使用的，水平向上模式是在帧内预测中最少使用的。

例如，当以模式0(即，图2中的垂直模式)预测编码4×4当前块时，使用4×4当前块上面的像素A到像素D的像素值来预测4×4当前块的像素。换句话说，像素A的像素值被预测为4×4当前块的第一列的四个像素的像素值，像素B的像素值被预测为4×4当前块的第二列的四个像素的像素值，像素C的像素值被预测为4×4当前块的第三列的四个像素的像素值，像素D的像素值被预测为4×4当前块的第四列的四个像素的像素值。接下来，从原始当前块减去使用像素A到像素D预测的当前块的预测块，从而产生残差块。残差块被编码并被插入比特流。

在根据H.264标准的视频编码中，以总共13种模式(包括4×4帧内预测模式和16×16帧内预测模式)编码当前宏块，以所述13种模式中的一个最优模式来产生当前块的比特流。

在根据现有技术的帧内预测中，如图1和图2所示，使用与当前块邻近的像素(即，位于当前块左边、上边、左上边中的至少一个位置)来预测当前块。

然而，当包括在当前块中的像素没有如图1和图2所示的方向性时，通过如图1和图2所示的帧内预测产生不准确的预测块，从而降低了视频压缩的效率。

发明内容

技术方案

本发明提供了一种用于帧内预测编码/解码的方法和设备以及记录有用于执行所述方法的程序的计算机可读记录介质，所述方法和设备可使用能够准确预测当前块的帧内预测来帧内预测编码/解码当前块。

有益效果

根据本发明，通过提供允许使用图像中的空间冗余的附加帧内预测模式，宏块的当前块可被准确地帧内预测，从而提高视频编码的压缩效率。

附图说明

通过参照附图对示例性实施例进行的详细描述，本发明的上述和其它方面将会变得更加清楚，其中：

图1示出根据现有技术的16×16帧内预测模式；

图2示出根据现有技术的4×4帧内预测模式；

图3是根据本发明示例性实施例的视频编码器的框图；

图4是用于解释根据本发明示例性实施例的帧内预测的示图；

图5A到图5E是用于解释根据本发明示例性实施例的图像修补的示图；

图6是示出根据本发明示例性实施例的用于图像修补的搜索区的示图；

图7A到图7C是示出根据本发明示例性实施例的修补区的边界改变的处理的示图；

图8是示出根据本发明示例性实施例的视频编码方法的流程图；

图9是根据本发明示例性实施例的视频解码器的框图；

图10是示出根据本发明示例性实施例的视频解码方法的流程图。

具体实施方式

最优模式

根据本发明的一方面，提供了一种帧内预测编码的方法。所述方法包括：基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，从而预测当前块；从当前块减去产生作为预测结果的预测块，从而产生当前块的残差块；编码产生的残差块。

预测当前块的步骤可包括：使用在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行基于样本的图像修补；根据基于样本的图像修补的结果预测当前块。

基于样本的图像修补的步骤可包括：设置当前块与当前图像的先前编码区之间的边界作为将被修补的区的边界；从与将被修补的区的边界相邻的像素中选择具有最高修补优先级的像素；在当前图像的先前编码区中搜索与包括选择的像素的补片相似的补片；基于搜索结果修补宏块中的未编码的区；基于修补结果更新将被修补的区的边界；重复执行这些步骤直到当前块被修补。

补片可具有3像素乘以3像素的大小或5像素乘以5像素的大小。

搜索补片的步骤可包括：搜索与包括先前编码区中的选择的像素的补片相似的补片，所述先前编码区限制在从包括当前块的宏块的边界的32像素范围内。

根据本发明的另一方面，提供了一种帧内预测编码的设备。所述设备包括：帧内预测单元，基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，从而预测当前块；减法单元，从当前块减去产生作为预测结果的预测块，从而产生当前块的残差块；编码单元，编码产生的残差块。

根据本发明的另一方面，提供了一种帧内预测解码的方法。所述方法包括：对当前块的残差块解码；基于在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行图像修补，从而预测当前块；将产生作为预测结果的预测块与残差块相加，从而重建当前块。

预测当前块的步骤可包括：使用在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行基于样本的图像修补；根据基于样本的图像修补的结果预测当前块。

根据本发明的另一方面，提供了一种帧内预测解码的设备。所述设备包括解码单元、帧内预测单元和加法单元。解码单元对当前块的残差块解码。帧内预测单元基于在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行图像修补，从而预测当前块。加法单元将产生作为预测结果的预测块与残差块相加，从而重建当前块。

根据本发明的另一方面，提供了一种记录有用于执行帧内预测编码/解码的方法的程序的计算机可读记录介质。

发明模式

以下，参照附图来详细描述本发明的示例性实施例。应该注意，在一个或多个附图中示出的相同的标号表示相同的部件。在本发明的以下描述中，为了简洁和清楚，将省略合并于此的已知功能和结构的详细描述。

图3是根据本发明示例性实施例的视频编码器300的框图。

参照图3，根据本发明示例性实施例的视频编码器300包括帧内预测单元310、减法单元320、编码单元330和重建单元340。

帧内预测单元310使用当前图像中的空间冗余产生当前块的预测块。帧内预测单元310提供除了已经参照图1和图2描述的帧内方向预测之外的新的预测模式。基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在编码区中的像素执行图像修补，从而预测当前块。

帧内预测单元310可包括将参照图4详细描述的图像修补单元312和预测单元314。图4是用于解释根据本发明示例性实施例的帧内预测的示图。

参照图4，图像修补单元312使用在与当前块440和当前图像400的先前编码区410之间的边界相邻的像素来执行图像修补。优选地，图像修补单元312使用与当前块440的边界相邻的先前解码区410中包括的像素450来执行图像修补。在以下描述中，假设当前块440是4×4块并且包括当前块440的宏块430是16×16块来描述帧内预测。

在当前块440与当前图像400的先前解码区410之间的边界被设置为将被修补的区或修补区的初始边界，使用在与初始边界相邻的像素中的包括在先前编码区410中的像素450来执行图像修补。

对于图像修补，期望执行下面将参照图5A到图5E描述的基于样本的图像修补。

图5A到图5E是用于解释根据本发明示例性实施例的参照图4的图像修补的示图。

参照图5A，基于在与当前块440和先前编码区410之间的边界相邻的像素中的包括在先前编码区410中的像素来执行图像修补，以预测当前块440。

首先，从与当前块440和当前图像400的先前编码区410之间的边界相邻的像素中选择具有最高修补优先级的像素510。虽然没有限制选择具有最高修补优先级的像素的方法，但是期望基于修补区的边界与每个像素的边缘方向之间的角度来计算修补优先级。

在选择具有最高修补优先级的像素510的情况下，如在图5B中所示设置包括选择的像素510以及与选择的像素510相邻的像素的补片520。补片520是图像修补单位，可使用各种大小(诸如，3×3和5×5)的图像修补单位执行图像修补。在以下描述中，假设补片520具有3×3的大小。

在具有最高修补优先级的像素510周围设置补片520之后，使用包括在补片520中的像素中包括在先前编码区410中的像素522在当前图像400的先前编码区410中搜索与补片520最相似的补片。例如，可通过搜索与包括在先前编码区410中的像素522具有最小绝对误差和(SAD)的补片来找到最相似的补片。

一旦找到最相似的补片，则找到的补片的一部分被复制到补片520，从而执行图像修补。在图5B中，包括在找到的相似补片中的像素中包括在找到的相似补片的最右列中的像素的值作为包括在补片520的未编码区中的像素524的值。

在完成第一图像修补之后，基于图5C所示的修补像素来更新修补区的边界。在更新的边界中再次选择具有最高修补优先级的像素530。

接下来，如图5D所示在选择的像素530周围设置补片540。使用包括在补片540中的像素中的包括在先前编码区410中的像素542和包括在先前修补区中的像素544在先前编码区410中搜索与补片540最相似的补片。根据搜索结果修补包括在补片540的剩余区中的像素546的值。

在完成第二图像修补之后，如图5E所示再次更新修补区的边界。重复图像修补直到包括在当前块440中的所有像素被修补。

为了加速修补处理，可通过增加补片的大小来增加一次修补的像素的数量。此外，可限制使用设置的补片520或540搜索的当前图像400的先前编码区410。

图6是示出根据本发明示例性实施例的用于图像修补的搜索区的示图。

当使用包括在参照图5B和图5D描述的设置的补片520或540中的像素搜索先前编码区410时，可仅搜索先前编码区410的一部分。

更具体地，搜索区被设置为限制在宏块430周围，仅在限制的搜索区中执行搜索。例如，搜索区可被限制为区610，所述区610具有从宏块430的左端边界在向左方向612定位32像素的边界、从宏块430的边界的右端边界在向右方向614定位32像素的边界以及从宏块430的上端边界在向上方向616定位32像素的边界。

参照回图3，在图像修补单元312修补包括在当前块440中的所有像素之后，预测单元314基于图像修补单元312的修补结果预测当前块440。优选的是，预测单元314预测由图像修补单元312获得的修补块作为当前块440的预测块。

减法单元320从当前块400减去在帧内预测单元310中产生的预测块，从而产生残差块。

编码单元330编码减法单元320产生的残差块。编码单元330还对残差块执行离散余弦变换(DCT)以产生DCT系数并量化产生的DCT系数。编码单元330随后编码量化的DCT系数并将编码的DCT系数插入比特流。

重建单元340对量化的DCT系数执行反量化和逆DCT，从而重建残差块。重建的残差块被加到预测单元314产生的预测块，从而被重建为当前块440。重建的当前块440用于下一块442的预测，这将参照图7A到图7C详细描述。

图7A到图7C是示出根据本发明示例性实施例的修补区的边界改变的处理的示图。

参照图7A，示出用于预测包括在宏块430中的块440的在块440与包括在用于执行图像修补的修补区的先前编码区的像素450之间的初始边界。然而，参照图7B，在完成块440的编码之后，与块440的右端相邻的块442被预测编码。因此，当预测与块440的右端相邻的块442时，当前块440必须被包括在先前编码区410中。

其结果是，当执行图像修补以预测与块440的右端相邻的块442时，在块442与像素452之间的初始边界如图7B所示。参照图7B，修补区的初始边界被设置为包括宏块430的边界和块442的边界。使用与修补区的初始边界相邻的像素452重复参照图5A到图5E所述的图像修补，直到与块440的右端相邻的块442被修补。

在完成块442的预测编码之后，与当前块440的下端相邻的块444被预测编码。相似于与当前块440的右端相邻的块442的情况，在完成当前块440的编码之后，与当前块440的下端相邻的块444被预测编码。因此，当与当前块440的下端相邻的块444被预测时，初始边界在块444与像素454之间。

图8是示出根据本发明示例性实施例的视频编码方法的流程图。

参照图8，在操作810，根据本发明示例性实施例的视频编码器300基于在与当前块和当前图像的先前编码区之间的边界相邻的像素来执行图像修补，从而产生当前块的预测块。

优选地是，视频编码器300将当前块与当前图像的先前编码区之间的边界设置为修补区的初始边界，并执行参照图5A到图5E所述的基于样本的图像修补。

在操作820，视频编码器300从当前块减去在操作810产生的预测块作为预测结果，从而产生当前块的残差块。

在操作830，视频编码器300编码在操作820产生的残差块。为此，视频编码器300对残差块执行DCT以产生DCT系数并量化产生的DCT系数。视频编码器300随后对量化的系数执行熵编码并将编码的系数插入比特流。

图9是根据本发明示例性实施例的视频解码器900的框图。

参照图9，根据本发明示例性实施例的视频解码器900包括解码单元910、帧内预测单元920和加法单元930。

解码单元910对当前块的残差块解码。为此，解码单元910接收用于残差块的数据，并对接收的数据执行熵解码。解码单元910对产生作为熵解码的结果的残差块的量化的DCT系数执行反量化。解码单元910对反量化的DCT系数执行逆DCT，从而对残差块解码。

与视频编码器300的帧内预测单元310相似，帧内预测单元920以根据本发明示例性实施例的新的预测模式执行帧内预测，从而产生当前块的预测块。更具体地，帧内预测单元920基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在先前编码区中的像素执行图像修补，从而预测当前块。

帧内预测单元920可包括图像修补单元922和预测单元924。

图像修补单元922使用在与当前块和当前图像的先前编码区之间的边界相邻的像素来执行图像修补。如上所述，图像修补单元922可使用基于样本的图像修补执行图像修补。

如上参照图5A到图5E所述，图像修补单元922将当前块与当前图像的先前编码区之间的边界设置为修补区的初始边界，并重复基于样本的图像修补，从而修补当前块。

预测单元924基于图像修补单元922获得的预测结果产生当前块的预测块。

加法单元930将在帧内预测单元920中产生的预测块与解码单元910解码的残差块相加，从而重建当前块。重建的当前块被发送到帧内预测单元920以用于下一块的帧内预测。

图10是示出根据本发明示例性实施例的视频解码方法的流程图。

参照图10，在操作1010，根据本发明示例性实施例的视频解码器900对当前块的残差块解码。为此，视频解码器900对残差块的数据执行熵解码、反量化和逆DCT，从而重建残差块。

在操作1020，视频解码器900基于与当前图像的先前解码区和当前图像的未解码区之间的边界相邻的像素来执行图像修补，从而预测当前块。

优选的是，视频解码器900基于与当前块和当前图像的先前编码区之间的边界相邻的像素来执行基于样本的图像修补。与视频编码相关的描述的帧内预测对称地在视频解码中使用。

在操作1030，视频解码器900将操作1010中解码的残差块加到操作1020中产生的预测块，从而重建当前块。

本发明也可被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质可以是存储其后可被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括：只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘和光数据存储装置。计算机可读记录介质还可分布于联网的计算机系统，从而以分布方式存储和执行计算机可读代码。

虽然已经参照本发明的示例性实施例具体示出和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (16)

1、一种帧内预测编码的方法，包括：

基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，以产生当前块的预测块；

从当前块减去预测块，以产生当前块的残差块；以及

编码产生的残差块。

2、如权利要求1所述的帧内预测编码的方法，其中，执行图像修补的步骤包括：

使用在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行基于样本的图像修补；以及

根据基于样本的图像修补的结果产生预测块。

3、如权利要求2所述的帧内预测编码的方法，其中，执行基于样本的图像修补的步骤包括：

a)设置当前块与当前图像的先前编码区之间的边界作为将被修补的区的边界；

b)从与将被修补的区的边界相邻的像素中选择具有最高修补优先级的像素；

c)在当前图像的先前编码区中搜索与包括选择的像素的补片相似的补片，产生搜索结果；

d)基于搜索结果修补宏块中的未编码的区；

e)基于操作d)的修补结果更新将被修补的区的边界；以及

f)重复执行操作b)到操作e)直到当前块被修补。

4、如权利要求3所述的帧内预测编码的方法，其中，补片具有3像素乘以3像素的大小或5像素乘以5像素的大小。

5、如权利要求3所述的帧内预测编码的方法，其中，搜索补片的步骤包括：搜索与包括先前编码区中的选择的像素的补片相似的补片，所述先前编码区限制在从包括当前块的宏块的边界的32像素范围内。

6、一种帧内预测编码的设备，包括：

帧内预测单元，基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，以产生当前块的预测块；

减法单元，从当前块减去预测块，以产生当前块的残差块；以及

编码单元，编码产生的残差块。

7、如权利要求6所述的帧内预测编码的设备，其中，帧内预测单元包括：

图像修补单元，使用在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行基于样本的图像修补；和

预测单元，根据基于样本的图像修补的结果产生预测块。

8、一种帧内预测解码的方法，包括：

对当前块的残差块解码；

基于在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行图像修补，以产生当前块的预测块；

将预测块与残差块相加，以重建当前块。

9、如权利要求8所述的帧内预测解码的方法，其中，执行图像修补的步骤包括：

使用在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行基于样本的图像修补；以及

根据基于样本的图像修补的结果产生预测块。

10、如权利要求9所述的帧内预测解码的方法，其中，执行基于样本的图像修补的步骤包括：

a)设置当前块与当前图像的先前解码区之间的边界作为将被修补的区的边界；

b)从与将被修补的区的边界相邻的像素中选择具有最高修补优先级的像素；

c)在当前图像的先前解码区中搜索与包括选择的像素的补片相似的补片，产生搜索结果；

d)基于搜索结果修补宏块中的未解码的区；

e)基于操作d)的修补结果更新将被修补的区的边界；以及

f)重复执行操作b)到操作e)直到当前块被修补。

11、如权利要求10所述的帧内预测解码的方法，其中，补片具有3像素乘以3像素的大小或5像素乘以5像素的大小。

12、如权利要求10所述的帧内预测解码的方法，其中，搜索补片的步骤包括：搜索与包括先前解码区中的选择的像素的补片相似的补片，所述先前解码区限制在从包括当前块的宏块的边界的32像素范围内。

13、一种帧内预测解码的设备，包括：

解码单元，对当前块的残差块解码；

帧内预测单元，基于在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行图像修补，以产生当前块的预测块；

加法单元，将预测块与残差块相加，以重建当前块。

14、如权利要求13所述的帧内预测解码的设备，其中，帧内预测单元包括：

图像修补单元，使用在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行基于样本的图像修补；和

预测单元，根据基于样本的图像修补的结果产生预测块。

15、一种记录有用于执行帧内预测编码的方法的程序的计算机可读记录介质，包括：

基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，以产生当前块的预测块；

从当前块减去预测块，以产生当前块的残差块；以及

编码产生的残差块。

16、一种记录有用于执行帧内预测解码的方法的程序的计算机可读记录介质，包括：

对当前块的残差块解码；

基于在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行图像修补，以产生当前块的预测块；

将预测块与残差块相加，以重建当前块。

Images