CN101965734B - 用于图像帧内预测的方法和设备 - Google Patents

Abstract

提供了一种用于具有任意方向性的图像的帧内预测的方法和设备。基于预测块的邻近像素来计算边缘的幅度和任意边缘方向。从计算的边缘方向中按边缘幅度的顺序选择预定数量的帧内预测方向。通过在选择的数量的帧内预测方向执行块预测来确定最佳帧内预测模式。

Description

用于图像帧内预测的方法和设备

技术领域

与本发明一致的方法和设备涉及对图像数据编码和解码，更具体地讲，涉及图像帧内预测。

背景技术

通常，H.264/高级视频编码(AVC)的帧内预测处理提供通过仅使用相同帧中的信息来对帧中的块进行预测编码的各种预测模式。预测处理在增加H.264/AVC的压缩效率方面起到重要作用。然而，存在编码器应该从多个模式中选择一个具有最佳压缩效率的模式的问题。为了选择最佳帧内预测模式，执行所有确定的帧内预测方向的编码，并通过计算率失真成本(RD成本)，来选择具有最小RD成本值的帧内预测方向模式。

另外，H.264/AVC中的帧内预测通过使用画面中包括的信息进行编码。通过使用先前编码的块的空间邻近样本来预测帧内帧中的块的每个样本。

发明内容

技术问题

然而，仅用根据H.264标准确定的帧内预测方向预测的图像的画面质量较低。

因此，需要通过改善压缩算法中使用的帧内预测方向来降低残差信息量和提高编码效率。

技术方案

本发明提供了一种用于图像帧内预测的方法和设备，通过所述方法和设备，根据具有任意方向性的帧内预测模式执行帧内预测，从而提高预测图像的画面质量，并减少被编码的残差分量，以提高压缩比。

本发明还提供了这样一种方法，所述方法通过确定自适应地使用原始帧内块和新帧内块的新帧内预测模式来确定图像帧内预测模式，以增强图像帧内预测性能。

有益效果

根据本发明的示例性实施例，根据具有任意方向性的帧内预测模式执行图像的帧内预测，从而提高了预测图像的画面质量，并减少了被编码的残差分量，因此可提高压缩比。

另外，通过自适应地使用原始帧内块和新帧内块，可提高图像的帧内预测的性能。

附图说明

通过参照附图详细描述示例性实施例，本发明的以上和其他特征以及优点将变得更清楚，其中：

图1A和图1B是解释H.264/AVC帧内预测方法的示图；

图2是解释根据本发明示例性实施例的用于4×4块的帧内预测方法的示图；

图3是应用了根据本发明示例性实施例的图像帧内预测设备的运动画面编码设备的框图；

图4是示出根据本发明示例性实施例的图像帧内预测的方法的流程图；

图5是示出根据本发明示例性实施例的确定第一帧内预测模式和第二帧内预测模式的方法的流程图；

图6是示出根据本发明另一示例性实施例的确定第一帧内预测模式和第二帧内预测模式的方法的流程图；

图7A和图7B是解释根据本发明示例性实施例的第二帧内预测处理的示图；

图8是示出根据本发明示例性实施例的图像的帧内预测解码方法的流程图；

图9是示出应用了根据本发明示例性实施例的图像的帧内预测解码方法的运动画面解码设备的框图；

图10示出垂直方向预测模式；

图11示出水平方向预测模式；

图12示出DC方向预测模式；

图13示出对角线下-左预测模式；

图14示出对角线下-右预测模式；

图15示出垂直-右预测模式；

图16示出水平-下预测模式；

图17示出垂直-左预测模式；

图18示出水平-上预测模式；

图19示出根据本发明示例性实施例的图像帧内预测设备。

最佳实施方式

根据本发明的示例性方面，提供了一种执行图像帧内预测的方法，所述方法包括：基于预测块的邻近像素来计算边缘的幅度和任意边缘方向；从计算的边缘方向中按边缘幅度的顺序选择预定数量的边缘方向；通过在选择的边缘方向执行块预测来确定帧内预测模式。

根据本发明的另一示例性方面，提供了一种确定图像的帧内预测方向的方法，所述方法包括：通过使用当前块的邻近像素来找到对当前块具有最高图案连续性的区域；在所述区域中在任意预测方向执行帧内预测；基于每个预测方向的率失真成本来确定最佳预测方向。

根据本发明的另一示例性方面，提供了一种确定图像帧内预测模式的方法，所述方法包括：通过使用当前块的邻近像素来找到对当前块具有最高图案连续性的区域；通过在所述区域中执行每个任意方向的第一成本计算来确定最佳帧内预测方向；通过在所述区域中执行由标准确定的每个帧内预测方向的第二成本计算来确定最佳帧内预测方向；通过比较第一成本值和第二成本值来确定第一帧内预测模式和第二帧内预测模式。

根据本发明的另一示例性方面，提供了一种执行图像帧内预测的设备，所述设备包括：第一计算单元，通过在具有预定数量(所述数量由标准确定)的边缘方向的第一帧内预测模式下执行编码来计算率失真成本；第二计算单元，通过在具有预定数量(所述数量被任意确定)的边缘方向的第二帧内预测模式下执行编码来计算率失真成本；第三计算单元，确定具有最小率失真成本的帧内预测模式。

具体实施方式

现在将参照附图更全面地描述本发明，在附图中显示了本发明的示例性实施例。

H.264/高级视频编码(AVC)的帧内预测处理是通过使用相同帧中的信息对帧中的块进行预测编码的方法。

关于亮度信号，存在4个16×16的预测模式，9个4×4的预测模式和9个8×8的预测模式。关于色度信号，存在4个8×8的预测模式。

参照图1A和图1B，现在将解释诸如H.264/AVC预测方法的第一预测方法。

图1A是解释4×4块的帧内预测模式的示图。

参照图1A，4×4块的帧内预测具有垂直预测模式(模式0)、水平预测模式(模式1)、DC预测模式(模式2)、对角线下-左预测模式(模式3)、对角线下-右预测模式(模式4)、垂直-右预测模式(模式5)、水平-下预测模式(模式6)、垂直-左预测模式(模式7)和水平-上预测模式(模式8)。

图1B是示出在帧内预测中应用的4×4块预测方向的示图。

参照图1B，箭头指示的数字是将沿箭头方向执行预测的预测模式值。

在这种情况下，模式2是不具有方向性的DC预测模式，因此没有用箭头指示该模式。

图10-图18是示出用于4×4块的帧内预测的示图。

在4×4块的帧内编码中，通过使用目标块的邻近像素(A-M)以及绝对差和(SAD)来产生预测块。从上述9个预测模式中选择具有最小SAD的预测模式作为最佳预测模式。

在图10中，模式0是垂直方向预测模式，在所述垂直方向预测模式下，通过沿垂直方向投射顶部4个像素A、B、C和D来预测目标块中包括的每个像素的值。

在图11中，模式1是水平方向预测模式。

在图12中，模式2是不具有方向的DC模式，在DC模式下，获得紧在目标块的左边的块的4个像素和紧在目标块的上边的块的4个像素(即，总共8个像素)的平均值，从而预测目标块的4×4个像素。

在图13中，模式3是沿对角线下-左方向的预测模式。

在图14中，模式4是沿对角线下-右方向的预测模式。

在图15中，模式5是沿垂直-右方向的预测模式。

在图16中，模式6是沿水平-下方向的预测模式。

在图17中，模式7是沿垂直-左方向的预测模式。

在图18中，模式8是沿水平-上方向的预测模式。

图2是解释根据本发明示例性实施例的用于4×4块的第二帧内预测方法的示图。

参照图2，4×4块的第二帧内预测方法在用虚线指示的上述第一帧内预测方法的4×4块帧内预测方向之间添加任意的预测方向。例如，第二4×4帧内预测方法具有16个方向的帧内预测模式(包括DC预测模式)。第二4×4块帧内预测可在第一帧内预测方法的4×4帧内预测方向之间添加由用户设置的任意帧内预测方向。

图3是应用了根据本发明示例性实施例的图像帧内预测设备的运动画面编码设备300的框图。

参照图3，运动画面编码设备300包括变换单元308、量化单元310、运动画面解码器330、运动估计单元350、减法单元370和熵编码单元390。

运动画面解码器330对由运动画面编码设备300产生的比特流解码，运动画面解码器330包括逆量化单元331、逆变换单元332、去块滤波器单元333、画面恢复单元335、运动补偿单元337和帧内预测单元339。

以宏块为单位将图像数据302输入到运动画面编码设备300，其中，每个宏块由16×16像素构成。

变换单元308根据预定的方法对残差进行变换，所述残差是预测图像块和原始图像块之间的差值。最主要的变换技术包括离散余弦变换(DCT)。

量化单元310根据预定的方法对在变换单元308中变换的残差进行量化。

逆量化单元331对量化的残差信息逆量化。

逆变换单元332将经逆量化的残差信息逆变换成原始方法。

去块滤波器单元333从逆变换单元332接收经逆变换的残差信息的输入，并对该残差信息执行滤波。

画面恢复单元335从去块滤波器单元333接收滤波后的残差信息的输入，并以恢复的画面391为单位恢复图像。画面可以是帧单位或场单位的图像。另外，画面恢复单元335可具有能够存储多个画面的缓冲器，其中，所述多个画面用作提供用于运动估计的参考画面。

运动估计单元350接收画面恢复单元335中存储的至少一个参考画面392，执行输入宏块的运动估计，并输出包括索引的运动数据，所述索引指示参考画面和块模式。

根据从运动估计单元350输入的运动数据，运动补偿单元337从用于运动估计的参考画面中提取与输入宏块对应的宏块。

如果通过执行帧内预测形成了与当前将被编码的块对应的预测块，则减法单元370计算当前块和预测块之间的差，从而产生残差信号RS。

从减法单元370输出的残差信号分别通过变换单元308和量化单元310变换和量化，并通过熵编码单元390进行熵编码。产生输出比特流393。帧内预测信息可被包括在比特流的头中。

帧内预测单元339基于预测块的邻近像素计算任意边缘方向和边缘方向的幅度；按根据边缘的幅度的顺序布置边缘方向；从布置的边缘方向中选择预定数量的边缘方向；对选择的每个边缘方向执行块预测，以确定最佳帧内预测模式；以确定的帧内预测模式对当前块进行预测。

帧内预测单元339用具有预定数量(例如，根据H.264标准设置所述预定数量)的边缘方向的第一帧内预测方法和具有任意数量的边缘方向的第二帧内预测方法来执行编码，并计算第一帧内预测方法的模式和第二帧内预测方法的模式的率失真成本(RD成本)，以确定具有最小RD成本的帧内预测模式作为最佳帧内预测模式。

在确定了预测模式之后，帧内预测单元339根据确定的帧内预测模式产生预测块，并获得预测块和作为预测的目标的块之间的差，以根据确定的预测模式计算差分块。然后，对差分块执行4×4变换、量化、逆量化和逆变换。将通过该处理获得的差分块与预测块组合，以重构4×4块。使用重构的4×4块来预测下一4×4块。

图4是示出根据本发明示例性实施例的图像帧内预测的方法的流程图。

在操作410，设置任意边缘方向的数量。例如，可将边缘方向的数量设置成大于如图2所示的H.264标准的9个边缘方向，例如，16个边缘方向。

在操作420，计算预测块的邻近像素的边缘方向和幅度。例如，使用在现有技术中已知的Sobel算子计算边缘方向和幅度。例如，当应用Sobel算子时，将水平方向的Sobel算子(Gx)和垂直方向的Sobel算子(Gy)应用于预测块的每个邻近像素，以检测预测块的邻近像素的边缘方向和幅度。

水平方向的Sobel算子(Gx)和垂直方向的Sobel算子(Gy)为等式1和等式2，以像素为单位执行Sobel运算：

[数学式1]

$G_x=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]---\left(1\right)$

[数学式2]

$G_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]---\left(2\right)$

在Sobel运算中，将与水平方向的Sobel算子(Gx)的每个系数匹配的位置处的像素值乘以一一对应关系的系数。将所有乘积相加，以获得值(K1)。将与垂直方向的Sobel算子(Gy)的每个系数匹配的位置处的像素值乘以一一对应关系的系数。将所有乘积相加，以获得值(K2)。

因此，通过使用值(K1)和(K2)，根据等式3和等式4来检测邻近像素的边缘幅度(K)和边缘方向(θ)：

[数学式3]

$K=\sqrt{{K1}^2+{K2}^2}---\left(3\right)$

[数学式4]

$\mathrm{\θ}={\tan }^{-1}\left(\frac{K2}{K1}\right)---\left(4\right)$

将通过Sobel算子检测到的邻近像素的边缘方向(θ)映射到图2中示出的选择的任意16个帧内预测方向。可初始化没有被映射到邻近像素的各边缘方向而剩余的帧内预测方向。

在操作430，按边缘幅度的顺序来对16个边缘方向进行排序。例如，可按边缘幅度的顺序将16个边缘方向存储在缓冲器中。

在操作440，按边缘幅度的顺序从16个边缘方向中选择预定数量的边缘方向(例如，9个边缘方向)，例如，以符合H.264标准中设置的边缘方向的数量。

对选择的9个边缘方向中的每个边缘方向执行块预测。在操作450，计算预测块和原始块之间的RD成本。

例如，RD成本是指示预测编码的准确性和发生的比特的数量量级的函数值。用于测量RD成本的函数的示例包括绝对差和(SAD)、绝对变换差和(SATD)、平方差和(SSD)和平均绝对差值(MAD)，但所述函数不限于上面这些。在以上描述的用于测量成本的函数中，例如，通过使用SAD函数获得的RD成本是通过将宏块中的各像素的预测值和实际像素值之差的绝对值相加而获得的值。

在操作460，确定具有在为各边缘方向计算的RD成本值中的最小RD成本值的边缘方向。

在操作470，对具有最小RD成本值的边缘方向的索引编码。

在操作480，通过使用确定的边缘方向执行当前块的帧内预测。

图5是示出根据本发明示例性实施例的确定第一帧内预测模式和第二帧内预测模式的方法的流程图。

在操作510，计算基于第一帧内预测处理和第二帧内预测处理的RD成本。

例如，在根据H.264标准设置的9个边缘方向的每个边缘方向执行块预测，并计算预测块和原始块之间的RD成本值，以确定第一帧内预测模式为具有最小RD成本值的模式。在应用了第二帧内预测方法的任意确定的边缘方向中的每个方向执行块预测。计算预测块和原始块之间的RD成本值，以确定第二帧内预测模式为具有最小RD成本值的模式。

在操作520，通过将第一帧内预测模式的最小RD成本值和第二帧内预测模式的最小RD成本值进行比较，来确定具有最小RD成本值的帧内预测模式。

在操作530，通过使用确定的帧内预测模式来执行当前块的帧内预测。

图6是示出根据本发明另一示例性实施例的确定第一帧内预测模式和第二帧内预测模式的方法的流程图。

首先，通过将180度除以5度来设置36个帧内预测方向。如图7A所示，选择块的左边的上下文像素710或块的上边的上下文像素720用于块预测。点730指示在邻近块中已经编码的像素。正方形740指示作为编码目标的块。

在操作610，如图7B所示，通过使用当前块750的邻近像素，识别关于当前块750具有最高边缘图案连续性的区域760。这里，线770指示任意的边缘图案。

识别在识别区别中的最佳方向预测。如图7B所示，在识别区域760中确定的36个帧内预测方向中的每个方向执行帧内预测。计算预测块和原始块之间的RD成本值。在操作620，确定36个方向中具有最小RD成本值的预测方向为最佳预测方向。

通过在预测区域中由H.264标准确定的9个预测方向中的每个预测方向执行帧内预测来计算预测块和原始块之间的RD成本值。例如，在操作630，确定9个方向中具有最小RD成本值的预测方向为最佳预测方向。

在操作640，以4×4块为单位设置1比特标志，所述1比特标志用于基于对确定的最佳帧内预测方向的RD成本值的比较确定第一帧内预测模式或第二帧内预测模式。

因此，在应用了基于建立的标准的第一帧内预测处理的4×4块中，预测从9个预测方向估计的一个方向，。在应用了基于任意设置帧内预测方向的第二帧内预测处理的4×4块中，预测36个方向中估计的一个方向。

图8是示出根据本发明示例性实施例的图像的帧内预测解码方法的流程图。

接收根据如上所述的第二帧内预测编码处理所编码的比特流。所述比特流的头中包括与第二帧内预测处理有关的信息。

在操作810，通过使用比特流的头中的帧内预测模式信息来确定将被解码的当前输入块的帧内预测模式。

根据确定的帧内预测模式，执行帧内预测，从而产生与当前块相应的预测块。在操作820，通过将比特流中包括的预测块和残差值相加，来恢复当前块。

现在将更详细地解释帧内预测。

基于与将被解码的块邻近的像素，计算边缘的幅度和任意的边缘方向。

根据边缘的幅度，按顺序布置边缘方向。

按边缘幅度的顺序从布置的边缘方向中选择9个边缘方向。

在与解码的索引相应的预测方向执行每个块的预测。

图9是示出运动画面解码设备900的框图，对所述运动画面解码设备900应用了根据本发明示例性实施例的图像的帧内预测解码方法。

参照图9，运动画面解码设备900包括熵解码器910、重新布置单元920、逆量化单元930、逆变换单元940、运动补偿单元950、帧内预测单元960和滤波器970。

通过熵解码器910和重新布置单元920，压缩的比特流被接收并被熵解码，以提取帧内预测模式信息和量化的系数信息。

逆量化单元930和逆变换单元940分别对提取的帧内预测模式信息和量化的系数执行逆量化和逆变换，以提取变换系数、运动矢量信息、头信息和帧内预测模式信息。

运动补偿单元950和帧内预测单元960的每一个通过使用解码的头信息根据解码的画面类型产生预测块。例如，将预测块(P)和误差值(D’n)相加，并产生通过滤波器970去除了块效应的结果(uF’n)。因此，产生恢复的画面(F’n)。

参照图19，设备1900执行图像帧内预测。第一计算单元1910通过基于具有预定的标准数量的边缘方向的第一帧内预测处理执行编码来计算第一率失真成本。第二计算单元1920通过基于具有设置的任意确定的数量的边缘方向的第二帧内预测处理执行编码来计算第二率失真成本。第三计算单元1930基于计算第一率失真成本和第二率失真成本来确定具有最小率失真成本的帧内预测模式。

第四计算单元1940基于预测块的邻近像素来计算边缘的幅度和任意边缘方向，按边缘幅度的顺序布置边缘方向，并从布置的边缘方向中选择预定数量的帧内预测方向。

第三计算单元1930按每个选择的帧内预测执行块预测，以确定帧内预测模式。

产业上的可利用性

所述示例性实施例还可被实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质可以是可存储其后可被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可分布于联网的计算机系统，从而计算机可读代码以分布式方式被存储和执行。

所述示例性实施例还可实现为传输介质上的计算机可读代码或指令。所述传输介质的示例包括载波或可通过互联网携带数据的其他数据传输装置。

尽管已参照本发明的示例性实施例具体显示和描述了本发明，但本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在形式和细节方面进行各种改变。所述示例性实施例应该被认为仅为描述意义上的，而不是为了限制的目的。因此，本发明的范围不由本发明的详细描述限定，而是由权利要求书限定，该范围内的所有不同将被解释为包括在本发明中。

Claims (10)

1.一种执行图像帧内预测的方法，所述方法包括：

基于预测块的邻近像素来计算边缘的幅度和任意边缘方向；

从计算的边缘方向中按边缘的幅度的顺序选择预定数量的帧内预测方向；

通过在选择的帧内预测方向执行块预测来确定帧内预测模式，

其中，确定帧内预测模式的步骤包括：通过在每个选择的帧内预测方向执行预测块的编码来计算每个选择的帧内预测方向的率失真成本；确定具有选择的帧内预测方向的计算的率失真成本值中的最小率失真成本的帧内预测方向。

2.如权利要求1所述的方法，计算步骤包括：

预先设置任意边缘方向的数量。

3.如权利要求1所述的方法，计算步骤包括：检测预测块的每个邻近像素的边缘的幅度和边缘方向，

所述方法还包括：将检测的边缘方向映射到选择的帧内预测方向，其中，帧内预测方向的数量被设置为任意数。

4.如权利要求1所述的方法，选择步骤包括：

按边缘幅度的顺序布置计算的边缘方向；

按边缘幅度的顺序从布置的边缘方向中选择所述预定数量的帧内预测方向。

5.如权利要求1所述的方法，选择步骤包括：

选择所述预定数量的帧内预测方向以合适于H.264标准。

6.如权利要求1所述的方法，所述方法还包括：

对与确定的帧内预测模式相应的索引编码。

7.一种执行最佳图像帧内预测的方法，所述方法包括：

基于第一帧内预测处理对每个图像块执行编码，所述第一帧内预测处理具有由标准建立的预定数量的边缘方向；

基于第二帧内预测处理对每个图像块执行编码，在所述第二帧内预测处理中，设置任意数量的边缘方向；

计算与第一帧内预测处理和第二帧内预测处理中的每一个帧内预测处理有关的率失真成本；

基于计算来确定具有最小率失真成本的帧内预测模式；

根据确定的帧内预测模式以块为单位执行图像块的图像帧内预测。

8.如权利要求7所述的方法，其中，计算率失真成本的步骤包括：

通过执行由所述标准建立的每个边缘方向的成本计算来确定具有最小率失真成本值的边缘方向；

通过执行每个任意边缘方向的成本计算来确定具有最小率失真成本值的边缘方向。

9.一种执行图像帧内预测的设备，所述设备包括：

第一编码单元，基于第一帧内预测处理执行编码，所述第一帧内预测处理具有由标准建立的预定数量的边缘方向；

第二编码单元，基于第二帧内预测处理执行编码，在所述第二帧内预测处理中，设置任意确定数量的边缘方向；

率失真成本计算单元，计算与第一帧内预测处理和第二帧内预测处理中的每一个帧内预测处理有关的率失真成本；

帧内预测模式确定单元，基于率失真成本的计算来确定具有最小率失真成本的帧内预测模式；

帧内预测执行单元，根据确定的帧内预测模式以块为单位执行图像块的图像帧内预测。

10.如权利要求9所述的设备，率失真成本计算单元基于预测块的邻近像素计算边缘的幅度和任意边缘方向，按边缘幅度的顺序布置边缘方向，并从布置的边缘方向中选择预定数量的帧内预测边缘方向，

帧内预测模式确定单元在每个选择的帧内预测方向执行块预测，以确定帧内预测模式。

Images