CN107404650A - 基于自适应模式选择的像素级三向帧内预测方法 - Google Patents

Abstract

基于自适应模式选择的像素级三向帧内预测方法，涉及数字图像和视频的压缩编码领域，具体涉及像素级三向帧内预测方法。本发明为解决现有预测方法无法以较小的代价提供准确的预测结果，无法使残差得到最大程度的集中的问题，提供了基于自适应模式选择的像素级三向帧内预测方法，本发明基于自适应的模式选择，通过分析图像中与当前像素相邻的重构像素的空间及大小关系，采用直接选取相邻像素之一的重构值作为预测值，本发明在像素级进行运算，保证了像素级的预测精度，而且不需要加入额外的码字，不引入过大的复杂度。可应用于数字图像和视频的压缩编码。

Description

基于自适应模式选择的像素级三向帧内预测方法

技术领域

本发明涉及数字图像和视频的压缩编码领域，具体涉及像素级三向帧内预测方法。

背景技术

随着数字视频和图像得到愈加广泛的应用，对图像质量、传输成本的要求愈加严格，要求在保持图像质量的基础上对其进行最大程度的压缩。帧内压缩能够去除像素间的空间冗余，是数字图像压缩中非常关键的技术。对于帧内压缩，预测方法的准确程度越高，得到的残差分布越集中，越有利于降低存储资源和传输带宽的消耗，因此使用准确的帧内预测方法尤为重要。

帧内预测方法使用相邻像素的重构值进行计算，得到当前像素的预测值，并与实际值比较得到残差。这种方法得到的预测值越接近真实值，残差的分布就越集中，这样，经过统计编码后得到的数据压缩比就越高。传统的预测方法一般是基于“块”的，先根据方法的需求将一幅图像分成尺寸固定或可变尺寸的图像块(一般为64x64、32x32、32x16等大小的矩形)，对块内的全部像素，采用统一的预测方式(根据模式选择的结果决定预测方式，或者使用固定预测方式)进行预测。在“块”为一个整体的基础上，无论固定预测模式，还是自适应预测模式都无法以较小的代价提供准确的预测结果，也就是说，基于块的传统预测方法无法使残差得到最大程度的集中。

发明内容

本发明为解决现有预测方法无法以较小的代价提供准确的预测结果，无法使残差得到最大程度的集中的问题，提供了基于自适应模式选择的像素级三向(三向是指水平、垂直和斜对角方向)帧内预测方法。

本发明所述基于自适应模式选择的像素级三向帧内预测方法，通过以下技术方案实现：

步骤一、根据所处位置将待预测像素分为四类；

设当前像素为Y(i，j)，其中(i，j)表示像素位置，i为行数，第一行像素对应为i＝1；j为列数，第一列像素对应为j＝1，按照所处位置的不同，将待预测像素分为以下四类：

a类：i＝1，j＝1，位于第一行第一列的像素，即输入的首像素；

b类：i＝1，j≠1，除首像素外的第一行像素；

c类：i≠1，j＝1，除首像素外的第一列像素；

d类：i≠1，j≠1，除第一行和第一列像素外的其他像素。

步骤二、根据当前像素的不同类别采用不同的预测方式，具体为：

针对a类情况的待预测像素，使用0作为预测值；

针对b类情况的待预测像素，选取像素Y(i，j-1)的重构值作为预测值；

针对c类情况的待预测像素，选取像素Y(i-1，j)的重构值作为预测值；

针对d类情况的待预测像素，进行自适应模式选择，并通过所述模式选择从相邻像素Y(i，j-1)、Y(i-1，j)和Y(i-1，j-1)的重构值中选取一个作为预测值。

其中，自适应模式选择的具体过程如下：

将与当前像素相邻的像素Y(i，j-1)的重构值记为A，像素Y(i-1，j)的重构值记为B，像素Y(i-1，j-1)的重构值记为C，将像素Y(i，j)、Y(i，j-1)、Y(i-1，j)和Y(i-1，j-1)组成的2×2像素块定义为当前像素块，计算像素重构值C、B间差值的绝对值H、像素重构值C、A间差值的绝对值Z，计算公式如下：

H＝|C-B|

Z＝|C-A|

引入参数D，令D＝|(C-A)+(C-B)|＝|2C-A-B|；

当H≤Z且H≤D，即H＝min(H，Z，D)时，当前像素块的水平相关性最强，选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当Z≤H且Z≤D，即Z＝min(H，Z，D)时，当前像素块的垂直相关性最强，选取像素Y(i-1，j)的重构值B作为当前像素的预测值；

当D≤H且D≤Z，即D＝min(H，Z，D)时，当前像素块的斜对角相关性最强，选取像素Y(i-1，j-1)的重构值C作为当前像素的预测值。

本发明与现有技术相比较，最为突出的特点和显著的有益效果是：本发明提供了一种高准确度、能够为之后的图像压缩提供更为集中的残差分布的像素级三向帧内预测方法。传统预测方法是基于“块”的，预测准确率的提升遇到瓶颈，带来的问题是残差的集中程度不够。因此，对于对压缩比要求较高的场景，就需要一种解决方案可以有效地集中残差，缩减码字。本发明实现了传统数字图像压缩编码中所不能实现的像素级预测精度，在像素级别针对性地对每个像素提供了较优的预测方案，从而克服了基于块运算的传统方法无法为每个像素提供最优预测的缺点。通过对视频帧内像素空间相对位置、像素重构值相对大小等关系的分析，确定了一种自适应的模式选择机制，能够从当前待预测像素周边的三个重构像素中准确地选择出与当前像素值最为接近的一个。本发明基于这种自适应的模式选择，不仅不会给码流中添加多余的码字，而且保证选择出的预测值与当前像素值较大程度的接近，从而能够在预测层面实现残差较大程度的集中，从而有效地缩减码字，减少了代价，大大降低了图像数据的熵，为之后的进一步压缩提供了很好的基础。同时，在保证预测高准确率的基础上，优化了模式选择方案，不包含特殊复杂的运算，大大节约了成本，有利于进行硬件实现，在测试序列中，平均可以获得超过84％的预测准确率。

附图说明

图1是像素分类示意图；

图2是当前像素位置示意图；

图3是2H≤Z时像素相关性程度的划分图；

图4是2Z≤H时像素相关性程度的划分图；

图5是2H>Z且2Z>H时像素相关性程度的划分图；

图6是自适应模式选择流程图；

图7是简化的自适应模式选择流程图；

图8是基于自适应模式选择的像素级三向帧内预测方法流程图；

图9是原视频的一帧图像中Y分量的分布情况图；

图10是经预测方法后得到的Y分量残差分布情况图；

图11面向显示的行扫描方式示意图；

其中，表示像素相关性较强的方向。

具体实施方式

具体实施方式一：结合图1、图2、图7、图8说明本实施方式，本实施方式给出的基于自适应模式选择的像素级三向帧内预测方法，具体是按照以下步骤制备的：

步骤一、根据像素所处位置将待预测像素分为四类；

在进行预测之初，要对待预测像素的位置进行判断和分类，如图1所示，设当前像素为Y(i，j)，其中(i，j)表示像素位置，i为行数，第一行像素对应为i＝1；j为列数，第一列像素对应为j＝1，按照所处位置的不同，将待预测像素分为以下四类：

a类：i＝1，j＝1，位于第一行第一列的像素，即输入的首像素；

b类：i＝1，j≠1，除首像素外的第一行像素；

c类：i≠1，j＝1，除首像素外的第一列像素；

d类：i≠1，j≠1，除第一行和第一列像素外的其他像素。

步骤二、根据当前像素的不同类别采用不同的预测方式，具体为：

针对a类情况的待预测像素，使用0作为预测值；

针对b类情况的待预测像素，选取像素Y(i，j-1)的重构值作为预测值；

针对c类情况的待预测像素，选取像素Y(i-1，j)的重构值作为预测值；

针对d类情况的待预测像素，进行自适应模式选择，并通过所述模式选择从像素Y(i，j-1)、Y(i-1，j)和Y(i-1，j-1)三个相邻像素的重构值中选取一个作为预测值。

其中，如图7，d类像素按如下方式进行自适应模式选择：

如图2所示，将与当前像素相邻的像素Y(i，j-1)的重构值记为A，像素Y(i-1，j)的重构值记为B，像素Y(i-1，j-1)的重构值记为C，将像素Y(i，j)、Y(i，j-1)、Y(i-1，j)和Y(i-1，j-1)组成的2×2像素块定义为当前像素块，计算像素重构值C、B间差值的绝对值H、像素重构值C、A间差值的绝对值Z，计算公式如下：

H＝|C-B|

Z＝|C-A|

引入参数D，令D＝|(C-A)+(C-B)|＝|2C-A-B|；

当H≤Z且H≤D，即H＝min(H，Z，D)时，表明当前像素块的水平相关性最强，选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当Z≤H且Z≤D，即Z＝min(H，Z，D)时，表明当前像素块的垂直相关性最强，选取像素Y(i-1，j)的重构值B作为当前像素的预测值；

当D≤H且D≤Z，即D＝min(H，Z，D)时，表明当前像素块的斜对角相关性最强，选取像素Y(i-1，j-1)的重构值C作为当前像素的预测值。

具体实施方式二：结合图3-7说明本实施方式，本实施方式与具体实施方式一不同的是：步骤二中的根据H、Z、D确定当前像素的预测值的具体过程如下：

步骤(1)、对当前像素块中像素的重构值A、B、C进行大小比较，分为以下两种情况：

(一)、A≤C且B≤C，或C≤A且C≤B，即C为A、B、C三者中最大或最小的元素；

(二)、A≤C≤B或B≤C≤A，即C介于A、B中间。

步骤(2)、上述步骤中的两种情况分别对应两种预测模式选择，具体为：

针对情况(一)，A≤C且B≤C，或，C≤A且C≤B，即C为A、B、C三者中最大或最小的元素时：

认为水平和垂直相关性均比斜对角相关性强，因此仅在像素Y(i，j-1)的重构值A和像素Y(i-1，j)的重构值B中选取预测值；

而当H≤Z时，则表明当前像素块的水平相关性较强，即当前像素与Y(i，j-1)更为接近，此时选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当Z<H时，表明当前像素块的垂直相关性强于水平相关性，说明当前像素与上边像素Y(i-1，j)的接近程度要大于当前像素与其左边像素Y(i，j-1)的接近程度，因此，此时选取像素Y(i-1，j)的重构值B作为当前像素的预测值。

为了简化此种情况下的模式选择过程，引入参数D：

1)当A≤C且B≤C时，

则C-A≥0且C-B≥0，

则D＝|(C-A)+(C-B)|＝|C-A|+|C-B|＝H+Z，

得到D≥H且D≥Z，

1a)若H≤Z，条件等价于H＝min(H，Z，D)，此时选取A作为预测值；

1b)若Z<H，条件等价于Z＝min(H，Z，D)，此时选取B作为预测值；

2)当C≤A且C≤B时，

则A-C≥0且B-C≥0，

则D＝|(C-A)+(C-B)|＝|(A-C)+(B-C)|＝|A-C|+|B-C|＝H+Z，

得到D≥H且D≥Z，

2a)若H≤Z，上述条件与H＝min(H，Z，D)符合，此时选取A作为预测值；

2b)若Z<H，上述条件与Z＝min(H，Z，D)符合，此时选取B作为预测值。

针对情况(二)，A≤C≤B或B≤C≤A，即C介于A、B之间时：

此时不能直接确定与当前像素值相关性最强的方向，因此还需进行进一步的判断；

当2H≤Z时，认为水平方向的像素间有较为紧密的联系，而垂直方向的像素间联系较弱，即当前像素块的像素间水平相关性强于垂直相关性的程度较大，说明当前像素与左边像素Y(i，j-1)的接近程度最大，如图3所示，因此，选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当2Z≤H时，认为检测到垂直方向的边缘，则当前像素块的像素间的垂直相关性较强，即当前像素与上边像素Y(i-1，j)最为接近，如图4所示，此时选取像素Y(i-1，j)的重构值B作为当前像素的预测值；

不满足2H≤Z或2Z≤H，即2H>Z且2Z>H时，认为当前像素块的斜对角相关性较强，如图5所示，选取像素Y(i-1，j-1)的重构值C作为当前像素的预测值。

上述自适应模式选择的流程如图6所示。

为了简化此种情况下的模式选择过程，引入参数D：

1)当A≤C≤B时，

有D＝|(C-A)+(C-B)|≥(C-A)+(C-B)＝|C-A|-|C-B|＝Z-H，

即D≥Z-H，

同时有D＝|(C-A)+(C-B)|≥-(C-A)-(C-B)＝|C-B|-|C-A|＝H-Z，

即D≥H-Z，

1a)若2H≤Z，

有H≤Z-H≤D，即H≤D，

由于2H≤Z，一定有H≤Z，

上述条件与H＝min(H，Z，D)符合，此时选取A作为预测值；

1b)若2Z≤H，

有Z≤H-Z≤D，即Z≤D，

由于2Z≤H，一定有Z≤H，

上述条件与Z＝min(H，Z，D)符合，此时选取B作为预测值；

1c)若不满足上述两个条件，2H>Z且2Z>H，

即2|C-B|>|C-A|且2|C-A|>|C-B|，

即C-A<2(B-C)且B-C<2(C-A)，

可以得到A-C<2C-A-B<B-C，

即-Z<2C-A-B<H，

由于D＝|2C-A-B|，结合以上条件可以得到D<H且D<Z，

上述条件与D＝min(H，Z，D)符合，此时选取C作为预测值；

2)当B≤C≤A时，

有D＝|(C-A)+(C-B)|≥(C-A)+(C-B)＝|C-B|-|C-A|＝H-Z，即D≥H-Z，

同时有D＝|(C-A)+(C-B)|≥-(C-A)-(C-B)＝|C-A|-|C-B|＝Z-H，即D≥Z-H，

2a)若2H≤Z，

有H≤Z-H≤D，即H≤D，

由于2H≤Z，一定有H≤Z，

上述条件与H＝min(H，Z，D)符合，此时选取A作为预测值；

2b)若2Z≤H，

有Z≤H-Z≤D，即Z≤D，

由于2Z≤H，一定有Z≤H，

上述条件与Z＝min(H，Z，D)符合，此时选取B作为预测值；

2c)若不满足上述两个条件，即2H>Z且2Z>H，

即2|C-B|>|C-A|且2|C-A|>|C-B|，

即A-C<2(C-B)且C-B<2(A-C)，

可以得到B-C<2C-A-B<A-C，

即-H<2C-A-B<Z，

由于D＝|2C-A-B|，结合以上条件可以得到D<H且D<Z，

上述条件与D＝min(H，Z，D)符合，此时选取C作为预测值。

步骤(3)、如图7所示，通过以上数学推导，将步骤(1)、(2)的模式选择方式进行综合简化得：

当H≤Z且H≤D，即H＝min(H，Z，D)时，表明当前像素块的水平相关性最强，选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当Z≤H且Z≤D，即Z＝min(H，Z，D)时，表明当前像素块的垂直相关性最强，选取像素Y(i-1，j)的重构值B作为当前像素的预测值；

当D≤H且D≤Z，即D＝min(H，Z，D)时，表明当前像素块的斜对角相关性最强，选取像素Y(i-1，j-1)的重构值C作为当前像素的预测值。其它步骤及参数与具体实施方式一相同。

实施例

采用以下实施例验证本发明的有益效果：

使用1080p的视频，分别从以下两方面进行测试：

(一)在4种QP值的12个视频，即48个视频的所有帧中对预测算法的正确率进行统计；

预测方法正确率的计算公式为：

其中，当位于当前像素左边的像素Y(i，j-1)的重构值、位于当前像素上边的像素Y(i-1，j)的重构值和位于当前像素左上的像素Y(i-1，j-1)的重构值这三者中与当前像素实际值最为接近的元素恰好是本方法的预测结果时，认为“预测与实际相符”；

得到的结果如表1所示，通过结果可以看出，本发明提出的预测方法达到了平均超出84％的预测准确率。

表1预测方法的正确率

(二)以1080p，YUV格式，QP值为32的视频“BQ露台”中取一帧为例，使用本发明的预测方法对视频帧内图像的Y分量进行预测，对数据的集中程度进行统计；

原视频的一帧图像中Y分量的分布情况如图9所示，可以看出像素值分布较为离散；使用本方法进行预测后，消除了大量的冗余信息，得到的Y分量残差值分布情况如图10所示，通过这两幅图，可以直观地看出通过本方法的预测过程，得到了集中的残差分布，大大节约了图像的数据量，为之后的进一步压缩提供了很大的便利。

面向显示时，由于本算法是像素级的预测方式，因此适用于以行扫描方式进行的显示功能，如图11所示，大矩形表示整幅画面，箭头表示扫描方向，以像素为单位从左至右按行扫描；面向压缩时，由于不同的压缩算法有不同的分块方式，本算法适用于无论分块与否的各类压缩算法的预测部分，能够在预测时就帮助压缩算法节约大量码字，并且由于自适应的优点，不用在码流中加入额外码字就能自适应的在解码端完成预测。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.基于自适应模式选择的像素级三向帧内预测方法，其特征在于：所述像素级三向帧内预测方法具体是按以下步骤进行的：

步骤一、根据像素所处位置将待预测像素分为四类；

设当前像素为Y(i，j)，其中(i，j)表示像素位置，i为行数，第一行像素对应为i＝1；j为列数，第一列像素对应为j＝1，按照所处位置的不同，将待预测像素分为以下四类：

a类：i＝1，j＝1，位于第一行第一列的像素，即输入的首像素；

b类：i＝1，j≠1，除首像素外的第一行像素；

c类：i≠1，j＝1，除首像素外的第一列像素；

d类：i≠1，j≠1，除第一行和第一列像素外的其他像素；

步骤二、根据当前像素的不同类别采用不同的预测方式，具体为：

针对a类情况的待预测像素，使用0作为预测值；

针对b类情况的待预测像素，选取像素Y(i，j-1)的重构值作为预测值；

针对c类情况的待预测像素，选取像素Y(i-1，j)的重构值作为预测值；

针对d类情况的待预测像素，进行自适应模式选择，并通过所述模式选择从相邻像素Y(i，j-1)、Y(i-1，j)和Y(i-1，j-1)的重构值中选取一个作为预测值；

其中，自适应模式选择方式如下：

将与当前像素相邻的像素Y(i，j-1)的重构值记为A，像素Y(i-1，j)的重构值记为B，像素Y(i-1，j-1)的重构值记为C，计算像素重构值C、B间差值的绝对值H、像素重构值C、A间差值的绝对值Z，计算公式如下：

H＝|C-B|

Z＝|C-A|

引入参数D，令D＝|(C-A)+(C-B)|＝|2C-A-B|；

当H≤Z且H≤D，即H＝min(H，Z，D)时，选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当Z≤H且Z≤D，即Z＝min(H，Z，D)时，选取像素Y(i-1，j)的重构值B作为当前像素的预测值；

当D≤H且D≤Z，即D＝min(H，Z，D)时，选取像素Y(i-1，j-1)的重构值C作为当前像素的预测值。

2.根据权利要求1所述的基于自适应模式选择的像素级三向帧内预测方法，其特征在于：步骤二中的根据H、Z、D确定当前像素的预测值的具体过程如下：

步骤(1)、对像素的重构值A、B、C进行大小比较，分为以下两种情况：

(一)、A≤C且B≤C，或，C≤A且C≤B，即C为A、B、C三者中最大或最小的元素；

(二)、A≤C≤B或B≤C≤A，即C介于A、B中间；

步骤(2)、上述步骤中的两种情况分别对应两种预测模式选择，具体为：

针对情况(一)，A≤C且B≤C，或，C≤A且C≤B，即C为A、B、C三者中最大或最小的元素时：

仅在像素Y(i，j-1)的重构值A和像素Y(i-1，j)的重构值B中选取预测值：

当H≤Z时，选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当Z<H时，选取像素Y(i-1，j)的重构值B作为当前像素的预测值；

引入参数D：

1)当A≤C且B≤C时，

则D＝|(C-A)+(C-B)|＝|C-A|+|C-B|＝H+Z，

得到D≥H且D≥Z，

1a)若H≤Z，条件等价于H＝min(H，Z，D)，此时选取A作为预测值；

1b)若Z<H，条件等价于Z＝min(H，Z，D)，此时选取B作为预测值；

2)当C≤A且C≤B时，

则D＝|(C-A)+(C-B)|＝|(A-C)+(B-C)|＝|A-C|+|B-C|＝H+Z，

得到D≥H且D≥Z，

2a)若H≤Z，上述条件与H＝min(H，Z，D)符合，此时选取A作为预测值；

2b)若Z<H，上述条件与Z＝min(H，Z，D)符合，此时选取B作为预测值；

针对情况(二)，A≤C≤B或B≤C≤A，即C介于A、B之间时，在像素Y(i，j-1)的重构值A、像素Y(i-1，j)的重构值B和像素Y(i-1，j-1)的重构值C中选取预测值：

当2H≤Z时选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当2Z≤H时选取像素Y(i-1，j)的重构值B作为当前像素的预测值；

当2H>Z且2Z>H时，选取像素Y(i-1，j-1)的重构值C作为当前像素的预测值；

引入参数D：

1)当A≤C≤B时，

有D＝|(C-A)+(C-B)|≥(C-A)+(C-B)＝|C-A|-|C-B|＝Z-H，

即D≥Z-H，

同时有D＝|(C-A)+(C-B)|≥-(C-A)-(C-B)＝|C-B|-|C-A|＝H-Z，

即D≥H-Z，

1a)若2H≤Z，

有H≤Z-H≤D，即H≤D，

由于2H≤Z，一定有H≤Z，

上述条件与H＝min(H，Z，D)符合，此时选取A作为预测值；

1b)若2Z≤H，

有Z≤H-Z≤D，即Z≤D，

由于2Z≤H，一定有Z≤H，

上述条件与Z＝min(H，Z，D)符合，此时选取B作为预测值；

1c)若不满足上述两个条件，2H>Z且2Z>H，

即2|C-B|>|C-A|且2|C-A|>|C-B|，

即C-A<2(B-C)且B-C<2(C-A)，

得到A-C<2C-A-B<B-C，

即-Z<2C-A-B<H，

由于D＝|2C-A-B|，结合以上条件得到D<H且D<Z，

上述条件与D＝min(H，Z，D)符合，此时选取C作为预测值；

2)当B≤C≤A时，

有D＝|(C-A)+(C-B)|≥(C-A)+(C-B)＝|C-B|-|C-A|＝H-Z，即D≥H-Z，

同时有D＝|(C-A)+(C-B)|≥-(C-A)-(C-B)＝|C-A|-|C-B|＝Z-H，即D≥Z-H，

2a)若2H≤Z，

有H≤Z-H≤D，即H≤D，

由于2H≤Z，一定有H≤Z，

上述条件与H＝min(H，Z，D)符合，此时选取A作为预测值；

2b)若2Z≤H，

有Z≤H-Z≤D，即Z≤D，

由于2Z≤H，一定有Z≤H，

上述条件与Z＝min(H，Z，D)符合，此时选取B作为预测值；

2c)若不满足上述两个条件，即2H>Z且2Z>H，

即2|C-B|>|C-A|且2|C-A|>|C-B|，

即A-C<2(C-B)且C-B<2(A-C)，

得到B-C<2C-A-B<A-C，

即-H<2C-A-B<Z，

由于D＝|2C-A-B|，结合以上条件得到D<H且D<Z，

上述条件与D＝min(H，Z，D)符合，此时选取C作为预测值；

步骤(3)、将步骤(1)、(2)的模式选择方式进行综合简化得：

当H≤Z且H≤D，即H＝min(H，Z，D)时，选取像素Y(i，j-1)的重构值A作为当前像素的预测值；

当Z≤H且Z≤D，即Z＝min(H，Z，D)时，选取像素Y(i-1，j)的重构值B作为当前像素的预测值；

当D≤H且D≤Z，即D＝min(H，Z，D)时，选取像素Y(i-1，j-1)的重构值C作为当前像素的预测值。