CN102917226A - 一种基于自适应下采样与插值的帧内帧视频编码方法 - Google Patents

Abstract

本发明提供一种自适应下采样与插值的帧内帧视频编码方法，包括：下采样步骤、方向性帧内预测步骤、采样点的编码步骤、方向性插值预测步骤、未采样点的编码步骤。本发明根据帧内模式指定的方向进行自适应的下采样和方向性插值，不同方向性帧内预测模式采样不同的采样结构，每种方向性帧内预测模式的采样结构最大地满足未采样点在主方向上找到前后两个相邻的采样点，同时保留未采样点的预测参差进行帧内预测编码。本发明根据图像局部的纹理方向进行采样可有效保留图像的细节特征，并减少插值重构时引入的失真。

Description

一种基于自适应下采样与插值的帧内帧视频编码方法

技术领域

本发明涉及视频编码技术，特别涉及帧内帧视频编码方法。

背景技术

近年来，随着视频编码和通信传输技术的不断进步，各类数字多媒体相关产业发展迅猛，并极大影响着我们的日常文化生活。作为数字多媒体应用未来发展趋势的代表，高清和超高清视频内容因其出色的视觉表现力越来越受到市场的追捧。然而，相较以往的低分辨率视频，高清和超高清视频内容的数据量显著增加，并对现有的存储和传输系统提出了更多大的挑战。这些因素极大限制了高清和超高清视频应用的推广。因此，高效的视频压缩方法成为了突破这一瓶颈的关键。

作为目前最先进的视频编码标准，H.264/AVC已经获得了广泛的应用。但在H.264/AVC的方向性帧内预测方法中，一些固有的缺陷仍然极大限制了它在高清视频中的压缩性能。在H.264/AVC编码标准中，三个尺度的方向性帧内预测方法在每个宏块（16x16）单元内进行遍历，并选出率失真代价最低的尺度进行最后的帧内预测编码。其中，三个尺度的预测块尺寸为4x4，8x8和16x16。在每一个尺度下，当前待预测块内的像素值通过临近重构像素的线性组合来进行预测，以实现空域去相关的目的。然而，随着待预测点与重构像素点空域距离的增加，像素之间的相关性减弱，对应方向性帧内预测的精度也随之降低，特别是对于大尺度的帧内预测块，这种预测精度下降的影响会更加明显。另外，在高清和超高清视频中，存在着更多的细节和纹理信息，这些特征同样加剧了方向性帧内预测精度的退化。为了解决这一问题，许多帧内预测改进方案被先后提出。包括增加更精细的备选帧内模式，采用Line-by-Line的预测结构减小待预测点和参考点的空域距离，以及通过下采样和超分辨结合的方法等等。

现有的基于下采样和超分辨结合的方案大多丢弃未采样点的信息而侧重于超分辨方法的性能改进，特别是缺乏对原图像内容的考虑，简单采用水平和垂直方向的均匀下采样结构进行采样和后续处理。

发明内容

本发明所要解决的技术问题是，提供一种基于下采样与超分辨结合，根据图像局部的纹理方向进行采样并引入未采样点参与编码的将帧内预测编码方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于自适应下采样与插值的帧内帧视频编码方法，包括以下步骤：

下采样步骤：对每个宏块内的8x8子块进行采样，采样点的个数为32；8种方向性帧内预测模式采样不同的采样结构，每种方向性帧内预测模式的采样结构最大地满足未采样点在主方向上找到前后两个相邻的采样点；所述8种方向性帧内预测模式分别为H.264标准中的帧内模式0、帧内模式1、帧内模式3、帧内模式4、帧内模式5、帧内模式6、帧内模式7、帧内模式8；

方向性帧内预测步骤：分别采用8种方向性帧内预测模式对下采样得到的采样点进行方向性帧内预测，并计算每种方向性帧内预测模式下的方向性帧内预测残差；

采样点的编码步骤：分别在8种方向性帧内预测模式下，将每8x8子块内采样点的方向性帧内预测残差顺序依次读取到两个4x4子块，再经离散余弦变换DCT、量化得到方向性帧内预测残差变换系数，最后经熵编码，得到在8种方向性帧内预测模式下采样点的编码信息；

方向性插值预测步骤：分别将8种量化后的采样点的方向性帧内预测残差变换系数进行反量化、反DCT重构出8种方向性帧内预测模式下各采样点像素；再分别根据8种方向性帧内预测模式的主方向，在对应的重构像素中确定参考点，对每个8x8子块内的未采样点进行方向性插值预测，从而计算得到8种方向性帧内预测模式下未采样点的方向性插值预测残差；

未采样点的编码步骤：分别在8种方向性帧内预测模式下，将每8x8子块内未采样点的方向性插值预测残差顺序依次读取到两个4x4子块，再经离散余弦变换DCT、量化得到方向性插值预测残差变换系数，最后经熵编码，得到8种方向性帧内预测模式下未采样点的编码信息；每宏块在各方向性帧内预测模式下的采样点编码信息及未采样点编码信息组成该宏块在该方向性帧内预测模式下的编码码流。

现有的下采样与超分辨结合方法不编码未采样点信息，并采用水平和垂直方向的均匀采样结构进行帧内预测，本发明根据帧内模式指定的方向进行自适应的下采样和方向性插值，同时保留未采样点的预测参差进行帧内预测编码。为了兼顾预测块尺寸足够大和方向性预测模式足够丰富这两点，采用8x8帧内预测块进行。为了尽可能减少对未采样点进行插值预测引入的失真将8x8子块的采样率设为1/2，即采样点数目为32，未采样点数目也为32。

本发明的有益效果是，根据图像局部的纹理方向进行采样可有效保留图像的细节特征，并减少插值重构时引入的失真。而方向性帧内预测模式的采用，可有效减少附加的纹理方向计算以及边信息的引入，增加可行性。

附图说明

图1：本发明流程图；

图2：不同帧内预测模式下的自适应下采样结构与方向性插值。

具体实施方式

将宏块中的8x8子块的采样率设为1/2。本实施例在优化的H.264/AVC通用测试平台KTA2.4r1上进行实现，如图1所示主要包括8x8宏块的自适应下采样，对采样点和未采样点分别进行预测以及对预测残差的编码，具体如下：

步骤一、对每个宏块内的8x8子块进行采样，采样点的个数为32；8种方向性帧内预测模式采样不同的采样结构，每种方向性帧内预测模式的采样结构最大地满足未采样点在帧内预测模式方向（主方向）上找到前后两个相邻的采样点；所述8种方向性帧内预测模式分别为H.264标准中的帧内模式0（主方向为水平方向）、帧内模式1（主方向为垂直方向）、帧内模式3（主方向为45度方向）、帧内模式4（主方向为135度方向）、帧内模式5（主方向为116.5度方向）、帧内模式6（主方向为153.5度方向）、帧内模式7（主方向为63.5度方向）、帧内模式8（主方向为26.5度方向）；

采样结构由当前帧内预测模式决定，如图2所示，8种方向性帧内预测模式的采样结构具体为：

帧内模式0：8x8子块中第1行、第3行、第5行、第7行的所有像素点；

帧内模式1：8x8子块中第1列、第3列、第5列、第7列的所有像素点；

帧内模式3：8x8子块中坐标为(0,2)、(0,3)、(0,4)、(0,5)、(0,6)、(0,7)、(1,7)、(2,7)、(3,7)、(4,7)、(5,7)、(2,0)、(2,1)、(2,2)、(2,3)、(2,4)、(2,5)、(3,5)、(4,5)、(5,5)、(6,5)、(7,5)、(4,0)、(4,1)、(4,2)、(4,3)、(5,3)、(6,3)、(7,3)、(6,0)、(6,1)、(7,1)的像素点；

帧内模式4：8x8子块中坐标为(0,0)、(0,1)、(0,2)、(0,3)、(0,4)、(0,5)、(1,0)、(2,0)、(3,0)、(4,0)、(5,0)、(2,2)、(2,3)、(2,4)、(2,5)、(2,6)、(2,7)、(3,2)、(4,2)、(5,2)、(6,2)、(7,2)、(4,4)、(4,5)、(4,6)、(4,7)、(5,4)、(6,4)、(7,4)、(6,6)、(6,7)、(7,6)的像素点；

帧内模式5：8x8子块中第0行、第3行、第4行的所有像素点，坐标为(5,0)、(6,0)、(7,2)、(7,3)、(7,4)、(7,5)、(7,6)、(7,7)的像素点；

帧内模式6：8x8子块中第0列、第3列、第4列的所有像素点，坐标为(0,5)、(0,6)、(2,7)、(3,7)、(4,7)、(5,7)、(6,7)、(7,7)的像素点；

帧内模式7：8x8子块中第0行、第3行、第4行的所有像素点，坐标为(5,7)、(6,7)、(7,0)、(7,1)、(7,2)、(7,3)、(7,4)、(7,5)的像素点；

帧内模式8：8x8子块中第0列、第3列、第4列的所有像素点，坐标为(7,5)、(7,6)、(0,7)、(1,7)、(2,7)、(3,7)、(4,7)、(5,7)的像素点；

步骤二、分别对采样点和未采样点进行预测，具体预测步骤如下：

（1）分别采用8种方向性帧内预测模式对8x8子块内的32个采样点进行方向性帧内预测，并计算各帧内模式下的方向性帧内预测残差；

（2）分别在8种帧内模式下，根据光栅扫描顺序将每8x8子块内的32个采样点的残差读取到两个4x4子块，再经离散余弦变换DCT、量化得到方向性帧内预测残差变换系数，方向性帧内预测残差变换系数最后经熵编码，最终得到8种帧内模式下采样点的编码信息；同时，在编码端，将量化后的8种帧内模式下的采样点的残差变换系数分别进行反量化、反DCT重构出8种帧内模式下的采样点像素；

（3）分别在8种帧内模式下，根据当前帧内模式的主方向，在重构像素中确定参考点对每个8x8子块内的未采样点进行方向性插值预测，计算未采样点在当前帧内模式下的方向性插值预测残差；此时用于插值的参考点为临近子块重构像素和第（2）步中得到的采样点重构像素；

在重构像素中确定参考点对每个8x8子块内的未采样点进行方向性插值预测的具体方法是：

①在当前帧内模式m(m=0,1,3,4,5,6,7,8)指示的主方向上与当前待预测点最邻近的两个像素点均为重构像素点，取在主方向上与当前待预测点最邻近的两个重构像素点为参考点，所述最邻近的像素点为待预测点周围8个像素点，即水平方向、垂直方向、左右45度方向的8个像素点，则该预测点的预测值

为：

$I_p^m=(I_0^m+I_1^m+1)>>1$

其中，

分别表示当前帧内模式m指示的主方向上与当前预测点最邻近的2个重构像素点的像素值，“＞＞”表示右移操作；

帧内模块1、2中的所有待预测点最邻近的两个重构像素点均在主方向上，都适用方向性插值预测①；帧内模式3、4、5、6、7、8中大部分的待预测点能在主方向上找到2个最邻近的两个重构像素点，即大部分的待预测点适用方向性插值预测①；

②在当前帧内模式m指示的主方向上与当前待预测点最邻近的两个像素点只有一个为重构像素点，且主方向外最邻近的两个重构像素点的预测方向与主方向的夹角不相等，取在主方向上与当前待预测点最邻近的一个重构像素点以及与主方向夹角最小的最邻近的重构像素点为参考点，则该预测点的预测值

为：

$I_p^m=(3I_0^m+I_1^{\′}+2)>>2$

其中，

为当前帧内模式m指示的主方向上与当前预测点最邻近的1个重构像素点的像素值，I′₁为预测方向与主方向夹角最小的与待预测点最邻近的重构像素点的像素值；

以帧内模式5下坐标为(7,1)的待预测点为例，在主方向上只有一个最邻近的重构像素点，且主方向外两个最邻近点的预测方向与主方向夹角不同，适用方向性插值预测②；

③在当前帧内模式m指示的主方向上与当前待预测点最邻近的两个像素点只有一个为重构像素点，且主方向外两个最邻近点的预测方向与主方向夹角相同，取在主方向上与当前待预测点最邻近的一个重构像素点以及主方向外两个最邻近点的预测方向与主方向夹角相同的重构像素点为参考点，则该预测点的预测值

为：

$I_p^m=(2I_0^m+I_1+I_2+2)>>2$

其中，为当前帧内模式m指示的主方向上与当前预测点最邻近的1个重构像素点的像素值，I₁,I₂分别为主方向外预测方向与主方向夹角相同，与待预测点最邻近的2个重构像素点的像素值；

以帧内模式3下坐标为(1,1)的待预测点为例，在主方向上只有一个最邻近的重构像素点，且主方向外两个最邻近点的预测方向与主方向夹角相同，适用方向性插值预测③；

④在当前帧内模式m指示的主方向上与当前待预测点最邻近的两个像素点均不是重构像素点，取与主方向夹角较小的三个预测方向上与预测点最邻近的三个重构像素点作为参考点，则该预测点的预测值

为：

$I_p^m=(2I_1^{\′}+I_2^{\′}+I_3^{\′}+2)>>2$

其中，I′₁为在当前帧内模式m下预测方向与主方向夹角最小的，与预测点最邻近的重构像素点的像素值，I′₂，I′₃为另外两个与主方向夹角较小的，与预测点最邻近的重构像素点的像素值；

以帧内模式4下坐标为(0,6)的待预测点、帧内模式7下坐标为(7,7)的待预测点为例，主方向上与当前待预测点最邻近的两个像素点均不是重构像素点，适用方向性插值预测④；

（4）分别在8种帧内模式下，将每8x8子块内未采样点的方向性插值预测残差按照光栅扫描顺序依次读取到两个4x4子块，再经离散余弦变换DCT、量化的得到方向性插值预测残差变换系数，方向性插值预测残差变换系数最后经熵编码，最终得到8中帧内模块下未采样点的编码信息；第（2）步和第（4）步的DCT、量化和熵编码均采用H.264/AVC标准中的方法，不在此赘述；

每宏块在8种帧内模式下的采样点编码信息及未采样点编码信息组成该宏块在8种帧内模式下的编码码流。

步骤三、将步骤二中编码得到的码流传递到解码端，同时，根据编码端的预测和编码顺序，对解码器进行相同的调整，即先解码得到采样点，然后得到未采样点。

在遍历每种方向性预测模式时，该模式的预测方向即假设为当前8x8块的主方向，然后依次执行（1）采样点的方向性预测，（2）采样点编码，（3）方向性插值和（4）未采样点编码，这四步全部执行完成后，即完成一个方向性帧内预测模式的编码，并保存当前模式下整个8x8块的率失真代价。以此类推，对所有8种方向性帧内预测模式执行这四步编码操作，对DC模式（直流模式，H.264标准中的帧内模式2）使用H.264标准中的相应的编码操作，在帧内模式0至8对应的编码结果中选出率失真代价最小（编码性能最优）的帧内模式作为当前8x8块最终的编码模式。

Claims (3)

1.一种基于自适应下采样与插值的帧内帧视频编码方法，其特征在于，包括步骤：

下采样步骤：对每个宏块内的8x8子块进行采样，采样点的个数为32；8种方向性帧内预测模式采样不同的采样结构，每种方向性帧内预测模式的采样结构最大地满足未采样点在主方向上找到前后两个相邻的采样点；所述8种方向性帧内预测模式分别为H.264标准中的帧内模式0、帧内模式1、帧内模式3、帧内模式4、帧内模式5、帧内模式6、帧内模式7、帧内模式8；

方向性帧内预测步骤：分别采用8种方向性帧内预测模式对下采样得到的采样点进行方向性帧内预测，并计算每种方向性帧内预测模式下的方向性帧内预测残差；

采样点的编码步骤：分别在8种方向性帧内预测模式下，将每8x8子块内采样点的方向性帧内预测残差顺序依次读取到两个4x4子块，再经离散余弦变换DCT、量化得到方向性帧内预测残差变换系数，最后经熵编码，得到在8种方向性帧内预测模式下采样点的编码信息；

方向性插值预测步骤：分别将8种量化后的采样点的方向性帧内预测残差变换系数进行反量化、反DCT重构出8种方向性帧内预测模式下各采样点像素；再分别根据8种方向性帧内预测模式的主方向，在对应的重构像素中确定参考点，对每个8x8子块内的未采样点进行方向性插值预测，从而计算得到8种方向性帧内预测模式下未采样点的方向性插值预测残差；

未采样点的编码步骤：分别在8种方向性帧内预测模式下，将每8x8子块内未采样点的方向性插值预测残差顺序依次读取到两个4x4子块，再经离散余弦变换DCT、量化得到方向性插值预测残差变换系数，最后经熵编码，得到8种方向性帧内预测模式下未采样点的编码信息；每宏块在各方向性帧内预测模式下的采样点编码信息及未采样点编码信息组成该宏块在该方向性帧内预测模式下的编码码流。

2.如权利要求1所述一种基于自适应下采样与插值的帧内帧视频编码方法，其特征在于，8种方向性帧内预测模式的采样结构具体为：

帧内模式0：8x8子块中第1行、第3行、第5行、第7行的所有像素点；

帧内模式1：8x8子块中第1列、第3列、第5列、第7列的所有像素点；

帧内模式3：8x8子块中坐标为(0,2)、(0,3)、(0,4)、(0,5)、(0,6)、(0,7)、(1,7)、(2,7)、(3,7)、(4,7)、(5,7)、(2,0)、(2,1)、(2,2)、(2,3)、(2,4)、(2,5)、(3,5)、(4,5)、(5,5)、(6,5)、(7,5)、(4,0)、(4,1)、(4,2)、(4,3)、(5,3)、(6,3)、(7,3)、(6,0)、(6,1)、(7,1)的像素点；

帧内模式4：8x8子块中坐标为(0,0)、(0,1)、(0,2)、(0,3)、(0,4)、(0,5)、(1,0)、(2,0)、(3,0)、(4,0)、(5,0)、(2,2)、(2,3)、(2,4)、(2,5)、(2,6)、(2,7)、(3,2)、(4,2)、(5,2)、(6,2)、(7,2)、(4,4)、(4,5)、(4,6)、(4,7)、(5,4)、(6,4)、(7,4)、(6,6)、(6,7)、(7,6)的像素点；

帧内模式5：8x8子块中第0行、第3行、第4行的所有像素点，坐标为(5,0)、(6,0)、(7,2)、(7,3)、(7,4)、(7,5)、(7,6)、(7,7)的像素点；

帧内模式6：8x8子块中第0列、第3列、第4列的所有像素点，坐标为(0,5)、(0,6)、(2,7)、(3,7)、(4,7)、(5,7)、(6,7)、(7,7)的像素点；

帧内模式7：8x8子块中第0行、第3行、第4行的所有像素点，坐标为(5,7)、(6,7)、(7,0)、(7,1)、(7,2)、(7,3)、(7,4)、(7,5)的像素点；

帧内模式8：8x8子块中第0列、第3列、第4列的所有像素点，坐标为(7,5)、(7,6)、(0,7)、(1,7)、(2,7)、(3,7)、(4,7)、(5,7)的像素点。

3.如权利要求2所述一种基于自适应下采样与插值的帧内帧视频编码方法，其特征在于，在重构像素中确定参考点对每个8x8子块内的未采样点进行方向性插值预测的具体方法是：

（1）在帧内模式m指示的主方向上与当前待预测点最邻近的两个像素点均为重构像素点，m=0,1,3,4,5,6,7,8，在主方向上与当前待预测点最邻近的两个重构像素点为参考点，则该预测点的预测值

为：

$I_p^m=(I_0^m+I_1^m+1)>>1$

其中，

分别表示帧内模式m指示的主方向上与当前预测点最邻近的2个重构像素点的像素值，“＞＞”表示右移操作；

（2）在帧内模式m指示的主方向上与当前待预测点最邻近的两个像素点只有一个为重构像素点，且主方向外最邻近的两个重构像素点的预测方向与主方向的夹角不相等，取在主方向上与当前待预测点最邻近的一个重构像素点以及与主方向夹角最小的最邻近的重构像素点为参考点，则该预测点的预测值

为：

$I_p^m=(3I_0^m+I_1^{\′}+2)>>2$

其中，

为帧内模式m指示的主方向上与当前预测点最邻近的1个重构像素点的像素值，I′₁为预测方向与主方向夹角最小的与待预测点最邻近的重构像素点的像素值；

（3）在帧内模式m指示的主方向上与当前待预测点最邻近的两个像素点只有一个为重构像素点，且主方向外两个最邻近点的预测方向与主方向夹角相同，取在主方向上与当前待预测点最邻近的一个重构像素点以及主方向外两个最邻近点的预测方向与主方向夹角相同的重构像素点为参考点，则该预测点的预测值

为：

$I_p^m=(2I_0^m+I_1+I_2+2)>>2$

其中，

为帧内模式m指示的主方向上与当前预测点最邻近的1个重构像素点的像素值，I₁,I₂分别为主方向外预测方向与主方向夹角相同，与待预测点最邻近的2个重构像素点的像素值；

（4）在帧内模式m指示的主方向上与当前待预测点最邻近的两个像素点均不是重构像素点，取与主方向夹角较小的三个预测方向上与预测点最邻近的三个重构像素点作为参考点，则该预测点的预测值

为：

$I_p^m=(2I_1^{\′}+I_2^{\′}+I_3^{\′}+2)>>2$

其中，I′₁为预测方向与主方向夹角最小的，与预测点最邻近的重构像素点的像素值，I′₂，I′₃为另外两个与主方向夹角较小的，与预测点最邻近的重构像素点的像素值；

所述重构像素包括临近8x8子块的重构像素值以及本8x8子块中的采样点重构像素值。

Images