CN106170093A - 一种帧内预测性能提升编码方法 - Google Patents

Abstract

本发明公开一种帧内预测性能提升编码方法，该方法通过采用混合的四抽头内插滤波生成预测样本值，包括基于DCT的内插滤波和高斯内插滤波，针对不同预测单元块，根据给定的阈值确定使用的内插滤波器类型；角度预测模式分类，将帧内角度预测模式分为三类，以进行不同的编码处理；边界预测样本平滑滤波，利用参考样本之间的像素差对预测块的边界列或边界行样本进行滤波生成最终的编码预测信号。本发明结合帧内角度预测的方向特性和参考样本的空间相关性，对预测信号的产生过程进行优化，从而提高预测精度，获得更好的编码压缩性能。

Description

一种帧内预测性能提升编码方法

技术领域

本发明涉及的是一种视频编码技术领域的方法，具体是一种HEVC上实现的帧内预测性能提升编码方法。

背景技术

随着互联网技术的快速发展，视频信息在数字电视、视频会议、网络通信等场合得到广泛的应用。据预测，未来视频数据将占网络传输总量的90％左右。视频携带着丰富的信息量，其具有直观性、高效性、准确性等优点，已成为人类最重要和最有效的信息获取方式。但是视频的冗余度高，信息量大，对于网络传输和存储设备都带来巨大的挑战。因此必须对视频数据进行高效压缩编码，然后再将压缩后的码流进行传输。

过去的二十年里，视频编码技术迅速发展，相继出现适用于不同应用领域的视频编码标准。最新的编码标准HEVC采用了很多新的编码技术，实现了相比于H.264近50％的压缩效率提升。尽管HEVC具有优异的编码性能和卓越的编码质量，但近年来随着视频分辨率、帧率的增加，视频数据量急剧地增长，迫切需要比HEVC有更高压缩率的编码技术。2015年，国际电联标准化组织(ITU-T)下的视频编码专家组(VCEG)和国际标准化组织(ISO)下的运动图像编码专家组(MPEG)联合成立了联合视频探索小组(JVET)，开始着手在HEVC的基础上制定下一代视频编码标准，建立了参考软件JEM的实验平台，进行高效视频压缩技术的研究，相关实验和验证工作正在进行中。因此，对于视频编码压缩率和性能提升方法的研究，是当前视频编码技术领域的研究热点，具有非常重要的研究价值。

在视频编码技术中，帧内预测扮演着举足轻重的角色，是编码过程中的重要部分，对于视频编码质量有着决定性的影响。对于大多数帧内预测编码方法，通常的做法是增加帧内划分方式和改变预测信号生成方式。增加帧内划分方式即是在传统的划分模式基础上，新增非对称的矩形划分模式。改变预测信号生成方式通常是采用双向预测加权生成预测信号，提高预测精度。这些编码方法尽管能够在一定程序上提高压缩效率，但是没有考虑到帧内编码的方向特性，以及参考样本之间的相关性。

如何利用帧内预测的方向信息，并结合参考样本的空间相关性，实现准确预测，提高编码性能是目前视频帧内编码研究中的一个重要课题。

发明内容

本发明针对现有技术存在的上述不足，提出一种帧内预测性能提升编码方法，该方法在预测信号的产生过程中采用了混合的四抽头内插滤波和拓展的边界滤波。根据参考样本的空间相关性，更有效地提高预测精度，从而获得更好的编码性能。

本发明是通过以下技术方案实现的：本发明分为两个主要部分，采用混合的四抽头内插滤波和拓展的边界滤波。四抽头内插滤波根据预测单元块的大小决定相应的内插滤波器，通过四个相邻参考样本内插产生预测值。拓展的边界滤波根据垂直和水平参考样本的差值，对边界预测样本进一步平滑滤波，从而生成最终的编码预测信号。

本发明提供一种帧内预测性能提升编码方法，包括以下步骤：

第一步，在帧内角度预测过程中采用混合的四抽头内插滤波生成预测样本值，NxN个预测样本值组成预测块，预测块用于后续做边界滤波处理，其中采用的内插滤波器类型根据给定的阈值确定；N的取值可以为64，32，16或8；

第二步，根据帧内预测的方向特性对角度预测模式进行分类，其中：

对于HEVC编码标准中的模式27-模式34分为第一类，即类型一；

对于HEVC编码标准中的模式2-模式9分为第二类，即类型二；

对于HEVC编码标准中的模式10-模式26分为第三类，即类型三；

第三步，针对类型一和类型二的角度预测模式，根据参考样本的空间相关性，对第一步生成的预测块的边界行或边界列样本进行平滑滤波生成最终编码预测信号，第三类无需处理直接生成最终编码预测信号。

进一步的，所述帧内角度预测是指：除去直流、平面模式的其他预测模式的帧内预测过程。

进一步的，所述混合的四抽头内插滤波是指：采用两种四抽头内插滤波器，基于DCT的内插滤波和高斯内插滤波，根据内插滤波器系数由四个相邻的参考样本值内插产生预测样本值。

进一步的，所述阈值是指：预测块尺寸大小mxm，m的取值可以为32，16或8。

进一步的，所述内插滤波器类型是指：对于小块预测单元，采用基于DCT的内插滤波器；对于大块预测单元，采用高斯内插滤波器。

进一步的，所述第一步，具体实现包括：

1)在帧内预测中选取除直流、平面模式的角度预测模式的预测信号产生过程进行优化；

2)当预测单元PU的尺寸小于或等于阈值mxm，选择四抽头基于DCT的内插滤波器，通过DCT前变换和反变换函数得到每个角度预测模式对应的滤波器系数组；当预测单元PU的尺寸大于阈值mxm，选择四抽头高斯内插滤波器，通过高斯正态分布函数得到每个角度预测模式对应的滤波器系数组；

3)根据滤波器系数组由相邻的四个参考样本内插产生预测样本值，具体公式如下：

P＝p₀*R_-1+p₁*R₀+p₂*R₁+p₃*R₂

其中，R_-1,R₀,R₁和R₂是四个相邻的参考样本，P是生成的预测样本，p_i是对应于每个角度预测模式的内插滤波器系数组，i＝0,1,2,3。

进一步的，所述参考样本的空间相关性是指：垂直参考样本和水平参考样本像素值之间的相关性。对于某个边界预测样本，其毗邻的参考样本和沿着预测方向反方向找到的参考样本之间存在像素差，该差值反映出当前预测方向上像素值的变化趋势，体现出视频的局部纹理特征信息。

进一步的，所述边界行或边界列样本是指：对于类型一的角度预测模式，选择预测块中最左边一列的预测样本(即边界列样本)；对于类型二的角度预测模式，选择预测块中最上面一行的预测样本(即边界行样本)。

进一步的，所述平滑滤波是指：将参考样本之间的差值乘以一定的权重因子加在相应的预测值上，从而产生最终的编码预测信号。参考样本的像素差用于滤波处理有利于减小预测残差，提高预测精度。

进一步的，所述第三步具体包括：

1)对于类型一的角度预测模式，选择预测块最左边一列的预测样本进行滤波；对于类型二的角度预测模式，选择预测块最上面一行的预测样本进行滤波。

2)将垂直和水平参考样本之间的像素差乘以一权重因子加在原始的预测值上，从而生成最终的编码预测信号；

对于模式27-34的边界滤波按照以下公式计算：

P_1,y′＝P_1,y+(R_0,y-R_x,0)*ω

对于模式2-9的边界滤波按照以下公式计算：

P_x,1′＝P_x,1+(R_x,0-R_0,y)*ω

其中，P_1,y,P_x,1是原始的预测值，R_0,y是垂直参考样本，R_x,0是水平参考样本，P_1,y′,P_x,1′是最终的预测值，ω是权重因子。

进一步的，所述权重因子ω是表明参考样本的像素差值用于平滑滤波的比重，权重因子的选取通过实验进行对比测试，选择出编码压缩率最高对应的权重因子值。

与现有技术相比，本发明具有以下有益效果：

本发明结合了帧内角度预测的方向特性和参考样本的空间相关性，对预测信号的产生过程进行优化，从而提高预测精度，提升视频编码压缩效率。

本发明采用混合的四抽头内插滤波和拓展的边界滤波，通过双次的滤波处理，预测信号更接近于原始像素值，从而减小了预测残差，获得更好的编码性能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例的方法流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种帧内预测性能提升编码方法，包括以下步骤：

步骤一、在帧内角度预测过程中采用混合的四抽头内插滤波器生成预测样本值，NxN个预测样本值组成预测块，预测块用于后续做边界滤波处理。具体方法如下：

1.1)在帧内预测中选取除直流、平面模式的角度预测模式的预测信号产生过程进行优化。

1.2)根据给定的阈值确定具体采用的四抽头内插滤波器类型。在本实施例中，阈值选取为8x8。

1.3)当预测单元PU的尺寸小于或等于阈值8x8，选择四抽头基于DCT的内插滤波器，通过DCT前变换和反变换函数得到每个角度预测模式对应的滤波器系数组；当预测单元PU的尺寸大于阈值8x8，选择四抽头高斯内插滤波器，通过高斯正态分布函数得到每个角度预测模式对应的滤波器系数组。

1.4)根据滤波器系数由相邻的四个参考样本内插产生预测样本值，具体公式如下：

P＝p₀*R_-1+p₁*R₀+p₂*R₁+p₃*R₂ (1)

其中，R_-1,R₀,R₁和R₂是四个相邻的参考样本，P是生成的预测样本，p_i(i＝0,1,2,3)是对应于每个角度预测模式的内插滤波器系数组。

步骤二、根据帧内预测的方向特性对角度预测模式进行分类，具体分类如下：

2.1)对于模式27至模式34分为第一类，记为类型一。

2.2)对于模式2至模式9分为第二类，记为类型二。

2.3)对于模式10至模式26分为第三类，记为类型三。

步骤三、针对类型一和类型二的角度预测模式情况，对步骤一生成的预测块的边界预测样本进行平滑滤波，具体方法如下：

3.1)对于类型一的角度预测模式，选择预测块最左边一列的预测样本进行滤波；对于类型二的角度预测模式，选择预测块最上面一行的预测样本进行滤波。

3.2)边界平滑滤波是将垂直和水平参考样本之间的像素差乘以一权重因子加在原始的预测值上，从而生成最终的编码预测信号。参考样本的像素差在一定程序上反映出图像的局部纹理信息，将其用于滤波处理有利于减小预测残差，提高预测精度。具体公式如下：

P_1,y′＝P_1,y+(R_0,y-R_x,0)*ω (2)

P_x,1′＝P_x,1+(R_x,0-R_0,y)*ω (3)

公式(2)是对于模式27-34的边界滤波，公式(3)是对于模式2-9的边界滤波。其中，P_1,y,P_x,1是原始的预测值，R_0,y是垂直参考样本，R_x,0是水平参考样本，P_1,y′,P_x,1′是最终的预测值。ω是权重因子，表明参考样本的像素差值用于平滑滤波的比重。权重因子的选取通过实验进行对比测试，选择出编码压缩率最高对应的权重因子值。

本发明提出的方法是在HEVC参考代码HM16.6上进行测试，采用全帧内参数配置，通过BD-Rate计算方法来评估算法的编码性能，BD-Rate表示为算法相对于原始代码HM16.6在相同编码质量下码率节省的百分比。HEVC标准测试序列中的ClassA～Class E作为视频测试序列。

采用混合的四抽头内插滤波的实验结果如表1所示。实验结果中方法相比于原始HM16.6码率平均减少了0.6％，编码时间增加了3％，解码时间增加了1％，可以看出方法有一定的码率节省，且对编解码时间的增加较小。

表1混合的四抽头内插滤波的实验结果

视频序列	BD-Rate
		Class A	-0.17％
Class B	-0.48％
		Class C	-0.80％
Class D	-0.66％
		Class E	-0.77％
平均值	-0.60％
		编码时间	103％
解码时间	101％

采用拓展的边界滤波的实验结果如表2所示。通过实验结果可以发现，本发明的编码性能与权重因子有很大的关系，当权重因子取值为0.35时，本发明的平均码率节省最高，即为0.32％。本发明的编码时间增加了1％，解码时间没有增加，。

表2拓展的边界滤波的实验结果

权重因子	BD-Rate
		0.10	-0.16％
0.15	-0.27％
		0.20	-0.27％
0.25	-0.22％
		0.30	-0.29％
0.35	-0.32％
		0.40	-0.24％
0.45	-0.14％
		0.50	-0.04％
编码时间	101％
		解码时间	100％

本发明采用混合的四抽头内插滤波和拓展的边界滤波的总体实验结果如表3所示，其中边界滤波的权重因子取值为0.35。

表3总体实验编码结果

由表3可以看出，本发明提出的方法总体编码性能有较大的提升，码率相比于HM16.6减少了0.85％，同时编解码时间复杂度的增加可以忽略不计。

另外，本发明不仅限于上述特定实施方法，本领域技术人员可以在权利要求的范围内各种变形或修改，这并不影响本发明的实质内容。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种帧内预测性能提升编码方法，其特征在于，包括以下步骤：

第一步，在帧内角度预测过程中采用混合的四抽头内插滤波生成预测样本值，NxN个预测样本值组成预测块，预测块用于后续做边界滤波处理，其中采用的内插滤波器类型根据给定的阈值确定；

第二步，根据帧内预测的方向特性对角度预测模式进行分类，其中：

对于HEVC编码标准中的模式27-模式34分为第一类，即类型一；

对于HEVC编码标准中的模式2-模式9分为第二类，即类型二；

对于HEVC编码标准中的模式10-模式26分为第三类，即类型三；

第三步，针对类型一和类型二的角度预测模式，根据参考样本的空间相关性，对第一步生成的预测块的边界行或边界列样本进行平滑滤波生成最终编码预测信号，第三类无需处理直接生成最终编码预测信号。

2.根据权利要求1所述的方法，其特征在于，第一步所述混合的四抽头内插滤波是指：采用两种四抽头内插滤波器，基于DCT的内插滤波和高斯内插滤波。

3.根据权利要求1所述方法，其特征在于，第一步所述阈值是指预测块尺寸大小mxm，m的取值为32，16或8。

4.根据权利要求1所述的方法，其特征在于，所述第一步，具体包括：

1)在帧内预测中选取除直流、平面模式的角度预测模式的预测信号产生过程进行优化；

2)当预测单元PU的尺寸小于或等于阈值mxm，选择四抽头基于DCT的内插滤波器，通过DCT前变换和反变换函数得到每个角度预测模式对应的滤波器系数组；当预测单元PU的尺寸大于阈值mxm，选择四抽头高斯内插滤波器，通过高斯正态分布函数得到每个角度预测模式对应的滤波器系数组；

3)根据滤波器系数组由相邻的四个参考样本内插产生预测样本值，具体公式如下：

P＝p₀*R_-1+p₁*R₀+p₂*R₁+p₃*R₂

其中，R_-1,R₀,R₁和R₂是四个相邻的参考样本，P是生成的预测样本，p_i是对应于每个角度预测模式的内插滤波器系数组，i＝0,1,2,3。

5.根据权利要求1-4任一项所述的方法，其特征在于，第三步中：所述参考样本的空间相关性是指：垂直参考样本和水平参考样本像素值之间的相关性；对于某个边界预测样本，其毗邻的参考样本和沿着预测方向反方向找到的参考样本之间存在像素差，该差值反映出当前预测方向上像素值的变化趋势，体现出视频的局部纹理特征信息。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述边界行或边界列样本是指：对于类型一的角度预测模式，选择预测块中最左边一列的预测样本即边界列样本；对于类型二的角度预测模式，选择预测块中最上面一行的预测样本即边界行样本。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述平滑滤波是指：将参考样本之间的差值乘以一权重因子加在相应的预测值上，从而产生最终的编码预测信号，参考样本的像素差用于滤波处理有利于减小预测残差，提高预测精度。

8.根据权利要求1-4任一项所述的方法，其特征在于，所述第三步具体包括：

1)对于类型一的角度预测模式，选择预测块最左边一列的预测样本进行滤波；对于类型二的角度预测模式，选择预测块最上面一行的预测样本进行滤波；

2)将垂直和水平参考样本之间的像素差乘以一权重因子加在原始的预测值上，从而生成最终的编码预测信号；

对于模式27-34的边界滤波按照以下公式计算：

P_1,y′＝P_1,y+(R_0,y-R_x,0)*ω

对于模式2-9的边界滤波按照以下公式计算：

P_x,1′＝P_x,1+(R_x,0-R_0,y)*ω

其中，P_1,y,P_x,1是原始的预测值，R_0,y是垂直参考样本，R_x,0是水平参考样本，P_1,y′,P_x,1′是最终的预测值，ω是权重因子。

9.根据权利要求8所述的方法，其特征在于，所述权重因子ω是表明参考样本的像素差值用于平滑滤波的比重，权重因子的选取通过实验进行对比测试，选择出编码压缩率最高对应的权重因子值。