CN109889852A - 一种基于邻近值的hevc帧内编码优化方法 - Google Patents

Abstract

高性能视频编码标准HEVC中的帧内编码模式利用当前帧中像素点之间的空间相关性作出有效预测。但是，研究发现当待编码像素远离参考像素时，它们之间的空间相关性变弱，传统的HEVC帧内预测方法的编码性能并不理想。针对以上情况，本发明提出了一种基于邻近值的HEVC帧内编码优化方法。其主要思想是，对于当前像素，先根据传统HEVC帧内编码方法得到其预测值，再使用相应的滤波器对该预测值进行修正。本发明方法将当前像素与周围像素的相关性进行了有效的数学建模，并且训练出合适的滤波器系数，提升了HEVC帧内编码性能。实验结果显示，本发明方法与HEVC标准相比，最高节省了2.7％的码率，平均节省的码率为1.3％。

Description

一种基于邻近值的HEVC帧内编码优化方法

技术领域

本发明涉及图像通信领域中的视频编码技术，最主要的是提升编码性能的问题，涉及高性能视频编码标准HEVC帧内编码优化方法。

背景技术

随着人们对高清视频的需求日渐增加，视频编码标准的性能也在不断提升，相比于之前主流的H.264/AVC视频编码标准，最新一代视频编码标准(High Efficiency VideoCoding,HEVC)已经实现了更高的编码效率和更好的视频质量。在相同的视频质量下，HEVC相比H.264/AVC提升了50％的编码效率。而HEVC之所以能够取得如此好的效果，主要源于其更加灵活的四叉树划分方式、改进的帧内以及帧间预测模式、更好的熵编码等方面。在HEVC帧内预测过程中，当像素之间的相关性很高时，这种传统的帧内预测方式能够取得很理想的编码性能，但当预测块比较大或者纹理比较复杂时，如果仍然只是简单利用参考像素来预测待编码像素就会影响预测精度。因此本发明期望通过有效的帧内编码优化方法提高其预测精度，从而达到降低更多码率的目的。

目前学术界关于优化帧内预测方面已有一些研究。X.Wang针对人眼对不同区域的注意力不同，提出了一种基于感兴趣区域的自适应帧内更新编码方法，降低了输出码率。Y.Wang等提出了一种基于马尔科夫模型的帧内预测方法，将35种帧内预测模式按照各个模式的特性分为3类，每一类使用不同的平滑滤波器，该方法相比HEVC本身达到了节省码率的目的。Y.Zheng等提出了一种基于梯度插值的帧内角度预测方法，其梯度由行参考样本和列参考样本生成，并根据预测方向对每个像素进行动态变化，提出的优化方法取得了较好的编码效率。Chen等提出了一种基于卷积的帧内迭代滤波方法对预测后的像素进行平滑滤波，实验结果显示该方法相对HEVC标准有一定的码率下降，尤其对高清视频效果更加明显。

发明内容

针对高性能视频压缩编码标准HEVC码率依旧较高，可以进一步研究降低码率的问题，本发明提出了一种基于邻近值的HEVC帧内编码优化方法，在合理的时间复杂度范围内，进一步优化HEVC的帧内预测方法。

本发明的基本思想是在时间复杂度可控的前提下，利用I帧相邻点之间的空域相关性去设计滤波器。本发明将当前像素与周围像素的相关性进行有效的数学建模，并且训练出合适的滤波器系数，从而提高整体预测精度，提升了HEVC帧内编码性能。

本发明提供的基于邻近值的HEVC帧内编码优化方法，该方法主要包括先使用HEVC帧内预测生成预测块，再对该预测块中的每一个像素点，使用相应的滤波器对其进行修正，每次滤波则会使用该像素点左边、左上、上边位置的修正值以及该像素本身的预测值。同时，均衡考虑低解码器复杂度和高编码效率两方面因素，本发明将改进的帧内优化技术与Chen的方法相结合，从而进一步提高HEVC的帧内编码性能。具体主要包括以下过程步骤：

(1)使用传统HEVC帧内预测对当前预测块PU(Prediction Unit)的每一个像素进行预测，生成预测块；

(2)判断预测块PU的大小；

(3)预测块PU小于等于8时，对与步骤(1)中预测块的每一个像素，使用该像素点左边、左上、上边位置的修正值以及该像素本身的预测值进行修正；

(4)预测块PU大于8时，使用卷积核对步骤(1)中生成的预测块进行迭代卷积，而经过迭代卷积后的修正块则作为最后的预测块；

(5)根据率失真代价函数RDCost(Rate-Distortion Cost，RDCost)决策最优的预测方式。

在本发明的上述技术方案中，在步骤(3)中，修正的具体公式为：

其中，u(i,j)为经过HEVC帧内预测得到的当前像素，为经过马尔科夫模型修正后的当前像素，和为修正后的当前像素的相邻像素，ρ1、ρ2和ρ3为相邻像素对应的权值参数，ρ4为当前像素对应的权值参数，而ε则为偏移量，取值为0.5。

在本发明的上述技术方案中，在步骤(3)中，对于每个像素，均基于上述公式(1)对HEVC的预测像素值进行递归地修正，为了使整个滤波过程能够依据帧内预测模式的特性来选择权值参数，我们将35种帧内预测模式分为8类，每一类别中包含的帧内预测模式都具有相似的特性。同时，考虑到色度分量的影响，将第9类滤波器设定为色度模式，如表1。

表1帧内预测模式的分类

在本发明的上述技术方案中，在步骤(3)中，高斯牛顿法的初始值是使用最小二乘法从训练序列中得到的，其可表示为：

其中，A、B、C、D分别表示存储该类别中和u(i,j)的矩阵，O表示存储该类别中o(i,j)的矩阵，而R_AB则表示A与B的自相关系数。

在本发明的上述技术方案中，在步骤(3)中，使用了高斯牛顿法求解滤波器的权值参数，其相应的公式为：

ρ^(s+1)＝ρ^(s)-(J^TJ)^-1J^Tr(ρ^(s)) (3)

其中，公式(3)为高斯牛顿法的迭代公式，ρ^(s+1)表示第s+1次迭代后的权值参数，ρ^(s)表示第s次迭代后的权值参数，J表示残差函数r对权值参数ρ的雅可比矩阵，即对ρ求其偏导数，如公式(4)所示，r(ρ^(s))表示第s次迭代时的残差，如公式(5)所示。

在本发明的上述技术方案中，在步骤(3)中，使用的训练序列如表2。

表2训练序列

在本发明的上述技术方案中，在步骤(4)中，PU大小从4×4到32×32的迭代次数分为为3、5、10、25，卷积核为：

在本发明的上述技术方案中，在步骤(5)中，经过RDCost决策后最优预测方式，会有一个标志位flag，若flag等于1，则说明进行传统的HEVC帧内编码后，还需要使用本发明的优化方法去修正。

根据本发明的上述方法可以编制执行上述一种基于邻近值的HEVC帧内编码优化方法的HEVC视频编码器。

本发明是基于以下思路分析而完成的：

首先，将35种帧内预测模式分为8类，每一类别中包含的帧内预测模式都具有相似的特性。同时，考虑到色度分量的影响，将第9类滤波器设定为色度模式。其次，使用四种量化参数(QP＝22,27,32,37)对4个训练序列的前5帧进行HEVC帧内编码，并根据滤波器的分类将每个类别中的像素值分别存储。然后，使用简单的最小二乘法计算出初始权值系数，将其应用到高斯牛顿法进行一次次的迭代估计，直至得到最佳系数，将最佳权值参数应用到HEVC帧内编码框架中。

在编码端，其先使用HEVC帧内预测生成预测块，再对该预测块中的每一个像素点，使用相应的滤波器对其进行修正。该方法使用基于邻近值的帧内编码优化方法进行4×4和8×8块大小的修正，而当帧内预测块的大小为16×16或32×32时，则使用Chen的帧内迭代滤波方法去修正。当应用整个优化方法时，对于每个CU层需要多1个标志位flag，以表明进行传统的HEVC帧内预测后，是否需要使用帧内编码优化方法去修正，将该标志位写入码流一起传输到解码端。

在解码端，首先从码流中判断出标志位flag的值，若flag为0，则只需要进行传统的HEVC帧内编码即可，若flag为1，则在传统的HEVC帧内编码后，我们还需要根据预测块的大小选择不同的优化方法进行修正。

与标准的HEVC视频编码方法相比，本发明针对HEVC的帧内编码提出的一种基于邻近值的帧内编码优化方法，能有效降低码率。该方法在HEVC帧内预测过程中，对于当前像素，先根据传统HEVC帧内编码方法得到其预测值，再使用相应的滤波器对该预测值进行修正。本发明方法将当前像素与周围像素的相关性进行了有效的数学建模，并且训练出合适的滤波器系数，提升了HEVC帧内编码性能。

附图说明

图1为本发明的基于邻近值的HEVC帧内编码优化方法的流程图。

图2为本发明使用滤波器修正单个像素的图示，u(i,j)为经过HEVC帧内预测得到的当前像素，为经过马尔科夫模型修正后当前像素，和为经过马尔科夫模型修正后的当前像素的相邻像素，ρ₁、ρ₂和ρ₃为相邻像素对应的权值参数，ρ₄为当前像素对应的权值参数。

图3为本发明方法PU块中所有像素值进行递归修正的图示，深色框为参考像素，浅色框中为已预测像素。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

本发明所提出的一种基于邻近值的HEVC帧内编码优化方法，与HEVC标准参考代码HM16.9的帧内编码方法比较过程如下：

1、打开标准HM16.9参考代码，配置文件为encoder_intra_main.cfg。在量化参数QP为22，27，32，37的情况下对标准视频测试序列进行编解码，记录标准HEVC视频编码时的码率及峰值信噪比PSNR；

2、这里我们定义变量BD-rate(delta rate)，BD-rate表示本发明方法相比HEVC帧内编码方法在相同PSNR下比特率变化的百分比；

3、编码的对象为标准的HEVC测试视频，它们的名称和分辨率分别为：Traffic(2560×1600)、PeopleOnStreet(2560×1600)、Kimono1(1920×1080)、Cactus(1920×1080)、ParkScene(1920×1080)、BasketballDrive(1920×1080)、BQTerrace(1920×1080)、FourPeople(1280×720)、Johnny(1280×720)、KristenAndSara(1280×720)、BasketballDrill(832×480)、BQMall(832×480)、PartyScene(832×480)、RaceHorseC(832×480)、BasketballPass(416×240)、BQSquare(416×240)、BlowingBubbles(416×240)、RaceHorse(416×240)；

4、输入2个相同的视频序列；

5、分别对2个相同的视频序列进行视频编码；

6、利用HM16.9标准方法对视频序列在HEVC方式下进行视频编码；

7、利用本发明方法对视频序列在HEVC方式下进行视频编码；

8、结果如表3所示，分别对分辨率从2560×1600大小到416×240大小的共18个视频序列进行实验，来比较HM 16.9标准和优化后的编码方法的相关参数。在时间复杂度可控的情况下，本发明在亮度分量Y、色度分量U和V分量的平均增益分别为1.3％、1.4％和1.4％(BD-rate)，其中Y分量的最大增益达到了2.7％，说明本发明方法起到了很好的效果。

表3本发明方法与标准HM16.9对比的实验结果

Claims (8)

1.一种基于邻近值的HEVC帧内编码优化方法，主要是针对HEVC视频编码标准中帧内编码部分做了改进。其特征在于：

(1)使用传统HEVC帧内预测对当前预测块(PU)的每一个像素进行预测，生成预测块；

(2)判断预测块PU的大小；

(3)预测块PU小于等于8时，对于(1)中预测块的每一个像素，使用该像素点左边、左上、上边位置的修正值以及该像素本身的预测值进行修正；

(4)预测块PU大于8时，使用卷积核对(1)中生成的预测块进行迭代卷积，而经过迭代卷积后的修正块则作为最后的预测块；

(5)根据率失真代价函数(RDCost)决策最优的预测方式。

2.如权利要求1所述的基于邻近值的HEVC帧内编码优化方法，其特征在于不仅利用了周围已修正像素值，还利用了经过传统HEVC预测后得到的当前像素值，有效地提高了帧内预测精度。

3.如权利要求1所述的基于邻近值的HEVC帧内编码优化方法，其特征在于将当前像素与周围像素的相关性进行了有效的数学建模，并且训练出合适的滤波器系数，提升了HEVC帧内编码性能。

4.如权利要求3所述的滤波器系数的训练，其特征在于将帧内预测模式分为9类，并使用高斯牛顿法进行迭代估计，直至得到最佳系数，将最佳权值参数应用到HEVC帧内编码框架中。

5.如权利要求1所述的基于邻近值的HEVC帧内编码优化方法，其特征在于使用简单的卷积核，而根据不同预测块的大小设计迭代卷积的次数，从而得到最佳的滤波效果。

6.如权利要求1所述的基于邻近值的HEVC帧内编码优化方法，其特征在于根据预测块的大小不同，选择不同的优化方法对帧内编码的预测值进行修正，进一步优化HEVC的帧内预测方法。

7.如权利要求1所述的基于邻近值的HEVC帧内编码优化方法，其特征在于在编码单元CU使用率失真代价进行选择是否使用结合后的优化方法，保证了整个优化方法的有效性。

8.一种用于执行权利要求1至7所述基于邻近值的HEVC帧内编码优化方法。