CN104113754A - 基于时域相关性的高性能视频帧间编码方法及其转码器 - Google Patents

Abstract

本发明提供了一种基于时域相关性的高性能视频帧间编码方法及其转码器,主要包括编码方式划分和预测模式选择，在编码方式划分中，通过帧差法将当前帧与前一帧进行对比，得到当前编码块的运动特性，提前进行CU划分；在预测模式选择中，遍历由确定CU深度下的PU预测模式。本发明根据当前编码块与参考块之间的灰度值差进行条件判决，在进行编码之前提前确定当前编码单元的编码深度信息，减少帧间预测编码的次数，从而有效的降低了编码端的计算复杂度。实验结果表明，本发明在编码效率和峰值信噪比(PSNR)损失都很小的情况下，和HM9.0标准中的帧间预测方法相比，大大降低了编码时间。

Description

基于时域相关性的高性能视频帧间编码方法及其转码器

技术领域

本发明涉及图像通信领域中的视频编码帧间模式技术问题，尤其是涉及一种高性能视频编码帧间模式判定方法。

背景技术

近年来，随着视频业务的飞速发展，人们对观看高清视频的需求也越来越高，目前主流的视频压缩编码标准H.264已经不能适应高数据量下的高清视频传输。在这种趋势下，新一代视频压缩编码标准HEVC应运而生。HEVC最主要的目标是在压缩效率上获得显著提高的同时减少50％左右的码率，但也由此带来了计算复杂度的提高。因此，如何在保证视频编码质量的同时降低编码的计算复杂度成为了视频编码领域研究的热点。

相对于H.264，HEVC在编码性能上有了很大程度的提升，主要体现在以下几个方面：(1)采用了更加灵活的编码结构来提高编码效率，它包括编码单元CU、预测单元PU和变换单元TU，同时将宏块的大小从H.264的16×16扩展到了64×64，以便于更好的进行高分辨率视频的压缩；(2)采用了更多的帧内预测方向，每种PU尺寸最多可达35种预测方向，更广范围的PU尺寸和更多的PU帧内预测方向使得HEVC帧内预测比H.264/AVC有了更高的编码效率；(3)采用了更多的帧间预测模式，包含了对称PU模式和非对称PU模式，使得HEVC有了更加精确的块匹配；(4)采用了更多尺寸和类型的正交变换，灵活的块结构，采样点自适应偏移(SAO)，自适应环路滤波(ALF)和并行化设计等技术。

目前学术界关于如何减低编码计算复杂度的帧间优化算法已有很多，并大多数已经取得了良好的效果。在HEVC快速帧间算法的研究中，清华大学的张强等利用视频序列间的纹理信息检测出相对平坦的区域以及随时间变化较稳定的区域来提前终止四叉树的CU划分，从而达到减少帧间预测计算复杂度的目的。Bampi S等人提出了一种低复杂度下的运动矢量合并算法，通过合并小尺寸PU的运动向量来计算更大块尺寸的PU，进而减少运算复杂度。上海大学的胡锦雯等根据当前编码单元CU的运动特征来采取不同的优化措施来减少帧间预测时间。P.Helle等介绍了编码单元进行合并时的各种情况，并讨论了在不同情况下如何更好的进行运动信息预测，在帧间预测中采用合并模式可以大大提高HEVC实时编码的效率。

发明内容

针对新一代视频压缩编码标准HEVC计算复杂度较高的特点，本发明利用视频序列间时域上的相关性，提出了一种基于时域相关性的高性能视频帧间编码方法，减少帧间预测编码的次数，从而有效的降低了编码端的计算复杂度。

本发明的基本思想是利用相邻帧之间的时域相关性，根据前后两帧中相同位置块的灰度值差来确定两帧的相似程度，根据相似程度来快速确定CU的划分模式，从而减少预测编码的遍历深度以及冗余的RDCost递归计算，进而达到减少计算复杂度的目的。

本发明提供的基于时域相关性的高性能视频帧间编码方法,包括编码方式划分和预测模式选择，在编码方式划分中，通过帧差法将当前帧与前一帧进行对比，得到当前编码块的运动特性，提前进行CU划分；在预测模式选择中，遍历由确定CU深度下的PU预测模式，减少不必要的率失真值计算。具体主要包括以下过程步骤：

(1)判断当前编码帧是否为第一帧，若为第一帧，跳过下面的全部步骤，直接进入xCompressCU函数进行HM标准的四叉树递归划分；

(2)判断当前LCU是否为第一个LCU，若为第一个LCU，进入帧差处理函数，否则，跳过步骤(3)；

(3)进入帧差处理函数进行当前帧图像与前一帧图像的灰度值差，对帧差后的图像进行自适应二值化处理，得到需要跟踪像素点的灰度值；

(4)判断当前LCU是否在边界上，若当前LCU在边界上，跳过下面的全部步骤，直接进入xCompressCU函数进行HM标准的四叉树递归划分，否则，以一个LCU为单位，遍历每个LCU跟踪像素点的灰度值；

(5)根据设定的门限对当前LCU的运动剧烈程度进行判定，若当前LCU为运动剧烈区域，则进入xCompressCU函数进行HM标准的四叉树递归划分；否则，直接参考前一帧图像对应位置LCU的划分情况，对当前编码的LCU按设定的深度进行划分；

(6)进入xCompressCU，遍历由帧差法确定的CU编码深度下的PU预测模式，完成对视频编码帧间模式的判定。

在本发明的上述技术方案中，对于在步骤(3)，最好对帧差后的图像进行自适应二值化处理和滤波处理。

在本发明的上述技术方案中，所述CU编码深度优先考虑为0～3。

在本发明的上述技术方案中，所述灰度值差为当前帧图像的灰度值与相邻的前一帧图像的灰度值相减所得的差值。

在本发明的上述技术方案中，若当前区域为非运动剧烈区域，在进入xCompressCU函数之前确定CU编码的深度并进行深度划分。

在本发明的上述技术方案中，所述运动剧烈区域为LCU像素值为255的像素点数大于门限值的区域；所述门限值为根据自适应二值化阈值确定的值；所述门限值可按下述方法确定：当阈值小于等于10时，门限值为10；当阈值为10—40时，门限值为5；当阈值大于等于40时，门限值为0。

根据本发明的上述方法可以编制执行上述基于时域相关性的高性能视频编码帧间模式判决方法的视频编码器。

本发明是基于以下思路分析而完成的：

在视频序列中，前后两帧有高度的相关性，后一帧延续了前一帧中的运动趋势，这些相邻帧在背景区域上是基本相似的，这些背景区域可以视为图像中的静止区域。如果当前帧相对于前一帧是静止状态的，则两帧之间对应位置的灰度差值会非常小，相反，如果当前帧相对前一帧运动比较剧烈，则两帧之间对应位置的灰度差值会比较大。根据以上分析，相邻两帧对应位置上的灰度值差可以反应一帧图像中的运动区域，因此可以将灰度值差作为运动区域检测的判据。

当得到一帧图像中每个像素点相对于前一帧图像对应位置的灰度值差后，再经过二值化与滤波处理，可以检测出较为精确的相对运动区域。根据之前的说明，可以检测出图像中运动较为剧烈的区域。考虑到每一帧图像由很多个像素点组成，如果穷尽考虑图像帧中的每一个像素点，则需要处理的数据量也是巨大的。基于这种情况，本发明以一个LCU为单位进行数据分析。由于一个LCU可以分为64个8×8大小的SCU，因此，我们取每个SCU块的中心像素点进行跟踪，对每个LCU跟踪64个像素点，保存这64个像素点的灰度值差，为后来的CU划分提供依据。

由于帧差后的二值图像也会存在一些检测误差，这里，设置一个门限来减少这些误差，对一个LCU保存下来的64个灰度值差而言，如果灰度值为255的像素点数量大于这个门限时，我们可以判定该LCU相对于前一帧对应位置的LCU为运动剧烈的，因此我们需要用HM标准算法进行预测编码。如果小于这个门限，则该LCU相对于前一帧对应位置的LCU为静止的，即我们假定的背景区域，因此可直接参照前一帧对应位置的LCU进行CU划分。

最后，考虑到某些分辨率大小的视频序列在边界处的LCU不完整，在这里只参考每帧图像中完整的LCU，即保证每个LCU中有64个像素点是可以被跟踪的。比如对于416×240的视频序列，完整的LCU个数为6×3＝18个。在实际的编码过程中，HM对这种情况的处理是将边界不完整的LCU补全为一个LCU进行编码操作，即该分辨率下的实际LCU个数为7×4＝28个。由于边界上的LCU比较特殊，当编码的LCU为边界上的LCU时，不使用帧差法快速划分出CU的深度信息，转而使用HM标准编码。

相比HEVC视频编码标准，本发明的方法在编码效率和峰值信噪比(PSNR)损失都很小的情况下，能在较大幅度降低视频编码的计算复杂度，大大降低编码时间。本发明的方法是利用视频序列在相邻帧中时域相关性强的特点，发明了一种基于灰度值差的快速CU划分算法，在编码当前CU时利用参考帧中对应位置处的CU作为参考，进行当前CU的快速划分，根据帧差后的相关信息确定当前CU的编码深度，从而达到减少遍历编码层数，降低计算复杂度的目的。通过本发明，可以合理的去除冗余度，同时也不会损失视频的信息量，因此也基本不会造成视频压缩比和视频质量的下降。

本发明方法改进的是整个视频编码计算过程中计算复杂度最关键的地方。在整个视频编码过程中，CTU递归划分的计算复杂度所占的比例超过90％，本发明方法最关键的是根据相邻两帧之间的时域相关性，根据当前编码块与参考块之间的灰度值差进行条件判定，在进行编码之前提前确定当前编码单元的编码深度信息，减少帧间预测编码的次数，因此，在计算复杂度方面，本发明方法着手的点为视频编码计算过程中最关键改进之处。

本发明方法能在保持降低计算复杂度的基础上，不额外增加硬件实现成本。视频编码技术很多情况下最终均要嵌入硬件设备，包括FPGA和DSP等，因此，对于改进方法的代码运算代价和所需要的数据存储硬件代价要求均较高。本发明方法需要增加的代码很少，主要包括几个判断语句，在硬件所需的存储器方面，由于本发明方法中判断的对象为前一帧中对应位置CU分块的PU模式，而这些模式的信息原来就存储在数据流中，本发明方法并未带来额外的数据存储要求，因此，若将本发明方法应用于硬件设备，对硬件设备的制造不会增加额外的成本，同时还能节省功耗。

附图说明

图1-a～图1-e为对两幅图像进行帧差并处理后的示意图，其中图1-a、图1-b为输入的原始图像，图1-c为帧差后的图像，图1-d为二值化后的图像，图1-e为滤波后的图像；

图2为一帧图像中LCU划分示意图；

图3为本发明的基于帧差法的HEVC快速帧间编码的流程图；

图4-a～图4-f为本发明方法与HEVC全编码的率失真曲线图，其中图4-a为BQMall的率失真曲线；图4-b为BasketballDrill的率失真曲线；图4-c为FourPeople的率失真曲线；图4-d为Johnny的率失真曲线；图4-e为BQTerrace的率失真曲线；图4-f)Cactus的率失真曲线。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

本发明的快速帧间编码方法，与HM9.0标准的帧间编码方法比较，比较过程如下：

1、同时打开两个方法的程序并设置好相同的配置文件，参考软件选择HM9.0，量化步长(QP)值分别取22、27、32、37。本发明将与HEVC视频编码标准的参考软件算法HM9.0的方法进行比较。并对其三种视频编码性能：峰值信噪比(PSNR)、比特率以及编码时间(其中PSNR体现视频的客观视频质量，视频编码时间体现编码的计算复杂度)，进行比较分析，比较性能的差距用以下三个指标进行评价：

ΔPSNR＝PSNR_new-PSNR_HM

$\mathrm{\ΔBR}=\frac{{\mathrm{BR}}_{\mathrm{new}}-{\mathrm{BR}}_{\mathrm{HM}}}{{\mathrm{BR}}_{\mathrm{HM}}}\×100\%$

$\mathrm{\ΔT}=\frac{T_{\mathrm{new}}-T_{\mathrm{HM}}}{T_{\mathrm{HM}}}\×100\%$

其中，ΔPSNR表示本发明的方法与HM9.0标准方法峰值信噪比的差值，ΔBR表示本发明的方法与HM9.0标准方法比特率差值的百分率，ΔT表示本发明的方法与HM9.0标准方法时间差值的百分率。

2、编码的对象为标准的HEVC测试视频，它们的名称、分辨率和帧率分别为：BQMall(832×480，60帧/秒)、BasketballDrill(832×480，50帧/秒)、FourPeople(1280×720，60帧/秒)、Johnny(1280×720，60帧/秒)、BQTerrace(1920×1080，60帧/秒)、Cactus(1920×1080，50帧/秒)。

3、输入2个相同的视频序列；

4、分别对2个相同的视频序列进行视频编码；

5、利用HM9.0标准方法对视频序列在HEVC方式下进行视频编码；

6、利用本发明方法对视频序列在HEVC方式下进行视频编码；

7、两个程序分别输出视频编码后的视频序列以及各自的比特率、PSNR值以及总的视频编码时间，上述3个指标的结果如表1-3所示，统计显示本发明方法与HEVC标准方法在比特率方面变化了-1.04-2.12％，在视频质量PSNR值方面降低0.02-0.1dB，在视频编码计算复杂度方面降低了36.03-68.57％。从总体来看来，本发明方法与HEVC视频编码标准方法相比，在视频压缩率(由比特率下降程度来体现)和视频质量损失很小的前提下，较大幅度地降低了视频编码的计算复杂度(见表1～3)。

表1  本发明算法与HM7.0标准算法之间比特率的比较

表2  本发明算法与HM7.0标准算法之间PSNR值的比较

表3  本发明算法与HM7.0标准算法之间视频编码时间的比较

Claims (10)

1.一种基于时域相关性的高性能视频帧间编码方法，其特征在于主要包括以下过程步骤：

(1)判断当前编码帧是否为第一帧，若为第一帧，跳过下面的全部步骤，直接进入xCompressCU函数进行HM标准的四叉树递归划分；

(2)判断当前LCU是否为第一个LCU，若为第一个LCU，进入帧差处理函数，否则，跳过步骤(3)；

(3)进入帧差处理函数确定当前帧图像与前一帧图像的灰度值差，对帧差后的图像进行自适应二值化处理，得到需要跟踪像素点的灰度值；

(4)判断当前LCU是否在边界上，若当前LCU在边界上，跳过下面的全部步骤，直接进入xCompressCU函数进行HM标准的四叉树递归划分，否则，以一个LCU为单位，遍历每个LCU跟踪像素点的灰度值；

(5)根据设定的门限对当前LCU的运动剧烈程度进行判定，若当前LCU为运动剧烈区域，则进入xCompressCU函数进行HM标准的四叉树递归划分；否则，直接参考前一帧图像对应位置LCU的划分情况，对当前编码的LCU按设定的深度进行划分；

(6)进入xCompressCU，遍历由帧差法确定的CU编码深度下的PU预测模式，完成视频帧间编码。

2.如权利要求1所述的基于时域相关性的高性能视频帧间编码方法,其特征在于在步骤(3)中对帧差后的图像进行自适应二值化处理和滤波处理。

3.如权利要求2所述的基于时域相关性的高性能视频帧间编码方法,其特征在于所述CU编码深度为0～3。

4.如权利要求3所述的基于时域相关性的高性能视频帧间编码方法,其特征在于所述灰度值差为当前帧图像的灰度值与相邻的前一帧图像的灰度值相减所得的差值。

5.如权利要求1至4之一所述的基于时域相关性的高性能视频帧间编码方法,其特征在于若当前区域为非运动剧烈区域，在进入xCompressCU函数之前确定CU编码的深度进行深度划分。

6.如权利要求1至4之一所述的基于时域相关性的高性能视频帧间编码方法,其特征在于所述运动剧烈区域为LCU像素值为255的像素点数大于门限值的区域。

7.如权利要求5所述的基于时域相关性的高性能视频帧间编码方法,其特征在于所述运动剧烈区域为LCU像素值为255的像素点数大于门限值的区域。

8.如权利要求7所述的基于时域相关性的高性能视频帧间编码方法,其特征在于所述门限值为根据自适应二值化阈值确定的值。

9.如权利要求8所述的基于时域相关性的高性能视频帧间编码方法,其特征在于所述门限值按下述方法确定：当阈值小于等于10时，门限值为10；当阈值为10—40时，门限值为5；当阈值大于等于40时，门限值为0。

10.一种用于执行权利要求1～9之一所述基于时域相关性的高性能视频帧间编码方法的视频编码器。