CN104320658A - 一种hevc快速编码方法 - Google Patents

Abstract

本发明公开了一种HEVC快速编码方法。本发明针对现有标准HEVC编码技术中帧内CU划分需要消耗大量运算时间和资源的不足，对帧内CU划分过程进行了改进，利用编码单元中像素值的标准差（SD）作为划分提前终止的参数，对64×64、32×32、16×16这三种大小的CU块预先分别设定一个SD阈值，在划分过程中，当前CU的SD值小于相对应的SD阈值时，则提前终止CU划分，从而有效帧内CU划分的时间消耗，提高了编码效率。本发明进一步利用统计方法预先获取PSNR、码率和运算耗时与所述三个SD阈值之间的关系，从而可根据编码的实际质量要求，通过选取相应的SD阈值来实现对编码质量的灵活控制。

Description

一种HEVC快速编码方法

技术领域

本发明涉及视频编码技术领域，尤其涉及一种HEVC(High Efficiency Video Coding)快速编码方法。

背景技术

HEVC作为新一代视频标准，于2010年4月在德国德累斯顿召开的JCT-VC会议中被提出，同时提出了测试模型HM2.0。它的核心目标是在H.264/AVC High Profile的基础上，压缩效率提高一倍，即保证在相同的视频图像质量的前提下，视频流的码率减少50％。HEVC遵循H.264/AVC的核心机制，并采用了多种编码技术，显著提高了编码性能。其中包括帧内预测技术，采用更加灵活的四叉树编码单元结构。HEVC帧内预测采用CU(Code Unit)，PU(Prediction Unit)以及TU(Transform Unit)进行编码，预测和变换等操作。CU的尺寸按四叉树递归的方式，根据深度的不同可以分为64×64，32×32，16×16，8×8四种尺寸。在所有不同深度的CU遍历完成后，根据计算得到的率失真代价值确定CU的最佳划分尺寸。每个尺寸为64×64的最大编码单元共需要计算1+4+4²+4³+4⁴＝341次率失真代价值。因此，HEVC在获得高性能的同时也带来很大的计算复杂度。

在HEVC中采用四叉树结构的编码单元(CU)，CU块始终是正方形，其大小从8×8到64×64。CU块的划分从LCU开始递归，逐层遍历所有从64×64到8×8的块，并且根据率失真代价选择最佳块，从而实现CU的划分。在标准HEVC中，LCU的划分的原算法如下：

1)从最大编码单元64×64(LCU)开始，对其进行预测编码，得到其率失真代价。

2)进一步划分为4个32×32的子块，对这4个子块进行预测编码，得到四个子块的率失真代价和。

3)如此类推，一直算到4×4块。

4)递归返回，根据率失真代价值选择最佳块。从8×8的块开始，如果4个4×4的CU的率失真代价和大于8×8块的率失真代价,则不划分，选择8×8的CU块类型，否则选择4×4的CU块类型。以此算法对16×16的块进行判断是否划分，一直到LCU。

5)编码下一个LCU。

基于这种递归结构，编码器需要对各个尺寸的CU进行全遍历算法，这是很耗时的过程。

为了降低计算复杂度，提高HEVC编码效率，一些研究者对CU块的划分过程进行了改进。清华大学的Caixia Bai和ChunYuan在2013年4月11至13号召开的IEEE-China会议上发表了一篇HEVC帧内编码的编码单元决策论文。该论文提出了以Sobel算子和MAD(平均绝对误差)为阈值的提前终止CU划分算法。韩国学者JonghoKim1,Yoonsik Choe1和Yong-Goo Kim在2013年1月11号至14号召开的ICCE会议上提出了以率失真代价和为阈值的提前终止CU划分算法。上海大学的liquan shen在2013年的Consumer Electronics,IEEE Transactions第1期提出基于相邻CU深度来预测当前CU深度的提前终止算法。然而，这些算法提前终止帧内CU划分所需的参数(Sobel算子和MAD、率失真代价和等)的计算均较为复杂，对编码效率的提升有限；此外，均无法实现对编码质量和编码效率的灵活控制。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种HEVC快速编码方法，利用图像像素值标准差作为CU划分过程是否提前终止的依据，可实现快速的帧内预测，且可根据需要对编码质量进行灵活控制。

本发明具体采用以下技术方案：

一种HEVC快速编码方法，针对64×64、32×32、16×16这三种编码单元CU，预先分别设定一个相应的阈值：第一～第三阈值；在进行帧内预测CU划分时，具体采用以下方法：

步骤1、判断最大编码单元LCU的图像像素值标准差SD是否小于所述第一阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将LCU划分为4个32×32的子CU后，转步骤2；

步骤2、对32×32的子CU，判断当前子CU的SD是否小于所述第二阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将当前子CU划分为4个16×16的子CU后，转步骤3；

步骤3、对16×16的子CU，判断当前子CU的SD是否小于所述第三阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将当前子CU划分为4个8×8的子CU后，转步骤4；

步骤4、对8×8的子CU进行预测编码并根据率失真代价判断是否需要继续划分，如是，则将当前子CU划分为4个4×4的子CU后，终止CU的划分；如否，则终止Cu的划分。

进一步地，所述第一～第三阈值按照以下方法设定：

步骤1、选取各类型的训练视频分别进行HEVC标准编码；对每个类型的HEVC标准编码训练视频，分别统计64×64、32×32、16×16这三种编码单元CU的图像像素值标准差SD的分布情况，进而得到每个视频类型的HEVC标准编码训练视频中上述每一种CU的SD累积分布概率图；

步骤2、对于每个类型的HEVC标准编码训练视频，根据其三种CU的SD累积分布概率图，获取一组不同的SD累积分布概率取值下相对应的64×64、32×32、16×16这三种CU的SD值；对每一个SD累积分布概率取值，以其所对应的64×64、32×32、16×16的CU的SD值分别作为第一～第三阈值，利用权利要求1所述HEVC快速编码方法对该类型的训练视频进行编码，得到该SD累积分布概率取值下的HEVC快速编码训练视频的编码时间、码率、PSNR；

步骤3、获取快速编码方法对各类型的训练视频在所述不同的SD累积分布概率取值下，相对于HEVC标准编码方法的编码时间变化情况、码率变化情况、PSNR变化情况，进而得到快速编码方法相对于HEVC标准编码方法的对于各视频类型的编码时间变化情况、码率变化情况、PSNR变化情况与SD累积分布概率之间的关系；

步骤4、根据待编码视频的类型以及所需的编码要求，利用所述快速编码方法相对于HEVC标准编码方法的对于各视频类型的编码时间变化情况、码率变化情况、PSNR变化情况与SD累积分布概率之间的关系，选择满足所述编码要求的SD累积分布概率值；步骤5、根据步骤1所得到的相应视频类型的HEVC标准编码训练视频中，64×64、32×32、16×16这三种CU的SD累积分布概率图，确定上一步骤选择的SD累积分布概率值所对应的64×64、32×32、16×16这三种CU的SD值；然后以所确定的64×64、32×32、16×16这三种CU的SD值分别作为第一～第三阈值。

优选地，所述编码时间变化情况、码率变化情况、PSNR变化情况分别使用编码效率、码率变化百分比、PSNR变化来度量，具体如下：

编码效率＝HEVC标准编码方法的编码时间÷快速编码方法的编码时间码率变化百分比＝(快速编码方法的码率－HEVC标准编码方法的码率)÷HEVC标准编码方法的码率PSNR变化＝快速编码方法的PSNR－HEVC标准编码方法的PSNR。

相比现有技术，本发明具有以下有益效果：

(1)本发明降低了HEVC的帧内预测计算复杂度，大大减小了编码时间，提高了编码效率；

(2)本发明可根据具体的编码质量需求(包括PSNR和比特率)选择合适的阈值来实现快速帧内预测。

附图说明

图1为Class B型训练视频的SD分布直方图；

图2为Class B型训练视频的SD累积分布概率图；

图3为编码效率、PSNR变化、码率变化百分比与SD累积分布概率之间的关系图；

图4帧内CU划分的算法流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明针对现有标准HEVC编码技术中帧内CU划分需要消耗大量运算时间和资源的不足，对帧内CU划分过程进行了改进，利用编码单元中像素值的标准差(SD)作为划分提前终止的参数，对64×64、32×32、16×16这三种大小的CU块预先分别设定一个SD阈值，在划分过程中，当前CU的SD值小于相对应的SD阈值时，则提前终止CU划分，从而有效帧内CU划分的时间消耗，提高了编码效率。本发明进一步利用统计方法预先获取PSNR、码率和运算耗时与所述三个SD阈值之间的关系，从而可根据编码的实际质量要求，通过选取相应的SD阈值来实现对编码质量的灵活控制。

本发明的HEVC快速编码方法(以下简称快速算法)，针对64×64、32×32、16×16这三种编码单元CU，预先分别设定一个相应的阈值：第一～第三阈值；在进行帧内预测CU划分时，具体采用以下方法：

步骤1、判断最大编码单元LCU的图像像素值标准差SD是否小于所述第一阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将LCU划分为4个32×32的子CU后，转步骤2；

步骤2、对32×32的子CU，判断当前子CU的SD是否小于所述第二阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将当前子CU划分为4个16×16的子CU后，转步骤3；

步骤3、对16×16的子CU，判断当前子CU的SD是否小于所述第三阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将当前子CU划分为4个8×8的子CU后，转步骤4；

步骤4、对8×8的子CU进行预测编码并根据率失真代价判断是否需要继续划分，如是，则将当前子CU划分为4个4×4的子CU后，终止CU的划分；如否，则终止Cu的划分。

为了便于公众理解，下面以一个优选实施例来对本发明的技术方案进行详细说明。

首先利用离线统计的方法获取编码质量要求与SD阈值之间的关系，具体包括以下步骤：

步骤1、选取各类型的训练视频分别进行HEVC标准编码；对每个类型的HEVC标准编码训练视频，分别统计64×64、32×32、16×16这三种编码单元CU的图像像素值标准差SD的分布情况，进而得到每个视频类型的HEVC标准编码训练视频中上述每一种CU的SD累积分布概率图。

视频类型的划分可采用现有或将有的各种划分方法，当前HEVC编码时的测试视频通常按照其分辨率划分为从Class A到Class E这五个类型：Class A:分辨率为2560x1600；Class B:分辨率为1920x1080；Class C:分辨率为832x480；Class D:分辨率为416x240；Class E:分辨率为1280x720。本实施例中即采用该种视频类型划分方式。

对某一类型的训练视频，首先利用HEVC标准编码算法(以下简称标准算法)进行编码，然后对最终的CU划分结果进行统计，包括64×64、32×32、16×16的这三种CU块每一种的总数量，以及每个CU块各自的图像像素值标准差SD。任意一个CU的SD值可由式(1)得到：

$\mathrm{SD}=\frac{1}{N\×N}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}{(f(x,y)-\mathrm{mean})}^2---\left(1\right)$

$\mathrm{mean}=\frac{1}{N\×N}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}f(x,y)---\left(2\right)$

其中，mean为CU块的平均像素值，SD为CU块的标准差，f(x,y)表示CU块的第x行、第y列上的像素值，N为CU块的尺寸(N＝64、32、16)。

根据所得到的统计数据，对不同尺寸的CU，以像素值标准差值为横轴，以相应尺寸CU块的数量为纵轴，可绘制出这三种CU的SD分布直方图，图1即显示了Class B类型训练视频的SD分布直方图。根据SD分布直方图可进一步得到三种CU的SD累积分布概率图，图2显示了Class B训练视频的SD累积分布概率图。

步骤2、对于每个类型的HEVC标准编码训练视频，根据其三种CU的SD累积分布概率图，获取一组不同的SD累积分布概率取值下相对应的64×64、32×32、16×16这三种CU的SD值；对每一个SD累积分布概率取值，以其所对应的64×64、32×32、16×16的CU的SD值分别作为第一～第三阈值，利用权利要求1所述HEVC快速编码方法对该类型的训练视频进行编码，得到该SD累积分布概率取值下的HEVC快速编码训练视频的编码时间、码率、PSNR。

利用SD累积分布概率图，对一组不同的SD累积分布概率进行采样，可得到每个SD累积分布概率值相对应的三个SD值，本实施例中通过在[0,1]之间每隔0.05取一个累积分布概率值得到。然后对每一个采样点的64×64、32×32、16×16三个CU的SD值，以其分别作为上述快速算法的第一～第三阈值，利用快速算法对该训练视频进行编码，从而可得到每一个SD累积分布概率值所对应的快速算法编码的编码时间、码率、PSNR。

步骤3、获取快速编码方法对各类型的训练视频在所述不同的SD累积分布概率取值下，相对于HEVC标准编码方法的编码时间变化情况、码率变化情况、PSNR变化情况，进而得到快速编码方法相对于HEVC标准编码方法的对于各视频类型的编码时间变化情况、码率变化情况、PSNR变化情况与SD累积分布概率之间的关系。

快速算法相对于标准算法的编码时间变化情况、码率变化情况、PSNR变化情况的度量可根据实际需要选择，例如，编码时间变化情况可利用标准算法与快速算法的编码时间的差值度量，也可采用快速算法与标准算法编码时间的比值，或者快速算法相对于标准算法所节省的编码时间比例等；码率变化情况、PSNR变化情况与此类似。本实施例中，编码时间变化情况、码率变化情况、PSNR变化情况分别使用编码效率、码率变化百分比、PSNR变化来度量，具体如下：

编码效率＝HEVC标准编码方法的编码时间÷快速编码方法的编码时间码率变化百分比＝(快速编码方法的码率－HEVC标准编码方法的码率)÷HEVC标准编码方法的码率PSNR变化＝快速编码方法的PSNR－HEVC标准编码方法的PSNR。

根据以上度量公式既可得到在不同的SD累积分布概率取值下，快速算法相对于标准算法的编码效率、码率变化百分比、PSNR变化，进而可得快速编码方法相对于HEVC标准编码方法的对于各视频类型的编码时间变化情况、码率变化情况、PSNR变化情况与SD累积分布概率之间的关系曲线。图3显示了编码效率、PSNR变化、码率变化百分比与SD累积分布概率之间的关系。

进行在线视频编码时，按照以下方法确定所需的SD阈值：

步骤4、根据待编码视频的类型以及所需的编码要求，利用所述快速编码方法相对于HEVC标准编码方法的对于各视频类型的编码时间变化情况、码率变化情况、PSNR变化情况与SD累积分布概率之间的关系，选择满足所述编码要求的SD累积分布概率值。

步骤5、根据步骤1所得到的相应视频类型的HEVC标准编码训练视频中，64×64、32×32、16×16这三种CU的SD累积分布概率图，确定上一步骤选择的SD累积分布概率值所对应的64×64、32×32、16×16这三种CU的SD值；然后以所确定的64×64、32×32、16×16这三种CU的SD值分别作为第一～第三阈值

根据具体的编码需求在图3中找出对应的SD累积分布概率。再根据图2获得该SD累积分布概率所对应的阈值。例如：要求使得编码效率为标准算法编码效率2倍，PSNR相对原算法减少小于0.05dB，码率相对原算法增加百分比小于0.6％。根据图3，要能同时满足以上三个条件，则对应的SD累积分布概率可为0.6。进而根据图2应选择SD阈值为SD累积分布概率为0.6处的SD值，对64×64、32×32、16×16尺寸的CU，SD阈值分别为9.9、9.7、10.4。

将以上确定的三个SD阈值分别作为第一～第三阈值代入本发明的帧内CU划分算法，即可实现快速的HEVC编码。对于不同类型的视频和/或不同的质量要求，通过以上步骤4、步骤5即可确定相应的SD阈值。

为了验证本发明技术方案的有效性，在HM13.0实验平台上对该方案进行模拟，实验所提出的编码性能指标为：要求编码效率为原标准算法的2倍，PSNR相对原算法减少小于0.05dB，比特率相对原算法增加百分比小于1％。

设计帧内CU划分提前终止算法对帧内CU块进行划分，对64×64，32×32，16×16的CU，分别设定阈值1，阈值2，阈值3作为CU划分提前终止的判断条件，即当CU的SD值小于对应SD阈值时，就可以提前终止CU划分。具体算法流程如图4所示，具体算法为：

(1)从LCU(64×64)起，算出当前LCU的SD值，当SD值<阈值1时，提前终止划分；当SD值≥阈值1时，按照标准HEVC算法。若根据标准HEVC算法得到此64×64的CU需要划分为4个32×32的子CU，则执行步骤(2)

(2)对32×32的子CU，算出当前CU的SD值，当SD值<阈值2时，提前终止划分；当SD值≥阈值2时，按照标准HEVC算法。若根据标准HEVC算法得到此32×32的CU需要划分为4个16×16的子CU，则执行步骤(3)

(3)对16×16的子CU，算出当前CU的SD值，当SD值<阈值3时，提前终止划分；当SD值≥阈值3时，按照标准HEVC算法。若根据标准HEVC算法得到此16×16的CU需要划分为4个8×8的子CU，则执行步骤(4)

(4)对8×8的子CU，按照标准HEVC算法。

实验结果如表1所示。QP为量化参数，ΔBits％为与传统的编码器相比比特率变化百分比，ΔPSNR/dB为与传统的编码器相比峰值信噪比变化，TS/％为与传统的编码器相比所节省的时间百分比。

表1实验结果

由表1可见，其满足所提出的编码性能指标。

Claims (6)

1.一种HEVC快速编码方法，其特征在于，针对64×64、32×32、16×16这三种编码单元CU，预先分别设定一个相应的阈值：第一～第三阈值；在进行帧内预测CU划分时，具体采用以下方法：

步骤1、判断最大编码单元LCU的图像像素值标准差SD是否小于所述第一阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将LCU划分为4个32×32的子CU后，转步骤2；

步骤2、对32×32的子CU，判断当前子CU的SD是否小于所述第二阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将当前子CU划分为4个16×16的子CU后，转步骤3；

步骤3、对16×16的子CU，判断当前子CU的SD是否小于所述第三阈值，如是，则终止CU的划分；如否，则进行预测编码并根据率失真代价判断是否需要继续划分，当根据率失真代价确定需要继续划分时，将当前子CU划分为4个8×8的子CU后，转步骤4；

步骤4、对8×8的子CU进行预测编码并根据率失真代价判断是否需要继续划分，如是，则将当前子CU划分为4个4×4的子CU后，终止CU的划分；如否，则终止Cu的划分。

2.如权利要求1所述HEVC快速编码方法，其特征在于，所述第一～第三阈值按照以下方法设定：

步骤1、选取各类型的训练视频分别进行HEVC标准编码；对每个类型的HEVC标准编码训练视频，分别统计64×64、32×32、16×16这三种编码单元CU的图像像素值标准差SD的分布情况，进而得到每个视频类型的HEVC标准编码训练视频中上述每一种CU的SD累积分布概率图；

步骤2、对于每个类型的HEVC标准编码训练视频，根据其三种CU的SD累积分布概率图，获取一组不同的SD累积分布概率取值下相对应的64×64、32×32、16×16这三种CU的SD值；对每一个SD累积分布概率取值，以其所对应的64×64、32×32、16×16的 CU的SD值分别作为第一～第三阈值，利用权利要求1所述HEVC快速编码方法对该类型的训练视频进行编码，得到该SD累积分布概率取值下的HEVC快速编码训练视频的编码时间、码率、PSNR；

步骤3、获取快速编码方法对各类型的训练视频在所述不同的SD累积分布概率取值下，相对于HEVC标准编码方法的编码时间变化情况、码率变化情况、PSNR变化情况，进而得到快速编码方法相对于HEVC标准编码方法的对于各视频类型的编码时间变化情况、码率变化情况、PSNR变化情况与SD累积分布概率之间的关系；

步骤4、根据待编码视频的类型以及所需的编码要求，利用所述快速编码方法相对于HEVC标准编码方法的对于各视频类型的编码时间变化情况、码率变化情况、PSNR变化情况与SD累积分布概率之间的关系，选择满足所述编码要求的SD累积分布概率值；

步骤5、根据步骤1所得到的相应视频类型的HEVC标准编码训练视频中，64×64、32×32、16×16这三种CU的SD累积分布概率图，确定上一步骤选择的SD累积分布概率值所对应的64×64、32×32、16×16这三种CU的SD值；然后以所确定的64×64、32×32、16×16这三种CU的SD值分别作为第一～第三阈值。

3.如权利要求2所述HEVC快速编码方法，其特征在于，所述编码时间变化情况使用编码效率来度量，具体如下：

编码效率=HEVC标准编码方法的编码时间÷快速编码方法的编码时间 。

4.如权利要求2所述HEVC快速编码方法，其特征在于，所述码率变化情况使用码率变化百分比来度量，具体如下：

码率变化百分比=（快速编码方法的码率－HEVC标准编码方法的码率）÷HEVC标准编码方法的码率 。

5.如权利要求2所述HEVC快速编码方法，其特征在于，所述PSNR变化情况使用PSNR变化来度量，具体如下：

PSNR变化=快速编码方法的PSNR－HEVC标准编码方法的PSNR 。

6.如权利要求2所述HEVC快速编码方法，其特征在于，所述一组不同的SD累积分布概率取值，具体通过在[0,1]之间每隔0.05取一个累积分布概率值得到。