CN106231301A - 基于编码单元层次和率失真代价的hevc复杂度控制方法 - Google Patents

Abstract

本发明提供一种基于编码单元层次和率失真代价的HEVC复杂度控制方法，步骤为：用户设定视频编码目标复杂度系数；统计第一个GOP中的各个编码单元层次的复杂度，计算出各个编码单元层次的复杂度的比值，并通过不同的编码单元层次组合得到不同的门限值；把目标复杂度平均分配到待编码GOP内的每一帧，把复杂度平均分配给编码树单元，根据分配到的复杂度选择连续的两个编码单元层次的层数，然后确定每一个编码单元层数的个数和位置。本发明考虑了基于编码单元层次和率失真代价，整个方法避免引入额外的复杂度，且无需专门的训练视频序列，对于任何视频可以直接编码，能够在GOP级别在一定范围内实现复杂度的有效控制。

Description

基于编码单元层次和率失真代价的HEVC复杂度控制方法

技术领域

本发明属于视频信息压缩领域，具体而言，涉及一种基于编码单元层次和率失真代价的HEVC复杂度控制方法。

背景技术

现在，人们对高质量和高清晰度(4kx2k、8kx4k分辨率)的视频内容的需求日益增多。随着视频容量的飞速膨胀，急需比H.264/AVC更高压缩效率的视频编码技术。ITU-TVCEG(国际电联电信标准化部视频编码组)与ISO/IEC MPEG(国际标准化组织国际电工委员会视频标准化组)的合作组织JCT-VC在2013年1月共同制定了新一代视频压缩标准HEVC(高效视频编码标准)，目标是在相同画质的情况下比目前最好的AVC/H.264标准节省50％的码流。HEVC使得压缩性能进一步的提升的同时也使得运算复杂度翻了好几倍。因此，针对HEVC来研究复杂度受限情况下的编码方法就变得尤其重要。

在HEVC标准中，灵活的块划分是核心。HEVC支持三种块单元：编码单元CU，预测单元PU和变换单元TU。编码单元支持不同的大小，从大到下依次是64x64、32x32、16x16、8x8。最大的编码单元叫做CTU，是每一个CU的根节点，其余CU在CTU下面按照四叉树递归划分。编码单元层次控制着能够支持的最小CU的大小。编码单元层次有0、1、2、3四种，分别对应CU大小64x64、32x32、16x16、8x8。因为CU判决处于灵活的块划分的上层，所以对CU层次进行控制能够较方便的达到编码效率和计算复杂度之间的平衡。

经检索，公开号为105120295A、申请号为201510490394.8的中国发明专利申请，该发明公开一种基于四叉树编码分割的HEVC复杂度控制方法，具体步骤如下：一、用户设定视频编码的初始目标复杂度；步骤二、利用区域显著性检测算法生成视频中每一帧的编码块权重图谱；步骤三、编码器设计每一帧的块级别复杂度-失真优化控制模型；步骤四、针对视频中的所有帧，循环更新当前帧的目标复杂度替换前一帧的目标复杂度，应用于当前帧的块级别复杂度-失真优化控制模型；步骤五、编码结束。

但是上述专利：1.由于引入了区域显著性检测算法，带来了编码复杂度的上升；2.该专利需要至少3个视频序列作为训练，必须先训练后使用，应用受限。

HEVC取得较好压缩性能的同时也带来了很高的运算复杂度。因此，针对HEVC来研究复杂度受限情况下的编码方法就变得尤其重要。

发明内容

针对现有技术中的缺陷以及HEVC复杂度控制方法的需求，本发明的目的是提供一种基于编码单元层次和率失真代价的HEVC复杂度控制方法，既达到复杂度控制的目的，同时还能取得较好的编码性能。

为实现上述目的，本发明采用以下技术方案：

一种基于编码单元层次和率失真代价的HEVC复杂度控制方法，包括如下步骤：

第一步，用户设定视频编码目标复杂度系数；

第二步，正常编码并统计第一个GOP中的各个编码单元层次的复杂度和总的复杂度，计算各个编码单元层次的复杂度的比值；

第三步，通过第二步得到的编码单元层次的复杂度的比值计算不同编码单元层次组合的门限值；

第四步，由第一步目标复杂度系数与第二步中一个GOP总的复杂度计算目标复杂度，在每个GOP开始时，平均分配目标复杂度到GOP里面每一帧；

第五步，在每帧开始时，通过第四步中分配的每帧复杂度与前一帧剩余复杂度计算每帧的实际复杂度，把每帧的实际复杂度平均分配到每个编码树单元CTU；

第六步，根据第五步每个编码树单元CTU分配到的复杂度以及第三步中所得到的门限值选择连续的两个编码单元层次的层数；

第七步，确定第六步中选择的两种不同编码层数的CTU的个数；

第八步，根据前一帧按照RD cost值从大到小的顺序对编码树单元排序的结果，以及步骤七两种不同编码层数CTU的个数，确定图像中每个编码树单元的编码层数；

第九步，编码每个CTU，直到一帧结束；

第十步，计算当前帧的剩余复杂度为下一帧做准备，并判断过程是否结束。

优选地，第二步中：对第一个I帧后面的接下来的图像组大小Gop_size的P帧，分别统计各个编码单元层次的复杂度和总的复杂度，接下来计算各个编码单元层次的复杂度的比值，各个编码单元层次的复杂度的比值在不同帧之间保持恒定。

优选地，第三步中，通过第二步得到的编码单元层次的复杂度的比值计算不同编码单元层次组合的门限值，该门限值用来区分编码单元层次的层数，确定了编码单元的层数之后确定在给定复杂度的情况下选择编码单元层次组合。

更优选地，第三步中，在给定一层编码单元层次复杂度的情况下，选择编码单元层次2；在给定两层编码单元层次复杂度的情况下，选择编码单元层次1和3；在给定三层编码单元层次复杂度的情况下，选择编码单元层次1,2和3；在给定四层编码单元层次复杂度的情况下，选择所有的编码单元层次。在给定一定复杂度情况下，编码单元层次的选择是经过离线训练得到，能够在在保证控制复杂度情况下取得较好的编码性能。

优选地，第六步中：针对分配到的复杂度选择连续的两个编码单元的编码层数m，m+1，m＝1,2,3，计算当前帧编码树单元CTU平均分配到的复杂度，与编码单元层次组合的门限值比较，确定连续的两个编码单元层数，判断条件是：如果大于编码单元层数三层的门限值则选择三层和四层，即个CTU选择编码单元层次1、2和3，个CTU选择编码单元层次0、1、2和3；如果大于编码单元层数两层的门限值则选择两层和三层，即个CTU选择编码单元层次1和3，个CTU选择编码单元层次1、2和3；否则，选择一层和两层，即个CTU选择编码单元层次2，个CTU选择编码单元层次1和3。将一帧中的CTU分为两种，其中个CTU选择m个编码层次，个CTU选择m+1个编码层次是经过离线训练得到的方法，能够在保持一帧的复杂度的前提下提供更好的编码性能。

优选地，第七步到第八步中：确定两个编码单元层数的个数和位置，具体是：根据每个编码单元层次的组合求出每个编码单元层数的数目和

每帧的编码树单元CTU都完成编码之后，按照RD cost值从大到小的顺序进行排序，编码单元层数m+1的位置就是前一帧按照RD cost值从大到小的顺序排序之后的前个位置，剩下的个位置即为编码单元层数m的位置。离线实验表明，该技术能够提供更好的编码性能。

本发明HEVC复杂度控制方法考虑了基于编码单元层次和率失真代价，整个方法避免引入额外的复杂度，且无需专门的训练视频序列，对于任何视频可以直接编码。本发明能够在GOP级别在一定范围内实现复杂度的有效控制。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的方法在考虑了编码单元层次的特性和前一帧对应位置编码树单元的率失真代价的情况下，能够使得编码单元选择不同的编码单元层次，从而在一定范围内达到复杂度的控制。与现有方法相比，复杂度控制的动态范围较高，局部波动较小，而且能够取得不错的RD性能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明所提出的HEVC复杂度控制方法的流程图；

图2是目标复杂度和实际复杂度的示意图(QP＝27)；

图3是不同目标复杂度下的每个GOP复杂度波动的示意图(BasketballDrive，QP＝37)。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

以下首先对本发明的技术用语进行解释和说明。

编码单元：Coding Unit，简称CU，视频编码的最基本单元，每个编码单元的大小可以是64x64、32x32、16x16、8x8。其中，最大编码单元叫做编码树单元CTU(Coding TreeUnit)，可以通过四叉树分割技术递归划分成大小不一的小编码单元。

预测单元：Prediction Unit，简称PU。

变换单元：Transform Unit，简称TU，HEVC支持的TU大小为32x32、16x16、8x8、4x4。

编码单元层次：Coding Unit Depth，四叉树的某一层次，HEVC支持编码单元层次0、1、2、3，其对应的编码大小为64x64、32x32、16x16、8x8。

率失真代价：Rate Distortion Cost，简称RD cost。RD cost值越小代表越好的编码结果。

如图1所示，根据HEVC复杂度控制方法的需求，本发明提供一种基于编码单元层次和率失真代价的HEVC复杂度控制方法，具体实施步骤如下：

步骤1：用户设定视频编码目标复杂度系数α，α∈[0,1]；

步骤2：对第一个图像组正常编码不进行复杂度控制，统计各个编码单元层次的复杂度和总的复杂度，计算各个编码单元层次的复杂度的比值：HEVC标准支持四种编码单元层次0、1、2、3。在第一个I帧后面接下来的Gop_size(图像组大小)的P帧，分别统计各个编码单元层次的复杂度和总的复杂度，记为其中下标d0、d1、d2、d3为编码单元层次0、1、2、3，以及一个GOP(图像组)的总编码复杂度

分别把各个编码单元层次的复杂度的比值记为R₀，R₁，R₂，R₃。把编码单元层次0的复杂度作为分母，则计算公式如下：

$R_i=\frac{C_{di}^{GOP}}{C_{d0}^{GOP}},i=0,1,2,3---\left(1\right)$

其中R_i的下标i＝0,1,2,3表示编码单元层次。

步骤3：计算不同编码单元层次组合的门限值：

在完成复杂度的分配之后，需要把复杂度映射到具体的编码操作当中。为了使得取得的编码率失真性能较优，针对编码单元层次的组合，通过离线学习的方法先确定了在给定复杂度的情况下如何去选择编码单元层次组合。如下表1所示，即在给定一层编码单元层次复杂度的情况下，选择编码单元层次2；在给定两层编码单元层次复杂度的情况下，选择编码单元层次1和3；在给定三层编码单元层次复杂度的情况下，选择编码单元层次1,2和3；在给定四层编码单元层次复杂度的情况下，选择所有的编码单元层次。

表1给定复杂度下的最佳的编码层次组合

复杂度的层数	编码单元组合
		一层编码单元	编码单元层次2
二层编码单元	编码单元层次1和3
		三层编码单元	编码单元层次1,2和3
四层编码单元	编码单元层次1,2,3和0

在给定复杂度的情况下，需要确定选择的编码单元层次的层数。HEVC的四种编码单元层次，需要四个门限值去区分层数，记这四个门限值为其计算公式为：

$\begin{array}{c}{C}_{full}^{CTU}=R_0+R_1+R_2+R_3\\ C_{high}^{CTU}=R_1+R_2+R_3\\ C_{middle}^{CTU}=R_1+R_3\\ C_{low}^{CTU}=R_2\end{array}---\left(2\right)$

上述四个门限值分别表示对应编码单元的全复杂度(编码单元选择4个层次)，高复杂度(编码单元选择3个层次)，中复杂度(编码单元选择2个层次)，低复杂度(编码单元选择1个层次)。

步骤4：把目标复杂度平均分配到GOP里面每一帧：

第一个GOP中的总的复杂度是目标复杂度系数为α∈[0,1]。因此，分配到每帧的复杂度为：

$C_t^F=\mathrm{\α}\×\frac{C_t^{GOP}}{Gop\_size}---\left(3\right)$

步骤5：循环计算每帧的实际复杂度，并将其分配到每个编码树单元CTU：

每帧的复杂度由两部分组成，一部分是分配到的复杂度另一部分是前一帧剩余的复杂度即得到后，将其平均分配到每个编码树单元CTU：

记每帧有N_CTU个CTU，则每个CTU分配到的复杂度为：

$C_t^{CTU}=\frac{C_A^F}{N_{CTU}}---\left(4\right)$

步骤6：针对步骤5分配到的编码树单元的复杂度选择连续的两个编码单元层次的层数：

每帧图像中编码单元CTU分配到的复杂度确定之后，就是针对分配到的复杂度选择编码单元层次的组合。由于在选定编码单元层次的数目之后，具体的编码单元层次的组合已经确定，这里要解决的问题就是如何选定编码单元层次的数目。具体公式如下：

如果

个编码单元选择3个编码层次(即层次1,2,3)，

个编码单元选择4个编码层次(即层次0,1,2,3)

如果

如果

个编码单元选择1个编码层次(即层次2)，

个编码单元选择2个编码层次(即层次1,3)

步骤7：确定两个编码单元层数的个数：

在连续的编码单元层数确定了以后，需要通过计算确定两个编码单元层数的个数，记两个编码单元层次的数目为m，m+1，m＝1,2,3，对应的编码单元个数为和由于只允许两个编码单元层数，编码单元个数为：

$N_{CTU}^{m+1}=\left\{\begin{array}{c}{C}_A^F-N_{CTU}(R_1+R_2+R_3),i=3\\ \frac{C_A^F-N_{CTU}(R_1+R_3)}{R_2},i=2\\ \frac{C_A^F-N_{CTU}{R}_2}{R_1+R_3-R_2},i=1\end{array}\right.---\left(6\right)$

编码单元个数用帧内所有的CTU个数N_CTU减去的个数即可得到。

步骤8：确定两个编码单元层数的位置：

每帧的CTU都完成编码之后，按照RD cost值从大到小的顺序进行排序，用于指导下一帧的复杂度分配。由于视频的平滑特性，前一帧RD cost值大的位置，意味着当前帧相同位置的RD cost也会大，所以需要分配更多的复杂度来使得RD cost变小，反之亦然。在确定了的个数之后，编码单元层数m+1的位置就是前一帧按照RD cost值从大到小的顺序排序之后的前个位置，剩下的即为编码单元层数m的位置。

步骤9：编码每个CTU，直到一帧结束；

步骤10：更新复杂度并判断过程是否结束：

在一帧编码完成之后，当前帧的剩余复杂度，计算公式如下：

当GOP内所有帧都完成编码时，进入下一个GOP。如果所有GOP都完成编码，则过程结束。

为了验证本发明的可行性和有效性，在真实环境下验证本发明方法。实验室测试条件为Windows7操作系统，3.1GHz主频的CPU，8G内存。测试代码为HEVC参考代码HM，测试QP为22、27、32、37。RD性能的参考是原始HM代码在复杂度不受限情况下的性能。测试序列如下表2：

表2测试序列

序列	编码帧数	帧率	尺寸
				BQTerrace	120	60	1920x1080
BasketballDrive	100	50	1920x1080
				RaceHorses	90	30	832x480
BQMall	180	60	832x480
				BlowingBubbles	150	50	416x240
BQSquare	180	60	416x240
				FourPeople	180	60	1280x720
KristenAndSara	180	60	1280x720
				ChinaSpeed	90	30	1024x768
SlideEditing	90	30	1280x720

表3基于编码单元层次和率失真代价的HEVC复杂度控制方法的BD-BR值

附图2是目标复杂度和实际复杂度的示意图，附图3是在不同目标复杂度下的每个GOP复杂度波动的示意图。由实验结果可知，本发明可以在一定范围内(30％-100％)对复杂度进行有效的控制，并且取得较好的编码性能。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种基于编码单元层次和率失真代价的HEVC复杂度控制方法，其特征在于，包括如下步骤：

第一步，用户设定视频编码目标复杂度系数；

第二步，正常编码并统计第一个GOP中的各个编码单元层次的复杂度和总的复杂度，计算各个编码单元层次的复杂度的比值；

第三步，通过第二步得到的编码单元层次的复杂度的比值计算不同编码单元层次组合的门限值；

第四步，由第一步目标复杂度系数与第二步中一个GOP总的复杂度计算目标复杂度，在每个GOP开始时，平均分配目标复杂度到GOP里面每一帧；

第五步，在每帧开始时，通过第四步中分配的每帧复杂度与前一帧剩余复杂度计算每帧的实际复杂度，把每帧的实际复杂度平均分配到每个编码树单元CTU；

第六步，根据第五步每个编码树单元CTU分配到的复杂度以及第三步中所得到的门限值选择连续的两个编码单元层次的层数；

第七步，确定第六步中选择的两种不同编码层数的CTU的个数；

第八步，根据前一帧按照RD cost值从大到小的顺序对编码树单元排序的结果，以及步骤七的两种不同编码层数CTU的个数，确定图像中每个编码树单元的编码层数；

第九步，编码每个CTU，直到一帧结束；

第十步，计算当前帧的剩余复杂度为下一帧做准备，并判断过程是否结束。

2.根据权利要求1所述的基于编码单元层次和率失真代价的HEVC复杂度控制方法，其特征在于，第二步中：对第一个I帧后面的接下来的图像组大小Gop_size的P帧，分别统计各个编码单元层次的复杂度和总的复杂度，接下来计算各个编码单元层次的复杂度的比值，各个编码单元层次的复杂度的比值在不同帧之间保持恒定。

3.根据权利要求1所述的基于编码单元层次和率失真代价的HEVC复杂度控制方法，其特征在于，第三步中，通过第二步得到的编码单元层次的复杂度的比值计算不同编码单元层次组合的门限值，该门限值用来区分编码单元层次的层数，确定了编码单元的层数之后确定在给定复杂度的情况下选择编码单元层次组合。

4.根据权利要求3所述的基于编码单元层次和率失真代价的HEVC复杂度控制方法，其特征在于，第三步中，在给定一层编码单元层次复杂度的情况下，选择编码单元层次2；在给定两层编码单元层次复杂度的情况下，选择编码单元层次1和3；在给定三层编码单元层次复杂度的情况下，选择编码单元层次1,2和3；在给定四层编码单元层次复杂度的情况下，选择所有的编码单元层次。

5.根据权利要求1所述的基于编码单元层次和率失真代价的HEVC复杂度控制方法，其特征在于，第六步中：针对分配到的复杂度选择连续的两个编码单元的编码层数m，m+1，m＝1,2,3，计算当前帧编码树单元CTU平均分配到的复杂度，与编码单元层次组合的门限值比较，确定连续的两个编码单元层数，判断条件是：如果大于编码单元层数三层的门限值则选择三层和四层，即个CTU选择编码单元层次1、2和3，个CTU选择编码单元层次0、1、2和3；如果大于编码单元层数两层的门限值则选择两层和三层，即个CTU选择编码单元层次1和3，个CTU选择编码单元层次1、2和3；否则，选择一层和两层，即个CTU选择编码单元层次2，个CTU选择编码单元层次1和3。

6.根据权利要求1-5任一项所述的基于编码单元层次和率失真代价的HEVC复杂度控制方法，其特征在于，第七步到第八步中：确定两个编码单元层数的个数和位置，具体是：

根据每个编码单元层次的组合求出每个编码单元层数的数目和

每帧的编码树单元CTU都完成编码之后，按照RD cost值从大到小的顺序进行排序，编码单元层数m+1的位置就是前一帧按照RD cost值从大到小的顺序排序之后的前个位置，剩下的个位置即为编码单元层数m的位置。