CN104796693A - 一种hevc快速cu深度划分编码方法 - Google Patents

Abstract

本发明公开了一种HEVC快速CU深度划分编码方法，本发明对CU深度划分过程进行了改进，本发明将除了帧间N×N模式外的另外7种帧间PU模式分成3类（Mode1，Mode2，Mode3），分别代表CU运动趋于平缓、CU运动趋于适中以及CU运动趋于复杂。进一步利用统计方法预先获取CU在不同深度下其最佳预测模式分别是Mode1，Mode2和Mode3的概率分布，据此对不同深度的CU设置不同的帧间PU模式类别。在CU划分的过程中，当前CU遍历完帧间模式和帧内模式预测后，如果CU在当前深度下符合CBF和MVD值都为0，并且CU的最佳预测模式是帧间PU模式且满足相应设置的帧间PU模式类别，则提前终止当前CU的四叉树划分，从而有效减少了帧间模式部分的CU深度划分运算时间，提高了编码效率。

Description

一种HEVC快速CU深度划分编码方法

技术领域

本发明涉及视频编码技术领域，特别是一种HEVC(High Efficiency Video Coding)快速CU深度划分编码方法。

背景技术

2012年10月，ITU-T/ISO/IEC视频编码联合协作小组(Joint Collaborative Team on VideoCoding，JCT-VC)发布了“高效视频编码”(High Efficiency Video Coding，HEVC)标准草案9，此后先后举行了多次会议，不断的改进、增删和完善HEVC技术内容。2013年1月，HEVC作为新一代视频标准正式成为国际标准。它的核心目标是在H.264/AVC High Profile的基础上，在保证相同的视频图像质量的前提下，视频流的码率减少50％。HEVC遵循H.264/AVC的核心机制，并采用了多种编码技术，显著提高了编码性能，例如编码过程不再以宏块为单位，而是定义了三种不同的结构单元：编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)和变换单元(Transform Unit，TU)，帧间PU模式遍历选择技术和CU的四叉树编码结构技术等。CU的深度按四叉树递归方式，根据大小不同的CU尺寸可以分为深度0、深度1、深度2和深度3，对应的CU尺寸分别是64×64，32×32，16×16，8×8。帧间PU模式包括9种不同的划分方式：SKIP，Inter_2N×2N，Inter_2N×N，Inter_N×2N，Inter_N×N，Inter_2N×nU，Inter_2N×nD，Inter_nL×2N，Inter_nL×2N，其中SKIP是一种特殊的帧间PU模式。在所有不同深度的CU遍历9种帧间PU模式和帧内模式后，根据计算得到的率失真代价值确定该CU的最佳深度划分。每个深度为0的最大编码单元LCU共需要进行1+4+4²+4³＝85次CU划分。因此，HEVC在提高一倍编码效率的同时也给编码端带来很大的计算复杂度。

在HEVC中，CU采用四叉树编码结构，CU块始终是正方形，深度从0到3，对应CU尺寸大小为64×64到8×8。CU块的划分从LCU开始递归，逐层遍历所有深度从0到3的CU块，并且根据率失真代价选择最佳编码深度，从而实现当前CU的最佳深度划分。在标准HEVC中，LCU的划分算法如下：

1)从深度为0的最大编码单元LCU开始，对其进行帧间预测和帧内预测编码，得到其率失真代价。

2)进一步划分为4个深度为1的子CU块，对第一个深度为1子CU块进行帧间预测和帧内编码，得到这个子CU块的率失真代价。

3)进一步划分为4个深度为2的子CU块，对第一个深度为2子CU块进行帧间预测和帧内编码，得到这个子CU块的率失真代价。

4)进一步划分为4个深度为3的子CU块，对其进行帧间预测和帧内编码，得到率失真代价。

5)分别对剩余3个深度为3的子CU块其进行帧间预测和帧内编码，得到各自的率失真代价，并计算4个深度为3的CU块的率失真代价和。

6)递归返回，根据率失真代价值选择最佳块。如果4个深度为3的CU的率失真代价和大于对应深度为2的CU块的率失真代价，则该深度为2的CU块不划分，否则该深度为2的CU块划分成4个深度为3的CU块。

7)按照步骤4、5、6分别对其他深度为2、深度为1直到深度为0的CU块进行递归划分，最终确定当前LCU的最佳深度划分。

8)编码下一个LCU。

基于这种递归结构，编码器需要对各个尺寸的CU进行9种帧间PU模式和帧内模式全遍历算法，计算量非常大，需要消耗大量运算时间。

为了提高HEVC编码效率满足实时性，一些对CU块深度划分早决策的快速算法被提出。提案ECU[R.H.Gweon,Y.-L.Lee,and J.Lim.“Early termination of CU encoding to reduceHEVC Complexity,”JCT-VC-Meeting,JCTVC-F045,Torino,Italy,July 2011]，这种方法利用SKIP模式提前终止CU分割的算法，具体算法过程是当前CU遍历完9种帧间模式和帧内模式预测后，如果最佳预测模式为SKIP模式，则提前终止当前CU划分，从而减少遍历CU的个数。此算法对CU划分早决策的判断条件比较苛刻，且只能适用于平坦且运动小的视频序列，对于纹理和运动复杂的序列编码速度提高并不明显。另一种利用基于SKIP模式和全零块检测得到的阈值提前终止CU深度划分算法被提出[Pai-Tse Chiang,TianSheuan Chang,“Fast Zero Block Detection and Early CU Termination for HEVC VideoCoding,”in Circuits and Systems,IEEE.May,2013]，该算法将Inter_2N×2N模式提到SKIP模式之前，判断该模式的率失真代价值是否小于阈值，如果小于阈值，则直接终止当前CU划分，否则继续遍历包括SKIP模式在内的8种帧间PU模式，如果最佳预测模式是SKIP模式终止CU划分。该算法利用全零块检测得到的阈值，计算复杂。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，而提供一种HEVC快速CU深度划分编码方法，该方法将除了帧间N×N模式外的7种帧间预测单元PU模式分成3类：Mode1、Mode2和Mode3；针对深度为0、深度为1和深度为2的编码单元CU预先分别设置不同的帧间PU模式类别；在CU划分过程中，当CU的最佳预测模式是帧间模式时，利用CU在当前深度下的CBF和MVD都为0、最佳预测模式满足相应设置的帧间PU模式类别作为划分提前终止条件，可以使CU在深度为0、深度为1或深度为2时提前终止其深度划分，从而实现快速的CU深度分割。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种HEVC快速CU深度划分编码方法，将除了帧间N×N模式外的7种帧间预测单元PU模式分成3类：Mode1、Mode2和Mode3，针对深度为0、深度为1和深度为2的CU预先分别设置不同的帧间PU模式类别；在CU划分过程中，如果CU在当前深度下的CBF和MVD都为0、其最佳预测模式是帧间PU模式且满足相应设置的帧间PU模式类别时，则提前终止当前CU的四叉树划分；具体采用以下方法：

步骤1、若深度为0的最大编码单元LCU遍历完帧间模式和帧内模式预测后且LCU的CBF和MVD值均为0，判断其最佳预测模式是否属于Mode1，如果是，则终止当前CU划分；如果否，则继续进行预测编码计算当前LCU的率失真代价，将LCU划分为深度为1的4个子CU，转步骤2；

步骤2、若深度为1的子CU遍历完帧间模式和帧内模式预测后且CU的CBF和MVD值均为0，判断当前子CU的最佳预测模式是否属于Mode1或Mode2，如果是，则终止当前CU划分；如果否，则继续进行预测编码计算当前CU的率失真代价，将当前子CU划分为深度为2的4个子CU后，转步骤3；

步骤3、若深度为2的子CU遍历完帧间模式和帧内模式预测后且CU的CBF和MVD值均为0，判断当前子CU的最佳预测模式是否属于Mode1或Mode2或Mode3，如果是，则终止当前CU划分；如果否，则继续进行预测编码计算当前CU的率失真代价，将当前子CU划分为深度为3的4个子CU后，转步骤4；

步骤4、分别对4个深度为3的子CU进行完整的帧间和帧内预测编码并计算出各自的率失真代价。

作为本发明所述HEVC快速CU深度划分编码方法进一步优化方案，所述Mode1的具体设定如下：

Mode1是帧间PU模式为Inter_2N×2N正方形划分方式，代表CU运动趋于平缓。

作为本发明所述HEVC快速CU深度划分编码方法进一步优化方案，所述Mode2的具体设定如下：

Mode2是帧间PU模式为Inter_N×2N或Inter_2N×N两种对称矩形划分方式，代表CU运动趋于适中。

作为本发明所述HEVC快速CU深度划分编码方法进一步优化方案，所述Mode3的具体设定如下：

Mode3是帧间PU模式为Inter_2N×nU、Inter_2N×nD、Inter_nL×2N或Inter_nL×2N四种不对称矩形划分方式，代表CU运动趋于复杂。

作为本发明所述HEVC快速CU深度划分编码方法进一步优化方案，所述深度为0、深度为1和深度为2的编码单元CU是按照以下方法预先分别设置不同的帧间PU模式类别，具体如下：

步骤1、选取纹理丰富运动复杂的视频序列BQSquare和纹理简单运动平缓的视频序列Vidyo1，分别进行HEVC标准编码；对这两类HEVC标准编码视频序列分别统计深度为0、深度为1和深度为2的CU其最佳预测模式是Mode1的概率分布情况，进而得到上述两类HEVC标准编码视频序列中CU在不同深度下其最佳预测模式是Mode1的概率分布图；

步骤2、对视频序列BQSquare和Vidyo1分别统计深度为0、深度为1、深度为2的CU其最佳预测模式是Mode2的概率分布情况，进而得到上述两类HEVC标准编码视频序列中CU在不同深度下其最佳预测模式是Mode2的概率分布图；

步骤3、对视频序列BQSquare和Vidyo1分别统计深度为0、深度为1、深度为2的CU其最佳预测模式是Mode3的概率分布情况，进而得到上述两类HEVC标准编码视频序列中CU在不同深度下其最佳预测模式是Mode3的概率分布图；

步骤4、根据视频序列BQSquare和Vidyo1中CU在深度为0、深度为1和深度为2下其最佳预测模式分别是Mode1、Mode2和Mode3的概率分布图，对深度为0、深度为1和深度为2的CU分别设置不同的帧间PU模式类别：深度为0时，设置帧间PU模式类别为Mode1；深度为1时，设置帧间PU模式类别为Mode1或Mode2；深度为2时，设置帧间PU模式类别为Mode1或Mode2或Mode3

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明有效减少了标准HEVC中帧间模式部分的CU深度划分运算时间，提高了编码效率。

附图说明

图1是CU、PU和TU三者的关系图。

图2是8种帧间PU划分方式图。

图3是一个LCU的四叉树划分结构图：其中，(a)：一个CTU的划分，(b)：对应的四叉树结构。

图4是视频序列BQSquare和Vidyo1中Mode1在各个深度下的分布概率图。

图5是视频序列BQSquare和Vidyo1中Mode2在各个深度下的分布概率图。

图6是视频序列BQSquare和Vidyo1中Mode3在各个深度下的分布概率图。

图7是快速CU深度划分算法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

高效视频编码标准HEVC的编码过程不再以宏块为单位，而是定义了三种不同的结构单元：编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)和变换单元(TransformUnit，TU)。CU是决定进行帧内预测还是帧间预测的单元，深度从0到3。每个CU还可以分解(或不分解)为更小的预测单元PU和变换单元TU。CU、PU和TU三者的关系如图1所示。PU是进行预测运算的基本单元，包括帧内和帧间预测两类。帧间预测模式有8种划分方式：Inter_2N×2N，Inter_2N×N，Inter_N×2N，Inter_N×N，Inter_2N×nU，Inter_2N×nD，Inter_nL×2N，Inter_nL×2N，前四种是对称划分，后四种是不对称划分(AMP)，如图2所示。

CU划分是采用基于四叉数的循环分层结构，首先进行帧间PU模式和帧内PU模式遍历，选择最佳的PU模式，接着进行TU深度遍历选择出最佳的TU深度，得到当前CU的率失真代价，根据当前CU的率失真代价与下一层4个子CU的率失真代价之和的比值来判断当前CU是否需要划分，图3所示的是一个LCU的四叉树划分结构。

本发明针对现有HEVC标准编码技术中编码单元CU四叉树划分结构编码复杂度高的问题，对CU四叉树划分过程进行了改进。该发明将除了帧间N×N模式外的7种帧间预测单元PU模式分成3类：Mode1、Mode2和Mode3；针对深度为0、深度为1和深度为2的编码单元CU预先分别设置不同的帧间PU模式类别。在CU划分过程中，当CU的最佳预测模式是帧间模式时，利用CU在当前深度下的CBF和MVD都为0、最佳预测模式满足相应设置的帧间PU模式类别作为划分提前终止条件，可以使CU在深度为0、深度为1或深度为2时提前终止其深度划分，实现快速的CU深度分割，有效减少帧间模式部分的CU深度划分过程中的冗余计算，提高编码效率。本发明进一步利用统计方法获取CU在深度0、深度1和深度2下的最佳预测模式分别是Mode1，Mode2和Mode3的概率分布，据此预先设置各个深度下的帧间PU模式类别。

本发明的HEVC快速CU深度划分的编码方法(以下简称快速CU算法)，该方法将除了帧间N×N模式外的7种帧间预测单元PU模式分成3类：Mode1、Mode2和Mode3；针对深度为0、深度为1和深度为2的CU预先分别设置不同的帧间PU模式类别。在CU划分过程中，如果CU在当前深度下的CBF和MVD都为0、其最佳预测模式是帧间PU模式且满足相应设置的帧间PU模式类别时，则提前终止当前CU的四叉树划分。

所述Mode1是帧间PU模式为Inter_2N×2N正方形划分方式，代表CU运动趋于平缓。所述Mode2是帧间PU模式为Inter_N×2N或Inter_2N×N两种对称矩形划分方式，代表CU运动趋于适中。所述Mode3是帧间PU模式为Inter_2N×nU、Inter_2N×nD、Inter_nL×2N或Inter_nL×2N四种不对称矩形划分方式，代表CU运动趋于复杂。

首先利用离线统计的方法获取CU在深度0、深度1和深度2下的最佳预测模式分别是Mode1，Mode2和Mode3的概率分布，据此预先设置各个深度下的帧间PU模式类别。选取纹理丰富运动复杂的视频序列BQSquare和纹理简单运动平缓的视频序列Vidyo1分别进行HEVC标准编码；分别统计这两类HEVC标准编码视频序列前100帧在Lowdelay(Main)配置方案下的QP等于27时深度为0、深度为1和深度为2的CU其最佳预测模式是Mode1、Mode2和Mode3的概率分布情况，进而分别得到上述两类HEVC标准编码视频序列中CU在不同深度下其最佳预测模式分别是Mode1、Mode2和Mode3的概率分布图。图4所示的是视频序列BQSquare和Vidyo1中CU在各个深度下最佳预测模式是Mode1的分布概率图；图5所示的是视频序列BQSquare和Vidyo1中CU在各个深度下最佳预测模式是Mode2的分布概率图；图6所示的是视频序列BQSquare和Vidyo1中CU在各个深度下最佳预测模式是Mode3的分布概率图。根据图4、图5和图6所示的分布概率图，将深度为0的CU的帧间PU模式类别设置成Mode1；深度为1的CU的帧间PU模式类别设置成Mode1或者Mode2，深度为2的CU的帧间PU模式类别设置成Mode1、Mode2或者Mode3。

图7是本发明HEVC快速CU深度划分编码方法的一个优选实施例的流程示意图，具体的操作步骤是：

步骤1、深度为0的最大编码单元LCU遍历完包括帧间模式和帧内模式预测后，判断LCU的CBF和MVD值是否均为0，如果满足该条件，判断其最佳预测模式是否属于Mode1，如果属于，则直接终止当前CU划分；如果不属于，则继续进行预测编码计算当前LCU的率失真代价，将LCU划分为深度为1的4个子CU，转步骤2；

步骤2、深度为1的子CU遍历完帧间模式和帧内模式预测后，判断当前CU的CBF和MVD值是否均为0，如果满足该条件，判断当前子CU的最佳预测模式是否属于Mode1或Mode2，如果属于，则直接终止当前CU划分；如果不属于，则继续进行预测编码计算当前CU的率失真代价，将当前子CU划分为深度为2的4个子CU后，转步骤3；

步骤3、深度为2的子CU遍历完帧间模式和帧内模式预测后，判断当前CU的CBF和MVD值是否均为0，如果满足该条件，判断当前子CU的最佳预测模式是否属于Mode1或Mode2或Mode3，换句话说，判断当前子CU的最佳预测模式是否属于任意一种帧间PU模式，如果属于，则终止当前CU划分；如果不属于，则对当前CU进行划分。

为了验证本发明方法的效果，进行了以下验证试验：选取5类不同分辨率的视频序列Traffic：2 560×1600，BQTerrace：1920×1080，BQMall：832×480，BQSquare：416×240和Vidyo1：1280×720利用本发明方法在Low delay(Main)和Random access(Main)编码配置方案下对各个视频序列的前100帧进行了编码，本发明编码方法在HEVC参考软件HM10.0上实现并与参考软件做了对比试验。

从三个角度对本发明方法的试验结果进行评估，使用两个客观评价标准编码码率和PSNR值来反映视频编码质量，使用编码节省时间来反映本发明方法的实时性。

编码码率变化情况使用编码码率BD-rate(％)的增加量来度量，PSNR变化情况使用Y-PSNR(dB)的下降率来度量，具体计算方法如下：

步骤1、在不同的编码方案下，得到HEVC标准编码算法和CU深度划分编码算法的视频序列的码率BD-rate和Y-PSNR值；

步骤2、在不同的编码方案下，通过四个不同QP值(QP＝22、27、32和37)的码率BD-rate和Y-PSNR值，拟合出一条码率BD-rate和Y-PSNR值函数曲线；

步骤3、计算这两条拟合曲线差值的积分，分别得到编码码率BD-rate(％)的增加率和Y-PSNR(dB表示)的下降率。

编码节省时间情况使用平均编码节省时间(Average Saving Time，AST)来度量，具体如下：

AST＝(HEVC标准编码方法的编码时间-快速编码方法的编码时间)÷HEVC标准编码方法的编码时间。

所得到的实验对比数据如下表1所示。

表1 与HM10.0的性能对比实验

从表1的实验结果可以看出：

(1)在Random access(Main)编码配置方案下，五种不同分辨率的视频序列的码率BD-Rate平均仅增加约0.56％，其Y-PSNR值平均下降了约0.021dB，编码时间平均节省了约51.52％；

(2)在Low delay(Main)编码配置方案下，五种不同分辨率的视频序列的码率BD-Rate平均仅增加约0.236％，其Y-PSNR值平均下降了约0.00658dB，编码时间平均节省了约42.84％；

(3)从两种不同的编码配置方案的实验结果中可以看出，该算法能在保证图像质量的同时，有效减少编码时间，并适用与不同分辨率的视频序列。

Claims (5)

1.一种HEVC快速CU深度划分编码方法，其特征在于，将除了帧间N×N模式外的7种帧间预测单元PU模式分成3类：Mode1、Mode2和Mode3；针对深度为0、深度为1和深度为2的编码单元CU预先分别设置不同的帧间PU模式类别；在CU 划分过程中，如果CU在当前深度下的编码块标志CBF和运动矢量差MVD都为0、其最佳预测模式是帧间PU模式且满足相应设置的帧间PU模式类别，则提前终止当前CU的四叉树划分；具体采用以下步骤：

步骤1、若深度为0的最大编码单元LCU遍历完帧间模式和帧内模式预测后且LCU的CBF和MVD值均为0，判断其最佳预测模式是否属于Mode1，如果是，则终止当前CU划分；如果否，则继续进行预测编码计算当前LCU的率失真代价，将LCU划分为深度为1的4个子CU，转步骤2；

步骤2、若深度为1的子CU遍历完帧间模式和帧内模式预测后且CU的CBF和MVD值均为0，判断当前子CU的最佳预测模式是否属于Mode1或Mode2，如果是，则终止当前CU划分；如果否，则继续进行预测编码计算当前CU的率失真代价，将当前子CU划分为深度为2的4个子CU后，转步骤3；

步骤3、若深度为2的子CU遍历完帧间模式和帧内模式预测后且CU的CBF和MVD值均为0，判断当前子CU的最佳预测模式是否属于Mode1或Mode2或Mode3，如果是，则终止当前CU划分；如果否，则继续进行预测编码计算当前CU的率失真代价，将当前子CU划分为深度为3的4个子CU后，转步骤4；

步骤4、分别对4个深度为3的子CU进行完整的帧间和帧内预测编码并计算出各自的率失真代价。

2.如权利要求1所述HEVC快速CU深度划分编码方法，其特征在于，所述Mode1的具体设定如下：

Mode1是帧间PU模式为Inter_2N×2N正方形划分方式，代表CU运动趋于平缓。

3.如权利要求1所述HEVC快速CU深度划分编码方法，其特征在于，所述Mode2的具体设定如下：

Mode2是帧间PU模式为Inter_N×2N或Inter_2N×N两种对称矩形划分方式，代表CU运动趋于适中。

4.如权利要求1所述HEVC快速CU深度划分编码方法，其特征在于，所述Mode3的具体设定如下：

Mode3是帧间PU模式为Inter_2N×nU、Inter_2N×nD、Inter_nL×2N 或Inter_nL×2N四种不对称矩形划分方式，代表CU运动趋于复杂。

5.如权利要求1所述HEVC快速CU深度划分编码方法，其特征在于，所述深度为0、深度为1和深度为2的编码单元CU是按照以下方法预先分别设置不同的帧间PU模式类别，具体如下：

步骤1、选取纹理丰富运动复杂的视频序列BQSquare和纹理简单运动平缓的视频序列Vidyo1，分别进行HEVC标准编码；对这两类HEVC标准编码视频序列分别统计深度为0、深度为1和深度为2的CU其最佳预测模式是Mode1的概率分布情况，进而得到上述两类HEVC标准编码视频序列中CU在不同深度下其最佳预测模式是Mode1的概率分布图；

步骤2、对视频序列BQSquare和Vidyo1分别统计深度为0、深度为1、深度为2的CU其最佳预测模式是Mode2的概率分布情况，进而得到上述两类HEVC标准编码视频序列中CU在不同深度下其最佳预测模式是Mode2的概率分布图；

步骤3、对视频序列BQSquare和Vidyo1分别统计深度为0、深度为1、深度为2的CU其最佳预测模式是Mode3的概率分布情况，进而得到上述两类HEVC标准编码视频序列中CU在不同深度下其最佳预测模式是Mode3的概率分布图；

步骤4、根据视频序列BQSquare和Vidyo1中CU在深度为0、深度为1和深度为2下其最佳预测模式分别是Mode1、Mode2和Mode3的概率分布图，对深度为0、深度为1和深度为2的CU分别设置不同的帧间PU模式类别：深度为0时，设置帧间PU模式类别为Mode1；深度为1时，设置帧间PU模式类别为Mode1或Mode2；深度为2时，设置帧间PU模式类别为Mode1或Mode2或Mode3。