CN105491385A - 一种hevc帧内编码单元划分的快速决策方法 - Google Patents

Abstract

一种HEVC帧内编码单元(Coding？Unit,CU)划分的快速决策方法，根据CU的深度分别采取相对应的策略来决定CU是否继续划分或是跳过该CU的预测过程。采用哈尔小波变换计算每个CU的水平、垂直和对角线三个方向上的亮度变化，并依照变化的大小来确定CU的纹理复杂度。对于深度为0和1的CU，如果这三个方向上的亮度变化都大于某一阈值，当前CU需要继续划分。对于这样的CU，当前CU的基于率失真优化(Rate？Distortion？Optimization,RDO)的预测过程将被跳过，直接划分到下一层。对于深度为2和3的CU，如果三个方向的亮度变化都小于某一阈值，则当前CU不会继续划分。该方法结合了CU划分分布的统计特征及纹理特征，可以有效地预测CU的划分是否应当终止或者继续划分，从而对四叉树进行有效的剪枝和跳过冗余编码的节点。本发明可显著减少HEVC编码器帧内编码的计算复杂度。

Description

一种HEVC帧内编码单元划分的快速决策方法

技术领域

本发明属于高性能视频编码(HighEfficiencyVideoCoding，HEVC)技术领域，涉及在帧内编码中CU划分的决策技术。

技术背景

为了产生更好的压缩效果，HEVC编码标准采用了四叉树结构的图像划分方式。这种划分方式可以获得比H.264/AVC更好的压缩效率，但同时由于需要对每一种尺寸的编码单元(CodingUnit，CU)、预测单元(PredictionUnit，PU)和变换单元(TransformUnit，TU)都要通过率失真优化(Rate-DistortionOptimization，RDO)计算得出最优的划分，使得编码器的计算复杂度大幅提升。如果能够提前预测CU的划分方式，那么可以对四叉树中某些节点直接跳过RDO过程或者对四叉树进行剪枝，这样就可以有效地降低编码器的复杂度。

HEVC的测试软件(HEVCModel，HM)默认所采用的CU的大小为64×64、32×32、16×16和8×8，分别对应CU的深度(Depth)为0、1、2、3。其中深度为0的CU记为LCU(LargestCodingUnit，LCU)或是CTU(CodingTreeUnit,CTU)，深度为3的CU记为SCU(SmallestCodingUnit，SCU)。在帧内编码中，对于深度为0、1、2的CU，PU的大小始终与CU保持一致。对于SCU，除了要做与CU同样大小的8×8的PU的预测，还要进行将SCU划为4个4×4的PU的操作。图1(a)、图1(b)是LCU划分为CU的一个示例。HEVC的编码器采用四叉树的深度递归来确定LCU的最终划分。这种方式需要遍历四叉树中的所有节点，计算出每个节点的CU的RD-cost，从而来比较父亲节点的RD-cost和其四个儿子节点的RD-cost的算数和来确定选择RD-cost较小的CU。由于需要遍历所有的节点，所以这个确定CU划分的过程存在了大量的冗余计算。显然，如果可以预判出CU的划分，那么可以避免这种穷搜方法带来的大量的冗余计算。例如，如果在某一节点便可以判断出该节点的CU即是最终的划分，那么就不需要遍历该节点的孩子节点，从而可以对四叉树进行剪枝。或者判断出该节点不是最终的划分，那么就不需要对该节点的CU做任何的计算，从而跳过该节点。例如附图1中的1、2、3、8和9等节点，如果可以在这些节点上判断出该节点的CU即是编码器最终选取的CU，那么就不需要遍历这些节点的孩子节点。同样，对于图1中的1、2、3的父亲节点或是4、5、6的父亲节点，如果可以判断出其不是最终划分，那么就可以跳过这些节点的计算。如果可以有效的判断出这些节点，那么就可以大大的降低HEVC编码器的计算复杂度，从而更有利于实时编码的实现。

CU的大小通常被记为2N×2N，将SCU划为4个4×4的PU的过程记为Intra_N×N，将CU划为同等大小的PU的过程记为Intra_2N×2N。将SCU的Intra_N×N这一过程作为SCU划分至下一层CU来处理，这样有助于统计分析。HM的编码器采用递归的方式对LCU进行划分，对于每一层的CU都要利用基于RDO的预测来决定PU和TU的划分，其中TU的划分也采用了四叉树的划分方式。

为了减少穷尽搜索所带来的多余的计算量，现有的一些方案针对CU的划分进行了一系列的优化：例如文献1(参见H.Zhang,andZ.Ma,“FastIntraModeDecisionforHighEfficiencyVideoCoding(HEVC),”IEEETransactionsonCircuitsandSystemsforVideoTechnology(CSVT),vol.24,no.4,660-668,(2014).)利用帧内方向预测中所使用的哈达玛变换(HadamardTransform)计算出的变换残差绝对值和(SumofAbsoluteTransformedDifference，SATD)来代表当前编码CU的四个子CU的复杂度。当每一个子CU都进行完RDO过程后，将已经做过RDO的子CU的RD-cost累加并按照SATD来推断子CU的RD-cost在子CU一层所占的比例，然后对累加的RD-cost按照比例进行放大与父辈的CU的RD-cost进行比较。如果子CU的RD-cost超过了父辈的CU，那么划分终止，最优层即是父辈的CU。该方法由于需要用子CU的RD-cost与父辈的CU进行比较，所以还是需要多余的计算来确定是否终止。如果可以提前预测CU的终止，那么就不必要计算子CU的RD-cost。同时，该方法没有预测一定继续划分的CU，所以这一部分的冗余计算没有任何减少。文献2(参见KhanMUK,ShafiqueM,HenkelJ.“AnAdaptiveComplexityReductionSchemewithFastPredictionUnitDecisionforHEVCIntraEncoding,”IEEEInternationalConferenceonImageProcessing(ICIP),1578-1582(2013).)利用了PU的大小分布和视频特征。如果PU的方差大于某一范围，那么当前PU应当被继续划分以此来减少当前PU的方差并使其小于某一阈值。文献中提出在分割过程之前形成一个PU的分割图。四个相同大小的PU如果方差都小于某一阈值，应当被合并起来。通过这样从下往上的方式，形成一个PU的分割图。文献中的阈值通过视频序列的第一帧训练并用瑞利分布近似获得。然而该方法由于只使用了方差一个特征，所以导致预测不够准确，从而导致编码器加速后视频质量损失较大。

发明内容

本发明的目的在于提供一种HEVC帧内CU划分的快速决策方法。

首先考虑CU划分分布的特征，旨在对CU的每一深度都可以达到最大的优化效果。通过大量的统计分析，深度为0的CU绝大部分都选择继续划分，而深度为2和3的大部分CU都选择不继续划分。深度为1的CU划分百分比在百分之五十左右。由于对尺寸较大的CU的错误预测会导致较大失真，在0层、1层主要是对一定继续换分的CU进行预测，而在2层、3层是对不继续划分的CU进行预测。结合纹理复杂度，在0层、1层检测纹理复杂度较高的CU，在2层、3层检查复杂度较低的CU。

为此：首先通过非归一化哈尔变换(non-normalizedHaarTransform，NHT)计算出水平、垂直和对角线上亮度分量的变化。这里的非归一化是指并未对哈尔小波变换计算出的系数除以像素点的个数。对于深度为0和1的CU，如果这三个方向上的亮度分量变化都大于某一阈值，则说明当前CU的纹理复杂度高，应当使得当前CU继续分割来减小纹理复杂度。对于深度为2和3的CU，如果这三个方向上的亮度分量变化都小于某一阈值，则说明当前CU的纹理是平滑的，不需要继续分割。

利用非归一化的哈尔变换计算三个方向的亮度分量变化过程具体如下。假设一个2N×2N大小的CU，LT、RT、LB、RB分别代表其四个N×N大小的互不重叠的子CU。用S_LT,S_RT,S_LB,S_RB分别代表四个子CU的亮度分量和，相应的NHT系数可以推导为：

LL＝S_LT+S_RT+S_LB+S_RB

LH＝S_LT+S_RT-S_LB-S_RB(1)

HL＝S_LT-S_RT+S_LB-S_RB

HH＝S_LT-S_RT-S_LB+S_RB

利用这些系数，水平、垂直和对角线三个方向的亮度变化LC_V、LC_H及LC_D可以依次表示为：

$\begin{array}{c}{\mathrm{LC}}_V=\left|\frac{LH}{LH+LL}\right|\\ {\mathrm{LC}}_H=\left|\frac{HL}{HL+LL}\right|\\ {\mathrm{LC}}_D=\left|\frac{HH}{HH+LL}\right|\end{array}---\left(2\right)$

如果LC_V,LC_H,LC_D都小于某一个较小的阈值，就意味着CU的纹理复杂度很小，CU的分割过程可以结束而且不会引起明显的编码效率损失。如果LC_V,LC_H,LC_D都大于某一个比较大的阈值，CU必须继续分割以减小纹理复杂度。

CU继续划分的阈值Th_SC和不继续划分的阈值Th_NSC设置如下：

Th_SC＝Th₁+0.01*ΔQP(3)

Th_NSC＝Th₂+floor(0.1*ΔQP)/10(4)

Th_NSC＝Th₂(5)

其中，

${\mathrm{Th}}_1=\begin{array}{cc}0.1& \left(Depth=0\right)\\ 0.2& \left(Depth=1\right)\end{array}---\left(6\right)$

${\mathrm{Th}}_2=\left\{\begin{array}{cc}0.005& \left(Depth=2\right)\\ 0.1& \left(Depth=3\right)\end{array}\right.---\left(7\right)$

ΔQP＝QP_curr-22(8)

公式中，Depth表示CU的深度，QP_curr表示当前编码器所设置的QP。公式(6)和(7)列出了公式(3)、(4)和(5)的初始值Th₁和Th₂的设定。公式(8)表示编码QP值相对QP等于22的改变值。公式(3)适用于深度为0和1的CU。公式(4)适用于深度为2和3的CU。公式(5)适用于深度为2的CU。

本发明包括以下步骤：

(1)计算LCU内互不重叠的4×4大小的块的亮度分量和，并将结果保存到数组中。具体地，将256个4×4大小相同的块的亮度算数和按照光栅扫描的顺序存储在大小为256的数组中。在计算某一CU的三个方向上的亮度变化时，将每个4×4的块的Z扫描顺序的坐标按照光栅扫描和Z扫描之间坐标关系的查找表转换为光栅扫描的坐标，即可以从数组中取出每个4×4小块的亮度分量和。这样做可以避免重复的访问原始帧所在的内存并有效减少计算量。

(2)计算当前CU的水平、垂直和对角线方向的能量LC_V,LC_H,LC_D。

(3)如果当前CU的深度为0或是1，判断LC_V,LC_H,LC_D是否大于Th_SC。如果大于的话，当前CU的基于RDO的预测过程被跳过，直接进入下一层。否则，进行基于RDO的预测过程。

(4)如果当前CU的深度为2或3，判断LC_V,LC_H,LC_D是否小于Th_NSC。如果小于的话，对于深度为2的CU，不再向下继续划分。对于深度为3的CU，将CU划分为四个PU(PredictionUnit,预测单元)的过程即Intra_N×N将被跳过。

由于采用上述技术方案，本发明的有益效果是：

1)利用了CU各个深度的不同的划分分布特点，采用分治策略对不同深度的CU采取了相对应的预测方式以保证预测的正确率。通过对纹理复杂度的检测，可以使得纹理复杂度较高的CU直接划分至下一层，从而避免多余的基于RDO的预测。对于纹理复杂度很低的CU，令其划分过程终止，可以有效的对CU的四叉树进行剪枝；

2)综合考虑多方向的能量变化，可以有效地预测CU的纹理复杂度，从而可以在几乎不损失编码质量的情况下，显著提高HEVC编码器的帧内编码效率。

附图说明

图1(a)为LCU划分的示例。

图1(b)为与图1(a)示例相对应的四叉树划分。

图2为本发明每一层CU在不同QP下的继续划分的CU占当前层所有CU的比例分布。

图3为本发明一个大小为2N×2N的CU及其四个子CU(LT、RT、LB、RB)。

图4为本发明算法流程图。

图5(a)为光栅扫描转Z扫描的查找表。

图5(b)为Z扫描转光栅扫描的查找表。

图6是B类(1080P)视频在不同QP下所设置的阈值。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

请参阅图4，如图所示，其中包括：

步骤1：基于HEVC通用的测试平台HM16.1来实现本算法。当编码一个LCU时，首先进行初始化操作：为了避免重复计算CU的亮度分量算术和，将LCU中256个互不重叠的4×4块的亮度分量算数和求出，并存储在一维数组中，这样在后续计算各个亮度变化时，只需要从该数组一维中按照光栅扫描和Z扫描之间关系获取所需的各个小块的亮度和相加即可，从而避免重复计算亮度和。其中，两种扫描的转换通过HM16.1所使用的光栅扫描坐标转Z扫描坐标的查找表和Z扫描坐标转光栅扫描坐标的查找表进行坐标的转换。图5是两个查找表，查找表是按照将LCU划分为4×4块来设置的，这与计算4×4块的亮度分量算术和所需的查找表相吻合。例如可以从编码器获得当前编码CU的在LCU内的Z扫描坐标，假设当前CU在LCU内的Z扫描坐标为24，25，26，27，即当前CU是一个8×8的块，那么对应的光栅扫描坐标则为36，37，52，53。即将24，25，26和27带入图5中的(b)Z扫描转光栅扫描的查找表即可得到对应的光栅扫描坐标。

步骤2：深度递归编码LCU的各个子CU即四叉树中的各个节点，对于一个编码单元，首先判断其深度。如果深度为0或者1，转步骤2。对于深度为2的CU，转步骤3。否则转步骤4。

步骤3：对于深度为0和1的CU，根据前文所述公式(3)计算阈值Th_SC，根据前文所述公式(2)计算分别代表水平、垂直和对角线能量变化的系数，LC_V,LC_H,LC_D。如果LC_V,LC_H,LC_D都小于Th_SC，那么对该CU不做任何的预测，即跳过该四叉树中的节点继续深度递归遍历该节点的孩子节点。否则，按照HM16.1中的帧内编码过程对该CU编码。从公式(3)和(4)可以看出，阈值的选取与QP有关。这里以B类(1080P)视频为例。当CU深度为1时，根据公式(3)可以计算出当QP为22，27，32和37时，Th_SC分别为0.1，0.2，0.3，0.4。所以当QP为22，LC_V,LC_H,LC_D都大于0.1时，不对当前CU做任何预测操作，只需要将当前CU的RD-cost设置为双精度浮点数的最大值即可，然后继续向下递归划分CU。

步骤4：对于深度为2的CU，采取固定阈值的方式并且设置为0.005，根据公式(2)计算深度为2的CU的LC_V,LC_H,LC_D，如果计算出的这三个数都小于固定阈值0.005，则当该CU做完Intra_2N×2N，CU划分终止，即完成了对四叉树的剪枝操作。当深度为2时，阈值设置为固定值是考虑到了这一深度的CU难以区分，在保证编码质量的前提下，所以将阈值设置为一个较小的值。

步骤5：对于深度为3的CU，根据公式4计算阈值Th_NSC。根据公式(2)计算深度为3的CU的LC_V,LC_H,LC_D，如果计算出的这三个数都小于Th_NSC。，则当前CU只做Intra_2N×2N。否则，和HM原有方案保持一致，做Intra_2N×2N和Intra_N×N的两个操作。由于深度为3的CU是SCU，所以其PU的划分有两种，即Intra_2N×2N和Intra_N×N。对于B类视频，根据公式(4)计算出阈值为0.1，0.1，0.2和0.2分别对应QP为22，27，32和37。例如，当QP为22并且LC_V,LC_H,LC_D都小于0.1时，Intra_N×N将被跳过，只需要做Intra_2N×2N。其它类的视频阈值的选取同B类视频一样推导出阈值，并根据计算出的LC_V,LC_H,LC_D来确定是否继续划分或是跳过基于率失真优化的预测过程。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (8)

1.一种HEVC帧内CU划分的快速决策方法，其特征在于：根据对HEVC帧内CU不同深度的划分比例统计信息，对不同的深度的CU分别采取相应的策略；对于深度为0和1的CU，预测CU是否一定继续向下层子CU划分；对于深度为2和3的CU预测其是否一定不划分。

2.根据权利要求1所述的方法，其特征在于：采用哈尔小波变换计算每个CU水平、垂直和对角线三个方向的亮度变化，并依照亮度变化的大小来确定CU的纹理复杂度；对于深度为0和1的CU，如果这三个方向上的亮度变化都大于某一阈值，说明当前编码的CU的纹理复杂度较大，所以当前CU需要继续划分；对于这样的CU，当前CU的基于RDO的预测将被跳过，直接划分到下一层；对于深度为2和3的CU，如果三个方向的亮度变化都小于某一阈值，就证明当前CU的纹理是平滑的，则当前CU不会继续划分。

3.根据权利要求1所述的方法，其特征在于：首先考虑CU划分分布的特征以对CU的每一深度都可以达到最大的优化效果；在0层、1层主要是对一定继续换分的CU进行预测，而在2层、3层是对不继续划分的CU进行预测；结合纹理复杂度，在0层、1层检测纹理复杂度较高的CU，在2层、3层检查复杂度较低的CU。

4.根据权利要求3所述的方法，其特征在于：首先通过非归一化哈尔变换NHT计算出水平、垂直和对角线上亮度分量的变化；所述非归一化是指并未对哈尔小波变换计算出的系数除以像素点的个数。

5.根据权利要求4所述的方法，其特征在于：利用NHT计算三个方向的亮度分量变化过程包括：

假设一个2N×2N大小的CU，LT、RT、LB、RB分别代表其四个N×N大小的互不重叠的子CU；用S_LT,S_RT,S_LB,S_RB分别代表四个子CU的亮度分量和，相应的NHT系数推导为：

LL＝S_LT+S_RT+S_LB+S_RB

LH＝S_LT+S_RT-S_LB-S_RB(1)

HL＝S_LT-S_RT+S_LB-S_RB

HH＝S_LT-S_RT-S_LB+S_RB

利用这些系数，水平、垂直和对角线三个方向的亮度变化可以分别表示为：

${\mathrm{LC}}_V=\left|\frac{LH}{LH+LL}\right|$

${\mathrm{LC}}_H=\left|\frac{HL}{HL+LL}\right|---\left(2\right)$

${\mathrm{LC}}_D=\left|\frac{HH}{HH+LL}\right|$

如果LC_V,LC_H,LC_D都小于某一个较小的阈值，就意味着CU的纹理复杂度很小，CU的划分过程可以结束而且不会引起明显的编码效率损失；如果LC_V,LC_H,LC_D都大于某一个比较大的阈值，CU必须继续分割以减小纹理复杂度。

6.根据权利要求4所述的方法，其特征在于：CU继续划分的阈值Th_SC和不继续划分的阈值Th_NSC设置如下：

Th_SC＝Th₁+0.01*ΔQP(3)

Th_NSC＝Th₂+floor(0.1*ΔQP)/10(4)

Th_NSC＝Th₂(5)

其中，

${\mathrm{Th}}_1=\begin{array}{cc}0.1& \left(Depth=0\right)\\ 0.2& \left(Depth=1\right)\end{array}---\left(6\right)$

${\mathrm{Th}}_2=\left\{\begin{array}{cc}0.005& \left(Depth=2\right)\\ 0.1& \left(Depth=3\right)\end{array}\right.---\left(7\right)$

ΔQP＝QP_curr-22(8)

其中，Depth表示CU的深度，QP_curr是编码器设置的初始QP值。公式(6)和(7)列出了公式(3)、(4)和(5)的初始值Th₁和Th₂的设定；公式(8)表示编码器设置的QP值相对于QP等于22的改变值；公式(3)适用于深度为0和1的CU；公式(4)适用于深度为3的CU；公式(5)适用于深度为2的CU。

7.根据权利要求5所述的方法，其特征在于：包括以下步骤：

(1)计算LCU块中互不重叠的4×4大小的块的亮度分量和，并将结果保存到一维数组中；

(2)计算当前CU的水平、垂直和对角线方向的能量LC_V,LC_H,LC_D；

(3)如果当前CU的深度为0或是1，判断LC_V,LC_H,LC_D是否大于Th_SC；如果大于的话，当前CU的基于RDO的预测过程被跳过，直接划分至下一层；否则，进行基于RDO的预测过程；

(4)如果当前CU的深度为2或3，判断LC_V,LC_H,LC_D是否小于Th_NSC；如果小于的话，对于深度为2的CU，不再向下继续划分；对于深度为3的CU，将CU划分为四个预测单元PU的过程即Intra_N×N将被跳过。

8.根据权利要求7所述的方法，其特征在于：步骤(1)中，将256个4×4大小相同的块的亮度算数和按照光栅扫描的顺序存储在大小为256的数组中；在计算某一CU的三个方向上的亮度变化时，将每个4×4的块的Z扫描顺序的坐标按照光栅扫描和Z扫描之间坐标关系的查找表转换为光栅扫描的坐标，即可以从数组中取出每个4×4小块的亮度分量和以避免重复的访问原始帧所在的内存并有效减少计算量。