CN104023234B - 一种适用于hevc的快速帧间预测方法 - Google Patents

Abstract

本发明提供了一种适用于HEVC的快速帧间预测方法。该方法首先在PU(Prediction Unit，预测单元)级的模式决策上，利用当前CU(Coding Unit，编码单元)与其时空上相邻最近的所有已编码块获得的MV(Motion Vector，运动矢量)长度提前决定2Nx2N(N＝32，16，8，4)分割；接着在CU级上利用RDcost对满足条件的CU终止其进一步分割计算。本发明方法可精确地终止CU不必要的深度计算以及终止PU不必要的模式计算，能够极大地降低HEVC的帧间编码复杂度，有助于实现HEVC编码器的实时应用。

Description

一种适用于HEVC的快速帧间预测方法

【技术领域】

本发明属于数字视频通信领域中的视频信息处理领域，具体涉及一种基于率失真代价与运动矢量长度的HEVC(High Efficiency Video Coding，高效率视频编码)快速帧间预测方法。

【背景技术】

随着科技的不断进步，人们对视觉和听觉质量的要求越来越高，高清视频和超高清视频开始被普遍关注。10年之前创立的第二代视频编码标准H.264/AVC已不能满足人们对于实际应用的要求，工业界和学术界对新一代视频编码标准的渴望越来越强烈。在这一形势下，VCEG和MPEG两大标准组织开始进行合作开发，在2010年1月成立了称为JCT-VC(Joint Collaborative Team on Video Coding)的联合组织，开始统一制定下一代视频编码标准并取名为High Efficiency Video Coding(HEVC，高效率视频编码)，并于2013年1月正式成为国际视频编码标准。

HEVC虽然跟以往的视频编码标准一样都采用基于块的编码框架，但HEVC做了大量的技术创新。首次提出三个编码单元概念：CU(Coding Unit，编码单元)，PU(PredictionUnit，预测单元)，TU(Transform Unit，变换单元)。对于CU创新性地了采用基于四叉树的块尺寸递归分割结构，最大尺寸可达64×64像素。对于帧间的PU，每个深度级上有SKIP/Merge,2Nx2N,2NxN,Nx2N；如果此时深度不为3，那么所有的AMP(Asymmetric MotionPartition，不对称运动分割)模式：2NxnU，2NxnD，nLx2N and nRx2N也需包含进去。对于TU采用一种称为RQT(Residual Quad-tree Transform，残差四叉树)分割结构，其变换块的大小可根据残差的特性进行自适应的调整。

上述所列的技术只是HEVC引进的众多技术中最为突出的部分。引进的 这些创新技术使得HEVC跟H.264相比在保证相同视频质量的同时，码率可减少50％左右。

可见，随着对未来高清以及超高清视频的不断需求，以及移动设备的大力发展，在可用带宽限制的前提下，HEVC展现出了巨大的市场应用潜力。但在取得高增益的同时，HEVC也面临着一个巨大的问题，跟H.264相比，HEVC的编码复杂度至少是其4倍，不利于实时应用。而HEVC中的模式选择又占到整个编码时间的80％以上，可见研究一种高效的快速模式选择算法对于降低HEVC的编码复杂度显得尤为重要。

对于帧间CU与PU的快速决策，已提出了众多的提案，如基于SKIP模式的子树提前修剪算法，该方法首先检查当前CU是否为SKIP模式，若是则提前结束其分割过程，该方法简单有效，称为ECU(Early CU determination)；此外还提出了一种CFM(CBF Fast Mode)即检查当前亮度块与对应的两个色度块的cbf(coded block flag)是否全部为0，若是，则终止当前CU深度余下的PU模式处理；同样还提出了一种提前检测SKIP模式的方法，首先对2Nx2N模式进行运动估计，之后检查其DMV(motion vector difference，运动矢量差值)与cbf是否全部为0，若是则当前PU最优模式为SKIP模式，该方法称为ESD(Early SKIP Decision)。目前这三种方法(ECU，CFM，ESD)已被HEVC标准采纳，作为HM(HEVC Test Model)的可选配置选项。但HEVC的编码复杂度还是相当巨大。

下面简要说明HEVC的帧间预测过程。如图1所示，帧间CTU(Coding-Tree-Unit，编码树单元)的划分从最大的编码单元即64x64的CU开始，此时深度为0。首先对它进行预测编码，得到其RDcost(Rate-Distortion cost，率失真代价)，接着将他分为4个子CU，每个子CU的尺寸为32x32，深度为1，同样分别对这4个子CU进行预测编码，分别得到各自的RDcost。如此递归地划分下去；当CU的深度为3时，即尺寸为8x8时，终止当前CU的分割。接着对分割的CU模式进行选择，即依次比较4个8x8的RDcost之和是否小于其对应的16x16CU的RDcost，如果是，则选择8x8的分割模式，否则选择16x16的分割模式。如此比较下去，直到当前CU的深度为0。此外， 对于每个深度级的CU，需要对众多PU模式进行RDO(Rate DistortionOptimization，率失真优化)计算：如SKIP/Merge，2Nx2N，Nx2N以及2NxN，帧内预测(intraPU)；如果当前CU的深度不为3，那么也必须对所有的AMP模式：如2NxnU，2NxnD，nLx2N andnRx2N进行RDO计算。接着对每个深度级计算出的所有PU模式中选取一个RDcost最小的模式作为当前深度层的最优模式。

从以上看出，帧间预测需要穷尽地对4个深度级(深度范围：0-3)的CU以及每个深度级的所有PU模式进行RDO计算，才能决定出最优的分割模式，可见复杂度相当巨大。因此，发明一种有效的方法降低HEVC帧间预测的计算复杂度显得尤为重要。

【发明内容】

本发明所要解决的技术问题在于提供一种简单且高效的基于率失真代价与运动矢量长度的HEVC快速帧间预测方法，有助于实现HEVC编码器的实时应用。

本发明是这样实现的：

一种适用于HEVC的快速帧间预测方法，包括如下步骤：

步骤一：预处理统计阶段，具体包括：

步骤a1：统计基于RDcost的CU分割提前终止方法的阈值，每个深度级0-2上的随QP变化的三组阈值如下：

Thr_64x64＝2270×e^0.8907×QP (1)

Thr_32x32＝722.2×e^0.1096×QP (2)

Thr_16x16＝228.5×e^0.1136×QP (3)

其中，RDcost为率失真代价；

步骤a2：统计当前CU以及与其时空上相邻最近的所有已编码单元的MV长度信息与各个PU模式的关系，由式(4)(5)求出该组MV集合里的最大 MV长度L，统计L的阈值如下：L为0的QP是22，L为2的QP是27，L为4的QP是32，L为6的QP是37；

1(MV_i)＝|x_i|+|y_i|，i＝1，2，3，4，5，6 (4)

其中，x_i为运动矢量横坐标，y_i为运动矢量纵坐标；

L＝max{1(MV₁)，1(MV₂)，1(MV₃)，1(MV₄)，1(MV₅)，1(MV₆)} (5)

步骤二：实施阶段：

步骤b1：读入一个CU块，进行SKIP/Merge模式计算；进行inter2Nx2N的RDO计算，收集所有MV信息；其中，inter 2Nx2N代表帧间2Nx2N尺寸的编码单元尺寸，RDO表示率失真优化；

步骤b2：判断MV集合中除MV₁以外的其余5个MV是否至少存在3个，是，转到步骤b3；否则，转到步骤b4；

步骤b3：按式(4)与式(5)得出L，判断L是否小于对应QP下的阈值，是，则转到步骤b5；否则，转到步骤b4；

步骤b4：计算Nx2N分割模式，计算2NxN分割模式，计算所有AMP模式，进行帧内预测；其中，AMP表示不对称分割模式；

步骤b5：比较已计算的各个模式的RDcost，把最小的RDcost记为RDcost_best；

步骤b6：判断当前CU的深度，若深度为3，转到步骤b1；否则，转到步骤b7；

步骤b7：判断当前帧是否为I帧，若是，转到步骤b13；否则，转到步骤b8；

步骤b8：判断当前CU的深度，若是0，转到步骤b9；若是1，转到步骤b10；若是2，转到步骤b11；

步骤b9：由式(1)计算出Thr_64x64，判断RDcost_best是否小于Thr_64x64，若是，转到步骤b12；否则转到步骤b13；

步骤b10：由式(2)计算出Thr_32x32，判断RDcost_best是否小于Thr_32x32，若是，转到步骤b12；否则转到步骤b13；

步骤b11：由式(3)计算出Thr_16x16，判断RDcost_best是否小于Thr_16x16，若是，转到步骤b12；否则转到步骤b13；

步骤b12：终止当前CU的进一步分割，对下一个CU转到步骤b1；

步骤b13：将当前CU分割成4个子CU，对每个子CU转到步骤b1进行相应的处理。

本发明的优点在于：1、简单有效，不会带来额外的计算复杂度，可精确的终止当前CU块不必要的划分以及跳过当前CU深度不必要的PU模式的RDO计算，而且可灵活控制所选阈值，使其适用于不同的应用场景，同时本方法非常利于硬件和软件的实现。2、本发明不会改变HEVC原有的码流结构，与HEVC标准完全兼容。3、对HEVC的编码效率几乎没有影响，可以灵活控制编码效率与编码复杂度之间的折中。

【附图说明】

下面参照附图结合实施例对本发明作进一步的描述。

图1是HEVC帧间CU递归划分过程以及各深度上对应的PU模式。

图2是本发明中所有MV的位置关系。

【具体实施方式】

一种适用于HEVC的快速帧间预测方法，包括如下步骤：

步骤一：预处理统计阶段，具体包括：

步骤a1：统计基于RDcost的CU分割提前终止方法的阈值，每个深度级0-2上的随QP(Quantization Parameter，量化参数)变化的三组阈值如下：

Thr_64x64＝2270×e^0.8907×QP (1)

Thr_32x32＝722.2×e^0.1096×QP (2)

Thr_16x16＝228.5×e^0.1136×QP (3)

其中，RDcost为率失真代价；

步骤a2：统计如图2所示的当前CU以及与其时空上相邻最近的所有已编码单元的MV长度信息与各个PU模式的关系，由式(4)(5)求出该组MV集合里的最大MV长度L，统计L的阈值如下：L为0的QP是22，L为 2的QP是27，L为4的QP是32，L为6的QP是37；

1(MV_i)＝|x_i|+|y_i|，i＝1，2，3，4，5，6 (4)

其中，x_i为运动矢量横坐标，y_i为运动矢量纵坐标；

L＝max{1(MV₁)，1(MV₂)，1(MV₃)，1(MV₄)，1(MV₅)，1(MV₆)} (5)

步骤二：实施阶段，具体包括：

步骤b1：读入一个CU块，进行SKIP/Merge模式计算；进行inter2Nx2N的RDO计算，收集如图2所示的所有MV信息；其中，inter 2Nx2N代表帧间2Nx2N尺寸的编码单元尺寸，RDO表示率失真优化；

步骤b2：判断MV集合中除MV₁以外的其余5个MV(MV₂、MV₃、MV₄、MV₅、MV₆)是否至少存在3个，是，转到步骤b3；否则，转到步骤b4；

步骤b3：按式(4)与式(5)得出L，判断L是否小于对应QP下的阈值，是，则转到步骤b5；否则，转到步骤b4；

步骤b4：计算Nx2N分割模式，计算2NxN分割模式，计算所有AMP模式，进行帧内预测；

步骤b5：比较已计算的各个模式的RDcost，把最小的RDcost记为RDcost_best；

步骤b6：判断当前CU的深度，若深度为b3，转到步骤b1；否则，转到步骤b7；

步骤b7：判断当前帧是否为I帧，若是，转到步骤b13；否则，转到步骤b8；

步骤b8：判断当前CU的深度，若是0，转到步骤b9；若是1，转到步骤b10；若是2，转到步骤b11；

步骤b9：由式(1)计算出Thr_64x64，判断RDcost_best是否小于Thr_64x64，若是，转到步骤b12；否则转到步骤b13；

步骤b10：由式(2)计算出Thr_32x32，判断RDcost_best是否小于Thr_32x32，若是，转到步骤b12；否则转到步骤b13；

步骤b11：由式(3)计算出Thr_16x16，判断RDcost_best是否小于Thr_16x16，若是，转到步骤b12；否则转到步骤b13；

步骤b12：终止当前CU的进一步分割，对下一个CU转到步骤b1；

步骤b13：将当前CU分割成4个子CU，对每个子CU转到步骤b1进行相应的处理。

采用新一代的视频编码标准HEVC提供的参考软件HM 10.1来衡量本发明方法的效果。对HEVC建议的5个分辨率等级(Class ABCDE)中的18个测试序列进行全部测试。编码器参数为：low-delay-P(LDP，IPPPP……)编码模式，分别选取QP＝22，27，32，37，其余为默认设置(快速可选：TZsearch与FEN打开)，序列全部编码50帧。本发明方法与原始HM10.1算法比较的实验结果如表1所示。其中表1中的BDBR与BDPSNR为VCEG建议采用的评价准则，分别表示在同样的客观质量下，两种方法的码率节省情况以及在给定的同等码率下，两种方法的Y-PSNR的差异。其中△Time定义如下式(6)所示：

其中Time_HM10.1(QP_i)，Time_pro(QP_i)分别是原始HM10.1算法以及本发明方法在不同QP值下的编码时间。

表1：

从上表可看出，本发明提出的基于已编码块的率失真代价与MV长度的帧间快速CU与PU模式决策算法，效果良好，几乎不会影响编码器的率失真性能，BDBR仅增加1.566％。需要指出的是，本发明方法可灵活控制所选阈值，使其适用于不同应用场合。而且本发明方法硬件与软件的实现简单，不会像其他方法引入额外的计算复杂度。

经过以上的分析和实验验证，可以得出以下结论：本发明提出的基于已编码块的RDcost与MV长度的快速帧间CU与PU模式决策方法，其理论依据正确，实际应用可行，有助于实现HEVC编码器的实时应用。

以上所述仅为本发明的较佳实施用例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种适用于HEVC的快速帧间预测方法，其特征在于：包括如下步骤：

步骤一：预处理统计阶段，具体包括：

步骤a1：统计基于RDcost的CU分割提前终止方法的阈值，每个深度级0-2上的随QP变化的三组阈值如下：

Thr_64×64＝2270×e^0.8907×QP (1)

Thr_32×32＝722.2×e^0.1096×QP (2)

Thr_16×16＝228.5×e^0.1136×QP (3)

其中，RDcost为率失真代价；

步骤a2：统计当前CU以及与其时空上相邻最近的所有已编码单元的MV长度信息与各个PU模式的关系，由式(4)(5)求出该组MV集合里的最大MV长度L，统计L的阈值如下：L为0的QP是22，L为2的QP是27，L为4的QP是32，L为6的QP是37；

l(MV_i)＝|x_i|+|y_i|，i＝1，2，3，4，5，6 (4)

其中，x_i为运动矢量横坐标，y_i为运动矢量纵坐标；

L＝max{l(MV₁),l(MV₂),l(MV₃),l(MV₄),l(MV₅),l(MV₆)} (5)

步骤二：实施阶段：

步骤b1：读入一个CU块，进行SKIP/Merge模式计算；进行inter 2Nx2N的RDO计算，收集所有MV信息；其中，inter 2Nx2N代表帧间2Nx2N尺寸的编码单元尺寸，RDO表示率失真优化；

步骤b2：判断MV集合中除MV₁以外的其余5个MV是否至少存在3个，是，转到步骤b3；否则，转到步骤b4；

步骤b3：按式(4)与式(5)得出L，判断L是否小于对应QP下的阈值，是，则转到步骤b5；否则，转到步骤b4；

步骤b4：计算Nx2N分割模式，计算2NxN分割模式，计算所有AMP模式，进行帧内预测；其中，AMP表示不对称分割模式；

步骤b5：比较已计算的各个模式的RDcost，把最小的RDcost记为RDcost_best；

步骤b6：判断当前CU的深度，若深度为3，转到步骤b1；否则，转到步骤b7；

步骤b7：判断当前帧是否为I帧，若是，转到步骤b13；否则，转到步骤b8；

步骤b8：判断当前CU的深度，若是0，转到步骤b9；若是1，转到步骤b10；若是2，转到步骤b11；

步骤b9：由式(1)计算出Thr_64x64，判断RDcost_best是否小于Thr_64x64，若是，转到步骤b12；否则转到步骤b13；

步骤b10：由式(2)计算出Thr_32x32，判断RDcost_best是否小于Thr_32x32，若是，转到步骤b12；否则转到步骤b13；

步骤b11：由式(3)计算出Thr_16x16，判断RDcost_best是否小于Thr_16x16，若是，转到步骤b12；否则转到步骤b13；

步骤b12：终止当前CU的进一步分割，对下一个CU转到步骤b1；

步骤b13：将当前CU分割成4个子CU，对每个子CU转到步骤b1进行相应的处理。