CN104023233A - 一种hevc快速帧间预测方法 - Google Patents

Abstract

本发明公开了一种HEVC快速帧间预测方法，首先统计出两组健壮的阈值使其能满足不同深度级的编码单元(CU)以及不同量化参数(QP)；当当前CU的SKIP模式的率失真代价小于给定阈值时，该CU的最优预测模式为SKIP模式；当当前CU的最优预测模式的率失真代价小于另一给定阈值时，该CU停止执行进一步的分割。本发明可精确地终止编码单元不必要的深度计算以及跳过不必要的预测模式计算，能够极大地降低HEVC的帧间编码复杂度，有助于实现HEVC编码器的实时应用。

Description

一种HEVC快速帧间预测方法

技术领域

本发明涉及数字视频通信领域中的视频信息处理领域，特别涉及一种HEVC快速帧间预测方法。

背景技术

随着科技的不断进步，人们对视觉和听觉质量的要求越来越高，高清视频和超高清视频开始被普遍关注。10年之前创立的第二代视频编码标准H.264/AVC已不能满足人们对于实际应用的要求，工业界和学术界对新一代视频编码标准的渴望越来越强烈。在这一形势下，VCEG和MPEG两大标准组织开始进行合作开发，在2010年1月成立了称为JCT-VC(Joint Collaborative Team on Video Coding)的联合组织，开始统一制定下一代视频编码标准并取名为High Efficiency Video Coding(HEVC，高效率视频编码)，并于2013年1月26号正式成为国际视频编码标准。

HEVC虽然跟以往的视频编码标准一样都采用基于块的编码框架，但HEVC做了大量的技术创新。首次提出三个编码单元概念：CU(Coding Unit，编码单元)，PU(Prediction Unit，预测单元)，TU(Transform Unit，变换单元)。对于CU创新性地了采用基于四叉树的块尺寸递归分割结构，最大尺寸可达64×64。如图1所示，对于帧间预测，各个深度级的CU(即CU₀、CU₁、CU₂、CU₃、)均有SKIP(跳过模式，该模式无残差)、2N×2N(不分割模式)、2N×N(长度是宽度的2倍的分割模式)、N×2N(宽度是长度的2倍的分割模式)等帧间预测模式；如果CU的深度不为3，那么该CU的帧间预测模式还包含AMP(不对称分割)模式：2N×nU(该模式以上方长度是宽度的4倍、下方宽度是长度的3/4来划分)、2N×nD(该模式以上方宽度是长度的3/4、下方长度是宽度的4倍来划分)、nL×2N(该模式以左侧长度是宽度的4倍、右侧宽度是长度的3/4来划分)、nR×2N(该模式以左侧宽度是长度的3/4、右侧长度是宽度的4倍来划分)。对于TU采用一种称为RQT(Residual Quad-treeTransform，残差四叉树)分割结构，其变换块的大小可根据残差的特性进行自适应的调整。上述所列的技术只是HEVC引进的众多技术中最为突出的部分。引进的这些创新技术使得HEVC跟H.264相比在保证相同视频质量的同时，码率可减少50％左右。可见，随着对未来高清以及超高清视频的不断需求，以及移动设备的大力发展，在可用带宽限制的前提下，HEVC展现出了巨大的市场应用潜力。但在取得高增益的同时，HEVC也面临着一个巨大的问题，跟H.264相比，HEVC的编码复杂度至少是其4倍，不利于实时应用。而HEVC中的模式选择又占到整个编码时间的80％以上，可见研究一种高效的快速模式选择算法对于降低HEVC的编码复杂度显得尤为重要。

对于帧间CU与PU的快速决策，目前已提出了众多的提案，如基于SKIP模式的子树提前修剪算法，该方法首先检查当前CU是否为SKIP模式，若是则提前结束其分割过程，该方法简单有效，称为ECU；此外还提出了一种CFM，即检查当前亮度块与对应的两个色度块的cbf(coded block flag)是否全部为0，若是，则终止当前CU深度余下的PU模式处理；同样还提出了一种提前检测SKIP模式的方法，首先对2N×2N模式进行运动估计，之后检查的其DMV(motion vector difference)与cbf是否全部为0，若是则当前PU最优模式为SKIP模式，该方法称为ESD。目前这三种方法，已被HEVC标准采纳，但HEVC的编码复杂度还是相当巨大。本发明以与这三者不同的角度提供了一种适用于帧间简单且高效的快速CU与PU决策方法，本发明方法有助于实现HEVC编码器的实时应用。

下面简要说明HEVC的帧间预测过程。如图1所示，帧间CU的划分从最大的编码单元即64×64的CU开始，此时深度为0。首先对它进行预测编码，得到其RDcost(Rate-Distortion cost，率失真代价)，接着将它分为4个子CU，每个子CU的尺寸为32×32，深度为1，同样分别对这4个子CU进行预测编码，分别得到各自的RDcost。如此递归地划分下去；当CU的深度为3时，即尺寸为8×8时，终止当前CU的分割。接着对分割的模式进行选择，即依次比较4个8×8的RDcost之和是否小于其对应的16×16的CU的RDcost，如果是，则选择8×8的分割模式，否则选择16×16的分割模式。如此比较下去，直到当前的CU的深度为0。此外，对于每个深度级，每个CU同时需要在PU模式为SKIP，2N×2N、N×2N以及2N×N中进行RDO(Rate Distortion Optimization，率失真优化)计算，如果当前CU的深度不为3，那么也必须对所有的AMP模式：2N×nU、2N×nD、nL×2N和nR×2N进行RDO计算，得到所计算的所有预测模式的各率失真代价。然后，对于每个深度级的CU，在该CU的所有PU模式中选取一个RDcost最小的模式作为该CU的最优预测模式。

从以上可以看出，帧间预测需要穷尽地对4个深度级(范围是0-3)的CU以及每个深度级的CU上的所有PU模式进行RDO计算，才能决定出最优的分割模式，可见复杂度相当巨大。因此，发明一种有效的方法以降低HEVC帧间预测的计算复杂度显得尤为重要。

发明内容

本发明的目的在于克服现有技术之不足，提供一种HEVC快速帧间预测方法，基于已编码块的率失真代价与运动信息矢量，可精确地终止编码单元不必要的深度计算以及跳过不必要的预测模式计算，能够极大地降低HEVC的帧间编码复杂度，有助于实现HEVC编码器的实时应用。

本发明解决其技术问题所采用的技术方案为：一种HEVC快速帧间预测方法，首先将编码单元记为CU，将量化参数记为QP；然后分别统计出深度级为0、1和2的CU在不同QP下不进行进一步分割时该CU的最优预测模式的率失真代价需要满足的阈值条件，得到分别对应0、1、2深度级的三组阈值如下：

Thr₆₄＝2270×e^0.8907×QP     (1)

Thr₃₂＝722.2×e^0.1096×QP    (2)

Thr₁₆＝228.5×e^0.1136×QP    (3)

之后，分别统计出深度级为0、1、2和3的CU在不同QP下只进行SKIP模式的率失真优化计算时其SKIP模式的率失真代价需要满足的阈值条件，得到分别对应0、1、2、3深度级的四组阈值如下：

thr_64×64＝102.6×e^0.1636×QP      (4)

thr_32×32＝9.685×e^0.1888×QP      (5)

thr_16×16＝1.945×e^0.2174×QP      (6)

thr_8×8＝1.218×e^0.212×QP        (7)

其中CU的0、1、2、3深度级又分别对应64×64、32×32、16×16、8×8的CU尺寸；则该快速帧间预测方法包括如下步骤：

1)读取一个最大尺寸的CU；转到步骤2)；

2)对当前CU的SKIP模式进行率失真优化计算，得到其率失真代价，记为SKIP_cost，然后判断当前CU的深度；若是0，转到步骤3)；若是1，转到步骤4)；若是2，转到步骤5)；否则转到步骤6)；

3)由式(4)根据其预先设定的QP值计算出thr_64×64，并判断当前的SKIP_cost是否小于该thr_64×64；若是，转到步骤11)；否则转到步骤7)；

4)由式(5)根据其预先设定的QP值计算出thr_32×32，并判断当前的SKIP_cost是否小于该thr_32×32；若是，转到步骤11)；否则转到步骤7)；

5)由式(6)根据其预先设定的QP值计算出thr_16×16，并判断当前的SKIP_cost是否小于该thr_16×16；若是，转到步骤11)；否则转到步骤7)；

6)由式(7)根据其预先设定的QP值计算出thr_8×8，并判断当前的SKIP_cost是否小于该thr_8×8；若是，转到步骤11)；否则转到步骤7)；

7)对当前CU的帧间2N×2N(N＝32、16、8或4)预测模式进行率失真优化计算，得到其率失真代价；然后判断当前CU、当前CU相邻左侧的CU、当前CU相邻上方的CU这三种CU的运动矢量是否全都为0；若是，转到步骤11)；否则，转到步骤8)；

8)分别对当前CU的帧间N×2N(N＝32、16、8或4)预测模式和帧间2N×N(N＝32、16、8或4)预测模式进行率失真优化计算，得到它们的率失真代价；然后判断当前CU在2N×2N预测模式下的运动矢量是否为0；若是，转到步骤10)，否则转到步骤9)；

9)若当前CU的深度不为3，则分别对当前CU的所有帧间AMP预测模式进行率失真优化计算，得到当前CU所有帧间AMP预测模式的各率失真代价，然后转到步骤10)；若当前CU的深度为3，则直接转到步骤10)；

10)分别对当前CU的所有帧内预测模式进行率失真优化计算，得到当前CU的所有帧内预测模式的各率失真代价；然后转到步骤11)；

11)比较当前CU已计算的所有预测模式的各率失真代价，将其中最小的率失真代价记为RDcost_best，并将该最小率失真代价所对应的预测模式记录为当前CU的最优预测模式；然后判断当前CU的深度；若是0，转到步骤12)；若是1，转到步骤13)；若是2，转到步骤14)；否则读取下一个最大尺寸的CU，并转到步骤2)；

12)由式(1)根据其预先设定的QP值计算出Thr₆₄，然后判断当前的RDcost_best是否小于该Thr₆₄；若是，转到步骤15)；否则转到步骤16)；

13)由式(2)根据其预先设定的QP值计算出Thr₃₂，然后判断当前的RDcost_best是否小于该Thr₃₂；若是，转到步骤15)；否则转到步骤16)；

14)由式(3)根据其预先设定的QP值计算出Thr₁₆，然后判断当前的RDcost_best是否小于该Thr₁₆；若是，转到步骤15)；否则转到步骤16)；

15)终止当前CU的进一步分割，提取下一个最大尺寸的CU，然后转到步骤2)；

16)将当前CU分割成4个尺寸相同的子CU，对每个子CU分别转到步骤2)进行相应的处理。

一实施例中：所述量化参数的取值范围是0到51。

一实施例中：所述最大尺寸的CU的尺寸为64×64。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1.本发明的一种HEVC快速帧间预测方法，首先统计出两组健壮的阈值(即公式(1)到(3)和公式(4)到(7))使其能满足不同深度级的编码单元(CU)以及不同量化参数(QP)；当当前CU的SKIP模式的率失真代价小于给定阈值时，该CU的最优预测模式为SKIP模式；当当前CU的最优预测模式的率失真代价小于另一给定阈值时，该CU停止执行进一步的分割。本发明的方法简单有效，可精确地终止当前编码单元不必要的划分以及跳过当前不必要的预测模式计算，能够极大地降低HEVC的帧间编码复杂度，而且可灵活控制所选阈值，使其适用于不同的应用场景，同时本发明的方法非常有利于硬件和软件的实现。

2.本发明并不会改变HEVC原有的码流结构，与HEVC标准完全兼容。

附图说明

图1为HEVC的帧间编码单元的递归划分过程示意图。

具体实施方式

实施例，

本发明提供了一种HEVC快速帧间预测方法，首先将编码单元记为CU，将量化参数记为QP；然后分别统计出深度级为0、1和2的CU在不同QP下不进行进一步分割时该CU的最优预测模式的率失真代价需要满足的阈值条件，得到分别对应0、1、2深度级的三组阈值如下：

Thr₆₄＝2270×e^0.8907×QP        (1)

Thr₃₂＝722.2×e^0.1096×QP       (2)

Thr₁₆＝228.5×e^0.1136×QP       (3)

之后，分别统计出深度级为0、1、2和3的CU在不同QP下只进行SKIP模式的率失真优化计算时其SKIP模式的率失真代价需要满足的阈值条件，得到分别对应0、1、2、3深度级的四组阈值如下：

thr_64×64＝102.6×e^0.1636×QP         (4)

thr_32×32＝9.685×e^0.1888×QP         (5)

thr_16×16＝1.945×e^0.2174×QP         (6)

thr_8×8＝1.218×e^0.212×QP            (7)

其中CU的0、1、2、3深度级又分别对应64×64、32×32、16×16、8×8的CU尺寸；则该快速帧间预测方法包括如下步骤：

1)读取一个最大尺寸的CU(即编码树单元CTU)；转到步骤2)；

2)对当前CU的SKIP模式进行率失真优化计算，得到其率失真代价，记为SKIP_cost，然后判断当前CU的深度；若是0，转到步骤3)；若是1，转到步骤4)；若是2，转到步骤5)；否则转到步骤6)；

3)由式(4)根据其预先设定的QP值计算出thr_64×64，并判断当前的SKIP_cost是否小于该thr_64×64；若是，转到步骤11)；否则转到步骤7)；

4)由式(5)根据其预先设定的QP值计算出thr_3c×32，并判断当前的SKIP_cost是否小于该thr_32×32；若是，转到步骤11)；否则转到步骤7)；

5)由式(6)根据其预先设定的QP值计算出thr_16×16，并判断当前的SKIP_cost是否小于该thr_16×16；若是，转到步骤11)；否则转到步骤7)；

6)由式(7)根据其预先设定的QP值计算出thr_8×8，并判断当前的SKIP_cost是否小于该thr_8×8；若是，转到步骤11)；否则转到步骤7)；

7)对当前CU的帧间2N×2N(如图1所示，N＝32、16、8或4)预测模式进行率失真优化计算，得到其率失真代价；然后判断当前CU、当前CU相邻左侧的CU、当前CU相邻上方的CU这三种CU的运动矢量是否全都为0；若是，转到步骤11)；否则，转到步骤8)；

8)分别对当前CU的帧间N×2N(如图1所示，N＝32、16、8或4)预测模式和帧间2N×N(如图1所示，N＝32、16、8或4)预测模式进行率失真优化计算，得到它们的率失真代价；然后判断当前CU在2N×2N预测模式下的运动矢量是否为0；若是，转到步骤10)，否则转到步骤9)；

9)若当前CU的深度不为3，则分别对当前CU的所有帧间AMP预测模式(即如图1所示的2N×nU、2N×nD、nL×2N和nR×2N这4种模式)进行率失真优化计算，得到当前CU所有帧间AMP预测模式的各率失真代价，然后转到步骤10)；若当前CU的深度为3，则直接转到步骤10)；

10)分别对当前CU的所有帧内预测模式(即HEVC规定的35种帧内预测模式)进行率失真优化计算，得到当前CU的所有帧内预测模式的各率失真代价；然后转到步骤11)；

11)比较当前CU已计算的所有预测模式的各率失真代价，将其中最小的率失真代价记为RDcost_best，并将该最小率失真代价所对应的预测模式记录为当前CU的最优预测模式；然后判断当前CU的深度；若是0，转到步骤12)；若是1，转到步骤13)；若是2，转到步骤14)；否则读取下一个最大尺寸的CU，并转到步骤2)；

12)由式(1)根据其预先设定的QP值计算出Thr₆₄，然后判断当前的RDcost_best是否小于该Thr₆₄；若是，转到步骤15)；否则转到步骤16)；

13)由式(2)根据其预先设定的QP值计算出Thr₃₂，然后判断当前的RDcost_best是否小于该Thr₃₂；若是，转到步骤15)；否则转到步骤16)；

14)由式(3)根据其预先设定的QP值计算出Thr₁₆，然后判断当前的RDcost_best是否小于该Thr₁₆；若是，转到步骤15)；否则转到步骤16)；

15)终止当前CU的进一步分割，提取下一个最大尺寸的CU，然后转到步骤2)；

16)将当前CU分割成4个尺寸相同的子CU，对每个子CU分别转到步骤2)进行相应的处理。

需要指出的是，本发明步骤的依据为，预先统计了当前CU、当前CU相邻左侧的CU、当前CU相邻上方的CU这三种CU的运动矢量与各种预测模式的关系，并得出了当这3个运动矢量全部为0时，2N×2N的预测模式为最优预测模式的概率最高；同时，预先统计了当前CU的运动矢量与各种预测模式的关系，并得出了当当前CU在2N×2N预测模式下的运动矢量为0时，AMP模式不为最优预测模式的概率最高。

一实施例中：所述量化参数的取值范围是0到51。

一实施例中：所述最大尺寸的CU的尺寸为64×64。

采用新一代的视频编码标准HEVC提供的参考软件HM10.1来衡量本发明方法的效果。对HEVC建议的5个分辨率等级(ClassA、B、C、D、E)的18个测试序列(Traffic、PeopleOnStreet、ParkScene、BasketballDrive、Cactus、BQTerrace、Kimonol、PartyScene、RaceHorses、BQMall、BasketballDrill、BasketballPass、BQSquare、RaceHorses、BlowingBubbles、FourPeople、Johnny、KristenAndSara)全部测试。编码器参数为：LDP(low-delay-P，低时延P帧)编码模式，分别选取QP＝22、27、32、37，序列全部编码50帧，其余为默认设置。本发明方法与软件HM10.1所采用的HEVC原始算法比较的实验结果如表1所示。其中，表1中的BDBR与BDPSNR为VCEG建议采用的评价准则，BDBR表示在同样的客观质量下两种方法的码率节省情况，BDPSNR表示在给定的同等码率下两种方法的Y-PSNR(亮度Y峰值信噪比)的差异；表1中的ΔTime定义如下：

$\mathrm{\ΔTime}=\frac{1}{4}\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\frac{{\mathrm{Time}}_{\mathrm{HM}10.1}\left({\mathrm{QP}}_i\right)-{\mathrm{Time}}_{\mathrm{pro}}\left({\mathrm{QP}}_i\right)}{{\mathrm{Time}}_{\mathrm{HM}10.1}\left({\mathrm{QP}}_i\right)}\×100\%---\left(8\right)$

其中Time_HM10.1(QP_i)和Time_pro(QP_i)分别表示软件HM10.1的原始方法和本发明的方法随QP值变化的编码时间。

表1

从上表可看出，本发明提出的一种HEVC快速帧间预测方法效果良好，几乎不会影响编码器的率失真性能，BDBR仅增加1.011％。需要指出的是，本发明的公式(1)到(7)的阈值是在满足BDBR增加1％左右(如表1所示)所得出的阈值；对于不同的应用场合，本发明可灵活的控制所选阈值，使其适用于不同应用场合。而且，本发明硬件与软件的实现简单，不会像其他方法引入额外的计算复杂度。

经过以上的分析和实验验证，可以得出以下结论：本发明理论依据正确，实际应用可行，有助于实现HEVC编码器的实时应用。

上述实施例仅用来进一步说明本发明的一种HEVC快速帧间预测方法，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。

Claims (3)

1.一种HEVC快速帧间预测方法，其特征在于，首先将编码单元记为CU，将量化参数记为QP；然后分别统计出深度级为0、1和2的CU在不同QP下不进行进一步分割时该CU的最优预测模式的率失真代价需要满足的阈值条件，得到分别对应0、1、2深度级的三组阈值如下：

Thr₆₄＝2270×e^0.8907×QP         (1)

Thr₃₂＝722.2×e^0.1096×QP        (2)

Thr₁₆＝228.5×e^0.1136×QP        (3)

之后，分别统计出深度级为0、1、2和3的CU在不同QP下只进行SKIP模式的率失真优化计算时其SKIP模式的率失真代价需要满足的阈值条件，得到分别对应0、1、2、3深度级的四组阈值如下：

thr_64×64＝102.6×e^0.1636×QP          (4)

thr_32×32＝9.685×e^0.1888×QP          (5)

thr_16×16＝1.945×e^0.2174×QP          (6)

thr_8×8＝1.218×e^0.212×QP             (7)

其中CU的0、1、2、3深度级又分别对应64×64、32×32、16×16、8×8的CU尺寸；则该快速帧间预测方法包括如下步骤：

1)读取一个最大尺寸的CU；转到步骤2)；

2)对当前CU的SKIP模式进行率失真优化计算，得到其率失真代价，记为SKIP_cost，然后判断当前CU的深度；若是0，转到步骤3)；若是1，转到步骤4)；若是2，转到步骤5)；否则转到步骤6)；

3)由式(4)根据其预先设定的QP值计算出thr_64×64，并判断当前的SKIP_cost是否小于该thr_64×64；若是，转到步骤11)；否则转到步骤7)；

4)由式(5)根据其预先设定的QP值计算出thr_32×32，并判断当前的SKIP_cost是否小于该thr_32×32；若是，转到步骤11)；否则转到步骤7)；

5)由式(6)根据其预先设定的QP值计算出thr_16×16，并判断当前的SKIP_cost是否小于该thr_16×16；若是，转到步骤11)；否则转到步骤7)；

6)由式(7)根据其预先设定的QP值计算出thr_8×8，并判断当前的SKIP_cost是否小于该thr_8×8；若是，转到步骤11)；否则转到步骤7)；

7)对当前CU的帧间2N×2N预测模式进行率失真优化计算，得到其率失真代价；然后判断当前CU、当前CU相邻左侧的CU、当前CU相邻上方的CU这三种CU的运动矢量是否全都为0；若是，转到步骤11)；否则，转到步骤8)；

8)分别对当前CU的帧间N×2N预测模式和帧间2N×N预测模式进行率失真优化计算，得到它们的率失真代价；然后判断当前CU在2N×2N预测模式下的运动矢量是否为0；若是，转到步骤10)，否则转到步骤9)；

9)若当前CU的深度不为3，则分别对当前CU的所有帧间AMP预测模式进行率失真优化计算，得到当前CU所有帧间AMP预测模式的各率失真代价，然后转到步骤10)；若当前CU的深度为3，则直接转到步骤10)；

10)分别对当前CU的所有帧内预测模式进行率失真优化计算，得到当前CU的所有帧内预测模式的各率失真代价；然后转到步骤11)；

11)比较当前CU已计算的所有预测模式的各率失真代价，将其中最小的率失真代价记为RDcost_best，并将该最小率失真代价所对应的预测模式记录为当前CU的最优预测模式；然后判断当前CU的深度；若是0，转到步骤12)；若是1，转到步骤13)；若是2，转到步骤14)；否则读取下一个最大尺寸的CU，并转到步骤2)；

12)由式(1)根据其预先设定的QP值计算出Thr₆₄，然后判断当前的RDcost_best是否小于该Thr₆₄；若是，转到步骤15)；否则转到步骤16)；

13)由式(2)根据其预先设定的QP值计算出Thr₃₂，然后判断当前的RDcost_best是否小于该Thr₃₂；若是，转到步骤15)；否则转到步骤16)；

14)由式(3)根据其预先设定的QP值计算出Thr₁₆，然后判断当前的RDcost_best是否小于该Thr₁₆；若是，转到步骤15)；否则转到步骤16)；

15)终止当前CU的进一步分割，提取下一个最大尺寸的CU，然后转到步骤2)；

16)将当前CU分割成4个尺寸相同的子CU，对每个子CU分别转到步骤2)进行相应的处理。

2.如权利要求1所述的一种HEVC快速帧间预测方法，其特征在于，所述量化参数的取值范围是0到51。

3.如权利要求1或2所述的一种HEVC快速帧间预测方法，其特征在于，所述最大尺寸的CU的尺寸为64×64。