CN106101709B - 一种联合增强层的shvc质量可分级的基本层帧间预测方法 - Google Patents

Abstract

本发明涉及一种联合增强层的SHVC质量可分级的基本层帧间预测方法。本方法的具体步骤是：步骤1.基本层BL编码：使用高级运动矢量预测技术获得预测运动矢量列表；更改基本层原始运动估计算法，利用增强层重建帧进行基本层的运动估计；利用获得运动矢量进行运动补偿。步骤2.增强层EL编码：维持原始帧间预测技术不变：依次进行高级运动矢量预测技术获得预测运动矢量列表；根据预测运动矢量列表先进行整像素运动估计，再进行分像素运动估计，最终获得最优运动矢量；利用运动估计获得的运动矢量进行运动补偿。本方法在编码两层质量可分级时，可提高编码效率，降低码率。

Description

一种联合增强层的SHVC质量可分级的基本层帧间预测方法

技术领域

本发明涉及一种联合增强层的SHVC(Scalable High Efficiency Video Coding，可伸缩视频编码扩展)质量可分级的基本层帧间预测方法。

背景技术

近年来，随着个人无线通信、互联网和移动设备的飞速发展及其在社会生产生活实践中的广泛应用，流媒体服务、视频电视电话、视频会议以及各种视频监控等应用开始向混合平台扩展。在视频编码的标准化进程中，MPEG专家组和国际电信联盟ITU-T做了重大的贡献，他们制定和发布的一系列国际标准，为不同领域的视频压缩编码提供了统一的接口和标准，使视频编码技术日臻完善和成熟。然而，当今各种数字媒体应用通过网络连为一体，不同网络的通信能力(比如有线网络和无线网络)不同，因此要求压缩后的视频码流能够根据情况自适应地进行变化，也就是码流能适应不同网络传输的特性，从而能够满足各种不同的要求；不同的终端系统可能具有不同的处理能力；另外针对不同的用户，即使处于同等情况下，每个人对具体的服务质量也可能有不同的要求。这些都导致了视频码流应具有多样性。传统方式上的一次压缩技术，如MPEG系列和H.26x系列，它们所形成的码流显然不能满足以上的要求。

可分级编码(Scalable Video Coding，SVC)技术对现代视频传输系统所造成的问题是一个非常有吸引力的解决方案，它的基本思想是将视频序列的信息经一次编码后输出多层码流。输出码流包括一个基本层(Base Layer，BL)和若干个增强层(EnhancementLayer，EL)。基本层码流可以使解码器完全正常的解码出基本视频内容，但是输出视频序列的帧率、空间分辨率或质量都是最低的。增强层数据要和基本层数据共同解码，使恢复的视频序列具有更高分辨率或质量。

在ITU-T的VCEG和ISO/IEC的通力合作下在2013年1月颁布的新一代视频编码标准HEVC(High Efficiency Video Coding)，HEVC依然采用混合编码框架，并提供了多种先进编码技术。在相同的视觉质量下，编码效率要比现行的H.264/AVC标准节省约50％的码率。由于H.264/SVC在高清的视频性能不够理想，所以基于HEVC的可伸缩视频编码扩展(SHVC)在HEVC标准正式定稿之前，JCT-VC工作组就开始研究SHVC，并于2014年6月颁布最终标准草案。SHVC是以H.265/HEVC为基础，在语法和工具集上进行了扩展，支持具有分级特性的码流的编码标准。SHVC除了支持时间可分级、空间可分级以及质量可分级之外，还支持比特可分级和色度粒度可分级。

SHVC的基本层沿用了HEVC的编码框架(见图1)，使得高效的可分级视频编码在终端得到更好的利用。基本层预测算法与HEVC一样，一般来讲，预测大体分为两种，即用于消除时域上冗余的帧间预测(Inter Prediction)和消除空间上冗余的帧内预测(IntraPrediction)两种预测方法。正是由于图像在空间上相邻区域像素值变换缓慢这一特性，使得帧内预测成为最有效的编码压缩方法；而帧间预测是用于消除视频在时间轴上的冗余，就是利用已解码帧的视频信息对未编码帧进行预测，其消除的是帧与帧之间的冗余。帧间预测根据预测方向又分为前向预测和后向预测。

值得注意的是，SHVC的基本层采用独立的编码，即只利用同一层的重建帧作为构成帧间预测的参考帧，而不参考增强层信息进行独立编码。基本层在进行帧间预测时，编码块会先进行运动估计(Motion Estimation，ME)计算当前块的运动矢量以及参考帧索引号等信息，然后进行运动补偿，求得差值后继续后续的变换和量化步骤。其中运动矢量表征的是当前预测单元与参考块的相对位置；而参考帧图像索引号表征的是最优参考帧在参考队列中的对应位置。

运动估计中，通过率失真函数选择率失真代价最小的位置作为当前块的运动矢量。所谓率失真(Distortion-Rate)，是指图像失真度与编码码率二者之间的相互关系，通常用率失真代价函数表征。率失真代价的目的是在以尽可能小的编码码率下，获取的图像失真度尽可能的少。当然，也不排除率失真优化的一些其他的特殊目的：在保证码率不高于上限的情况下失真度最小或者是在保证失真度不低于下限的情况下码率最小。

率失真代价函数RD Cost可由下面公式表示的拉格朗日代价函数求得：

J_x＝D+λ_x*R_x

其中，J_x表示拉格朗日代价函数，λ_x是指拉格朗日因子，R_x是编码所需的比特数，D是图像失真度，由宏块的原始像素和重建像素决定。其中λ_x由下面公式计算：

λ_x＝0.85·2^{((QP-12)/3.0)}

其中，QP表示量化参数，在质量可分级中，每一个编码层采用不同的QP。

根据可分级编码的分层结构，基本层和增强层之间有一定的冗余信息，比如各层的纹理、运动信息以及差值都有一定的相关性，为了有效的减少冗余信息，提高编码效率，可分级编码采用了层间预测技术(Inter-layer Prediction，ILP)。它的基本思想是使用以解码的低层信息来预测编码当前层的信息，预测信息减去原始信息得到差值信息，然后只对差值信息进行编码，这样就可以在一定程度上降低编码的比特数，提高编码效率。大体来说层间预测技术可分为两类：像素级的层间预测和运动信息参数层间预测。像素级的层间预测就是将基本层的重建帧作为一个参考帧加入增强层的参考列表中，从而充分的利用基本层的纹理、运动矢量等信息；运动信息参数层间预测是通过时域运动矢量预测算法(Temproal Motion Vector Predction，TMVP)来推导层间参考帧的运动信息。

针对H.265/SHVC，即高效视频可分级编码。在质量可分级中，由于不同层设置量化参数(Quantization parameter，QP)的不同，相对于增强层来说，基本层拥有较差图像质量，即包含较少的高频信息。另外在空间可分级中，由于基本层和增强层的分辨率不同，基本层重建帧在加入增强层参考列表中时必须先进行相应的上采样，这样破坏了基本层的高频信息，所以SHVC的层间预测并没有很好的利用基本层重建帧的相关信息，针对这一问题国内外的众多学者根据层间预测算法进行了大量的研究。然而这些研究只注重如何利用基本层的编码信息来进一步提高增强层的编码效率，降低比特率，并没有将充分利用增强层与基本层的强相关性来提高基本层的编码效率。值得注意的是，在编码端已编码的增强层重建帧并没有充分被基本层运用。由于在高效视频质量可分级编码中，基本层与增强层存在相同的运动以及纹理特性，但是相对于基本层来说，增强层拥有更好的重建帧，即含有更多的高频信息，所以利用增强层重建帧来进行运动估计可以使基本层获得更加准确的运动矢量，同时，SHVC为了提高增强层的编码效率提供层间参考技术，所以基本层获得精确的运动矢量在一定程度上也会影响增强层编码效率。在此基础上，我们可以打破SHVC原始的基本层进行独立编码的过程，利用增强层的已编码的重建帧来编码。针对此问题，本发明提出了一种提出了一种联合增强层的SHVC的基本层帧间预测算法。

发明内容

本发明的目的是针对SHVC中基本层帧间预测中忽略增强层与基本层的强相关性的问题，提出了一种联合增强层的SHVC质量可分级的基本层帧间预测方法。该方法利用增强层的重建信息，为基本层帧间预测时提供更好的参考信息，获得更精确的运动矢量，从而提高编码效率。

本发明具体的构思是：

本发明中选择两层进行编码，一个作为基本层BL，一个作为增强层EL；并且，基本层BL和增强层EL输入分辨率相同的纹理视频，分别设置不同的量化参数QP，编码结构如图2。

首先在编码基本层BL进行帧间预测时，依次进行高级运动矢量预测(AdvancedMotion Vector Prediction，AMVP)、运动估计(Motion Estimation，ME)和运动补偿(Motion Compensation，MC)。其中，高级运动矢量预测和运动补偿与原SHVC平台保持一致，只改变运动估计算法，如图3所示。

然后在编码增强层EL帧间预测时，由于本发明专利针对于基本层帧间预测的，因此不改变增强层EL的编码结构，保持与原SHVC平台一致。依次进行高级运动矢量预测、运动估计和运动补偿，获得精确的运动矢量和参考索引，已提供高质量的纹理视频。

根据上述的构思，本发明采用下述技术方案：

一种联合增强层的SHVC质量可分级的基本层帧间预测方法，具体步骤如下：

步骤1.基本层BL编码：使用高级运动矢量预测方法获得预测运动矢量列表；更改基本层原始运动估计算法，利用增强层重建帧进行基本层的运动估计；利用获得运动矢量进行运动补偿；

步骤2.增强层EL编码：维持原始帧间预测方法不变，依次进行高级运动矢量预测方法获得预测运动矢量列表；根据预测运动矢量列表先进行整像素运动估计，再进行分像素运动估计，最终获得最优运动矢量；利用运动估计获得的运动矢量进行运动补偿。

在上述步骤1中，对于高级运动矢量预测方法，先获取当前编码块(Coding Block，CU)的左CU、左上CU、上CU的运动矢量作为空域预测运动矢量，并加入预测运动矢量列表中；然后根据时域相关性，获取参考帧中与当前CU相应位置的CU作为时域预测运动矢量，并加入预测运动矢量列表中；

对基本层运动估计，宏块帧间编码的基本步骤为：

1)更换基本层参考帧列表，将其替换成增强层相对应的编码帧，值得注意的是，基本层参考帧列表在其他编码过程中保持原始的参考帧；

2)获取增强层量化参数，重新计算拉格朗日因子，并替换基本层运动估计的拉格朗日因子；

3)对当前编码块先进行整像素运动估计，然后再进行分像素运动估计，通过率失真代价函数最终获得最精确的运动矢量。

在上述步骤2中，具体步骤如下：

a)高级运动矢量预测方法：获取当前编码块CU的左CU、左上CU、上CU的运动矢量作为空域预测运动矢量，并加入预测运动矢量列表中；根据层间时域相关性，获取层间参考帧中与当前CU相应位置的CU作为时域预测运动矢量，并将其加入预测运动矢量列表中；

b)保持原始的运动估计，先进行整像素运动估计，再进行分像素运动估计，最终获得最优运动矢量；

c)保持原始的运动补偿算法不变，根据上述步骤获得的运动矢量对编码块CU进行运动补偿。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

本发明选择两层(BL和EL)进行高效质量可分级编码，在基本层进行帧间预测时，利用增强层与基本层的强相关系改变原始的运动估计算法，为基本层提供更加精确的运动矢量，提高编码的效率。

附图说明

图1为HEVC编码框架。

图2两层的质量可分级编码框架。

图3为主程序框图。

图4基本层AMVP原理框图。

图5基本层运动估计原理框图。

图6增强层AMVP原理框图。

具体实施方式：

本发明的优选实施例结合附图详述如下：

参见图1至图6，一种联合增强层的SHVC质量可分级的基本层帧间预测方法，具体步骤如下：

步骤1.基本层BL编码：使用高级运动矢量预测方法获得预测运动矢量列表；更改基本层原始运动估计算法，利用增强层重建帧进行基本层的运动估计；利用获得运动矢量进行运动补偿；

步骤2.增强层EL编码：维持原始帧间预测方法不变，依次进行高级运动矢量预测方法获得预测运动矢量列表；根据预测运动矢量列表先进行整像素运动估计，再进行分像素运动估计，最终获得最优运动矢量；利用运动估计获得的运动矢量进行运动补偿。

在上述步骤1中，对于高级运动矢量预测方法，先获取当前编码块CU的左CU、左上MB、上CU的运动矢量作为空域预测运动矢量，并加入预测运动矢量列表中；然后根据时域相关性，获取参考帧中与当前CU相应位置的CU作为时域预测运动矢量，并加入预测运动矢量列表中；

对基本层运动估计，宏块帧间编码的基本步骤为：

1)更换基本层参考帧列表，将其替换成增强层相对应的编码帧，值得注意的是，基本层参考帧列表在其他编码过程中保持原始的参考帧；

2)获取增强层量化参数，重新计算拉格朗日因子，并替换基本层运动估计的拉格朗日因子；

3)对当前编码块先进行整像素运动估计，然后再进行分像素运动估计，通过率失真代价函数最终获得最精确的运动矢量。

在上述步骤2中，具体步骤如下：

a)高级运动矢量预测方法：获取当前编码块CU的左CU、左上CU、上CU的运动矢量作为空域预测运动矢量，并加入预测运动矢量列表中；根据层间时域相关性，获取层间参考帧中与当前CU相应位置的CU作为时域预测运动矢量，并将其加入预测运动矢量列表中；

b)保持原始的运动估计，先进行整像素运动估计，再进行分像素运动估计，最终获得最优运动矢量；

c)保持原始的运动补偿算法不变，根据上述步骤获得的运动矢量对编码块CU进行运动补偿。

实施例：

改进的基本层运动估计如图5所示，该方法在SHM 5.0下实施，具体实施步骤如下：

步骤1，基本层BL帧间预测编码：

(1.1)对于高级运动矢量预测技术：首先从5个候选空间域运动矢量(A₀，A₁，B₀，B₁，B₂)中选取2个运动矢量，加入预测运动矢量列表中；然后从2个候选时域运动矢量(C₀，C₁)中选出1个运动矢量，加入预测运动矢量列表中。如果最终可用的候选运动矢量不满足3个，则使用零运动矢量补足。

(1.2)更改基本层的运动估计算法，主要步骤如下：

(1.2.1)获得当前参基本层参考帧的序号，将其替换成增强层相对应的编码帧。值得注意的是，基本层参考帧列表在其他编码过程中保持原始的参考帧。

(1.2.2)获取增强层量化参数，重新计算拉格朗日因子，并替换基本层运动估计的拉格朗日因子。

(1.2.3)对当前编码块先进行整像素运动估计，然后再进行分像素运动估计，通过率失真代价函数最终获得最精确的运动矢量。

步骤2，增强层EL编码：

(2.1)高级运动矢量预测技术：对于高级运动矢量预测技术：首先从5个候选空间域运动矢量(a₀，a₁，b₀，b₁，b₂)中选取2个运动矢量，加入预测运动矢量列表中；然后从4个候选时域运动矢量(C₀，C₁，d₀，d₁)中选出1个运动矢量，加入预测运动矢量列表中。如果最终可用的候选运动矢量不满足3个，则使用零运动矢量补足。

(2.2)保持原始的运动估计，先进行整像素运动估计，再进行分像素运动估计，最终获得最优运动矢量。

(2.3)保持原始的运动补偿算法不变，根据上述步骤获得的运动矢量对编码块CU进行运动补偿。

由上述步骤可以看出，通过参考增强层的重建信息更改传统的基本层运动估计，本发明可以有效提高编码效率。

Claims (2)

1.一种联合增强层的SHVC质量可分级的基本层帧间预测方法，其特征在于，具体步骤如下：

步骤1.基本层BL编码：使用高级运动矢量预测方法获得预测运动矢量列表；更改基本层原始运动估计算法，利用增强层重建帧进行基本层的运动估计；利用获得运动矢量进行运动补偿；

步骤2.增强层EL编码：维持原始帧间预测方法不变，依次进行高级运动矢量预测方法获得预测运动矢量列表；根据预测运动矢量列表先进行整像素运动估计，再进行分像素运动估计，最终获得最优运动矢量；利用运动估计获得的运动矢量进行运动补偿；

在上述步骤1中，对于高级运动矢量预测方法，先获取当前编码块CU的左CU、左上CU、上CU的运动矢量作为空域预测运动矢量，并加入预测运动矢量列表中；然后根据时域相关性，获取参考帧中与当前CU相应位置的CU作为时域预测运动矢量，并加入预测运动矢量列表中；

对基本层运动估计，宏块帧间编码的基本步骤为：

1)更换基本层参考帧列表，将其替换成增强层相对应的编码帧，值得注意的是，基本层参考帧列表在其他编码过程中保持原始的参考帧；

2)获取增强层量化参数，重新计算拉格朗日因子，并替换基本层运动估计的拉格朗日因子；

3)对当前编码块先进行整像素运动估计，然后再进行分像素运动估计，通过率失真代价函数最终获得最精确的运动矢量。

2.根据权利要求1所述的联合增强层的SHVC质量可分级的基本层帧间预测方法，其特征在于，在上述步骤2中，具体步骤如下：

a)高级运动矢量预测方法：获取当前编码块CU的左CU、左上CU、上CU的运动矢量作为空域预测运动矢量，并加入预测运动矢量列表中；根据层间时域相关性，获取层间参考帧中与当前CU相应位置的CU作为时域预测运动矢量，并将其加入预测运动矢量列表中；

b)保持原始的运动估计，先进行整像素运动估计，再进行分像素运动估计，最终获得最优运动矢量；

c)保持原始的运动补偿算法不变，根据上述步骤获得的运动矢量对编码块CU进行运动补偿。