CN110351552A - 视频编码中一种快速编码方法 - Google Patents

Abstract

本发明公开了视频编码中一种快速编码方法，在编码器对每帧视频内容进行帧间预测后，根据帧间预测获得的多种编码信息，自适应地判断是否需要跳过帧内预测，如果确定需要跳过帧内预测，则直接进行下一个编码步骤，简化了预测模板，减少了编码步骤，从而在几乎不造成编码性能损失的前提下，降低了编码器的计算复杂度，加速了编码器。

Description

视频编码中一种快速编码方法

技术领域

本发明涉及视频编码帧一种快速编码方法，尤其涉及一种关于视频编码器中预测技术的加速优化算法，属于视频编码技术领域。

背景技术

随着多媒体数字视频应用的不断发展和人们对视频云计算需求的不断提高，原始视频信源的数据量以使现有传输网络带宽和存储资源无法承受。因而，视频信号的压缩已成为目前国内外学术研究和工业应用的热点之一。视频压缩，也称视频编码，其目的是消除视频信号间存在的冗余信息。至今，国内外标准化组织已相继制定了多种不同的视频编码标准，主流的视频编码标准均采用“基于块的预测和变换”的混合编码框架，图1为最新的视频编码标准HEVC对应的视频编解码器总体框架图，输入的视频信号经过块结构划分、预测、变换、量化、熵编码等编码技术处理后，最后输出比特流，以备传输或存储。

图2为现有技术中的一种视频编码基本流程图，包括如下的处理过程：在编码端，输入的视频信号首先会经过预测模块，编码器按照率失真准则从若干种预测模式种选择一种预测模式进行预测，得到预测信号，将预测信号与原始信号做差，得到残差信号；残差信号经过变换，得到能量更加集中的变换系数信号；变换系数信号经过量化后由熵编码器编码，最终输出码流。

因此,在混合编码框架中，编码流程中有一项非常关键的编码技术——预测。预测的作用是去除视频帧中的冗余数据。一般分为两种不同的预测技术，即帧内预测和帧间预测。帧内预测主要为了减少视频帧中的空域冗余，它是根据当前待编码块相邻已编码块上、左上、左边界像素值来进行预测。对于亮度块的帧内预测，包括方向预测(Intra_Angularprediction)、平面预测(Intra_Planar prediction)和DC预测等预测方式，图3为帧内预测中一种方向预测的示例图。帧间预测的作用是减少时域冗余，由于其块划分方式、预测方向的多样性，帧间预测比帧内预测更加复杂。帧间预测是利用前面已编码的相邻帧中对应的重构块来预测当前待编码块，如图4所示。

视频中一般包含三种不同类型的视频帧，即I帧、P帧和B帧。I帧的预测只支持帧内预测，而PB帧的预测既支持帧内预测，又支持帧间预测。一般而言，PB帧的预测过程按照先帧间预测、后帧内预测的方式进行。

在视频编码中，预测能更大程度地减少视频帧中存在的数据冗余，提升压缩效率，因此，预测技术在视频编码标准中是不可或缺的。而帧内预测的模式较多，以高效视频编码标准HEVC(High Efficiency Video Coding Standard)为例，对于亮度分量，其包括33种方向预测、1种平面和1种DC预测；而对于色度分量，它还包括平面预测、垂直预测、水平预测、DC预测以及派生预测模式等5种不同的预测模式。预测过程中，对每一种预测模式进行遍历，计算其对应的编码代价，并依据率失真准则，选择编码代价最小的一种预测模式作为最终的帧内预测模式。因此，帧内预测的过程也较为复杂。

而由于视频中相邻帧具有很强的相关性，往往通过帧间预测就能得到较好的预测块，也就是说，帧间预测得到的编码代价已经足够小，且此时，不管帧内预测选择何种预测模式，其编码代价都不小于帧间预测得到的编码代价，则编码器最终会选择帧间预测得到的预测块作为当前待编码块的最终预测信息。因此，在这种情况下，帧内预测是无意义且耗时的。

发明内容

有鉴于此，本发明提供视频编码中一种快速编码方法，用于常见的视频编码器中。该方法具体优化了编码器的预测编码步骤，其基本原理是基于帧间预测后的编码信息，决策是否快速跳过帧内预测模块，从而降低计算复杂度以加速编码器编码。

为了达到上述目的，本发明采用的而技术方案为，

步骤(1)，信息获取。获取包括但不限于当前待编码块帧间预测后得到的残差经过变换后的变换系数信息、当前待编码块帧间预测后得到的最佳编码代价值以及当前待编码块所在范围内其子块的已编码信息等。其中，信息一指当前待编码块帧间预测后所得到的残差经过变换后的变换系数分布情况；信息二指当前待编码块所在范围内，其子块的已编码信息，具体地，包括子块的最佳编码代价以及最佳帧内预测编码代价；信息三指当前待编码块经过帧间预测后得到的最佳编码代价。

步骤(2)，第一次判断。利用信息获取步骤所获取的信息一判断是否需要跳过帧内预测。

步骤(3)，第二次判断。利用信息获取步骤所获取的信息二判断是否需要跳过帧内预测。

步骤(4)，第三次判断。利用信息获取步骤所获取的信息三判断是否需要跳过帧内预测。

步骤(5)，决策是否需要跳过帧内预测。若经过上述三次判断步骤后需跳过帧内预测，则直接跳过帧内预测，否则仍需决策帧内预测。

本发明的有益效果是：本发明专利的视频编码中一种快速编码方法，1.结合已有的编码信息，包括当前待编码块帧间预测后的编码信息以及其它相关的编码信息，提前决策是否需要做帧内预测，若跳过帧内预测，则简化了预测步骤，节省了编码时间，从而加速了编码器；2.本发明专利采用了三种不同的优化算法，层层递进决策是否跳过帧内预测，更加高效；3.用户可根据自身需求权衡性能损失和编码时间的关系，设定阈值的大小。因此，该优化算法在尽可能不损失编码性能的前提下，加速了预测模块，从而降低了整体编码时间。此外，本发明所涉及的优化方法不改变编码器的标准，使得编码生成的码流仍符合一般视频编码标准，具有良好的应用前景。

附图说明

图1为现有技术中的编码解码器总体框架图；

图2为现有技术中的一种视频编码基本流程图；

图3为帧内预测模式中的一种方向预测示意图；

图4为帧间预测的示意图；

图5为本发明专利涉及优化算模块的具体实现示意图；

图6为现有技术中的编码块划分方式示意图。

具体实施方式

下面将结合说明书附图，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的视频编码中一种快速编码方法，具体优化了编码器的预测编码步骤，其基本原理是基于帧间预测后的编码信息，决策是否快速跳过帧内预测模块，从而降低计算复杂度以加速编码器编码，如图5所示，具体包括以下步骤，

步骤(1)，信息获取。负责获取帧间预测后所在编码块的一些基本编码信息。其中，基本的编码信息包括但不仅限于：

1)当前待编码块帧间预测后得到的残差经过变换、量化后的量化系数信息；

2)当前待编码块帧间预测后得到的最佳编码代价值；

3)以及当前待编码块所在范围内其子块的已编码信息等。

其中，将所述当前待编码块帧间预测后所得到的残差经过变换、量化后的量化系数分布情况称为信息一；将所述当前待编码块所在范围内其子块的已编码信息称为信息二，具体地，所述信息二包括但不仅限于子块的最佳编码代价以及最佳帧内预测编码代价；将所述当前待编码块经过帧间预测后得到的最佳编码代价称为信息三。

所述信息一指当前待编码块帧间预测后所得到的残差经过变换、量化后的量化系数分布情况。需要注意的是，编码器通过预测得到当前待编码块的预测块，而原始块与预测块相减即可得到残差，残差用于后续的变换、量化步骤。残差经过变换后，得到变换系数块，变换系数块再通过量化后得到量化系数，并最终将量化系数输入至熵编码器编码，生成码流。因此，码流的大小取决于非零量化系数的个数、大小和分布。而当量化系数块为全零块时，即量化(又可理解为除以特定的某个除数)后的量化系数定为0，此时，只需编码一个全零块的标志即可。这种情况下，需要编码残差使用的比特数最少，只需对帧间预测过程中的运动信息、参考帧信息进行编码即可。

所述信息二指当前待编码块所在范围内其子块的已编码信息，具体地，包括但不限于子块的最佳编码代价、最佳帧内预测编码代价以及子块的最终预测模式。其中，子块可参照图6所示。视频编码标准中是以块为基本单元进行编码的，而一个大块又可以划分成几个不同的小块。例如图6中，对于一个64×64的块，可以对64×64的块直接编码，也可以将64×64的块四叉划分为4个等大小的32×32块，并分别对32×32的块进行编码，最终比较64×64块计算得到的编码代价和4个32×32块计算得到的编码代价的和，取较小的编码代价作为当前64×64块的最佳编码代价，并确定最佳划分方式。同理，32×32块又可以划分成4个等大小的16×16块，16×16块又可以划分成4个等大小的8×8块等。所以，对应位置的32×32块相对于64×64块来说，是子块；同理，相对位置的16×16块相对于32×32块来说，是子块。若编码器支持先进行小块计算，那么在编码大块时，会得到其子块的所有已编码信息，包括子块的最佳编码代价和最佳帧内预测编码代价。若当前编码器是先进行大块计算，后进行小块计算，则此信息就不存在。

所述信息三指当前待编码块经过帧间预测后得到的最佳编码代价。由于帧间预测模式较多，最佳编码代价指帧间预测遍历所有模式过程中所能获取的最小的编码代价。

步骤(2)，第一次判断。负责根据所获信息一判断是否跳过帧内预测。由于通过信息一能获取到帧间预测后的量化系数分布，且若量化系数全为0，此时，编码残差使用的比特数最少，只需要编码运动信息、参考帧等信息。因此，当做完帧间预测后，得到的量化系数均为0，则跳过帧内预测。

步骤(3)，第二次判断。负责根据所获信息二判断是否跳过帧内预测。由于通过信息二能获取当前待编码块所在范围内子块的最佳编码代价BestCostSubBlock和其最佳帧内预测编码代价BestIntraCostSubBlock，若子块的最佳编码代价和最佳帧内预测编码代价的比例满足一定的阈值T1且子块最终预测模式为帧间预测，如公式(1)所示，则表示当前块更利于选择帧间预测(由于子块的内容是当前块的部分内容)，此时，跳过帧内预测。需要注意的是，当BestCostSubBlock等于BestIntraCostSubBlock时，表明子块的最终预测模式为帧内预测，所以，一般情况下BestCostSubBlock/BestIntraCostSubBlock一定小于等于1。因此，用户可自定义经验性设置阈值T1，但T1需满足小于1。

步骤(4)，第三次判断。负责根据所获信息三判断是否跳过帧内预测。由于通过信息三能获取到帧间预测后的最佳编码代价，当最佳编码代价小于一定阈值时，表示帧间预测的结果已经足够好，此时，也不需要再进行帧内预测。因此，这种情况下，可直接跳过帧内预测。用户可自定义经验性设置阈值T2。

步骤(5)，决策。根据第一次判断步骤或第二次判断步骤或第三次判断步骤得到的判定结果，执行或跳过帧内预测。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.视频编码中一种快速编码方法，其特征在于，包括：

步骤1，信息获取，负责获取帧间预测后所在编码块的一些基本编码信息；

步骤2，第一次判断，负责根据所获信息一判断是否跳过帧内预测，若否，则进行步骤3，否则跳转至步骤5；

步骤3，第二次判断，负责根据所获信息二判断是否跳过帧内预测，若否，则进行步骤4，否则跳转至步骤5；

步骤4，第三次判断，负责根据所获信息三判断是否跳过帧内预测，并跳转至步骤5；

步骤5，决策，根据第一次判断或第二次判断或第三次判断得到的判定结果，执行或跳过帧内预测。

2.根据权利要求1所述的视频编码中一种快速编码方法，其特征在于，包括：获取帧间预测后所在编码块以下至少一种基本编码信息，

当前待编码块帧间预测后得到的残差经过变换、量化后的量化系数信息；

当前待编码块帧间预测后得到的最佳编码代价值；

以及当前待编码块所在范围内其子块的已编码信息等；

其中，将所述当前待编码块帧间预测后所得到的残差经过变换、量化后的量化系数分布情况称为信息一；将所述当前待编码块所在范围内其子块的已编码信息称为信息二，具体地，所述信息二包括但不仅限于子块的最佳编码代价以及最佳帧内预测编码代价；将所述当前待编码块经过帧间预测后得到的最佳编码代价称为信息三。

3.根据权利要求1所述的视频编码中一种快速编码方法，其特征在于，包括：取帧间预测后所在编码块的以下至少一种基本编码信息，

所述信息一指当前待编码块帧间预测后所得到的残差经过变换、量化后的量化系数分布情况；需要注意的是，编码器通过预测得到当前待编码块的预测块，而原始块与预测块相减即可得到残差，残差用于后续的变换、量化步骤；残差经过变换后，得到变换系数块，变换系数块再通过量化后得到量化系数，并最终将量化系数输入至熵编码器编码，生成码流；因此，码流的大小取决于非零量化系数的个数、大小和分布；而当量化系数块为全零块时，即量化，又可理解为除以特定的某个除数，后的量化系数定为0，此时，只需编码一个全零块的标志即可；这种情况下，需要编码残差使用的比特数最少，只需对帧间预测过程中的运动信息、参考帧信息进行编码即可；

所述信息二指当前待编码块所在范围内其子块的已编码信息，具体地，包括但不限于子块的最佳编码代价、最佳帧内预测编码代价以及子块的最终预测模式；视频编码标准中是以块为基本单元进行编码的，而一个大块又可以划分成几个不同的小块；对于一个64×64的块，可以对64×64的块直接编码，也可以将64×64的块四叉划分为4个等大小的32×32块，并分别对32×32的块进行编码，最终比较64×64块计算得到的编码代价和4个32×32块计算得到的编码代价的和，取较小的编码代价作为当前64×64块的最佳编码代价，并确定最佳划分方式；同理，32×32块又可以划分成4个等大小的16×16块，16×16块又可以划分成4个等大小的8×8块等；所以，对应位置的32×32块相对于64×64块来说，是子块；同理，相对位置的16×16块相对于32×32块来说，是子块；若编码器支持先进行小块计算，那么在编码大块时，会得到其子块的所有已编码信息，包括子块的最佳编码代价和最佳帧内预测编码代价；若当前编码器是先进行大块计算，后进行小块计算，则此信息就不存在；

所述信息三指当前待编码块经过帧间预测后得到的最佳编码代价；由于帧间预测模式较多，最佳编码代价指帧间预测遍历所有模式过程中所能获取的最小的编码代价。

4.根据权利要求1所述的视频编码中一种快速编码方法，其特征在于，包括：根据所获信息一判断是否跳过帧内预测，

由于通过信息一能获取到帧间预测后的量化系数分布，且若量化系数全为0，此时，编码残差使用的比特数最少，只需要编码运动信息、参考帧等信息；因此，当做完帧间预测后，得到的量化系数均为0，则跳过帧内预测。

5.根据权利要求1所述的视频编码中一种快速编码方法，其特征在于，包括：根据所获信息二判断是否跳过帧内预测，

由于通过信息二能获取当前待编码块所在范围内子块的最佳编码代价BestCostSubBlock和其最佳帧内预测编码代价BestIntraCostSubBlock，若子块的最佳编码代价和最佳帧内预测编码代价的比例满足一定的阈值T1且子块最终预测模式为帧间预测，如公式1所示，则表示当前块更利于选择帧间预测，由于子块的内容是当前块的部分内容，此时，跳过帧内预测；需要注意的是，当BestCostSubBlock等于BestIntraCostSubBlock时，表明子块的最终预测模式为帧内预测，所以，一般情况下BestCostSubBlock/BestIntraCostSubBlock一定小于等于1；因此，用户可自定义经验性设置阈值T1，但T1需满足小于1

。

6.根据权利要求1所述的视频编码中一种快速编码方法，其特征在于，包括：根据所获信息三判断是否跳过帧内预测，

由于通过信息三能获取到帧间预测后的最佳编码代价，当最佳编码代价小于一定阈值时，表示帧间预测的结果已经足够好，此时，也不需要再进行帧内预测；因此，这种情况下，可直接跳过帧内预测；用户可自定义经验性设置阈值T2。