CN115695802A - 一种用于加快视频编码的编码单元划分方法及装置 - Google Patents

Abstract

本发明公开了一种用于加快视频编码的编码单元划分方法及装置。所述装置包括编码模块、存储模块、运算模块和逻辑控制模块。所述方法利用该装置，通过对编码图像的每个CTU，H.266/VVC使用四叉树、三叉树和二叉树等多类型树，从而递归地划分为不同大小的编码单元。在进行RDO过程前，为了减少编码复杂度，使用SVM模型对编码块的二叉、三叉划分方向进行预测并跳过划分，对于处于分类边界的样本，使用完整的RDO过程以提高编码效率。本发明所提出的方法能够在保证编码效率的情况下，有效降低编码时间复杂度。

Description

一种用于加快视频编码的编码单元划分方法及装置

技术领域

本发明涉及视频编码技术领域，具体涉及一种用于加快视频编码的编码单元划分方法及装置。

背景技术

近年来，随着高清和超高清视频技术逐渐进入人们的视野，各式各样的视频应用不断涌现，视频应用的多样化和高清化趋势对视频编码性能提出了更高的要求。与现有的视频编码标准相比，H.266/VVC标准考虑了更多的视频格式和内容，具有更好的编码性能。与H.265/HEVC标准相比，同样编码质量下H.266/VVC平均可以节省50％左右的码率。H.266/VVC标准能变现出优秀的性能，原因是采用了一系列新技术，其中最有效但同时也最耗时的过程是具有嵌套多类型树(MTT)编码结构的四叉树。为了更加灵活高效地表示视频内容，H.266/VVC通过率失真优化(RDO)，选择四叉树(QT)、三叉树(TT)和二叉树(BT)等多类型树中的一种，将CTU递归地划分为编码单元(CU)的方式。在RDO过程中，需要计算每种划分模式下的率失真代价，再根据率失真代价选择最优划分结果，因此虽然这种编码结构提高了编码的压缩性能，但由于遍历率失真优化过程，使得编码复杂度大大增加。如何在维持编码性能的同时减少编码的时间复杂度，成为视频压缩领域的一个研究方向。

发明内容

针对现有技术的不足，本发明提出了一种用于加快视频编码的编码单元划分方法及装置，对于指定大小的编码块，根据其纹理特征，利用支持向量机预测较优的划分方向，以减少RDO过程的计算次数，从而降低编码复杂度，节约编码时间。

一种用于加快视频编码的编码单元划分方法，具体包括以下步骤：

步骤一、在进行RDO过程前，首先根据编码块的大小，计算不同划分方式下子编码单元的特征值。具体地，对于32x32、32x16、16x32大小的编码块，计算二叉、三叉划分下子CU的特征值；对于8x16、16x8大小的编码块，计算二叉划分下子CU的特征值；对16x16大小的编码块，在RDO过程中跳过四叉划分；对其它大小的编码块，直接进行完整的RDO过程。

步骤二、根据步骤一得到的特征值，进行特征距离的计算，然后将特征距离作为样本，对应的编码块划分方式作为标签，建立训练数据集对支持向量机进行训练，获取支持向量机输出的垂直划分概率P_v和水平划分概率P_h。具体地，二叉划分下的特征距离△F_b为：

ΔF_b＝|F_{bth_0}-F_{bth_1}|-|F_{btv_0}-F_{btv_1}

其中，F_{bth_0}、F_{bth_1}表示二叉水平划分上方子CU、下方子CU特征值，F_{btb_0}、F_{btv_1}表示二叉垂直划分左方子CU、右方子CU特征值。

三叉划分下的特征距离△F_t为：

ΔF_t＝|F_{thh_0}-F_{tth_1}|+|F_{tth_1}-F_{tth_2}|-|F_{ttv_0}-F_{ttv_1}|-|F_{ttv_1}-F_{ttv_2}|

其中，F_{tth_0}、F_{tth_1}、F_{tth_2}分别表示三叉水平划分上方、中间和下方子CU特征值，F_{ttv_0}、F_{ttv_1}、F_{ttv_2}分别表示三叉垂直划分左方、中间和右方子CU特征值。

步骤三、设置判断阈值T，计算垂直划分概率p_v和水平划分概率P_h的差值，并与判断阈值T进行比较：

①当|P_v-P_h|≤T时，不跳过划分方式；

②当|P_v-P_h|＞T，且P_v＞P_h时，跳过水平划分方式；

③当|P_v-P_h|＞T，且P_v＜P_h时，跳过垂直划分方式。

步骤四、根据步骤三的判断结果，决定相应编码块在进行RDO过程需要跳过多类型树划分方式。

进一步的，步骤一中子CU的特征值包括方差、熵和纹理对比度。

方差Var的计算公式为：

其中

是一个子CU中所有像素值的平均值，H和W分别代表子CU的高度和宽度，x_ij表示第i行第j个位置的像素灰度值。

熵E的计算公式为：

其中p(x)表示属于第x个灰度的可能性。

纹理对比度C的计算公式为：

其中δ(i，j)＝|i-j|表示相邻像素之间的差异度，P_δ(i，j)表示度差为δ的像素的分布概率。

进一步的，根据输入样本的标签，支持向量机的输出包括P_bv和P_bh、P_tv和P_th，分别表示二叉划分下进行垂直划分和水平划分的概率，以及三叉划分下进行垂直划分和水平划分的概率。

进一步的，当P_bv-P_bh＞T时，跳过二叉水平划分；当P_bh-P_bv＞T时，跳过二叉垂直划分；当P_tv-P_th＞T时，跳过三叉水平划分；当P_th-P_tv＞T时，跳过三叉垂直划分。

一种用于加快视频编码的编码单元划分装置，包括编码模块、存储模块、运算模块和逻辑控制模块，模块间直接或间接地电性连接，以实现数据的传输或交互。

所述编码模块用于针对待编码图像生成对应的编码块。

所述存储模块用于存储待编码图像和预测编码块划分方向的SVM模型。

所述运算模块用于计算编码模块生成的编码块的特征值与特征距离，并输入SVM模型预测划分方式。

所述逻辑控制模块根据SVM模型的预测结果，决策当前编码块在RDO过程中可以跳过的划分模式。

本发明具有以下有益效果：

本发明通过预测CU划分的方向，可以减少嵌套四叉树结构的计算时间。实验结果表明，与VTM-15.0相比，本发明提出的方法在保证编码性能的条件下显著降低了时间复杂度。

附图说明

图1为实施例中用于加快视频编码的编码单元划分装置的结构示意图；

图2为实施例中用于加快视频编码的编码单元划分方法的流程图。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

如图1所示，一种用于加快视频编码的编码单元划分装置，包括编码模块100、存储模块200、运算模块300和逻辑控制模块400，通过一条或多条通讯总线或信号线实现模块间电性连接。

所述编码模块100通过H.266/VVC原生编码器生成当前图像生成对应的编码块。

所述存储模块200用于存储待编码图像201、预测编码块划分方向的SVM模型202，以及运算模块输出的分类结果203。

所述运算模块300计算待编码图像201的特征值与特征距离，并输入SVM模型202预测划分方式，再将得到的结果存储在分类结果203中。

所述逻辑控制模块400根据分类结果203，决策当前编码块在RDO过程的划分方向。

实施例1

如图2所示，一种用于加快视频编码的编码单元划分方法，具体包括以下步骤：

步骤一、在进行RDO过程前，首先根据编码块的大小，计算不同划分方式下子编码单元的特征值。

s1.1、对于32x32、32x16、16x32大小的编码块，计算二叉、三叉划分下子CU的特征值，进入步骤二。

s1.2、对于8x16、16x8大小的编码块，计算二叉划分下子CU的特征值，进入步骤二。

s1.3、对16x16大小的编码块，在RDO过程中跳过四叉划分，不进行后续的预测过程。

s1.4、对于不属于s1.1～1.3所述大小的编码块，直接进行完整的RDO过程，不进行后续的预测过程。

所述特征值包括方差、熵和纹理对比度。方差Var的计算公式为：

其中

是一个子CU中所有像素值的平均值，H和W分别代表子CU的高度和宽度，x_ij表示第i行第j个位置的像素灰度值。

熵E的计算公式为：

其中p(x)表示属于第x个灰度的可能性。

纹理对比度C的计算公式为：

其中δ(i，j)＝|i-j|表示相邻像素之间的差异度，P_δ(i，j)表示度差为δ的像素的分布概率。

步骤二、根据步骤一得到的特征值，进行特征距离的计算，然后将特征距离作为样本，对应的编码块划分方式作为标签，建立训练数据集对支持向量机进行训练，获取支持向量机输出的二叉划分下进行垂直划分的概率P_bv、水平划分的概率P_bh，或三叉划分下进行垂直划分的概率P_tv、水平划分的概率P_th。具体地，二叉划分下的特征距离△F_b为：

ΔF_b＝|F_{bth_0}-F_{bth_1}|-|F_{btv_0}-F_{btv_1}

其中，F_{bth_0}、F_{bth_1}表示二叉水平划分上方子CU、下方子CU特征值，F_{btv_0}、F_{btv_1}表示二叉垂直划分左方子CU、右方子CU特征值。

三叉划分下的特征距离△F_t为：

ΔF_t＝|F_{thh_0}-F_{tth_1}|+|F_{tth_1}-F_{tth_2}|-|F_{ttv_0}-F_{ttv_1}|-|F_{ttv_1}-F_{ttv_2}|

其中，F_{tth_0}、F_{tth_1}、F_{tth_2}分别表示三叉水平划分上方、中间和下方子CU特征值，F_{ttv_0}、F_{ttv_1}、F_{tt_2}分别表示三叉垂直划分左方、中间和右方子CU特征值。

步骤三、设置判断阈值T＝0.4，计算垂直划分概率和水平划分概率的差值，并与判断阈值T进行比较：

①垂直划分概率和水平划分概率的差值绝对值小于0.4时，对编码块进行垂直划分和水平划分的RDO过程；

②当P_bv-P_bh＞T时，跳过二叉水平划分；

③当P_bh-P_bv＞T时，跳过二叉垂直划分；

④当P_tv-P_th＞T时，跳过三叉水平划分；

⑤当P_th-P_tv＞T时，跳过三叉垂直划分。

步骤四、根据步骤三的判断结果，决定相应编码块在进行RDO过程中需要跳过的划分方式。

实施例2

本实施例在实施例1的基础上，将步骤三中的阈值T设置为0，即直接比较支持向量机输出的垂直划分和水平划分概率的大小，并跳过同一树型下概率较小的划分方向：

①当P_bv＞P_bh时，跳过二叉水平划分；

②当P_bh＞P_bv时，跳过二叉垂直划分；

③当R_tv＞P_th时，跳过三叉水平划分；

④当P_th＞P_tv时，跳过三叉垂直划分。

为了验证本方法的有效性，根据JVET通用测试条件设置实验测试序列和参数，分别使用本方法与VTM-15.0进行了对比实验，实验结果证明，本方法相较于VTM-15.0可以减少36.75％～51.03％的编码时间，而BDBR仅上升1.22％～1.65％。

以上实施例描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种用于加快视频编码的编码单元划分方法，其特征在于：具体包括以下步骤：

步骤一、在进行RDO过程前，首先根据编码块的大小，计算不同划分方式下子编码单元的特征值；具体地，对于32x32、32x16、16x32大小的编码块，计算二叉、三叉划分下子CU的特征值；对于8x16、16x8大小的编码块，计算二叉划分下子CU的特征值；对16x16大小的编码块，在RDO过程中跳过四叉划分；对其它大小的编码块，直接进行完整的RDO过程；

步骤二、根据步骤一得到的特征值，进行特征距离的计算，然后将特征距离作为样本，对应的编码块划分方式作为标签，建立训练数据集对支持向量机进行训练，获取支持向量机输出的垂直划分概率P_υ和水平划分概率P_h；具体地，二叉划分下的特征距离ΔF_b为：

ΔF_b＝|F_{bth_0}-F_{bth_1}|-|F_{btυ_0}-F_{btυ_1}

其中，F_{bth_0}、F_{bth_1}表示二叉水平划分上方子CU、下方子CU特征值，F_{btυ_0}、F_{btυ_1}表示二叉垂直划分左方子CU、右方子CU特征值；

三叉划分下的特征距离ΔF_t为：

ΔF_t＝|F_{thh_0}-F_{tth_1}|+|F_{tth_1}-F_{tth_2}|-|F_{ttυ_0}-F_{ttυ_1}|-|F_{ttυ_1}-F_{ttυ_2}|

其中，F_{tth_0}、F_{tth_1}、F_{tth_2}分别表示三叉水平划分上方、中间和下方子CU特征值，F_{ttυ_0}、F_{ttυ_1}、F_{ttυ_2}分别表示三叉垂直划分左方、中间和右方子CU特征值；

步骤三、设置判断阈值T，计算垂直划分概率P_υ和水平划分概率P_h的差值，并与判断阈值T进行比较：

①当|P_v-P_h|≤T时，不跳过划分方式；

②当|P_v-P_h|＞T，且P_v＞P_h时，跳过水平划分方式；

③当|P_v-P_h|＞T，且P_v＜P_h时，跳过垂直划分方式；

步骤四、根据步骤三的判断结果，决定相应编码块在进行RDO过程使用的多类型树划分方式。

2.如权利要求1所述一种用于加快视频编码的编码单元划分方法，其特征在于：进一步的，步骤一中子CU的特征值包括方差、熵和纹理对比度；

方差Var的计算公式为：

其中

是一个子CU中所有像素值的平均值，H和W分别代表子CU的高度和宽度，x_ij表示第i行第j个位置的像素灰度值；

熵E的计算公式为：

其中p(x)表示属于第x个灰度的可能性；

纹理对比度C的计算公式为：

其中δ(i，j)＝|i-j|表示相邻像素之间的差异度，P_δ(i，j)表示度差为δ的像素的分布概率。

3.如权利要求1所述一种用于加快视频编码的编码单元划分方法，其特征在于：根据输入样本的为二叉划分或三叉划分，支持向量机的输出包括P_bυ和P_bh或P_tυ和P_th，分别表示二叉划分下进行垂直划分和水平划分的概率，以及三叉划分下进行垂直划分和水平划分的概率。

4.如权利要求3所述一种用于加快视频编码的编码单元划分方法，其特征在于：当P_bυ-P_bh＞T时，跳过二叉水平划分；当P_bh-P_bυ＞T时，跳过二叉垂直划分；当P_tυ-P_th＞T时，跳过三叉水平划分；当P_th-P_tυ＞T时，跳过三叉垂直划分。

5.如权利要求1所述一种用于加快视频编码的编码单元划分方法，其特征在于：在步骤三中，设置阈值T＝0.4或T＝0。

6.一种用于加快视频编码的编码单元划分装置，其特征在于：用于实现如权利要求1～5任一所述的用于加快视频编码的编码单元划分方法，包括编码模块、存储模块、运算模块和逻辑控制模块，模块间直接或间接地电性连接，以实现数据的传输或交互；

所述编码模块用于针对待编码图像生成对应的编码块；

所述存储模块用于存储待编码图像和预测编码块划分方向的SVM模型；

所述运算模块用于计算编码模块生成的编码块的特征值与特征距离，并输入SVM模型预测划分方式；

所述逻辑控制模块根据SVM模型的预测结果，决策当前编码块在RDO过程中可以跳过的划分模式。

7.如权利要求6所述一种用于加快视频编码的编码单元划分装置，其特征在于：使用一条或多条通讯总线或信号线实现模块间电性连接。

8.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1～5中任一项所述的方法。

Images