CN112291562A - 针对h.266/vvc的快速cu分区和帧内模式决策方法 - Google Patents

Abstract

本发明提出了一种针对H.266/VVC的快速CU分区和帧内模式决策方法，其步骤为：首先，当CU大小为第一种尺寸时，选择有效特征来区分CU分区模式；其次，通过有效特征在线训练SVM分类器模型，并利用训练好的SVM分类器模型用于确定第一种尺寸对应的CU分区模式；当CU大小为第二种尺寸时，分别计算五个分割模式下CU的方差的方差，并将最大值对应的分割模式作为CU的最佳模式；最后，根据计算的划分后的CU的像素值偏差PVD将帧内预测模式分为垂直帧内模式和水平帧内模式，并使用改进的搜索方式确定最佳帧内预测模式。本发明既缩短了CU划分的时间，又减少了需要计算的帧内预测模式的数量，可以在保持编码质量的同时降低编码的计算复杂度。

Description

针对H.266/VVC的快速CU分区和帧内模式决策方法

技术领域

本发明涉及图像处理技术领域，特别是指一种针对H.266/VVC的快速CU分区和帧内模式决策方法。

背景技术

随着诸如4K/8K超高清之类的视频应用的兴起，视频数据量激增，对编码技术提出了更高的要求。运动图像专家组和视频编码专家组成立了联合视频探索小组，负责下一代视频编码标准H.266/VVC项目开发。2017年，MPEG和VCEG联合发布了针对新一代视频编码压缩标准的提案征集。随后发布了参考软件，并计划在2020年完成进一步的标准化草案。截至2020年初，JVET发布了H.266/VVC的最新版本视频测试模型(VTM8.0)。与H.265/HEVC参考软件HM相比，H.266/VVC可以保持主观视觉质量不变，并将编码效率提高大约40％。

上一代视频编码标准无法满足未来市场的压缩能力，而高度密集的数据带来了带宽和存储方面的巨大挑战。为了满足人们对清晰度，流畅性和实时视频的要求，H.266/VVC的开发迫在眉睫。H.266/VVC具有良好的网络适应性，并行处理能力和压缩效率，将在许多领域得到应用。此外，H.266/VVC的位深度为10位，适用于4K/8K视频。例如，即使在编码过程中输入是8位序列，也将其转换为10位进行处理。H.266/VVC不仅继承了H.265/HEVC的某些技术，例如四叉树嵌套多类型树分区结构，位置相关帧内预测组合，仿射运动补偿预测和自适应多核转换等编码工具。同时，帧内预测模式从35种增加至67种，这与提供35种预测模式的H.265/HEVC相比，能够提供更准确的预测。众多先进编码工具的引入，大大提高新一代视频编码标准H.266/VVC的编码效率。但是，由于H.266/VVC加入了这些新的编码工具，导致了编码计算复杂度的大幅度提高，从而显著降低了新一代视频的编码速度。与全帧内“AllIntra”配置中的HM相比，VTM的计算复杂度是HM的19倍。因此，如何降低H.266/VVC复杂度及对海量的数据进行高效的压缩成为多功能视频应用于实际的一个重要问题。

鉴于上述问题，目前已经提出了许多快速H.266/VVC算法以减轻编码负担。Z.Wang等人提出了一种快速CU拆分决策方法，以平衡编码时间和压缩性能。T.Lin等人针对H.266/VVC开发了一种基于空间特性的快速CU分割方案，以减少计算复杂度，其中通过调节相关的错误率来获得自适应阈值。T.Fu等人引入了一种基于贝叶斯规则的快速CU划分方案，以减少由四叉树加二叉树编码结构引起的编码复杂度。J.Chen等人计划了一种基于相邻最大编码单元的平均深度信息的快速CU大小决定算法，以消除不必要的RDO处理。M.Lei等人提出了一种新颖的CU大小修剪预测方案，以降低编码复杂度。S.Park等人通过在H.266/VVC的编码上下文中识别特征，提出了一种简单的早期决策工具，可以有效地降低编码复杂度。为了在编码效率和压缩质量之间取得平衡，J.Chen等人采用了一种基于方差和梯度的快速拆分方法来解决四叉树嵌套多类型树分区结构带来的不对称拆分问题。N.Tang等人采用快速帧内划分方法来平衡复杂度和编码效率，其中帧内编码使用Canny边缘检测器，而帧间编码使用三帧差方法。H.Yang等人开发了一种基于统计学习的快速编码方法，该方法由低复杂度编码树单元体系结构和基于梯度下降的快速帧内模式决策组成，以降低计算复杂度。为了解决不对称分裂问题，Y.Fan等人使用方差和Sobel算子，对H.266/VVC采用了快速CU划分方法，可以平衡编码复杂度和编码质量。Z.Wang等人设计了一种基于局部约束的快速四叉树加二叉树结构分割算法，以减少四叉树和二叉树分割之间的冗余。T.Amestoy等人设计了基于机器学习的快速四叉树加二叉树分区结构方法，该方法使用随机森林分类器模型来确定拆分模式。Z.Jin等人介绍了一种基于卷积神经网络的新型快速四叉树加二叉树分区方法，其中该方法采用卷积神经网络架构直接估计CU拆分深度范围。G.Tang等人采用了一种针对各种CU形状的自适应CU分裂决策方法，以降低编码复杂度。F.Chen等人设计了一种基于支持向量机SVM的快速CU大小决策方法，以减少H.266/VVC的计算复杂度，其中CU的有效特征可用于区分分区方向并训练不同CU大小的支持向量机SVM分类器模型用于预测CU的分区方向。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种针对H.266/VVC的快速CU分区和帧内模式决策方法，解决了现有编码技术存在编码质量差、编码复杂度高的技术问题。

本发明的技术方案是这样实现的：

一种针对H.266/VVC的快速CU分区和帧内模式决策方法，其步骤如下：

步骤一：采集M帧视频图像，针对第一帧视频图像中尺寸为128×128或64×64的CU，利用四叉树划分模式对第一帧视频图像进行CU划分，并利用F-Score值选择与CU划分的类别相关的特征，其中，CU尺寸为128×128或64×64时，与CU划分的类别相关的特征包括CU的方差、分区的期望值、分区的方差值和量化参数QP；

步骤二：针对第一帧视频图像中尺寸为32×16、16×32、16×16、8×16或16×8的CU，分别利用水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的分割模式对第一帧视频图像进行CU划分，并利用F-Score值选择与CU划分的类别相关的特征，其中，CU尺寸为32×16、16×32、16×16、8×16或16×8时，与CU划分的类别相关的特征包括熵方差、纹理对比度差和Haar小波变换系数；

步骤三：利用与CU划分的类别相关的特征训练得到尺寸为128×128、64×64、32×16、16×32、16×16、8×16或16×8的CU对应的SVM模型；

步骤四：利用步骤三中的SVM模型分别对其余M-1帧视频图像进行CU划分预测，得到CU划分的最佳模式，执行步骤七；

步骤五：针对M帧视频图像中尺寸为32×32的CU，分别利用四叉树划分、水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的五种分割模式对尺寸为32×32的CU进行CU划分，并计算五种分割模式对应的CU的方差的方差，将CU的方差的方差的最大值对应的分割模式作为CU划分的最佳模式，执行步骤七；

步骤六：针对M帧视频图像中其他尺寸的CU，分别利用四叉树划分、水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的五种分割模式对其他尺寸的CU进行CU划分，并分别计算着五种分割模式的率失真值，将最小的率失真值对应的分割模式作为CU划分的最佳模式，执行步骤七；

步骤七：将视频图像按照最佳模式进行CU划分，得到子CU，计算子CU的像素值偏差PVD和像素值平均偏差，根据像素值偏差PVD与像素值平均偏差的对比结果将帧内预测模式分为垂直帧内模式和水平帧内模式；

步骤八：分别计算垂直帧内模式和水平帧内模式的绝对变换差之和SATD值，根据绝对变换差之和SATD值构建RDO模式集，并分别计算RDO模式集中垂直帧内模式和水平帧内模式的RDO值，将最小的RDO值对应的模式作为最佳帧内预测模式。

所述CU的方差的计算方法为：

其中，W表示CU的宽度，H表示CU的高度，ξ表示CU的方差，

表示CU中像素的平均值，x_ij表示CU中坐标为(i,j)的像素值，i＝0,1,…,W-1，j＝0,1,…,H-1；

所述分区的期望值的计算方法为：

e_s＝e_v+e_h

其中，e_v＝|e_u-e_d|表示CU中像素期望值的垂直方向的绝对差，e_h＝|e_l-e_r|表示CU中像素期望值的水平方向的绝对差，e_u表示CU的上分区的像素期望值，e_d表示CU的下分区的期望值，e_l表示CU的左分区的期望值，e_r表示CU的右分区的期望值，CU的上分区和下分区的大小均为

CU的左分区和右分区的大小均为

所述分区的方差值的计算方法为：

ξ_s＝ξ_v+ξ_h

其中，ξ_v＝|ξ_u-ξ_d|表示CU中像素方差值的垂直方向的绝对差，ξ_h＝ξ_l-ξ_r|表示CU中像素方差值的水平方向的绝对差，ξ_u表示CU的上分区的方差值，ξ_d表示CU的下分区的方差值，ξ_l表示CU的左分区的方差值，ξ_r表示CU的右分区的方差值。

所述熵方差的计算公式为：

ΔE_BT＝|E_{BTH_0}-E_{BTH_1}|-|E_{BTV_0}-E_{BTV_1}|

ΔE_TT＝|E_{TTH_0}-E_{TTH_1}|+|E_{TTV_1}-E_{BTV_2}|-|E_{TTV_0}-E_{TTV_1}|-|E_{TTV_1}-E_{TTV_2}|

其中，ΔE_BT表示二进制划分的熵方差，|E_{BTH_0}-E_{BTH_1}|表示水平二进制划分的熵方差，|E_{BTV_0}-E_{BTV_1}|表示垂直二进制划分的熵方差，ΔE_TT表示三进制划分的熵方差，|E_{TTH_0}-E_{TTH_1}|+|E_{TTV_1}-E_{BTV_2}|表示水平三进制划分的熵方差，|E_{TTV_0}-E_{TTV_1}|-|E_{TTV_1}-E_{TTV_2}|表示垂直三进制划分的熵方差，E_K是划分后的CU的熵，i'表示划分后的CU的灰度值，p(i')表示第i个灰度值的概率；

所述纹理对比度差的计算公式为：

ΔT_BT＝|T_{BTH_0}-T_{BTH_1}|-|T_{BTV_0}-T_{BTV_1}|

ΔT_TT＝|T_{TTH_0}-E_{TTH_1}|+|T_{TTV_1}-T_{BTV_2}|-|T_{TTV_0}-T_{TTV_1}|-|T_{TTV_1}-T_{TTV_2}|

其中，ΔT_BT表示水平二进制划分和垂直二进制划分的纹理对比度之间的差异，|E_{BTH_0}-E_{BTH_1}|表示水平二进制划分的纹理对比度，|E_{BTV_0}-E_{BTV_1}|表示垂直二进制划分的纹理对比度，ΔT_TT表示水平三进制划分和垂直三进制划分的纹理对比度之间的差异，|T_{TTH_0}-E_{TTH_1}|+|T_{TTV_1}-T_{BTV_2}|表示水平三进制划分的纹理对比度，|T_{TTV_0}-T_{TTV_1}|-|T_{TTV_1}-T_{TTV_2}|表示垂直三进制划分的纹理对比度，T_K表示划分后的CU的纹理，W₁代表划分后的CU的宽度，H₁代表划分后的CU的高度，f(i₁,j₁)代表划分后的CU中的位置(i₁,j₁)的像素值；

所述Haar小波变换系数的计算公式为：

其中，|f(2×i,2×j)-f(2×i,2×j+1)+f(2×i+1,2×j)-f(2×i+1,2×j+1)|表示Harr小波变换的水平系数，|f(2×i,2×j)+f(2×i,2×j+1)-f(2×i+1,2×j)-f(2×i+1,2×j+1)|表示Harr小波变换的垂直系数，D表示Haar小波变换系数值。

所述CU的方差的方差的计算公式为：

V_M＝max(V_QT,V_{BT_H},V_{BT_V},V_{TT_H},V_{TT_V})

其中，V_QT表示四叉树划分后的CU的方差的方差，V_{BT_H}表示水平二进制划分后的CU的方差的方差，V_{BT_V}表示垂直二进制划分后的CU的方差的方差，V_{TT_H}表示水平三进制划分后的CU的方差的方差，V_{TT_V}表示垂直三进制划分后的CU的方差的方差，W_n表示划分后的CU的像素的宽，H_n表示划分后的CU的像素的高，ξ_n表示划分后的CU的像素的平均值，ξ_QT四叉树划分后的CU的平均方差值，ξ_BT表示水平二进制划分后的CU的平均方差值，ξ_BV表示垂直二进制划分后的CU的平均方差值，ξ_TH表示水平三进制划分后的CU的平均方差值，ξ_TV表示垂直三进制划分后的CU的平均方差值，V_M表示五种分割模式中的方差的方差的最大值，X(i₂,j₂)表示划分后的CU在位置(i₂,j₂)上的像素，i₂表示像素的横坐标，j₂表示像素的纵坐标。

所述F-Score值的计算公式为：

其中，

表示第i₃个特征的F-Score值，n_pos表示正类样本的数量，n_neg表示负类样本的数量，

表示正类样本集中第i₃个特征的平均值，

表示负类样本集中第i₃个特征的平均值，

指第i₃个特征的平均值，

代表第l个正类样本点的第i₃个特征的特征值，

代表第l个负类样本点的第i₃个特征的特征值，正类样本是指分裂或跳过垂直分裂的CU，负类样本是指不分裂或跳过水平分裂的CU。

所述子CU的像素值偏差PVD的计算公式为：

所述子CU的像素值平均偏差的计算公式为：

其中，PVD_D(x)表示某个方向的像素值偏差值，W'表示子CU的宽度，H'表示子CU的高度，y(x)表示第x个像素条的平均亮度值，P(x,i”)表示第x个像素条的第i”行亮度像素，PVD_w表示像素条的平均值，N表示像素条的编号，i”表示子CU的像素的横坐标，j”表示子CU的像素的纵坐标。

本技术方案能产生的有益效果：本发明首先选择有效特征来区分CU分区模式。当CU大小为128×128和64×64时，有效特征包括整个CU的方差、分区的期望值、分区的差异和量化参数QP。当CU尺寸为32×16、16×32、16×16、8×16和16×8时，有效特征包括熵方差、纹理对比度差和Haar。随后，通过使用这些有效特征在线训练与支持向量机SVM分类器模型。最终，将训练好的SVM分类器模型用于确定CU分区模式。当CU尺寸为32×32时，分别计算五个分割模式下CU的方差的方差，并且每个值对应于一个分割模式，将最大值对应的模式为CU的最优划分模式。此外，设计了快速帧内预测模式决策方案，其中，通过像素值偏差PVD判断属于垂直模式还是水平模式，然后使用改进的搜索方式，减少需要计算的帧内预测模式的数量，从而减少了帧内预测模式选择的时间。所提出的整体方法可以在保持编码质量的同时降低编码的计算复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为本发明的CU的上分区、下分区、左分区、右分区的位置图；

图3为本发明的帧内CU划分方法流程图；

图4为本发明的支持向量机SVM分类器模型的预测精度；

图5为本发明的帧内预测模式方法流程图；

图6为本发明方法与CTMD、FIVG、FBDA、FQPD和ACSD方法的编码时间的节省情况对比结果图；

图7为本发明方法与CTMD、FIVG、FBDA、FQPD和ACSD方法的BDBR的增加情况对比结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种针对H.266/VVC的快速CU分区和帧内模式决策方法，主要分为快速CU分区和快速帧内模式预测；首先选择有效特征来区分CU分区模式。当CU大小为128×128和64×64时，有效特征包括整个CU的方差、分区的期望值、分区的差异和量化参数QP。当CU尺寸为32×16、16×32、16×16、8×16和16×8时，有效特征包括熵方差、纹理对比度差和Haar。随后，通过使用这些有效特征在线训练与支持向量机SVM分类器模型。最终，将训练好的SVM分类器模型用于确定CU分区模式。当CU尺寸为32×32时，分别计算五个分割模式的方差的方差，并且每个值对应于一个分割模式，将最大值对应的模式为CU的最优划分模式。此外，设计了快速帧内预测模式决策方案，其中，通过像素值偏差PVD判断属于垂直模式还是水平模式，然后使用改进的搜索方式，减少需要计算的帧内预测模式的数量，从而减少了帧内预测模式选择的时间。本实施例所提出的整体方法可以在保持编码质量的同时降低编码的计算复杂度。具体步骤如下：

在快速CU分区方法中，首先通过计算F-Score值进行特征选择，从许多特征中选择最有效的分类特征，最有效的分类特征可以计算每个特征对分类的影响，进而使用有效特征来区分CU分区模式。F-Score值越大，该特征的辨别力越强，使用这些特征在线训练相应的支持向量机SVM分类器模型，并将支持向量机SVM分类器模型用于确定CU分区模式。另外，考虑到不同视频序列的不同情况，对支持向量机SVM分类器模型进行在线训练并定期进行更新，每个周期为80帧。在第一帧中训练SVM分类器模型，而随后的79帧用于预测。而当CU尺寸为32×32时，分别计算五个分割模式方差的方差值，每个值对应一个分割模式，最大值对应的模式为CU划分的最优模式；在快速帧内预测模式决策方案中，首先通过像素值偏差PVD判断属于垂直模式还是水平模式，然后使用改进的搜索方式，减少需要计算的帧内预测模式的数量。具体包括步骤一～步骤六。

步骤一：采集M帧视频图像，针对第一帧视频图像中尺寸为128×128或64×64的CU，由于QT分区结构超过了最大允许BT和TT尺寸，因此利用四叉树划分QT模式对第一帧视频图像进行CU划分，并利用F-Score值选择与CU划分的类别相关的特征，其中，CU尺寸为128×128或64×64时，与CU划分的类别相关的特征包括CU的方差、分区的期望值、分区的方差值和量化参数QP；

在图像编码过程中，单一区域的图像内容往往采用较大的CU进行编码。相反，具有丰富细节的区域通常使用较小的CU进行编码。由于纹理特征和CU大小具有很强的关系，因此，使用方差来度量纹理复杂度，所述CU的方差的计算方法为：

其中，W表示CU的宽度，H表示CU的高度，ξ表示CU的方差(代表整个CU的纹理变化)，

表示CU中像素的平均值，x_ij表示CU中坐标为(i,j)的像素值，i＝0,1,…,W-1，j＝0,1,…,H-1；

当CU拆分提前终止时，CU的上下或左右纹理非常相似。因此，上边和下边的期望值和方差值的绝对差可以预测这两部分是否存在差异。同样，左边和右边的期望值和方差值的绝对差可以预测这两部分是否存在差异，如图2所示，将CU分为上分区和下分区，或者将CU分为左分区和右分区；所述分区的期望值的计算方法为：

e_s＝e_v+e_h

其中，e_v＝|e_u-e_d|表示CU中像素期望值的垂直方向的绝对差，e_h＝|e_l-e_r|表示CU中像素期望值的水平方向的绝对差，e_u表示CU的上分区的像素期望值，e_d表示CU的下分区的期望值，e_l表示CU的左分区的期望值，e_r表示CU的右分区的期望值，CU的上分区和下分区的大小均为

CU的左分区和右分区的大小均为

所述分区的方差值的计算方法为：

ξ_s＝ξ_v+ξ_h

其中，ξ_v＝|ξ_u-ξ_d|表示CU中像素方差值的垂直方向的绝对差，ξ_h＝|ξ_l-ξ_r|表示CU中像素方差值的水平方向的绝对差，ξ_u表示CU的上分区的方差值，ξ_d表示CU的下分区的方差值，ξ_l表示CU的左分区的方差值，ξ_r表示CU的右分区的方差值。

此外，量化参数QP的大小还影响CU划分的决定。当量化参数QP较大时，CU通常会选择较大的尺寸。相反，当量化参数QP较小时，CU可能会选择较小的尺寸。基于上述分析，当CU尺寸为128×128和64×64时，将CU的方差，分区的期望值，分区的方差值和量化参数QP视为特征向量。

通过F-Score值可以从许多特征中选择最有效的分类特征，它可以计算每个特征对分类的影响，F-Score的值越大，该特征的辨别力越强，所述F-Score值的计算公式为：

其中，

表示第i₃个特征的F-Score值，n_pos表示正类样本的数量，n_neg表示负类样本的数量，

表示正类样本集中第i₃个特征的平均值，

表示负类样本集中第i₃个特征的平均值，

指第i₃个特征的平均值，

代表第l个正类样本点的第i₃个特征的特征值，

代表第l个负类样本点的第i₃个特征的特征值，正类样本是指分裂或跳过垂直分裂的CU，负类样本是指不分裂或跳过水平分裂的CU。

步骤二：针对第一帧视频图像中尺寸为32×16、16×32、16×16、8×16或16×8的CU，分别利用水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的分割模式对第一帧视频图像进行CU划分，并利用F-Score值选择与CU划分的类别相关的特征，其中，CU尺寸为32×16、16×32、16×16、8×16或16×8时，与CU划分的类别相关的特征包括熵方差、纹理对比度差和Haar小波变换系数，熵方差、纹理对比度差表示信息量；

所述熵方差的计算公式为：

ΔE_BT＝|E_{BTH_0}-E_{BTH_1}|-|E_{BTV_0}-E_{BTV_1}|

ΔE_TT＝|E_{TTH_0}-E_{TTH_1}|+|E_{TTV_1}-E_{BTV_2}|-|E_{TTV_0}-E_{TTV_1}|-|E_{TTV_1}-E_{TTV_2}|

其中，ΔE_BT表示二进制划分的熵方差，|E_{BTH_0}-E_{BTH_1}|表示水平二进制划分BT_H的熵方差，|E_{BTV_0}-E_{BTV_1}|表示垂直二进制划分BT_V的熵方差，ΔE_TT表示三进制划分的熵方差，|E_{TTH_0}-E_{TTH_1}|+|E_{TTV_1}-E_{BTV_2}|表示水平三进制划分TT_H的熵方差，|E_{TTV_0}-E_{TTV_1}|-|E_{TTV_1}-E_{TTV_2}|表示垂直三进制划分TT_V的熵方差，E_K是划分后的CU的熵，i'表示划分后的CU的灰度值，p(i')表示第i个灰度值的概率；

所述纹理对比度差的计算公式为：

ΔT_BT＝|T_{BTH_0}-T_{BTH_1}|-|T_{BTV_0}-T_{BTV_1}|

ΔT_TT＝|T_{TTH_0}-E_{TTH_1}|+|T_{TTV_1}-T_{BTV_2}|-|T_{TTV_0}-T_{TTV_1}|-|T_{TTV_1}-T_{TTV_2}|

其中，ΔT_BT表示水平二进制划分BT_H和垂直二进制划分BT_V的纹理对比度之间的差异，|E_{BTH_0}-E_{BTH_1}|表示水平二进制划分BT_H的纹理对比度，|E_{BTV_0}-E_{BTV_1}|表示垂直二进制划分BT_V的纹理对比度，ΔT_TT表示水平三进制划分TT_H和垂直三进制划分TT_V的纹理对比度之间的差异，|T_{TTH_0}-E_{TTH_1}|+|T_{TTV_1}-T_{BTV_2}|表示水平三进制划分TT_H的纹理对比度，|T_{TTV_0}-T_{TTV_1}|-|T_{TTV_1}-T_{TTV_2}|表示垂直三进制划分TT_V的纹理对比度，T_K表示划分后的CU的纹理，W₁代表划分后的CU的宽度，H₁代表划分后的CU的高度，f(i₁,j₁)代表划分后的CU中的位置(i₁,j₁)的像素值；

Haar反映了图像的灰度变化，用于精确预测CU分割模式，所述Haar小波变换系数的计算公式为：

其中，|f(2×i,2×j)-f(2×i,2×j+1)+f(2×i+1,2×j)-f(2×i+1,2×j+1)|表示Harr小波变换的水平系数，|f(2×i,2×j)+f(2×i,2×j+1)-f(2×i+1,2×j)-f(2×i+1,2×j+1)|表示Harr小波变换的垂直系数，D表示Haar小波变换系数值。

步骤三：利用与CU划分的类别相关的特征训练得到尺寸为128×128、64×64、32×16、16×32、16×16、8×16或16×8的CU对应的SVM模型；

支持向量机SVM分类器模型可以解决两类分类问题，通过最佳超平面可以在特征空间中实现更好的分类性能，其中训练样本集表示为，

D_z＝{(x_z,y_z),x_z∈R^N,y_z∈{-1,+1},z＝1,2,…,m}

其中，D_z表示训练样本集，y_z表示输入特征向量x_z对应的类标签，R^N表示特征向量的维数。由于最大化

和最小化

是等效的，则

s.t.y_z[(W₁·x_z+b)]≥1,z＝1,2…,m

其中，

表示分类间隔，Ψ(W₁)表示最小化后的

b表示超平面的偏差变量。尽管如此，并不存在精确的分类。比如，一个类别的样本被错误分类为其他类别。因此，最优超平面可以通过误差惩罚来解决分类错误的分类问题，从而控制分类精度，其表示为，

s.t.y_z(W₁ ^Tx_z+a)≥1-μ_z,μ_z≥0,z＝1,2,…,m

其中，W₁代表通过使用原始对偶关系获得的法向量，C是惩罚参数。μ_z表示松弛变量，a表示偏差变量，τ(W₁,μ)表示加入误差惩罚并最小化之后的分类间隔。此外，通过引入拉格朗日乘法器得到上述优化问题的解，

其中γ_z和η_z表示拉格朗日乘数。Φ(x_z)表示一个输入特征到特征空间的映射。转化为通过拉格朗日函数的鞍点以解决超平面优化问题，即转化为对偶问题，表示为，

其中，W(γ)表示转化为的对偶问题，z'＝1,2…,m表示特征向量的个数。

最后，决策函数表示为，

其中，sign{·}表示符号函数，<·,·〉表示标量积。具体来说，首先判断是否在线学习帧，如果是在线学习帧，进行特征提取，训练相应的支持向量机SVM模型，由于不同的视频序列具有不同的情况，因此支持向量机SVM模型会进行在线训练并定期更新。每个周期有80帧，在第一帧中训练支持向量机SVM分类器模型，随后的79帧用于预测；如果不是在线学习帧，则判断CU的尺寸是否是本发明中设计的尺寸，然后预测划分模式或进一步分割；如果进行预测模式分割，当CU大小为128×128和64×64时，可以判断CU是否拆分。类似地，当CU尺寸为32×16、16×32、16×16、8×16和16×8时，可以判断CU提过垂直划分还是水平划分。图4示了这些SVM分类器模型的预测精度。从图6中可以看出，大多数SVM分类器模型的平均精度都高于80％，而小尺寸CU的分类器的平均精度超过90％。因此，它验证了支持向量机SVM分类器模型对于这些CU是有效的。

步骤三：利用步骤二中的SVM模型分别对其余M-1帧视频图像进行CU划分预测，得到CU划分的最佳模式，执行步骤六；

步骤四：利用步骤三中的SVM模型分别对其余M-1帧视频图像进行CU划分预测，得到CU划分的最佳模式，执行步骤七；

步骤五：针对M帧视频图像中尺寸为32×32的CU，分别利用四叉树划分、水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的五种分割模式对尺寸为32×32的CU进行CU划分，并计算五种分割模式对应的CU的方差的方差，将CU的方差的方差的最大值对应的分割模式作为CU划分的最佳模式，执行步骤七；

根据基于DIV2K数据集中的100张图像的统计分析，可以获得每个划分后的CU的方差的方差，可以合理地推测出五个分裂模式中较大值对应的模式是最佳模式。所述CU的方差的方差的计算公式为：

V_M＝max(V_QT,V_{BT_H},V_{BT_V},V_{TT_H},V_{TT_V})

其中，V_QT表示四叉树划分后的CU的方差的方差，V_{BT_H}表示水平二进制划分后的CU的方差的方差，V_{BT_V}表示垂直二进制划分后的CU的方差的方差，V_{TT_H}表示水平三进制划分后的CU的方差的方差，V_{TT_V}表示垂直三进制划分后的CU的方差的方差，W_n表示划分后的CU的像素的宽，H_n表示划分后的CU的像素的高，ξ_n表示划分后的CU的像素的平均值，ξ_QT四叉树划分后的CU的平均方差值，ξ_BT表示水平二进制划分后的CU的平均方差值，ξ_BV表示垂直二进制划分后的CU的平均方差值，ξ_TH表示水平三进制划分后的CU的平均方差值，ξ_TV表示垂直三进制划分后的CU的平均方差值，V_M表示五种分割模式中的方差的方差的最大值，X(i₂,j₂)表示划分后的CU的像素值，i₂表示像素的横坐标，j₂表示像素的纵坐标。当CU大小为32×32时，V_M对应的划分模式是可能的划分模式，也是最佳分割模式。本实施例提出的快速CU分区方法的流程图如图3所示。

步骤六：针对M帧视频图像中其他尺寸的CU，分别利用四叉树划分、水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的五种分割模式对其他尺寸的CU进行CU划分，并分别计算着五种分割模式的率失真值，将最小的率失真值对应的分割模式作为CU划分的最佳模式，执行步骤七；

在快速帧内模式预测中，首先通过像素值偏差PVD判断属于垂直模式还是水平模式，然后使用改进的搜索方式，减少需要计算的帧内预测模式的数量。具体包括步骤七和步骤八。

步骤七：将视频图像按照最佳模式进行CU划分，得到子CU，计算子CU的像素值偏差PVD和像素值平均偏差，根据像素值偏差PVD与像素值平均偏差的对比结果将帧内预测模式分为垂直帧内模式和水平帧内模式；

纹理方向是重要的纹理特征，它表示图像中相应事物的属性。具体地，像素之间的平均绝对偏差可以更准确地表示CU的能量方向趋势。因此，像素值偏差PVD用于快速帧内预测决策方法，以获得CU的纹理方向。所述子CU的像素值偏差PVD的计算公式为：

所述子CU的像素值平均偏差的计算公式为：

其中，PVD_D(x)表示某个方向的像素值偏差值，W'表示子CU的宽度，H'表示子CU的高度，y(x)表示第x个像素条的平均亮度值，P(x,i”)表示第x个像素条的第i”行亮度像素，PVD_w表示像素条的平均值，N表示像素条的编号，i”表示子CU的横坐标，j”表示子CU的纵坐标，x＝0,1,2,3。

步骤八：分别计算垂直帧内模式和水平帧内模式的绝对变换差之和SATD值，根据绝对变换差之和SATD值构建RDO模式集，并分别计算RDO模式集中垂直帧内模式和水平帧内模式的RDO值，将最小的RDO值对应的模式作为最佳帧内预测模式。

在快速帧内预测模式方法中，如图5所示，如果属于水平模式，则首先计算模式2、18和34的绝对变换差之和(Sum of Absolute Transformed Difference，SATD)值，最小的绝对变换差之和SATD值记为M_h0。然后，计算模式M_h0±8的绝对变换差之和SATD值(如果不存在，则不执行计算)并与模式M_h0相比，最小绝对变换差之和SATD值对应的模式记为M_h1。如果为模式M_h0＝2，则将模式2、3、4、5和6添加到RDO模式集中。接着计算模式M_h1±4的绝对变换差之和SATD值，与模式M_h1相比，最小的绝对变换差之和SATD值记为M_h2。最后，在RDO模式集中添加了模式M_h2±2、M_h2、M_h2±1。同样地，如果属于垂直模式，则计算模式34、50和66的绝对变换差之和SATD值，最小的绝对变换差之和SATD值对应的模式记录为M_v0。计算模式M_v0±8的绝对变换差之和SATD，与模式M_v0相比，最小绝对变换差之和SATD对应的模式记为M_v1。计算模式M_v1±4的绝对变换差之和SATD，与M_v1相比，最小的绝对变换差之和SATD记为M_v2。如果为M_v1＝66模式，则将模式62、63、64、65和66添加到RDO模式集中。最后，将模式M_v2±2、M_v2、M_v2±1添加到RDO模式集。计算RDO模式集合中每个方向模式的RDO值，最小值相对应的模式视为最佳模式。因此，快速帧内预测模式判定方法可以在保持编码性能的同时降低编码复杂度。

为了评估本发明的方法，在最新的H.266/VVC编码器(VTM 7.0)上进行了仿真测试。测试视频序列在全帧内“All Intra”配置中使用默认参数进行编码。BDBR反映了本发明的压缩性能，节省的编码时间ATS体现了复杂性的降低。表1给出了本发明的编码特性，该发明可以节省54.83％的编码运行时间，平均BDBR增量为1.02％。因此，本发明可以有效地节省编码时间，并且RD性能的损失可以忽略不计。

表1本发明的编码特性

从表1可以看出本发明与VTM相比RD性能和节省的编码运行时间。对于不同的测试视频，可能实验结果可能会有所波动，但是对本发明提出的方法是有效的。与VTM相比，本发明可以有效地增加时间节省，并具有良好的RD性能。

将本发明提出的方法与最新的H.266/VVC快速方法相比较。这些方法包括CTDM、FIVG、FBDA、FQPD和ACSD。图6和图7分别给出了节省编码时间和BDBR的编码结果，由图6和图7可知，与CTDM、FIVG、FBDA、FQPD和ACSD算法相比，本发明方法在减轻计算负担方面具有更高的性能，可进一步节省约0.74-18.14％的编码时间。与CTDM、FIVG、FBDA和FQPD算法相比，本发明方法具有更好的编码效率，可以进一步降低BD率0.02-0.39％。这些结果表明，本发明对于视频序列的所有分类都是有效的，并且计算复杂度优于H.266/VVC的最新快速方法。

本发明提出了一种针对H.266/VVC的快速CU分区和帧内模式决策方法，在快速CU分区方法中，当CU大小为128×128、64×64、32×16、16×32、16×16、8×16和16×8时，首先进行特征选择，使用有效特征来训练支持向量机SVM以区分CU分区模式。具体地，有两种情况：当CU大小为128×128和64×64时，有效特征包括整个CU的方差、分区的期望值、分区的方差值和量化参数QP；当CU尺寸为32×16、16×32、16×16、8×16和16×8时，有效特征包括熵方差、纹理对比度差和Haar然后使用这些特征在线训练相应的支持向量机SVM分类器模型。最终，支持向量机SVM分类器模型用于确定CU分区模式。另外，考虑到不同视频序列的不同情况，对支持向量机SVM分类器模型进行在线训练并定期进行更新，每个周期为80帧。在第一帧中训练SVM分类器模型，而随后的79帧用于预测；而当CU尺寸为32×32时，分别计算五个分割模式方差的方差值，每个值对应一个分割模式，最大值对应的模式为CU划分的最优模式；在快速帧内预测模式决策方案中，首先通过像素值偏差PVD判断属于垂直模式还是水平模式，然后使用改进的搜索方式，减少需要计算的帧内预测模式的数量。本发明提出的方法可以在保持编码质量的同时降低编码的计算复杂度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种针对H.266/VVC的快速CU分区和帧内模式决策方法，其特征在于，其步骤如下：

步骤一：采集M帧视频图像，针对第一帧视频图像中尺寸为128×128或64×64的CU，利用四叉树划分模式对第一帧视频图像进行CU划分，并利用F-Score值选择与CU划分的类别相关的特征，其中，CU尺寸为128×128或64×64时，与CU划分的类别相关的特征包括CU的方差、分区的期望值、分区的方差值和量化参数QP；

步骤二：针对第一帧视频图像中尺寸为32×16、16×32、16×16、8×16或16×8的CU，分别利用水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的分割模式对第一帧视频图像进行CU划分，并利用F-Score值选择与CU划分的类别相关的特征，其中，CU尺寸为32×16、16×32、16×16、8×16或16×8时，与CU划分的类别相关的特征包括熵方差、纹理对比度差和Haar小波变换系数；

步骤三：利用与CU划分的类别相关的特征训练得到尺寸为128×128、64×64、32×16、16×32、16×16、8×16或16×8的CU对应的SVM模型；

步骤四：利用步骤三中的SVM模型分别对其余M-1帧视频图像进行CU划分预测，得到CU划分的最佳模式，执行步骤七；

步骤五：针对M帧视频图像中尺寸为32×32的CU，分别利用四叉树划分、水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的五种分割模式对尺寸为32×32的CU进行CU划分，并计算五种分割模式对应的CU的方差的方差，将CU的方差的方差的最大值对应的分割模式作为CU划分的最佳模式，执行步骤七；

步骤六：针对M帧视频图像中其他尺寸的CU，分别利用四叉树划分、水平二进制划分、垂直二进制划分、水平三进制划分和垂直三进制划分的五种分割模式对其他尺寸的CU进行CU划分，并分别计算着五种分割模式的率失真值，将最小的率失真值对应的分割模式作为CU划分的最佳模式，执行步骤七；

步骤七：将视频图像按照最佳模式进行CU划分，得到子CU，计算子CU的像素值偏差PVD和像素值平均偏差，根据像素值偏差PVD与像素值平均偏差的对比结果将帧内预测模式分为垂直帧内模式和水平帧内模式；

步骤八：分别计算垂直帧内模式和水平帧内模式的绝对变换差之和SATD值，根据绝对变换差之和SATD值构建RDO模式集，并分别计算RDO模式集中垂直帧内模式和水平帧内模式的RDO值，将最小的RDO值对应的模式作为最佳帧内预测模式。

2.根据权利要求1所述的针对H.266/VVC的快速CU分区和帧内模式决策方法，其特征在于，所述CU的方差的计算方法为：

其中，W表示CU的宽度，H表示CU的高度，ξ表示CU的方差，

表示CU中像素的平均值，x_ij表示CU中坐标为(i,j)的像素值，i＝0,1,…,W-1，j＝0,1,…,H-1；

所述分区的期望值的计算方法为：

e_s＝e_v+e_h

其中，e_v＝|e_u-e_d|表示CU中像素期望值的垂直方向的绝对差，e_h＝|e_l-e_r|表示CU中像素期望值的水平方向的绝对差，e_u表示CU的上分区的像素期望值，e_d表示CU的下分区的期望值，e_l表示CU的左分区的期望值，e_r表示CU的右分区的期望值，CU的上分区和下分区的大小均为

CU的左分区和右分区的大小均为

所述分区的方差值的计算方法为：

ξ_s＝ξ_v+ξ_h

其中，ξ_v＝|ξ_u-ξ_d|表示CU中像素方差值的垂直方向的绝对差，ξ_h＝|ξ_l-ξ_r|表示CU中像素方差值的水平方向的绝对差，ξ_u表示CU的上分区的方差值，ξ_d表示CU的下分区的方差值，ξ_l表示CU的左分区的方差值，ξ_r表示CU的右分区的方差值。

3.根据权利要求2所述的针对H.266/VVC的快速CU分区和帧内模式决策方法，其特征在于，所述熵方差的计算公式为：

ΔE_BT＝|E_{BTH_0}-E_{BTH_1}|-|E_{BTV_0}-E_{BTV_1}|

ΔE_TT＝|E_{TTH_0}-E_{TTH_1}|+|E_{TTV_1}-E_{BTV_2}|-|E_{TTV_0}-E_{TTV_1}|-|E_{TTV_1}-E_{TTV_2}|

其中，ΔE_BT表示二进制划分的熵方差，|E_{BTH_0}-E_{BTH_1}|表示水平二进制划分的熵方差，|E_{BTV_0}-E_{BTV_1}|表示垂直二进制划分的熵方差，ΔE_TT表示三进制划分的熵方差，|E_{TTH_0}-E_{TTH_1}|+|E_{TTV_1}-E_{BTV_2}|表示水平三进制划分的熵方差，|E_{TTV_0}-E_{TTV_1}|-|E_{TTV_1}-E_{TTV_2}|表示垂直三进制划分的熵方差，E_K是划分后的CU的熵，i'表示划分后的CU的灰度值，p(i')表示第i个灰度值的概率；

所述纹理对比度差的计算公式为：

ΔT_BT＝|T_{BTH_0}-T_{BTH_1}|-|T_{BTV_0}-T_{BTV_1}|

ΔT_TT＝|T_{TTH_0}-E_{TTH_1}|+|T_{TTV_1}-T_{BTV_2}|-|T_{TTV_0}-T_{TTV_1}|-|T_{TTV_1}-T_{TTV_2}|

其中，ΔT_BT表示水平二进制划分和垂直二进制划分的纹理对比度之间的差异，|E_{BTH_0}-E_{BTH_1}|表示水平二进制划分的纹理对比度，|E_{BTV_0}-E_{BTV_1}|表示垂直二进制划分的纹理对比度，ΔT_TT表示水平三进制划分和垂直三进制划分的纹理对比度之间的差异，|T_{TTH_0}-E_{TTH_1}|+|T_{TTV_1}-T_{BTV_2}|表示水平三进制划分的纹理对比度，|T_{TTV_0}-T_{TTV_1}|-|T_{TTV_1}-T_{TTV_2}|表示垂直三进制划分的纹理对比度，T_K表示划分后的CU的纹理，W₁代表划分后的CU的宽度，H₁代表划分后的CU的高度，f(i₁,j₁)代表划分后的CU中的位置(i₁,j₁)的像素值；

所述Haar小波变换系数的计算公式为：

其中，|f(2×i,2×j)-f(2×i,2×j+1)+f(2×i+1,2×j)-f(2×i+1,2×j+1)|表示Harr小波变换的水平系数，|f(2×i,2×j)+f(2×i,2×j+1)-f(2×i+1,2×j)-f(2×i+1,2×j+1)|表示Harr小波变换的垂直系数，D表示Haar小波变换系数值。

4.根据权利要求1所述的针对H.266/VVC的快速CU分区和帧内模式决策方法，其特征在于，所述CU的方差的方差的计算公式为：

V_M＝max(V_QT,V_{BT_H},V_{BT_V},V_{TT_H},V_{TT_V})

其中，V_QT表示四叉树划分后的CU的方差的方差，V_{BT_H}表示水平二进制划分后的CU的方差的方差，V_{BT_V}表示垂直二进制划分后的CU的方差的方差，V_{TT_H}表示水平三进制划分后的CU的方差的方差，V_{TT_V}表示垂直三进制划分后的CU的方差的方差，W_n表示划分后的CU的像素的宽，H_n表示划分后的CU的像素的高，ξ_n表示划分后的CU的像素的平均值，ξ_QT四叉树划分后的CU的平均方差值，ξ_BT表示水平二进制划分后的CU的平均方差值，ξ_BV表示垂直二进制划分后的CU的平均方差值，ξ_TH表示水平三进制划分后的CU的平均方差值，ξ_TV表示垂直三进制划分后的CU的平均方差值，V_M表示五种分割模式中的方差的方差的最大值，X(i₂,j₂)表示划分后的CU在位置(i₂,j₂)上的像素，i₂表示像素的横坐标，j₂表示像素的纵坐标。

5.根据权利要求3所述的针对H.266/VVC的快速CU分区和帧内模式决策方法，其特征在于，所述F-Score值的计算公式为：

其中，

表示第i₃个特征的F-Score值，n_pos表示正类样本的数量，n_neg表示负类样本的数量，

表示正类样本集中第i₃个特征的平均值，

表示负类样本集中第i₃个特征的平均值，

指第i₃个特征的平均值，

代表第l个正类样本点的第i₃个特征的特征值，

代表第l个负类样本点的第i₃个特征的特征值，正类样本是指分裂或跳过垂直分裂的CU，负类样本是指不分裂或跳过水平分裂的CU。

6.根据权利要求1所述的针对H.266/VVC的快速CU分区和帧内模式决策方法，其特征在于，所述子CU的像素值偏差PVD的计算公式为：

所述子CU的像素值平均偏差的计算公式为：

其中，PVD_D(x)表示某个方向的像素值偏差值，W'表示子CU的宽度，H'表示子CU的高度，y(x)表示第x个像素条的平均亮度值，P(x,i”)表示第x个像素条的第i”行亮度像素，PVD_w表示像素条的平均值，N表示像素条的编号，i”表示子CU的像素的横坐标，j”表示子CU的像素的纵坐标。

Images