CN105791826A - 一种基于数据挖掘的hevc帧间快速模式选择方法 - Google Patents

Abstract

本发明提供一种基于数据挖掘的HEVC帧间快速模式选择方法，首先通过对不同分辨率，不同纹理的视频进行数据信息收集，接着对数据信息进行分析确定出有用的信息，然后利用数据信息建立起训练样本集，最后利用样本集建立起决策树进行测试。本发明在保持编码率失真性能基本不变的条件下，显著的降低HEVC的编码计算复杂度，极大缩短了编码时间。

Description

一种基于数据挖掘的HEVC帧间快速模式选择方法

技术领域

本发明涉及HEVC视频编码领域，具体是有关于一种基于数据挖掘的HEVC帧间快速模式选择方法。

背景技术

随着视频多媒体级数逐渐深入社会生活中，高清视频和超高清视频的相继得到热捧，人们对高分辨率和高帧率的视频不断提出要求。H.264已经不能满足这些要求，为此，联合视频编码小组致力于新的国际视频编码的标准制定，并于2013年1月公布了新的国际视频编码标准HEVC。

HEVC依旧采用混合编码框架，这个是和H.264相似的，不过HEVC是在H.264基础上做了大量的创新。HEVC放弃了宏块的概念，改为编码单元、预测单元、和变换单元，并提出基于四叉树的块尺寸递归分割结构和先进的运动矢量预测技术、非对称帧间预测单元模式和多方向帧内PU模式等，大大提高了编码效率。和H.264相比，HEVC在相同视频质量的条件下可以节约50％左右的视频码流。然而它的编码复杂度也成倍增加，这严重阻碍了它的推广应用。在HEVC编码过程中，一帧图像被划分成多个CTU(CodingTreeUnit)，每个CTU也可采用四叉树划分技术再被划分为一个或多个CU(CodingUnit)，每个CU可继续被划分为1个CU或者4个子CU。CTU的四叉树划分技术使CU的划分尺寸种类增加，进而增加了帧间和帧内编码的多样性，显著的提升了视频压缩效率。然而，HEVC的编码效率的提高是以高计算复杂度为代价的。HEVC以PU为单位依次进行帧间和帧内PU模式估计，其中，帧间预测占用了大量的内存空间和大量的编码时间，帧间模式包括Skip、Merge、Inter2Nx2N、InterNxN、InterNx2N、Inter2NxN、Inter2NxnU、InterNxnD、InternLx2N和InterRx2N，其中Skip、Merge和Inter2Nx2N模式并不会出现PU分裂，其余模式要么PU分为4块，要么PU分为2块，这种情况统称为CU的划分模式，PU分裂则为划分，否则为不划分。Skip模式的量化预测残差全为零，因此无需将预测矢量和量化预测残差编入码流，Merge模式只需要将量化预测残差编入码流，其他帧间预测模式都需要将预测矢量和量化预测残差编入码流。

HEVC帧间模式选择需要遍历所有的帧间预测模式，分别计算各个模式下的率失真代价RDO，最后选择率失真代价最小的模式作为其最终模式，这种方法可以获得很好的编码率失真性能，但是导致了计算复杂度的极大上升。因为HEVC帧间预测占用了70％以上的编码时间，所以需要研究一种快速模式选择方法用于降低HEVC的编码复杂度，使得HEVC更容易推广。

发明内容

本发明目的在于提供一种基于数据挖掘的HEVC的快速帧间模式选择方法，在保持编码率失真性能基本不变的条件下，显著的降低HEVC的编码计算复杂度，极大缩短了编码时间。

为了解决帧间复杂度高的问题，本发明的技术方案为：

一种基于数据挖掘的HEVC帧间快速模式选择方法，包括以下步骤：

(1.1)输入视频序列，对帧间预测的各个模式进行概率统计，得到帧间预测模式概率统计图；

(1.2)分析得到的帧间预测模式概率统计图，对帧间预测的MSM模式与2Nx2N模式的数据信息进行收集，找出与CU划分模式相关的数据特征，并进行特征优化，利用数据挖掘技术将得到的特征数据建立CU划分决策树；

(1.3)将建立的决策树模型运用到HEVC帧间预测。

本发明提供了一种基于数据挖掘的HEVC帧间快速模式选择方法，该方法适用于HEVC帧间编码的模式选择，与现有技术相比，具有如下特点和优点：

揭示了CU划分模式与上述特征的紧密相关性，并利用训练集，建立决策树模型，能更快的高准确度的判断出当前CU帧间预测模式是否划分，从而进一步决定是否遍历接下来的帧间预测模式。在保持良好的编码性能的条件下，本发明能及时判定划分模式，终止帧间预测模式的选择过程，避免了不必要的率失真代价计算，进而显著降低HEVC帧间编码模式选择的计算复杂度，与HM原始模型的选择方法相比，可以降低37.385％左右的编码时间，0.21％的BD-rate的增长，0.004％的BD-PSNR的降低，这表明视频质量基本没有变化，而且编码时间缩小了37.385％，而且所提出的方法简单有效，能融入HM代码模型，易于实现。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1所示为本发明实施例的基于数据挖掘的HEVC帧间快速模式选择方法的流程图。

图2所示是图1步骤(1.1)中的各个模式的概率统计图。

图3所示是图1中步骤(1.2)的决策树的建立框图。

图4所示是图3最后得到的CU32x32层次的决策树结果图。

图5所示是图3的步骤(3.3)和(3.4)的特征分析和优化过程的流程图。

图6所示是图1中步骤(1.3)将建立的决策树模型运用到HEVC帧间预测的流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

图1所示为本发明实施例的基于数据挖掘的HEVC帧间快速模式选择方法的流程图。所述基于数据挖掘的HEVC帧间快速模式选择方法，包括以下步骤：

(1.1)输入视频序列，对帧间预测的各个模式进行概率统计，图2表示此概率分布图。

(1.2)对帧间预测的MSM模式与2Nx2N模式的数据信息进行收集，找出与CU划分模式相关的数据特征，并进行特征优化，利用数据挖掘技术将得到的特征数据建立CU划分决策树。

(1.3)将建立的决策树模型运用到HEVC帧间预测。

图3所示是图1中步骤(1.2)所述快速模式选择方法中的决策树的建立框图。具体步骤如下：

(3.1)首先分析图1步骤(1.1)得到的帧间预测模式的概率分布图，对每个层次的CU(64x64、32x32、16x16、8x8)分别建立帧间预测模式概率图，分析预测模式的分布情况，其中4个层次的CU，最佳帧间预测模式主要分布在MSM模式和2Nx2N模式，即CU划分为单个PU的模式，进入步骤(3.2)。

(3.2)收集帧间预测模式(MSM模式与2Nx2N模式)的数据特征。

(3.3)建立数据特征与CU划分模式的相关性，具体参考图5步骤(4.2)至(4.5)，进入步骤(3.4)。

(3.4)针对上述特征进行优化，并选取需要的特征。考虑特征优化的原因是帧间模式选择的确定是跟率失真值的大小有关，而率失真值的变化范围不仅跟测试序列的特性如分辨率、帧率、纹理信息、运动信息密切相关，而且还取决于量化参数的大小，为了保证决策树在不同的测试序列下都可以使用，需要进行特征值优化，特征值优化的具体步骤参考的图5步骤(4.6)，最终确定使用的特征如下：

MSM模式的运动向量值(abs_mv_MSM)。

2Nx2N模式的运动向量值(abs_mv_2Nx2N)。

归一化的MSM模式的运动向量值(nor_mv_MSM)。

归一化的2Nx2N模式的运动向量值(nor_mv_2Nx2N)。

归一化的2Nx2N模式和MSM模式的率失真值中的最小值(nor_lower_RD)。

归一化的2Nx2N模式的率失真值(nor_2Nx2N_RD)。

归一化的MSM模式的率失真值(nor_MSM_RD)。

归一化2Nx2N模式的率失真值与归一化的MSM模式的率失真值得比值(nor_ratio)。

上层CU的划分决定(Usplit)。

进入步骤(3.5)。

(3.5)利用确定好的特征值分别建立不同CU尺寸(64x64、32x32、16x16、8x8)下的决策树。这里使用WEKA(WaikatoEnvironmentforKnowledgeAnalysis)来辅助实现建立决策树。WEKA是一款免费、开源的数据挖掘工具，它集成了多种通用的机器学习算法，并且能够对数据进行预处理、分类、聚类以及支持数据的可视化。

选取不同分辨率、不同纹理的YUV视频作为输入，选取的视频序列有:括号内为分辨(BlowingBubbles(416x240)、PartyScene(832x480)、BQMall(832x480)、SlideShow(1280x720)、BasketballDrive(1920x1080)、Traffic(2560x1600))。进行步骤(11)到(12)的循环，收集每个视频序列特征信息，分别对应各个尺寸的CU的进行特征信息汇总，建立训练集。并按照ARFF格式进行组织，接着使用WEKA进行学习，最终可以得到四棵决策树，通过这四棵决策树，可以提前得知当前CU是否划分为多个PU。如图4展示的是对应32x32CU的决策树。

图5所示是图3的步骤(3.3)和(3.4)的特征分析和优化过程的流程图。具体步骤如下：

(4.1)进入帧间预测选择模式中，进入MSM预测模式，获得MSM模式的率失真值，获得MSM模式的运动向量值，进入2Nx2N预测模式，获得2Nx2N模式的率失真值，获得2Nx2N模式的运动向量值，并遍历剩余的预测模式，最终获得最佳帧间选择模式，如果此最佳帧间预测模式为MSM或者2Nx2N,则表示此CU的帧间预测模式划分为单个PU，否则，表示此CU的帧间预测模式划分为多个PU。进入步骤(4.2)。

(4.2)建立MSM模式率失真值与CU划分模式的关系，建立2Nx2N模式率失真值与CU划分模式的关系，建立MSM模式率失真值与CU划分模式的关系，建立2Nx2N模式率失真值与CU划分模式的关系，建立当前CU划分模式与上层CU的划分模式的关系，进入步骤(4.3)。

(4.3)将获得的2Nx2N模式率失真值与MSM模式的率失真值进行相除得到比值，建立此比值与CU划分模式的关系，进入步骤(4.4)。

(4.4)建立获得的当前CU的MSM模式的运动向量值与当前CU的帧间划分模式的关系，建立获得的当前CU的2Nx2N模式的运动向量值与当前CU的帧间划分模式的关系，其中运动向量值由运动向量x方向的绝对值加上运动方向y方向的绝对值得到。进入步骤(4.5)。

(4.5)将MSM模式的率失真值与2Nx2N模式的率失真值比较，获得较低值，建立此较低值与CU划分模式的关系，进入步骤(4.6)。

(4.6)将上述获得的特征信息进行优化，建立优化后的特征信息与CU划分模式的关系。对于MSM模式与2Nx2N模式的率失真值，我们采取的归一化方式是将当前率失真值分别除以前一帧中的MSM模式和2Nx2N模式的率失真值的平均值得到归一化率失真值，将当前帧的运动向量值除以前一帧中的运动向量值平均值得到归一化运动向量值。对于2Nx2N模式与MSM模式的率失真比值，用归一化的2Nx2N模式率失真除以归一化的MSM模式率失真值得到归一化的2Nx2N模式与MSM模式的率失真比值。最后从各个关系中得到我们需要的特征值，此过程结束。

图6所示是图1中步骤(1.3)将建立的决策树模型运用到HEVC帧间预测的流程图。如图6所示，该方法具体步骤如下：

(2.1)当前CU的帧间预测模式开始

(2.2)判断当前CU的尺寸是否为64x64，如果是，则意味着当前CU为最大CU，没有上层CU，进入步骤(2.3)，否则，当前CU的尺寸可能为32x32、16x16或8x8，对当前CU进行上层CU划分模式信息的收集，然后转入步骤(2.3)。

(2.3)进入帧间预测模式MSM(merge/skip)模式，收集当前CU需要用到的特征值信息，并进行优化，需要用到的特征值及优化在图3的步骤(3.4)里，进入步骤(2.4)。

(2.4)进入帧间预测模式2Nx2N模式，收集当前CU需要用到的特征值信息，并进行优化，需要用到的特征值及优化在图3的步骤(3.4)里，进入步骤(2.5)。

(2.5)将上面的信息带入所建立的对应CU尺寸的决策树模型，获得当前CU是否划分为多个PU的结果，决策树模型的建立具体参考图3的步骤3.1到3.5，进入步骤(2.6).

(2.6)如果决策树得到当前CU划分为多个PU的结果，则转入步骤(2.7)，否则转入步骤(2.8)。

(2.7)继续进行传统HEVC的常规步骤，对剩余的所有帧间预测模式进行遍历，选取所有帧间预测模式中率失真最小的模式作为当前CU的最佳预测模式，转入步骤(2.9)。

(2.8)直接选取MSM模式与2Nx2N模式中率失真较小的模式，作为当前CU的最佳帧间预测模式，省略原本HEVC中剩余的帧间预测模式的遍历，转入步骤(2.9)。

(2.9)帧间预测模式结束。

根据实施例一所描述的方法，与现有的HEVC标准进行对比，通过对比结果可知，本发明实施例一的方案可以保证PSNR(信噪峰值比)下降在微小范围内的同时节省大量的时间，从而提高编码效率，其对比结果如表1所示：

表1

表1表示实施例一的方案与HEVC标准模型的对比结果。

其中CCR表示本发明方法相比HEVC模型的计算复杂度的百分比减少量，BD-rate表示Bjontegaard-Delta(BD)-rate相比HEVC模型的百分比变化(正表示增加，负表示减少)，BD-PSNR表示Bjontegaard-Delta(BD)-PSNR相比HEVC模型的百分比变化量(正表示增加，负表示减少)，此次对比采用的HEVC模型即为HEVC标准的原始方案。

从表1的结果可知，实施例一的方案远远优于现有技术的方案，实施例一的方案的测试结果相比于原始模型来说，在BD-PSNR仅仅下降0.004％的情况下，编码时间节省了37.385％。

通过帧间预测模式只采取MSM模式和2Nx2N模式得到的测试结果，如表2所示。与实施例一的方案结果对比，通过对比结果可知，实施例一的方案可以保证BD-PSNR在下降几乎可以忽略的同时节省大量时间，从而提高编码效率。

表2

表2是单纯采用MSM和2Nx2N模式的帧间快速方法测试的结果，其值是对比HEVC模型产生的，所有测试条件与实施例二一样。从表二的对比结果可知，实施例一的方案远远优于此快速方案，我们通过BD-rate/CCR和BD-PSNR/CCR来评估算法性能，从表1和表2的结果可知，这两个参数的评估性能，本发明的方法要远胜于此算法。

综上所述，本发明提出了一种基于数据挖掘的HEVC帧间快速模式选择方法，把CU的帧间预测模式划分为两种，分裂与不分裂，统称划分模式。通过测试不同分辨率和不同纹理的YUV视频序列，获得与划分模式相关性高的特征，然后建立决策树，在测试视频序列时候，将CU的MSM模式和2Nx2N模式的特征值融入决策树，得出该CU是否采用划分，进而决定是否提前终止帧间模式选择，在编码率失真几乎不受影响的情况下减少编码复杂度。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种基于数据挖掘的HEVC帧间快速模式系统建立方法，其特征在于，包括以下步骤：

(1.1)输入视频序列，对帧间预测的各个模式进行概率统计，得到帧间预测模式概率统计图；

(1.2)分析得到的帧间预测模式概率统计图，对帧间预测的MSM模式与2Nx2N模式的数据信息进行收集，找出与CU划分模式相关的数据特征，并进行特征优化，利用数据挖掘技术将得到的特征数据建立CU划分决策树；

(1.3)将建立的决策树模型运用到HEVC帧间预测。

2.根据权利要求1所述的基于数据挖掘的HEVC帧间快速模式系统建立方法，其特征在于，其中上述步骤(1.2)中决策树的建立具体包括下列步骤：

(3.1)分析步骤(1.1)得到的帧间预测模式的概率分布图，对每个层次的CU(64x64、32x32、16x16、8x8)分别建立帧间预测模式概率图，分析预测模式的分布情况，其中4个层次的CU，最佳帧间预测模式主要分布在MSM模式和2Nx2N模式，即CU划分为单个PU的模式，进入步骤(3.2)；

(3.2)收集帧间预测模式(MSM模式与2Nx2N模式)的数据特征；

(3.3)建立数据特征与CU划分模式的相关性，进入步骤(3.4)；

(3.4)针对上述特征进行优化，并选取需要的特征；进入步骤(3.5)；

(3.5)利用确定好的特征值分别建立不同CU尺寸(64x64、32x32、16x16、8x8)下的决策树。

3.根据权利要求2所述的决策树方法，其特征在于，其中上述步骤(3.3)中特征值的分析具体包括以下步骤：

(4.1)进入帧间预测选择模式中，进入MSM预测模式，获得MSM模式的率失真值，获得MSM模式的运动向量值，进入2Nx2N预测模式，获得2Nx2N模式的率失真值，获得2Nx2N模式的运动向量值，并遍历剩余的预测模式，获得最佳帧间选择模式，如果此最佳帧间预测模式为MSM或者2Nx2N,则表示此CU的帧间预测模式划分为单个PU，否则，表示此CU的帧间预测模式划分为多个PU，进入步骤(4.2)。

(4.2)建立MSM模式率失真值与CU划分模式的关系，建立2Nx2N模式率失真值与CU划分模式的关系，建立MSM模式率失真值与CU划分模式的关系，建立2Nx2N模式率失真值与CU划分模式的关系，建立当前CU划分模式与上层CU的划分模式的关系，进入步骤(4.3)；

(4.3)将获得的2Nx2N模式率失真值与MSM模式的率失真值进行相除得到比值，建立此比值与CU划分模式的关系，进入步骤(4.4)；

(4.4)建立获得的当前CU的MSM模式的运动向量值与当前CU的帧间划分模式的关系，建立获得的当前CU的2Nx2N模式的运动向量值与当前CU的帧间划分模式的关系，其中运动向量值由运动向量x方向的绝对值加上运动方向y方向的绝对值得到，进入步骤(4.5)；

(4.5)将MSM模式的率失真值与2Nx2N模式的率失真值比较，获得较低值，建立此较低值与CU划分模式的关系。

4.根据权利要求3所述的决策树方法，其特征在于，其中上述步骤(3.4)的特征值的优化具体如下：

(4.6)将上述获得的特征信息进行优化，建立优化后的特征信息与CU划分模式的关系，对于MSM模式与2Nx2N模式的率失真值，采取归一化方式是将当前率失真值分别除以前一帧中的MSM模式和2Nx2N模式的率失真值的平均值得到归一化率失真值，将当前帧的运动向量值除以前一帧中的运动向量值平均值得到归一化运动向量值；对于2Nx2N模式与MSM模式的率失真比值，用归一化的2Nx2N模式率失真除以归一化的MSM模式率失真值得到归一化的2Nx2N模式与MSM模式的率失真比值，从各个关系中得到我们需要的特征值，此过程结束。

5.根据权利要求1所述的基于数据挖掘的HEVC帧间快速模式系统建立方法，其特征在于，上述步骤(1.3)中，将建立的决策树模型运用到HEVC帧间预测的具体步骤如下：

(2.1)当前CU的帧间预测模式开始；

(2.2)判断当前CU的尺寸是否为64x64，如果是，则意味着当前CU为最大CU，没有上层CU，进入步骤(2.3)，否则，当前CU的尺寸可能为32x32、16x16或8x8，对当前CU进行上层CU划分模式信息的收集，转入步骤(2.3)；

(2.3)进入帧间预测模式MSM(merge/skip)模式，收集当前CU需要用到的特征值信息，并进行优化，进入步骤(2.4)；

(2.4)进入帧间预测模式2Nx2N模式，收集当前CU需要用到的特征值信息，并进行优化，进入步骤(2.5)；

(2.5)将上面的信息带入所建立的对应CU尺寸的决策树模型，获得当前CU是否划分为多个PU的结果，进入步骤(2.6)；

(2.6)如果决策树得到当前CU划分为多个PU的结果，则转入步骤(2.7)，否则转入步骤(2.8)；

(2.7)继续进行传统HEVC的常规步骤，对剩余的所有帧间预测模式进行遍历，选取所有帧间预测模式中率失真最小的模式作为当前CU的最佳预测模式，转入步骤(2.9)；

(2.8)直接选取MSM模式与2Nx2N模式中率失真较小的模式，作为当前CU的最佳帧间预测模式，省略原本HEVC中剩余的帧间预测模式的遍历，转入步骤(2.9)；

(2.9)帧间预测模式结束。