CN105430407A - 应用于h.264到hevc转码的快速帧间模式决策方法 - Google Patents

Abstract

应用于H.264到HEVC转码的快速帧间模式决策方法。根据H.264码流信息以及HEVC帧间编码单元(Coding？Unit，CU)不同深度的预测模式信息，对于HEVC不同深度层次的CU采取不同的快速帧间模式决策方法。对于深度为0、1层的CU，使用分类器处理H.264码流解码得到的信息，并计算分别用于Skip模式判定和CU划分的决策阈值。首先根据Skip模式判定阈值对CU进行提前Skip模式判决，然后预测CU是否要向下一层子CU划分。该方法结合了CU划分分布的统计特征以及H.264的码流信息，可以提前地判定Skip模式，有效地预测CU的划分是否应当终止或者继续划分，从而对四叉树进行有效的剪枝和跳过不必要的编码分支。该方法可显著减少H.264到HEVC转码过程中帧间编码的计算复杂度。

Description

应用于H.264到HEVC转码的快速帧间模式决策方法

技术领域

本发明涉及视频数据的转码，具体地指一种基于Fisher线性分类器的H.264到HEVC转码方法，用于将H.264/AVC标准的视频数据转码为HEVC标准的视频数据。

背景技术

MPEG和ITU两大国际组织在2013年正式发布了HEVC新一代数字视频编解码标准，以适应高质量视频应用的发展。HEVC使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，有效地提高了视频编码效率。HEVC将宏块的大小从H.264的16×16扩展到了64×64，并采用了四叉树结构的图像划分方式，这种划分方式可以获得比H.264/AVC更好的压缩效率。同时，HEVC还采用了更加灵活的编码结构来提高编码效率，但由于需要对每一种尺寸的编码单元(CodingUnit，CU)、预测单元(PredictionUnit，PU)和变换单元(TransformUnit，TU)都要通过率失真优化(Rate-DistortionOptimization，RDO)计算得出最优的划分，使得编码器的计算复杂度大幅提升。目前网络上现存的大多数视频主要是基于H.264标准进行压缩编码的，为了减少视频传输的网络带宽及存储空间，需要将现存的H.264编码视频码流转换为HEVC视频码流，以进一步对视频进行压缩。由于HEVC采用了预测加变换的混合编码框架，其编码结构和H.264有部分相似性，如果能够利用H.264解码的码流信息来提前预测CU的划分方式，那么就可以对四叉树进行剪枝，略过一部分的RDO过程，这样可以有效地降低编码器的复杂度。

HEVC的测试软件(HEVCTestModel，HM)所采用的CU的大小为64×64、32×32、16×16和8×8，分别对应CU的深度层次为0、1、2、3。其中深度层次为0的CU记为LCU(LargestCodingUnit，LCU)，深度层次为3的CU记为SCU(SmallestCodingUnit，SCU)，而在H.264的测试软件(JointModel，JM)所采用的宏块大小为16×16和8×8。在HEVC帧间编码中，对于深度层次为0和1的CU，其大小并不存在于H.264的宏块结构中。而对于深度层次为2和3的CU，H.264拥有和HEVC一样的分块大小。因此对于这两类不同的深度层次，本发明将其分为两部分进行帧间模式决策加速，这样有助于进行码流信息的相关性映射。HM的编码器采用递归的方式对LCU进行划分，对于每一层的CU都要利用基于RDO的预测来决定PU和TU的划分，其中TU的划分也采用了四叉树的划分方式，在帧间编码中，它允许变换块的大小根据运动补偿块的大小进行自适应的调整。

为了减少递归划分所带来的多余的计算，现有的一些方案针对CU的划分进行了一系列的优化：例如

文献1(参见蒋炜.H.264到HEVC视频转码技术研究[D].浙江大学,2013.)提出了基于统计分析和基于区域特征分析的快速帧间转码算法。该文献首先根据HEVC码流中Skip模式与H.264码流中各种模式的统计映射关系对Skip模式进行提前判决，然后利用预测单元对应编码区域内宏块编码比特数的统计特性，对其分割模式进行了快速选择；基于区域特征分析则利用了了编码比特数和编码复杂度之间的关系，通过比较平均编码比特数和分割阈值来确定重编码的复杂度，该研究对于Skip模式的提前判定使用了统计分析的方法，因此基于部分序列统计结果设定的阈值通用性有一定的限制。

文献2(参见PeixotoE,MacchiavelloB,deQueirozR,etal.FastH.264/AVCtoHEVCtranscodingbasedonmachinelearning[C]//TelecommunicationsSymposium(ITS),2014International.IEEE,2014:1-4.)统计了码流信息的相关性，引入了线性判别函数(LinearDiscriminantFunction，LDF)，在HEVC重编码阶段利用码流信息作为特征，选取视频的一小段组成训练样本集，根据LDF来计算后续视频帧CU划分的判定阈值，在预测模式搜索过程之前直接判定CU是否进行划分，加速模式决策。由于Skip模式在CU不划分的最优模式中比例较高，该方法未充分考虑与Skip相关特征的选取，因此BD-rate上升的幅度较大。

发明内容

本发明的目的在于提供一种H.264到HEVC转码的快速帧间模式决策方法。

首先对HEVC中深度为0和1的CU的预测模式分布情况进行统计，判断对模式决策优化的可行性。通过统计分析，当QP为22时，对于运动比较平缓的视频序列，深度为0时CU最优模式为Skip模式的比例在25％～45％，深度为1时CU最优模式为Skip模式的比例在30％～50％。而对于运动比较剧烈的视频序列，CU最优模式为Skip模式的比例则只有20％左右。随着量化参数(QuantizationParameter，QP)的增大，视频编码的细节处理也随之变的粗糙，Skip模式被决定为最优模式的比例不断增加，在QP为37时运动平缓的视频中，Skip模式的比例都在70％以上。因此在CU深度为0和1时，首先提前判断该CU是否为Skip模式，然后对CU的继续划分进行预测，而在CU深度为2和3时，则根据码流信息进行模式映射，减少模式搜索范围。

为达到上述目的，本发明的给出的技术方案概括为：首先使用JM解码器对原始码流进行解码，在解码过程中提取后续转码所需的码流信息，并得到解码后视频序列。在HEVC重编码时使用Fisher分类器进行在线学习，计算出一定数量帧的Skip以及CU划分的权值向量和阈值，并根据编码进度进行更新。对于深度为0和1的CU，分别对Skip和CU划分进行测试，如果测试结果大于计算得到的阈值，则当前深度的CU被直接判定为Skip模式或是直接划分到下一层的子CU。对于深度为2和3的CU，提取H.264码流信息中的划分模式，根据H.264对应宏块的划分模式来减少HEVC重编码过程中的模式搜索范围。

具体说，本发明技术方案包括以下步骤：

步骤S1：基于H.264通用的测试平台JM，对输入码流进行解码，提取所需码流信息，同时得到解码后的视频序列。具体提取的码流信息在下面列出，以下特征值计算中出现的n为HEVC当前层CU包含H.264对应宏块个数。

步骤S1.1对于Skip模式提前判定选取如下特征：

a)HEVC与H.264对应的Skip和Inter16×16模式个数。根据对应宏块对其进行累计：

$F_{\mathrm{mod}e1}=\underset{i\∈n}{\Σ}{\mathrm{Skip}}_i$

其中Skip_i为对应的第i个宏块是否为Skip或Inter16×16模式，表示如下：

b)HEVC与H.264对应的帧内(Intra)模式个数。该部分模式包括所有帧内划分模式，根据对应宏块对其进行累计：

$F_{\mathrm{mod}e2}=\underset{i\∈n}{\Σ}{\mathrm{Intra}}_i$

其中Intra_i为对应的第i个宏块是否为Intra模式，表示如下：

c)HEVC与H.264对应的帧间(Inter)16×16大小模式个数。该部分模式包括Inter(16×8，8×16)，根据对应宏块对其进行累计：

$F_{\mathrm{mod}e3}=\underset{i\∈n}{\Σ}Inter{0}_i$

其中Inter0_i为对应的第i个宏块是否为第一类Inter模式(16×8，8×16)，表示如下：

d)HEVC与H.264对应的帧间8×8大小模式个数。该部分模式包括Inter(8×8，8×4，4×8，4×4)，根据对应宏块对其进行累计：

$F_{\mathrm{mod}e4}=\underset{i\∈n}{\Σ}Inter{1}_i$

其中Inter1_i为对应的第i个宏块是否为第二类Inter模式(8×8，8×4，4×8，4×4)，表示如下：

e)HEVC与H.264对应的宏块运动矢量残差(MotionVectorDifference，MVD)的方差。在最优模式被判定为Skip模式时，MVD为0，因此在Skip提前判定中对其求方差来确定其离散程度：

F_mvd＝D(MVD_x)+D(MVD_y)

其中D(MVD_x)和D(MVD_y)是MVD的x轴方向和y轴方向分量的方差；

f)HEVC与H.264对应的宏块残差系数为0的个数。当残差系数为0时可以在一定程度上反映Skip模式，该特征累计残差系数为0的宏块个数：

$F_{\mathrm{Re}s}=\underset{i\∈n}{\Σ}{\mathrm{Res}}_i$

其中Res_i为对应的第i个宏块的残差是否为0，表示如下：

g)HEVC中CU对应的H.264所有宏块的平均编码比特数；

$F_{bit}=\frac{1}{n}\underset{i\∈n}{\Σ}{\mathrm{Bit}}_i$

其中Bit_i为对应的第i个宏块的编码比特数。

步骤S1.2对于判定CU划分选取如下特征：

a)HEVC与H.264对应的宏块是否存在Skip或Inter16×16模式。遍历所有对应的宏块对其进行存在判定：

其中Skip_i计算方法同步骤S1.1中的a)；

b)HEVC与H.264对应宏块是否存在帧内预测模式。该部分模式包括所有帧内划分模式，遍历对应宏块对其进行存在判定：

其中Intra_i计算方法同1.1中的b；

c)HEVC与H.264对应宏块是否存在帧间16×16大小的模式。该部分模式包括Inter(16×8，8×16)，遍历对应宏块对其进行存在判定：

其中Inter0_i计算方法同步骤S1.1中的c)；

d)HEVC与H.264对应宏块是否存在帧间8×8大小的模式。该部分模式包括Inter(8×8，8×4，4×8，4×4)，遍历对应宏块对其进行存在判定：

其中Inter1_i计算方法同步骤S1.1中的d)；

e)HEVC与H.264对应宏块的运动矢量(MotionVector，MV)的方差。MV可以在一定程度上表现出当前宏块的运动情况，由于HEVC的CU包含多个宏块，因此需要对MV求方差来确定其离散程度：

F_mv＝D(MV_x)+D(MV_y)

其中D(MV_x)和D(MV_y)是MV的x和y分量的方差；

f)HEVC与H.264对应宏块运动矢量残差的方差。MVD在CU划分中可以对MV起到辅助作用，计算方法同步骤S1.1中的e)；

g)HEVC与H.264对应宏块非零DCT系数的数量。DCT的低频系数代表了图像的背景、轮廓，而DCT的高频系数则代表了图像的边缘和细节信息，需累计非零DCT系数的个数：

$F_{DCT}=\underset{i\∈n}{\Σ}{\mathrm{DCT}}_i$

其中DCT_i为对应的第i个宏块的残差是否不为0，表示如下：

h)HEVC与H.264对应宏块cbp系数为0的数量。cbp描述了亮度信号Y和色度信号U、V分量的残差系数的编码状态，可以指导宏块的编码情况，并且与Skip模式有一定的相关性，当cbp为0时宏块几乎不继续划分，该特征需累计cbp系数为0的个数：

$F_{cbp}=\underset{i\∈n}{\Σ}{\mathrm{cbp}}_i$

其中cbp_i为对应的第i个宏块的cbp系数是否为0，表示如下：

对于上述所有特征，MV和MVD基于4×4大小宏块进行提取，其余特征对应的码流信息则按照16×16大小宏块进行提取。除去上述两种判定所用特征中的a、b、c、d以及步骤S1.2中的g)，余下的特征都需要统计两类：1.当前层CU的统计结果；2.子层的4个CU的统计结果中最大值所在CU与其对角CU的统计结果差值。

步骤S2：设定HM编码配置文件中的IntraPeriod，在对每个IntraPeriod周期中的视频帧进行转码时，选取该IntraPeriod中前面的部分帧作为训练帧，余下的帧作为测试帧进行加速转码，在进行加速转码时以IntraPeriod为周期进行分类阈值的更新。

步骤S3：在训练帧中根据编码结果处理码流信息后进行归类，按照深度0或1各构建4类训练样本集，分为Skip、Non-Skip、Split、Non-Split，其中Skip和Non-Skip用于Skip提前判定，Split和Non-Split用于CU划分判定。在当前IntraPeriod中的训练样本集构建完成之后，对每两类训练样本集C1和C2(Skip64和Non-Skip64，Skip32和Non-Skip32，Non-Split64和Split64，Non-Split32和Split32，共计四组)使用Fisher分类器计算权值向量(和)，然后根据权值向量计算原始阈值Th_orig(Th_origSkip64、Th_origSkip32、Th_origSplit64、Th_origSplit32)。在两类样本数据量相差过大时，由分类阈值取值不当而引起的不利效果会很明显，因此需要对原始阈值Th_orig进行偏移得到最终阈值Th(Th_Skip64、Th_Skip32、Th_Split64和Th_Split32)：

其中k的值由以下公式求得：

$k=\left\{\begin{array}{c}2\×{10}^{-m},1.5\≤n1:n2\≤2.5\\ 5\×{10}^{-m},n1:n2>2.5\\ 0,n1:n2\≤1.5\end{array}\right.$

其中m的值根据Th_orig小数点后第二个不为0的位进行设置,以Th_orig＝0.000742为例，m＝5。

步骤S4：在测试帧中处理码流信息后构建测试样本集X_Test，如果当前CU的深度为0或1，判断是否大于Th_Skip。如果大于的话，当前CU直接选择Skip模式为最优模式。否则，继续进行CU划分判定，判断是否大于Th_Split，如果大于的话直接划分到下一层子CU，否则该CU进行当前层的模式搜索，若当前层最佳预测模式为Intra模式则继续划分，否则CU划分终止。

步骤S5：在测试帧中，如果当前CU的深度为2或3，提取H.264对应宏块的预测模式信息，以H.264划分结果来缩小模式搜索范围，根据映射得到的划分模式，对该模式、AMP划分模式以及更大划分模式进行搜索。

本发明的以上技术方案为实现发明任务体现出的贡献性的关键技术要点体现在以下：

(1)、本发明对不同深度的CU采取了对应的预测方式以保证预测的正确率，并将码流信息进行处理，作为特征使用Fisher分类器进行分类判定。首先根据Skip模式的分布特点，对深度为0和1的CU进行提前Skip检测。然后对判定为非Skip模式的CU进行划分判断，省去了大量的RDO计算，有效的对CU的四叉树进行剪枝。

(2)、本发明考虑了视频图像的场景变换，设置IntraPeriod来确定分类阈值的有效性，对其进行实时的更新，确保分类结果的准确性。考虑到不同QP下的图像细节变化，根据分类时样本个数的不同进行相应的阈值偏移。

由于采用上述技术方案，本发明具有以下有益效果：本发明综合利用了转码中原始码流的可用信息，可以有效地提前判定Skip模式，并预测CU是否进行划分。因此可以在保证图像质量的情况下，显著提高H.264到HEVC帧间转码效率。

附图说明

图1是本发明实例测试HEVC码流中当前深度预测单元最佳模式为Skip模式时不同QP下深度0和1的分布比例。

图2是本发明H.264到HEVC的快速转码框图。

图3是本发明H.264到HEVC的快速转码模式决策流程图。

具体实施方式

本发明根据H.264码流信息以及HEVC帧间编码单元(CodingUnit，CU)不同深度的预测模式信息，对于HEVC不同深度层次的CU采取不同的快速帧间模式决策方法。对于深度为0、1层的CU，使用分类器处理H.264码流解码得到的信息，并计算分别用于Skip模式判定和CU划分的决策阈值。首先根据Skip模式判定阈值对CU进行提前Skip模式判决，然后预测CU是否要向下一层子CU划分。对于深度为2、3层的CU根据H.264的码流信息进行映射，确定模式搜索的范围。对于深度为0和1层的CU，如果在提前Skip模式判决中判定为Skip模式，则当前CU其他的模式搜索过程将被跳过。如果判定不为Skip模式，则进行当前CU划分判定，若结果大于分类器计算得到的阈值，说明当前编码的CU需要继续划分。对于这样的CU，当前层的模式搜索过程将被跳过，直接划分到下一层。对于深度为2和3层的CU，基于H.264对应宏块的模式，增加与其对应的非对称划分(AsymmetricMotionPartition，AMP)和Merge模式的预测。该方法结合了CU划分分布的统计特征以及H.264的码流信息，可以提前地判定Skip模式，有效地预测CU的划分是否应当终止或者继续划分，从而对四叉树进行有效的剪枝和跳过不必要的编码分支。该方法可显著减少H.264到HEVC转码过程中帧间编码的计算复杂度。

以下结合附图所示实施例对本发明作进一步的说明。

实施例1

首先对HEVC中深度为0和1的CU的预测模式分布情况进行统计，判断对模式决策优化的可行性。如图1所示，通过统计分析，当QP为22时，对于运动比较平缓的视频序列，深度为0时CU最优模式为Skip模式的比例在25％～45％，深度为1时CU最优模式为Skip模式的比例在30％～50％。而对于运动比较剧烈的视频序列，CU最优模式为Skip模式的比例则只有20％左右。随着量化参数(QuantizationParameter，QP)的增大，视频编码的细节处理也随之变的粗糙，Skip模式被决定为最优模式的比例不断增加，在QP为37时运动平缓的视频中，Skip模式的比例都在70％以上。因此在CU深度为0和1时，首先提前判断该CU是否为Skip模式，然后对CU的继续划分进行预测，而在CU深度为2和3时，则根据码流信息进行模式映射，减少模式搜索范围。

如图2、图3所示，具体实施方法过程为：步骤1：基于H.264通用的测试平台JM，对输入码流进行解码，提取所需码流信息，将结果保存到文本中，同时得到解码后的视频序列。具体提取的码流信息在下面列出，以下特征值计算中出现的n为HEVC当前层CU包含H.264对应宏块个数。

步骤1.1：对于Skip模式提前判定选取了如下特征：

a)HEVC与H.264对应的Skip和Inter16×16模式个数。根据对应宏块对其进行累计：

F_mode1＝Σ_i∈nSkip_i(1)

其中Skip_i为对应的第i个宏块是否为Skip或Inter16×16模式，表示如下：

b)HEVC与H.264对应的帧内模式个数。该部分模式包括所有帧内划分模式，根据对应宏块对其进行累计：

F_mode2＝Σ_i∈nIntra_i(3)

其中Intra_i为对应的第i个宏块是否为Intra模式，表示如下：

c)HEVC与H.264对应的帧间16×16大小模式个数。该部分模式包括Inter(16×8，8×16)，根据对应宏块对其进行累计：

F_mode3＝Σ_i∈nInter0_i(5)

其中Inter0_i为对应的第i个宏块是否为第一类Inter模式(16×8，8×16)，表示如下：

d)HEVC与H.264对应的帧间8×8大小模式个数。该部分模式包括Inter(8×8，8×4，4×8，4×4)，根据对应宏块对其进行累计：

F_mode4＝Σ_i∈nInter1_i(7)

其中Inter1_i为对应的第i个宏块是否为第二类Inter模式(8×8，8×4，4×8，4×4)，表示如下：

e)HEVC与H.264对应的宏块运动矢量残差MVD的方差：

F_mvd＝D(MVD_x)+D(MVD_y)(9)

其中D(MVD_x)和D(MVD_y)是MVD的x轴方向和y轴方向分量的方差；

f)HEVC与H.264对应的宏块残差系数为0的个数：

F_Res＝Σ_i∈nRes_i(10)

其中Res_i为对应的第i个宏块的残差是否为0，表示如下：

g)HEVC中CU对应的H.264所有宏块的平均编码比特数：

$F_{bit}=\frac{1}{n}{\mathrm{\Σ}}_{i\∈n}{\mathrm{Bit}}_i---\left(12\right)$

其中Bit_i为对应的第i个宏块的编码比特数。

步骤1.2：对于判定CU划分选取了如下特征：

a)HEVC与H.264对应的宏块是否存在Skip或Inter16×16模式。遍历所有对应的宏块对其进行存在判定：

其中Skip_i根据公式(2)计算；

b)HEVC与H.264对应宏块是否存在帧内预测模式。该部分模式包括所有帧内划分模式，遍历对应宏块对其进行存在判定：

其中Intra_i根据公式(4)计算；

c)HEVC与H.264对应宏块是否存在帧间16×16大小的模式。该部分模式包括Inter(16×8，8×16)，遍历对应宏块对其进行存在判定：

其中Inter0_i根据公式(6)计算；

d)HEVC与H.264对应宏块是否存在帧间8×8大小的模式。该部分模式包括Inter(8×8，8×4，4×8，4×4)，遍历对应宏块对其进行存在判定：

其中Inter1_i根据公式(8)计算；

e)HEVC与H.264对应宏块的运动矢量MV的方差：

F_mv＝D(MV_x)+D(MV_y)(17)

其中D(MV_x)和D(MV_y)是MV的x和y分量的方差；

f)HEVC与H.264对应宏块运动矢量残差的方差，根据公式(9)计算；

g)HEVC与H.264对应宏块非零DCT系数的数量：

F_DCT＝Σ_i∈nDCT_i(18)

其中DCT_i为对应的第i个宏块的残差是否不为0，表示如下：

h)HEVC与H.264对应宏块cbp系数为0的数量：

F_cbp＝Σ_i∈ncbp_i(20)

其中cbp_i为对应的第i个宏块的cbp系数是否为0，表示如下：

对于上述所有特征，MV和MVD基于4×4大小宏块进行提取，其余特征对应的码流信息则按照16×16大小宏块进行提取。除去上述两种判定所用特征中的a、b、c、d，余下的特征都需要统计两类：1.当前层CU的统计结果；2.子层的4个CU的统计结果中最大值所在CU与其对角CU的统计结果差值。

步骤2：根据选取的视频序列，此处以标准测试序列BQTerrace为例，设定HM编码配置文件中的IntraPeriod为32，在对每个IntraPeriod周期中的视频帧进行转码时，选取该IntraPeriod周期内的第2～12帧作为训练帧，余下的13～32帧作为测试帧，在进行加速转码时以IntraPeriod为周期进行分类阈值的更新。

步骤3：基于HEVC通用的测试平台HM，对JM解码后的视频序列进行重编码，在对每一帧进行编码前判断当前帧的POC，若POC与32求余结果为0，则按照HM原有流程进行编码，并初始化训练样本集，若POC与32求余结果落在区间1～11，则转步骤3。否则转步骤4。

步骤4：在训练帧中根据编码结果处理码流信息后进行归类，按照深度0或1各构建4类训练样本集，分为Skip、Non-Skip、Split、Non-Split，其中Skip和Non-Skip用于Skip提前判定，Split和Non-Split用于CU划分判定。

步骤4.1：在当前IntraPeriod中的训练样本集构建完成之后对每两类训练样本集C1和C2(Skip64和Non-Skip64，Skip32和Non-Skip32，Non-Split64和Split64，Non-Split32和Split32，共计四组)使用Fisher分类器首先求取两类的类内离散度矩阵Sw1和Sw2：

其中n1和n2为两类的样本数目，和为两类的均值列向量，按照公式(24)和(25)计算：

其中d为类的样本维数；

步骤4.2：在求得类内离散度矩阵之后按公式(26)计算最佳投影方向，得到权值向量(和)：

其中Inv()是矩阵求逆，Sw为总类内离散度矩阵，Sw＝Sw1+Sw2；

步骤4.3：根据以上步骤获得的权值向量按照公式(27)计算原始阈值

其中是权值向量的转置；

步骤4.4：当两类样本数据量相差过大时，由分类阈值取值不当而引起的不利效果会很明显，因此按公式(28)对原始阈值Th_orig进行偏移得到最终阈值Th(Th_Skip64、Th_Skip32、Th_Split64和Th_Split32)：

其中k的值则由n1和n2的比例决定，具体参照公式(29)：

$k=\left\{\begin{array}{c}2\×{10}^{-m},1.5\≤n1:n2\≤2.5\\ 5\×{10}^{-m},n1:n2>2.5\\ 0,n1:n2\≤1.5\end{array}\right.---\left(29\right)$

其中m的值根据Th_orig小数点后第二个不为0的位进行设置,以Th_orig＝0.000742为例，m＝5。

步骤5：递归编码LCU的各个子CU，对于一个编码单元，判断其深度。如果深度为0，转步骤6。如果深度为1，转步骤7。否则转步骤8。

步骤6：在测试帧中处理码流信息后构建测试样本集X_Test1和X_Test2，当前CU的深度为0，判断是否大于Th_Skip64。如果大于的话，当前CU直接选择Skip模式为最优模式。否则，继续进行CU划分判定，判断是否大于Th_Split64，如果大于的话直接划分到下一层子CU，不对当前层CU进行模式预测搜索过程，否则该CU进行当前层基于RDO的模式预测搜索后，若当前层最佳预测模式为Intra模式则继续划分，否则CU划分终止。

步骤7：在测试帧中处理码流信息后构建测试样本集X_Test3和X_Test4，当前CU的深度为1，判断是否大于Th_Skip32。如果大于的话，当前CU直接选择Skip模式为最优模式。否则，继续进行CU划分判定，判断是否大于Th_Split32，如果大于的话直接划分到下一层子CU，不对当前层CU进行模式预测搜索过程，否则该CU进行当前层基于RDO的模式预测搜索，根据公式(3)得到的结果，当F_mode2<7则不进行Intra模式预测，若当前层最佳预测模式为Intra模式则继续划分，否则CU划分终止。步骤8：对于深度为2和3的CU，提取H.264对应宏块的预测模式信息，以H.264划分结果来缩小模式搜索范围，根据映射得到的划分模式，对该模式以及更大划分模式进行搜索，包括对应的AMP模式，Merge2N×2N(Skip)和Inter2N×2N。

Claims (2)

1.一种应用于H.264到HEVC转码的快速帧间模式决策方法，其特征在于，首先使用JM解码器对原始码流进行解码，在解码过程中提取后续转码所需的码流信息，并得到解码后视频序列；在HEVC重编码时使用Fisher分类器进行在线学习，计算出一定数量帧的Skip以及CU划分的权值向量和阈值，并根据编码进度进行更新。对于深度为0和1的CU，分别对Skip和CU划分进行测试，如果测试结果大于计算得到的阈值，则当前深度的CU被直接判定为Skip模式或是直接划分到下一层的子CU；对于深度为2和3的CU，提取H.264码流信息中的划分模式，根据H.264对应宏块的划分模式来减少HEVC重编码过程中的模式搜索范围。

2.如权利要求1所述的应用于H.264到HEVC转码的快速帧间模式决策方法，其特征在于，包括以下步骤：

步骤S1：基于H.264通用的测试平台JM，对输入码流进行解码，提取所需码流信息，同时得到解码后的视频序列；具体提取的码流信息在下面列出，以下特征值计算中出现的n为HEVC当前层CU包含H.264对应宏块个数；

步骤S1.1对于Skip模式提前判定选取如下特征：

a)HEVC与H.264对应的Skip和Inter16×16模式个数；根据对应宏块对其进行累计：

$F_{\mathrm{mod}e1}=\underset{i\&Element;n}{\&Sigma;}{\mathrm{Skip}}_i$

其中Skip_i为对应的第i个宏块是否为Skip或Inter16×16模式，表示如下：

b)HEVC与H.264对应的帧内(Intra)模式个数；该部分模式包括所有帧内划分模式，根据对应宏块对其进行累计：

$F_{\mathrm{mod}e2}=\underset{i\&Element;n}{\&Sigma;}{\mathrm{Intra}}_i$

其中Intra_i为对应的第i个宏块是否为Intra模式，表示如下：

c)HEVC与H.264对应的帧间(Inter)16×16大小模式个数；该部分模式包括Inter(16×8，8×16)，根据对应宏块对其进行累计：

$F_{\mathrm{mod}e3}=\underset{i\&Element;n}{\&Sigma;}Inter{0}_i$

其中Inter0_i为对应的第i个宏块是否为第一类Inter模式(16×8，8×16)，表示如下：

d)HEVC与H.264对应的帧间8×8大小模式个数；该部分模式包括Inter(8×8，8×4，4×8，4×4)，根据对应宏块对其进行累计：

$F_{\mathrm{mod}e4}=\underset{i\&Element;n}{\&Sigma;}Inter{1}_i$

其中Inter1_i为对应的第i个宏块是否为第二类Inter模式(8×8，8×4，4×8，4×4)，表示如下：

e)HEVC与H.264对应的宏块运动矢量残差(MotionVectorDifference，MVD)的方差；在最优模式被判定为Skip模式时，MVD为0，因此在Skip提前判定中对其求方差来确定其离散程度：

F_mvd＝D(MVD_x)+D(MVD_y)

其中D(MVD_x)和D(MVD_y)是MVD的x轴方向和y轴方向分量的方差；

f)HEVC与H.264对应的宏块残差系数为0的个数；当残差系数为0时可以在一定程度上反映Skip模式，该特征累计残差系数为0的宏块个数：

$F_{\mathrm{Re}s}=\underset{i\&Element;n}{\&Sigma;}{\mathrm{Res}}_i$

其中Res_i为对应的第i个宏块的残差是否为0，表示如下：

g)HEVC中CU对应的H.264所有宏块的平均编码比特数；

$F_{bit}=\frac{1}{n}\underset{i\&Element;n}{\&Sigma;}{\mathrm{Bit}}_i$

其中Bit_i为对应的第i个宏块的编码比特数；

步骤S1.2对于判定CU划分选取如下特征：

a)HEVC与H.264对应的宏块是否存在Skip或Inter16×16模式；遍历所有对应的宏块对其进行存在判定：

其中Skip_i计算方法同步骤S1.1中的a)；

b)HEVC与H.264对应宏块是否存在帧内预测模式；该部分模式包括所有帧内划分模式，遍历对应宏块对其进行存在判定：

其中Intra_i计算方法同1.1中的b；

c)HEVC与H.264对应宏块是否存在帧间16×16大小的模式；该部分模式包括Inter(16×8，8×16)，遍历对应宏块对其进行存在判定：

其中Inter0_i计算方法同步骤S1.1中的c)；

d)HEVC与H.264对应宏块是否存在帧间8×8大小的模式；该部分模式包括Inter(8×8，8×4，4×8，4×4)，遍历对应宏块对其进行存在判定：

其中Inter1_i计算方法同步骤S1.1中的d)；

e)HEVC与H.264对应宏块的运动矢量(MotionVector，MV)的方差；MV可以在一定程度上表现出当前宏块的运动情况，由于HEVC的CU包含多个宏块，因此需要对MV求方差来确定其离散程度：

F_mv＝D(MV_x)+D(MV_y)

其中D(MV_x)和D(MV_y)是MV的x和y分量的方差；

f)HEVC与H.264对应宏块运动矢量残差的方差；MVD在CU划分中可以对MV起到辅助作用，计算方法同步骤S1.1中的e)；

g)HEVC与H.264对应宏块非零DCT系数的数量；DCT的低频系数代表了图像的背景、轮廓，而DCT的高频系数则代表了图像的边缘和细节信息，需累计非零DCT系数的个数：

$F_{DCT}=\underset{i\&Element;n}{\&Sigma;}{\mathrm{DCT}}_i$

其中DCT_i为对应的第i个宏块的残差是否不为0，表示如下：

h)HEVC与H.264对应宏块cbp系数为0的数量；cbp描述了亮度信号Y和色度信号U、V分量的残差系数的编码状态，可以指导宏块的编码情况，并且与Skip模式有一定的相关性，当cbp为0时宏块几乎不继续划分，该特征需累计cbp系数为0的个数：

$F_{cbp}=\underset{i\&Element;n}{\&Sigma;}{\mathrm{cbp}}_i$

其中cbp_i为对应的第i个宏块的cbp系数是否为0，表示如下：

对于上述所有特征，MV和MVD基于4×4大小宏块进行提取，其余特征对应的码流信息则按照16×16大小宏块进行提取；除去上述两种判定所用特征中的a、b、c、d以及步骤S1.2中的g)，余下的特征都需要统计两类：1.当前层CU的统计结果；2.子层的4个CU的统计结果中最大值所在CU与其对角CU的统计结果差值；

步骤S2：设定HM编码配置文件中的IntraPeriod，在对每个IntraPeriod周期中的视频帧进行转码时，选取该IntraPeriod中前面的部分帧作为训练帧，余下的帧作为测试帧进行加速转码，在进行加速转码时以IntraPeriod为周期进行分类阈值的更新；

步骤S3：在训练帧中根据编码结果处理码流信息后进行归类，按照深度0或1各构建4类训练样本集，分为Skip、Non-Skip、Split、Non-Split，其中Skip和Non-Skip用于Skip提前判定，Split和Non-Split用于CU划分判定；在当前IntraPeriod中的训练样本集构建完成之后，对每两类训练样本集C1和C2(Skip64和Non-Skip64，Skip32和Non-Skip32，Non-Split64和Split64，Non-Split32和Split32，共计四组)使用Fisher分类器计算权值向量然后根据权值向量计算原始阈值Th_orig(Th_origSkip64、Th_origSkip32、Th_origSplit64、Th_origSplit32)；在两类样本数据量相差过大时，由分类阈值取值不当而引起的不利效果会很明显，因此需要对原始阈值Th_orig进行偏移得到最终阈值Th(Th_Skip64、Th_Skip32、Th_Split64和Th_Split32)：

其中k的值由以下公式求得：

$k=\left\{\begin{array}{cc}2\&times;{10}^{-m},& 1.5\&le;n1:n2\&le;2.5\\ 5\&times;{10}^{-m},& n1:n2>2.5\\ 0,& n1:n2\&le;1.5\end{array}\right.$

其中m的值根据Th_orig小数点后第二个不为0的位进行设置,以Th_orig＝0.000742为例，m＝5；

步骤S4：在测试帧中处理码流信息后构建测试样本集X_Test，如果当前CU的深度为0或1，判断是否大于Th_Skip；如果大于的话，当前CU直接选择Skip模式为最优模式；否则，继续进行CU划分判定，判断是否大于Th_Split，如果大于的话直接划分到下一层子CU，否则该CU进行当前层的模式搜索，若当前层最佳预测模式为Intra模式则继续划分，否则CU划分终止；

步骤S5：在测试帧中，如果当前CU的深度为2或3，提取H.264对应宏块的预测模式信息，以H.264划分结果来缩小模式搜索范围，根据映射得到的划分模式，对该模式、AMP划分模式以及更大划分模式进行搜索。