CN103533349A - 基于支持向量机的b帧快速帧间预测宏块模式选择方法 - Google Patents

Abstract

本发明的目的在于提供一种基于支持向量机的B帧快速帧间预测宏块模式选择方法：（1）基于支持向量机（support vector machine，SVM）模型训练SVM分类器；（2）使用SVM分类器对B帧的帧间预测宏块模式进行快速选择。本发明通过引入具有较强推广性和学习能力出色的支持向量机（SVM,Support Vector Machines），通过提取编码信息作为输入特征矢量训练支持向量机分类器模型，对帧间预测宏块模式进行分类，避免全搜索遍历，快速决策宏块模式的选择，以达到降低编码器复杂度的目的。

Description

基于支持向量机的B帧快速帧间预测宏块模式选择方法

技术领域

本发明涉及一种视频编码方法，具体来说涉及一种基于支持向量机的B帧快速帧间宏块模式选择方法。

背景技术

随着视频技术的不断发展和广泛应用，视频编码技术的标准化活动也得到了较大发展，先后成功制定了一系列满足不同应用场景的编码标准，H.264编码标准是ITU-T的视频编码专家组VCEG和ISO/IEC的活动图像专家组MPEG联合研发的高效视频压缩标准。H.264采用4×4块的整数变换、多参考帧预测、率失真优化、多模式高精度帧间预测、可变宏块尺寸和CABAC等技术，较之前的视频编码标准，H.264在大多数码率下都能提供较高的视频质量且可省略码率，具有更高的压缩比和更好的信道适应性，在视频通信领域得到广泛的应用，但是H.264优越的编码性能是以增加计算复杂度为代价的，因此研究具有高压缩率且低复杂度的编码方法成为视频编码技术领域的热点和重点。

在H.264编码器中，每个编码帧的宏块模式可以分为帧内预测宏块模式和帧间预测宏块模式，其中帧间预测宏块模式又可以分为SKIP、Inter16×16、Inter16×8、Inter8×16、Inter8×8、Inter8×8Frext，其中在Inter8×8的模式中可以进一步分为Inter8×4、Inter4×8以及Inter4×4大小的块模式。帧内预测宏块模式可以分为Intra16×16、Intra8×8和Intra4×4。每种帧间预测宏块模式下，又要遍历多个参考帧和三个搜索方向来寻找最优参考帧，而遍历每个参考帧的时候都需要经过复杂的运动估计过程求取运动矢量，其计算复杂度非常高。

目前已有的对H.264/AVC的低复杂度编码方法研究中，主要集中在三个方面。第一，快速宏块模式选择算法，主要根据宏块模式的时空相关性来来缩小候选模式列表，采用提前中断的策略，避免对无贡献或贡献较少模式的遍历。第二，多参考帧的优化，主要是利用视频的纹理特征或率失真特性，采用一定的判断准则，减少需要搜索的参考帧数目，以节约编码时间。第三，运动估计快速算法，运动估计在整个编码过程中占有大部分编码时间，主要可以采用一定方法调整预测运动矢量及利用运动矢量相关性缩小搜索范围，或者提出新的搜索方法来降低运动估计的复杂度和计算量。

发明内容

本发明的目的在于提供一种基于支持向量机的B帧快速帧间预测宏块模式选择方法，本发明通过引入具有较强推广性和学习能力出色的支持向量机（SVM,Support Vector Machines），通过提取编码信息作为输入特征矢量训练支持向量机分类器模型，对帧间预测宏块模式进行分类，避免全搜索遍历，快速决策宏块模式的选择，以达到降低编码器复杂度的目的。

本发明的目的可通过以下的技术措施来实现：

一种基于支持向量机的B帧快速帧间预测宏块模式选择方法，包括以下步骤：

（1）基于支持向量机（support vector machine，SVM）模型训练SVM分类器，具体步骤如下：

（1-1）特征选择和提取：采用全搜索遍历原始编码方法对各测试序列进行编码,将以下编码信息对应的特征提取出来，其中，全搜索就是按照规定的范围把所有的可能点逐一进行搜索：

（1-1-1）率失真代价：提取每个宏块的跳跃（SKIP）模式、帧内预测宏块模式和帧间预测宏块模式中的Inter16×16模式对应的率失真代价值J，其求取公式如下式（1-1）所示。其中：跳跃（SKIP）模式、帧内预测宏块模式、帧间预测宏块模式均属于H.264视频编码标准中的规定。

J(s,c,MODE|λ_MODE)=SSD(s,c,MODE|QP)+λ_MODER(s,c,MODE)  (1-1)

式中，J(s,c,MODE|λ_MODE)表示MODE模式下的率失真代价值，MODE表示当前编码宏块的编码模式，c为采用MODE模式编码后的重构视频信号，s为原始的视频信号，R(s,c,MODE)表示MODE模式下用来编码宏块头信息、运动矢量信息和所有DCT（Discrete Cosine Transform，离散余弦变换）系数的所有编码比特数，SSD(s,c,MODE|QP)为原始的视频信号和重构视频信号之间的平方差值和（SSD，Sumof Square Difference），λ_MODE为拉格朗日乘子，其计算公式如下所示：

λ_MODE=0.85×2^(QP-12)/3   (1-2)

其中QP表示量化步长。

宏块模式是基于率失真优化准则确定的，一般来说，随着运动程度的加剧，编码时的率失真代价也会随之增加，率失真代价对宏块模式的选择是一个非常重要的特征。如果SKIP模式的率失真代价相对很小，说明当前宏块采用简单的大尺寸宏块模式就能得到很好的预测，而搜索复杂的小尺寸宏块模式贡献较小，因此SKIP模式的率失真代价能预测宏块模式的选择。

（1-1-2）相邻宏块的编码模式：提取每个宏块在空间上相邻左宏块，相邻上宏块，相邻左上宏块和相邻右上宏块，以及时间上相邻帧对应位置宏块的最优编码模式，其具体的宏块对应位置如图1所示。由于视频内容的时间相关性和空间相关性，导致编码时选择的最优编码模式具有较强的相关性，利用时间和空间上相邻宏块的编码模式可以预测当前宏块的编码模式。当编码到当前宏块时，这些相邻宏块已经编码了，编码的最优编码模式等会保存在一个缓存中，提取相邻宏块的最优模式信息只需在缓存中将这些变量信息取出来即可。编码器中已设置相应的缓存保存相邻宏块的信息。

相邻宏块的编码模式是指的宏块在空间上相邻左宏块，相邻上宏块，相邻左上宏块和相邻右上宏块，以及时间上相邻帧对应位置宏块。

最优编码模式信息是指的对应的这些宏块选择的编码方式。即跳跃（SKIP）模式、帧内预测宏块模式、帧间预测宏块模式等。

变量信息就是指的最优编码模式的具体信息。

（1-1-3）运动矢量MV：对每个宏块遍历Inter16×16模式，提取每个宏块在Inter16×16模式下求取的最优运动矢量。搜索Inter16×16模式，求取最优运动矢量，这都是在编码器编码过程中的一些中间变量信息。最优运动矢量可以很好地反映编码宏块的运动情况，而一般运动相对平缓的宏块会采用大尺寸宏块模式，而运动剧烈的会采用小尺寸重考模式。最优运动矢量是按照某个模式（如Inter16×16）进行搜索后找到的最佳位置的运动矢量值。

（1-1-4）预测残差及宏块残差编码模式（CBP,Coded Block Pattern）：也就是提取当前编码宏块的Inter16×16模式下原始的视频信号和重构视频信号之间的平方差值和（SSD，Sum of Square Difference）、宏块残差编码模式CBP。SSD可以反映当前编码宏块与相邻帧之间的差异性以及待编码宏块的内容复杂程度，CBP则可以反映预测残差相对在给定的量化步长(QP)下的复杂程度。

SSD的计算方式就是平方差值，宏块残差编码模式CBP是用来表示得到的残差系数的一个量，是H.264标准里面规定的。

这里是用SSD来表征预测残差值，求取方法就如下面的公式（1-2）。

$\mathrm{SSD}(s,c,\mathrm{MODE}|\mathrm{QP})={\mathrm{\Σ}}_{i=1,j=1}^{B1,B2}{\left|s\right[i,j]-c[i-m_x,j-m_y|}^2---(1-2)$

MODE表示当前编码宏块的编码模式，c为采用MODE模式编码后的重构视频信号，s为原始的视频信号，B₁、B₂表示块的水平和垂直像素数，[i,j]表示像素坐标，（m_x,m_y）表示当前块的运动矢量。

（1-2）核函数参数的选择

采用径向基核函数（Radial Basis Function Kernel,RBF Kernel）对步骤（1-1）中提取的多个特征融合的特征矢量进行高维映射：

$k=(X,X_i)=\exp (-\frac{\sqrt{{\left|\right|X-X_i\left|\right|}^2}}{{\mathrm{\γ}}^2})---(1-3)$

其中X为RBF核函数的坐标变量，X_i为为RBF核函数的中心，||*||为欧式范数，γ为核参数，定义了从原始空间到高维特征空间中的非线性映射。

步骤1-1中提取的特征在后续步骤中主要有两个用途：一是用来训练分类器，把这些特征组合成一个特征矢量作为输入，然后SVM通过主动学习得到这些特征与宏块模式选择的关系，最终输出为将宏块模式分为两类，得到一个二类分类器；二是在后续的编码算法中，需要在编码过程中动态提取这些特征作为已经训练好的分类器的输入，得到宏块模式的分类结果，以减少需要遍历的候选宏块模式。

（1-3）训练SVM分类器，具体包括以下步骤：

（1-3-1）训练SVM分类器1：将步骤（1-1）中提取的SKIP模式的率失真代价，所有帧内预测宏块模式最小率失真代价和SKIP模式的率失真代价之差，当前帧前向第一参考帧对应当前宏块位置的宏块、当前宏块相邻左宏块、当前宏块相邻上宏块和当前宏块相邻左上宏块的编码模式多个特征融合为一个特征向量，形成训练样本集S1，将S1随机地分成10个子集，取其中9个子集作为训练集，剩余的一个作为测试集，利用SVM模型进行训练和测试，得到SVM分类器1，将帧间预测宏块模式分为｛SKIP｝和{Inter16×16、Inter16×8、Inter8×16、Inter8×8}两类。

（1-3-2）训练SVM分类器2

将步骤（1-1）中提取的Inter16×16模式下的预测残差、CBP值以及运动矢量三个特征融合为一个特征向量，形成训练样本集S2，将S2随机地分成10个子集，取其中9个子集作为训练集，剩余的一个作为测试集，利用SVM模型进行训练和测试，得到一个SVM分类器2，将宏块模式集{Inter16×8、Inter8×16、Inter8×8}分为Inter16×8，Inter8×16｝和｛Inter8×8｝两类。

上述训练过程中，将最终选择的最优宏块模式结果与提取的各种特征得到输入特征矢量，形成训练样本集S，将S随机地分成10个子集，取其中9个子集作为训练集，剩余的一个作为测试集，对SVM分类器进行训练和测试，得到最终的SVM分类器。

利用SVM模型训练得到SVM分类器，通过SVM模型主动学习构建特征向量和划分结果之间的关系，得到一个二类分类器，将结果划分为两类。

（2）使用SVM分类器对B帧的帧间预测宏块模式进行快速选择，其具体的选择流程如图2所示：

（2-1）将当前待编码处理的图像定义为当前编码帧；

（2-2）判断当前帧是否为B帧，B帧是编码压缩当前B帧的所有宏块时，可以参考当前帧的前面的帧、后面的帧的信息。B帧的属性的确定是编码器在编码当前一串视频帧（GOP，group of picture）的时候就提前规划好了的。

（2-2-1）如果当前帧为B帧，则进行下面的快速算法；

（2-2-2）如果当前帧不是B帧，则按正常编码方式进行编码。

（2-3）将当前编码帧中当前待处理的宏块定义为当前宏块；

（2-4）遍历帧内预测宏块模式和SKIP模式，提取编码特征：SKIP模式的率失真代价，所有帧内预测宏块模式最小率失真代价和SKIP模式的率失真代价之差，当前帧相邻参考帧对应当前宏块位置的宏块、当前宏块相邻左宏块、当前宏块相邻上宏块和当前宏块相邻左上宏块的最优编码模式，把这些所有特征融合为一个特征向量，作为SVM分类器1的输入特征矢量，将帧间预测宏块模式分为｛SKIP｝和{Inter16×16、Inter16×8、Inter8×16、Inter8×8}两类。

（2-4-1）如果当前宏块的分类结果属于｛SKIP｝类且当前帧相邻参考帧对应当前宏块位置宏块的编码模式也为SKIP模式，则只遍历SKIP模式和所有帧内预测宏块模式，否则搜索SKIP模式、Inter16×16模式和所有帧内预测宏块模式，并根据率失真代价选择最优宏块模式。做法就是按照率失真代价选择函数（公式1-1）的计算方法把各种预测模式，比如帧内预测宏块模式、SKIP模式、Inter16×16模式都计算出来。

（2-4-2）如果当前宏块的分类结果不属于｛SKIP｝类，而属于{Inter16×16、Inter16×8、Inter8×16、Inter8×8}类其他帧间预测宏块模式，则先遍历Inter16×16模式,提取Inter16×16模式下的预测残差、CBP值，以及运动矢量作为SVM分类器2输入特征矢量，利用SVM分类器2模型将除SKIP和Inter16×16模式之外的其他帧间预测宏块模式{Inter16×8、Inter8×16、Inter8×8}分为｛Inter16×8，Inter8×16｝和｛Inter8×8｝两类。其中预测残差的计算方式是通过之前进行的Inter16×16模式搜索，找到和当前宏块最相似的一个匹配块，然后将当前宏块和找的这个匹配块做减法，得到的差值的绝对值就是预测残差。

（2-4-2-1）如果分类结果属于｛Inter16×8，Inter8×16｝，则继续搜索Inter16×8、Inter8×16模式，计算率失真代价，在帧内预测宏块模式、SKIP、Inter16×16、Inter16×8、Inter8×16模式中选取率失真代价最小的模式为最优模式。

（2-4-2-2）如果分类结果属于｛Inter8×8｝，则继续搜索Inter8×8模式，计算率失真代价，在帧内预测宏块模式、SKIP、Inter16×16、Inter8×8模式中选取率失真代价最小的模式为最优模式。

（2-5）将当前编码帧中的下一个宏块作为当前宏块，返回步骤（2-3）继续执行，直到当前编码帧中的所有宏块均编码完毕。

（2-6）将当前编码帧的下一帧作为当前编码帧，返回步骤（2-2）继续执行，直到所有编码帧编码结束。

本发明对比现有技术，有如下优点：

本方法将支持向量分类器模型封装到宏块模式选择的过程中，对宏块模式的快速选择更加准备、更加健壮、更加稳定，有效降低了视频编码的计算复杂度。

通过引入学习能力强和推广性好的支持向量机模型，对宏块模式进行分类，减少需要搜索遍历的宏块模式，该方法更加准确、更加健壮、更加稳定的快速宏块模式选择算法。

本方案所提出的基于支持向量机的B帧快速帧间预测宏块模式选择算法，在保持较高的编码率失真性能前提下，大大降低了编码器的计算复杂度，节约了大量的编码时间。

附图说明

图1是相邻宏块位置示意图；

图2是本发明的基于支持向量机的B帧快速帧间预测宏块模式选择方法流程图；

图3是本发明构建分类器模型的流程图。

具体实施方式

一种基于支持向量机的B帧快速帧间预测宏块模式选择方法，首先提取已编码宏块的编码信息或当前编码宏块某些编码预测模式的编码信息组成特征向量，利用支持向量机（support vector machine，SVM）构建分类器模型，利用提取的特征向量来预测当前编码宏块的编码模式，从而减少预测模式的数目，提前终止全遍历方法，如图3所示，具体实施步骤如下：

1、利用JM18软件（H.264标准官方参考代码软件）对国际标准测试视频序列“Door Flowers”，“Book Arrival”，“Leave Laptop”，“Alt Moabit”，“Dog”，“Champagne”，“Pantomime”，“Newspaper”，“Ballrom”，“Race”，“Exit”，“Flamenco”进行全遍历搜索方式进行编码，并提取编码信息特征，包括率失真代价，最优编码模式，Inter16×16模式下的运动矢量MV、预测残差及宏块残差编码模式；

2、使用SVM训练分类器。使用libSVM软件包（采用常用的SVM训练分类器实现软件），选择径向基核函数（Radial Basis Function Kernel,RBFKernel）、3万个训练样本训练分类器模型，使得所提取的编码特征和宏块编码模式建立相关性。

3、使用SVM分类器对预测模式进行分类。

3.1遍历帧内预测宏块模式和SKIP模式，将SKIP模式的率失真代价，所有帧内预测宏块模式最小率失真代价和SKIP模式的率失真代价之差，当前帧相邻参考帧对应当前宏块位置的宏块、当前宏块相邻左宏块、当前宏块相邻上宏块和当前宏块相邻左上宏块的编码模式组成特征向量，作为SVM分类器1的输入特征矢量，将帧间预测宏块模式分为｛SKIP｝和{Inter16×16、Inter16×8、Inter8×16、Inter8×8}两类。

3.1.1如果当前宏块的分类结果属于｛SKIP｝类，继续判断当前帧相邻参考帧对应当前宏块位置宏块的编码模式是否也为SKIP模式，如果为SKIP模式则只遍历SKIP模式和所有帧内预测宏块模式，否则遍历SKIP模式、Inter16×16模式和所有帧内预测宏块模式，并根据率失真函数选择最优宏块模式。

3.1.2如果当前宏块的分类结果属于{Inter16×16、Inter16×8、Inter8×16、Inter8×8}类，则先遍历Inter16×16模式,提取Inter16×16模式下的预测残差、CBP值以及运动矢量组成特征向量，作为SVM分类器2的输入特征矢量，利用SVM分类器模型将除{Inter16×8、Inter8×16、Inter8×8}模式分为｛Inter16×8，Inter8×16｝和｛Inter8×8｝两类，分别遍历对应类的预测模式集。

在所有搜索的预测模式中根据率失真代价函数选择率失真代价最小的模式作为最优模式。本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。

Claims (4)

1.基于支持向量机的B帧快速帧间预测宏块模式选择方法，其特征在于包括以下步骤：

（1）基于支持向量机（support vector machine，SVM）模型训练SVM分类器，包括：

（1-1）特征选择和提取；

（1-2）核函数参数的选择；

（1-3）使用步骤（1-1）和（1-2）的结果训练SVM分类器，训练过程中，将最终选择的最优宏块模式结果与提取的各种特征得到输入特征矢量，形成训练样本集S，将S随机地分成10个子集，取其中9个子集作为训练集，剩余的一个作为测试集，对SVM分类器进行训练和测试，得到最终的SVM分类器；

（2）使用SVM分类器对B帧的帧间预测宏块模式进行快速选择：

（2-1）将当前待编码处理的图像定义为当前编码帧；

（2-2）判断当前帧是否为B帧；

（2-2-1）如果当前帧为B帧，则进行下面的快速算法；

（2-2-2）如果当前帧不是B帧，则按正常编码方式进行编码；

（2-3）将当前编码帧中当前待处理的宏块定义为当前宏块；

（2-4）遍历帧内预测宏块模式和SKIP模式，提取编码特征；

（2-5）将当前编码帧中的下一个宏块作为当前宏块，返回步骤（2-3）继续执行，直到当前编码帧中的所有宏块均编码完毕；

（2-6）将当前编码帧的下一帧作为当前编码帧，返回步骤（2-2）继续执行，直到所有编码帧编码结束。

2.根据权利要求1所述的选择方法，其特征在于：其中步骤（1-1）的特征选择和提取采用全搜索遍历原始编码方法对各测试序列进行编码,将以下编码信息对应的特征提取出来：

（1-1-1）率失真代价：提取每个宏块的跳跃（SKIP）模式、帧内预测宏块模式和帧间预测宏块模式中的Inter16×16模式对应的率失真代价值J；

（1-1-2）相邻宏块的编码模式：提取每个宏块在空间上相邻左宏块，相邻上宏块，相邻左上宏块和相邻右上宏块，以及时间上相邻帧对应位置宏块的最优编码模式；

（1-1-3）运动矢量：对每个宏块遍历Inter16×16模式，提取每个宏块在Inter16×16模式下求取的最优运动矢量；

（1-1-4）预测残差及宏块残差编码模式（CBP,Coded Block Pattern）：也就是提取当前编码宏块的Inter16×16模式下原始的视频信号和重构视频信号之间的平方差值和（SSD，Sum of Square Difference）、宏块残差编码模式CBP。

3.根据权利要求2所述的选择方法，其特征在于：所述步骤（1-3）中训练SVM分类器的过程为：

（1-3-1）训练SVM分类器1：将步骤（1-1）中提取的SKIP模式的率失真代价，所有帧内预测宏块模式最小率失真代价和SKIP模式的率失真代价之差，当前帧前向第一参考帧对应当前宏块位置的宏块、当前宏块相邻左宏块、当前宏块相邻上宏块和当前宏块相邻左上宏块的编码模式多个特征融合为一个特征向量，形成训练样本集S1，将S1随机地分成10个子集，取其中9个子集作为训练集，剩余的一个作为测试集，利用SVM模型进行训练和测试，得到SVM分类器1，将帧间预测宏块模式分为｛SKIP｝和{Inter16×16、Inter16×8、Inter8×16、Inter8×8}两类；

（1-3-2）训练SVM分类器2：将步骤（1-1）中提取的Inter16×16模式下的预测残差、CBP值以及运动矢量三个特征融合为一个特征向量，形成训练样本集S2，将S2随机地分成10个子集，取其中9个子集作为训练集，剩余的一个作为测试集，利用SVM模型进行训练和测试，得到一个SVM分类器2，将宏块模式集{Inter16×8、Inter8×16、Inter8×8}分为Inter16×8，Inter8×16｝和｛Inter8×8｝两类。

4.根据权利要求3所述的选择方法，其特征在于：所述步骤（2-4）遍历帧内预测宏块模式和SKIP模式，提取编码特征的过程为：将跳跃（SKIP）模式的率失真代价，所有帧内预测宏块模式最小率失真代价和SKIP模式的率失真代价之差，当前帧相邻参考帧对应当前宏块位置的宏块、当前宏块相邻左宏块、当前宏块相邻上宏块和当前宏块相邻左上宏块的最优编码模式，把所有这些特征融合为一个特征向量，作为SVM分类器1的输入特征矢量，将帧间预测宏块模式分为｛SKIP｝和{Inter16×16、Inter16×8、Inter8×16、Inter8×8}两类；

如果当前宏块的分类结果属于｛SKIP｝类且当前帧相邻参考帧对应当前宏块位置宏块的编码模式也为SKIP模式，则只遍历SKIP模式和所有帧内预测宏块模式，否则搜索SKIP模式、Inter16×16模式和所有帧内预测宏块模式，并根据率失真代价选择最优宏块模式；

如果当前宏块的分类结果不属于｛SKIP｝类，而属于{Inter16×16、Inter16×8、Inter8×16、Inter8×8}类其他帧间预测宏块模式，则先遍历Inter16×16模式,提取Inter16×16模式下的预测残差、宏块残差编码模式（CBP,Coded Block Pattern）值，以及运动矢量作为SVM分类器2输入特征矢量，利用SVM分类器2模型将除SKIP和Inter16×16模式之外的其他帧间预测宏块模式{Inter16×8、Inter8×16、Inter8×8}分为｛Inter16×8，Inter8×16｝和｛Inter8×8｝两类；

如果分类结果属于｛Inter16×8，Inter8×16｝，则继续搜索Inter16×8、Inter8×16模式，计算率失真代价，在帧内预测宏块模式、SKIP、Inter16×16、Inter16×8、Inter8×16模式中选取率失真代价最小的模式为最优模式；

如果分类结果属于｛Inter8×8｝，则继续搜索Inter8×8模式，计算率失真代价，在帧内预测宏块模式、SKIP、Inter16×16、Inter8×8模式中选取率失真代价最小的模式为最优模式。

Images