CN102324037A

CN102324037A - 一种基于支持向量机和遗传算法的镜头边界检测方法

Info

Publication number: CN102324037A
Application number: CN201110260238A
Authority: CN
Inventors: 孙学梅; 张晶; 李媛媛; 孙宝山; 赵龙
Original assignee: Tianjin Polytechnic University
Current assignee: Tianjin Polytechnic University
Priority date: 2011-09-06
Filing date: 2011-09-06
Publication date: 2012-01-18

Abstract

本发明涉及基于支持向量机和遗传算法的镜头边界检测算法，包括第一步提取视频序列帧的特征，并组成一定维数的特征矢量；第二步，使用遗传算法对支持向量机的RBF核函数参数进行优化；第三步，利用得到的近似最优参数训练得到最优分类模型，并以此为基础对视频序列帧进行分类，最终完成镜头分割。本发明针对现有镜头边界检测技术的不足，提出一种基于支持向量机和遗传算法的镜头边界检测算法。能够更加有目的和针对性的选取支持向量机的参数，进而得到近似最优参数，而且使得镜头分割的效果也得到一定程度上的提升；同时，使用遗传算法选择支持向量机的参数，避免了传统支持向量机选取参数时的盲目性和低效率。

Description

一种基于支持向量机和遗传算法的镜头边界检测方法

技术领域

本发明涉及一种镜头边界检测方法，特别地，涉及一种基于支持向量机和遗传算法的镜头边界检测方法

背景技术

在视频检索的过程中，镜头边界检测是整个系统的第一步，镜头边界检测的准确度和效率的高低，关系到整个视频检索系统的成败，是视频检索系统中至关重要的一步。镜头边界检测的任务就是通过比较视频序列帧的差异来寻找镜头边界，确定镜头变化类型和位置。目前，该领域内解决镜头边界检测的方法主要是基于阈值和基于机器学习的。基于阈值的方法由于阈值选取的好坏对检测效果有较大的影响；而且不同的视频阈值差异很大。这些都限制了阈值方法更进一步提高效果。近年来，基于机器学习的镜头边界检测方法得到了深入研究。文献[1](Y Qi，Hauptmann A T Liu.Supervised classification for video shot segmentation[A].Proc.IEEEICME 03[C].Baltimore，MD，USA，2003，vol.2，689-692。)采用k最近邻域分类、Naive Bayes可能性分类法和支持向量机将视频序列帧分成切变帧和非切变帧；对非切变帧，又采用小波光滑去噪的方法来检测渐变帧，从而完成镜头边界的分割。文献[2](Li Xiuqiang，Xiao Guoqiang，JiangJianmin，Du Kuiran，Qiu Kaijin.Shot Boundary Detection Based onSVMs via Visual Attention Features 2009 International Forum onInformation Technology and Applications 2009 IEEE DOI10.1109/IFITA.2009.233)提出了一种符合人类视觉注意的特征，并用以组成一定维数的特征向量，采用支持向量机完成突变和渐变的检测。为了增强对运动和噪音的鲁棒性，提取亮度帧差来辅助检测。文献[3](Jian-Rong Cao and An-Ni Cai.Algorithm for shot boundary detectionbased on support vector machine in compressed domain.Tien Tzu HsuehPao/Acta Electronica Sinica，36(1)：203-208，2008.)利用滑动窗口的方法将提取到的压缩域特征组成一个多维的特征向量，对SVM(support vector machine，支持向量机。)进行训练，使用训练好的SVM模型对视频帧进行分类，从而得到镜头的边界。但是支持向量机参数的选取至今仍然没有一个统一的标准，参数选取大多依靠经验采取试凑的方法，这样不仅费时而且很难得到满意的结果。

发明内容

本发明为了克服上述缺点，使用遗传算法对支持向量机的参数进行优化，首次使用支持向量机和遗传算法进行镜头边界检测，对支持向量机的分类模型进行了优化，降低了参数选择的盲目性和不准确。

本发明的技术方案是：

使用一种基于支持向量机和遗传算法的镜头边界检测算法，原始数据是需要进行镜头边界检测的视频数据。

首先提取视频数据的底层特征，本方法主要提取像素域上的颜色一阶矩和颜色二阶矩、颜色直方图、角点、DC系数等特征，这些特征是经过反复实验和论证，确定用于镜头分割效果较好的一些特征，将他们用于本专利得到的性能指标较好。

各种特征的具体提取如下：

颜色一阶矩：

颜色一阶矩在镜头发生切变时会有剧烈变化，对于检测切变有着较好的效果；另外，还可以和二阶矩结合起来检测是否发生渐变。一阶矩的提取如下式所示：

A_{i} = \underset{(R, G, B)}{Σ} Σ_{i = 1}^{M} Σ_{i = 1}^{N} p_{i, j},

其中pi，j是图像帧在(i，j)点的像素亮度值。

颜色二阶矩：

颜色二阶矩可以在一阶矩的基础上得到，其对于检测叠化和淡出淡入类型的渐变准确率较高。叠化和淡出淡入发生时，从图像上可以看出过渡帧表现为对比度明显下降。二阶矩的提取如下式所示：

S_{i} = \underset{(R, G, B)}{Σ} Σ_{i = 1}^{M} Σ_{j = 1}^{N} {(\overset{&OverBar;}{p} - p_{i, j})}^{2},

其中pi，j是图像在(i，j)点的像素亮度值，为图像单个通道内所有像素点的平均值。

颜色直方图：

颜色直方图描述的是一帧图像中各颜色区间所包含的像素的数量，反映了不同色彩在整幅图像中所占的比例。它的计算复杂度较低，而且对物体运动和摄像机的低速运动有着很好的容忍能力，因此被广泛地应用于边界检测。颜色直方图定义式为：

H_{k} = Σ_{i = 1}^{M} Σ_{j = 1}^{N} h_{i, j},

M和N为图像帧垂直和水平方向上的像素数目；k＝0，1，......，K，其中K为颜色空间的颜色种类数；对于h_i，j值，若在颜色空间量化后等于k值，则取为1，否则取0。颜色直方图的帧间差(帧号为i)为：

F_{i, i + 1} = Σ_{k = 1}^{K} | H_{k, i} - H_{k, i + 1} |,

角点：

角点是一种轮廓特征，对帧内物体运动有着较好的鲁棒性。角点作为一种图像关键点，具有稳定和有效信息量大的特点，并且相对于同是轮廓特征的边缘特征的计算量要小数倍。一般来说，角点对于图像旋转、图像平移和图像噪声都具有较强的鲁棒性。特征提取时，我们可以通过修改最小质量因子和角点间的最小距离来有目的地控制角点数量。我们定义X为图像帧角点的特征度量：

X = Σ_{i = 1}^{k} \frac{{(c_{i} (x) - c_{i} (y))}^{2}}{\min (c_{i} (x), c_{i} (y))},

其中k为图像帧的角点个数，c_i(x)，c_i(y)为某一角点的横纵坐标。

角点的帧差定义为：D_i，i+1＝|X_i-X_i+1|，

DC系数：

根据MPEG编码原理，对图像进行DCT变换，再经量化得到DC系数。

首先，将图像分割成N×N，为了方便说明，举例为8×8块，当然也不是必须要分割成这样，选择这个8×8块分割方式主要是综合考虑运算量和分割的准确性。在其他的情况下，如果性能够好，也可以采用其他的分割，如：16×16，对于DCT变换，DCT系数的第一个值是直流分量，即为DC系数，数量上等于该块的平均值。于是就可以直接提取每一个块的DC分量，以该分量的值代表整个块。在此基础上得到相邻两帧对应宏块位置上(8×8块)DC系数之差大于某个阈值的数量，我们把它作为DC系数这个特征的帧间差异。若当前帧和前一帧的差异较大，则很可能发生了镜头变化。我们设定这个阈值时采用自适应的方法，目的是使之对不同类型视频具有良好的适应性。

第二步，使用遗传算法对支持向量机的RBF核函数参数进行优化，

具体分为以下几步：

第二步的步骤A，对待优化的参数惩罚因子c和核函数参数g进行编码，分别用14位和17位长度的二进制数字串来表示这两个参数。

第二步的步骤B，初始化种群和适应度值计算。种群规模设定为20，适应度值的计算按照下式进行：

f(c，γ)＝accuracy，

第二步的步骤C，对参数进行迭代寻优。分为以下的四个部分实现：

(C.1)设置进化代数。进化代数设置为迭代100次，或者当取得足够好的分割效果时也停止。

(C.2)交叉验证的策略和适应度值的计算。本方法在计算适应度值时采用交叉验证的策略，把SVM的训练集划分成3个部分，进行训练和交叉验证。一般来说，综合考虑运算量和准确性的话，分割的部分一般是2到5个部分，为了得到更好，此处例举选取划分3个部分。

(C.3)比较和选择具有最好适应度值的个体。

(C.4)迭代进行遗传操作，主要有三种操作：选择、交叉、变异。

第三步，利用得到的近似最优参数训练得到最优分类模型，并以此为基础对视频序列帧进行分类，最终完成镜头分割。

本发明针对现有镜头边界检测技术的不足，提出一种基于支持向量机和遗传算法的镜头边界检测算法。能够更加有目的和针对性的选取支持向量机的参数，进而得到近似最优参数，而且使得镜头分割的效果也得到一定程度上的提升；同时，使用遗传算法选择支持向量机的参数，避免了传统支持向量机选取参数时的盲目性和低效率。

附图说明

图1是现有技术和本发明技术背景的视频结构图。

图2是角点特征检测镜头边界的示意图。

图3是遗传算法参数寻优的过程图。

具体实施方式

下面结合实施例进一步描述本发明。本发明的范围不受这些实施例的限制，本发明的范围在权利要求书中提出。

涉及遗传算法参数寻优设计。

1)编码方式：

我们在参数寻优时首先要对待估参数进行编码形成染色体，即把参数优化问题解转换成基因编码的形式。根据惩罚因子c和径向基函数g可能的取值范围，选取整数c∈[0.1，100]，g∈[0.1，1000]。在本方法中，c和g分别用14位和17位的二进制串表示，这样c和g的参数组可用31位二进制串表示。

2)初始种群与适应度函数设计

种群规模是指种群中个体的数量，其取值非常关键。我们综合考虑效率和准确率，取种群规模为20。根据具体情况，设计适应度函数为：

f(c，g)＝accuracy，

其中，accuracy是SVM训练样本集上的交叉验证准确率，该准确率和适应度值呈正相关关系。

3)基于遗传算法的SVM核函数参数优化算法

1>设定初始代数和进化代数

初始代数gen＝0(gen表示进化代数)，maxgen表示最大进化代数。设定优化目标的最优值为bestfitness，用以存放最高的适应度。

2>训练参数的初始编码

设定变量c和g的取值范围，然后进行编码，对应31位二进制编码串。

3>种群初始化

在各变量取值范围之内，随机生成规模为ChroPop的初始种群，将单个染色体初始为Chromosome。种群规模ChroPop值取20，种群中染色体的长度记为Chromosome_len。

4>确定适应度函数值

以参数c和g为基础，运用SVM对训练集进行交叉验证，从而根据适应度函数计算得到适应度值。

5>迭代寻优

对种群中各染色体进行解码，进而计算相应的适应度值，每次迭代都进行适应度值的比较，并将最好的适应度值存储起来。

6>进行迭代遗传操作：

6.1>.选择操作：本实施例中选择操作使用的是选择算子。它是基于一个个体相对于整个群体的适度值，根据个体的适应值确定选择的系数，按比例复制生成新个体加入新种群中。

选择策略的实施步骤：

①顺序累加群体中各个体的适应值fi，得到适应度的累计值

S_{n} = Σ_{i = 1}^{n} f_{i} . . . (12)

②用S_n去除各个体的适应值fi，得到相对适应度Pi，，即该个体被选中的概率；

③针对第i个个体，计算从1到第i个个体的累计相对适应值，得累计概率

g_{i} = Σ_{j = 1}^{i} p_{j} . . . (13)

④产生[0，1]内均匀分布的随机数r，满足g_i-1＜r＜g_i，则选择个体i。

⑤反复执行第④项，直至产生的个体数目等于群体规模Pop-Size。

6.2.>交叉操作：将群体内的各个个体随机搭配成对，对每一个个体，以某个交叉概率交换它们之间的部分染色体。本文的交叉策略是点式交叉(Pointal Crossover)，它首先随机地在两个父体串上选择一个或多个交叉点，然后交换父体串对应的子串。交叉操作是遗传算法中产生新个体的主要方法，本文设定交叉概率Pc取值0.4＜Pc＜0.5。

6.3.>变异操作：在群体中随机地选择一个个体，对于选中的个体以变异概率P，改变基因串中某位上的值，得到新的个体。因此，变异概率值Pm应根据具体求解问题确定大小，本文设定Pm取0.05。

从上表可以看出，与其他的2种相关方法相比，本发明所提出的算法性能最好。RUN-1方法在检测镜头时分两层，每层采用2类分类器，其中只有一层采用基于SVM的分类器。RUN-2方法也使用SVM做分类器，只提取了压缩域上的特征来检测镜头边界。本方法RUN-3不仅综合提取了像素域和压缩域特征，将其组成特征矢量，而且使用遗传算法对支持向量机参数寻优，取得了较好的检测效果。

Claims

1.一种基于支持向量机和遗传算法的镜头边界检测方法，其特征在于包括以下步骤：

第一步，提取视频序列帧的特征，并组成一定维数的特征矢量；

第二步，使用遗传算法对支持向量机的RBF核函数参数进行优化；

2.根据权利要求1所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于，所述的第一步包括：

提取压缩域上的DC系数，首先将图像分割成N×N块，进行DCT变换，DCT系数的第一个值是直流分量，即为DC系数，数量上等于该块的平均值，直接提取每一个块的DC分量，以该分量的值代表整个块，在此基础上得到相邻两帧对应宏块位置上DC系数之差大于某个阈值的数量，把它作为DC系数这个特征的帧间差异，对不同类型视频设定对应的相应的阈值。

3.根据权利要求1所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于，所述的第二步包括：

步骤A，对待优化的参数惩罚因子c和核函数参数g进行编码，

分别用14位和17位长度的二进制数字串来表示这两个参数；

步骤B，初始化种群和适应度值计算，种群规模设定为20，适应度值的计算按照下式进行：

f(c，γ)＝accuracy，其中，accuracy是SVM训练样本集上的交叉验证准确率，该准确率和适应度值呈正相关关系；

步骤C，基于遗传算法的SVM核函数参数优化算法，对参数进行迭代寻优。

4.根据权利要求3所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于，所述的步骤C中所述的基于遗传算法的SVM核函数参数优化算法进一步包括以下步骤：

c.1>设定初始代数和进化代数：初始代数，gen＝0，gen表示进化代数，maxgen表示最大进化代数，设定优化目标的最优值为bestfitness，用以存放最高的适应度；

c.2>训练参数的初始编码：设定变量c和g的取值范围，然后进行编码，对应31位二进制编码串；

c.3>种群初始化：在各变量取值范围之内，随机生成规模为ChroPop的初始种群，将单个染色体初始为Chromosome，种群规模ChroPop值取20，种群中染色体的长度记为Chromosome_len；

c.4>确定适应度函数值：以参数c和g为基础，运用SVM对训练集进行交叉验证，从而根据适应度函数计算得到适应度值；

c.5>迭代寻优：对种群中各染色体进行解码，进而计算相应的适应度值，每次迭代都进行适应度值的比较，并将得到的最优的适应度值存储。

c.6>进行选择、交叉、变异的迭代遗传操作。

5.根据权利要求3所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于，所述的惩罚因子c和径向基函数g，选取整数c∈[0.1，100]，g∈[0.1，1000]。

6.根据权利要求4所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于所述的c.6>中，选择操作使用的是选择算子，它是基于一个个体相对于整个群体的适度值，根据个体的适应值确定选择的系数，按比例复制生成新个体加入新种群中。

7.根据权利要求6所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于，所述的选择操作的实施步骤为：

①顺序累加群体中各个体的适应值fi，得到适应度的累计值

S_{n} = Σ_{i = 1}^{n} f_{i};

g_{i} = Σ_{j = 1}^{i} p_{j};

④产生[0，1]内均匀分布的随机数r，满足g_i-1＜r＜g_i，则选择个体i；

8.根据权利要求4所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于，所述的步骤c.6>中交叉操作为：将群体内的各个个体随机搭配成对，对每一个个体，以某个交叉概率交换个体之间的部分染色体，所述的交叉策略是点式交叉Pc，Pc取值0.4＜Pc＜0.5，首先随机地在两个父体串上选择一个或多个交叉点，然后交换父体串对应的子串。

9.根据权利要求4所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于，所述的步骤c.6>中变异操作为：在群体中随机地选择一个个体，对于选中的个体以变异概率Pm，改变基因串中某一位上的值，得到新的个体。

10.根据权利要求9所述的基于支持向量机和遗传算法的镜头边界检测方法，其特征在于，所述的变异概率值Pm，可以设定Pm取0.05。