CN103164707A - 一种基于支持向量机和粒子群优化算法的镜头边界检测方法 - Google Patents

Abstract

本发明涉及一种基于支持向量机和粒子群优化算法的镜头边界检测算法，原始数据是待镜头边界检测的视频数据，包括以下步骤：(1)，提取视频数据的底层特征，本方法主要提取像素域上的颜色一阶矩和颜色二阶矩、颜色直方图、角点；还有压缩域上的DC系数特征；(2)，使用粒子群算法对支持向量机的核函数参数和惩罚因子进行优化；(3)，利用得到的近似最优参数训练得到最优分类模型，并以此为基础对视频序列帧进行分类，最终完成镜头分割。

Description

一种基于支持向量机和粒子群优化算法的镜头边界检测方法

技术领域

本发明涉及一种镜头边界检测方法，特别地，涉及一种基于支持向量机和粒子群优化算法的镜头边界检测方法。

背景技术

在视频检索的过程中，镜头边界检测是整个系统的第一步，镜头边界检测的准确度和效率的高低，关系到整个视频检索系统的成败，是视频检索系统中至关重要的一步。镜头边界检测的任务就是通过比较视频序列帧的差异来寻找镜头边界，确定镜头变化类型和位置。

目前，该领域内解决镜头边界检测的方法主要是基于阈值和基于机器学习的。基于阈值的方法由于阈值选取的好坏对检测效果有较大的影响；而且不同的视频阈值差异很大。这些都限制了阈值方法更进一步提高效果。近年来，基于机器学习的镜头边界检测方法得到了深入研究。在文献题目：《Supervised classificationfor video shot segmentation[A]》作者：Y Qi，Hauptmann A T Liu，IEEEICME03[C]。Baltimore，MD，USA，2003，vol.2，689-692中，采用k最近邻域分类、Naive Bayes可能性分类法和支持向量机将视频序列帧分成切变帧和非切变帧；对非切变帧，又采用小波光滑去噪的方法来检测渐变帧，从而完成镜头边界的分割。文献题目：《Shot Boundary Detection Based on SVMs via Visual AttentionFeatures》作者：Li Xiuqiang，Xiao Guoqiang，Jiang Jianmin，2009International Forum on Information Technology and Applications中，提出了一种符合人类视觉注意的特征，并用以组成一定维数的特征向量，采用支持向量机完成突变和渐变的检测。为了增强对运动和噪音的鲁棒性，提取亮度帧差来辅助检测。文献题目：《Algorithm for Shot Boundary Detection based on SupportVector Machine in Compressed Domain》作者：Jian-Rong Cao and An-Ni Cai，在Tien Tzu Hsueh Pao/Acta Electronica Sinica，36(1)：203-208，2008中提出，利用滑动窗口的方法将提取到的压缩域特征组成一个多维的特征向量，对SVM进行训练，使用训练好的SVM模型对视频帧进行分类，从而得到镜头的边界。但是支持向量机参数的选取至今仍然没有一个统一的标准，参数选取大多依靠经验采取试凑的方法，这样不仅费时而且很难得到满意的结果。本文使用粒子群优化算法对支持向量机的参数进行优化，首次使用支持向量机和粒子群优化算法进行镜头边界检测，对支持向量机的分类模型进行了优化，降低了参数选择的盲目性和不准确。

发明内容

本发明要解决的技术问题是：

针对现有镜头边界检测技术的不足，提出一种基于支持向量机和粒子群优化算法的镜头边界检测算法。能够更加有目的和针对性的选取支持向量机的参数，进而得到近似最优参数，而且使得镜头分割的效果也在一定程度上提升。

本发明的技术方案是：

使用一种新型的基于支持向量机和粒子群优化算法的镜头边界检测算法，原始数据是待镜头边界检测的视频数据。

首先提取视频数据的底层特征，本方法主要提取像素域上的颜色一阶矩和颜色二阶矩、颜色直方图、角点、DC系数等特征。

各种特征的具体提取如下：

颜色一阶矩

颜色一阶矩在镜头发生切变时会有剧烈变化，对于检测切变有着较好的效果；另外，还可以和二阶矩结合起来检测是否发生渐变。一阶矩的提取如下式所示：

其中pi，j是图像帧在(i，j)点的像素亮度值。

颜色二阶矩

颜色二阶矩可以在一阶矩的基础上得到，其对于检测叠化和淡出淡入类型的渐变准确率较高。叠化和淡出淡入发生时，从图像上可以看出过渡帧表现为对比度明显下降。二阶矩的提取如下式所示：

其中pi，j是图像在(i，j)点的像素亮度值，

为图像单个通道内所有像素点的平均值。

颜色直方图

颜色直方图描述的是一帧图像中各颜色区间所包含的像素的数量，反映了不同色彩在整幅图像中所占的比例。它的计算复杂度较低，而且对物体运动和摄像机的低速运动有着很好的容忍能力，因此被广泛地应用于边界检测。颜色直方图定义式为：

$H_k=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{h}_{i,j}$

M和N为图像帧垂直和水平方向上的像素数目；k＝0，1，……，K，其中K为颜色空间的颜色种类数；对于h_i，j值，若在颜色空间量化后等于k值，则取为1，否则取0。颜色直方图的帧间差(帧号为i)为：

$F_{i,i+1}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}|H_{k,i}-H_{k,i+1}|$

角点

角点是一种轮廓特征，对帧内物体运动有着较好的鲁棒性。角点作为一种图像关键点，具有稳定和有效信息量大的特点，并且相对于同是轮廓特征的边缘特征的计算量要小数倍。一般来说，角点对于图像旋转、图像平移和图像噪声都具有较强的鲁棒性。特征提取时，我们可以通过修改最小质量因子和角点间的最小距离来有目的地控制角点数量。

我们定义X为图像帧角点的特征度量：

$X=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{{(c_i\left(x\right)-c_i\left(y\right))}^2}{\min (c_i\left(x\right),c_i\left(y\right))}$

其中k为图像帧的角点个数，c_i(x)，c_i(y)为某一角点的横纵坐标。

角点的帧差定义为：D_i，i+1＝|X_i-X_i+1|

DC系数

根据MPEG编码原理，对图像进行DCT变换，再经量化得到DC系数。首先将图像分割成8*8的块，对于DCT变换，DCT系数的第一个值是直流分量，即为DC系数，数量上等于该块的平均值。于是就可以直接提取每一个块的DC分量，以该分量的值代表整个块。在此基础上得到相邻两帧对应宏块位置上(8×8块)DC系数之差大于某个阈值的数量，我们把它作为DC系数这个特征的帧间差异。若当前帧和前一帧的差异较大，则很可能发生了镜头变化。我们设定这个阈值时采用自适应的方法，目的是使之对不同类型视频具有良好的适应性。

第二步，使用粒子群算法对支持向量机的惩罚因子和核函数参数进行优化，具体分为以下几个部分来实现：

第二步A，种群初始化。种群规模设定为由20个粒子组成，这些粒子的位置和速度是随机生成的。

第二步B，适应度值计算。种群规模设定为20，适应度值的计算按照下式进行：

f(c，γ)＝accuracy

我们选用支持向量机中的交叉验证策略来计算训练集的适应度值。

第二步C，更新粒子的位置和速度，进行循环迭代：

本代种群的全局最优解和局部最优解得到以后，需要进行粒子信息的更新。

位置和速度的更新根据下面两式进行：

V_i+1＝W×V_i+C₁×rand×(pbest-X_i)+C₂×rand×(gbest-X_i)，X_i+1＝＝X_i+V_i+1；

第二步D，比较更新全局最优解和局部最优解。

如果当前的适应度值优于局部的最好适应度值，将当前值作为最好的适应度值，同时更新局部最优的粒子信息；如果当前的适应度值优于全局的最好适应度值，替换全局最优为当前的适应度值，并更新全局最优粒子信息。

第三步，利用得到的近似最优参数训练得到最优分类模型，并以此为基础对视频序列帧进行分类，最终完成镜头分割。

本发明的有益效果是：

经过我们的方法改进，镜头边界检测效果较传统的基于支持向量机的方法更好；同时，使用粒子群优化算法选择支持向量机的参数，避免了传统支持向量机选取参数时的盲目性和低效率，能够一次性准确地得到近似最优参数。

附图说明

图1是本发明的背景以及视频结构图

图2是角点特征检测镜头边界的示意图

图3是粒子群优化算法参数寻优的过程图

图4是粒子群参数优化和SVM分类模型生成图

具体实施方式

下面结合实施例进一步描述本发明。本发明的范围不受这些实施例的限制，本发明的范围在权利要求书中提出。

粒子群优化算法参数寻优设计：

1)初始种群和参数设置

根据惩罚因子c和径向基函数g可能的取值范围，选取整数c∈[0.1，100]，g∈[0.1，1000]。惩罚因子c和核函数参数γ的变化范围分别是[0，100]和[0，1000]，加速常数c1和c2分别取1.4和1.8。

2)适应度函数设计

根据镜头分割的具体背景，设计适应度函数为：

f(c，g)＝accuracy，

其中，accuracy是SVM训练样本集上的交叉验证准确率，该准确率和适应度值呈正相关关系。综合考虑到执行效率和验证的准确率，我们将训练集划分为3个部分。

3)基于粒子群优化算法的SVM参数优化算法

首先初始化种群，针对训练集使用SVM进行训练、预测，使用交叉验证策略得到初始的适应度值。接下来，使用PSO算法对粒子进行更新，得到新的参数并反馈给SVM，进行下一代的交叉验证，得到本代的新适应度值。将其与上一代的局部最优和全局最优进行比较，更新适应度值。如此循环往复，直到达到预设的循环代数或者使得适应度值足够好时停止迭代，此时得到的SVM参数是最优的惩罚因子和核函数参数，使用这组近似最优参数训练SVM模型完成训练预测，可以得到最好的镜头边界检测效果。

从上表可以看出，与其他的2种相关方法相比，本文所提出的算法性能最好。RUN-1方法在检测镜头时分两层，每层采用2类分类器，其中只有一层采用基于SVM的分类器。RUN-2方法也使用SVM做分类器，只提取了压缩域上的特征来检测镜头边界。我们的方法不仅综合提取了像素域和压缩域特征，将其组成特征矢量，而且使用粒子群优化算法对支持向量机参数寻优，取得了较好的检测效果。

Claims (8)

1.一种基于支持向量机和粒子群优化算法的镜头边界检测算法，原始数据是待镜头边界检测的视频数据，其特征在于，包括以下步骤：

(1)，提取视频数据的底层特征，本方法主要提取像素域上的颜色一阶矩和颜色二阶矩、颜色直方图、角点、DC系数特征；

(2)，使用粒子群算法对选取支持向量机的惩罚因子和核函数参数进行优化；

(3)，利用得到的近似最优参数训练得到最优分类模型，并以此为基础对视频序列帧进行分类，最终完成镜头分割。

2.根据权利要求1所述的基于支持向量机和粒子群优化算法的镜头边界检测算法，其特征在于，所述的步骤(2)包括以下步骤：

(2.A)，种群初始化和参数初始设置，种群规模设定为由20个粒子组成，这些粒子的位置和速度是随机生成的，惩罚因子c和核函数参数γ的变化范围分别是

[0，100]和[0，1000]，加速常数c1和c2分别取1.4和1.8；

(2.B)，适应度值计算，种群规模设定为20，适应度值的计算按照下式进行：

f(c，γ)＝accuracy，我们选用支持向量机中的交叉验证策略来计算训练集的适应度值，综合考虑到验证效率和准确率，我们将训练集划分为三个部分来进行交叉验证；

(2.C)，更新粒子的位置和速度，进行循环迭代：本代种群的全局最优解和局部最优解得到以后，需要进行粒子信息的更新。位置和速度的更新根据下面两式进行：V_i+1＝W×V_i+C₁×rand×(pbest-X_i)+C₂×rand×(gbest-X_i)，X_i+1＝＝X_i+V_i+1；

(2.D)，比较更新全局最优解和局部最优解，如果当前的适应度值优于局部的最好适应度值，将当前值作为最好的适应度值，同时更新局部最优的粒子信息；如果当前的适应度值优于全局的最好适应度值，替换全局最优为当前的适应度值，并更新全局最优粒子信息。

3.根据权利要求1所述的基于支持向量机和粒子群优化算法的镜头边界检测算法，其特征在于，所述的步骤(1)中所述的颜色一阶矩的提取如下式所示：

其中pi，j是图像帧在(i，j)点的像素亮度值。

4.根据权利要求1所述的基于支持向量机和粒子群优化算法的镜头边界检测算法，其特征在于，所述的步骤(1)中所述的颜色二阶矩提取如下：二阶矩的提取如下式所示：

其中pi，j是图像在(i，j)点的像素亮度值，

为图像单个通道内所有像素点的平均值。

5.根据权利要求1所述的基于支持向量机和粒子群优化算法的镜头边界检测算法，其特征在于，所述的步骤(1)中所述的颜色直方图提取如下：

颜色直方图定义式为：

M和N为图像帧垂直和水平方向上的像素数目；k＝0，1，……，K，其中K为颜色空间的颜色种类数；对于h_i，j值，若在颜色空间量化后等于k值，则取为1，否则取0；颜色直方图的帧间差(帧号为i)为：

$F_{i,i+1}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}|H_{k,i}-H_{k,i+1}|.$

6.根据权利要求1所述的基于支持向量机和粒子群优化算法的镜头边界检测算法，其特征在于，所述的步骤(1)中所述的角点提取如下：我们定义X为图像帧角点的特征度量：

其中k为图像帧的角点个数，c_i(x)，c_i(y)为某一角点的横纵坐标；角点的帧差定义为：D_i，i+1＝|X_i-X_i+1|。

7.根据权利要求1所述的基于支持向量机和粒子群优化算法的镜头边界检测算法，其特征在于，所述的步骤(1)中所述的DC系数的提取如下：根据MPEG编码原理，对图像进行DCT变换，再经量化得到DC系数；首先将图像分割成n×n的块，对于DCT变换，DCT系数的第一个值是直流分量，即为DC系数，数量上等于该块的平均值；于是就可以直接提取每一个块的DC分量，以该分量的值代表整个块；在此基础上得到相邻两帧对应宏块位置上的n×n块的DC系数之差大于某个阈值的数量，我们把它作为DC系数这个特征的帧间差异；若当前帧和前一帧的差异较大，则很可能发生了镜头变化。

8.根据权利要求7所述的基于支持向量机和粒子群优化算法的镜头边界检测算法，其特征在于，所述的n可以取8。

Images