CN103605991A - 一种视频广告的自动检测方法 - Google Patents

Abstract

本发明属于计算机视频处理技术领域，具体为一种视频广告的自动检测方法。本发明输入为电视台播放的数字电视信号或本地视频格式，综合采用颜色、纹理和边缘特征，对视频进行镜头分割，关键帧提取，FMPI帧分类，拷贝检测，和疑似广告检测，最终分析出视频中的广告成分。可以用作数字电视转播的广告过滤和解决项目中需要处理视频数据自动标注的问题。本发明采用FMPI关键帧的概念，大大提高了广告拷贝检测的准确率和算法效率，对于疑似广告检测也有了非常可靠的基于FMPI关键帧的特征做分类器的依据。

Description

一种视频广告的自动检测方法

技术领域

本发明属于计算机视频处理技术领域，具体涉及一种视频广告的自动检测方法。

背景技术

三网融合是我国未来几年信息化发展的重要方向，其中广播电视网和互联网的融合是其重要组成部分。随着互联网和高速宽带网络技术的成熟，整个互联网已经具备了同时传送高质量音频、视频和数据的能力。同时和传统的电视广播网络比较，互联网的特点在于互联网的数据传输是高速双向的，融合后电视用户利用这种双向传输的特点，将享受前所未有的交互方式。利用互动电视中的回看功能，在电视节目中自动的去掉广告内容无疑会提高用户的交互体验。

目前，每天都有大量的电视视频数据产生，如果要做到对那么多视频数据进行处理，简单的根据人力去标注视频内容，分割出哪些是正常的电视节目，哪些是广告内容，进行广告检测，显然不切实际。这就要求有一个自动化的能够高效准确的完成这个功能的广告检测算法。

目前，学术界主要的广告检测算法有基于视频拷贝检测的广告检测算法，基于广告特征的广告检测算法，和基于学习的广告检测算法。这些方法都有其应用的场景和条件，也分别有优点和缺点。

(1)  基于拷贝检测的广告检测算法

广告作为宣传一种产品或者理念的视频序列出现在电视上，为了达到宣传的目的，最大的特点就是它的重复性。根据这种重复性，如果视频库中存在我们需要的广告，应用视频拷贝检测技术，我们就可以把重复出现的广告检测出来。

视频拷贝检测的关键点是视频特征信息的提取和匹配算法[1]。视频特征信息关系到视频拷贝检测准确度，该部分大多数是由镜头分割后的镜头帧所提取图像特征构成。这种图像特征大致分为两类：第一是全局特征，该部分主要是那些表征图像整体信息的特征，如颜色特征（颜色直方图等）、纹理特征（边缘分布等），全局特征的优点在于提取速度快，内存占用率小，缺点在于忽略了图像的局部信息，不抗旋转和和缩放；第二是局部特征，如SIFT[2]等，这些特征优点在于能反映图像中的细节信息，抗旋转与缩放，缺点是计算代价大，内存占用较多。

特征匹配算法关系到视频拷贝检测的速度。线性匹配算法结构简单但速度较慢，需要遍历视频库中所有的视频才能得出结果，结构化的匹配算法[1]能够优化匹配时间。

Covell把视频拷贝检测应用到广告检测中来[3]，他的特点在于应用视频中的音频作为主要的拷贝检测的依据，并且达到了很好的效果。

基于拷贝检测的广告检测，缺点主要有三方面：第一，对于在视频库中的广告，视频拷贝检测查全率和查准率都较高，但对于新上线的广告，需要人工向广告库中添加广告，才能识别出来；第二，视频拷贝检测的速度是和广告库中视频的速度相关的，视频库中视频越多，拷贝检测的速度越慢；第三，对于那些已经下线的广告，需要人工的去广告库中删除掉对应广告，以减少广告库中视频的数量，从而保证视频拷贝检测的速度。对于这三方面缺点，都需要人工进行操作，而且对于有大数据量的广告库，人工操作的工作量将会很大。

(2)  基于特征的广告检测

广告作为一种特殊的媒体，在视觉和听觉上有其独特的特征，利用这些特征，可以有效的进行广告检测。

Duygulu提出了一种根据广告特征进行广告检测的方法[4]。在图像上，在国外的电视节目中，广告作为电视节目的一类内容，被定义了严格的格式要求，最重要的就是广告和广告之间会插入黑帧（black frame，即全黑的一张图像帧）。由于有了这个特征，就可以很方便的检测这样的黑帧，作为广告的边界。

Sadlier不仅采用了黑帧，在音频上还用了静音段检测的方法，当黑帧和静音段出现在同一个位置时，就检测到广告边界[5]。对黑帧的检测，该文章用到了MPEG中的DCT系数：当图片为单色时，DCT的低频部分主要包含了图片的细节，然而单色图片基本上没有细节，所以低频部分几乎为零。另外，黑帧和静音段在正常的电视节目中也经常同时出现，所以作者根据电视制式的特点，制定了一些规则来减少错判的情况。例如，连续六帧为黑帧和静音才被认为是广告边界；广告时间总长度最长为30秒，超过则不是广告。利用这些广告制式的特点，该文章成功的提高了广告检测的效果。

Gauch除了应用以上提到的一些广告检测的特征以外，还应用了镜头速率来检测广告内容[6]。镜头切换速率表示为每个镜头的持续时间。对于广告来说，为了尽可能的在最短是的时间内表达更多的内容，镜头切换速率一般来讲会非常的快，因此这个特征在一定程度上能够表征广告的特点。另外，该文章还用视频拷贝检测作为辅助，进一步优化了广告检测的效果。

基于广告特征的广告检测，其缺点主要在于：第一，现在的广告拍摄水平越来越高，拍摄手法越来越多样化，现有的某些特征已经不能满足判断是否是广告帧的要求；第二，由于现在广告的复杂性，简单的规则已经不能保证算法的高准确性和易用性；第三，由于电视制式的不同，不同地区和不同国家间广告特点的不同，以上文章描述的特征并不是对所有广告都适用，例如，在中国的电视节目中，广告的边界就不存在必须插入黑帧的情况。这些在实际应用中存在的问题都会使该类方法的效果大打折扣。

（3）基于学习算法的广告检测

由于广告越来越复杂，这就要求越来越复杂的规则去检测。如果使用机器学习的办法，通过学习，学习出广告帧特征的内在规律，那么在一定程度上会提高广告检测的准确性。

Xian-Sheng等根据这种思路提出了一种基于学习的广告检测算法[7]。该算法运用切分下来的镜头提取基于时间域的图像特征，再用训练好的SVM分类器进行分类，最后利用一些策略把分类出来的广告镜头帧聚集在一起形成广告序列。该方法所需要的特征有1.边缘变化率平均值（A-ECR）和边缘变化率方差（V-ECR）2. 帧间差平均值（A-FD）和帧间差方差（V-FD）3. 相邻镜头的边缘变化率均值（                                                

）和用相邻镜头变化率的方法计算的上述其余三个特征。共八个特征，用这些特征作为训练特征，在一定程度上能够表征广告镜头帧的特点，对标定好的镜头提取上述特征，再放到SVM[9]训练器中训练，生成训练好的模型，以用来检测视频中的广告镜头。

此类方法的缺点在于：第一，过分依赖于训练数据，广告镜头帧情况复杂，人选取样本又具有主观性，所以往往训练数据的构成会有问题，这样就会造成对于不同的检测样本，模型的准确性会有较大出入的结果；第二，基于学习的广告检测，需要从视频中判断哪些帧为广告镜头，而大多数情况下，广告检测的任务是标定完整的广告序列，包括一个广告的开始位置和结束位置，该方法广告区域边界定位不准的问题比较严重。

发明内容

为了克服现有技术的不足，本发明目的在于提出一种实时高效的视频广告的自动检测方法，其可对数字信号的电视节目中的广告进行自动的过滤，并对视频中的广告成分进行自动的标注；准确率和召回率高。

本发明提供的一种视频广告自动检测方法，利用广告中带有商品信息的广告帧（FMPI）的特点；首先对人工切割好的广告片段进行镜头分割，为提取关键帧进行数据准备；接着对关键帧进行特征提取；然后对关键帧集合进行SVM筛选，构建SVM分类器模型，选出FMPI关键帧；最后根据SVM模型对待测视频进行检测；具体步骤如下：

一、数据准备

数据来自于电视台的数字电视视频，从中挑选出比较有代表性的，完整的24小时电视数据。需要人工先从这些数据中切分出广告的连续片段视频，可以用镜头分割程序进行辅助，最后得到的是连续的广告视频片段。

根据颜色直方图变化率和边缘直方图变化率对人工切割好的广告片段进行镜头分割，用颜色直方图变化率和边缘直方图变化率的线性组合，来判断两个镜头之间的帧突变；选取跳变第一帧作为关键帧，人工选出FMPI关键帧、普通广告帧和非广告跳变帧。FMPI帧指带有商品信息的广告帧；普通广告帧指视频镜头分割中切割出的广告中间镜头跳变帧，即除去FMPI帧的其他广告帧；非广告帧指普通视频帧，但是镜头分割时作为跳变帧也被挑选了出来，如连续剧中的镜头转换帧。

计算颜色直方图变化率时，对RGB三个分量色彩空间进行区间划分，每个分量取16个区间，用Chist[48]保存颜色直方图信息，RGB分别对应16维直方图向量；计算边缘直方图变化率时，对图像进行4×4分块，对每一块中的边缘像素点进行统计，用Ehist[16]保存。

二、特征提取

对关键帧提取的特征包括颜色特征、纹理特征和边缘特征。

本发明中用HSV空间中H分量的分布直方图表示颜色特征，用Canny边缘分块统计直方图表示纹理特征，用二维Gabor四个方向的分块累加直方图表示边缘特征；

颜色特征：首先需要对RGB色彩空间的关键帧进行色彩转化，得到对应关键帧的HSV表示后，把H色度空间分成16个等距的角度做直方统计；得到Hhist[16]之后，取得最大的四个维度值构成向量Hhist[4]；[n] 表示向量Hhist的维数，下同；

纹理特征：对关键帧图片提取Gabor滤波器四个方向的边缘统计。关键帧分成4x4的块，对于每个块内的四个方向分别统计Gabor边缘点的数目得到向量Ghist[4]；一共有16个这样的块，最终形成的Gabor滤波特征向量为Ghist[64]，即64维向量。

边缘特征：对整张图片经行Canny边缘提取，得到的边缘图同样分成4x4的块，分别统计落在其中的Canny边缘点数目，得到的Chist[16]为16维向量Canny边缘点分布。

三、样本训练和测试

采用高斯核的SVM分类器，把上述的三个特征向量组合起来构成84维向量，用作SVM训练，这个向量对应了一张FMPI关键帧特征，也即对应了一个广告镜头的特征。具体的，其首先对训练样本进行数据预处理，把特征提取得到的向量处理成SVM接受的输入形式，即<label><index1>:<value1><index2>:<value2><index3><value3>…的形式，其中<label>是标注类别，<index_i->是特征序号，<value_i>是特征值，并做好数据处理，然后用测试样本提取相同特征，处理为标准输入形式后用于测试，最后得到关于FMPI关键帧的SVM模型; 其公式如下所示：

其中w和b为通过训练得出的训练参数，z为输入的待分类的特征向量；

四、新视频检测

对新视频镜头分割后，选跳变视频帧作为关键帧，对这些关键帧提取特征并预处理，应用训练好的SVM模型，判断待测关键帧是否是FMPI关键帧，进而实现对视频是否是广告视频进行检测。

上述对新视频关键帧检测时，可进一步经过后处理，达到检测广告区间的目的。

后处理具体描述为，用两个相邻FMPI帧之间的时间间隔来判断该区间是否为广告区间。一般广告间隔不会超过Th（一般为30秒），所以当相邻FMPI之间间隔大于30秒时，则表示该区间为正常电视视频区间，当相邻FMPI之间间隔小于30秒时，表示该区间为广告视频区间。

而对于漏检的FMPI使得广告片段不连续，这里可以利用基于邻域的规则进行后处理，使结果更为准确。当满足规则（3）或至少同时满足规则（1）和规则（2）时，则判断该区间为广告视频区间，其具体判断规则包括：

（1）该区间周围邻域内都为广告区域；

（2）该区间时间跨度小于Th，Th为100秒；

（3）该区间中出现过FMPI帧。

本发明的有益效果描述如下。

首先，本发明中提出的FMPI特征具有很高的理论价值和实际应用价值。首先，FMPI解决了特征比对不准确的问题，广告视频的中间帧的特征和连续剧广告视频帧往往会非常相似，但此问题在FMPI帧上就不会出现。广告视频的最后标识帧，无论是和广告的中间帧，还是和非广告帧，在本发明提取的特征上都有极高的区分度。其次，对于检索拷贝视频所用的算法，由于FMPI帧的提出，广告视频可以由唯一的FMPI帧的特征所标识，解决了拷贝检测中一个广告对应一系列关键帧而使得检索数据结构无法达到最优的情况，这样的唯一对应就保证了哈希算法在本发明中的正确性，极大的提高了算法的效率。最后FMPI的提出，对于建立训练广告分类库来说，也是非常好的选择，原因是FMPI帧和其他帧特征的区分度非常高，所提取的特征无需具有非常高的维度，训练速度很快同时分类效果也很好。

其次，本发明综合采用了三类广告检测算法的技术优势：采用建立广告库的方式来对广告进行拷贝检测，取自于基于拷贝检测的广告检测方法，优点在于可以准确的找到广告库中的所有视频片段，并且广告的边界定位准确这点使得运用学习型算法无法准确定位广告视频起始和终止帧的问题得到了解决；采用针对性强的特征对广告视频与非广告视频进行区分，源于基于特征的广告检测方法，优点在采用针对的特征而非普通视频段检测中采用的局部或全局普适性特征对视频进行分割，其区分效果更为明显，这些特征会应用于疑似广告检测作为输入，很大程度的提高了疑似检测准确率；最后采用疑似检测作为算法正确率的保证，是基于学习型算法的广告检测的方法，这种方法的采用增加了本广告检测算法在拷贝检测上的容错性，并且增加了算法对于新视频的适应性，还解决了基于拷贝检测算法对广告库的过度依赖问题。采用这三类方法的优势互补，在实践中体现了极好的准确率和召回率优势。

最后，本发明实现了在电视回看功能中去掉广告的功能，具有实际意义，第一，直播电视节目中仍然会出现广告，这样就不会对广告投放商宣传产品有影响，同时电视转播商的正常运营也不会受到影响；第二，电视转播商可以向用户收取附加的费用来去掉回看电视的广告，增加电视转播商的收入，同时节省了电视收看用户的时间。

附图说明

图1为算法粗略流程以及所需的关键特征表示。

图2为系统整体流程图。

图3为广告FMPI帧、广告中间帧和非广告帧在HSV空间H分量直方图的分布差异。

具体实施方式

数据准备

数据来自于东方有线提供的CCTV、SBTV等多家电视台的数字电视视频，从中挑选出比较有代表性的，完整的24小时电视数据。需要人工先从这些数据中切分出广告的连续片段视频，可以用镜头分割程序进行辅助，最后得到的是连续的广告视频片段。

选取跳变第一帧作为代表关键帧，人工选出FMPI关键帧、普通广告帧和非广告跳变帧。选取的数据是从CCTV和SBTV等电视台采集来的真实视频，共取得FMPI帧2535幅，从这些FMPI图中选择1000幅并与普通广告视频帧500幅和非广告视频帧500幅混合作为训练样本，训练SVM分类器；测试样本从剩下的1535幅FMPI图片中选取，混合其他普通广告帧和非广告帧构成。

下面具体介绍实验中的特征提取算法：

1.视频特征提取

（1）对HSV空间的H分量做直方统计

首先RGB转换成HSV颜色，设(r,g,b) 分别是一个颜色的红、绿、蓝值，它们都是

0到1之间的实数。设max为r,g,b 中的最大值，min为其中最小值，需要找到对应的 (h,s,v)值，其中h∈[0,360) 是色相角，而l,s ∈[0,1]是饱和度和亮度，使用上述公式即可以完成转换。取得色相H的直方图统计后，对 [0,360) 区间划分成16个等间隔的角度区间，分别统计落在每个区间中的像素点数目，构成一个16维向量 

 ，对此向量进行切割，选出其中最大的4个直方图的值，作为其结果。即对以下式子中的p取值为4：

（2）图像4×4分块后，对每块提取四个方向的二维Gabor边缘统计向量。以下是二维Gabor滤波器的一般表示形式：

 由公式可以看出，Gabor函数是被复正弦函数调制的Gaussian函数，是一个 

 上的复值函数。k决定了Gabor滤波器方向的个数，公式根据k计算出的 

 而得来的旋转公式，通过该公式可以得到不同方向的滤波器，Gabor滤波器对方向的敏感性也是根据这个特征得出的。

 和 

 决定了Gabor的多尺度特征。本系统中取k值为4，对于每个图像分块，计算0°、45°、90°、145°Gabor边缘图像，并且统计对于每个块的四个方向的Gabor边缘像素点Ghist[4]，结合16个分块的统计结果构成16×4维的向量，即整张图片的二维Gabor边缘直方统计向量Ghist[64]。

（3）图像Canny统计直方图，仍然是对图片4×4分块，然后对图像进行Canny边缘计算，最后分别统计落在每个小块中的Canny边缘点数目，构成4维向量Chist[4]。

Canny边缘计算需要四个步骤，第一步需要进行高斯平滑滤波，需要构造7×7

的高斯滤波核，其过程是通过二维高斯函数计算出高斯核矩阵，其中二维高斯函数：

其中 

 是标准差，需要保证整个平面的积分值是1，故需要一个调整系数。实际使用中常被忽略的离散高斯卷积核 

 可以用以下公式得到，H(i,j) 计算为:

其中取值需要注意，太小矩阵中只有一个非零元素，太大的话k也要大，不然周围点的贡献将被忽略。一般是k的一个函数，这里第 (i,j) 个元素参与运算的是i-k-1和j-k-1 这样做的目的是在 (2k+1)x(2k+1) 的情况下，使得高斯函数的两个参变量分布在 [-k,k] 的区间内，否则就没有意义了。

第二步骤需要计算图像的梯度，该部分的做法是应用一阶偏导的有限差分来做，具体使用两高斯偏导数系数模板与平滑后的图片进行卷积操作。通过计算可以得到平滑图片的梯度方向和梯度幅值。

接下来的第三个步骤是非极值抑制，即对于得到的图像中每个像素的梯度，为了更好的确定边缘，必须找到那些在周围一定区域内变化幅度很大的点，而去掉那些变化小的点。

最后第四个步骤是双阈值检测，强阈值需要确定强边缘，和强边缘连通的边缘点如果超过弱阈值，都会计算成Canny边缘点；若边缘值并没有超过强阈值，且没有与任何强边缘联通，或者是与强边缘联通，但其边缘强度没有超过弱阈值的边缘点，将会不被计算为Canny边缘点。

2. SVM分类器构建

对视频镜头分割、提取关键帧后，对每个关键帧按照上述所示方法提取特征，按照SVM输入格式进行数据预处理，能得到对于FMPI关键帧特征的分类器：

其中w和b为通过训练得出的训练参数，z为输入的待分类的特征向量。对于新视频的输入，做同样的处理，镜头分割后选跳变视频帧作为关键帧，对这些关键帧做特征提取并预处理，应用训练好的SVM模型，得到此帧是否是FMPI关键帧的结果。对于FMPI关键帧，可以进一步的应用拷贝检测的方法，得到其所对应的镜头是否属于广告镜头。由于广告镜头是连续的，故可能存在广告序列中夹杂判断为非广告的镜头，此时需要后处理的过程。

3.系统最终广告片段判定方法

后处理具体描述为，用两个相邻FMPI帧之间的时间间隔来判断该区间是否为广告区间。一般广告间隔不会超过Th（一般为30秒），所以当相邻FMPI之间间隔大于30秒时，则表示该区间为正常电视视频区间，当相邻FMPI之间间隔小于30秒时，表示该区间为广告视频区间。对于漏检的FMPI使得广告片段不连续，这里可以利用基于邻域的规则进行后处理，使结果更为准确。详细规则如下面所述：

该块周围邻域内都为广告区域。

该块时间跨度小于Th（100秒）

该块区域中出现过FMPI帧或若同时出现上述两种规则的情况，则可判断该快区域为广告区域。

最终，用这样构建出的分类器，对于新的视频进行处理，可以发现能完全达到实时处理的要求，并且对于训练集要求尽可能多的广告帧训练样本，这样能提高特征分类的准确率。目前使用2000张图片作为训练样本（1:1的FMPI正样本和其他负样本）得到的识别准确率达到88.57%，召回率有98.1%。

参考文献

[1] 张利刚，基于内容的视频拷贝检测算法的研究，西安电子科技大学 2010（1）

[2] Lowe, D.G. Object recognition from local scale-invariant features.（基于尺度不变局部特征的物体识别） IEEE Trans. On Computer Vision, 1999

[3] Covell,M., Baluja, S.; Fink, M. Advertisement Detection and Replacement using Acoustic and Visual Repetition.（利用声音和图像上的重复性做广告检测和替换） Multimedia Signal Processing, pages 461 – 466, 2006

[4] P. Duygulu, M. Chen, and A. Hauptmann, Comparison and combination of two novel commercial detection methods,（两种新的商业广告检测方法的比较和融合）in Proc. ICME, 2004, pages 1267 - 1270.

[5] D. Sadlier, S. Marlow, N. O'Connor, and N. Murphy, Automatic tv advertisement detection from MPEG bitstream,（从MPEG流中自动检测广告） J. Pattern Recognition Society, vol. 35, no. 12, pp. 2–15, 2002.

[6] J. Gauch and A. Shivadas, Identication of new commercials using repeated video sequence detection,（利用重复视频序列做商业广告的检测） in Proc. ICIP, 2005, pp. 1252-1255

[7] Xian-Sheng Hua, Lie Lu, Hong-Jiang Zhang, Robust learning-based TV commercial detection. （基于学习方法对电视商业广告进行鲁棒地检测）Multimedia and Expo, 2005。

Claims (7)

1.一种视频广告的自动检测方法，其特征在于，首先对人工切割好的广告片段进行镜头分割，为提取关键帧进行数据准备；接着对关键帧进行特征提取；然后对于关键帧集合进行SVM筛选，选择出FMPI关键帧；最后用FMPI关键帧检测待测视频；具体步骤如下：

（1）数据准备

对于人工切割好的广告片段进行镜头分割，选取跳变第一帧作为关键帧，人工选出FMPI关键帧、普通广告帧和非广告跳变帧；将其分为训练样本和测试样本两部分；两部分中均含有FMPI关键帧、普通广告帧和非广告跳变帧；

（2）特征提取

提取关键帧的颜色、纹理和边缘三个方面的特征；

颜色特征：首先RGB转化为HSV颜色，把HSV色彩空间分成16个等距的角度做直方统计，得到Hhist[16]；之后取得最大的四个维度值构成Hhist[4]；

纹理特征：将关键帧分成4x4的块，对于每个块内的四个方向分别统计Gabor边缘点的数目得到Ghist[4]；最终形成64维向量的Gabor滤波特征向量Ghist[64]；

边缘特征：对整张图片进行Canny边缘提取，得到的边缘图同样分成4x4的块，分别统计落在其中的Canny边缘点数目，得到的16维Canny边缘点分布，构成Chist[16]；

（3）样本训练和测试

采用高斯核的SVM分类器，把上述的三个特征向量组合起来构成84维向量用作SVM训练；具体过程为：

首先，对训练样本进行数据预处理，把特征提取得到的向量处理成SVM接受的输入形式，即<label><index1>:<value1><index2>:<value2><index3><value3>…的形式，其中<label>是标注类别，<index_i->是特征序号，<value_i>是特征值，并做好数据处理；然后，用测试样本提取相同特征，处理为标准输入形式后用于测试；最后，得到关于FMPI关键帧的SVM模型，其公式如下所示：

其中，w和b为通过训练得出的训练参数，z(x1, x2, x3…xN) 为输入的待分类的特征向量；

表示分类器输出的结果：+1表示向量被分类器接受，-1表示被分类器否定；

表示符号函数。

（4）新视频检测

对新视频镜头分割后，选跳变视频帧作为关键帧，对这些关键帧提取特征并预处理，应用训练好的SVM模型，先判断待测关键帧是否是FMPI关键帧，对视频是否是广告视频进行判断；之后，再进行后处理，判断两相邻FMPI帧间的时间区间是否为广告区间；后处理方法有种，一种用相邻FMPI关键帧的间隔判断，当相邻FMPI关键帧的间隔小于30秒时，该区间为广告视频区间；另外一种通过规则判断，当满足规则（3）或至少同时满足规则（1）和规则（2）时，则该区间为广告视频区间，其具体判断规则包括：

（1）该区间周围邻域内都为广告区域；

（2）该区间时间跨度小于Th，Th为100秒；

（3）该区间中出现过FMPI帧。

2.根据权利要求1所述的自动检测方法，其特征在于：步骤（1）中，根据颜色直方图变化率和边缘直方图变化率对人工切割好的广告片段进行镜头分割；用颜色直方图变化率和边缘直方图变化率的线性组合，来判断两个镜头之间的帧突变。

3.根据权利要求2所述的自动检测方法， 其特征在于：计算颜色直方图变化率时，对RGB三个分量色彩空间进行区间划分，每个分量取16个区间，用Chist[48]保存颜色直方图信息，RGB分别对应16维直方图向量；计算边缘直方图变化率时，对图像进行4×4分块，对每一块中的边缘像素点进行统计，用Ehist[16]保存。

4.根据权利要求1所述的自动检测方法，其特征在于：所述训练样本中，FMPI关键帧为正样本；普通广告帧和非广告跳变帧为负样本，正样本和负样本的数目比为1:1。

5.根据权利要求1所述的自动检测方法，其特征在于：步骤（2）中，对关键帧进行颜色特征提取的算法具体如下：

首先，RGB转换成HSV颜色，公式如下：

其中，r,g,b 分别是一个颜色的红、绿、蓝值，它们都是0到1之间的实数； max为r,g,b 中的最大值，min为其中最小值； h∈[0,360) 是色相角，l, s ∈[0,1]是饱和度和亮度；

接着，计算色相H的直方图统计，对 [0,360) 区间划分成16个等间隔的角度区间，分别统计落在每个区间中的像素点数目，构成一个16维向量

；

最后，对此向量进行切割，选出其中最大的4个直方图的值，p取值为4：实现颜色特征提取；

             

。

6.根据权利要求1所述的自动检测方法， 其特征在于：步骤（2）中对关键帧进行纹理特征提取的算法如下：图像4×4分块后，对每块提取四个方向的二维Gabor边缘统计向量；按照二维Gabor滤波器的一般表示形式：

    其中x,y 是点的二维坐标，

 是第k个旋转角度，

,

 分别是x方向和y方向高斯分布的方差值，

, 分别是x,y 坐标值在 

 方向上的投影值；

取k值为4，对于每个图像分块，计算0°、45°、90°、145°Gabor边缘图

像，并且统计对于每个块的四个方向的Gabor边缘像素点Ghist[4]，结合16个分块的统计值构成16×4维度向量，即得到整张图片的二维Gabor边缘直方统计向量Ghist[64]，实现纹理特征提取。

7.根据权利要求1所述的自动检测方法，其特征在于：步骤（2）中对边缘特征提取的算法如下：对图片4×4分块，然后对图像进行Canny边缘计算，最后分别统计落在每个小块中的Canny边缘点数目，构成4维向量Chist[4]，实现边缘特征提取；其中Canny边缘计算分为四个步骤：

第一步，进行高斯平滑滤波，构造7×7的高斯滤波核，通过二维高斯函数计算出高斯核矩阵；

第二步，算图像的梯度，其做法是应用一阶偏导的有限差分来做，具体使用高斯偏导数系数模板与平滑后的图片进行卷积操作，通过计算可以得到平滑图片的梯度方向和梯度幅值。

第三步，是非极值抑制； 

最后一步，是双阈值检测，强阈值需要确定强边缘，和强边缘联通的边缘点，如果超过弱阈值，都会计算成Canny边缘点；若边缘值并没有超过强阈值，且没有与任何强边缘联通，或者是与强边缘联通，但其边缘强度没有超过弱阈值的边缘点，将会不被计算为Canny边缘点。

Images