CN104243769A - 基于自适应阈值的视频场景变化检测方法 - Google Patents

Abstract

本发明公开一种基于自适应阈值的视频场景变化检测方法，其包括步骤：计算视频文件中两个相邻图像帧的颜色直方图之间的相似度系数；将所有相似度系数依次连接，构成了相似度曲线；设置滑动窗，确定在滑动窗内相似度曲线的自适应阈值，找出该滑动窗内相似度曲线的最大值，记录该最大值对应在视频文件中的位置；若该滑动窗内相似度曲线的最大值大于依据该滑动窗确定的自适应阈值，且该最大值对应在视频文件中的位置与上一个视频场景切换位置之间所间隔的图像帧数量大于预设值B，则判断该最大值对应在视频文件中的位置为视频场景切换位置。本发明能够较好的排除由于拍摄角度或者拍摄对象突变所造成的干扰，检测快速、准确，具有很高的应用价值。

Description

基于自适应阈值的视频场景变化检测方法

技术领域

本发明涉及视频图像分析技术，尤其是涉及一种基于自适应阈值的视频场景变化检测方法。

背景技术

基于内容的视频处理包括视频结构的分析、视频数据的自动索引和视频重组。视频结构的分析是通过检测镜头边界的，把视频分割成基本的组成单元——镜头；视频数据的自动索引就是从镜头中选取代表帧，以其特征作为镜头特征的代表；视频的重组包括根据代表帧的特征实现的场景提取和多个视频段的拼接。

镜头是指摄像机一次连续拍摄所得到的内容，它是视频的基本单位。镜头切换是指一个镜头到另一个镜头的转换，通过镜头切换的检测能够找到代表视频基本单元的相互独立的镜头。镜头的切换点指视频序列中两个不同镜头之问的分隔和衔接。采用不同的编辑方法，就产生了不同的镜头衔接方式，镜头切换主要有突变和渐变两种。突变是指一个镜头与另一个镜头之划没有过渡，由一个镜头的瞬间直接转换到另一个镜头的方法。渐变是指一个镜头到另一个镜头的渐渐过渡过程，没有明显的镜头跳跃。

场景是由时间上连续，视觉内容上相似或者语义上相关的镜头组成。语义上相关就是指和特定的背景相关或者是一个连续的情节。一个场景中的镜头都和一个主题相关。镜头边界检测的主要根据是镜头内部的相邻帧之间有很大的相似性，当发生镜头边界时，该相似性将被破坏。镜头突变和渐变对相似性的破坏程度是不同的，因此使用一个阈值，难以同时检测出突变和渐变。如果阈值过小，就会出现过检测；而如果阈值过大，就无法检测出渐变的镜头边界。

比如，中国专利申请CN201310332133.4提出了一种动态视频场景变换检测方法，包括步骤：实时获取动态视频图像的当前帧；计算当前帧的场景变换特征参数ti(n)；根据所述动态视频图像的之前一个或数个帧的场景变换特征参数计算对应于当前帧的动态阈值threshold(n)；判断当前帧的场景变换特征参数ti(n)是否小于或等于其对应的动态阈值，如果是，则判断为不是场景变换帧，否则，判断为是场景变换帧。

现有技术存在如下缺陷：

1)在对视频进行处理时，是对所有视频帧进行了提取颜色直方图特征，并且是扫描整幅图像统计具有各颜色级的像素点个数，这么做会增加整个算法的复杂度，影响对视频的处理速度。

(2)提取颜色直方图时，是对整个视频帧进行扫描每个像素点，没有考虑像素点在视频帧中的空间位置信息，这样会造成镜头分割结果漏掉一些镜头边界。

(3)在确定渐变镜头边界的时候，需要计算相隔帧的帧差，这同样会增加算法的计算复杂度。

(4)没有考虑光照条件的变化及闪光灯会造成视频帧亮度的变化，引起各种视频特征的变化，从而容易误检测为镜头边界。

因此，现有的视频场景变换检测方法存在计算量大、处理复杂、检测准确性不高的缺陷。

发明内容

为克服现有技术的缺陷，本发明提出一种计算量小、实现简单、检测快速的基于自适应阈值的视频场景变化检测方法。

本发明采用如下技术方案实现：一种基于自适应阈值的视频场景变化检测方法，其包括步骤：

对视频文件按预设的帧间隔进行采样，获得图像帧；

对每个图像帧的在HSV颜色空间上提取颜色直方图，并对得到的颜色直方图进行归一化处理；

计算视频文件中两个相邻图像帧的颜色直方图之间的相似度系数；

将所有相似度系数依次连接，构成了相似度曲线；

设置滑动窗，确定在滑动窗内相似度曲线的自适应阈值，找出该滑动窗内相似度曲线的最大值，记录该最大值对应在视频文件中的位置；

若该滑动窗内相似度曲线的最大值大于依据该滑动窗确定的自适应阈值，且该最大值对应在视频文件中的位置与上一个视频场景切换位置之间所间隔的图像帧数量大于预设值B，则判断该最大值对应在视频文件中的位置为视频场景切换位置。

其中，采用如下公式计算相似度系数：

${\mathrm{\ξ}}_i=\underset{K=0}{\overset{Q-1}{\mathrm{\Σ}}}\frac{{(H_i\left(K\right)-H_{i+1}\left(K\right))}^2}{H_i\left(K\right)+H_{i+1}\left(K\right)}$

其中，第i图像帧与第i+1图像帧相邻，这两个相邻图像帧的颜色直方图H_i(K)与颜色直方图H_i+1(K)之间的相似度系数ξ_i，K代表的是图像帧中像素的色调级，K＝1,2,3,…，Q，Q是色调H的色调级总数。

其中，所述设置滑动窗，确定在滑动窗内相似度曲线的自适应阈值的步骤具体包括：

设置一个长度l的滑动窗，该滑动窗的滑动步长j；

计算滑动窗覆盖的这l个相似度系数的均值D_i，

确定自适应阈值TH＝A*D_i，A为大于1的正数。

其中，设置l＝8，滑动步长j＝6。

其中，预设值B＝3。

其中，对每个图像帧的在HSV颜色空间上提取颜色直方图的步骤，是以对图像帧进行了隔行隔列扫描为计算前提。

与现有技术相比，本发明具有如下有益效果：

本发明提取颜色直方图时采用各行各列扫描，提高了镜头分割和场景生成的准确性；本发明采用滑动窗来确定每个滑动窗的自适应阈值，利用自适应阈值来确定滑动窗内是否发生视频场景切换，不仅能够较好的排除由于拍摄角度或者拍摄对象突变所造成的干扰，且检测快速、准确。本发明同时也可以进一步应用于其他各项图像检测领域，具有很高的应用价值。

附图说明

图1是本发明一个实施例的流程示意图。

图2是本发明一个滑动窗的示意图。

具体实施方式

鉴于一个场景内的视频往往具有相同的环境背景，所得到的画面颜色基调比较一致，而不同的场景环境会有较大的差异，背景颜色也会不同，因此，本发明根据各个视频序列表示颜色类别的色调分量对应的累计直方图确定视频序列的背景颜色的主要色调，根据相邻视频序列之间的主要色调差异在视频序列的基础上实现了快速的视频场景检测。

如图1所示，本发明的一个优选实施例包括如下实现步骤：

步骤S1、对视频文件按预设的帧间隔进行采样，获得图像帧。为了减少算法的复杂度，对视频文件按一定间隔采样图像帧，比如采用的策略是每3帧采样1帧图像帧。

步骤S2、对每个图像帧的在HSV颜色空间上提取颜色直方图，并对得到的颜色直方图进行归一化处理。

色调H表示的色彩的类别，能够直接反映色彩与光谱上对应波长的颜色值，如红色、橙色、黄色、绿色、蓝色、紫色等等；饱和度S代表色彩的鲜艳程度，可以理解为某种颜色中白色分量所占的比重，S越大，白色分量越少，颜色越鲜艳；而明度V代表颜色的明暗程度，它与光强度之间没有直接联系。

以8位(bit)的像素值为例，将图像帧中每一像素点从RGB空间转换成HSV空间的计算公式如下：

$H=\left\{\begin{array}{cc}\mathrm{\θ}& B\≤G\\ 2\mathrm{\π}-\mathrm{\θ}& B>G\end{array}\right.,$ 其中 $\mathrm{\θ}=\arccos \left(\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-G)(G-B)]}^{1/2}}\right)---\left(1\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}---\left(2\right)$

$V=\frac{\max (R,G,B)}{255}---\left(3\right)$

对图像帧在HSV颜色空间上提取颜色直方图时，为消除亮度对镜头分割造成的影响，其中把亮度量化为1个区间，把色调量化为16个区间，把色饱和度量化为8个区间，获得每个图像帧的颜色直方图,并对得到的颜色直方图进行归一化处理。

另外，为了减少计算直方图的复杂度，采取对图像帧进行了隔行隔列扫描，这样图像帧大小会变为原图像帧的1/4,降低了计算复杂度。

步骤S3、计算视频文件中两个相邻图像帧的颜色直方图之间的相似度系数ξ。

比如，第i图像帧与第i+1图像帧相邻，则这两个相邻图像帧的颜色直方图H_i(K)与颜色直方图H_i+1(K)之间的相似度系数ξ_i采用如下公式(5)：

${\mathrm{\ξ}}_i=\underset{K=0}{\overset{Q-1}{\mathrm{\Σ}}}\frac{{(H_i\left(K\right)-H_{i+1}\left(K\right))}^2}{H_i\left(K\right)+H_{i+1}\left(K\right)}---\left(5\right)$

其中，K代表的是图像帧中像素的色调级，K＝1,2,3,…，Q，Q是色调H的色调级总数(最大色调级数)。由于人眼对颜色的鉴别能力有限，可以按照人眼对颜色的识别能力，将色调H分量非均匀量化为Q个等级，分别代表Q种不同的可被人眼识别的颜色，比如Q＝8，则K的取值范围为[0,7]

上述相似度系数ξ表示的场均色调直方图H_i(K)的分布偏离场均色调直方图H_i+1(K)分布的程度，相似度系数ξ越小表示偏离程度越低，则这两个直方图H_i(K)与H_i+1(K)之间越相似，也即第i图像帧与第i+1图像帧越相似。

步骤S4、将所有相似度系数ξ按图像帧顺序依次连接，构成了相似度曲线。

比如，假设一共有f个图像帧，那么，从第1图像帧与第2图像帧之间的相似度系数ξ₁开始，直到第f-1图像帧与第f图像帧之间的相似度系数ξ_f-1，一共有f-1个相似度系数系数，且为了表述方便，定义第i个相似度系数ξ_i在视频文件中的对应位置是第i图像帧与第i+1图像帧。

从相似度系数ξ₁开始至相似度系数ξ_f-1依次相连，即得到相似度曲线。

步骤S5、设置滑动窗，确定在滑动窗内相似度曲线的自适应阈值。

本发明基于滑动窗确定自适应阈值，能够较好的排除视频文件中由于拍摄角度或者拍摄对象突变所造成的干扰。

如图2所示，设置一个长度l的滑动窗，该滑动窗的滑动步长j，其中，长度l和滑动步长j需要由试验或经验值确定。若滑动窗处于第i个相似度系数ξ_i至第i+l-1个相似度系数ξ_i+l-1之间，则计算滑动窗覆盖的这l个相似度系数的均值D_i，确定自适应阈值TH＝A*D_i，其中A为预设的经验值，A为大于1的正数。

因此，每个滑动窗的自适应阈值TH不一定相等。

步骤S6、依次在每个滑动窗内检测是否发生场景切换，若是，记录场景切换位置。

首先，在第w个滑动窗覆盖的这l个相似度系数中找出相似度系数的最大值ξ_max，即第w滑动窗内最大相似度系数，并记录该最大相似度系数ξ_max在视频文件中的位置；

判断该最大相似度系数ξ_max是否大于第w个滑动窗的阈值A*D_i，若是，进一步判断最大相似度系数ξ_max在视频文件中位置与上一个视频场景切换位置之间所间隔的图像帧数量是否大于预设值B(B为正整数且由经验值所预先设定)，若是，则判断第w个滑动窗中最大相似度系数ξ_max在视频文件中位置为视频场景切换位置。

比如，在一个实施例中，假设视频文件中一共有f个图像帧，有f-1个相似度系数；设置l＝8，滑动步长j＝6，则f个图像帧一共需要滑动窗滑动的总次数为(f-8)/6。计算每一个滑动窗内的自适应阈值TH、每个滑动窗内最大相似度系数ξ_max及对应在视频文件中位置。对于当前滑动窗，若满足最大相似度系数ξ_max大于自适应阈值TH且最大相似度系数ξ_max在视频文件中位置与上一个视频场景切换位置之间所间隔的图像帧数量大于3时，则认为当前滑动窗内最大相似度系数ξ_max对应在视频文件中位置发生了视频场景切换。

与现有技术相比，本发明具有如下有益技术效果：本发明提取颜色直方图时采用各行各列扫描，提高了镜头分割和场景生成的准确性；本发明采用滑动窗来确定每个滑动窗的自适应阈值，利用自适应阈值来确定滑动窗内是否发生视频场景切换，不仅能够较好的排除由于拍摄角度或者拍摄对象突变所造成的干扰，且检测快速、准确。本发明同时也可以进一步应用于其他各项图像检测领域，具有很高的应用价值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于自适应阈值的视频场景变化检测方法，其特征在于，包括步骤：

对视频文件按预设的帧间隔进行采样，获得图像帧；

对每个图像帧的在HSV颜色空间上提取颜色直方图，并对得到的颜色直方图进行归一化处理；

计算视频文件中两个相邻图像帧的颜色直方图之间的相似度系数；

将所有相似度系数依次连接，构成了相似度曲线；

设置滑动窗，确定在滑动窗内相似度曲线的自适应阈值，找出该滑动窗内相似度曲线的最大值，记录该最大值对应在视频文件中的位置；

若该滑动窗内相似度曲线的最大值大于依据该滑动窗确定的自适应阈值，且该最大值对应在视频文件中的位置与上一个视频场景切换位置之间所间隔的图像帧数量大于预设值B，则判断该最大值对应在视频文件中的位置为视频场景切换位置。

2.根据权利要求1所述基于自适应阈值的视频场景变化检测方法，其特征在于，采用如下公式计算相似度系数：

${\mathrm{\ξ}}_i=\underset{K=0}{\overset{Q-1}{\mathrm{\Σ}}}\frac{{(H_i\left(K\right)-H_{i+1}\left(K\right))}^2}{H_i\left(K\right)+H_{i+1}\left(K\right)}$

其中，第i图像帧与第i+1图像帧相邻，这两个相邻图像帧的颜色直方图H_i(K)与颜色直方图H_i+1(K)之间的相似度系数ξ_i，K代表的是图像帧中像素的色调级，K＝1,2,3,…，Q，Q是色调H的色调级总数。

3.根据权利要求1所述基于自适应阈值的视频场景变化检测方法，其特征在于，所述设置滑动窗，确定在滑动窗内相似度曲线的自适应阈值的步骤具体包括：

设置一个长度l的滑动窗，该滑动窗的滑动步长j；

计算滑动窗覆盖的这l个相似度系数的均值D_i，

确定自适应阈值TH＝A*D_i，A为大于1的正数。

4.根据权利要求3所述基于自适应阈值的视频场景变化检测方法，其特征在于，设置l＝8，滑动步长j＝6。

5.根据权利要求1所述基于自适应阈值的视频场景变化检测方法，其特征在于，预设值B＝3。

6.根据权利要求1-5任何所述一种基于自适应阈值的视频场景变化检测方法，其特征在于，对每个图像帧的在HSV颜色空间上提取颜色直方图的步骤，以对图像帧进行了隔行隔列扫描为计算前提。