CN102314681B - 基于子镜头分割的自适应关键帧提取方法 - Google Patents

Abstract

本发明公开了图像处理技术领域中的一种基于子镜头分割的自适应关键帧提取方法。本发明方法先读取镜头中图像的所有帧，提取各帧的颜色特征向量；然后将滑动窗口与距离可分性准则相结合，将镜头分割为各个子镜头；并按照帧间距离变化率求出每个子镜头的关键帧数目；最后按照帧间距离从大到小进行排序，选取指定数目的关键帧。本发明不需设置阈值，能自适应地确定关键帧的数目，提高了子镜头的分割精度低，鲁棒性好。

Description

基于子镜头分割的自适应关键帧提取方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于子镜头分割的自适应关键帧提取方法。

背景技术

随着多媒体技术及计算机网络技术的迅速发展，视频数量急剧增长，视频检索系统受到了越来越多的关注。而关键帧提取作为视频检索的前期基础，其提取效果将直接影响视频检索系统的性能。视频关键帧提取就是研究如何利用最少的图像来最有效地表示视频镜头的主要内容，这就要求所选的关键帧要以最小的冗余度反映视频的时序性和准确性。

基于子镜头分割的关键帧提取算法，作为经典的关键帧提取方法之一，就是从依据某种特征将一个镜头从时域上分割为若干个子镜头，然后在每个子镜头中提取一帧作为关键帧。文献(Lei Pan，Xiao jun Wu，Xin Shu.Key FrameExtraction Based on Sub-shot Segmentation and Entropy)首先计算当前帧与前N帧的直方图差，随后对差值结果采用阈值法进行子镜头分割，最后在每一个子镜头中选取信息熵最大的一帧做为关键帧。此方法的缺陷是对阈值的选取依赖性很大，由于视频内容的千差万别，阈值法在子镜头分割精度上效果不理想；文献(Tianming Liu，Hong-Jiang Zhang，and Feihu Qi.A Novel VideoKey-Frame-Extraction Algorithm Based on Perceived Motion Energy Model [J].IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，13 (1O)：pp.1006-1013，2003.)依据镜头中物体的运动对镜头进行时域分割，并在分割后的子镜头中选取运动强度最大的帧作为关键帧；文献(Pascal Kelm，Sebastian Schmiedeke，and Thomas Sikora.FEATURE-BASED VIDEO KEY FRAMEEXTRACTION FOR LOW QUALITY VIDEO SEQUENCES [J].IN PROCEEDINGS OF 1OTHINTERNATIONAL WORKSHOP ON IMAGE ANALYSIS FOR MULTIMEDIA INTERACTIVESERVICES [C].2009，pp.25-28.)依靠镜头的运动状态进行子镜头分割，在综合考虑物体运动强度、镜头运动方式等因素的基础上选取最能引人注意的一帧作为关键帧。

以上方法存在如下几个问题：

1.造成镜头内容变化的因素是多种多样的，而仅仅依靠某单一特征进行子镜头分割显然是有局限性的。

2.以上几种方法在每个子镜头中只选取一帧作为关键帧，无法表达视频内容的动态信息，尤其是视频内容变化较快时，一个关键帧无法反映视频内容，这违背了关键帧提取中“宁滥勿缺”的原则。

发明内容

针对上述背景技术中提到现有子镜头分割过程中分割精度低、鲁棒性差、关键帧提取数目固定等不足，本发明提出了一种基于子镜头分割的自适应关键帧提取方法。

本发明的技术方案是，基于子镜头分割的自适应关键帧提取方法，其特征是该方法包括以下步骤：

步骤1：读取镜头中图像的所有帧，提取各帧的颜色特征向量；

步骤2：在步骤1的基础上，将滑动窗口与距离可分性准则相结合，将镜头分割为各个子镜头；

步骤2.1：建立滑动窗口，并求得滑动窗内的前后两类样本集的类内离散度矩阵和类间离散度矩阵；

步骤2.2：在步骤2.1的基础上建立评判函数；

所述评判函数的计算公式为：

$F=\frac{\det \left(S_b\right)}{\det (S_1+S_2)}$

其中：

F为评判函数曲线；

S_b为类间离散度矩阵；

S₁为前二分之一滑动窗口内子镜头帧的类内离散度矩阵；

S₂为后二分之一滑动窗口内子镜头帧的类内离散度矩阵；

det(S_b)为类间离散度矩阵的行列式值；

det(S₁+S₂)为类内离散度矩阵的行列式值；

步骤2.3：求得镜头的评判函数曲线；

步骤2.4：对评判函数曲线滤波，并将评判函数曲线的各个极大值点对应的帧视为子镜头的分割位置；

步骤3：按照帧间距离变化率求出每个子镜头的关键帧数目；

步骤4：在步骤3的基础上，按照帧间距离从大到小进行排序，选取指定数目的关键帧。

所述S_b的计算公式为：

S_b＝(m₁-m₂)(m₁-m₂)^T

其中：

m₁为前二分之一滑动窗口内的子镜头帧的均值向量；

m₂为后二分之一滑动窗口内的子镜头帧的均值向量。

所述S₁的计算公式为：

$S_1=\underset{H\∈L_1}{\mathrm{\Σ}}(H-m_1){(H-m_1)}^T$

其中：

L₁为前二分之一滑动窗口内的子镜头帧的样本组成的集合；

H为样本集中某样本帧的特征向量。

所述S₂的计算公式为：

$S_2=\underset{H\∈L_2}{\mathrm{\Σ}}(H-m_2){(H-m_2)}^T$

其中：

L₂后二分之一滑动窗口内的子镜头帧的样本组成的集合。

所述评判函数曲线滤波的公式为：

$F^{\′}=F-\stackrel{\‾}{F}$

其中：

F′为滤波后的评判函数曲线；

为滤波门限。

所述

的计算公式为：

$\stackrel{\‾}{F}=F_{\mathrm{mean}}+F_{\mathrm{std}}$

其中：

F_mean为评判函数曲线的均值；

F_std为评判函数曲线的标准偏差。

所述关键帧数目的计算公式为：

$k=\frac{\mathrm{dist}(1,n)}{\frac{1}{n-1}\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}\mathrm{dist}(i,i+1)}$

其中：

k为关键帧数目；

n为子镜头的总帧数；

dist(1，n)为子镜头首尾两帧的欧式距离；

dist(i，i+1)为滑动窗口内相邻两帧的欧氏距离。

本发明的优点在于：

1.本发明没有依靠人为提取的某种特征进行子镜头分割，而是利用视频帧的自身特性和物理变化，依据类间距离最大、类内距离最小的原则将镜头分割为若干个子镜头，可极大地提高分割准确性。

2.本发明的判别函数物理意义明确，运算简单。

3.本发明给出了一个计算关键帧提取数目的公式，此公式可根据每个子镜头内容的变化快慢，自适应地确定关键帧的个数，能很好地反映镜头的动态特性。

4.本发明不需设置阈值，克服了文献[1]阈值分割法精度低和鲁棒性差的缺陷。

附图说明

图1为ROAD视频F曲线；

图2为F′曲线求得的极值；

图3为F曲线求得的极值。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明利用样本的距离可分性准则构建了一个判别函数，通过寻找该判别函数极大值的方法将镜头分割为几个子镜头。随后，根据每个子镜头的内容变化快慢，自适应地确定每个子镜头的关键帧个数。

本发明的步骤如下：

步骤1：读取镜头中图像的所有帧，提取各帧的颜色特征向量；

步骤2：将滑动窗口与距离可分性准则相结合，将镜头分割为各个子镜头；

步骤3：按照帧间距离变化率求出每个子镜头的关键帧数目；

步骤4：按照帧间距离从大到小进行排序，选取指定数目的关键帧。

本发明的具体内容为：

1.特征提取

HSV(色调Hue，饱和度Saturation，亮度Value)颜色空间较其他颜色空间更符合人类视觉特性，因此本文采用HSV颜色直方图作为视频帧的特征向量。由于人眼对色调比对饱和度和亮度敏感，故本文将色调分成8个量化级，将饱和度和亮度均分为2个量化级。因此，每张图像可量化为一个包含32柄(8×2×2)的一维直方图，即每帧可由列向量H＝[h₁，h₂，…，h₃₂]^T表示。

2.子镜头分割

(1)前期准备

首先建立长度为2L帧长的滑动窗口，并将滑动窗口中的前L帧视为样本集L₁＝(H_(i-L)，H_(i-L+1)，…，H_(i-1))，后L帧视为样本集L₂＝(H_(i+1)，H_(i+2)，…，H_(i+L))，其中：H_(j)∈[i-L，i+L])代表滑动窗口中的第j帧，可由一个32维的列向量H＝[h₁，h₂，…，h₃₂]^T表示。

按公式(1)计算前后两类样本集的均值向量m_i，m₁代表的前L帧(即样本集L₁)的均值向量，m₂代表后L帧(即样本集L₂)的均值向量。

$m_i=\frac{1}{L}\underset{H\∈L_i}{\mathrm{\Σ}}H,i=\mathrm{1,2}---\left(1\right)$

其中：

H为样本集中样本帧的特征向量；

L为二分之一滑动窗口的长度。

最后计算样本集L_i的类内离散度矩阵S_i，L₁、L₂的类间离散度矩阵S_b。类内离散矩阵S_i在形式上与协方差矩阵很相似，但协方差矩阵是一种期望值，而类内离散矩阵表示有限个样本在空间分布的离散程度：

$S_i=\underset{H\∈L_i}{\mathrm{\Σ}}(H-m_i){(H-m_i)}^T---\left(2\right)$

S_b＝(m₁-m₂)(m₁-m₂)^T    (3)

其中：

S_b为类间离散度矩阵；

S_i为类内离散度矩阵；

m₁为前二分之一滑动窗口内的子镜头帧的均值向量；

m₂为后二分之一滑动窗口内的子镜头帧的均值向量。

(2)构建评判函数

当滑动窗内两类样本类间距离最大、类内距离最小时即为子镜头变化之处。由距离可分性准则可知：类间距离最大、类内距离最小，即等同于即det(S_b)最大、det(S₁+S₂)最小。因此可基于距离可分性准则构造如下评判函数：

$F=\frac{\det \left(S_b\right)}{\det (S_1+S_2)}---\left(4\right)$

其中：

F为评判函数曲线；

S₁为前L帧(前二分之一滑动窗口内的子镜头帧)的类内离散度矩阵，

$S_1=\underset{H\∈L_1}{\mathrm{\Σ}}(H-m_1){(H-m_1)}^T,$ L₁为前L帧样本组成的集合；

S₂为后L帧(后二分之一滑动窗口内的子镜头帧)的类内离散度矩阵，

$S_2=\underset{H\∈L_2}{\mathrm{\Σ}}(H-m_2){(H-m_2)}^T,$ L₂为后L帧样本组成的集合；

det(S_b)为类间离散度矩阵的行列式值；

det(S₁+S₂)为类内离散度矩阵的行列式值。

(3)计算镜头的F值曲线。

逐帧向后移动滑动窗口，并计算F值。当整个滑动窗处于同一镜头，F值基本不变，理想的情况F值趋近于零；当F值逐渐增大到某个值后又逐渐减小时，说明滑动窗口经历了一个跨越子镜头的过程：

当F值逐渐增大时，说明此时后L帧开始进入后一个子镜头；

当F取得极大值时，说明此时后L帧完全进入后一个子镜头，同时前L帧完全处于前一个子镜头；

F值逐渐减小，说明前L帧逐渐进入后一个子镜头；

F值曲线趋于平稳，说明此时整个滑动窗全部进入下一个子镜头。

因此，可以利用F的特征曲线中极大值点对应的帧号作为子镜头分割边界。以标准视频库(http://www.open-video.org/)中的视频ROAD为例，其F特征曲线如图1所示。

(4)子镜头分割

由图1可见，F特征曲线中除两个大极值点外，还存在两个小锯齿波。这是因为利用式(4)进行F值计算时，由于镜头中的闪光、物体运动和镜头自身运动等原因造成的噪音，而非真正的子镜头分割点。

为此在极大值提取前，首先利用式(5)对F曲线进行滤波，图2是图1滤波后的特征曲线。

$F^{\′}=F-\stackrel{\‾}{F}---\left(5\right)$

其中：

F′为滤波后的评判函数曲线；

为滤波门限，

F_mean、F_std分别表示F曲线的均值和标准偏差。

将F曲线滤波后，假设新得到的函数关系式为F′＝f(i)，i是帧号。我们采用二次差分法进行极大值提取，如公式(6)所示。

sign[f(i+1)-f(i)]-sign[f(i)-f(i-1)]＝-2    (6)

其中：

sign为符号函数， $\mathrm{sign}\left(x\right)=\left\{\begin{array}{c}1,x>0\\ 0,x=0\\ -1,x<0\end{array}\right..$

最终求得的极大值点处的帧号如图3所示，二次差分结果等于-2处为极大值点对应的帧号，即子镜头的分割边界。可以看出，该方法可以很好地提取出子镜头的边界，实现对镜头的时序分割。

3.子镜头中的关键帧数目的确定

在子镜头分割完成后，利用子镜头的变化率来提取关键帧。本发明的基本思想是：由于帧间距离能描述帧间差异，因此通过帧间距离变化率可确定关键帧个数。假设某个子镜头的总帧数为n，本文利用式(7)表示子镜头变化率，自适应地确定关键帧个数：

$k=\frac{\mathrm{dist}(1,n)}{\frac{1}{n-1}\underset{i=1}{\overset{n-1}{\mathrm{\&Sigma;}}}\mathrm{dist}(i,i+1)}---\left(7\right)$

其中：

k为关键帧数目；

n为子镜头的总帧数；

dist(1，n)为子镜头首尾两帧的欧式距离；

dist(i，i+1)为滑动窗口内相邻两帧的欧氏距离；

上式中，分母表示整个子镜头内帧间欧式距离的均值。

当k≤1时，说明子镜头中的视频内容变化不大，提取一帧即可；

当k＞1时，选取最接近k的整数为关键帧个数。通过计算，第三个子镜头的k取3。

4.关键帧的选定

计算子镜头内当前帧与前一帧的欧氏距离d，取距离最大的前k个值所对应的帧序号，此k帧即为子镜头的关键帧。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.基于子镜头分割的自适应关键帧提取方法，其特征是该方法包括以下步骤：

步骤1：读取镜头中图像的所有帧，提取各帧的颜色特征向量；

步骤2：在步骤1的基础上，将滑动窗口与距离可分性准则相结合，将镜头分割为各个子镜头；

步骤2.1：建立滑动窗口，并求得滑动窗内的前后两类样本集的类内离散度矩阵和类间离散度矩阵；

步骤2.2：在步骤2.1的基础上建立评判函数；

所述评判函数的计算公式为：

$F=\frac{\det \left(S_b\right)}{\det (S_1+S_2)}$

其中：

F为评判函数曲线；

S_b为类间离散度矩阵；

S₁为前二分之一滑动窗口内子镜头帧的类内离散度矩阵；

S₂为后二分之一滑动窗口内子镜头帧的类内离散度矩阵；

det(S_b)为类间离散度矩阵的行列式值；

det(S₁+S₂)为类内离散度矩阵的行列式值；

步骤2.3：求得镜头的评判函数曲线；

步骤2.4：对评判函数曲线滤波，并将评判函数曲线的各个极大值点对应的帧视为子镜头的分割位置；

步骤3：按照帧间距离变化率求出每个子镜头的关键帧数目；

步骤4：在步骤3的基础上，按照帧间距离从大到小进行排序，选取指定数目的关键帧。

2.根据权利要求1所述的基于子镜头分割的自适应关键帧提取方法，其特征是所述S_b的计算公式为：

S_b＝(m₁-m₂)(m₁-m₂)^T

其中：

m₁为前二分之一滑动窗口内的子镜头帧的均值向量；

m₂为后二分之一滑动窗口内的子镜头帧的均值向量。

3.根据权利要求2所述的基于子镜头分割的自适应关键帧提取方法，其特征是所述S₁的计算公式为：

$S_1=\underset{H\&Element;L_1}{\mathrm{\&Sigma;}}(H-m_1){(H-m_1)}^T$

其中：

L₁为前二分之一滑动窗口内的子镜头帧的样本组成的集合；

H为样本集中某样本帧的特征向量。

4.根据权利要求3所述的基于子镜头分割的自适应关键帧提取方法，其特征是所述S₂的计算公式为：

$S_2=\underset{H\&Element;L_2}{\mathrm{\&Sigma;}}(H-m_2){(H-m_2)}^T$

其中：

L₂后二分之一滑动窗口内的子镜头帧的样本组成的集合。

5.根据权利要求1所述的基于子镜头分割的自适应关键帧提取方法，其特征是所述评判函数曲线滤波的公式为：

$F^{\&prime;}=F-\stackrel{\&OverBar;}{F}$

其中：

F′为滤波后的评判函数曲线；

为滤波门限。

6.根据权利要求5所述的基于子镜头分割的自适应关键帧提取方法，其特征是所述

的计算公式为：

$\stackrel{\&OverBar;}{F}=F_{\mathrm{mean}}+F_{\mathrm{std}}$

其中：

F_mean为评判函数曲线的均值；

F_std为评判函数曲线的标准偏差。

7.根据权利要求5所述的基于子镜头分割的自适应关键帧提取方法，其特征是所述关键帧数目的计算公式为：

$k=\frac{\mathrm{dist}(1,n)}{\frac{1}{n-1}\underset{i=1}{\overset{n-1}{\mathrm{\&Sigma;}}}\mathrm{dist}(i,i+1)}$

其中：

k为关键帧数目；

n为子镜头的总帧数；

dist(1，n)为子镜头首尾两帧的欧式距离；

dist(i，i+1)为滑动窗口内相邻两帧的欧氏距离。

Images