CN105049875A - 一种基于混合特征与突变检测的精确关键帧提取方法 - Google Patents

Abstract

本发明涉及一种基于混合特征与突变检测的精确关键帧提取方法，用以实现对视频的管理与索引，包括以下步骤：1)获取目标视频的视频序列的图像帧集合，提取视频中图像的颜色特征，并计算相邻两帧图像的颜色距离；2)提取视频中图像的纹理特征，并计算相邻两帧图像的纹理距离；3)对相邻两帧图像的颜色距离和纹理距离进行归一处理，得到处理后的综合距离；4)根据设定的阈值和综合距离，并通过距离累加获取初步关键帧；5)对初步选取关键帧进行突变检测，获取最终关键帧。与现有技术相比，本发明具有精确性高、冗余度低等优点。

Description

一种基于混合特征与突变检测的精确关键帧提取方法

技术领域

本发明涉及特征提取技术、Gabor变换、突变检测技术和关键帧提取技术，尤其是涉及一种基于混合特征与突变检测的精确关键帧提取方法。

背景技术

随着计算机的普及，网络和多媒体技术的发展，多媒体信息逐渐成为人们传播信息的常用方式之一，伴随而来的是视频数据的爆炸式增长。因此，对大量的视频数据提供科学有效的管理与索引的需求变得日益迫切，关键帧提取技术应运而生。关键帧是指视频镜头中最重要、最具有代表性的图像帧，它最大可能的概括了某段视频所要表达的内容。从而为视频数据的组织与索引，提供了一种更高效便捷的方法。

传统的关键帧提取技术大致分为以下几类：

1)基于镜头的方法。该方法包括帧平均法和直方图平均法。帧平均法是从镜头中取所有帧在某个位置上像素值的平均值，然后将镜头中该点位置的像素值最接近平均值的帧作为关键帧。直方图平均法则是将镜头中所有帧的统计直方图到平均，然后选择与该平均直方图最接近的帧作为关键帧。基于镜头的方法的优点是计算比较简单，所选取的帧有平均代表意义。但无论是帧平均法还是直方图平均法，缺点都很明显，即无论视频变换镜头多与少，他们都只选择一帧作为该视频序列的关键帧。当视频的变换镜头较多的时候，所选取的关键帧显然失去了意义。

2)基于内容分析的方法。该方法将关键帧的提取看作一个优化过程，主要通过计算选取其中最不相关的几帧作为镜头关键帧，以达到尽可能概括视频序列所有重要信息的目的。基于内容分析的方法的优点是可以根据镜头内容的变化程度选择相应数目的关键帧，所选取的关键帧基本囊括视频序列的信息。但是它的缺点是计算量大，其次，所选取的关键帧不一定具有代表意义，而且在有镜头运动时，容易选取过多的关键帧，造成关键帧冗余。

3)基于运动分析的方法。该方法在运动量局部最小值处选取关键帧，不仅可以反映视频数据中的静止，而且可以根据镜头的结构选择相应数目的关键帧。但这种方法的缺点也很明显：一是由于算法依赖于局部信息，所以鲁棒性不强；二是算法没有足够的重视由累加动态带来的内容变化。

4)基于聚类的方法。视频聚类研究的是镜头间的关系，它是将内容上有关系的镜头结合起来，以描述视频节目中有语义意义的事件或活动。根据聚类目的的不同，视频聚类一般分为两种类型。一类是把同属一个场景的镜头进行聚类，以形成层次型的视频结构——场景和电影。这种聚类不但要考虑镜头内容上的相似性，还要考虑其时间上的连续性。将镜头聚类为故事单元后，其数量明显减少。另一类是对视频进行分类。这种聚类只考虑特征相似性，而不考虑时间连续性。该方法虽然能较大程度减少关键帧的冗余，但有一个重要问题是如何选取帧间的距离的度量。

5)基于压缩视频流提取的方法。目前大部分的关键帧提取方法都是基于原始视频流，在提取关键帧之前，必须经过大量的解压缩运算，解压以后再进行视频数据的各种分析、处理，这样计算量太大，而且效率不高。针对这种情况，有的学者提出了基于压缩域的关键帧的提取方法。基于压缩域的关键帧提取方法是直接利用压缩视频数据中的某些特征来进行分析和处理，所以将大大减低计算的复杂性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种精确性高、冗余度低的基于混合特征与突变检测的精确关键帧提取方法。

本发明的目的可以通过以下技术方案来实现：

一种基于混合特征与突变检测的精确关键帧提取方法，用以实现对视频的管理与索引，包括以下步骤：

1)获取目标视频的视频序列的图像帧集合，提取视频中图像的颜色特征，并计算相邻两帧图像的颜色距离；

2)提取视频中图像的纹理特征，并计算相邻两帧图像的纹理距离；

3)对相邻两帧图像的颜色距离和纹理距离进行归一处理，得到处理后的综合距离；

4)根据设定的阈值和综合距离，并通过距离累加获取初步关键帧；

5)对初步选取关键帧进行突变检测，获取最终关键帧。

所述的步骤1)中相邻两帧图像的颜色距离d₁计算式为：

$d_1=d({\mathrm{CLD}}_1,{\mathrm{CLD}}_2)=\sqrt{\underset{I}{\Σ}{w}_{bi}{({\mathrm{DCb}}_i-{\mathrm{DCb}}_i^{\′})}^2}+\sqrt{\underset{I}{\Σ}{w}_{ri}{({\mathrm{DCr}}_i-{\mathrm{DCr}}_i^{\′})}^2}+\sqrt{\underset{I}{\Σ}{w}_{yi}{({\mathrm{DY}}_i-{\mathrm{DY}}_i^{\′})}^2}$

CLD₁＝{DY_i,DCb_i,DCr_i}

CLD₂＝{DY′_i,DCb′_i,DCr′_i}

其中，CLD₁和CLD₂为相邻两帧图像的颜色特征信息，(DY_i,DCb_i,DCr_i)和(DY′_i,DCb′_i,DCr′_i)为相邻两帧图像各颜色分量经过DCT变换后得到的第i个DCT系数，w_bi,w_ri,w_yi为权重。

所述的步骤2)中相邻两帧图像的纹理距离d₂计算式为：

$d_2=D(A,B)=\underset{m}{\Σ}\underset{n}{\Σ}\sqrt{{({\mathrm{\μ}}_{mn}^A-{\mathrm{\μ}}_{mn}^B)}^2+{({\mathrm{\σ}}_{mn}^A-{\mathrm{\σ}}_{mn}^B)}^2}$

其中，和为图像帧A的纹理特征，和为图像帧B的纹理特征，μ_mn,σ_mn分别为系数幅度序列E(m,n)的均值与标准方差。

所述的步骤3)中的综合距离d的计算式为：

d＝w₁d₁+w₂d₂

w₁+w₂＝1w₁,w₂∈[0,1]

其中，w₁和w₂为权重。

所述的步骤4)具体包括以下步骤：

41)设定阈值δ；

42)在视频序列的图像帧集合F＝{f₁,f₂,...,f_n}中获取相邻图像帧(f_j,f_j+1)的累加距离sumd，sumd的计算式为：

$sumd=\underset{j=1}{\overset{m-1}{\Σ}}d(f_j,f_{j+1}),j,m=1,2,\mathrm{3...}n$

其中，d(f_j,f_j+1)为邻图像帧(f_j,f_j+1)的综合距离；

43)当第m帧的累加距离sumd大于阈值δ时，取f_m为初步关键帧。

所述的步骤5)具体包括以下步骤：

51)通过已有的GOP，即图像组数据分析算法获得所有初步关键帧所包含的双向预测宏块数L；

52)设定阈值Δ：

$\mathrm{\Δ}=0.1\stackrel{\‾}{N}=0.1\frac{L}{M}$

其中，为初步关键帧的全局均值，L为全部初步关键帧包含的双向预测宏块数量，M为初步关键帧的数量；

53)通过GOP数据分析算法获取连续两个初步关键帧的双向预测宏块数量；

54)当连续两个初步关键帧的双向预测宏块数量小于阈值时，则发生突变，将这两个初步关键帧判定为最终关键帧。

与现有技术相比，本发明具有以下优点：

一、精确性高：本发明使用颜色特征与纹理特征的双重混合特征进行距离累加筛选关键帧，比传统的单一低层特征的关键帧提取技术在精确性上有显著的提高。

二、冗余度低：许多传统的关键帧提取技术奉行的原则是“宁多勿少”“宁滥勿缺”，导致提取的关键帧冗余程度过高，从而失去了关键帧本身的意义，本发明经过混合特征与突变检测两层筛选，大大减小了关键帧提取的冗余程度。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例：

如图1所示，一种基于混合特征与突变检测的精确关键帧提取方法，用以实现对视频的管理与索引，包括以下步骤：

1)获取目标视频的视频序列的图像帧集合，提取视频中图像的颜色特征，并计算相邻两帧图像的颜色距离，相邻两帧图像的颜色距离d₁计算式为：

$d_1=d({\mathrm{CLD}}_1,{\mathrm{CLD}}_2)=\sqrt{\underset{I}{\Σ}{w}_{bi}{({\mathrm{DCb}}_i-{\mathrm{DCb}}_i^{\′})}^2}+\sqrt{\underset{I}{\Σ}{w}_{ri}{({\mathrm{DCr}}_i-{\mathrm{DCr}}_i^{\′})}^2}+\sqrt{\underset{I}{\Σ}{w}_{yi}{({\mathrm{DY}}_i-{\mathrm{DY}}_i^{\′})}^2}$

CLD₁＝{DY_i,DCb_i,DCr_i}

CLD₂＝{DY′_i,DCb′_i,DCr′_i}

其中，CLD₁和CLD₂为相邻两帧图像的颜色特征信息，(DY_i,DCb_i,DCr_i)和(DY′_i,DCb′_i,DCr′_i)为相邻两帧图像各颜色分量经过DCT变换后得到的第i个DCT系数，w_bi,w_ri,w_yi为权重；

2)提取视频中图像的纹理特征，并计算相邻两帧图像的纹理距离，相邻两帧图像的纹理距离d₂计算式为：

$d_2=D(A,B)=\underset{m}{\Σ}\underset{n}{\Σ}\sqrt{{({\mathrm{\μ}}_{mn}^A-{\mathrm{\μ}}_{mn}^B)}^2+{({\mathrm{\σ}}_{mn}^A-{\mathrm{\σ}}_{mn}^B)}^2}$

其中，和为图像帧A的纹理特征，和为图像帧B的纹理特征，μ_mn,σ_mn分别为系数幅度序列E(m,n)的均值与标准方差。

所述的步骤3)中的综合距离d的计算式为：

d＝w₁d₁+w₂d₂

w₁+w₂＝1w₁,w₂∈[0,1]

其中，w₁和w₂为权重；

3)对相邻两帧图像的颜色距离和纹理距离进行归一处理，得到处理后的综合距离；

4)根据设定的阈值和综合距离，并通过距离累加获取初步关键帧，具体包括以下步骤：

41)设定阈值δ；

42)在视频序列的图像帧集合F＝{f₁,f₂,...,f_n}中获取相邻图像帧(f_j,f_j+1)的累加距离sumd，sumd的计算式为：

$sumd=\underset{j=1}{\overset{m-1}{\Σ}}d(f_j,f_{j+1}),j,m=1,2,\mathrm{3...}n$

其中，d(f_j,f_j+1)为邻图像帧(f_j,f_j+1)的综合距离；

43)当第m帧的累加距离sumd大于阈值δ时，取f_m为初步关键帧；

5)对初步选取关键帧进行突变检测，获取最终关键帧，具体包括以下步骤：

51)通过已有的GOP，即图像组数据分析算法获得所有初步关键帧所包含的双向预测宏块数L；

52)设定阈值Δ：

$\mathrm{\Δ}=0.1\stackrel{\‾}{N}=0.1\frac{L}{M}$

其中，为初步关键帧的全局均值，L为全部初步关键帧包含的双向预测宏块数量，M为初步关键帧的数量；

53)通过GOP数据分析算法获取连续两个初步关键帧的双向预测宏块数量；

54)当连续两个初步关键帧的双向预测宏块数量小于阈值时，则发生突变，将这两个初步关键帧判定为最终关键帧。

为了更好地对本发明方法进行说明，选取了几段代表不同情况的视频。其中包括含镜头突变比较多的电影片段与镜头变换比较少的生活片段，广告片段。

电影片段是一段包含3450帧的电影《驯龙高手2》的片段。视频片段中场景变换较多，有陆地，海洋，天空，主体变换也较频繁，属于镜头突变比较多的视频片段。

生活纪录片片段是一段包含2100帧的关于育儿小知识的视频片段。场景变换较少，主体变换不频繁，属于镜头突变比较少的视频片段。

广告片段是一段包含1800帧的篮球鞋广告视频片段。同样的，场景就是在一座篮球场内，场景变换少，主体只一人，变换不频繁，也属于镜头突变比较少的视频片段。

针对以上视频片段，对比使用本发明方法，基于内容分析的关键帧提取方法以及基于聚类的关键帧提取方法的实验结果如表1所示：

表1关键帧提取方法的实验结果

比较实验中使用的三种关键帧提取方法可以得出如下结论：

对于镜头突变较多的视频片段，本发明方法提取的关键帧相对较多，更能概括视频片段，尽可能少地出现遗漏现象；对于镜头突变较少的视频片段，本发明方法所提取的关键帧冗余度更低，更为精简。

Claims (6)

1.一种基于混合特征与突变检测的精确关键帧提取方法，用以实现对视频的管理与索引，其特征在于，包括以下步骤：

1)获取目标视频的视频序列的图像帧集合，提取视频中图像的颜色特征，并计算相邻两帧图像的颜色距离；

2)提取视频中图像的纹理特征，并计算相邻两帧图像的纹理距离；

3)对相邻两帧图像的颜色距离和纹理距离进行归一处理，得到处理后的综合距离；

4)根据设定的阈值和综合距离，并通过距离累加获取初步关键帧；

5)对初步选取关键帧进行突变检测，获取最终关键帧。

2.根据权利要求1所述的一种基于混合特征与突变检测的精确关键帧提取方法，其特征在于，所述的步骤1)中相邻两帧图像的颜色距离d₁计算式为：

CLD₁＝{DY_i,DCb_i,DCr_i}

CLD₂＝{DY_i',DCb_i',DCr_i'}

其中，CLD₁和CLD₂为相邻两帧图像的颜色特征信息，(DY_i,DCb_i,DCr_i)和(DY_i',DCb_i',DCr_i')为相邻两帧图像各颜色分量经过DCT变换后得到的第i个DCT系数，w_bi,w_ri,w_yi为权重。

3.根据权利要求1所述的一种基于混合特征与突变检测的精确关键帧提取方法，其特征在于，所述的步骤2)中相邻两帧图像的纹理距离d₂计算式为：

其中，和为图像帧A的纹理特征，和为图像帧B的纹理特征，μ_mn,σ_mn分别为系数幅度序列E(m,n)的均值与标准方差。

4.根据权利要求1所述的一种基于混合特征与突变检测的精确关键帧提取方法，其特征在于，所述的步骤3)中的综合距离d的计算式为：

d＝w₁d₁+w₂d₂

w₁+w₂＝1w₁,w₂∈[0,1]

其中，w₁和w₂为权重。

5.根据权利要求1所述的一种基于混合特征与突变检测的精确关键帧提取方法，其特征在于，所述的步骤4)具体包括以下步骤：

41)设定阈值δ；

42)在视频序列的图像帧集合F＝{f₁,f₂,...,f_n}中获取相邻图像帧(f_j,f_j+1)的累加距离sumd，sumd的计算式为：

其中，d(f_j,f_j+1)为邻图像帧(f_j,f_j+1)的综合距离；

43)当第m帧的累加距离sumd大于阈值δ时，取f_m为初步关键帧。

6.根据权利要求1所述的一种基于混合特征与突变检测的精确关键帧提取方法，其特征在于，所述的步骤5)具体包括以下步骤：

51)通过图像组数据分析算法获得所有初步关键帧所包含的双向预测宏块数L；

52)设定阈值Δ：

其中，为初步关键帧的全局均值，L为全部初步关键帧包含的双向预测宏块数量，M为初步关键帧的数量；

53)通过GOP数据分析算法获取连续两个初步关键帧的双向预测宏块数量；

54)当连续两个初步关键帧的双向预测宏块数量小于阈值时，则发生突变，将这两个初步关键帧判定为最终关键帧。