CN104994366A - 一种基于特征加权的fcm视频关键帧提取方法 - Google Patents

Abstract

一种基于特征加权的FCM视频关键帧提取方法，首先，抽取视频序列，获取视频帧图像；其次，提取图像的特征；然后，对这些图像进行初始模糊C聚类，将隶属度最大的样本作为聚类中心，由此选择与聚类中心同类以及不同类的近邻样本，通过ReliefF算法计算各维特征的权值，对每维特征进行加权后再进行二次聚类，得到最终的聚类结果，选择距离类心最近的帧即可获得关键帧，本发明可对视频原始静态帧图像提取关键帧来表征镜头的主要内容。

Description

一种基于特征加权的FCM视频关键帧提取方法

技术领域

本发明属于视频及图像处理技术领域，特别涉及一种基于特征加权的FCM视频关键帧提取方法。

背景技术

视频包含了大量的静态帧图像，同一个镜头的视频图像中有相似与重复的部分，因此有较多冗余信息，关键帧反映了镜头的主要内容，提取最具代表性的帧图像实现视频检索比使用原始视频图像可达到更加高效的效果。

关键帧的提取主要有阈值法、基于镜头边界、运动分析和聚类的方法。阈值法根据帧与帧之间的差异与阈值的比较确定关键帧，当视频中有目标快速运动，就会选择过多的关键帧；边界法依赖于镜头检测的结果，所选关键帧不一定最具代表性；基于运动分析的方法要分析视频中的运动，难度与计算量都较大；聚类方法在模式识别、图像处理领域都得到广泛的应用，现在更多学者将关键帧提取的研究目光聚焦于不同的聚类方法，取得了较好的效果。

模糊C均值是基于目标函数的聚类算法，通过优化目标函数实现对象集的模糊划分。传统的FCM都是假定待聚类样本的各维特征对于每个类别的贡献是相等的，但是对于一段视频来说，会有不同的场景以及不同类型的目标对象，视频帧图像的某维特征对某个类别的贡献可能大于另一个类别的贡献，因此，对样本进行分类的时候，可根据不同样本对不同类别的贡献程度的大小，给图像不同特征赋予不同的权重。利用RelifF算法对图像特征进行权重分配，利用此权值不仅可以分析每维特征对聚类的重要程度，而且重要的是可以改进待聚类图像与聚类中心的度量，以便于更加准确地提取视频关键帧。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于特征加权的FCM视频关键帧提取方法，可对视频原始静态帧图像提取关键帧来表征镜头的主要内容。

为了实现上述目的，本发明采用的技术方案是：

一种基于特征加权的FCM视频关键帧提取方法，首先抽取视频序列，获取视频帧图像，然后提取图像的多维特征，对所述图像进行初始模糊C聚类，将隶属度最大的样本作为聚类中心，由此选择与聚类中心同类以及不同类的近邻样本，通过ReliefF算法计算各维特征的权值，对每维特征进行加权后再进行二次聚类，得到最终的聚类结果，选择距离类心最近的帧即可获得关键帧。

所述获取的视频帧图像共计N幅，待聚类的样本集合记为S＝{X₁,X₂,…,X_N}，提取图像X_j(j＝1,2,…,N)的M维特征(x₁,x₂，…，x_M)；

则对所述图像进行初始模糊C聚类的方法是：

步骤1，根据视频序列的数目，按照20:1的大小初始化类别数K，同时人为设定加权指数m，随机初始化隶属度矩阵，确定第j个图像样本对第i类的隶属度μ_ij，每个样本对所有模式类别的隶属度之和应为1，迭代次数L；

步骤2，计算各类别的聚类中心Z_i(L)，(i＝1,2,…,K)；

步骤3，计算新的隶属度矩阵μ_ij(L+1)， ${\mathrm{\μ}}_{ij}(L+1)=\frac{1}{{\mathrm{\Σ}}_{p=1}^K{\left(d\right(X_j,Z_i)/d(X_j,Z_p\left)\right)}^{2/(m-1)}},$ 其中d(X_j,Z_i)表示上一次迭代完成时，图像样本X_j与聚类中心Z_i的欧氏距离；

步骤4，若|μ_ij(L+1)-μ_ij(L)|≤ε，算法达到收敛，准则函数达到最小，则停止聚类，否则转至步骤2，ε为人为规定的阈值参数。

对所述图像进行初始模糊C聚类后，获得聚类划分结果，选择隶属度最大的样本X_r作为每个类别的中心，对于任意一个类别中心的样本，由此寻找与该样本同类以及不同类的q个样本，对于某维特征A，按照ReliefF算法权重更新公式进行更新 $\mathrm{\λ}\left(A\right)=\mathrm{\λ}\left(A\right)-{\mathrm{\Σ}}_{j=1}^{q}diff(A,X_r,H_j)/lq+{\mathrm{\Σ}}_{C\≠class}\left(X_r\right)\[\frac{P\left(C\right)}{1-P\left(class\right(X_r))}diff(A,X_r,M_j(C))\]/lq,$ 其中diff(A,R₁,R₂)表示两个样本R₁和R₂在特征A上的差异，H_j表示同类样本中第j个样本，M_j(C)表示与X_r不同类别C中的第j个近邻样本，P(C)表示C类出现的概率，C类表示与X_r不同类的类别，由C类的样本数与样本总数的比值计算得到，同理，P(class(X_r))为与X_r同类的样本数和样本总数的比值，l表示重复更新l次，由此得到特征集中每一维特征的权值。

利用得到的权值对各维特征加权，按照所述初始模糊C聚类方法进行二次聚类，再计算样本之间的距离使用加权的欧氏距离公式x_k表示样本X_j的第k个属性特征值，z_k表示样本Z_i的第k个属性特征值，λ_k代表第k个特征属性权值的大小。

根据二次聚类划分结果，选择每个类别中隶属度最大的样本作为聚类中心的图像即为关键帧。

实验结果表明，本发明设计的基于特征加权的FCM视频关键帧提取方法，通过ReliefF算法进行特征加权，不仅可以分析图像的各维特征对聚类结果每个类别的贡献程度，而且与传统FCM方法相比，经过特征加权的FCM聚类中心更接近实际类心，因此二次聚类的类心更能反映镜头的内容。若将本发明应用于视频检索技术中，可以为视频检索提供精确的组织框架，更加有助于准确地检索到目标图像，在庞大的视频数据库中准确检索到用户所需片段，不管对于电视、电影资源或者视频监控数据来说，都具有广阔的应用前景和市场竞争力。

附图说明

图1为本发明关键帧提取方法处理流程图。

具体实施方式

本发明以一段视频序列作为处理对象，处理流程如附图1所示，具体实施步骤如下：

Step1、获取视频序列，待聚类的样本集合记为S＝{X₁,X₂,…,X_N}，共有N幅帧图像，从中选取关键帧。

Step2、提取图像X_j(j＝1,2,…,N)的M维特征(x₁,x₂，…，x_M)。

Step3、根据视频序列的数目，按照20:1的大小初始化类别数K，同时人为设定加权指数m，一般取2，初始化隶属度矩阵，确定第j个样本对第i类的隶属度μ_ij(每个样本对所有模式类别的隶属度之和应为1)，迭代次数L。

Step4、计算各类别的聚类中心Z_i(L)，(i＝1,2,…,K)。

Step5、计算新的隶属度矩阵μ_ij(L+1)， ${\mathrm{\μ}}_{ij}(L+1)=\frac{1}{{\mathrm{\Σ}}_{p=1}^K{\left(d\right(X_j,Z_i)/d(X_j,Z_p\left)\right)}^{2/(m-1)}},$ 其中d(X_j,Z_i)表示上一次迭代完成时，图像样本X_j与聚类中心Z_i的欧氏距离。

Step6、若|μ_ij(L+1)-μ_ij(L)|≤ε，算法达到收敛，准则函数达到最小，则停止聚类，否则转至步骤2，ε为人为规定的阈值参数。

Step7、按照上述步骤，获得聚类划分结果，选择隶属度最大的样本X_r作为每个类别的中心，对于任意一个类别中心的样本，由此寻找与该样本同类以及不同类的q个样本，对于某维特征A，按照ReliefF算法权重更新公式进行更新 $\mathrm{\λ}\left(A\right)=\mathrm{\λ}\left(A\right)-{\mathrm{\Σ}}_{j=1}^{q}diff(A,X_r,H_j)/lq+{\mathrm{\Σ}}_{C\≠class}\left(X_r\right)\[\frac{P\left(C\right)}{1-P\left(class\right(X_r))}diff(A,X_r,M_j(C))\]/lq,$ 其中diff(A,R₁,R₂)表示两个样本R₁和R₂在特征A上的差异，H_j表示同类样本中第j个样本，M_j(C)表示与X_r不同类别C中的第j个近邻样本，P(C)表示C类(与X_r不同类的类别)出现的概率，可由C类的样本数与样本总数的比值计算得到，同理，P(class(X_r))为与X_r同类的样本数和样本总数的比值，l表示重复更新l次，由此得到特征集中每一维特征的权值。

Step8、利用step7得到的权值对各维特征加权，再按照step4-step6进行二次聚类，在计算样本之间的距离使用加权的距离公式x_k,z_k表示样本X_j,Z_i的第k个属性特征值，λ_k代表第k个特征属性权值的大小。

Step9、获得二次聚类划分结果，选择每个类别中隶属度最大的样本作为聚类中心的图像即为关键帧。

Claims (5)

1.一种基于特征加权的FCM视频关键帧提取方法，首先抽取视频序列，获取视频帧图像，然后提取图像的多维特征，其特征在于：

对所述图像进行初始模糊C聚类，将隶属度最大的样本作为聚类中心，由此选择与聚类中心同类以及不同类的近邻样本，通过ReliefF算法计算各维特征的权值，对每维特征进行加权后再进行二次聚类，得到最终的聚类结果，选择距离类心最近的帧即可获得关键帧。

2.根据权利要求1所述基于特征加权的FCM视频关键帧提取方法，其特征在于：

所述获取的视频帧图像共计N幅，待聚类的样本集合记为S＝{X₁,X₂,…,X_N}，提取图像X_j(j＝1,2,…,N)的M维特征(x₁,x₂，…，x_M)；

则对所述图像进行初始模糊C聚类的方法是：

步骤1，根据视频序列的数目，按照20:1的大小初始化类别数K，同时人为设定加权指数m，随机初始化隶属度矩阵，确定第j个图像样本对第i类的隶属度μ_ij，每个样本对所有模式类别的隶属度之和应为1，迭代次数L；

步骤2，计算各类别的聚类中心Z_i(L)，(i＝1,2,…,K)；

步骤3，计算新的隶属度矩阵 ${\mathrm{\μ}}_{ij}(L+1),{\mathrm{\μ}}_{ij}(L+1)=\frac{1}{{\Σ}_{p=1}^K\left(d\right(X_j,Z_i)/{\left(d\right(X_j,Z_p\left)\right)}^{2/(m-1)}},$ 其中d(X_j,Z_i)表示上一次迭代完成时，图像样本X_j与聚类中心Z_i的欧氏距离；

步骤4，若|μ_ij(L+1)-μ_ij(L)|≤ε，算法达到收敛，准则函数达到最小，则停止聚类，否则转至步骤2，ε为人为规定的阈值参数。

3.根据权利要求2所述基于特征加权的FCM视频关键帧提取方法，其特征在于：对所述图像进行初始模糊C聚类后，获得聚类划分结果，选择隶属度最大的样本X_r作为每个类别的中心，对于任意一个类别中心的样本，由此寻找与该样本同类以及不同类的q个样本，对于某维特征A，按照ReliefF算法权重更新公式进行更新 $\mathrm{\λ}\left(A\right)=\mathrm{\λ}\left(A\right)-{\mathrm{\Σ}}_{j=1}^{q}diff(A,X_r,H_j)/lq+{\mathrm{\Σ}}_{C\≠class\left(X_r\right)}\[\frac{P\left(C\right)}{1-P\left(class\right(X_r))}diff(A,X_r,M_j\left(C\right))\]/lq,$ 其中diff(A,R₁,R₂)表示两个样本R₁和R₂在特征A上的差异，H_j表示同类样本中第j个样本，M_j(C)表示与X_r不同类别C中的第j个近邻样本，P(C)表示C类出现的概率，C类表示与X_r不同类的类别，由C类的样本数与样本总数的比值计算得到，同理，P(class(X_r))为与X_r同类的样本数和样本总数的比值，l表示重复更新l次，由此得到特征集中每一维特征的权值。

4.根据权利要求3所述基于特征加权的FCM视频关键帧提取方法，其特征在于：利用得到的权值对各维特征加权，按照所述初始模糊C聚类方法进行二次聚类，再计算样本之间的距离使用加权的欧氏距离公式x_k表示样本X_j的第k个属性特征值，z_k表示样本Z_i的第k个属性特征值，λ_k代表第k个特征属性权值的大小。

5.根据权利要求2所述基于特征加权的FCM视频关键帧提取方法，其特征在于：根据二次聚类划分结果，选择每个类别中隶属度最大的样本作为聚类中心的图像即为关键帧。