CN103065153A - 一种基于色彩量化和聚类的视频关键帧提取方法 - Google Patents

Abstract

本发明公开了一种基于色彩量化和聚类的视频关键帧提取方法，包括以下流程：加载视频数据流→对视频流进行单帧扫描→对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征→计算相邻帧间相似度，得到相邻帧差→根据相邻帧差进行镜头边界检测→对分割的镜头进行镜头分类，提取每个镜头的代表帧→对代表帧序列进行压缩聚类，得到关键帧序列。本发明先对单帧图像进行色彩量化提取图像主色彩，采用基于聚类颜色特征的相似度计算方法进行帧差计算，从而实现镜头边界检测，最后对提取出的代表性帧序列按压缩比进行聚类，整个过程对视频格式、类型依赖性低，具有良好的通用性和适应性，计算简单、空间耗费低，同时能有效避免关键帧选取冗余的现象并可以控制关键帧的数量、质量，并实现对视频压缩比的控制。

Description

一种基于色彩量化和聚类的视频关键帧提取方法

技术领域

本发明涉及一种视频关键帧提取方法，尤其涉及一种能够从不同类型不同分辨率的视频中提取出关键帧序列的基于色彩量化和聚类的视频关键帧提取方法。属于视频关键帧提取领域。 

背景技术

随着多媒体信息在娱乐、商业、生产、医学、安全、国防、军事等领域的大量应用，传统的基于关键词描述的视频检索方案因其手工添加注释工作量大、人工文字标签描述主观性强、效率低下等诸多缺陷，已经不能适应海量视频检索的需求了，如何有效得存储、组织、管理、浏览和检索视频信息成为一个关键问题。基于内容的视频检索为解决这个难题提供了一条可行途径，视频检索和摘要技术是近年来的两大热点，而视频关键帧的提取技术在视频检索研究中占据着核心地位。 

视频关键帧是一段视频中包含重要视频内容的一组离散的帧序列，视频关键帧提取就是依据镜头内容的复杂程度，从镜头中提取一个或多个关键帧，从而用少量的帧来代替镜头的内容，它是视频检索和摘要的基本步骤。 

目前常用的视频关键帧提取方法归纳起来主要有以下四类：基于镜头边界法、基于运动分析法、基于视觉内容法、基于聚类分析法。 

镜头边界法是最直接最简单的关键帧提取方法，一段视频流被分割成若干镜头后，选取每个镜头的首帧、中间帧或者尾帧作为镜头的关键帧。这种方法设计简单，运算量小，适合内容简单或固定场景的镜头。但对于较为复杂的场景，这样提取的镜头代表帧往往并非真正的关键帧，不能精确得代表镜头的信息。同时该方法受前期镜头分割工作的影响很大，分割效果不好，此方法选择 的关键帧更加杂乱。 

运动分析法可以根据镜头的结构选择相应数目的关键帧，一般都是基于光流运算的，通过光流分析来计算镜头中的运动量，在运动量取局部最小值处选取关键帧。但这种方法计算量较大，实时性较差，而且基于光流算法的局部最小值也不一定准确。 

视觉内容法基于每一帧的颜色、纹理等视觉信息的改变来提取关键帧，当这些信息有显著变化时，当前帧即可作为关键帧。此方法可以根据镜头内容的变化程度选择相应数目的关键帧，但选取的帧不一定能放映镜头的内容，而且容易获取过多的关键帧。 

聚类分析法综合考虑镜头内和镜头间的相关性，通过聚类那些在时间、内容上相关度很高的帧图像，将视频序列划分为不同的聚类，然后选取其中最不相关的离散帧作为镜头关键帧。聚类方法计算效率高，能有效获取视频镜头变化显著的视觉内容，但不能有效地保存原镜头内图像帧的图像顺序和动态信息。 

发明内容

本发明的目的就在于为了解决上述问题而提供的一种基于色彩量化和聚类的视频关键帧提取方法，这种视频关键帧提取方法能够从大量的、不同类型的、不同分辨率的视频内容中快速、准确的提取出关键帧序列，同时有效避免冗余并可以控制关键帧的数量。 

为了达到上述目的，本发明采用了以下技术方案： 

本发明所述一种基于色彩量化和聚类的视频关键帧提取方法包括以下流程：加载视频数据流→对视频流进行单帧扫描→对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征→计算相邻帧间相似度，得到相邻帧差→根据相邻帧差进行镜头边界检测→对分割的镜头进行镜头分类，提取每个镜头的 代表帧→对代表帧序列进行压缩聚类，得到关键帧序列。 

所述流程中，对帧图像进行色彩量化，提取帧图像主色彩特征的方法为：设c_i是颜色空间中的一个三维向量，可以是RGB、HSV等颜色空间)，C_input＝{c_i，i＝1，2，...，N}表示单帧扫描后得到的帧图像颜色的集合，其中N表示颜色的数目，C_output＝{c′_j，j＝1，2，...，K}(K＜＜N)表示色彩量化后得到的索引图像的颜色集合，即为单帧图像的主色彩特征。色彩量化是一个映射过程： 

q：C_input→C_output           (式I)

本发明中采用基于八叉树结构的色彩量化算法，遵循距离最近准则：单帧扫描后得到的帧图像中的任一颜色c将被映射到索引图像颜色集合C_output中距离最近的颜色c′，即 

c′＝q(c)：||c-c′||＝min_{j＝1，2，...，k}||c-c′_j||    (式II) 

同时，在颜色集合C_input中得到K个聚类S_k，k＝1，2，...，K 

S_k＝{c∈C_input|q(c)＝c′_k}                            (式III) 

式III中，c′_k为K个聚类的聚类中心，它们组成索引图像的颜色集合，即提取出的主色彩特征。 

本发明中对单帧图像的色彩量化，提取主色彩特征主要分为以下3个步骤： 

1)色彩八叉树的建立。从根结点开始，取R、G、B分量二进制值的第7位，组合在一起形成一个3位的索引值，索引值范围为0-7，分别对应于8个子结点；寻找到下一层结点后，取下R、G、B值的下一位进行组合，得到索引值；以此类推，就可查找到每种颜色对应的叶子结点，从而建立八叉树，在每个结点上记录所有经过的结点的RGB值的总和以及RGB颜色个数。 

2)八叉树的归并。插入的过程中，如果叶子结点数超过了总颜色数(本发明中叶子结点总数设为K)，就需要归并一些叶子结点。本发明中从最底层叶 结点开始合并，按结点计数值小的优先合并策略，将其子结点的所有RGB分量以及结点计数全部记录到该结点中，并删除其所有子结点，依此进行，直到合并后的叶子数符合要求为止。此时，取出叶子结点中的RGB分量的平均值(分量总和、结点个数)，得到的调色板颜色值。 

3)图像色彩量化。重新扫描单帧图像，由每个像素的颜色值查找到色彩八叉树中的对应的叶子结点，用叶子结点中记录的调色板索引值表示该像素，从而提取出该单帧图像的主色彩特征，并用主色彩特征重新表示图像，得到色彩量化后的新图像。 

所述流程中，计算相邻帧间相似度，得到相邻帧差的方法为：采用基于聚类颜色特征的相似度计算方法，具体步骤为： 

(1)对任意两帧图像I_A和I_B通过基于八叉树的颜色量化算法分别将图像所有颜色相似的象素归为一类，假设图像I_A和I_B分别得到ω^A和ω^B(ω^A=N_A，ω^B=N_B)种不同颜色的归类。 

(2)在RGB颜色空间中计算两个象素p_i和p_j的颜色欧式距离d_ij为： 

$d_{\mathrm{ij}}=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2}$ (式IV) 

(3)对图像I_A中的每一种颜色 

在图像I_B中寻找未配对而且其欧式距离最小的颜色 

从而得到一个配对(i，n_i)，不断重复此过程得到一个集合T。 

那么相邻帧图像的颜色相似度可定义为： 

$\mathrm{sim}(I_A,I_B)=\underset{(i,n_i)\∈T}{\mathrm{\Σ}}\min (P\left({\mathrm{\ω}}_i^A\right),p\left({\mathrm{\ω}}_{n_i}^B\right))\×s({\mathrm{\ω}}_i^A,{\mathrm{\ω}}_{n_i}^B)$ (式V)

得到任意两帧的相似度后，也就可以计算得到它们之间的差异值diff： 

diff(f_i，f_j)=1-sim(f_i，f_j)    (式VI) 

式VI中， 

分别表示图像I_A和I_B中归类到颜色 

的象素数所 占比重， 

为像素点间相似度，本发明采用高斯函数对两个像素点颜色相似度与其颜色欧式距离之间的关系进行拟合： 

$s(p_i,p_j)=\left\{\begin{array}{cc}a{e}^{-\frac{{(d_{\mathrm{ij}}-b)}^2}{c^2}}& d_{\mathrm{ij}}<L\\ 0& d_{\mathrm{ij}}\&GreaterEqual;L\end{array}\right.$ (式VII) 

式VII中，d_ij为象素p_i和p_j的颜色欧式距离，a，b，c，L为常数，显然两个相同颜色的两个象素的颜色相似度s(p_i，p_j)＝1，颜色的相似度随着欧式距离的增大而单调递减。 

所述流程中，根据相邻帧差进行镜头边界检测的方法为：在本发明中先通过镜头边界系数C_SB初步确定镜头的边界，再根据相邻帧差diff对初步定位的镜头进一步扫描，精确定位镜头的边界，从而提高镜头边界检测的查全率和查准率。 

定义第i帧的镜头边界相似系数(C_SBS)为： 

$C_{\mathrm{SBS}}=\frac{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}(D_{\mathrm{sw}}(i+j)*O_{\mathrm{sw}}(N+j))}{\sqrt{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}{\left(D_{\mathrm{sw}}(i+j)\right)}^2}*\sqrt{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}{\left(O_{\mathrm{sw}}(N+j)\right)}^2}}$ (式VIII) 

$D_{\mathrm{sw}}\left(i\right)=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{N-j+1}{K}\mathrm{diff}(i-j,i+j)$ (式IX) 

式VIII、式IX中，D_sw(i)为领域窗帧差序列，O_sw(j)为镜头边界检测算子，在本发明中N为整数，O_sw算子定义为一个一维向量。 

定义第i帧的镜头边界系数(C_SB)为： 

C_SB＝exp(-α(1-C_SBS(i)))           (式X)

式X中，α为常数。 

所述流程中，对分割的镜头进行镜头分类，提取每个镜头的代表帧的方法 为：当相邻帧差diff发生突变时，默认分割的镜头为普通镜头，提取该镜头最中间的一帧作为镜头的代表帧，对于渐变镜头，由于视频创作手法的多样性导致镜头存在多种复杂的渐变方式，在本发明中，为了减少时间复杂度，对于非普通镜头都默认是渐变镜头，不对镜头的渐变方式进行过多深入的分析，只提取与该镜头起始帧距离最大即图像内容变化程度最高的帧作为该镜头的代表帧。 

所述流程中，对代表帧序列进行压缩聚类，得到最终关键帧序列的方法为：通过K-均值聚类法将代表帧序列压缩至要求的数量以达到一定的压缩比，同时消除冗余选取现象。设要提取关键帧的镜头的代表帧集合为F＝{f₁，f₂，...，f_n}，根据基于聚类颜色特征的相似度计算方法定义代表帧集合F中代表帧f_i和f_j间的距离d(f_i，f_j)＝diff(f_i，f_j)，设簇类中心为M个：p₁，p₂，...，p_M。 

目标函数定义为： 

J＝d(f_i，p_j)＝diff(f_i，p_j)＝1-sim(f_i，p_j)        (式XI) 

算法流程如下： 

(1)从集合F中随机取M个代表帧，作为初始簇类“中心”； 

(2)repeat； 

(3)分别计算剩下的帧与M个簇中心的帧的差异度d(f_i，p_j)，寻找与各个对象最为相近的簇类“中心”，将其分配到各个相应的类中； 

(4)根据聚类结果，针对每一个簇类，重新计算M个簇各自新的“中心”； 

(5)until目标函数值或者簇类“中心”没有变化为止。 

通过上面的步骤，最终我们得到给定数量为M的帧图像组成的关键帧序列。这种方法一方面消除了单纯的合并镜头代表帧存在冗余帧、帧数量过多的问题，另一方面相比于一般的聚类方法计算效率更高，同时有效地保存原镜头内图像 帧的时间顺序和动态信息。 

本发明的有益效果在于： 

由于本发明中先对单帧图像进行色彩量化提取图像主色彩，采用基于聚类颜色特征的相似度计算方法进行帧差计算，从而实现镜头边界检测，最后对提取出的代表性帧序列按压缩比进行聚类，整个过程对视频格式、类型依赖性低，具有良好的通用性和适应性，计算简单、空间耗费低，同时能有效避免关键帧选取冗余的现象并可以控制关键帧的数量、质量，并实现对视频压缩比的控制。 

附图说明

图1是本发明的整体流程图； 

图2是本发明中图像色彩量化，提取主色彩特征流程图 

图3是本发明中利用高斯函数拟合象素点颜色相似度的函数曲线图； 

图4是本发明中帧差计算流程图； 

图5是本发明中关键帧序列提取流程图； 

具体实施方式

下面结合附图对本发明作进一步具体描述： 

如图1所示，本发明所述一种基于色彩量化和聚类的视频关键帧提取方法包括以下流程：

加载视频数据流→对视频流进行单帧扫描→对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征→计算相邻帧间相似度，得到相邻帧差→根据相邻帧差进行镜头边界检测→对分割的镜头序列进行镜头分类，提取每个镜头的代表帧→对代表帧序列进行压缩聚类，得到关键帧序列。 

1、对于加载的视频流数据，先进行单帧扫描101； 

2、对扫描的帧图像进行色彩量化102得到量化后的图像，同时提取量化后 图像的主色彩特征103； 

在图像色彩量化102阶段主要是对单帧彩色图像进行有损压缩，减少后期相似度计算复杂度和空间耗费率。 

传统的关键帧提取方法直接对帧图像进行帧差计算，时间和空间复杂度较高。研究表明使用主色一般不会降低颜色匹配效果，本发明中先对扫描后得到的帧图像进行色彩量化，提取图像主色彩特征，减少空间耗费，执行速度高。设c_i是颜色空间中的一个三维向量，可以是RGB、HSV等颜色空间)，C_input＝{c_i，i＝1，2，...，N}表示单帧扫描后得到的帧图像颜色的集合，其中N表示颜色的数目，C_output＝{c′_j，j＝1，2，...，K}(K＜＜N)表示色彩量化后得到的索引图像的颜色集合，即为单帧图像的主色彩特征。色彩量化是一个映射过程： 

q：C_input→C_ouput    (式1) 

本发明中采用基于八叉树结构的色彩量化算法，遵循距离最近准则：单帧扫描后得到的帧图像中的任一颜色c将被映射到索引图像颜色集合C_output中距离最近的颜色c′，即 

c′＝q(c)：||c-c′||＝min_{j＝1，2，...，k}||c-c′_j||     (式2)

同时，在颜色集合C_input中得到K个聚类S_k，k＝1，2，...，K 

S_k＝{c ∈C_input|q(c)＝c′_k}                            (式3)

c′_k为K个聚类的聚类中心，它们组成索引图像的颜色集合，即提取出的主色彩特征。 

本发明中对单帧图像的色彩量化，提取主色彩特征主要具体步骤如图2所示： 

(1)色彩八叉树的建立201。从根结点开始，取R、G、B分量二进制值的第7位，组合在一起形成一个3位的索引值，索引值范围0-7，分别对应于8个 子结点；寻找到下一层结点后，取下R、G、B值的下一位进行组合，得到索引值；以此类推，就可查找到每种颜色对应的叶子结点，从而建立八叉树，在每个结点上记录所有经过的结点的RGB值的总和以及RGB颜色个数。 

(2)八叉树的归并202。插入的过程中，如果叶子结点数超过了总颜色数(本发明中叶子结点总数设为K)，就需要归并一些叶子结点。本发明中从最底层叶结点开始合并，按结点计数值小的优先合并策略，将其子结点的所有RGB分量以及结点计数全部记录到该结点中，并删除其所有子结点，从最底层叶子结点开始合并的归并过程，依此进行，直到合并后的叶子数符合要求为止。 

(3)图像色彩量化204。重新扫描单帧图像，由每个像素的颜色值查找到色彩八叉树中的对应的叶子结点，用叶子结点中记录的调色板索引值表示该像素，从而提取出该单帧图像的主色彩特征203，并用主色彩特征重新表示图像，得到色彩量化后的新图像。 

3、计算量化后的图像的相邻帧间相似度，并进行帧差计算104； 

进行帧差计算时，依据使用主色一般不会降低颜色匹配效果，采用基于聚类颜色特征的相似度计算方法来计算帧间相似度，从而得到帧差值，详细步骤如图4所示。 

(1)对任意两帧图像I_A和I_B通过基于八叉树的颜色量化算法分别将图像所有颜色相似的象素归为一类，假设图像I_A和I_B分别得到ω^A和ω^B(ω^A＝N_A，ω^B＝N_B)种不同颜色的归类(如图4-401～403)； 

(2)在RGB颜色空间中计算两个象素p_i和p_j的颜色欧式距离d_ij为(如图4-404)； 

$d_{\mathrm{ij}}=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2}$ (式4)

(3)采用高斯函数对两个像素点颜色相似度与其颜色欧式距离之间的关系 进行拟合(如图4-405～406)；如图3所示为高斯函数拟合象素点颜色相似度函数曲线图； 

$s(p_i,p_j)=\left\{\begin{array}{cc}a{e}^{-\frac{{(d_{\mathrm{ij}}-b)}^2}{c^2}}& d_{\mathrm{ij}}<L\\ 0& d_{\mathrm{ij}}\&GreaterEqual;L\end{array}\right.$ (式5)

式5中，d_ij为象素p_i和p_j的颜色欧式距离，a，b，c，L为常数，显然两个相同颜色的两个象素的颜色相似度s(p_i，p_j)＝1，颜色的相似度随着欧式距离的增大而单调递减。 

(4)对图像I_A中的每一种颜色 

在图像I_B中寻找未配对而且其欧式距离最小的颜色 

从而得到一个配对(i，n_i)，不断重复此过程得到一个集合T(如图4-407)； 

(5)相邻帧图像的颜色相似度可定义为(如图4-408)； 

$\mathrm{sim}(I_A,I_B)=\underset{(i,n_i)\&Element;T}{\mathrm{\&Sigma;}}\min (P\left({\mathrm{\&omega;}}_i^A\right),p\left({\mathrm{\&omega;}}_{n_i}^B\right))\&times;s({\mathrm{\&omega;}}_i^A,{\mathrm{\&omega;}}_{n_i}^B)$ (式6)

得到任意两帧的相似度后，也就可以计算得到它们之间的差异值diff(如图4-409)； 

diff(f_i，f_j)＝1-sim(f_i，f_j)                 (式7)

4、根据相邻帧差完成镜头边界检测105； 

根据相邻帧差进行镜头边界检测的具体方法为：在本发明中先通过镜头边界系数C_SB初步确定镜头的边界，再根据相邻帧差diff对初步定位的镜头进一步扫描，精确定位镜头的边界，从而提高镜头边界检测的查全率和查准率。 

定义第i帧的镜头边界相似系数(C_SBS)为： 

$C_{\mathrm{SBS}}=\frac{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}(D_{\mathrm{sw}}(i+j)*O_{\mathrm{sw}}(N+j))}{\sqrt{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}{\left(D_{\mathrm{sw}}(i+j)\right)}^2}*\sqrt{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}{\left(O_{\mathrm{sw}}(N+j)\right)}^2}}$ (式8) 

$D_{\mathrm{sw}}\left(i\right)=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{N-j+1}{K}\mathrm{diff}(i-j,i+j)$ (式9)

式8、式9中，D_sw(i)为领域窗帧差序列，O_sw(j)为镜头边界检测算子，在本发明中N为整数，O_sw算子定义为一个一维向量。 

定义第i帧的镜头边界系数(C_SB)为： 

C_SB＝exp(-α(1-C_SBS(i)))          (式10) 

式10中，α为常数。 

5、通过分析镜头边界检测的结果，对分割的镜头序列进行镜头分类106，同时对每个镜头进行代表帧提取107； 

6、最后对代表帧进行聚类压缩108，最后提取到的关键帧序列。提取关键帧序列过程中具体包括如图5所示流程： 

(1)对通过镜头边界检测得到的镜头序列501进行镜头分类502，当相邻帧差diff发生突变时，默认分割的镜头为普通镜头503，对于渐变镜头，由于视频创作手法的多样性导致镜头存在多种复杂的渐变方式，在本发明中，为了减少时间复杂度，对于非普通镜头都默认是渐变镜头505； 

(2)对于普通镜头503，提取该镜头最中间的一帧作为镜头的代表帧504，对于渐变镜头505，不对镜头的渐变方式进行过多深入的分析，只提取与该镜头起始帧距离最大即图像内容变化程度最高的帧作为该镜头的代表506； 

(3)对代表帧序列进行压缩聚类507，通过K-均值聚类法将代表帧序列压缩至要求的数量以达到一定的压缩比，最终得到关键帧序列508。 

所述流程中，对代表帧序列进行压缩聚类，得到最终关键帧序列的方法为：通过K-均值聚类法将代表帧序列压缩至要求的数量以达到一定的压缩比，同时消除冗余选取现象。设要提取关键帧的镜头的代表帧集合为F＝{f₁，f₂，...，f_n}，根据基于聚类颜色特征的相似度计算方法定义代表帧集合F中代表帧f_i和f_j间的距离d(f_i，f_j)＝diff(f_i，f_j)，设簇类中心为M个：p₁，p₂，...，p_M。 

目标函数定义为： 

j＝d(f_i，p_j)＝diff(f_i，p_j)＝1-sim(f_i，p_j)         (式11) 

算法流程如下： 

A、从集合F中随机取M个代表帧，作为初始簇类“中心”； 

B、repeat； 

C、分别计算剩下的帧与M个簇中心的帧的差异度d(f_i，p_j)，寻找与各个对象最为相近的簇类“中心”，将其分配到各个相应的类中； 

D、根据聚类结果，针对每一个簇类，重新计算M个簇各自新的“中心”； 

E、until目标函数值或者簇类“中心”没有变化为止。 

通过上面的步骤，最终我们得到给定数量为M的帧图像组成的关键帧序列。这种方法一方面消除了单纯的合并镜头代表帧存在冗余帧、帧数量过多的问题，另一方面相比于一般的聚类方法计算效率更高，同时有效地保存原镜头内图像帧的时间顺序和动态信息。 

Claims (8)

1.一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于：包括以下流程：加载视频数据流→对视频流进行单帧扫描→对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征→计算相邻帧间相似度，得到相邻帧差→根据相邻帧差进行镜头边界检测→对分割的镜头进行镜头分类，提取每个镜头的代表帧→对代表帧序列进行压缩聚类，得到关键帧序列。

2.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于：所述流程——对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征的方法为：

设c_i是颜色空间中的一个三维向量，可以是RGB、HSV等颜色空间)，C_input＝{c_i，i＝1，2，...，N}表示单帧扫描后得到的帧图像颜色的集合，其中N表示颜色的数目，C_output＝{c′_j，j＝1，2，...，K}(K＜＜N)表示色彩量化后得到的索引图像的颜色集合，即为单帧图像的主色彩特征。色彩量化是一个映射过程：

q：C_input→C_output

本发明中采用基于八叉树结构的色彩量化算法，遵循距离最近准则：单帧扫描后得到的帧图像中的任一颜色c将被映射到索引图像颜色集合C_output中距离最近的颜色c′，即

c′＝q(c)：||c-c′||＝min_{j＝1，2，...，k}||c-c′_j||

同时，在颜色集合C_input中得到K个聚类S_k，k＝1，2，...，K

S_k＝{c∈C_input|q(c)＝c′_k}

c′_k为K个聚类的聚类中心，它们组成索引图像的颜色集合，即提取出的主色彩特征。

3.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于：所述流程——对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征主要采用基于八叉树结构的色彩量化算法，分为以下3个步骤：

(1)色彩八叉树的建立。从根结点开始，取R、G、B分量二进制值的第7位，组合在一起形成一个3位的索引值，索引值范围为0-7，分别对应于8个子结点；寻找到下一层结点后，取下R、G、B值的下一位进行组合，得到索引值；以此类推，就可查找到每种颜色对应的叶子结点，从而建立八叉树，在每个结点上记录所有经过的结点的RGB值的总和以及RGB颜色个数。

(2)八叉树的归并。插入的过程中，如果叶子结点数超过了总颜色数(本发明中叶子结点总数设为K)，就需要归并一些叶子结点。本发明中从最底层叶结点开始合并，按结点计数值小的优先合并策略，将其子结点的所有RGB分量以及结点计数全部记录到该结点中，并删除其所有子结点，依此进行，直到合并后的叶子数符合要求为止。此时，取出叶子结点中的RGB分量的平均值(分量总和、结点个数)，得到的调色板颜色值。

(3)图像色彩量化。重新扫描单帧图像，由每个像素的颜色值查找到色彩八叉树中的对应的叶子结点，用叶子结点中记录的调色板索引值表示该像素，从而提取出该单帧图像的主色彩特征，并用主色彩特征重新表示图像，得到色彩量化后的新图像。

4.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于：所述流程——计算相邻帧间相似度，得到相邻帧差的方法为：采用基于聚类颜色特征的相似度计算方法，具体步骤如下

(1)对任意两帧图像I_A和I_B通过基于八叉树的颜色量化算法分别将图像所有颜色相似的象素归为一类，假设图像I_A和I_B分别得到ω^A和ω^B(ω^A＝N_A，ω^B＝N_B)种不同颜色的归类。

(2)在RGB颜色空间中计算两个象素p_i和p_j的颜色欧式距离d_ij为：

$d_{\mathrm{ij}}=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2}$

(3)对图像I_A中的每一种颜色

在图像I_B中寻找未配对而且其欧式距离最小的颜色

从而得到一个配对(i，n_i)，不断重复此过程得到一个集合T。

那么相邻帧图像的颜色相似度可定义为：

$\mathrm{sim}(I_A,I_B)=\underset{(i,n_i)\&Element;T}{\mathrm{\&Sigma;}}\min (P\left({\mathrm{\&omega;}}_i^A\right),p\left({\mathrm{\&omega;}}_{n_i}^B\right))\&times;s({\mathrm{\&omega;}}_i^A,{\mathrm{\&omega;}}_{n_i}^B)$

得到任意两帧的相似度后，也就可以计算得到它们之间的差异值diff：

diff(f_i，f_j)＝1-sim(f_i，f_j)

式中，

分别表示图像I_A和I_B中归类到颜色

的象素数所占比重，

为像素点间相似度，本发明采用高斯函数对两个像素点颜色相似度与其颜色欧式距离之间的关系进行拟合：

$s(p_i,p_j)=\left\{\begin{array}{cc}a{e}^{-\frac{{(d_{\mathrm{ij}}-b)}^2}{c^2}}& d_{\mathrm{ij}}<L\\ 0& d_{\mathrm{ij}}\&GreaterEqual;L\end{array}\right.$

式中d_ij为象素p_i和p_j的颜色欧式距离，a，b，c，L为常数，显然两个相同颜色的两个象素的颜色相似度s(p_i，p_j)＝1，颜色的相似度随着欧式距离的增大而单调递减。

5.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于：所述流程——根据相邻帧差进行镜头边界检测的方法为：

在本发明中先通过镜头边界系数C_SB初步确定镜头的边界，再根据相邻帧差diff对初步定位的镜头进一步扫描，精确定位镜头的边界，从而提高镜头边界检测的查全率和查准率。

定义第i帧的镜头边界相似系数(C_SBS)为：

$C_{\mathrm{SBS}}=\frac{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}(D_{\mathrm{sw}}(i+j)*O_{\mathrm{sw}}(N+j))}{\sqrt{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}{\left(D_{\mathrm{sw}}(i+j)\right)}^2}*\sqrt{\underset{j=-N}{\overset{N-1}{\mathrm{\&Sigma;}}}{\left(O_{\mathrm{sw}}(N+j)\right)}^2}}$

$D_{\mathrm{sw}}\left(i\right)=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{N-j+1}{K}\mathrm{diff}(i-j,i+j)$

式中D_sw(i)为领域窗帧差序列，O_sw(j)为镜头边界检测算子，在本发明中N为整数，O_sw算子定义为一个一维向量。

定义第i帧的镜头边界系数(C_SB)为：

C_SB＝exp(-α(1-C_SBS(i)))

式中，α为常数。

6.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于：所述流程——对分割的镜头进行镜头分类，提取每个镜头的代表帧的方法为：当相邻帧差diff发生突变时，默认分割的镜头为普通镜头，提取该镜头最中间的一帧作为镜头的代表帧，只提取与该镜头起始帧距离最大即图像内容变化程度最高的帧作为该镜头的代表帧。

7.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于：所述流程——对代表帧序列进行压缩聚类，得到关键帧序列的方法为：

通过K-均值聚类法将代表帧序列压缩至要求的数量以达到一定的压缩比，同时消除冗余选取现象。设要提取关键帧的镜头的代表帧集合为F＝{f₁，f₂，...，f_n}，根据基于聚类颜色特征的相似度计算方法定义代表帧集合F中代表帧f_i和f_j间的距离d(f_i，f_j)＝diff(f_i，f_j)，设簇类中心为M个：p₁，p₂，...，p_M。

目标函数定义为：

J＝d(f_i，p_j)＝diff(f_i，p_j)＝1-sim(f_i，p_j)

算法流程如下：

(1)从集合F中随机取M个代表帧，作为初始簇类“中心”；

(2)repeat；

(3)分别计算剩下的帧与M个簇中心的帧的差异度d(f_i，p_j)，寻找与各个对象最为相近的簇类“中心”，将其分配到各个相应的类中；

(4)根据聚类结果，针对每一个簇类，重新计算M个簇各自新的“中心”；

(5)until目标函数值或者簇类“中心”没有变化为止。

通过上面的步骤，最终我们得到给定数量为M的帧图像组成的关键帧序列。

8.根据权利要求4所述在计算相邻帧间相似度，得到相邻帧差的步骤(3)中，其特征在于：RGB颜色空间中两个象素p_i和p_j的颜色相似度与其颜色欧式距离之间关系采用高斯函数进行拟合：

高斯函数拟合象素点颜色相似度函数曲线图；

$s(p_i,p_j)=\left\{\begin{array}{cc}a{e}^{-\frac{{(d_{\mathrm{ij}}-b)}^2}{c^2}}& d_{\mathrm{ij}}<L\\ 0& d_{\mathrm{ij}}\&GreaterEqual;L\end{array}\right.$

式中d_ij为象素p_i和p_j的颜色欧式距离，a，b，c，L为常数，显然两个相同颜色的两个象素的颜色相似度s(p_i，p_j)＝1，颜色的相似度随着欧式距离的增大而单调递减。

Images