CN110472484B

CN110472484B - 基于多视图特征的视频关键帧提取方法、系统及设备

Info

Publication number: CN110472484B
Application number: CN201910589924.2A
Authority: CN
Inventors: 吕晨; 梁飞; 柴春蕾; 李睿; 马艳玲; 刘佳林; 吕蕾; 刘弘
Original assignee: Shandong Normal University
Current assignee: Xi'an Yunshang Fengma Network Technology Co.,Ltd.
Priority date: 2019-07-02
Filing date: 2019-07-02
Publication date: 2021-11-09
Anticipated expiration: 2039-07-02
Also published as: CN110472484A

Abstract

本公开公开了基于多视图特征的视频关键帧提取方法、系统及设备，设定采样率对原始视频流进行采样，将视频流提取为若干帧图像；应用平均哈希法AHA对提取的所有帧计算每连续相邻两帧图像哈希值的汉明距离，若汉明距离大于阈值

则判定为镜头边界，否则不划分镜头边界；对采样步骤提取的每一帧图像分别提取三种特征值：RGB特征值、HSV特征值和LBP特征值；根据镜头划分步骤中的镜头划分结果，在每个镜头内分别对提取的RGB、HSV和LBP特征值进行单核心聚类计算，将聚类结果归一化处理后进行求和运算，取求和结果最小的帧为该镜头的关键帧。提取的关键帧更具有代表性，增强了算法的鲁棒性，提高了提取视频摘要的可读性。

Description

基于多视图特征的视频关键帧提取方法、系统及设备

技术领域

本公开涉及视频关键帧提取与视频摘要自动化生成领域，特别是涉及基于多视图特征的视频关键帧提取方法、系统及设备。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

视频数据是一种典型的非结构化数据，其数据模型不清晰、数据结构不规则的特点使其比结构化数据更难以标准化，决定了一般的数据管理方法无法对其进行有效的检索和处理，例如基于关键帧提取的视频摘要等应用。当前，在视频关键帧提取领域，利用聚类算法提取关键帧已被广泛应用，但传统的基于聚类的关键帧提取算法有以下弊端：

(1)需要依赖阈值输入来界定聚类核心的数目，阈值大小将直接或间接决定关键帧提取的数目，进而影响关键帧提取效果；

(2)将提取特征值后的每一帧视为同等无差别的基本元素来处理，导致帧之间的顺序关系错乱，形成的视频摘要无法体现原有视频内容的情节发展；

(3)利用帧图像的颜色直方图作为图像特征值，忽略掉图像的轮廓、亮度、饱和度等特征信息导致特征值提取不够充分。

上述问题不同程度上影响了关键帧提取的可靠性，也从根本上决定了一般的关键帧提取方法存在适用场景单一、鲁棒性差等不足。

发明内容

为了解决现有技术的不足，本公开提供了基于多视图特征的视频关键帧提取方法、系统及设备；该方法通过分割镜头、按序提取关键帧和综合利用图像轮廓特征值使提取的关键帧更具有代表性，增强了算法的鲁棒性，提高了提取视频摘要的可读性。

第一方面，本公开提供了基于多视图特征的视频关键帧提取方法；

基于多视图特征的视频关键帧提取方法，包括如下步骤：

采样步骤：设定采样率对原始视频流进行采样，将视频流提取为若干帧图像；

镜头划分步骤：应用平均哈希法(Average Hash Algorithm，AHA)对提取的所有帧计算每连续相邻两帧图像哈希值的汉明距离，若汉明距离大于阈值

则判定为镜头边界，否则不划分镜头边界；

特征提取步骤：对采样步骤提取的每一帧图像分别提取三种特征值：RGB (RGBcolor mode，RGB色彩模式)特征值、HSV(Hexcone Model，六角锥体模型)特征值和LBP(Local Binary Pattern，局部二值模式)特征值；

关键帧提取步骤：根据镜头划分步骤中的镜头划分结果，在每个镜头内分别对提取的RGB、HSV和LBP特征值进行单核心聚类计算，将聚类结果归一化处理后进行求和运算，取求和结果最小的帧为该镜头的关键帧。

第二方面，本公开还提供了基于多视图特征的视频关键帧提取系统；

基于多视图特征的视频关键帧提取系统，包括：

采样模块，其被配置为设定采样率对原始视频流进行采样，将视频流提取为若干帧图像；

镜头划分模块，其被配置为应用平均哈希法(Average Hash Algorithm，AHA) 对提取的所有帧计算每连续相邻两帧图像哈希值的汉明距离，若汉明距离大于阈值

则判定为镜头边界，否则不划分镜头边界；

特征提取模块，其被配置为对采样模块提取的每一帧图像分别提取三种特征值：RGB(RGB color mode，RGB色彩模式)特征值、HSV(Hexcone Model，六角锥体模型)特征值和LBP(Local Binary Pattern，局部二值模式)特征值；

关键帧提取模块，其被配置为根据镜头划分模块中的镜头划分结果，在每个镜头内分别对提取的RGB、HSV和LBP特征值进行单核心聚类计算，将聚类结果归一化处理后进行求和运算，取求和结果最小的帧为该镜头的关键帧。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

(1)利用分割镜头的数目作为聚类算法的阈值输入，将聚类算法簇数目的阈值问题转移为分割镜头算法中的汉明距离选取问题，对提取效果影响更小。

(2)引入改进的LBP算子记录图像轮廓信息，弥补了一般算法特征值提取中缺少图像轮廓信息的不足，使图像特征值提取更全面。

(3)对图像多视图特征值分别聚类，对所得数据归一化处理取最优解，多视图使特征值描述画面更加全面和充分，确保提取的关键帧在整个镜头内更具代表性。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明方法总流程概览图。

图2为本发明利用平均哈希法分割镜头流程示意图。

图3为本发明由多视图特征聚类流程示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

镜头：视频数据中包含一段连续相似帧的基本单元，一个镜头中的帧大致处于同一色调，拥有相差不大的画面内容，其所要展现的情节信息往往是连续且相似的。

关键帧：能够代表一组镜头中的主要信息的一帧或若干帧图像，通过关键帧就可简洁的表达出该组镜头的主要内容。

图像特征值：由图像在计算机中的像素矩阵中提取出来的具有代表意义的、能够区分不同图像性质的一组或多组多维向量或矩阵。

多视图特征：一幅图像可由不同的形式表示描述，例如由RGB色彩模式表示为E_p＝[R,G,B],R,G,B∈[0,255]，由HSV色彩模式表示为E_p′＝[H,S,V], H∈[0°,360°]；S,V∈[0％,100％]。多视图即在不同角度不同表示形式下提取、应用图像特征。

实施例一，本实施例提供了基于多视图特征的视频关键帧提取方法；

基于多视图特征的视频关键帧提取方法，包括如下步骤：

步骤(1)：设定采样率对原始视频流进行采样，将视频流提取为若干帧图像；

步骤(2)：应用平均哈希法(Average Hash Algorithm，AHA)对提取的所有帧计算每连续相邻两帧图像哈希值的汉明距离，若汉明距离大于阈值

则判定为镜头边界，否则不划分镜头边界；

步骤(3)：对步骤(1)提取的每一帧图像分别提取三种特征值：RGB(RGB colormode，RGB色彩模式)特征值、HSV(Hexcone Model，六角锥体模型) 特征值和LBP(LocalBinary Pattern，局部二值模式)特征值；

步骤(4)：根据步骤(2)中的镜头划分结果，在每个镜头内分别对提取的 RGB、HSV和LBP特征值进行单核心聚类计算，将聚类结果归一化处理后进行求和运算，取求和结果最小的帧为该镜头的关键帧。

进一步地，设定采样率对原始视频流进行采样，将视频流提取为若干帧图像；具体步骤包括：

步骤(1-1)：根据公式

定义采样率r，FPS(Frames Per Second，画面每秒传输帧数)为原始视频的帧率，C为设定常数；

步骤(1-2)：获取原始视频流，遍历原始视频流中每一帧对视频流每隔r帧提取一帧保存为帧图像。

进一步地，如图2所示，应用平均哈希法(Average Hash Algorithm，AHA) 对提取的所有帧计算每连续相邻两帧图像哈希值的汉明距离，若汉明距离大于阈值

则判定为镜头边界，否则不划分镜头边界；具体步骤包括：

步骤(2-1)：设置窗口大小为SW_size，滑动步长为SW_step的滑动窗口SW，对提取的所有帧图像以滑动窗口的形式遍历；

步骤(2-2)：对遍历过程中每个状态下滑动窗口SW，由平均哈希法计算SW内所有图像的哈希值序列；

步骤(2-3)：计算步骤(2-2)中滑动窗口SW内相邻帧图像哈希序列的汉明距离，若汉明距离大于阈值

则标记窗口SW内的后一帧为镜头边界，该帧至上一镜头边界帧之间的所有帧标记为同一镜头；若汉明距离小于阈值

则不做处理，继续下一帧滑动窗口检测；

步骤(2-4)：记录步骤(2-3)中所有的镜头边界帧索引，划分镜头完成。

进一步地，步骤(3)中提取特征值，具体步骤包括：

步骤(3-1)：根据公式

计算步骤(1) 中提取的每一帧图像的RGB特征值V_RGB，R_i、G_i、B_i分别表示图像中第i个像素色彩值在红色通道R(Red)、绿色通道G(Green)、蓝色通道B(Blue)上的分量值，n为图像像素总数；

步骤(3-2)：根据公式

计算每一帧图像的HSV特征值V_HSV，H_i、S_i、V_i分别表示图像中第i个像素色彩值在色调H(Hue)、饱和度S(Saturation)、亮度V(Value)上的分量值，n为图像像素总数；

步骤(3-3)：利用改进的LBP算子计算每一帧图像的LBP特征值 V_LBP＝[F₀,F₁,F₂,…,F_LBP-max]，其中LBP-max为V_LBP的最大维度索引常数， F_i,0≤i≤(LBP-max)为V_LBP在每一维度上的常数值。

步骤(3-4)：记录保存步骤(3-1)到步骤(3-3)中提取每一帧图像的RGB 特征值、HSV特征值和LBP特征值，提取特征值完成。

更进一步地，步骤(3-3)中提取LBP特征值方法具体为：

步骤(3-3-1)：将图像按序均等划分为若干个n×n像素的LBP算子窗口，舍弃剩余边界像素；

步骤(3-3-2)：计算整幅帧图像中每个窗口的LBP算子结果，每个LBP算子计算返回一个0～255的十进制整数；

若单个窗口中的所有像素灰度值均与基准像素相等，则舍弃该窗口，继续计算该帧图像中的其他窗口的LBP算子；待所有窗口的LBP算子计算完毕，进入步骤(3-3-3)；

若不相等，则计算该窗口的LBP算子并返回一个0～255的十进制整数，继续计算其他窗口的LBP算子；待所有窗口的LBP算子计算完毕，进入步骤 (3-3-3)；

步骤(3-3-3)：组合该帧图像中所有窗口的单个LBP算子计算结果为若干个十进制数字构成的集合，统计该集合中0～LBP-max各个十进制数字出现的频度F_i：

其中，N为该镜头内的帧数目，

为计算单个十进制数字 a_n的出现频数函数，a_n来自于将原始的8位LBP算子0-1序列{LBP set}转为十进制数字，即

a_n∈[0,255],b_i∈{LBP set}，若a_n中出现i则 f_i(a_n)值为1，否则为0，最终得到的LBP-max维向量 V_LBP＝[F₀,F₁,F₂,…,F_LBP-max]作为当前帧图像的LBP特征向量值。

进一步地，如图3所示，步骤(4)中多视图聚类方法具体为：

步骤(4-1)：依据得到的镜头边界，依次在单个镜头内部由每一帧的RGB 特征值作为输入进行单核心聚类运算，输出RGB视图下聚类迭代收敛后每一元素与聚类核心的距离

步骤(4-2)：类似步骤(4-1)，依次在单个镜头内部由每一帧的HSV特征值作为输入进行单核心聚类运算，输出HSV视图下聚类迭代收敛后每一元素与聚类核心的距离

步骤(4-3)：类似步骤(4-1)，依次在单个镜头内部由每一帧的LBP特征值作为输入进行单核心聚类运算，输出LBP视图下聚类迭代收敛后每一元素与聚类核心的距离

步骤(4-4)：由MIN-MAX标准化(Min-max normalization，离差标准化) 算法对三种视图的聚类运算输出结果进行归一化处理，处理后第i帧三种视图特征下的距聚类核心的距离分别为

和

将处理后的值以帧为单位加和作为该帧与聚类核心的加权距离总值Distance_i：

步骤(4-5)：根据步骤(4-4)的加权距离总值Distance_i，取单个镜头内加权距离总值Distance_i最小的帧作为当前组镜头的关键帧，记当前组镜头的关键帧的帧索引为K_j，其中j为该组镜头的索引号；

步骤(4-6)：遍历由步骤(2)划分的每组镜头，重复步骤(4-1)至步骤(4-5)，将每组镜头的关键帧索引K_j插入关键帧集合K＝{K₁,K₂,K₃,…,K_j},由关键帧集合K中的元素值作为索引值提取每组镜头的关键帧保存为视频摘要。

更进一步地，单核心聚类运算具体为：

步骤(4-1-1)：在特征向量取值范围内，随机选取初始聚类核心；

步骤(4-1-2)：计算每一帧特征向量与步骤(4-1-1)中初始聚类核心的欧氏距离E_i：

其中，d为向量维度数目，RGB和HSV特征向量V_RGB、V_HSV为3维向量，此时d＝3；LBP特征向量V_LBP为LBP-max维向量，此时d＝LBP-max。

计算镜头内所有帧特征向量的欧氏距离总和D：

其中，N为该镜头内的帧数目；

步骤(4-1-3)：选取与聚类核心欧式距离最近的点为新的聚类核心，并计算新的欧氏距离E_i′和新的距离总和

步骤(4-1-4)：重复步骤(4-1-2)和步骤(4-1-3)至D′≥D，输出E_i值列表。

下述实施例为本申请的一种典型的实施方式，结合示例图表述如下：

如图1所示，算法总体可分为四个步骤：采样(Sampling)、分割镜头(Shotdetection)、提取特征值(Extract eigenvalues)、聚类(Clustering)，采样过程将视频流的所有帧按一定采样率“稀释”提取以提高效率；而后利用平均哈希法 (AHA)分割镜头，在每个镜头内对每一帧提取三类特征值，最后运行基于多视图特征的聚类算法。

基于多视图特征的视频关键帧提取方法，包括如下步骤：

步骤(1)：由公式

计算采样率r，指定常数C通常取值为1～3，此处取3；

步骤(2)：遍历视频流，每隔r帧提取一帧f并保存，遍历结束后将提取的帧作为所有帧集合F_A＝{f₁,f₂,f₃,…,f_N}，N为视频提取总帧数；

步骤(3)：设置窗口大小SW_size＝2，窗口步长SW_step＝1的滑动窗口 SW_p＝{f_p,f_p+1},1≤p≤N-1；

步骤(4)：根据平均哈希法对每一滑动窗口内的相邻两帧f_p和f_p+1,1≤p≤ N-1分别计算其哈希值序列，令计算结果分别为hash_p和hash_p+1；

步骤(5)：计算hash_p和hash_p+1的汉明距离D_haming(p,p+1)；

步骤(6)：令汉明距离阈值

将步骤(5)的计算结果D_haming(p,p+1) 与阈值

比较，若

则划分第p帧f_p为镜头边界，记录帧f_p的索引号p；若

则不划分镜头边界。

步骤(7)：将p从1自增至N-1遍历所有帧集合F_A，重复步骤(4)、(5)、 (6)得到镜头边界帧索引集合I_edge＝{p₀,p₁,p₂,…,p_M-1,p_M}，p₀为初始第一帧，即p₀＝0，p_M为最后一帧，即p_M＝N，p₁～p_M-1均为步骤(6)计算而得。

至此，划分镜头完成，总计划分M个镜头，得到镜头边界帧索引集合I_edge用于后续步骤界定单个镜头。

进一步地，步骤(4)中计算第p帧的哈希值序列方法详细为：

步骤(4-1)：压缩图像至8×8共64像素，去除高频和细节只保留基本明暗结构。

步骤(4-2)：将图像灰度处理去除色彩信息，将图片转为64位灰度图像。

步骤(4-3)：根据公式

计算整帧图像的平均灰度值，n 为图像像素总数，在这里n＝64。

步骤(4-4)：遍历所有像素并将每一点灰度值与图像的平均灰度值比较，大于等于平均值该像素记为1，小于则记为0。

步骤(4-5)：将步骤(4-4)的结果组合为64位二进制数，即为该帧的哈希值序列hash_p。

进一步地，步骤(5)中计算两哈希值hash_p和hash_p+1的汉明距离D_haming方法具体为：

步骤(5-1)：设置两指针分别指向两哈希序列起始位。

步骤(5-2)：根据公式

对两指针正在指向的第i位元素执行异或运算

步骤(5-3)：遍历两长度相等的哈希值序列hash_p和hash_p+1，对每一位重复执行步骤(5-1)和步骤(5-2)，将步骤(5-2)中的异或运算结果根据公式

计算hash_p和hash_p+1的汉明距离D_haming(p,p+1)。

划分镜头过程结束后，紧接上述步骤(7)，开始提取特征值过程：

步骤(8)：根据公式

计算第p帧f_p的RGB特征值

n为帧f_p的图像像素总数，

分别为帧f_p在 RGB色彩模式下第i个像素点在R(Red)、G(Green)和B(Blue)通道上的色彩分量。

步骤(9)：根据公式

计算第p帧f_p的 HSV特征值

n为帧f_p的图像像素总数，

分别为f_p在RGB色彩模式下第i个像素点在H(Hue)、S(Saturation)和V(Value)通道上的色彩分量。

步骤(10)：将第p帧f_p按序均等划分为J个3×3像素的LBP算子窗口，记第j个LBP算子窗口为

舍弃剩余边界像素。

步骤(11)：计算帧f_p中每个窗口

的LBP算子结果L_j，若该窗口中的所有像素灰度值均与基准像素相等，则舍弃该LBP算子。

步骤(12)：组合帧f_p中J个窗口的LBP算子计算结果为若干个十进制数字构成的集合{L₁,L₂,L₃,…,L_J}，设置LBP特征向量维度索引范围最大值 LBP-max＝9，统计集合{L₁,L₂,L₃,…,L_J}中0～9各个十进制数字出现的频度，得到的九维向量

作为该幅图像的LBP特征向量。

步骤(13)：将p从1自增至N-1遍历所有帧集合F_A，重复步骤(8)、(9)、 (10)、(11)、(12)得到所有帧的三种特征值，每一帧f_p都包括

和

三种特征值。

至此，提取特征值过程完成，包括RGB、HSV和LBP三种特征值，最终提取过程综合利用三种视图的特征信息。

进一步地，步骤(11)中计算单个LBP算子结果的方法具体为：

步骤(11-1)：取3×3像素矩阵为一LBP算子窗口

取窗口中间像素点的灰度值为该窗口的基准灰度G_base。

步骤(11-2)：按序自窗口左上角顺时针一次遍历各像素点，将各像素点的灰度值G_i与窗口基准灰度G_base比较，若G_i>G_base则记该像素点为1，若 G_i≤G_base则记该像素点为0，i为窗口

中的像素个数，范围为1≤i≤8。

步骤(11-3)：按序自窗口左上角顺时针遍历组合步骤(11-2)中各像素对比结果为二进制0-1字符串。

步骤(11-4)：根据公式

计算LBP算子窗口

的特征值 L_j，单个窗口的特征值L_j为0～255的整数，b_i为步骤(11-3)中二进制0-1字符串的某一位，i为其自右至左的索引号。

进一步地，步骤(12)中计算帧f_p的LBP特征值方法具体为：

步骤(12-1)：帧f_p中J个窗口的LBP算子计算结果集合{L₁,L₂,L₃,…,L_J}中， L_i,1≤i≤J为0～255的十进制数字，设置LBP特征向量维度索引范围最大值 LBP-max＝9，根据公式

统计集合 {L₁,L₂,L₃,…,L_J}中L_i′,1≤i′≤J的数字出现频度，函数f_i(a_n)定义为计算单个十进制数字a_n的出现的频数函数，若a_n中出现i则f_i(a_n)值为1，否则为0，即表达式：

步骤(12-2)：组合步骤(12-1)中计算结果F_i,i＝0,1,2,…,9为帧f_p的LBP 特征值

提取特征值过程结束后，紧接上述步骤(13)，开始多视图提取关键帧过程：

步骤(14)：根据步骤(7)中得到的镜头边界帧索引集合I_edge＝ {p₀,p₁,p₂,…,p_M-1,p_M}得到镜头S_m的前后边界帧索引p_m-1和p_m，1≤m≤M。

步骤(15)：将第p_m-1帧

和第p_m帧

间的所有帧定义为镜头S_m，即：

步骤(16)：由步骤(13)中得到的镜头S_m中所有帧的三种特征值

和

构成特征向量集合

和

作为数据准备。

步骤(17)：在镜头S_m中，由RGB特征值

作为输入进行单核心聚类运算，得到的计算结果为每一帧到聚类核心的距离列表

步骤(18)：在镜头S_m中，由HSV特征值

步骤(19)：在镜头S_m中，由LBP特征值

步骤(20)：根据MIN-MAX标准化，由公式

分别对

内元素进行归一化处理，上述公式中D_i ^*为归一化处理后单个元素值，D_i为原值，D_max、D_min分别为待处理列表或集合中的元素最大值和最小值，令归一化处理后的数据列表分别为

步骤(21)：将长度相等的三个列表

内所有元素分别对应相加求和得到该镜头的距离总和向量

步骤(22)：遍历向量Distance_m各元素，输出值最小的元素

的帧索引号i，p_m-1≤i≤p_m。

步骤(23)：创建列表K用于存放关键帧索引，将m由1自增至M遍历所有镜头S_m,1≤m≤M，每次遍历皆重复执行步骤(14)至步骤(22)，将每次遍历执行步骤(22)的输出结果即索引号i,p_m-1≤i≤p_m依次插入到新建列表K 中。

步骤(24)：根据列表K＝{k₁,k₂,k₃,…,k_M}中每个镜头的关键帧索引号，复制相应关键帧

至存放关键帧的指定目录，关键帧提取结束。

进一步地，步骤(17)、步骤(18)和步骤(19)中的单核心聚类算法具体为：

步骤(17-1)：在第p个镜头S_p的输入向量数据

中，由每一维最小值

和最大值

范围内，随机生成聚类核心每一维的向量值v_i，构成初始聚类核心 V_c＝{v₁,v₂,v₃,…,v_d},d∈{3,9}，i为维度索引，0≤i≤d。

步骤(17-2)：根据公式

计算输入数据的第i帧f_i的特征向量V_i与当前聚类核心V_c的欧氏距离E_i，d为向量维度数目， RGB和HSV特征向量V_RGB、V_HSV为3维向量，此时d＝3；LBP特征向量V_LBP为 9维向量，此时d＝9。

步骤(17-3)：将i从p_m-1自增至p_m一次遍历镜头S_p所有输入数据集合

执行步骤(17-2)，遍历结束后计算步骤(17-2) 的所有计算结果E_i之和

M为该镜头内的帧数目。

步骤(17-4)：选取与聚类核心欧式距离最近的点为新的聚类核心V_c′，重复执行步骤(17-2)和步骤(17-3)，并计算新的欧氏距离E_i′和新的距离总和

步骤(17-5)：重复执行步骤(17-2)、步骤(17-3)和步骤(17-4)至D′≥D算法收敛，按序输出此时镜头S_m收敛状态下_i值列表List_m，聚类算法结束。

实施例二，本实施例还提供了基于多视图特征的视频关键帧提取系统；

基于多视图特征的视频关键帧提取系统，包括：

则判定为镜头边界，否则不划分镜头边界；

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。

所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。