CN101398855A - 一种视频关键帧提取方法和系统 - Google Patents

Abstract

本发明提供了一种视频关键帧提取方法及系统，该方法包括：步骤1.解析视频镜头，计算每两帧图像之间的距离；步骤2.将所视频镜头分割为n段，并提取每一段的关键帧；步骤3.将视频镜头分割为n+1段；并提取每一段的关键帧；步骤4.判断步骤2和步骤3中两个连续的关键帧之间的距离是否符合预设条件，如果不符合，则对n加1，返回步骤2；如果符合，则结束，以所得到的n个关键帧为视频镜头的关键帧。本发明通过假设关键帧的数量，对视频镜头进行最优分割以及通过阈值确定关键帧，保证了各个关键帧之间距离足够大，且每个关键帧对所代表的视频段具有很大的相似性，由此有效的获得了对视频镜头具有很好代表性的关键帧。

Description

一种视频关键帧提取方法和系统

技术领域

本发明涉及视频分析技术领域，特别是涉及一种视频关键帧提取方法和系统。

背景技术

计算机和摄像设备的功能日益强大，以及信息技术的高速发展，带来了不可计数的电视节目、电视剧、电影、家庭摄像、视频会议、活动录像、监视录像等不同种类的视频。尤其是数字化后的视频信息具有数据海量性，在使用传统的文本数据分析、检索方法对视频信息管理时，要耗费大量的时间和人力，而且又不能充分利用视频中包含的丰富信心内容。由此，如何有效、快捷地浏览和查找视频资料，成为人们日益迫切的需求。

关键帧是反映一组镜头中主要信息内容的一帧或若干帧图像，可以简洁地表达镜头内容。当浏览或检索视频资料时，可以通过关键帧的非线性浏览来快速定位内容。由此应用关键帧技术能够很好的浏览和查找视频资料。

现有的视频关键帧提取方法主要可以分成以下三种。

第一种是指定位置方法。该方法不考虑视频的具体内容与视频的变化趋势，而采用相对固定的位置作为关键帧。比如确定镜头起止点后，直接取第一帧、最后一帧、中间帧或最接近所有帧平均值的一帧作为关键帧。这种方法虽然操作简单，计算迅速，可以实时得到关键帧，但不能保证视频里所有重要片段都有至少一个关键帧，也不能保证关键帧对镜头内容的代表性。

第二种是分析镜头内发生显著内容变化的方法。该方法顺序地处理视频序列，只关注视频在时间轴上的变化显著程度。第一个关键帧通常取镜头的第一帧，按顺序遍历所有帧，当变化达到一定程度(即达到阈值)时，就将达到阈值的帧作为下一关键帧。如在文章Detection and Representation of Scenes inVideos[J]IEEE Transaction on Multimedia，vol.7，no.6，1097-1105，2005.公布的方法中，从前一参考帧开始向后寻找，直到找到一帧到参考帧的距离大于阈值，就将这一帧的前一帧作为新的关键帧。然后从关键帧开始向后查找，直到找到一帧到这个新的关键帧的距离大于阈值，就将这一帧的前一帧作为下一个参考帧。这样得到的关键帧就代表前一参考帧到下一参考帧之间所有的帧。但是这种方法提取的关键帧与起始位置和阈值设定有很大关系。如果是采用累计变化的方法，即使变化很小的长视频也会产生较多关键帧，因此关键帧对视频重要片段的代表性可能不够。而且，由于是累计变化，关键帧提取的结果与处理视频的方向也有关系，造成从后向前处理视频得到的结果与从前向后处理的结果不同。

第三种方法，通过聚类分析将视频镜头的帧分成若干类，选取最靠近聚类中心的点表示聚类的点，最终形成视频序列的关键帧集合。然而，目前主要的聚类方法，比如应用模糊C均值聚类等方法，聚类间相似度较低，并不能有效的使得聚类内的相似度足够大，这就不能保证提取的关键帧对镜头内容具有很好的代表性。

由此可知，目前需要本领域技术人员迫切解决的一个技术问题就是：如何有效获得对视频镜头具有很好代表性的关键帧。

发明内容

本发明所要解决的技术问题是提供一种视频关键帧提取方法和系统，能够有效的获得对视频镜头具有很好代表性的关键帧。

为了解决上述问题，本发明公开了一种视频关键帧提取方法，该方法包括：

步骤1、解析视频镜头，对视频镜头中的所有视频帧提取帧的特征，计算每两帧图像之间的距离；

步骤2、将所述视频镜头分割为n段，并提取每一段的关键帧，其中，所述n大于或等于1；

步骤3、将所述视频镜头分割为n+1段；并提取每一段的关键帧；

步骤4、判断步骤2和步骤3中两个连续的所述关键帧之间的距离是否符合预设条件，如果不符合，则对n加1，返回步骤2；如果符合，则结束，以所得到的n个关键帧为所述视频镜头的关键帧；

所述预设条件为：所述关键帧数量为n时，任意两个连续的关键帧之间的距离都大于或等于预设阈值；所述关键帧数量为n+1时，至少存在两个连续的关键帧之间的距离小于预设阈值。

具体的，通过以下步骤将所述视频镜头分割为n段：

将所述视频镜头预分割为n段，提取所述每一段视频镜头中的关键帧；并计算所述关键帧与段内其他所有帧的距离的方差；计算每两个连续的关键帧之间的距离和与n段视频镜头的方差和的商；尝试所有分割情况，以所述商的值最大时的分割情况作为最优分割，进行下一步骤。

具体的，通过以下步骤提取所述每一段视频镜头中的关键帧：

计算所述段内的每一帧f_i与段内其他所有帧之间的距离和M_i，选取所述距离和M_i中数值最小的值对应的第i帧，作为所述段的关键帧。

优选的，通过以下步骤计算所述距离和：

计算所述段内每两帧图像之间的距离，形成段内视频帧矩阵Dn_N×N；其中，Dn_ii为矩阵Dn_N×N中对角线上的数值，表示第i帧与所述段内其他所有帧的距离和。

进一步，通过比较两帧图像的色彩直方图，计算所述两帧图像之间的距离。

具体的，将每帧图像进行分块，通过比较两帧图像中对应块的彩色直方图，计算所述两帧图像之间的距离。

为了解决上述问题，本发明还公开了一种视频关键帧提取系统，该系统包括：

距离计算模块，用于解析视频镜头，对视频镜头中的所有视频帧提取帧的特征，计算每两帧图像之间的距离；

分割模块，用于将所述视频镜头分割为n段和n+1段；

关键帧提取模块，用于提取所述每一段视频镜头的关键帧；

判断模块，用于判断两个连续的所述关键帧之间的距离是否符合预设条件，如果不符合，则对n加1，返回分割模块；如果符合，则结束，以所得到的n个关键帧为所述视频镜头的关键帧；

所述预设条件为：所述关键帧数量为n时，任意两个连续的关键帧之间的距离都大于或等于预设阈值；所述关键帧数量为n+1时，至少存在两个连续的关键帧之间的距离小于预设阈值。

具体的，所述分割模块包括：

预分割子模块，用于将所述视频镜头预分割为n段；方差计算子模块，用于计算通过所述关键帧提取模块得到的每一段的关键帧与段内其他所有帧的距离的方差；商计算子模块，用于计算每两个连续的关键帧之间的距离和与n段视频镜头的方差和的商；判断子模块，用于选取所有分割情况下的所述商的值最大时的分割情况作为最优分割，进行下一步骤。

具体的，所述关键帧提取模块包括：

距离和计算子模块，用于计算所述段内的每一帧f_i与段内其他所有帧之间的距离和M_i；选取子模块，用于选取所述距离和M_i中数值最小的值对应的第i帧，作为所述段的关键帧。

进一步，通过比较两帧图像的色彩直方图，计算所述两帧图像之间的距离。

与现有技术相比，本发明具有以下优点：

在本发明的解决方案中，通过假设关键帧的数量，对视频镜头进行最优分割，最优分割采用的规则使得每段的方差尽可能的小，而各个关键帧之间的距离尽可能的大；并且在最后通过阈值进行判断，确定出关键帧。这就使得最后获得的各个关键帧之间有足够大的距离，且每个关键帧对所代表的视频段具有很大的相似性。由此，本方法有效的获得了对视频镜头具有很好代表性的关键帧。

附图说明

图1是本发明视频关键帧提取方法实施例1的步骤流程图；

图2是本发明方法实施例1中的对视频镜头分割的子步骤流程图；

图3是本发明方法实施例1中的提取关键帧的子步骤流程图；

图4是本发明视频关键帧提取方法实施例2的步骤流程图；

图5是本发明视频关键帧提取装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明一种视频关键帧提取方法实施例1，具体可以包括：

步骤101，解析视频镜头，对视频镜头中的所有视频帧提取帧的特征，计算每两帧图像之间的距离。

视频镜头，是一组时间上连续的帧序列，它代表一个场景中在时间上和空间上连续的动作，对应着摄像机的一次记录起停操作，也称为剪裁或拍摄。镜头是视频数据的最小单元。

优选的，通过比较两帧图像的色彩直方图，计算所述两帧图像之间的距离。

色彩直方图，是广泛使用于视频和图像分析中的一种特征，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响。色彩直方图的计算分为全局直方图和局部直方图。

具体的，本发明采用局部直方图分析的方法来进行计算：首先对需要计算距离的两个视频帧进行分块，在每个块内部，统计RGB三个分量的分布数据，并计算两帧中对应块位置的所述RGB三个统计量在不同分布上的差异，最后进行归一化处理，得到两帧图像之间的距离。

步骤102，将所述视频镜头分割为n段，并提取每一段的关键帧，其中，所述n为大于或等于1的整数。在分割时，可以从n等于1开始进行分割。

步骤103，将所述视频镜头分割为n+1段，并提取每一段的关键帧。

步骤104，判断步骤102和步骤103中任意两个连续的所述关键帧之间的距离是否符合预设条件。所述预设条件为：所述关键帧数量为n时，即将所述视频镜头分割为n段时，任意两个连续的关键帧之间的距离都大于或等于预设阈值；所述关键帧数量为n+1时，即将所述视频镜头分割为n+1段时，至少存在两个连续的关键帧之间的距离小于预设阈值。其中，阈值的选取是通过试验进行确定的：尝试应用不同阈值进行关键帧提取，通过对得到的关键帧的效果进行分析，选取关键帧提取效果较好的阈值作为预设阈值。

如果不符合，则对n加1，返回步骤102，循环进行步骤102到步骤104的操作。在此处需要说明的是，对n加1返回步骤102进行操作时，即为将所述视频镜头分割为n+1段，并提取每一段的关键帧；而在上一循环的步骤103中，已经对所述视频镜头进行过n+1段的分割。由此，此时可以直接调用上一循环的步骤103中得到的数据，然后进入该循环的步骤103，即将所述视频镜头分割为(n+1)+1段，并提取每一段的关键帧。

如果符合，则进行步骤105，结束操作，以将所述视频镜头分割为n段时，所得到的n个关键帧作为所述视频镜头的关键帧。

在步骤102中提到将所述视频镜头分割为n段，参见图2，是一个优选的将视频镜头分割为n段的实施方案，具体步骤为：

步骤201，将所述视频镜头预分割为n段。即开始确定了将所述视频镜头分割为n段，则就任意将所述镜头进行分割，只需满足分割为n段即可。

步骤202，提取所述每一段视频镜头中的关键帧；并计算所述关键帧与段内其他所有帧的距离的方差。

所述计算方差的过程为：计算所述关键帧与其他所有帧的距离的平均值 $m_i=\underset{s=1}{\overset{n_i}{\mathrm{\Σ}}}D({\mathrm{kf}}_i,f_s)/n_i,$ 其中n_i是第i段内的视频帧数量，kf_i是该段内的关键帧，f_s是该段中第s帧，D(kf_i，f_s)为关键帧kf_i和第s帧之间的距离；则所述关键帧与段内其他所有帧的距离的方差为， ${{\mathrm{\σ}}_i}^2=\underset{s=1}{\overset{n_i}{\mathrm{\Σ}}}{(D({\mathrm{kf}}_i,f_s)-m_i)}^2/n_i.$

步骤203，计算每两个连续的关键帧之间的距离和与n段视频镜头的方差和的商，即 $J=\underset{j=1}{\overset{n-1}{\mathrm{\Σ}}}D({\mathrm{kf}}_j,{\mathrm{kf}}_{j+1})/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{{\mathrm{\σ}}_i}^2,$ J即为所述商。

步骤204，尝试所有分割情况，即将所述视频镜头分割为任意一种n段的情况，然后计算每一种情况下的所述商J，选取所述商J的值最大时的分割情况作为最优分割，进行下一步骤。

由此，通过本方法对所述视频镜头进行最优分段，实现了每段的方差都尽可能地小，而各个关键帧之间的距离尽可能的大，这就可以保证最后获得的关键帧之间有足够大的距离，而每个关键帧对所表达的视频段具有很大的相似性。当然也可以使用其他常用的方法对视频镜头进行分割。

在上述步骤中多次提到从所述每段视频镜头中提取关键帧，参见图3，示出了一个优选的从每段视频镜头中提取关键帧的实施方案，具体步骤为：

步骤301，计算所述段内的每一帧f_i与段内其他所有帧之间的距离，将所述距离相加得到距离和M_i。

步骤302，选取所述距离和M_i中数值最小的值对应的第i帧，作为所述段的关键帧。

进一步，可以采取以下步骤来计算所述距离和M_i：

步骤3011，将所述步骤101中计算得到的所述段内每两帧图像之间的距离，形成段内视频帧矩阵Dn_N×N；

步骤3012，将第i帧与所述段内其他所有帧的距离和置于所述帧矩阵Dn_N×N的对角线上，即所述矩阵的对角线上的数值Dn_ii即为所述距离和M_i。

为了本领域技术人员更好的理解本发明，以下通过方法实施例2进一步说明本发明的视频关键帧提取方法。

参照图4，示出了本发明方法实施例2。具体步骤可以包括：

步骤401，解析视频镜头，对视频镜头中的所有视频帧提取帧的特征，计算每两帧图像之间的距离。

步骤402，将所述视频镜头作为1段，即假设有1个关键帧，然后提取所述视频镜头的关键帧。

步骤403，将所述视频镜头分割为2段，即假设有2个关键帧，然后提取每一段的关键帧。

步骤404，分析上述2个关键帧之间的距离。如果所述距离小于预设阈值，则选取关键帧数为1，且所述视频镜头的关键帧即为步骤402中提取的关键帧；否则，进行下一操作，即步骤405。

步骤405，将所述视频镜头分割为3段，即假设有3个关键帧，然后提取每一段的关键帧。

步骤406，分析上述3个关键帧之间的距离。如果存在两个连续的关键帧之间的距离小于预设阈值，则选取关键帧数为2，则所述视频镜头的关键帧即为步骤403中提取的关键帧；否则，进行下一操作，即步骤407。

步骤407，将所述视频镜头分割为4段，即假设有4个关键帧，然后提取每一段的关键帧。

步骤408，分析上述4个关键帧之间的距离。如果存在两个连续的关键帧之间的距离小于预设阈值，则选取关键帧数为3，则所述视频镜头的关键帧即为步骤405中提取的关键帧；否则，选取关键帧数为4，则所述视频镜头的关键帧即为步骤407中提取的关键帧。

需要说明的是，在步骤408中，当分析不存在两个连续的关键帧之间的距离小于预设阈值时，直接选取关键帧为4。这是由于本实施例中，假设最大关键帧数为4，所以当分析到4个关键帧时，就停止了操作。而本发明并不限于此，可以根据需要设置最大关键帧数；也可以不设置最大关键帧数，一直循环操作，直到完全满足预设条件为止。

参见图5，还示出了本发明一种视频关键帧提取系统实施例，该系统具体可以包括：

距离计算模块501，用于解析视频镜头，对视频镜头中的所有视频帧提取帧的特征，计算每两帧图像之间的距离。

分割模块502，用于将所述视频镜头分割为n段和n+1段。

关键帧提取模块503，用于提取所述每一段视频镜头的关键帧。

判断模块504，用于判断两个连续的所述关键帧之间的距离是否符合预设条件，如果不符合，则对n加1，返回分割模块；如果符合，则结束，以所得到的n个关键帧为所述视频镜头的关键帧。

所述预设条件为：所述关键帧数量为n时，任意两个连续的关键帧之间的距离都大于或等于预设阈值；所述关键帧数量为n+1时，至少存在两个连续的关键帧之间的距离小于预设阈值。

进一步，所述分割模块502包括以下子模块：

预分割子模块，用于将所述视频镜头预分割为n段；

方差计算子模块，用于计算通过所述关键帧提取模块得到的每一段的关键帧与段内其他所有帧的距离的方差；

商计算子模块，用于计算每两个连续的关键帧之间的距离和与n段视频镜头的方差和的商；

判断子模块，用于选取所有分割情况下的所述商的值最大时的分割情况作为最优分割，进行下一步骤。

进一步，所述关键帧提取模块503包括以下子模块：

距离和计算子模块，用于计算所述段内的每一帧f_i与段内其他所有帧之间的距离和M_i；

选取子模块，用于选取所述距离和M_i中数值最小的值对应的第i帧，作为所述段的关键帧。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种视频关键帧提取方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1、一种视频关键帧提取方法，其特征在于，包括：

步骤1)、解析视频镜头，对视频镜头中的所有视频帧提取帧的特征，计算每两帧图像之间的距离；

步骤2)、将所述视频镜头分割为n段，并提取每一段的关键帧，其中，所述n大于或等于1；

步骤3)、将所述视频镜头分割为n+1段；并提取每一段的关键帧；

步骤4)、判断步骤2)和步骤3)中两个连续的所述关键帧之间的距离是否符合预设条件，如果不符合，则对n加1，返回步骤2)；如果符合，则结束，以所得到的n个关键帧为所述视频镜头的关键帧；

所述预设条件为：所述关键帧数量为n时，任意两个连续的关键帧之间的距离都大于或等于预设阈值；所述关键帧数量为n+1时，至少存在两个连续的关键帧之间的距离小于预设阈值。

2、如权利要求1所述的方法，其特征在于，通过以下步骤将所述视频镜头分割为n段：

将所述视频镜头预分割为n段，

提取所述每一段视频镜头中的关键帧；并计算所述关键帧与段内其他所有帧的距离的方差；

计算每两个连续的关键帧之间的距离和与n段视频镜头的方差和的商；

尝试所有分割情况，以所述商的值最大时的分割情况作为最优分割，进行下一步骤。

3、如权利要求1或2所述的方法，其特征在于，

通过以下步骤提取所述每一段视频镜头中的关键帧；

计算所述段内的每一帧f_i与段内其他所有帧之间的距离和M_i，选取所述距离和M_i中数值最小的值对应的第i帧，作为所述段的关键帧。

4、如权利要求3所述的方法，其特征在于，通过以下步骤计算所述距离和：

计算所述段内每两帧图像之间的距离，形成段内视频帧矩阵Dn_N×N；其中，Dn_ii为矩阵Dn_N×N中对角线上的数值，表示第i帧与所述段内其他所有帧的距离和。

5、如权利要求1所述的方法，其特征在于，

通过比较两帧图像的色彩直方图，计算所述两帧图像之间的距离。

6、如权利要求5所述的方法，其特征在于，

将每帧图像进行分块，通过比较两帧图像中对应块的彩色直方图，计算所述两帧图像之间的距离。

7、一种视频关键帧提取系统，其特征在于，包括：

距离计算模块，用于解析视频镜头，对视频镜头中的所有视频帧提取帧的特征，计算每两帧图像之间的距离；

分割模块，用于将所述视频镜头分割为n段和n+1段；

关键帧提取模块，用于提取所述每一段视频镜头的关键帧；

判断模块，用于判断两个连续的所述关键帧之间的距离是否符合预设条件，如果不符合，则对n加1，返回分割模块；如果符合，则结束，以所得到的n个关键帧为所述视频镜头的关键帧；

所述预设条件为：所述关键帧数量为n时，任意两个连续的关键帧之间的距离都大于或等于预设阈值；所述关键帧数量为n+1时，至少存在两个连续的关键帧之间的距离小于预设阈值。

8、如权利要求7所述的系统，其特征在于，所述分割模块包括：

预分割子模块，用于将所述视频镜头预分割为n段；

方差计算子模块，用于计算通过所述关键帧提取模块得到的每一段的关键帧与段内其他所有帧的距离的方差；

商计算子模块，用于计算每两个连续的关键帧之间的距离和与n段视频镜头的方差和的商；

判断子模块，用于选取所有分割情况下的所述商的值最大时的分割情况作为最优分割，进行下一步骤。

9、如权利要求7所述的系统，其特征在于，所述关键帧提取模块包括：

距离和计算子模块，用于计算所述段内的每一帧f_i与段内其他所有帧之间的距离和M_i；

选取子模块，用于选取所述距离和M_i中数值最小的值对应的第i帧，作为所述段的关键帧。

10、如权利要求7所述的系统，其特征在于，

通过比较两帧图像的色彩直方图，计算所述两帧图像之间的距离。

Images