CN101720006B - 一种适用于视频关键帧提取的代表帧定位方法 - Google Patents

Abstract

本发明涉及一种适用于视频关键帧提取的代表帧定位方法，包括：步骤1.定位帧提取模块对获取到的视频流数据，绘制帧差曲线，计算出平均帧差，根据帧差与阈值的比较进行定位帧的判定和提取；步骤2.代表帧判定模块通过一次分析视频和两次分析视频的方法进行代表帧的判定；步骤3.代表帧生成模块通过判断当前帧差是否超过了指定的代表帧阈值，是则生成代表帧；步骤4.保存接口模块把定位帧信息和代表帧信息送至外接口模块，保存成利于存储、压缩的文件和数据库格式。本发明从视频流中提取出定位帧和代表帧信息，根据定位帧自动将视频划分为镜头，编目人员根据代表帧快速描述镜头内容，为视频的快速编目提供基础，提高了编目工作效率。

Description

一种适用于视频关键帧提取的代表帧定位方法

技术领域

本发明涉及视频图像中关键帧提取方法，特别是涉及一种适用于视频关键帧提取的代表帧定位方法，应用于视频图像处理领域。

背景技术

随着视频录制技术的发展，视频媒体的管理成为一项十分复杂的任务。为了保证视频资源便于检索和使用，人们通常会将各种视频格式导入到便于计算机管理的大容量存储介质中，如硬盘或磁带库，然后对视频进行编目，将视频标记分为若干个镜头，并对每一个镜头进行文字描述。关键帧是用于描述一个镜头主要内容的一帧或若干帧图像，通过对视频镜头提取关键帧可以大大减少视频索引的数据量，同时也为视频检索和浏览提供了一个组织框架。关键帧的提取对于视频分析、视频索引和检索的建立等具有相当重要的作用。提取关键帧的方法目前一般采用保守的原则，宁可提取错误的关键帧也不能遗漏关键帧。实际操作中，为准确找出关键帧，需要编目人员反复查看视频，划分镜头和视频描述的工作往往会耗费大量的人力和时间。

典型的关键帧提取方法有基于镜头边界的提取方法、基于内容分析的提取方法、基于运动分析的提取方法、基于聚类的提取方法等。这些方法从不同的角度优化和改进视频的关键帧提取算法，然而，在媒体资源管理系统中，为完整的描述每一个镜头的内容，需要编目人员完整观看一遍镜头的内容，否则容易漏掉镜头中的内容，这就给编目工作人员带来不便，使工作耗时长，工作的效率低下。

从检索和编目的角度考虑，如果在从视频中检索镜头时，能用关键帧代表镜头，作用类似于文本检索中的关键词，或者将大量的镜头划分和代表帧提取的工作都交给计算机自动完成，只需人工对划分完成的结果进行少量纠正和总结，从而获得快速的编目手段。这些都是目前关键帧提取方法中需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种适用于视频关键帧提取的代表帧定位方法。本发明在分析视频关键帧特点的基础上，通过帧差判定、阈值比较等方法，结合编目系统中对关键帧的应用要求，实现一种适用于视频关键帧提取的代表帧定位方法。

一种适用于视频关键帧提取的代表帧定位方法，包含以下步骤：

1)定位帧提取模块：对获取到的视频流数据，绘制帧差曲线，计算出平均帧差，根据帧差与阈值的比较进行定位帧的判定。

2)代表帧判定模块：通过一次分析视频和或两次分析视频的方法进行代表帧的判定。

3)代表帧生成模块：通过判断当前帧差是否超过了指定的代表帧阈值，是则生成代表帧。

4)保存接口模块：把定位帧信息和代表帧信息送至外接口模块，保存成利于存储、压缩的文件和数据库格式。

所述步骤1)提取定位帧的具体步骤：

1.1)计算颜色差：两种颜色的差异值，可以是某一颜色分量的差异值，也可以是几种或所有颜色分量的矢量。

1.2)计算帧差：两帧中对应的所有像素或以某种方式分布的部分像素的颜色差的平均值。

1.3)计算帧差曲线：使用时间或者帧序号作为X坐标，对应帧与前一相邻帧的帧差作为Y坐标，形成二维坐标曲线。

1.4)判定定位帧：当帧差较大并且超过高阈值得第一个帧为定位帧；若帧差介于高低阈值之间，则根据帧差与平均帧差的比值确定是否是定位帧。

所述步骤2)判定代表帧的具体方法：若当前帧不是定位帧，则可进一步判定是否是代表帧，具体方法有一次分析视频和或二次分析视频两种。一次分析视频主要为了提高效率，单精度低；二次分析视频方法采用提前预测的谷值的方法提取关键帧，精度高。

一次分析视频方法：

从镜头开始的定位帧计算出一个参考帧差，对于后续的每一帧，判断该帧的帧差与参考帧差之比是否低于下降阈值，可分成两种情况：

2.1)低于下降阈值：生成预测代表帧，确定当前为降势。

2.2)不低于下降阈值：进一步判断帧差是否在变大，来确定曲线的变化趋势。根据当前帧差是否比前一帧差大可分成两种情况：

2.2.1)当前帧差比前一帧差大：如果当前已是升势，则生成新的峰值，如果当前是降势，则判断当前帧差与最近的关键帧的帧差之比是否大于指定阈值。

2.2.2)当前帧差不比前一帧差大：根据当前帧的辅助特征作进一步判断。

二次分析视频方法：

在一次分析视频完成后，根据各谷值帧差与距其最近的峰值的帧差之比是否低于指定的下降阈值，可分为以下两种情况：

2.1)低于阈值：此时可判断为代表帧；

2.2)不低于阈值：此时谷值不作为代表帧。

生成代表帧的方法：

判断当前帧差是否超过了指定的代表帧阈值，如果已超出则不生成代表帧；如果没超出，则进一步判断当前帧与最近的关键帧相差的帧数是否大于指定的阈值，可分为：

3.1)大于指定阈值：不生成代表帧；

3.2)不大于指定阈值：判断当前镜头内是否已有代表帧，可分为：

3.2.1)已有代表帧，则使用辅助方法判断当前帧与前一代表帧相似，如果相似度高，则不生成新代表帧；否则可以确定生成新代表帧。

3.2.2)如果当前镜头内没有代表帧，则直接生成代表帧。

最后，生成代表帧时还需要检查是否有预测的代表帧存在，如果有就删除。保存代表帧时，需要保存帧的位置和用于媒资检索的缩略图数据。

本发明的优点：

本发明从视频流中提取出定位帧和代表帧信息，根据定位帧自动将视频划分为镜头，编目人员根据代表帧快速描述镜头内容，为视频的快速编目提供基础，代表帧还可用于对视频内容进行检索。

同时，本发明将大量的镜头划分和代表帧提取的工作都交给计算机自动完成，只需人工对划分完成的结果进行少量纠正和总结，提供了一种快速的编目手段。减少了编目工作时间，提高了编目工作效率。

附图说明

图1为本发明的方法的总体流程图

图2为本发明的定位帧提取模块流程图

图3为本发明的代表帧判断模块流程图

图4为本发明的代表帧生成模块流程图

图5为本发明的关键帧在媒资系统中的应用方案流程图

具体实施方式

本发明提出的一种适用于视频关键帧提取的代表帧定位方法，下面结合附图对实施例详细说明。如图1所示，代表帧提取模块包括代表帧判定模块，代表帧生成模块。本发明主要特性体现在定位帧提取模块和代表帧提取模块。视频流首先进入定位帧提取模块，提取到定位帧后继续进入到代表帧提取模块，进行代表帧的提取。提取的定位帧和代表帧信息均保存到接口模块中，应用于媒体资源的后续操作，与此同时，编目者根据定位帧自动将视频划分为镜头，更具代表帧快速描述镜头内容，为视频的快速编目提供基础。

定位帧提取模块如图2所示，首先对数据流信息进行帧差的计算并加以保存，计算出平均帧差并绘制帧差曲线图。接下来进行比较判断，首先判断是否影片初始：是则提取出第一帧作为定位帧，否则继续判断帧差是否超出高阈值：是则提取第一个超过阈值的帧差所对应的左边第一帧为定位帧，否则继续判断帧差是否超出低阈值，同时与平均帧差之比要大于变化阈值：是则提取满足条件的第一个帧差所对应的左边第一帧为定位帧，否则将进入代表帧判断模块。

在定位帧提取模块中帧差曲线的绘制步骤具体如下：

1)计算颜色差：从视频流中选取两种颜色，并计算这两种颜色的差异值。

2)计算帧差：以帧序号为依据，对应帧与前一相邻帧所对应的所有像素颜色差的平均值，即给对应帧的帧差值。

3)计算帧差曲线：使用时间或者帧序号作为X坐标，对应帧与前一相邻帧的帧差作为Y坐标，形成二维坐标曲线。

当镜头中存在人脸或者在特定区域内有规则的字符存在时，镜头的运动矢量小，相应的权值高，即阈值大。

如图3所示代表帧判定模块的具体实现方法：在定位帧提取模块中如果当前帧不是定位帧，则可进一步判定是否是代表帧，具体方法有一次分析视频和或二次分析视频两种。一次分析视频主要为了提高效率，但精度低；二次分析视频方法采用提前预测的谷值的方法提取关键帧，精度高。

一次分析视频方法：

从镜头开始的定位帧计算出一个参考帧差，对于后续的每一帧，判断该帧的帧差与参考帧差之比是否低于下降阈值，若低于下降阈值，生成预测代表帧，确定当前为降势；若不低于下降阈值，进一步判断当前帧差是否在变大，来确定曲线的变化趋势。

判断帧差曲线中当前帧差是否比前一帧差大可分成两种情况：

当前帧差比前一帧差大：如果当前已是升势，则生成新的峰值，如果当前是降势，则判断当前帧差与最近的关键帧的帧差之比是否大于指定阈值；当前帧差不比前一帧差大：则认为当前帧处理完毕，不作为代表帧处理。

二次分析视频方法：

在一次分析视频完成后，判断各谷值帧差与距其最近的峰值的帧差之比是否低于指定的下降阈值，若低于阈值，此时可判断为代表帧；若不低于阈值：此时谷值不作为代表帧。

图4代表帧生成模块：首先获取帧数据，判断当前帧差是否超过了指定的代表帧阈值，如果已超出则不生成代表帧；如果没超出，则进一步判断当前帧与最近的关键帧相差的帧数是否大于指定的阈值，若大于指定阈值则不生成代表帧；若不大于指定阈值：判断当前镜头内是否已有代表帧：当已有代表帧时，则使用直方图差值分析方法判断当前帧与前一代表帧相似，如果相似度高，则不生成新代表帧，否则可以确定生成新代表帧。当前镜头内没有代表帧，则可直接生成代表帧。

图5说明了本发明在媒资系统中的一个应用方案：编目者在使用时，首先把视频流一次输入到定位帧提取模块、代表帧判定模块和代表帧生成模块，编目者利用提取出的定位帧和代表帧将视频划分成镜头，在描述每个镜头时，可以在未观看视频的情况下从代表帧了解到镜头的基本内容，大大加快了编目的速度。

当编目使用中需要某类型的镜头时，首先使用文字搜索技术对镜头或关键的描述进行搜索，查找到可能有用的镜头，再分别查看每个镜头的代表帧，即可较为准确的判断镜头的可用性。如果确定某段视频可用时，再利用定位帧确定镜头的起始点和结束点，准确下载视频片段使用。

Claims (3)

1.一种适用于视频关键帧提取的代表帧定位方法，其特征在于，包括：

1)定位帧提取模块对获取到的视频流数据，绘制帧差曲线，计算出平均帧差，根据帧差与阈值的比较进行定位帧的判定和提取；

2)代表帧判定模块通过一次分析视频和或二次分析视频的方法进行代表帧的判定；

若当前帧不是定位帧，则进一步判定是否是代表帧，具体方法为一次分析视频方法和或二次分析视频的方法，

一次分析视频方法：

从镜头开始的定位帧计算出一个参考帧差，对于后续的每一帧，判断该帧的帧差与参考帧差之比是否低于下降阈值，分成两种情况：

1)低于下降阈值：生成预测代表帧，确定当前为降势；

2)不低于下降阈值：进一步判断帧差是否在变大，来确定曲线的变化趋势；

当前帧差比前一帧差大：如果当前已是升势，则生成新的峰值，如果当前是降势，则判断当前帧差与最近的关键帧的帧差之比是否大于指定阈值；

当前帧差不比前一帧差大：则认为当前帧处理完毕，不作为代表帧处理；

二次分析视频方法：

在一次分析视频完成后，判定各谷值帧差与距其最近的峰值的帧差之比是否低于指定的下降阈值，低于指定的下降阈值，判断为代表帧；不低于指定的下降阈值，此时谷值不作为代表帧；

3)代表帧生成模块通过判断当前帧差是否超过了指定的代表帧阈值以及当前帧与最近的关键帧相差的帧数是否大于指定的阈值，来决定是否生成代表帧，具体步骤如下：

a.判断当前帧差是否超过了指定的代表帧阈值，如果已超出则不生成代表帧；

b.如果没超出，则进一步判断当前帧与最近的关键帧相差的帧数是否大于指定的阈值：若大于指定阈值，不生成代表帧；若不大于指定阈值，则进一步判断当前镜头内是否已有代表帧；

4)保存接口模块把定位帧信息和代表帧信息送至外接口模块，保存成利于存储、压缩的文件和数据库格式。

2.如权利要求1所述的一种适用于视频关键帧提取的代表帧定位方法，其特征在于，所述步骤1)中绘制帧差曲线，对定位帧判定和提取，具体包括以下步骤：

a.计算颜色差：从视频流中选取两种颜色，并计算这两种颜色的差异值；

b.计算帧差：以帧序号为依据，对应帧与前一相邻帧所对应的所有像素颜色差的平均值，即为对应帧的帧差值；

c.计算帧差曲线：使用时间或者帧序号作为X坐标，对应帧与前一相邻帧的帧差作为Y坐标，形成二维坐标曲线；

d.判定定位帧：当帧差较大并且超过高阈值的第一个帧为定位帧；若帧差介于高低阈值之间，则根据帧差与平均帧差的比值确定是否是定位帧。

3.如权利要求1所述的一种适用于视频关键帧提取的代表帧定位方法，其特征在于，判定当前镜头内是否有代表帧的步骤：

已有代表帧，则使用直方图差值分析方法判断当前帧与前一代表帧的相似度，如果相似度高，则不生成新代表帧；否则确定生成新代表帧；

如果当前镜头内没有代表帧，则直接生成代表帧。

Images