CN107832694B - 一种视频关键帧提取方法 - Google Patents

Abstract

本发明公开了一种视频关键帧提取算法，属于信息安全技术领域。该算法首先计算当前输入视频流中某帧的水平方向的黑边宽度和垂直方向的黑边高度，以及该帧有效图像区域的宽度和高度；然后计算该帧的有效图像区域的特征信息，并与上一帧比较，计算差异度；差异度大于阈值时，将该差异帧中的数据与缓存区中的每帧数据分别比较，计算该帧的相似度；该差异帧的相似度大于阈值时，将该差异帧与缓存区中的该某帧视为相似，将非差异帧计数加1，达到非差异帧累计数最大值，输出该帧为差异帧并写入缓存区，统计该帧的Y值的方差值和UV值的方差值，并输出关键帧和空白帧。本发明算法通过C语言实现，可应用于多视频多线程的调用，适应性强，高效快速。

Description

一种视频关键帧提取方法

技术领域

本发明属于信息安全技术领域，涉及视频内容信息的提取，具体来说，是一种视频关键帧提取方法。

背景技术

随着Internet的应用和普及，多媒体信息检索系统对社会各领域产生越来越大的影响。传统的信息检索采用基于文本的检索方式，查询时需要说明文本特征，要求用户对文本特征的描述具有一定的准确性和规范性。但由于视频数据的丰富内涵以及人们对视频内容进行抽取的主观性，视频信息难以用几个关键词描述。因此，基于内容的视频检索应运而生。

传统的基于内容的视频检索方法是将视频作为帧图像的集合，运用图像检索的方法逐帧进行检索，这种方法的缺点是需要处理大量的图像信息，对信息传输和计算造成很大的困难。在视频帧序列中，包含有关键内容节点的帧可以简单的概括视频的主要内容，这些帧成为视频的关键帧，通过提取关键帧，可以极大的减少后续处理的数据量。

发明内容

本发明提供一种视频关键帧提取方法，通过在各类视频的所有帧中提取出能够反映视频内容信息的关键帧，可以有效的降低视频分析时的数据量，提高视频处理效率。

具体步骤如下：

步骤一、针对当前的输入视频流中的某帧，经黑边检测模块计算得到水平方向的黑边宽度和垂直方向的黑边高度；

具体计算过程如下：

对输入视频流图像的上下边逐行检测黑边范围，计算得到每行黑边的高度，取高度最大值作为垂直方向上的黑边高度，对图像左右边逐列检测黑边范围，计算得到每列黑边的宽度，取宽度最大值作为水平方向的黑边宽度。

步骤二、利用垂直方向的黑边高度和水平方向的黑边宽度，计算该帧有效图像区域的宽度和高度；

具体计算如下：

有效图像区域的起始点水平方向坐标等于水平方向黑边宽度，垂直方向的坐标等于垂直方向黑边高度，有效区域的宽度等于原图像宽减去两倍的水平方向黑边宽度，有效区域的高度等于原图像高减去两倍的垂直方向黑边高度。

步骤三、将该帧的有效图像区域的长宽分别等分成16块，计算每块的Y值均值和UV差值的均值，并将256块区域的Y值均值和UV差值的均值作为该帧的特征信息。

针对该帧的有效图像区域，将长宽均等分分割为16块，得到256块区域，分别计算每块的Y值均值和UV差值的均值，作为该帧的特征信息。

步骤四、用帧差异比较模块将该帧的特征信息与前一帧的特征信息比较，并计算该帧的差异度；

计算差异度的过程如下：

步骤401、将两帧的256块区域一一对应，将每个区域中的Y值分别比较；

步骤402、针对某对应区域块，将两个区域块中的Y值均值作差，得到差值绝对值；

步骤403、计算该两个对应区域块中的Y值均值的平均值；

步骤404、计算差值绝对值与平均值的比例，并判断比例值是否大于预设值，如果是，定义该区域块的差异值为1，否则该区域块的差异值为0；

步骤405、针对该帧，利用256个区域块的差异值加权得到该帧的差异度。

256个区域块中每个区域块对应各自的权值；

步骤五、判断该帧的差异度是否大于阈值；如果是，则该帧视为差异帧，进入步骤六；否则该帧视为无差异帧，进入步骤八；

步骤六、将该差异帧中的数据与缓存区中的每帧数据分别比较，计算该帧的相似度；

计算相似度的过程如下：

步骤601、选择缓存区域中的某帧，将该差异帧与该某帧做比较，将256个区域中的Y值分别比较；

步骤602、针对某对应区域块，将两个区域块中的Y值均值作差，得到差值绝对值；

步骤603、计算该两个对应区域块中的Y值均值的平均值；

步骤604、计算差值绝对值与平均值的比例，并判断比例值是否小于预设值，如果是，定义该区域块的相似值为1，否则该区域块的相似值为0；

步骤605、针对该差异帧，利用256个区域块的相似值加权得到该帧的相似度。

256个区域块中每个区域块对应各自的权值；

步骤七、判断该差异帧的相似度是否大于阈值，如果是，则将该差异帧与缓存区中的该某帧视为相似，进入步骤八；否则，将该差异帧的数据写入到缓存区，并输出该帧存在差异。

步骤八、将非差异帧计数加1，并判断计数是否达到非差异帧累计数最大值，如果是，输出该帧为差异帧并写入缓存区，进入步骤九；否则，输出该帧为无差异帧。

步骤九、利用空白帧检测模块分别统计该帧的Y值的方差值和UV值的方差值，并输出关键帧和空白帧；

首先，统计256块区域的Y值的方差值，并判断该方差值是否大于阈值，如果是，则将该帧视为关键帧输出；否则，统计256块区域的UV值的方差值，判断该方差值是否大于阈值，如果是，则将该帧视为关键帧输出，否则，将该帧视为空白帧输出。

本发明的优点及带来的有益效果在于：本发明所有模块均通过C语言实现，可应用于多视频多线程的调用，适应性强，高效快速。

附图说明

图1为本发明视频关键帧提取方法的整体结构图；

图2为本发明视频关键帧提取方法的流程图；

图3为本发明的黑边检测模块结构图；

图4为本发明的空白帧检测模块结构图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

本发明一种视频关键帧提取方法的整体结构，如图1所示，对于当前的输入视频流中的某帧，经过黑边检测模块计算该帧的特征信息，然后经帧差异比较模块判断是否存在差异，如果是，进一步经过空白帧检测模块区分关键帧或非关键帧，否则，直接将无差异帧输出为非关键帧，最终得到视频流中的该帧是否为关键帧。

具体地，如图2所示，本发明的实施步骤如下：

步骤一、针对当前的输入视频流中的某帧，经黑边检测模块计算得到水平方向的黑边宽度和垂直方向的黑边高度；

黑边检测模块具体运算过程，如图3所示，如下：

针对输入视频流图像，逐行遍历上边缘像素点，直至检测到非黑边，计算出上边缘到非黑边之间的距离；同理，逐行遍历下边缘像素点，直至检测到非黑边，计算出下边缘到非黑边之间的距离；取两距离中的最大值作为上下边的黑边高度，图像的宽度作为黑边的宽度；

逐列遍历左边缘像素点，直至检测到非黑边，计算出左边缘到非黑边之间的距离；同理，逐列遍历右边缘像素点，直至检测到非黑边，计算出右边缘到非黑边之间的距离；取两距离中的最大值作为左右边的黑边宽度，图像的高度作为黑边的宽度；

步骤二、利用垂直方向的黑边高度和水平方向的黑边宽度，计算该帧有效图像区域的宽度和高度；

具体计算如下：

有效图像区域的起始点水平方向坐标等于水平方向黑边宽度，垂直方向的坐标等于垂直方向黑边高度，有效区域的宽度等于原图像宽减去两倍的水平方向黑边宽度，有效区域的高度等于原图像高减去两倍的垂直方向黑边高度。

步骤三、将该帧的有效图像区域的长宽分别等分成16块，计算每块的Y值均值和UV差值的均值，并将256块区域的Y值均值和UV差值的均值作为该帧的特征信息。

针对该帧计算后的有效图像区域进行长宽16*16等分分割，得到256块区域，分别计算每块的Y值均值和UV差值的均值，作为该帧的特征信息。

步骤四、用帧差异比较模块将该帧的特征信息与前一帧的特征信息比较，并计算该帧的差异度；

计算差异度的过程如下：

步骤401、将两帧的256块区域一一对应，将每个区域中的Y值分别比较；

步骤402、针对某对应区域块，将两个区域块中的Y值均值作差，得到差值绝对值；

步骤403、计算该两个对应区域块中的Y值均值的平均值；

步骤404、计算差值绝对值与平均值的比例，并判断比例值是否大于预设值，如果是，定义该区域块的差异值为1，否则该区域块的差异值为0；

步骤405、针对该帧，利用256个区域块的差异值加权得到该帧的差异度。

256个区域块中每个区域块对应各自的权值；

步骤五、判断该帧的差异度是否大于阈值；如果是，则该帧视为差异帧，进入步骤六；否则该帧视为无差异帧，进入步骤八；

步骤六、将该差异帧中的数据与缓存区中的每帧数据分别比较，计算该帧的相似度；

计算相似度的过程如下：

步骤601、选择缓存区域中的某帧，将该差异帧与该某帧做比较，将256个区域中的Y值分别比较；

步骤602、针对某对应区域块，将两个区域块中的Y值均值作差，得到差值绝对值；

步骤603、计算该两个对应区域块中的Y值均值的平均值；

步骤604、计算差值绝对值与平均值的比例，并判断比例值是否小于预设值，如果是，定义该区域块的相似值为1，否则该区域块的相似值为0；

步骤605、针对该差异帧，利用256个区域块的相似值加权得到该帧的相似度。

256个区域块中每个区域块对应各自的权值；

步骤七、判断该差异帧的相似度是否大于阈值，如果是，则将该差异帧与缓存区中的该某帧视为相似，进入步骤八；否则，将该差异帧的数据写入到缓存区，并输出该帧存在差异。

步骤八、将非差异帧计数加1，并判断计数是否达到非差异帧累计数最大值，如果是，输出该帧为差异帧并写入缓存区，进入步骤九；否则，输出该帧为无差异帧。

步骤九、利用空白帧检测模块分别统计该帧的Y值的方差值和UV值的方差值，并输出关键帧和空白帧；

如图4所示，首先，统计256块区域的Y值的方差值，并判断该方差值是否大于阈值，如果是，则将该帧视为关键帧输出；否则，继续统计256块区域的UV值的方差值，判断该方差值是否大于阈值，如果是，则将该帧视为关键帧输出，否则，将该帧视为空白帧输出。

Claims (4)

1.一种视频关键帧提取方法，其特征在于，具体步骤如下：

步骤一、针对当前的输入视频流中的某帧，经黑边检测模块计算得到水平方向的黑边宽度和垂直方向的黑边高度；

步骤二、利用垂直方向的黑边高度和水平方向的黑边宽度，计算该帧有效图像区域的宽度和高度；

步骤三、将该帧的有效图像区域的长宽分别等分成16块，计算每块的Y值均值和UV差值的均值，并将256块区域的Y值均值和UV差值的均值作为该帧的特征信息；

步骤四、用帧差异比较模块将该帧的特征信息与前一帧的特征信息比较，并计算该帧的差异度；

步骤五、判断该帧的差异度是否大于阈值；如果是，则该帧视为差异帧，进入步骤六；否则该帧视为无差异帧，进入步骤八；

步骤六、将该差异帧中的数据与缓存区中的每帧数据分别比较，计算该帧的相似度；

计算相似度的过程如下：

步骤601、选择缓存区域中的任意帧，将该差异帧与该任意帧做比较，将256个区域中的Y值分别比较；

步骤602、针对某对应区域块，将两个区域块中的Y值均值作差，得到差值绝对值；

步骤603、计算该两个对应区域块中的Y值均值的平均值；

步骤604、计算差值绝对值与平均值的比例，并判断比例值是否小于预设值，如果是，定义该区域块的相似值为1，否则该区域块的相似值为0；

步骤605、针对该差异帧，利用256个区域块的相似值加权得到该帧的相似度；

256个区域块中每个区域块对应各自的权值；

步骤七、判断该差异帧的相似度是否大于阈值，如果是，则将该差异帧与缓存区中的该某帧视为相似，进入步骤八；否则，将该差异帧的数据写入到缓存区，并输出该帧存在差异；

步骤八、将非差异帧计数加1，并判断计数是否达到非差异帧累计数最大值，如果是，输出该帧为差异帧并写入缓存区，进入步骤九；否则，输出该帧为无差异帧；

步骤九、利用空白帧检测模块分别统计该帧的Y值的方差值和UV值的方差值，并输出关键帧和空白帧；

首先，统计256块区域的Y值的方差值，并判断该方差值是否大于阈值，如果是，则将该帧视为关键帧输出；否则，统计256块区域的UV值的方差值，判断该方差值是否大于阈值，如果是，则将该帧视为关键帧输出，否则，将该帧视为空白帧输出。

2.如权利要求1所述的一种视频关键帧提取方法，其特征在于，所述的步骤一中，水平方向的黑边宽度和垂直方向的黑边高度具体计算过程如下：

对输入视频流图像的上下边逐行检测黑边范围，计算得到每行黑边的高度，取高度最大值作为垂直方向上的黑边高度，对图像左右边逐列检测黑边范围，计算得到每列黑边的宽度，取宽度最大值作为水平方向的黑边宽度。

3.如权利要求1所述的一种视频关键帧提取方法，其特征在于，所述的步骤二中，有效图像区域的宽度和高度具体计算如下：

有效图像区域的起始点水平方向坐标等于水平方向黑边宽度，垂直方向的坐标等于垂直方向黑边高度，有效区域的宽度等于原图像宽减去两倍的水平方向黑边宽度，有效区域的高度等于原图像高减去两倍的垂直方向黑边高度。

4.如权利要求1所述的一种视频关键帧提取方法，其特征在于，步骤四中，所述的差异度的计算过程如下：

步骤401、将两帧的256块区域一一对应，将每个区域中的Y值分别比较；

步骤402、针对某对应区域块，将两个区域块中的Y值均值作差，得到差值绝对值；

步骤403、计算该两个对应区域块中的Y值均值的平均值；

步骤404、计算差值绝对值与平均值的比例，并判断比例值是否大于预设值，如果是，定义该区域块的差异值为1，否则该区域块的差异值为0；

步骤405、针对该帧，利用256个区域块的差异值加权得到该帧的差异度；

256个区域块中每个区域块对应各自的权值。

Images