CN106559714A - 一种面向数字视频版权保护的关键帧提取方法 - Google Patents

Abstract

本发明涉及一种面向数字视频版权保护的关键帧提取方法，该方法基于帧差法，具体包括以下步骤：第一步，对数字视频进行分解和预处理；第二步，根据原始视频帧之间的颜色特征差异得到关键帧备选序列；第三步，根据关键帧备选序列帧之间的结构特征差异得到关键帧序列；第四步，通过判断关键帧的数量来确保关键帧的有效性。与现有技术相比，本发明具有不考虑镜头分割，直接从一段视频中提取关键帧，基于颜色和结构信息进行两步关键帧提取，快速、全面、准确提取视频关键帧等优点。

Description

一种面向数字视频版权保护的关键帧提取方法

技术领域

本发明涉及一种数字视频分析与数字视频版权保护技术领域，尤其是涉及一种面向数字视频版权保护的关键帧提取方法。

背景技术

随着视频数据的急剧增长，视频的数字版权保护也得到了越来越多的重视。在传统的视频版权保护中，数字水印的方法得到了有效的发展和应用。但数字水印的方法也有很多的局限性，例如数字水印的所属问题，数字水印的重复构建问题等等。但这种方法在网络增长的情况下并不适应。

针对原有水印添加方法计算量大，且程序编写过程复杂的缺点，中国专利CN103458320A公开了一种基于水印技术的版权控制系统，系统包括前台页面模块、调度模块、流媒体模块、转码及水印添加模块、数据库模块和存储模块，所述的调度模块用以接收所述的前台页面模块发送的任务信息并确定执行相应的策略调度转码和流媒体服务，所述的转码及水印添加模块用以将视频转换成YUV向量格式的图片并添加用0、1比特信号表示的水印信息。但该方法仍然存在很多局限性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种面向数字视频版权保护的关键帧提取方法。

本发明的目的可以通过以下技术方案来实现：

一种面向数字视频版权保护的关键帧提取方法，其特征在于，该方法基于帧差法，具体包括以下步骤：

第一步，对数字视频进行分解和预处理；

第二步，根据原始视频帧之间的颜色特征差异得到关键帧备选序列；

第三步，根据关键帧备选序列帧之间的结构特征差异得到关键帧序列；

第四步，通过判断关键帧的数量来确保关键帧的有效性。

该方法直接从数字视频中提取关键帧，组成视频的关键帧序列。

第二步中采用计算视频帧间颜色直方图特征差值的方法来快速形成关键帧备选序列，采用RGB颜色空间并根据相邻帧之间颜色直方图的差异计算每帧的颜色直方图。

第三步具体步骤包括：

S1、用协方差作为结构相似程度的度量，σ_xy为图像块x,y的相关系数，也即x和y的协方差，计算公式为：

其中N为图像块的数量，μ_i为图像块的平均值；

S2、将备选关键帧序列的前一帧作为原始图像，将相邻的后一帧作为测试图像来计算两者之间的结构相似分量，根据两幅图像中相同位置处的对应图像块x,y视成两大输入信号，计算其结构相似度分量s(x,y)：

C＝((KL)²/2),K＜＜1,L∈(0,255]，σ_x、σ_y分别为图像块x和y的方差，将图像块的大小设置为8*8像素值；

S3、若分量值s(x,y)小于设定阈值，则说明两者之间内容信息的区分度不大，不必同时作为关键帧予以保留，仅提取其中一帧作为优化后的关键帧。

第四步中具体步骤为，若一段视频没有提取出关键帧，将直接从原始视频中按照等时长的方式提取相应数量的关键帧。

第四步后对最终提取的关键帧进行评价，评价指标包括：灰度值在可以让观看者主观感知视频内容的范围内；关键帧的时间顺序与原视频中的帧的时间顺序保持一致；并确保每隔一段时长即存在一帧关键帧。

与现有技术相比，本发明具有以下优点：

(1)为了提高运算效率，此方法与传统的镜头分割方法不同的地方在于，传统方法是对一段视频先进行镜头分割，再从每个镜头内进行提取关键帧，进而组成该视频的关键帧序列。在本方法中，不考虑镜头分割，直接从一段视频中提取关键帧，进而组成该视频的关键帧序列。

(2)基于颜色特征的关键帧数提取方法，对于视频序列中的较为明显的视频内容转换具有较好的判断能力。

(3)对提取到的关键帧进行基于结构特征的优化，即对备选关键帧进行相邻帧之间的结构相似度判断，从而减少关键帧的过度冗余。

(4)视频关键帧所表达的信息能够涵盖整段检测视频的主要内容，符合面向数字视频版权保护的实际需求。

附图说明

图1为本发明面向数字视频版权保护的关键帧提取总体方案；

图2为本发明基于颜色特征的关键帧备选序列的生成流程图；

图3为本发明基于结构特征的关键帧序列优化流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

图1为面向数字视频版权保护的关键帧提取总体方案。首先对数字视频进行视频帧分解。由于从网络上下载得到的视频格式众多，包括f4v、flv、mp4、ts等，为了提高视频关键提取算法的普适性，在本发明中不考虑视频的具体格式和码流结构，对视频解码后进行视频帧的分解处理。从图1可知，本方案对关键帧的提取主要分为两步，首先根据原始视频帧之间的颜色特征差异得到关键帧备选序列，然后根据关键帧备选序列帧之间的结构特征差异得到关键帧序列，最后通过判断关键帧的数量来确保关键帧的有效性。

一般来讲，广播电视节目需要传达一定的视觉内容，因而过暗或过亮的视频图像不符合这一主观感受。为了与节目预告片等节目加以区分，必须保证提取出的关键帧之间的时间关系与原视频中各帧之间的前后关系保持一致。由于网上盗播的视频经常被分割成较小的视频文件进行播放，因而在母带的关键帧提取中应当允许适当的冗余，确保每隔一段时长即存在一帧关键帧，例如在选秀节目中每隔一个选手的比赛情况即可能出现主持人点评的画面，那么在关键帧提取的过程中，最好每隔一段时间即保留一幅以主持人为关键信息的视频帧。

基于以上考虑，通过分析视频数据中存在的空间冗余和时间冗余，采用帧差法来提取关键帧，值得一提的是，为了提高运算效率，此方法与传统的镜头分割方法不同的地方在于，传统方法是对一段视频先进行镜头分割，再从每个镜头内进行提取关键帧，进而组成该视频的关键帧序列。在本方法中，不考虑镜头分割，直接从一段视频中提取关键帧，进而组成该视频的关键帧序列。

在本发明中对关键帧进行了定义，在视频版权保护中一段视频的关键帧应满足如下条件：

1)灰度值在一定范围内，即可以让观看者主观感知视频内容；

2)关键帧的时间顺序与原视频中的帧的时间顺序保持一致；

3)存在适当冗余，确保每隔一段时长即存在一帧关键帧。

图2为基于颜色特征的关键帧备选序列的生成，主要采用计算视频帧间颜色直方图特征差值的方式来快速挑选备用的关键帧。

颜色是图像的重要属性之一，常被用于表征图像的统计信息，甚至对于一些指定域的视频，颜色信息可以直接表达语义，如足球视频中，绿色通常代表草地。此外，不同的颜色空间对人的感官视觉的感知效果也不一致。在本发明中，为了在视频关键帧提取效果与速度之间取得有效平衡，对视频采用RGB颜色空间并计算每帧的颜色直方图，采用相邻帧之间颜色直方图的差异

基于颜色特征的关键帧数提取方法，对于视频序列中的较为明显的视频内容转换具有较好的判断能力，但是对于渐变效果或者颜色、灯光的些许变化的检测效果并不算理想，原因在于颜色直方图对于姿色渐变和灯光渐变等效果非常敏感，为几帧到十几帧之间虽然视频内容变化不大，相邻帧之间变化较小，但颜色直方图特征会发生明显的改变。正如本发明前文中强调的，为了得到快速有效的关键帧提取效果，并不会直接对视频进行镜头分割，虽然诸如运动估计、光流分析、运动建模等方法的分割效果较好，但它们的时间复杂性也较高，这些不足都严重影响了在视频版权监测中的实际应用。

图3为基于结构特征的关键帧序列优化。本方案首先采用基于颜色特征的备选关键帧提取，再对提取到的关键帧进行基于结构特征的优化，即对备选关键帧进行相邻帧之间的结构相似度判断，从而减少关键帧的过度冗余。

结构相似度方法是来源于图像质量评价的评判方法，是一种衡量两幅图像相似度的指标，值越接近于1，表明两幅图像的质量越相近。结构相似性理论认为自然图像信号是高度结构化的，即像素间有很强的相关性，特别是空域中最接近的像素，这种相关性蕴含着视觉场景中物体结构的重要信息。人眼视觉系统(HVS)的主要功能是从视野中提取结构信息，可以用对结构信息的度量作为图像感知质量的近似。在本方案中，将结构相近这一概念引入到关键帧优化的过程，从而去除基于颜色特征关键帧提取对结构信息不敏感这一不足。

本方案仅采用结构相似度指数结构相似这一分量。作为结构相似性理论的实现，从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，用协方差作为结构相似程度的度量。其主要计算过程是:

用协方差作为结构相似程度的度量，σ_xy为图像块x,y的相关系数，也即x和y的协方差，计算公式为：

将备选关键帧序列的前一帧作为原始图像，将相邻的后一帧作为测试图像来计算两者之间的结构相似分量，根据两幅图像中相同位置处的对应图像块x,y视成两大输入信号，计算其结构相似度分量s(x,y)：

C＝((KL)²/2),K＜＜1,L∈(0,255]，σ_x、σ_y分别为x和y的方差；

若分量值s(x,y)较小，则说明两者之间内容信息的区分度不大，不必同时作为关键帧予以保留，可以仅提取其中一帧作为优化后的关键帧。

经过基于颜色特征的备选关键帧提取和基于结构特征的关键帧优化后，会判断关键帧的数量是否符合需求。若一段视频没有提取出关键帧，将直接从原始视频中按照等时长的方式提取相应数量的关键帧。一般这种情况出现在对无分割镜头的介绍片中，如新闻广播中主播播报一段新闻的镜头，视频帧之间没有明显的颜色特征和结构特征的变化。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种面向数字视频版权保护的关键帧提取方法，其特征在于，该方法基于帧差法，具体包括以下步骤：

第一步，对数字视频进行分解和预处理；

第二步，根据原始视频帧之间的颜色特征差异得到关键帧备选序列；

第三步，根据关键帧备选序列帧之间的结构特征差异得到关键帧序列；

第四步，通过判断关键帧的数量来确保关键帧的有效性。

2.根据权利要求1所述的一种面向数字视频版权保护的关键帧提取方法，其特征在于，该方法直接从数字视频中提取关键帧，组成视频的关键帧序列。

3.根据权利要求1所述的一种面向数字视频版权保护的关键帧提取方法，其特征在于，第二步中采用计算视频帧间颜色直方图特征差值的方法来快速形成关键帧备选序列，采用RGB颜色空间并根据相邻帧之间颜色直方图的差异计算每帧的颜色直方图。

4.根据权利要求1所述的一种面向数字视频版权保护的关键帧提取方法，其特征在于，第三步具体步骤包括：

S1、用协方差作为结构相似程度的度量，σ_xy为图像块x,y的相关系数，也即x和y的协方差，计算公式为：

${\mathrm{\σ}}_{xy}=\frac{1}{N-1}\underset{i-1}{\overset{N}{\Σ}}(x_i-{\mathrm{\μ}}_i)(y_i-{\mathrm{\μ}}_i);$

S2、将备选关键帧序列的前一帧作为原始图像，将相邻的后一帧作为测试图像来计算两者之间的结构相似分量，根据两幅图像中相同位置处的对应图像块x,y视成两大输入信号，计算其结构相似度分量s(x,y)：

$s(x,y)=\frac{{\mathrm{\σ}}_{xy}+C}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y+C}$

C＝((KL)²/2),K＜＜1,L∈(0,255]，σ_x、σ_y分别为图像块x和y的方差，将图像块的大小设置为8*8像素值；

S3、若分量值s(x,y)小于设定阈值，则说明两者之间内容信息的区分度不大，不必同时作为关键帧予以保留，仅提取其中一帧作为优化后的关键帧。

5.根据权利要求1所述的一种面向数字视频版权保护的关键帧提取方法，其特征在于，第四步中具体步骤为，若一段视频没有提取出关键帧，将直接从原始视频中按照等时长的方式提取相应数量的关键帧。

6.根据权利要求1所述的一种面向数字视频版权保护的关键帧提取方法，其特征在于，第四步后对最终提取的关键帧进行评价，评价指标包括：灰度值在可以让观看者主观感知视频内容的范围内；关键帧的时间顺序与原视频中的帧的时间顺序保持一致；并确保每隔一段时长即存在一帧关键帧。