CN102208026A - 一种数字视频指纹的提取方法 - Google Patents

Abstract

本发明公开了一种数字视频指纹提取方法，通过提取视频片段序列视觉感知特征的视频切片，分析视频切片的频域特征，有效利用视频内容间的时空相关性，利用二维离散小波变换(2D-DWT)变换对视频切片进行处理，提取二维离散小波变换变换中的水平细节分量系数或垂直细节分量系数作为指纹信息。水平细节分量系数或垂直细节分量系数反映了是视频内容变化对视觉感知的刺激，而非是某个时刻视频帧的低级特征，如颜色或灰度，因而对于不同视频格式和不同视频内容具有良好的鲁棒性。同时，视频切片均匀分布于整个视频片段中，它们反映了整个视频片段的内容变化，具有敏感性，因此它能满足视频内容识别和监控的需要和防范各种攻击。同时，这种方法大大减小了指纹的大小，提高了指纹提取的效率。因此，它的性能优于现有数字视频指纹提取方法。

Description

一种数字视频指纹的提取方法

技术领域

本发明属于通信信息安全技术领域，更为具体地讲，涉及一种数字视频指纹的提取方法。

背景技术

随着信息技术的飞跃发展，由于接入方式的增多，以及传输业务的丰富多样，方便了视频信息的存储，传输和拷贝，并使得视频信息的数量飞速增长。这使得对网络的“可管、可控、可信”的要求提出了更大的挑战，也对数字视频内容安全的监控提出了新的需求。

目前对非法广播信号监测主要还是采用指标测量加人工判断的方式，存在报警不准确、报警时间长、占用人员多等问题，这势必会造成内容监控的准确性、完整性、及时性、同步性等各方面难以达到预期效果。针对这些问题，研究视频内容安全监控技术，实现对篡改传播、非授权传播、非法传播等行为进行自动监测和有效控制，及时有效减少不良信息对社会公众造成的危害，从而提高网络的安全性和传播信息的可靠性，对维护网络和谐、乃至社会安定起着其极重要的作用，为国家网络与信息安全提供技术支撑。

针对数字视频内容识别与监控，现有的技术主要有以下几种：哈希转换技术、数字水印技术和数字指纹技术。如图1所示，它们主要是在关键帧或固定帧上进行特征的提取，用这些特征来反映视频内容。哈希转换不能解决两个问题：一是比特顺序的变化，二是文件格式的改变。数字水印则存在三方面问题：一是水印会改变视频本身内容，二是水印必须在视频发布前嵌入其中，而绝大部分现存视频没有水印，三是水印有可能被篡改。上述两种技术用于视频内容识别，在识别力、精确度、实用性与扩展性等方面存在一定的局限性，无法很好地满足信息安全、版权保护、内容监控等方面日益增长的需求。而数字指纹技术作为一种新兴的基于特征信息的认证技术应用于数字多媒体作品中，已经引起越来越多的研究者和相关企业的关注。数字指纹的优势很明显：第一，数字指纹的提取是基于内容本身特征，不会改变原有视频内容；第二，从视频数据中提取的数字指纹与内容唯一对应，且具有较强鲁棒性；第三，数字指纹较其他内容识别技术(如数字水印)，具有运算速度快、开销小、灵敏度高等特点，有助于实现快速匹配和认证。

近年来，在视频指纹提取方法方面，已经产生了一些典型的研究成果，按照提取的不同特征，他们主要被分为以下三类：利用粗糙特征提取，利用局部特征提取和利用全局特征提取。

①在基于粗糙特征指纹提取算法中，提取的粗糙特征代表了多媒体内容。例如：从视频序列中提取视觉媒体所拥有的特征用于联系媒体和它的源头；用一种有界坐标系统模型(BCS)的新颖视频片段去捕捉视频比较明显的内容或内容变化趋势。由于这种特征仅仅代表的是视频的近似内容，因此它们通常不能被精确的检测。

②在基于局部特征指纹提取算法中，提取时空域的特征作为指纹矢量。例如：匹配帧与帧间的兴趣点形成了角点轨迹，对应的局部特征描述了角点轨迹的行为；通过哈里斯兴趣点检测器检测兴趣点，从而形成了每个兴趣点周围局部区域的不同描述。这种特征常常可以实现较好的检测精度和鲁棒性，但是它的计算消耗相当高。

③在基于全局特征指纹提取算法中，这种特征从整个视频序列的每一帧中进行提取。例如：用序数测度法把视频序列转化为图像，并把每个图像分成N块，计算其序列，然后保存每块的平均灰度值；序数测度法也把应用扩展到区域运动，颜色和时空域分配的强度方面；还有用块组成的平均强度序列形成的序数测度。因为全局特征是从整个视频序列中进行计算，它能辨别视频序列是否拷贝并且复杂度低，所以它们通常不能用于一些局部的操作。

综合上述，视频内容要实现即时、同步地识别与监控，数字视频指纹必须满足下面两个要求，即一方面对因视频内容变化产生的视频特征具有敏感性，另一方面能快速提取并具有强鲁棒性。如何解决这一问题是视频内容识别与监控技术的核心。

发明内容

本发明的目的在于克服现有技术的不足，提供一种提取效率高，对不同视频内容具有敏感性、强鲁棒性的数字视频指纹提取方法。

为实现上述目的，本发明数字视频指纹的提取方法，其特征在于，包括以下步骤：

(1)、视频切片的提取

1.1)对视频片段序列进行灰度处理，得到灰度图像序列；

1.2)提取灰度图像序列中每一帧处于同一水平或垂直位置的像素线，组成视频片段序列的横向视频切片或纵向视频切片；

1.3)在灰度图像序列中，均匀地在不同水平位置或垂直位置进行步骤1.2)的操作，得到多个横向视频切片或纵向视频切片；

(2)、视频切片的特征提取

利用二维离散小波变换对提取的每一个横向视频切片或纵向视频切片进行处理，得到其水平细节分量系数或垂直细节分量系数，将水平细节分量系数或垂直细节分量系数分成块，计算每一块的水平细节分量系数或垂直细节分量系数的平均值，然后将这些平均值组合为该视频切片的指纹信息；

(3)、数字视频指纹的合成

将各横向视频切片或纵向视频切片的指纹信息组合起来，形成该视频片段序列的数字视频指纹。

本发明的发明目的是这样实现的：

传统的数字视频指纹提取方法是基于单帧，即关键帧或固定帧上选取视频特征，其指纹提取效率低、指纹开销大。在本发明中，提出了一种基于视频片段序列视觉感知特征的视频切片，通过分析视频切片的频域特征，有效利用视频内容间的时空相关性，利用二维离散小波变换(2D-DWT)变换对视频切片进行处理，提取二维离散小波变换中的水平细节分量系数或垂直细节分量系数作为指纹信息。所采用的水平细节分量系数或垂直细节分量系数这一特征反映的是视频内容变化对视觉感知的刺激，而非是某个时刻视频帧的低级特征，如颜色或灰度，因而对于不同视频格式和不同视频内容具有良好的鲁棒性。同时，视频切片均匀分布于整个视频片段中，它们反映了整个视频片段的内容变化，具有敏感性，因此它能满足视频内容识别和监控的需要和防范各种攻击，例如：篡改视频内容、几何攻击、颜色攻击等等。实验结果表明，视频切片对不同视频格式和尺寸大小是鲁棒的，并且它们对不同视频内容是敏感的。同时，这种方法大大减小了指纹的大小，提高了指纹提取的效率。因此，它的性能优于现有数字视频指纹提取方法。

附图说明

图1是现有技术的三种视频内容识别技术示意图；

图2是本发明数字视频指纹提取方法一具体实施方式示意图；

图3是帧的直角坐标系；

图4是横向视频切片坐标系；

图5是纵向视频切片坐标系；

图6是横向视频切片二维离散小波变换及其水平细节分量系数三维图；

图7是不同内容的视频其切片水平细节分量系数的绝对值之和的比较图；

图8是视频各种攻击画面图；

图9是各种攻击产生的相似度曲线图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

在人类的视觉系统中，世界的万事万物都是视觉系统感知的对象。人类通过这种感知去认识事物和发现事物。在众多的感知事物中，对连续运动的事物的感知尤为重要。随时间变化的图片是不会改变图片间的时空关系，但图像的亮度与其时间或空间的定位有着重要的联系。

在视觉上，亮度强度的变化对视觉系统构成了不同的刺激，亮度的变化我们通常用对比的概念来描述。用视角作为空间的单位，用以准确地描述整个空间的大小。有了空间、空间中的变化(对比变化)和空间单位(视角)，就可以定义空间频率(f)。空间频率是指在单位视角中对比变化的次数。研究表明，人们对于高空间频率的敏感度低于对于低空间的敏感度，这种敏感度受到方向性、图像亮度、图像空间的大小和观察距离等方面的影响。而时间频率(w)通常是以抖动、运动等形式被我们感知的，人眼对于不同时间频率有不同的反应。研究表明，当频率高于30Hz时，敏感度就会迅速衰减。

眼睛对各种颜色的敏感度可以用标准相关光谱亮度功效函数来描述。图像序列的能量谱R(f，w)与空间频率(f)、时间频率(w)之间的关系可以表示为：

R(f，w)＝(C_s/f^m+1)P(w/f)

C_s为恒值，P(w/f)表示w/f的一维概率分布。这个公式表明，图像序列的能量谱与图像序列的空间频率(f)和时间频率(w)密切相关，而且能量谱与图像的时空相关性是不可分离的，这种相关性也是区分静态图像的关键。

视频可以通过采集设备采集视频帧作为连续图像序列，而其内容在空间和时间上是相关的，研究表明视觉敏感性K与图像序列的能量谱R之间有如下关系：

$K=\frac{{(1/R)}^{1/2}}{{(1+N/R)}^{3/2}}$

N为噪声能量。

通过上面的分析，我们可以看出，在连续帧序列中，选取和能量谱相关的特征能够比较有效地体现视频特征，反映了视觉对视频内容的敏感性和鲁棒性

因此，在本发明中，采用视频切片来表示整个视频片段的内容变化，并用二维离散小波变换(2D-DWT)变换对视频切片进行处理，提取二维离散小波变换中的水平细节分量系数或垂直细节分量系数作为指纹信息，这样，生成的数字视频指纹对视频内容具有敏感性和鲁棒性。

图2是本发明数字视频指纹提取方法一具体实施方式示意图。

在本实施例中，如图2所示，一段连续时间的视频片段序列，就如同一段连续的自然图像序列。根据自然图像序列的时空特性，提取图像序列中的视频切片。所谓视频切片是指在视频的帧序列中同一空间位置，如同一水平位置或同一竖直位置上进行不同时间采样而得到的图像。将视频在时间轴上进行以帧为单位的序列展开，然后在每帧的相同空间位置处依次进行采样，便可得到该视频连续帧指定位置上随时间变化的信息。

(1)、视频切片的提取

在本实施例中，如图2、3所示，首先，对一段长度为L帧、画面宽度为W、高度为H的视频片段序列V进行灰度处理，使其变为灰度图像序列S。然后，提取每帧处于同一空间位置的像素线来生成视频切片，像素线由同一水平位置或同一竖直位置上的像素点组成。

在灰度图像序列S第i帧中，如图3所示，以该帧的左上角作为原点，向右，即W方向作为X正方向，向下，即H方向作为Y正方向建立直角坐标系I[i]_XOY，则就可以在第i帧中从水平方向或从竖直方向提取W或H个像素点，把这些像素点拼接起来作为横向像素线或纵向像素线。图3只给出了横向像素线，纵向像素线类似，因此，为了不混淆，只画出了横向像素线。

横向视频切片在第i帧水平方向上生成的像素线：

$M_{.\left[\frac{H}{k}\right]}^i=I{\left[i\right]}_{\mathrm{XOY}}(x,.[\frac{H}{k}\left]\right)$ (i＝1，2，3，..，L；x＝1，2，3，...，W)

或纵向视频切片在第i帧竖直方向上生成的像素线：

$N_{.\left[\frac{W}{k}\right]}^i=I{\left[i\right]}_{\mathrm{XOY}}(.[\frac{W}{k}],y)$ (i＝1，2，3，..，L；y＝1，2，3，...，H)

其中，k表示视频切片间的相差距离，

表示取整，即在灰度图像序列中提取的切片数量。

然后把各帧提取出来的像素线拼接在一起，即产生视频片段序列V的横向视频切片：

${\mathrm{Sub}}_{.\left[\frac{H}{k}\right]}=<M_{.\left[\frac{H}{k}\right]}^1,M_{.\left[\frac{H}{k}\right]}^2,...,M_{.\left[\frac{H}{k}\right]}^L>(.[\frac{H}{k}]=\mathrm{1,2,3},...<H)$

或纵向视频切片：

${\mathrm{Sub}}_{.\left[\frac{W}{k}\right]}=<N_{.\left[\frac{W}{k}\right]}^1,N_{.\left[\frac{W}{k}\right]}^2,...,N_{.\left[\frac{W}{k}\right]}^L>(.[\frac{W}{k}]=\mathrm{1,2,3},...<W)$

这样的视频切片中具备了像素间的时空相关性，如果以视频片段序列V中的第i帧为例，以第i帧的左上角为原点，向右，即宽度W方向为X轴正方向，向下，即高度H方向为Y轴正方向建立直角坐标系I[i]_XOY。如图4，横向视频切片以第一帧左端的像素为原点，视频长度L的方向为x轴正方向，视频宽度W的方向为y轴的正方向建立直角坐标系

如图5，纵向视频切片以第一帧上端的像素为原点，以视频长度L的方向为x轴正方向，视频高度H的方向为y轴的正方向

则帧中和切片中的像素线有着时间和空间上的对应关系，即在第i帧I[i]_XOY中(x，y)，(y等于

)位置上的像素值与横向视频切片中像素线

在(x₁，y₁)处(x₁等于i，y₁等于x)的像素值相等，或者在第i帧I[i]_XOY中(x，y)(x等于

)位置上的像素值与纵向视频切片中像素线

在(x₂，y₂)处(x2等于i，y2等于y)的像素值相等，即：

$I{\left[i\right]}_{\mathrm{XOY}}(x,y)=J{[.[\frac{H}{k}\left]\right]}_{\mathrm{xoy}}(x_1,y_1)(x=y_1,y=.[\frac{H}{k}],x_1=i)$

或

$I{\left[i\right]}_{\mathrm{XOY}}(x,y)=J{[.[\frac{W}{k}\left]\right]}_{\mathrm{xoy}}(x_2,y_2)(x={.\left[\frac{W}{k}\right]}_1,y=y_2,x_2=i)$

从图4、图5可以看出，在帧I[i]_XOY中X方向上相邻像素点就是横向切片

中y轴像素线上的相邻的像素点；在帧I[i]_XOY中Y方向上相邻像素点就是纵向切片

中y轴像素线上的相邻的像素点，由于在同一空间，反映的是像素点的空间相关性。在横向切片

(纵向切片

)中x轴上的相邻像素点则是在相邻帧I[i]_XOY和I[i+1]_XOY中同一位置上的像素点，由于在不同的帧中，反映的是像素点的帧相关性，即时间相关性。这就表明了视频切片中融合了视频时间和空间的相关信息，这样便可以更好的提取视频的内容信息。因此，在本发明中，把视频指纹的提取转换为对视频切片，横向视频切片或纵向视频切片中特征的提取。

(2)、视频切片的特征提取

利用二维离散小波变换对提取的每一个横向视频切片或纵向视频切片进行处理，得到其水平细节分量系数或垂直细节分量系数，将水平细节分量系数或垂直细节分量系数分成块，计算每一块的水平细节分量系数或垂直细节分量系数的平均值，然后将这些平均值组合为该视频切片的指纹信息。

如前所述，要解决视频实时识别与监控的核心问题，快速获取适当的视频特征是关键。因此，在这部分基于视频切片的分析将如何选取视频特征，既能保证视频特征的快速提取，又能减少视频指纹大小。

在本发明中，我们利用二维离散小波变换(2D-The Discrete Wavelet Transform，2D-DWT)去处理步骤(1)中取到的各个横向视频切片或纵向视频切片，并对其进行细化分析。根据小波变换(The Wavelet Transform)的性质可知，离散小波变换可产生近似分量、水平细节分量、垂直细节分量和对角线细节分量，并且2D-DWT变换基体现了视频切片沿坐标轴方向的频率变化，而视频切片的坐标方向分别是空间和时间的方向，因此2D-DWT变换基体现出来的频率变化就是视频帧序列在空间和时间上的频率变化。根据视觉感知的分析，我们知道空间频率f和时间频率w与图像序列的能量谱ES和视觉敏感性K有直接关系，并且视觉感知在方向上可以分解为水平、垂直和对角方向。视觉感知对水平方向和垂直方向上的刺激最为敏感，对对角方向尤其是在45°或135°方向上的刺激最不敏感，所以我们运用离散小波变换对视频切片进行处理可以获得整个视频片段的帧序列的时空相关性和视觉感知特性。

在本发明中，对视频切片进行离散小波变换后，统计各个离散小波变换分量系数的变化，通过视觉感知在方向上的分解，选取水平细节分量系数或者垂直细节分量系数进行分析。

图6是一横向视频切片二维离散小波变换及其水平细节分量系数三维图。从图6，我们可以看出，一个视频切片上的所呈现的不同水平细节分量系数。我们把水平细节分量系数分成8x8的块，并计算每块的平均值，将这些平均值组合为该视频切片的指纹信息。最后，把视频片段序列的视频切片指纹信息拼接起来作为整段视频片段序列的数字指纹。

(3)、数字视频指纹的合成

将步骤(2)中提取的各横向视频切片或纵向视频切片的指纹信息组合起来，形成该视频片段序列的数字视频指纹。

实例

根据上文中提到的关于视频内容识别与监控的核心问题，我们通过实验验证了本发明提出的数字视频指纹的鲁棒性和对内容变化的敏感性，并且通过这种方法分析了指纹的提取效率和指纹开销，最后，我们做了多种攻击测试，获得了受攻击的视频和原视频的相似度，并对其数据进行了分析。

1)、鲁棒性

视频特征的鲁棒性主要体现在相同视频内容的情况下，对视频格式转换鲁棒，对视频尺寸变化鲁棒。因此，我们选取一段长为30秒画面尺寸为320X240的原始AVI视频进行实验分析，对原视频进行了格式转换和尺寸变换。我们用L1-distance匹配方法去测量转换后的视频和原视频之间的相似度，用这个相似度作为衡量视频特征鲁棒性的标准。具体处理如下：320X240MPG、320X240WMV、320X240H.264、480X320AVI、400X240AVI和512X288AVI。按照前文所述方法提取视频片段中相同位置的横向切片，并计算它们特征向量的相似度，表1为每种处理转换后的视频与原视频的相似度。

格式	320X240MPEG	320X240WMV	320X240H.264	480X320AVI	400X240AVI
						相似度	0.7966	0.7831	0.7263	0.7513	0.7617

表1

从表1中可以看出，采用本发明的方法，在相同视频内容的情况下，相同位置上的切片，对不同编码方式、不同画面尺寸的视频依然和原视频保持有较高的相似度，这就表明了本方法对视频各种格式和尺寸变化鲁棒。

2)内容敏感性

对于内容敏感性，我们采集了两段电影、两段MTV、两段新闻和两段体育各30秒的视频，每个视频片段提取了24个相同大小的横向切片，然后计算每个切片的水平细节分量系数的绝对值之和，如图7所示。从图7中可以看到不同内容的视频其切片水平细节分量系数的绝对值之和的差异是比较大的。MTV和体育片段的值变化比电影和新闻片段的值变化强烈，这是由于MTV和体育片段的镜头和运动场景变化更多，即视频镜头变化频率越快，切片的特征组向量变化也越大；运动场景越多，帧间的变化越明显，切片的水平细节分量系数的绝对值之和变化也越大。因此，它也体现了视频帧间的时空相关性。

3)提取效率和开销分析

该方法提高指纹的提取效率和减少了指纹开销，它避免了镜头和场景的分割，并且也避免了关键帧的选取，提取的特征反映了整段视频的内容。跟其它传统的指纹提取方法相比，在一段视频中它仅需几十个视频切片。按照这种方法，一段大小为W×H，长为L帧的视频，如果我们以每隔10个像素提取一个切片，仅仅需要获得大小为W×L的H/10个水平视频切片或者大小为H×L的W/10个垂直视频切片，然后从每个切片中提取指纹信息。它比每帧提取或关键帧提取大大减少了指纹信息。我们以水平切片为例，它需要W×L次像素提取，即它在这段视频的每帧中提取一条W个像素的像素线。在特征提取过程中，DWT算法的复杂度为O(nlog(n))(n为切片的每个像素)，然后把每个切片分成p个8x8的块，并计算每块的系数平均值作为特征矢量。因为每段视频提取的视频切片的数量较少，且算法简单，比起每帧提取和关键帧提取，它的效率更高更快。

4)各种攻击的检测

此外，为检测本发明的数字视频指纹的非法内容对原始内容的敏感性，我们利用本发明的数字视频指纹对视频易受到的篡改和几何攻击进行了检测，如图8：对视频进行添加字幕或图片，视频缩放，添加视频边框，视频水平翻转，视频垂直翻转等攻击。

从图9中，我们可以看到，根据数字视频指纹计算出的受攻击的视频与其原始视频的相似度有很明显的差别，并且它能够区分攻击类型和定位攻击点，例如：在添加字幕处的视频中，在第22个和23个切片处与原始视频的相似度急剧降低，可以表明此处有字幕添加或水印添加；在缩放的视频中，它的相似度几乎在0.4-0.7，略低于正常检测相似度水平(0.7以上)；在添加边框的视频中，由于边框的存在，在前两个和最后两个切片的相似度为零；在左右翻转的视频中，它的相似度几乎在0.4-0.7，也略低于正常检测相似度水平；在上下翻转的视频中，由于上下对调，中间区间的切片影响较小，第11、12、13的切片相似度比两边得的相似度高。因此本发明提取的数字视频指纹对攻击视频有明显的敏感性。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种数字视频指纹的提取方法，其特征在于，包括以下步骤：

(1)、视频切片的提取

1.1)对视频片段序列进行灰度处理，得到灰度图像序列；

1.2)提取灰度图像序列中每一帧处于同一水平或垂直位置的像素线，组成视频片段序列的横向视频切片或纵向视频切片；

1.3)在灰度图像序列中，均匀地在不同水平位置或垂直位置进行步骤1.2)的操作，得到多个横向视频切片或纵向视频切片；

(2)、视频切片的特征提取

利用二维离散小波变换对提取的每一个横向视频切片或纵向视频切片进行处理，得到其水平细节分量系数或垂直细节分量系数，将水平细节分量系数或垂直细节分量系数分成块，计算每一块的水平细节分量系数或垂直细节分量系数的平均值，然后将这些平均值组合为该视频切片的指纹信息；

(3)、数字视频指纹的合成

将各横向视频切片或纵向视频切片的指纹信息组合起来，形成该视频片段序列的数字视频指纹。

Images