CN102393900A - 基于鲁棒哈希的视频拷贝检测方法 - Google Patents

Abstract

本发明公开了一种基于鲁棒哈希的视频拷贝检测方法。它充分利用时空联合信息及顺序特征在表征视频内容上的优势，首先将视频帧分成有50％重合的各个部分，利用每个部分的视频帧生成时域信息代表图像，然后用希尔伯特曲线来填充这些时域信息代表图像，进而计算希尔伯特曲线上各块的灰度三均值，通过比较三均值的大小来生成哈希指纹。最后通过比较得到的哈希指纹来进行哈希匹配，判断视频是否为拷贝视频。实验结果表明本发明所提取特征的鲁棒性及区分性均得到极大改善与发展。

Description

基于鲁棒哈希的视频拷贝检测方法

技术领域

本发明涉及一种基于鲁棒哈希的视频拷贝检测方法，属于视频、多媒体信号处理技术领域。

背景技术

随着多媒体技术的不断发展，视频信息大量涌现，人们能够方便地使用手中设备拍摄视频，编辑数字视频。使得互联网上每天有数以百计的视频被创造出来，同时盗版视频也在成倍的出现，极大地侵害了版权所有者的利益。在多媒体版权保护中，版权鉴别者需要从大量的多媒体数据中，快速有效地检测到可能存在的拷贝并判断内容的所有权。目前在网络环境中，基于内容的视频拷贝检测已经成为多媒体技术的研究热点。

近年来视频拷贝检测技术取得了很大发展，目前已有多种拷贝检测方案，由于视频格式及内容的多样性，怎样才能准确地检测拷贝视频仍然是个未能解决的问题。比如基于颜色，基于运动，基于边缘的方法分别存在如下问题：基于颜色的方法中采用颜色直方图，无法描述颜色的空间分布，因此在视频拷贝检测时对特征的描述不完备，影响检测结果。基于运动的方法中，采用运动矢量特征往往无法正确描述实际的运动信息，而且计算量复杂，达不到理想的结果。基于边缘的方法中，由于视频格式在发生变化时，会发生因为亮度变化和块效应导致的边缘信息发生变化，而且计算复杂，因此方法失效。目前，许多算法提取的是视频的空域特征，这些方法将随时间变化的视频序列孤立地分割为一幅幅静止的图像，忽略了视频信号在时间上的相互关系，无法全面描述视频信号。因此将时空信息结合起来是特征提取的研究方向。近来又有研究者表明，基于顺序特征的视频拷贝检测算法相对于其他算法性能是最优的，这种方法对视频亮度，色调，尺寸变化都比较鲁棒。一种基于分层匹配的视频广告识别方法以及基于局部现行嵌入的视频拷贝检测方法专利中所提局部敏感性哈希算法，首先需要获得数据库的特征向量组，然后还需将各个特征值整数化进而获得局部敏感性哈希表，操作过程复杂。而本发明获得哈希过程简单，计算量小，耗时短，而且基于的是排序特征对各种信号处理改动具有较强的鲁棒性，进而又保证了所得哈希算法的鲁棒性。还有视频数据处理方法及装置专利提到通过直方图获取灰度范围，通过不同灰度区间内的像素的数目来获取哈希值，但明显缺点是当对图像进行攻击时，颜色，纹理特征都会发生明显变化，无法保证哈希值的鲁棒性。

发明内容

本发明针对目前视频拷贝检测算法存在的不足，结合时空联合特征在表征视频内容上的全面性以及顺序特征在鲁棒性上的贡献，提出了一种基于鲁棒哈希的视频拷贝检测方法，此方法所提取哈希指纹的鲁棒性及区分性都得到了极大提高与改善。

为实现上述目的，本发明采用如下技术方案：

一种基于鲁棒哈希的视频拷贝检测方法，包括以下步骤：

1)采集目标视频和测试视频，分别生成相应的目标时域信息代表图像和测试时域信息代表图像，所述两时域信息代表图像是分别将各自的时域信息通过时间轴的叠加在空间上体现出来，既保证时间信息的保留，又保证空间信息的保留；

2)分别将目标时域信息代表图像和测试时域信息代表图像进行目标希尔伯特曲线填充和测试希尔伯特曲线填充，得到相应的目标希尔伯特曲线填充图像和测试希尔伯特曲线填充图像；填充时，分别将步骤1)得到的时域信息代表图像和测试时域信息代表图像进行4*4分块，并将相应的希尔伯特曲线填充到相应的时域信息代表图像里得到目标希尔伯特曲线和测试希尔伯特曲线，由希尔伯特曲线性质可知，在各希尔伯特曲线上块与块之间的位置关系依然遵循二维图像里块与块之间的关系；

3)生成目标哈希指纹和测试哈希指纹：计算每条希尔伯特曲线上各个块的灰度三均值，比较每条希尔伯特曲线上各自的相邻块的灰度三均值大小，分别生成各自的目标哈希比特和测试哈希比特；

4)将目标哈希比特和测试哈希比特匹配，通过设定阈值T来判断视频是否为原视频的拷贝视频；如果原视频与测试视频不同的哈希位的个数的比例小于这个阈值T，则认为测试视频为拷贝视频，反之，不是拷贝视频。

所述步骤1)的具体实现步骤为：

1-1)对目标视频和测试视频分别进行预处理，统一各自输入视频的大小及帧率；

1-2)对预处理后的两视频帧分别进行分段，分段时每段帧数相同且各段有50％的重叠，以保证提取特征得鲁棒性；

1-3)生成目标时域信息代表图像和测试时域信息代表图像：根据上述视频帧分的各个段，将每个段都生成一幅对应的目标时域信息代表图像和测试时域信息代表图像。

所述步骤2)所述两希尔伯特曲线在填充图像时的起始点均为最左下角的块。

所述步骤3)的具体实现步骤为：

a分别计算两希尔伯特曲线上各个块的灰度三均值，然后依次类推计算出整个视频序列所有两时域信息代表图像中两希尔伯特曲线上各个块的灰度三均值；

b比较各自希尔伯特曲线上相邻块的灰度三均值大小，若当前块得灰度三均值大于其下一块的灰度三均值，则当前位的哈希比特为“1”，否则为“0”，这样通过比较一条希尔伯特曲线上相邻块的灰度关系即得到一个16bit的哈希序列；然后依次类推，计算所有希尔伯特曲线上相邻块的灰度关系并得到其对应的哈希比特；将得到的所有哈希比特结合起来则是整个视频序列的哈希指纹。

所述视频预处理时，将视频预为W*H*F固定大小的视频序列，这里W＝144，H＝176，F＝30；对视频帧进行分段，分段时这里选每部分30帧，各相邻部分有50％的重叠，最后对每一部分生成对应的目标时域信息代表图像和测试时域信息代表图像，其生成过程如下：

其中l_m，n，k为视频分段后每一部分里第k帧中第(m，n)像素的亮度值，w_k为权值系数，选w_k＝r^k，取指数形式的权值系数，J是每一部分里包含的视频帧数，l′_m，n是所生成的图像的像素亮度值。

按如下步骤计算各希尔伯特曲线上各个块的灰度三均值：

首先计算P分位数M_p：

$M_p=\left\{\begin{array}{cc}{x}_{\left[\mathrm{np}\right]+1},& \mathrm{np}\∉Z\\ \frac{1}{2}(x_{\left[\mathrm{np}\right]}+x_{\left[\mathrm{np}\right]-1}),& \mathrm{np}\∈Z\end{array}\right.$ 其中0≤p≤1，[np]表示np的整数部分，x_[np]为n个按从小到大排列的灰度值中的第[np]个值，M_p即为由这n个元素所确定的p分位数。

然后按如下公式计算三均值M

$M=\frac{1}{4}{M}_{0.25}+\frac{1}{2}{M}_{0.5}+\frac{1}{4}{M}_{0.75}$ 其中M_0.25，M_0.5，M_0.75分别为0.25，0.5，0.75分位数；M_0.25，M_0.5，M_0.75分别由上述求p分位数方法得到。

用<V[0]，V[1]，....V[n-1]>代表一个视频序列的n帧，<V¹[i]，.........V^m[i]>表示视频第i部分的第m个分割块，V^j表示希尔伯特曲线上第j个块，

表示V^j[i]的灰度三均值，

为生成的哈希比特；

最后按如下公式生成哈希比特：

$H_i^j=\left\{\begin{array}{cc}0& V_i^j\&GreaterEqual;V_i^{j+1}\\ 1& V_i^j<V_j^{j+1}\end{array}\right.$

这样每个时域信息代表图像生成一个16bit的哈希指纹，以此类推计算出所有的代表图像的哈希指纹，将这些哈希指纹按顺序组合起来就构成了整个视频序列的哈希指纹。

本发明的有益效果是：它充分考虑了鲁棒哈希码是一种基于内容的视频摘要及排序特征在视频拷贝检测中的性能优势使得其对各种信号处理改动具有较强的鲁棒性。而视频的视觉内容可以看作是时间上连续的一系列图像帧的集合。通过将排序特征和时空域信息的结合，所生成哈希算法，在保证区分性的前提下，有较高的鲁棒性。另外，考虑到视频连续帧之间的相似性，本发明将一段视频序列由一些组合后的具有时空信息的图像所代表，这样在获取表征视频的哈希码时，所得哈希码更紧凑，运算量小，耗时短。

附图说明

图1是本发明方法的框架图。

图2是生成时域代表图像的框架图。

图3a是视频序列的第三段在r＝0.6时所生成的时域信息代表图像。

图3b视频序列的第四段在r＝0.6时所生成的时域信息代表图像。

图4是本发明所用到的希尔伯特曲线模型。

图5是阈值T的选取以及对应的查全率和查准率。

图6是各种视频在添加高斯噪声前后的比特错误率。

图7是不同视频之间的比特错误率。

具体实施方式

图1给出了本发明方法的框架图，按所示流程，包括如下具体步骤：

1.生成时域信息代表图像，确保时空信息的保留

首先将视频预处理为W*H*F固定大小的视频序列，这里W＝144，H＝176，F＝30对视频帧进行分段，分段时这里选每部分30帧，各相邻部分有50％的重叠。最后对每一部分生成对应的时域信息代表图像，图2即为生成时域信息代表图像的框架图，其生成过程如下：

其中l_m，n，k为视频分段后每一部分里第k帧中第(m，n)像素的亮度值，w_k为权值系数，根据实验结果，我们选w_k＝r^k，取指数形式的权值系数，J是每一部分里包含的视频帧数，l′_m，n是所生成的图像的像素亮度值。

图3即为当r＝0.6时视频序列的第三和第四部分所生成的时域信息代表图像，第三部分和第四部分为视频序列连续的两部分，图3.a和图3.b表明时域信息代表图像包含了这两部分视频帧的主要内容，从时域代表图像上可以看出这两段视频的主要内容既相互关联，因此代表图像所起的作用类似于关键帧尽管二者本质不同，这就为后面利用希尔伯特曲线填充图像提供了依据。

2.希尔伯特曲线填充图像

首先对时域信息代表图像进行4*4分块，然后进行希尔伯特曲线填充，根据希尔伯特曲线的性质，在二维图像中，希尔伯特曲线通过各个块一次且仅一次，并且充满整个区域，在代表图像中，相邻的两个分割块在一维希尔伯特曲线空间中仍是相邻的，另外由于希尔伯特曲线的复杂性，它本身所包含的信息既有时域方向的又有空域方向的，因此可以获得图像上较多的信息。如下图4是本发明所用到的希尔伯特曲线模型。

3.生成哈希指纹

按如下步骤计算希尔伯特曲线上各个块的灰度三均值：

首先计算P分位数M_p：

$M_p=\left\{\begin{array}{cc}{x}_{\left[\mathrm{np}\right]+1},& \mathrm{np}\&NotElement;Z\\ \frac{1}{2}(x_{\left[\mathrm{np}\right]}+x_{\left[\mathrm{np}\right]-1}),& \mathrm{np}\&Element;Z\end{array}\right.$ 其中0≤p≤1，[np]表示np的整数部分。x_[np]为n个按从小到大排列的灰度值中的第[np]个值，M_p即为由这n个元素所确定的p分位数。

然后按如下公式计算三均值M

$M=\frac{1}{4}{M}_{0.25}+\frac{1}{2}{M}_{0.5}+\frac{1}{4}{M}_{0.75}$ 其中M_0.25，M_0.5，M_0.75分别为0.25，0.5，0.75分位数；M_0.25，M_0.5，M_0.75分别由上述求p分位数方法得到

用<V[0]，V[1]，....V[n-1]>代表一个视频序列的n帧，<V¹[i]，.........V^m[i]>表示视频第i部分的第m个分割块，V^j表示希尔伯特曲线上第j个块，

表示V^j[i]的灰度三均值，

为生成的哈希比特；

最后按如下公式生成哈希比特：

$H_i^j=\left\{\begin{array}{cc}0& V_i^j\&GreaterEqual;V_i^{j+1}\\ 1& V_i^j<V_j^{j+1}\end{array}\right.$

这样每个时域信息代表图像生成一个16bit的哈希指纹，以此类推计算出所有的代表图像的哈希指纹，将这些哈希指纹按顺序组合起来就构成了整个视频序列的哈希指纹。

4.哈希匹配

通过比较原视频与测试视频不同的哈希位的个数，来决定测试视频是不是拷贝视频。本文中通过实验设定阈值T＝0.12，其中图5是阈值T以及对应的查全率和查准率，从图可以看出，选定此阈值T，查全率和查准率都能得到理想效果。在拷贝检测中如果原视频与测试视频不同的哈希位的比例小于0.12，则认为此测试视频为拷贝视频，如果原视频与测试视频不同的哈希位的比例大于0.12，则认为此视频不是拷贝视频。

仿真实验从视频库下载了包括纪录片，新闻，体育，动画等在内的视频，为验证其鲁棒性对视频进行各种攻击如剪切，添加噪声，滤波，丢帧等处理，实验结果表明该方法具有较好的鲁棒性及区分性。

下表显示的是对视频进行攻击前后，哈希指纹的比特错误率，对视频进行0.8，0.9，0.98，1.1，1.2比例缩放时对应比特错误率为3.21％，2.5％，1.25％，2.05％，2.25％。添加均值为0方差为0.05的高斯噪声时，其比特错误率为1.5％，添加噪声密度为0.05的椒盐噪声时其比特错误率为5％等等如列表所示，此时比特错误率均小于阈值，可以判断出此类经过攻击后的视频仍为拷贝视频。

图6显示的是不同种类的视频在添加高斯噪声后的比特错误率，从图可以看出对于不同的视频在添加高斯噪声时所得到的比特错误率也不同，但是各个比特错误率如图所示最大值为0.1，在阈值范围内，也就是说对于这些类的视频在添加高斯噪声后，比较原视频与攻击后的视频的哈希指纹，仍可以判断出二者属于同一视频。

为了验证此算法的区分性，图7给出了数据说明，通过比较不同视频之间的哈希指纹，得到其哈希错误率分布在0.5上下，因为阈值设定为0.12，通过比较不同视频间的哈希不同位数足以区分出不同视频。

Claims (6)

1.一种基于鲁棒哈希的视频拷贝检测方法，其特征在于，包括以下步骤：

1)采集目标视频和测试视频，分别生成相应的目标时域信息代表图像和测试时域信息代表图像，所述两时域信息代表图像是分别将各自的时域信息通过相应时间轴的叠加在空间上体现出来，既保证时间信息的保留，又保证空间信息的保留；

2)分别将目标时域信息代表图像和测试时域信息代表图像进行目标希尔伯特曲线填充和测试希尔伯特曲线填充，得到相应的目标希尔伯特曲线填充图像和测试希尔伯特曲线填充图像；填充时，分别将步骤1)得到的目标时域信息代表图像和测试时域信息代表图像进行4*4分块，并将相应的希尔伯特曲线填充到相应的时域信息代表图像里得到目标希尔伯特曲线和测试希尔伯特曲线，由希尔伯特曲线性质可知，在各希尔伯特曲线上块与块之间的位置关系依然遵循二维图像里块与块之间的关系；

3)生成目标哈希指纹和测试哈希指纹：计算每条希尔伯特曲线上各个块的灰度三均值，比较每条希尔伯特曲线上各自的相邻块的灰度三均值大小，分别生成各自的目标哈希比特和测试哈希比特；

4)将目标哈希比特和测试哈希比特匹配，通过设定阈值T来判断测试视频是否为目标视频的拷贝视频；如果目标视频与测试视频不同的哈希位的个数的比例小于这个阈值T，则认为测试视频为拷贝视频，反之，不是拷贝视频。

2.根据权利要求1所述的基于鲁棒哈希的视频拷贝检测方法，其特征在于，所述步骤1)的具体实现步骤为：

1-1)对目标视频和测试视频分别进行预处理，统一各自输入视频的大小及帧率；

1-2)对预处理后的两类视频帧分别进行分段，分段时每段帧数相同且各段有50％的重叠，以保证提取特征得鲁棒性；

1-3)生成目标时域信息代表图像和测试时域信息代表图像：根据上述视频帧分的各个段，将每个段都生成一幅对应的目标时域信息代表图像和测试时域信息代表图像。

3.根据权利要求1所述的基于鲁棒哈希的视频拷贝检测方法，其特征在于，所述步骤2)所述两希尔伯特曲线在填充图像时的起始点均为最左下角的块。

4.根据权利要求1所述的基于鲁棒哈希的视频拷贝检测方法，其特征在于：所述步骤3)的具体实现步骤为：

a分别计算两希尔伯特曲线上各个块的灰度三均值，然后依次类推计算出整个视频序列所有两时域信息代表图像中两希尔伯特曲线上各个块的灰度三均值；

b比较各自希尔伯特曲线上相邻块的灰度三均值大小，若当前块得灰度三均值大于其下一块的灰度三均值，则当前位的哈希比特为“1”，否则为“0”，这样通过比较一条希尔伯特曲线上相邻块的灰度关系即得到一个16bit的哈希序列；然后依次类推，计算所有希尔伯特曲线上相邻块的灰度关系并得到其对应的哈希比特；将得到的所有哈希比特结合起来则是整个视频序列的哈希指纹。

5.如权利要求2所述的基于鲁棒哈希的视频拷贝检测方法，其特征在于，所述视频预处理时，将视频预为W*H*F固定大小的视频序列，这里W＝144，H＝176，F＝30；对视频帧进行分段，分段时这里选每部分30帧，各相邻部分有50％的重叠，最后对每一部分生成对应的目标时域信息代表图像和测试时域信息代表图像，其生成过程如下：

其中l_m，n，k为视频分段后每一部分里第k帧中第(m，n)像素的亮度值，w_k为权值系数，选w_k＝r^k，取指数形式的权值系数，J是每一部分里包含的视频帧数，l′_m，n是所生成的图像的像素亮度值，k为整数。

6.如权利要求4所述的基于鲁棒哈希的视频拷贝检测方法，其特征在于，按如下步骤计算各希尔伯特曲线上各个块的灰度三均值：

首先计算P分位数M_p：

$M_p=\left\{\begin{array}{cc}{x}_{\left[\mathrm{np}\right]+1},& \mathrm{np}\&NotElement;Z\\ \frac{1}{2}(x_{\left[\mathrm{np}\right]}+x_{\left[\mathrm{np}\right]-1}),& \mathrm{np}\&Element;Z\end{array}\right.$ 其中0≤p≤1，[np]表示np的整数部分，x_[np]为n个按从小到大排列的灰度值中的第[np]个值，M_p即为由这n个元素所确定的p分位数。

然后按如下公式计算三均值M

$M=\frac{1}{4}{M}_{0.25}+\frac{1}{2}{M}_{0.5}+\frac{1}{4}{M}_{0.75}$ 其中m_0.25，M_0.5，M_0.75分别为0.25，0.5，0.75分位数，M_0.25，M_0.5，M_0.75分别由上述求p分位数方法得到。

用<V[0]，V[1]，....V[n-1]>代表一个视频序列的n帧，<V¹[i]，.........V^m[i]>表示视频第i部分的第m个分割块，V^j表示希尔伯特曲线上第j个块，

表示V^j[i]的灰度三均值，

为生成的哈希比特；

最后按如下公式生成哈希比特：

$H_i^j=\left\{\begin{array}{cc}0& V_i^j\&GreaterEqual;V_i^{j+1}\\ 1& V_i^j<V_j^{j+1}\end{array}\right.$

这样每个时域信息代表图像生成一个16bit的哈希指纹，以此类推计算出所有的代表图像的哈希指纹，将这些哈希指纹按顺序组合起来就构成了整个视频序列的哈希指纹。

Images