CN103744973A - 基于多特征哈希的视频拷贝检测方法 - Google Patents

Abstract

本发明公开了一种基于多特征哈希的视频拷贝检测方法，主要解决现有视频拷贝检测算法不能有效平衡检测效率和检测精度的问题。其实现步骤是：(1)提取关键帧的塔型梯度方向直方图PHOG为关键帧的全局特征；(2)提取关键帧的基于尺度不变特征变换SIFT的加权对比度直方图为关键帧的局部特征；(3)利用相似度保持的多特征哈希学习SPM²H算法建立目标函数，通过优化求解得到L个哈希函数；(4)利用L个哈希函数，将数据库视频关键帧和查询视频关键帧映射为L维的哈希码；(5)通过特征匹配判断查询视频是否为拷贝视频。本发明对多种攻击具有良好的鲁棒性，可用于互联网上数字视频的版权保护、拷贝控制及数据挖掘。

Description

基于多特征哈希的视频拷贝检测方法

技术领域

本发明属于信息安全技术领域，具体的说是一种视频特征提取和拷贝检测的方法，该方法能有效抵抗常规视频攻击、几何攻击及组合攻击，可用于互联网上数字视频的版权保护、视频内容分析及拷贝控制领域。

背景技术

随着数字技术的不断进步和计算机网络的日益普及，多媒体数据正逐渐成为人们获取信息的重要来源，特别是互联网视频网站越来越多。数字化的多媒体数据获取容易、复制简单并且传播迅速，不仅给多媒体信息的存取提供了极大的便利，而且极大提高了信息表达的效率和准确性，但由此引发的盗版问题、版权纷争和数据管理也成为日益严重的社会问题。例如，拷贝视频侵犯了数字视频版权所有者的权利和经济效益，造成了严重的盗版和侵权问题；而一些具有特殊意义的视频信息，如涉及司法诉讼、政府机要等信息如果遭到恶意攻击和篡改伪造，则会给司法公正和国家安全带来极大的危害；同时人们可以随意地对网络上的视频进行复制、编辑和传播，导致搜索引擎的搜索结果重复，大大的降低了搜索的效率；而且，随着视频网站的增多以及视频检索的广泛应用，这些拷贝视频正成为“垃圾视频”，危害着视频网络。因此如何在利用多媒体信息和计算机网络的同时，又可以有效的保护知识产权、保障信息安全和保证搜索精度已成为一个亟需解决的现实问题。视频拷贝检测技术是实现数字视频版权保护及数据库管理的有效方法，已成为多媒体信息安全领域的一个研究热点。

视频拷贝检测技术不需要向原始视频中嵌入任何信息，其提取的特征序列包含了视频内容的足够信息，在实际应用中可以通过测量查询视频与参考视频之间的距离来判断查询视频是否是参考视频的拷贝。一个典型的视频拷贝检测技术的步骤如下：(1)从原始参考视频和查询视频中提取视频特征序列；(2)数据库搜索；(3)对参考视频特征序列和查询视频特征序列按照某种度量方式进行比较，若两者之间的距离小于既定阈值，则认为查询视频是拷贝视频。在以上步骤中，最重要的是提取能够代表视频内容且对视频的各种攻击具有鲁棒性的视频特征，这也是研究者首要考虑的问题。

近年来，许多专家学者从不同的角度研究视频拷贝检测，但依然有两个问题没有解决。首先是已存在的大部分方法用单一特征描述视频内容，然而不同的视觉特征有截然不同的描述功能，比如全局特征可以有效地描述视频的全局信息，但对全局攻击的鲁棒性较弱，局部特征可以有效地描述视频的局部信息，但对视频的局部攻击比较敏感，因此单一特征构造的视频信息无法全面的描述视频内容，缺乏广泛的鲁棒性，然而直接级联多种视觉特征会造成维数灾难，降低检测效率；其次已存在的大部分索引方法旨在提高检测效率而忽略了检测精度。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于多特征哈希的视频拷贝检测方法，以挖掘不同视觉特征之间的互补性，在保证视频拷贝检测精度的同时，提高检测效率。

实现本发明目的的技术方案是：将视频看作一系列关键帧的组合，提取关键帧的多种特征，设计有效的目标函数，学习能够保持原始空间中相似结构的哈希函数--即利用多种视觉特征中蕴含的互补信息构建多特征哈希，最后利用产生的哈希函数将数据库及查询视频的高维特征进行哈希化处理，得到有区分力的哈希码。哈希码保留了原始数据的相似性，提高视频拷贝检测在不同攻击下的检索精度和检索效率。其具体步骤包括如下：

(1)多特征提取步骤：

(1a)给定视频V，将视频V分割成一系列连续的相等长度的视频镜头V＝{C₁,C₂,…,C_i,...,C_I}，C_i是视频V的第i个镜头，i＝1,2,...,I，I是视频镜头的个数；

(1b)将每一个视频镜头的帧率统一为每秒30帧，将所有的视频帧转换为宽度为320，高度为240的灰度图像；

(1c)对每一个视频镜头进行降6采样处理，即每6个视频帧提取一个关键帧；

(1d)提取关键帧的塔型梯度方向直方图PHOG为关键帧的全局特征；

(1e)利用尺度不变特征变换SIFT检测算子，提取关键帧的特征点，获得关键帧的特征点集，在关键帧大小为120×40的中心区域内，选择特征强度最大的特征点作为圆心，构造半径为R的稳定的圆形特征区域，若该区域不存在特征点，则选择关键帧的中心为圆心，提取基于尺度不变特征变换SIFT的加权对比度直方图为关键帧的局部特征；

(2)特征映射步骤：

(2a)利用相似度保持的多特征哈希学习SPM²H算法建立目标函数，通过优化求解得到L个哈希函数{h₁,h₂,…,h_l,...,h_L}，h_l是第l个哈希函数，l＝1,2,...,L；

(2b)对于每个关键帧，结合提取的全局特征和局部特征，由每一个哈希函数产生一位哈希码，利用L个哈希函数，使数据库视频的关键帧和查询视频的关键帧映射为L维的哈希码；

(3)特征匹配步骤：

(3a)测量查询视频镜头Q与数据库中的参考视频镜头P的相似度，表示为：

$\mathrm{sim}(Q,P)=\underset{Y_i\∈G_Q}{\mathrm{\Σ}}\left(\underset{Y_j\∈G_P}{\min }\left(\mathrm{sim}(Y_i,Y_j)\right)\right),$

式中，Y_i是查询视频镜头Q的第i个关键帧的哈希码，Y_j是数据库中参考视频镜头P的第j个关键帧的哈希码，G_Q是查询视频镜头Q的关键帧集合，G_P是数据库中参考视频镜头P的关键帧集合，式中sim(Y_i,Y_j)是视频关键帧Y_i与Y_j的相似度，表示为：

$\mathrm{sim}(Y_i,Y_j)=\frac{1}{L}\underset{L}{\mathrm{\Σ}}{Y}_i\⊗Y_j,$

式中，L是哈希码的维数，

是异或操作；

(3b)定义匹配检测阈值ε：设数据库中的视频镜头为A个，分别为{P₁,P₂,...,P_b,...,P_A}，b＝1,2,...,A，P_b为数据库中第b个视频镜头，计算查询视频镜头Q与数据库中每个视频镜头P_b的相似度，得到A个相似度值为{sim(Q,P₁）,sim(Q,P₂）,...,sim(Q,P_b）,...,sim(Q,P_A）}，对其从小到大排列，在最大值与最小值之间均匀取值作为匹配检测阈值ε；

(3c)将查询视频镜头Q与数据库中的参考视频镜头P的相似度sim(Q,P）与匹配检测阈值ε进行比较，如果sim(Q,P）≤ε，则认为查询视频镜头Q是数据库中参考视频镜头P的拷贝，如果sim(Q,P）＞ε，则认为查询视频镜头Q不是数据库中参考视频镜头P的拷贝。

本发明具有以下优点：

(1)本发明利用全局特征塔型梯度方向直方图PHOG与局部特征基于尺度不变特征变换SIFT的加权对比度直方图来描述视频关键帧，增强了视频拷贝检测对多种攻击的鲁棒性，提高了视频拷贝检测的精度；

(2)本发明利用哈希方法将原始特征空间中的高维特征映射为低维特征，降低了数据的存储空间，提高了视频拷贝检测的效率；

(3)本发明利用相似度保持的多特征哈希学习SPM²H算法挖掘不同特征的互补性，得到了训练视频的最优哈希码及有区分力的哈希函数，同时将查询视频利用得到的哈希函数映射为其对应的哈希码，使得哈希码保留了视频在原始特征空间下的相似性，提高了视频拷贝检测在不同攻击下的性能。

附图说明

图1是本发明的实施总流程图；

图2是本发明提取出的全局特征示意图；

图3是本发明中提取局部特征的子流程图；

图4是本发明的仿真结果图。

具体实施方案

参照图1，本发明的实施包括多特征提取、特征映射和特征匹配三个方面。

一.多特征提取

步骤1：给定视频V，将视频V分割成一系列连续的相等长度的视频镜头V＝{C₁,C₂,…,C_i,...,C_I}，C_i是视频V的第i个镜头，i＝1,2,...,I，I是视频镜头的个数。

步骤2：将每一个视频镜头的帧率统一为每秒30帧，将所有的视频帧转换为宽度为320，高度为240的灰度图像。

步骤3：对每一个视频镜头进行降6采样处理，即每6个视频帧提取一个关键帧I′。

步骤4：提取关键帧I′的塔型梯度方向直方图PHOG作为关键帧I′的全局特征。

4.1)采用典型的Canny边缘检测算子提取关键帧I′的边缘信息，得到关键帧I′的边缘图像像I₀，同时得到边缘图像像I₀的梯度幅值矩阵G＝{g_1,1,...,g_1,240;...;...,g_e,f,...;...}及梯度方向矩阵R＝{α_1,1,...,α_1,240;...;...,α_e,f,...;...}，g_e,f是边缘图像像I₀的第e行第f列像素的梯度幅值，α_e,f是边缘图像像I₀的第e行第f列像素的梯度方向；

4.2)将梯度方向区间0～360°划分为8个方向子区间{o₀,...,o_j,...,o₈}，j＝1,2,...,8，o_j是第j个方向子区间；

4.3)统计边缘图像I₀中像素的梯度方向落在方向子区间o_j内的像素集合P_j，并将像素集合P_j中所有像素的梯度幅值相加，得到一个方向子区间o_j的梯度值，对每一个方向子区间依次计算其梯度值，得到8个方向子区间的8个梯度值，这8个方向子区间的梯度值构成边缘图像I₀的8维梯度方向直方图；

4.4)对边缘图像I₀进行1级金字塔型分割，即将边缘图像I₀平均分成四个大小相同的区域，得到1级金字塔边缘图像I₁；

4.5)按照步骤4.3)计算边缘图像I₀的8维梯度方向直方图的方法，对1级金字塔边缘图像I₁的每个区域依次计算其8维梯度方向直方图，依照从上到下，从左到右的顺序将4个区域的8维梯度方向直方图进行级联，得到1级金字塔边缘图像I₁的32维梯度方向直方图；

4.6)将边缘图像I₀的8维梯度方向直方图与1级金字塔边缘图像I₁的32维梯度方向直方图进行级联并采用L2范数进行归一化，得到关键帧I′的40维梯度方向直方图PHOG，作为关键帧I′的全局特征。

本步骤4提取的全局特征如图2所示，其中关键帧I′如图2(a)所示，其边缘图像I₀如图2(b)所示，1级金字塔边缘图像I₁如图2(c)所示。

步骤5：提取基于尺度不变特征变换SIFT的加权对比度直方图作为关键帧I′的局部特征。

参照图3，本步骤的具体实现如下：

5.1)利用典型的尺度不变特征变换SIFT特征点检测算子，提取关键帧I′的尺度不变特征变换SIFT特征点，获得关键帧I′的尺度不变特征变换SIFT特征点集；

5.2)在关键帧I′大小为120×40的中心区域内，选择特征强度最大的尺度不变特征变换SIFT特征点作为圆心，构造半径为R=100的稳定的圆形特征区域，若该区域不存在尺度不变特征变换SIFT特征点，则选择关键帧I′的中心为圆心，构造半径为R=100的稳定的圆形特征区域；

5.3)将圆形特征区域进行极坐标划分：

5.3a)将圆形特征区域先分成4个角度区间：

5.3b)将圆形特征区域分为3级半径区间：40，70，100；

5.3c)按照半径递增的顺序，在每一级半径区域内，按照角度从小到大遍历，组成12个相邻且不重叠的区域{R₁,R₂,...,R_k,...,R₁₂}，k＝1,2,...,12；

5.4)计算区域R_k中的像素点p的灰度值I(p)与圆心点p_c的灰度值I(p_c)的差值C(p)：

C(p)＝I(p)-I(p_c)；

5.5)计算区域R_k中的所有像素点的差值为正的对比度

和差值为负的对比度

分别为：

$H_{R_k^{+}}\left(p_c\right)=\left|\frac{\mathrm{\Σ}\left\{C\left(p\right)\right|p\∈R_k^C\left(p\right)\≥0\}}{\#R_k^{+}}\right|,$

$H_{R_k^{-}}\left(p_c\right)=\left|\frac{\mathrm{\&Sigma;}\left\{C\left(p\right)\right|p\&Element;R_k^C\left(p\right)<0\}}{\#R_k^{-}}\right|,$

为C(p)≥0的像素点个数，

为C(p)＜0的像素点个数，^是求与操作，{C(p)|p∈R_k^C(p)≥0}是满足p∈R_k且C(p)≥0的C(p)值，{C(p∈)p_k|^R是满足p∈R_k且C(p)＜0的C(p)值；

5.6)依次计算区域R_k中的所有像素点差值为正的对比度

和差值负的对比度

得到24维的对比度直方图

对三级半径区域的对比度乘以权值，得到加权对比度直方图，该权值按照半径递增的顺序依次为(0.4,0.35,0.25)。

二.特征映射

步骤6：利用相似度保持的多特征哈希学习SPM²H算法建立目标函数。

6.1)构建每种视觉特征下的局部结构信息，即关联矩阵：

式中，

是在第m种视觉特征下第p个关键帧和第q个关键帧的关联度，N_K(·)表示K近邻，^是求与操作，表示在第m种视觉特征下第p个关键帧属于第q个关键帧的K近邻且第q个关键帧属于第p个关键帧的K近邻，

是第p个关键帧的第m种特征向量，

是第q个关键帧的第m种特征向量；

6.2)建立相似度保持的多特征哈希学习SPM²H算法的目标函数：

$O=\underset{Y}{\min }\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{p,q}{\overset{N}{\mathrm{\&Sigma;}}}{S}_{p,q}^{\left(m\right)}{(d(x_p^{\left(m\right)},x_q^{\left(m\right)})-\tilde{d}(x_p^{\left(m\right)},x_q^{\left(m\right)}))}^2$

s.t.Y∈{-1,1}^N×L，Y1＝0，YY^T＝I，

式中，

是对Y求最小操作，L是哈希码的维数，M是视觉特征的数目，N是训练关键帧的数目，s.t.·是约束条件，Y＝[Y₁,...,Y_N]∈R^N×L是所有训练关键帧在多种特征下的哈希码，

是第p个关键帧的第m种特征向量

与第q个关键帧的第m种特征向量

之间的归一化距离，

是第p个关键帧的哈希码Y_p与第q个关键帧的哈希码Y_q之间的归一化距离，表示为：

$\tilde{d}(x_p^{\left(m\right)},x_q^{\left(m\right)})=\frac{1}{L}\underset{L}{\mathrm{\&Sigma;}}{Y}_p\&CircleTimes;Y_q.$

步骤7：通过优化求解得到L个哈希函数{h₁,h₂,…,h_l,...,h_L}，h_l是第l个哈希函数，l＝1,2,...,L。

7.1)随机初始化哈希码Y=[y₁₁,...,y_1L;...;...,y_uv,...;...;...,y_gv,...;...;y_N1,...,y_NL]，定义阈值向量m＝[m₁,m₂,...,m_v,...,m_L]，m_v为m的第v列元素，其取值为哈希码Y的第v列元素的中间值，v＝1,2,...,L，L是哈希码的维数，y_uv为哈希码Y的第u行第v列元素，u＝1,2,...,N，N是训练关键帧的数目，如果y_uv≥m_v，则y_uv置为1，如果y_uv＜m_v，则y_uv置为-1，依次进行，此时哈希码Y为二值矩阵；

7.2)计算目标函数O的初始值为D_m，定义门限阈值T＝10^-6，定义最优哈希码为Y₀，将初始值D_m与门限阈值T进行比较，如果D_m≤T，则最优哈希码Y₀=Y，执行步骤7.6)，如果D_m＞T，则执行步骤7.3)；

7.3)比较哈希码Y的第u行第v列元素y_uv与第g行第v列元素y_gv是否相同，1≤u≤N，1≤g≤N：

如果y_uv与y_gv相同，则给g加1，返回步骤7.3)；

如果y_uv与y_gv不相同，则(y_uv,y_gv)有两种取值情况，即(1,-1)与(-1,1)，对于这两种取值情况分别计算目标函数O的值，并比较两次得到的目标函数O的值大小，选择其较小值对应的取值情况来更新(y_uv,y_gv)，根据更新后的(y_uv,y_gv)再更新哈希码Y；

7.4)对于哈希码Y的第u行依次执行步骤7.3)，1≤u≤N；

7.5)对于哈希码Y的第v列迭代执行步骤7.3)与步骤7.4)，直到每次迭代执行前目标函数O的值与迭代执行后目标函数O的值之差小于门限阈值T时，再执行哈希码Y的第v+1列的迭代，直到v＝L时，得到最优哈希码Y₀=Y；

7.6)采用线性变换表示哈希函数h_l(x_t)：

$h_l\left(x_t\right)=w_l^T{x}_t+b_l,$

式中，w_l∈R^d×1是转换向量，

是w_l的转置向量，l＝1,2,...,L，b_l是偏移量，

是第t个关键帧在所有视觉特征下的直接级联特征，d是级联特征的维数，表示为：

d_m是第m种视觉特征的维数；

7.7)整合通过目标函数O得到的最优哈希码Y₀及哈希函数h_l(x_t)，建立一致性表达式：

$\underset{W,b}{\min }\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}(\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left|\right|h_l\left(x_t\right)-y_{\mathrm{tl}}\left|\right|}_F^2+\mathrm{\&lambda;\&Omega;}\left(h_l\right)),$

由一致性表达式及哈希函数h_l(x_t)的表达式，得到新的一致性表达式：

$\underset{W,b}{\min }{\left|\right|X^{T}W+1b-Y_0\left|\right|}_F^2+\mathrm{\&lambda;}{\left|\right|W\left|\right|}_F^2;$

式中，Ω(h_l)是关于h_l的正则化函数，λ是学习参数，y_tl是最优哈希码Y₀的第t行第l列元素，

是F范数，X＝[x₁,...,x_N]∈R^d×N是所有训练的关键帧在所有视觉特征下的直接级联特征，W＝[w₁,...,w_l,...,w_L]∈R^d×L是转换矩阵，b＝[b₁,...,b_l,...,b_L]∈R^1×L是L位哈希码的偏移向量；

7.8)用新的一致性表达式对偏移向量b求偏导并置0，得到偏移向量b的表达式：

$b=\frac{1}{n}(1^T{Y}_0-1^T{X}^{T}W),$

用新的一致性表达式对转换矩阵W求偏导并置0，得到转换矩阵W的表达式：

W＝(XL_cX^T+λI)^-1XL_cY₀，

式中，

I是单位矩阵，1是N维的全1列向量，1^T是1的转置；

7.9)用转换矩阵W的第l列w_l及偏移向量b的第l列b_l组成第l个哈希函数h_l，得到L个哈希函数{h₁,h₂,…,h_l,...,h_L}，l＝1,2,...,L。

步骤8：对于每个关键帧，根据提取的全局特征塔型梯度方向直方图PHOG与局部特征基于尺度不变特征变换SIFT的加权对比度直方图，由每一个哈希函数产生一位哈希码，利用L个哈希函数，使数据库视频的关键帧和查询视频的关键帧映射为L维的哈希码。

三.特征匹配

步骤9：测量查询视频镜头Q与数据库中的参考视频镜头P的相似度，表示为：

$\mathrm{sim}(Q,P)=\underset{Y_i\&Element;G_Q}{\mathrm{\&Sigma;}}\left(\underset{Y_j\&Element;G_P}{\min }\left(\mathrm{sim}(Y_i,Y_j)\right)\right),$

式中，Y_i是查询视频镜头Q的第i个关键帧的哈希码，Y_j是数据库中参考视频镜头P的第j个关键帧的哈希码，G_Q是查询视频镜头Q的关键帧集合，G_P是数据库中参考视频镜头P的关键帧集合，式中sim(Y_i,Y_j)是视频关键帧Y_i与Y_j的相似度，表示为：

$\mathrm{sim}(Y_i,Y_j)=\frac{1}{L}\underset{L}{\mathrm{\&Sigma;}}{Y}_i\&CircleTimes;Y_j,$

式中，L是哈希码的维数，

是异或操作。

步骤10：定义匹配检测阈值ε：设数据库中的视频镜头为A个，分别为{P₁,P₂,...,P_b,...,P_A}，b＝1,2,...,A，P_b为数据库中第b个视频镜头，计算查询视频镜头Q与数据库中每个视频镜头P_b的相似度，得到A个相似度值为{sim(Q,P₁）,sim(Q,P₂）,...,sim(Q,P_b）,...,sim(Q,P_A）}，对其从小到大排列，在最大值与最小值之间均匀取值作为匹配检测阈值ε。

步骤11：将查询视频镜头Q与数据库中的参考视频镜头P的相似度sim(Q,P）与匹配检测阈值ε进行比较，如果sim(Q,P）≤ε，则认为查询视频镜头Q是数据库中参考视频镜头P的拷贝，如果sim(Q,P）＞ε，则认为查询视频镜头Q不是数据库中参考视频镜头P的拷贝。

本发明的优点可通过以下仿真实验说明：

1.仿真条件：

本发明在大量视频数据库上进行实验，测量视频拷贝检测在不同攻击下的查全率和查准率曲线，其中查准率是检测出与查询视频内容相关的视频数目与所有检测出视频数目的比值，查全率是检测出与查询视频内容相关的视频数目与数据库中全部与查询视频内容相关视频数目的比值；查全率和查准率曲线的弯曲程度越大，表示视频拷贝检测的性能越好。

设定两种对比方法：(1)用全局特征塔型梯度方向直方图PHOG表示视频关键帧，进行视频拷贝检测；(2)用局部特征基于尺度不变特征变换SIFT的加权对比度直方图表示视频关键帧，进行视频拷贝检测。

2.仿真内容：

将数据库中的视频进行6种攻击，6种攻击参数信息如表1，将攻击后的视频作为查询视频，测量本发明及两种对比方法在6种攻击下的查全率和查准率曲线，仿真结果如图4所示，其中：图4(a)是高斯噪声攻击下的查全率和查准率曲线，图4(b)是亮度变化攻击下的查全率和查准率曲线，图4(c)是剪切攻击下的查全率和查准率曲线，图4(d)是旋转攻击下的查全率和查准率曲线，图4(e)是帧率变换攻击下的查全率和查准率曲线，图4(f)是掉帧攻击下的查全率和查准率曲线。

图4中的“多特征哈希”表示本发明的方法，“全局特征”表示对比方法(1)，“局部特征”表示对比方法(2)。

从图4可以看出，在几何攻击、时序攻击及多种空域攻击下，本发明的方法均优于对比方法，说明本发明的方法在多种攻击下具有更好的视频拷贝检测性能。

表1

将上述6种攻击中的任意一种攻击后的视频作为查询视频，计算本发明及两种对比方法在数据库中检测到查询视频的时间复杂度，时间复杂度越小，表示视频拷贝检测的效率越好，计算结果显示，对比方法的时间复杂度是本发明的时间复杂度的5倍多，从仿真结果可以看出，本发明的方法具有更好的视频拷贝检测效率。

综上，本发明有效提高了视频拷贝检测的精度和效率，对几何攻击、时序攻击及多种空域攻击均具有较好的鲁棒性，这是因为：(1)本发明用多种特征描述视频内容，提高了视频拷贝检测的精度；(2)本发明的多特征哈希学习算法挖掘了不同视觉特征之间的互补信息，使得哈希码保留了视频在原始特征空间下的相似性，有效提高了视频拷贝检测的性能。

Claims (4)

1.一种基于多特征哈希的视频拷贝检测方法，包括：

(1)多特征提取步骤：

(1a)给定视频V，将视频V分割成一系列连续的相等长度的视频镜头V＝{C₁,C₂,…,C_i,...,C_I}，C_i是视频V的第i个镜头，i＝1,2,...,I，I是视频镜头的个数；

(1b)将每一个视频镜头的帧率统一为每秒30帧，将所有的视频帧转换为宽度为320，高度为240的灰度图像；

(1c)对每一个视频镜头进行降6采样处理，即每6个视频帧提取一个关键帧；

(1d)提取关键帧的塔型梯度方向直方图PHOG为关键帧的全局特征；

(1e)利用尺度不变特征变换SIFT检测算子，提取关键帧的特征点，获得关键帧的特征点集，在关键帧大小为120×40的中心区域内，选择特征强度最大的特征点作为圆心，构造半径为R的稳定的圆形特征区域，若该区域不存在特征点，则选择关键帧的中心为圆心，提取基于尺度不变特征变换SIFT的加权对比度直方图为关键帧的局部特征；

(2)特征映射步骤：

(2a)利用相似度保持的多特征哈希学习SPM2H算法建立目标函数，通过优化求解得到L个哈希函数{h₁,h₂,…,h_l,...,h_L}，h_l是第l个哈希函数，l＝1,2,...,L；

(2b)对于每个关键帧，结合提取的全局特征和局部特征，由每一个哈希函数产生一位哈希码，利用L个哈希函数，使数据库视频的关键帧和查询视频的关键帧映射为L维的哈希码；

(3)特征匹配步骤：

(3a)测量查询视频镜头Q与数据库中的参考视频镜头P的相似度，表示为：

$\mathrm{sim}(Q,P)=\underset{Y_i\&Element;G_Q}{\mathrm{\&Sigma;}}\left(\underset{Y_j\&Element;G_P}{\min }\left(\mathrm{sim}(Y_i,Y_j)\right)\right),$

式中，Y_i是查询视频镜头Q的第i个关键帧的哈希码，Y_j是数据库中参考视频镜头P的第j个关键帧的哈希码，G_Q是查询视频镜头Q的关键帧集合，G_P是数据库中参考视频镜头P的关键帧集合，式中sim(Y_i,Y_j)是视频关键帧Y_i与Y_j的相似度，表示为：

$\mathrm{sim}(Y_i,Y_j)=\frac{1}{L}\underset{L}{\mathrm{\&Sigma;}}{Y}_i\&CircleTimes;Y_j,$

式中，L是哈希码的维数，

是异或操作；

(3b)定义匹配检测阈值ε：设数据库中的视频镜头为A个，分别为{P₁,P₂,...,P_b,...,P_A}，b＝1,2,...,A，P_b为数据库中第b个视频镜头，计算查询视频镜头Q与数据库中每个视频镜头P_b的相似度，得到A个相似度值为{sim(Q,P₁）,sim(Q,P₂）,...,sim(Q,P_b）,...,sim(Q,P_A）}，对其从小到大排列，在最大值与最小值之间均匀取值作为匹配检测阈值ε；

(3c)将查询视频镜头Q与数据库中的参考视频镜头P的相似度sim(Q,P）与匹配检测阈值ε进行比较，如果sim(Q,P）≤ε，则认为查询视频镜头Q是数据库中参考视频镜头P的拷贝，如果sim(Q,P）＞ε，则认为查询视频镜头Q不是数据库中参考视频镜头P的拷贝。

2.根据权利要求1所述的基于多特征哈希的视频拷贝检测方法，其中步骤(1e)所述的提取基于尺度不变特征变换SIFT的加权对比度直方图为关键帧的局部特征，按如下步骤进行：

(1e1)将圆形特征区域进行极坐标划分：

首先，将圆形特征区域先分成4个角度区间：

其次，将圆形特征区域分为3级半径区间：40，70，100；

然后，按照半径递增的顺序，在每一级半径区域内，按照角度从小到大遍历，组成12个相邻并不重叠的区域{R₁,R₂,...,R_k,...,R₁₂}，k＝1,2,...,12；

(1e2)计算区域R_k中的像素点p的灰度值I(p)与圆心点p_c的灰度值I(p_c)的差值C(p)：

C(p)＝I(p)-I(p_c)；

(1e3)计算区域R_k中的所有像素点的差值为正的对比度

和差值为负的对比度

分别为：

$H_{R_k^{+}}\left(p_c\right)=\left|\frac{\mathrm{\&Sigma;}\left\{C\left(p\right)\right|p\&Element;R_k^C\left(p\right)\&GreaterEqual;0\}}{\#R_k^{+}}\right|,$

$H_{R_k^{-}}\left(p_c\right)=\left|\frac{\mathrm{\&Sigma;}\left\{C\left(p\right)\right|p\&Element;R_k^C\left(p\right)<0\}}{\#R_k^{-}}\right|,$

为C(p)≥0的像素点个数，

为C(p)＜0的像素点个数，^是求与操作，{C(p)|p∈R_k^C(p)≥0}是满足p∈R_k且C(p)≥0的C(p)值，{C(p)|p∈R_k^C(p)＜0}是满足p∈R_k且C(p)＜0的C(p)值；

(1e4)依次计算区域R_k中的所有像素点差值为正的对比度

和差值负的对比度

得到24维的对比度直方图，对三级半径区域的对比度乘以权值，得到加权对比度直方图，该权值按照半径递增的顺序依次为(0.4,0.35,0.25)。

3.根据权利要求1所述的基于多特征哈希的视频拷贝检测方法，其中步骤(2a)所述的利用相似度保持的多特征哈希学习SPM²H算法建立目标函数，按如下步骤进行：

(2a1)构建每种视觉特征下的局部结构信息，即关联矩阵：

式中，是在第m种视觉特征下第p个关键帧和第q个关键帧的关联度，N_K(·)是K近邻，^是求与操作，

表示在第m种视觉特征下第p个关键帧属于第q个关键帧的K近邻且第q个关键帧属于第p个关键帧的K近邻，

是第p个关键帧的第m种特征向量，

是第q个关键帧的第m种特征向量；

(2a2)建立相似度保持的多特征哈希学习SPM²H算法的目标函数：

$O=\underset{Y}{\min }\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{p,q}{\overset{N}{\mathrm{\&Sigma;}}}{S}_{p,q}^{\left(m\right)}{(d(x_p^{\left(m\right)},x_q^{\left(m\right)})-\tilde{d}(x_p^{\left(m\right)},x_q^{\left(m\right)}))}^2$

s.t.Y∈{-1,1}^N×L，Y1＝0，YY^T＝I，

式中，

是对Y求最小操作，L是哈希码的维数，M是视觉特征的数目，N是训练关键帧的数目，s.t.·是约束条件，Y＝[Y₁,...,Y_N]∈R^N×L是所有训练关键帧在多种特征下的哈希码，

是第p个关键帧的第m种特征向量

与第q个关键帧的第m种特征向量

之间的归一化距离，

是第p个关键帧的哈希码Y_p与第q个关键帧的哈希码Y_q之间的归一化距离，表示为：

$\tilde{d}(x_p^{\left(m\right)},x_q^{\left(m\right)})=\frac{1}{L}\underset{L}{\mathrm{\&Sigma;}}{Y}_p\&CircleTimes;Y_q.$

4.根据权利要求1所述的基于多特征哈希的视频拷贝检测方法，其中步骤(2a)所述的通过优化求解得到L个哈希函数{h₁,h₂,…,h_l,...,h_L}，h_l是第l个哈希函数，l＝1,2,...L,，按如下步骤进行：

(2aa)随机初始化哈希码Y=[y₁₁,...,y_1L;...;...,y_uv,...;...;...,y_gv,...;...;y_N1,...,y_NL]，定义阈值向量m＝[m₁,m₂,...,m_v,...,m_L]，m_v为m的第v列元素，其取值为哈希码Y的第v列元素的中间值，v＝1,2,...,L，L是哈希码的维数，y_uv为哈希码Y的第u行第v列元素，u＝1,2,...,N，N是训练关键帧的数目，如果y_uv≥m_v，则y_uv置为1，如果y_uv＜m_v，则y_uv置为-1，依次进行，此时哈希码Y为二值矩阵；

(2ab)计算目标函数O的初始值为D_m，定义门限阈值T＝10^-6，定义最优哈希码为Y₀，将初始值D_m与门限阈值T进行比较，如果D_m≤T，则最优哈希码Y₀=Y，执行步骤(2af)，如果D_m＞T，则执行步骤(2ac)；

(2ac)比较哈希码Y的第u行第v列元素y_uv与第g行第v列元素y_gv是否相同，1≤u≤N，1≤g≤N：

如果y_uv与y_gv相同，则给g加1，返回步骤(2ac)；

如果y_uv与y_gv不相同，则(y_uv,y_gv)有两种取值情况，即(1,-1)与(-1,1)，对于这两种取值情况分别计算目标函数O的值，并比较两次得到的目标函数O的值大小，选择其较小值对应的取值情况来更新(y_uv,y_gv)，根据更新后的(y_uv,y_gv)再更新哈希码Y；

(2ad)对于哈希码Y的第u行依次执行步骤(2ac)，1≤u≤N；

(2ae)对于哈希码Y的第v列迭代执行步骤(2ac)与步骤(2ad)，直到每次迭代执行前目标函数O的值与迭代执行后目标函数O的值之差小于门限阈值T时，再执行哈希码Y的第v+1列的迭代，直到v＝L时，得到最优哈希码Y₀=Y；

(2af)采用线性变换表示哈希函数h_l(x_t)：

$h_l\left(x_t\right)=w_l^T{x}_t+b_l,$

式中，w_l∈R^d×1是转换向量，

是w_l的转置向量，l＝1,2,...,L，b_l是偏移量，

是第t个关键帧在所有视觉特征下的直接级联特征，d是级联特征的维数，表示为：

d_m是第m种视觉特征的维数；

(2ag)整合通过目标函数O得到的最优哈希码Y₀及哈希函数h_l(x_t)，建立一致性表达式：

$\underset{W,b}{\min }\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}(\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left|\right|h_l\left(x_t\right)-y_{\mathrm{tl}}\left|\right|}_F^2+\mathrm{\&lambda;\&Omega;}\left(h_l\right)),$

由一致性表达式及哈希函数h_l(x_t)的表达式可得新的一致性表达式：

$\underset{W,b}{\min }{\left|\right|X^{T}W+1b-Y_0\left|\right|}_F^2+\mathrm{\&lambda;}{\left|\right|W\left|\right|}_F^2;$

式中，Ω(h_l)是关于h_l的正则化函数，λ是学习参数，y_tl是最优哈希码Y₀的第t行第l列元素，

是F范数，X＝[x₁,...,x_N]∈R^d×N是所有训练的关键帧所有视觉特征下的直接级联特征，W＝[w₁,...,w_l,...,w_L]∈R^d×L是转换矩阵，b＝[b₁,...,b_l,...,b_L]∈R^1×L是L位哈希码的偏移向量；

(2ah)用新的一致性表达式对偏移向量b求偏导并置0，得到偏移向量b的表达式：

$b=\frac{1}{n}(1^T{Y}_0-1^T{X}^{T}W),$

用新的一致性表达式对转换矩阵W求偏导并置0，得到转换矩阵W的表达式：

W＝(XL_cX^T+λI)^-1XL_cY₀，

式中，

I是单位矩阵，1是N维的全1列向量，1^T是1的转置；

(2ai)用转换矩阵W的第l列w_l及偏移向量b的第l列b_l组成第l个哈希函数h_l，得到L个哈希函数{h₁,h₂,…,h_l,...,h_L}，l＝1,2,...,L。

Images