CN102034085A - 基于局部线性嵌入的视频拷贝检测方法 - Google Patents

Abstract

本发明提供了一种基于局部线性嵌入的视频拷贝检测方法，包括以下步骤：(1)预处理：将视频帧的尺寸标准化；(2)关键帧的选取：根据视频层析成像技术和一个服从均匀分布的向量来选取视频关键帧；(3)高维空间视频特征的提取：利用四阶累积量的离散余弦变换作为每帧的高维特征；(4)以关键帧的累积量的离散余弦变换系数作为局部线性嵌入的输入，利用局部线性嵌入的算法，把视频各帧映射成低维平面的点，以点的范数构成哈希序列作为视频特征；(5)以一个动态的滑动窗来实现不同长度的视频匹配。本发明在考虑视频时空特性的基础上，把视频投影到一个低维空间中来提取特征，具有较好的鲁棒性和区分性。

Description

基于局部线性嵌入的视频拷贝检测方法

技术领域

本发明涉及一种基于局部线性嵌入的视频拷贝检测方法，属于视频、多媒体信号处理技术领域。

背景技术

随着多媒体技术和Internet的发展，网络视频变的越来越丰富，因此视频检索在网络中的应用也越来越广泛。但在对互联网上视频的检索结果进行研究时发现，平均有27％的检索结果属于视频拷贝(Video Copy)；特别地，在对最大的视频网站Youtube的检索统计中，某些热点视频的检索结果中，视频拷贝的比例甚至高达93％，这大大降低了视频检索的效率。与此同时，互联网上对于海量视频的管理却是缺乏规划和统一性，常常引起一些诸如知识产权等的纠纷。作为视频检索的一个分支，视频拷贝检测被提出并成为了解决上述问题的主要方法。

基于内容的视频拷贝检测(Content-Based Video Copy Detection-CBVCD)与数字视频水印技术不同，它不需要在视频发布或者传播之前，人工地在视频对象中嵌入附加信息，因此，CBVCD对于尚未发布和已经发布的视频都有效；同时，由于不需要在视频上嵌入附加信息，CBVCD解决了数字视频水印技术中水印的不可见性和鲁棒性之间的矛盾，从而提高了CBVCD对于常见攻击的鲁棒性。利用CBVCD技术不但可以在视频检索中搜索到多余的视频拷贝，并将其屏蔽，而且有助于规范数字视频版权、数字视频传播等的管理；同时，从另一个方面，也可以通过CBVCD来对商业视频及其视频拷贝进行跟踪分析，以获得有价值的营销策略信息。因此，在个人视频制作与网络传播日益流行的情况下，CBVCD具有重要的理论价值和应用价值，已经成为了多媒体信息处理领域的研究热点。

但现有的视频拷贝检测技术大多关注于视频各帧的空域特性，而在某种程度上忽略了视频在时域上的变化特性，这对于表达视频的总体特征是不利的。同时，现有的算法，大多集中在视频像素、纹理或其频域的特性，其实这些特性存在于一个高维的空间中，对提取视频特征是不利的。

发明内容

本发明针对现有视频拷贝检测技术存在的不足，提供一种具有较好的鲁棒性和区分性的基于局部线性嵌入的视频拷贝检测方法。

本发明的基于局部线性嵌入的视频拷贝检测方法，包括以下步骤：

(1)预处理：将视频帧的尺寸标准化，改变视频的分辨率，但是不改变视频内容；

(2)关键帧的选取：根据视频层析成像技术和一个服从均匀分布的向量来选取视频关键帧；

(3)高维空间视频特征的提取：利用四阶累积量的离散余弦变换(DCT)作为每帧的高维特征；

(4)以关键帧的累积量的离散余弦变换(DCT)系数作为局部线性嵌入的输入，利用局部线性嵌入的算法，把视频各帧映射成低维平面的点，以点的范数构成哈希序列作为视频特征；

(5)以一个动态的滑动窗来实现不同长度的视频匹配。

所述步骤(2)的具体实现步骤是：

①扫描视频各帧特定列的像素点的亮度分量，构造一个视频层析成像图像，从而划分视频镜头；

②利用一个服从均匀分布的向量来在每一个镜头里选择代表帧，最终构成关键帧；

所述步骤(3)的具体实现步骤是：

①计算每个关键帧的四阶累积量；

②计算每帧累积量的离散余弦变换(DCT)系数，取最大的40个系数待用，因为其包含了主要的信息和能量。

所述步骤(4)的具体实现步骤是：

①选取每帧四阶累积量离散余弦变换(DCT)变换最大的40个系数作为关键帧在高维空间里的坐标；

②把关键帧进行8x8分块，根据视频相邻关键帧对应块之间的离散余弦变换(DCT)变换中频系数的差值，来判断是否为邻居，设定一阈值，若相邻关键帧所有对应块之间的差值的平均值小于阈值，则说明两帧是邻居，计算出每个关键帧的邻居数目，选择一个最小的作为所有帧的邻居数目；

③利用局部线性嵌入把关键帧投影成低维平面上的点，计算各点的范数，并依据一个密钥来把此序列量化成一个二值序列，此即为该视频的哈希序列。

所述步骤(5)的具体实现步骤是：

①将两个视频做比较，以较短的视频的长度作为动态窗的宽度；

②若前一次比较的错误码元数为d，则下一次动态窗滑动的步长为d。

③以所有比较中最小的错误码元数作为两个视频的距离，然后计算误码率，若误码率小于给定阈值，则说明两个视频中其一为拷贝。

上述方法首先利用视频层析成像技术和服从均匀分布的向量对视频进行镜头分割和关键帧提取，然后以高阶累计量作为视频在高维空间的特征并利用局部线性嵌入进行降维，得到视频在三维空间中的轨迹，利用三维空间中点的范数构造视频哈希来实现视频拷贝检测

本发明在考虑视频时空特性的基础上，把视频投影到一个低维空间中来提取特征，具有较好的鲁棒性和区分性，利用局部线性嵌入的方法把视频由高维的空间降低到低维空间，克服了在高维空间中的计算复杂性，在低维空间中生成的哈希序列既简单又具有较高的鲁棒性。

附图说明

图1是本发明方法的步骤框架示意图。

图2是视频层析成像形成的示意图。

图3是利用局部线性嵌入对视频降维的示意图。

图4是本发明对于各种攻击后的误码率示意图：(左上)随机噪声；(右上)帧旋转；(左下)帧随机丢弃；(右下)帧像素平移。

具体实施方式

下面结合附图对本发明的加以详细的说明。具体实施中采用视频切片技术进行视频镜头分割，然后利用均匀分布的向量标记关键帧。本领域技术人员根据说明，也可采用其他方法进行关键提取。视频的降维技术采用局部线性嵌入的方法，哈希序列的形成采用二值量化的方法。

本发明的方法按图1所示流程，包括如下具体步骤：

(1)预处理

视频在传输的过程中，因为干扰和攻击会导致视频帧的大小发生变化，为了解决这个问题，增加算法的鲁棒性，首先在预处理的工程中对视频帧的尺寸标准化，标准化的工程使视频的分辨率改变，但是不改变视频内容。在本发明的方法中，可以只对关键帧进行尺寸标准化，帧放缩处理函数S定义如下：

f_k＝S(F_k)

其中F_k∈R^m×n和f_k∈R^w×h分别代表标准化前后的第k帧，且w＜m，h＜n。

(2)关键帧选取

①利用视频层析成像技术进行视频镜头分割，视频层析成像是由视频各帧在特定方向上的像素在二维平面上的投影形成的图像。假设视频V共有n帧，分别为f₁ f₂…f_n.每帧的分辨率是w×h。则通过下式可得到视频V的视频层析成像图像VT。

VT(k，：)＝[diag(f_k)，indiag(f_k)]，1≤k≤n.

层析成像如图2所示。

②采取基于均匀分布的随机变量i_index作为密钥来在一个镜头中选择关键帧。

i_index＝{t_i}i＝1，2，…N，t_i∈{1，2，…，M}

其中M是一个镜头的视频帧数目，N是选取的关键帧的数目，一般定义的i_index的长度为M的五分之一到四分之一即可。以均匀分布的随机变量作为关键帧选取的索引，既增加了方法的安全性同时又保证了关键帧分布于每个时间片段上。

(3)视频哈希序列的生成

①邻居的选取

在局部线性嵌入的算法流程中，一个非常重要的步骤就是高维数据点邻居的选取，根据不同的应用可以选择不同的度量标准来选取邻居，对于视频拷贝检测来说，最重要的原则就是对一些非恶意修改的强鲁棒性。本发明采用帧间块的DCT系数差值作为邻居选取的度量标准，具体实现的算法如下：

视频帧邻居选取算法

输入：

原始视频V_o(N帧).以

开始：

For k＝1：N Do//对每帧采取相同的操作.

把该帧分为8×8块，并对每块的亮度进行分块DCT变换。

对每块DCT系数进行zigzag拉伸，定义为：

m是每帧的块数。

取每块的中间30％的DCT交流系数并相加，构成向量

End

For k＝1：N

   For t＝1：N

是给定阈值。

     则第t帧和第k帧互为邻居.

    End

  End

End

输出：

对于每帧F_k，得到邻居数目N_k，为计算方便，取所有帧一个公共的邻居数目K，即

K＝min{N_k|1≤k≤N}。

End

②计算四阶累积量

对于不改变视频内容的攻击可以建模成一高斯过程，而高阶累积量具有去高斯性，因此选择高阶累积量作为视频高维空间的特征是具有很强鲁棒性的，本发明取四阶累积量作为高维特征。

对于含有w×h个像素的帧，可以得到w×h个累积量系数，这个数目可能会非常大，为减少计算量，本文对累计量系数进行DCT变换，取前40个系数作为特征，即视频所在高维特征空间的维数为40，每个坐标的大小即相应的累积量DCT系数的值。

③利用局部线性嵌入对视频降维

视频每帧可以看作以累积量的DCT系数为坐标的高维空间中的点，利用局部线性嵌入，可把视频投影到一个三维的空间上，具体过程如下：

●提取给定视频的关键帧，并为每个关键帧寻找邻居。

●对于每个关键帧，计算其亮度系数的四阶累计量并进行DCT变换，取前40个较大的DCT系数，定义为N是关键帧的数目。并组成矩阵 $D_{40\×N}:D=\{D_k^O:1\≤k\≤N\}.$

●利用局部线性嵌入的方法，把视频各帧投影到三维空间中，得到点列v＝{v_i}_1×N，计算每个点的F-范数‖v_i‖_F，则得到一个范数序列并用来生成视频哈希序列。

图3是一个利用局部线性嵌入对视频降维例子的示意图，其中左图(a)是一段视频片段，右图(b)是该段视频片段在三维空间中的投影轨迹。

④哈希序列的计算

鲁棒的哈希值是整个拷贝检测的关键，本发明采用如下的方法。首先生成一个范围在[0，1]，零均值服从均匀分布的随机序列p＝{p_k}作为密钥，根据下式，生成哈希序列h＝{h_k}。

$h_k=\left\{\begin{array}{cc}1& \mathrm{if}|v_k^o*p_k|\&GreaterEqual;\mathrm{Th}\\ 0& \mathrm{if}|v_k^o*p_k|<\mathrm{Th}\end{array}\right.$ 1≤k≤N

其中Th为阈值，计算方法如下：

$\mathrm{Th}=\mathrm{median}\left(\right|v_k^o*p_k\left|\right)$ 1≤k≤N

(5)视频匹配

视频匹配主要包括两种情况下的匹配，其一是原始视频和待测视频具有相等或近似相等的帧的数目，这时，只需对待测视频进行哈希序列提取，若得到的哈希序列和原始视频的哈希序列的误码率小于某一给定阈值，则证明该视频时原始视频的拷贝；其二原始视频和待测视频帧数目相差很多，可能是待测视频的其中某个片段拷贝于原始视频，或待测视频为原始视频某一片段的拷贝，此时，视频片段的匹配就是一个重要的问题了。

为解决这个问题，本发明采取滑动窗的方法来进行匹配，以较短的视频长度为滑动窗长度，在较长视频段上滑动，并分别匹配，每次匹配得到一个差错码的数目，取最小的数目作为待测视频和原始视频的距离，若此距离小于给定阈值，则说明检测到拷贝。此方法中，涉及到两个重要参数：滑动窗的长度和滑动距离。滑动窗的长度由较短的那个视频决定，滑动距离，本发明采用动态方法确定，假设前一次窗序列和较短视频的差错码数为d，则下一次滑动窗口的滑动距离为d。因为，若上次比较的两段序列差异较小，即d较小，意味着此次比较中部分帧的拷贝已经出现，因此滑动距离要稍小来进行下次比较，反之亦然。所有视频段比较完毕，则可得到所有比较中最小的差错数d_min，然后计算误码率，若误码率小于给定阈值，则说明有拷贝出现。

下面的仿真试验是本发明方法的一个具体例子，通过此例可对本发明方案的性能进行验证。

把该方法应用于图(3)(a)所示视频“anni001.mpg”(240x320，941 frames)，设定一个阈值t＝0.2(误码率的阈值，即差错的数目除以码数)，若待测视频与原始视频的哈希序列相比误码率小于t，则说明待测视频是原始视频的一个拷贝，为证明本发明方法能够提高鲁棒性，图4给出了图(3)(a)所示视频片段在AWGN、帧旋转、帧平移和帧丢弃四种攻击下的误码率曲线，各种攻击下视频拷贝检测的效果如下表所示，此表体现了在不同攻击下的视频检测的精确性。仿真结果也证明了本发明方法的鲁棒性和精确性。

Claims (5)

1.一种基于局部线性嵌入的视频拷贝检测方法，其特征在于：包括以下步骤：

(1)预处理：将视频帧的尺寸标准化，改变视频的分辨率，但是不改变视频内容；

(2)关键帧的选取：根据视频层析成像技术和一个服从均匀分布的向量来选取视频关键帧；

(3)高维空间视频特征的提取：利用四阶累积量的离散余弦变换(DCT)作为每帧的高维特征；

(4)以关键帧的累积量的离散余弦变换(DCT)系数作为局部线性嵌入的输入，利用局部线性嵌入的算法，把视频各帧映射成低维平面的点，以点的范数构成哈希序列作为视频特征；

(5)以一个动态的滑动窗来实现不同长度的视频匹配。

2.根据权利要求1所述的基于局部线性嵌入的视频拷贝检测方法，其特征在于：所述步骤(2)的具体实现步骤是：

①扫描视频各帧特定列的像素点的亮度分量，构造一个视频层析成像图像，从而划分视频镜头；

②利用一个服从均匀分布的向量来在每一个镜头里选择代表帧，最终构成关键帧。

3.根据权利要求1所述的基于局部线性嵌入的视频拷贝检测方法，其特征在于：所述步骤(3)的具体实现步骤是：

①计算每个关键帧的四阶累积量；

②计算每帧累积量的离散余弦变换(DCT)系数，取最大的40个系数待用，因为其包含了主要的信息和能量。

4.根据权利要求1所述的基于局部线性嵌入的视频拷贝检测方法，其特征在于：所述步骤(4)的具体实现步骤是：

①选取每帧四阶累积量离散余弦变换(DCT)变换最大的40个系数作为关键帧在高维空间里的坐标；

②把关键帧进行8x8分块，根据视频相邻关键帧对应块之间的离散余弦变换(DCT)变换中频系数的差值，来判断是否为邻居，设定一阈值，若相邻关键帧所有对应块之间的差值的平均值小于阈值，则说明两帧是邻居，计算出每个关键帧的邻居数目，选择一个最小的作为所有帧的邻居数目；

③利用局部线性嵌入把关键帧投影成低维平面上的点，计算各点的范数，并依据一个密钥来把此序列量化成一个二值序列，此即为该视频的哈希序列。

5.根据权利要求1所述的基于局部线性嵌入的视频拷贝检测方法，其特征在于：所述步骤(5)的具体实现步骤是：

①将两个视频做比较，以较短的视频的长度作为动态窗的宽度；

②若前一次比较的错误码元数为d，则下一次动态窗滑动的步长为d。

③以所有比较中最小的错误码元数作为两个视频的距离，然后计算误码率，若误码率小于给定阈值，则说明两个视频中其一为拷贝。 

Images