CN103390040A - 一种视频拷贝检测方法 - Google Patents

Abstract

本发明公开了一种视频拷贝检测方法，属于图像与视频处理技术领域。该方法首先提取视频各关键帧图像的SIFT特征点，并将该图像分别分成4x2,2x4两种等大小矩形区域，再统计图像不同区域内SIFT特征点的数量，根据块间特征点数的顺序度量到图像的OM特征，构成两个1*8维特征向量代表该关键帧的特征，选择2*4和4*2中距离比较小的一个作为视频帧间的距离。计算N帧查询视频与参考视频子序列间的平均距离，与阈值比较来判断是否是拷贝。使用该方法能够提高视频拷贝检测对各种拷贝变化的鲁棒性，同时避免了SIFT的128维特征匹配，降低拷贝检测的复杂度。

Description

一种视频拷贝检测方法

技术领域

本发明涉及图像与视频处理技术领域，特别涉及一种基于尺度不变特征变换与顺序度量特征相结合的视频拷贝检测方法。

背景技术

基于内容的视频拷贝检测(以下简称为视频拷贝检测)是当前视频版权保护的主要方法之一。视频拷贝检测是指以被保护的视频作为参考视频，检测查询视频库中是否存在拷贝视频。拷贝视频是参考视频经过各种形式的拷贝攻击得到的。虽然参考视频受到了拷贝攻击，但是拷贝视频与参考视频在内容上是相同的，因此基于内容的视频拷贝检测技术需要能有效地检测出这些拷贝攻击。视频拷贝检测技术在版权保护、视频排序及检索、视频内容管理、指定有害内容视频的检测与过滤、商业视频的数据挖掘与跟踪等方面有着巨大的市场应用需求和良好的市场应用前景。

一个视频序列可以划分为多个镜头，每个镜头又由一系列连续的图像帧组成。原始视频可以按照由粗到细的顺序划分为3个层次：视频、镜头和图像帧。在视频序列的连续帧之间,有着大量的冗余信息,因此可以通过关键帧提取方法从一个视频序列中选取某些关键帧,如图1所示。从关键帧中提取特征,组成该视频序列的特征集,构成该视频序列的特征。在视频拷贝检测时，只需要比较参考视频和查询视频（被检测视频）的对应关键帧而非整个视频序列,从而大大降低计算复杂度。

一个典型的视频拷贝检测系统由如下四个步骤组成，由图2所示：

(1)参考视频数据库特征提取：从原始视频库中提取出能代表各视频序列的特征序列，保存在视频特征数据库中；

(2)查询视频特征提取：在查询视频中采用与参考视频相同的特征提取方法提取出特征序列；

(3)特征匹配：计算查询视频特征与参考视频特征之间的特征距离。

(4)判断：将（3）计算得到的特征距离与事先设定的阈值进行比较，判断查询视频是否为参考数据库视频中的一个拷贝。

视频拷贝检测系统的关键技术包括镜头检测，关键帧提取，关键帧特征提取和特征匹配。

视频拷贝检测方法的主要差别在于特征提取和匹配方法的不同。

图像特征可分为局部特征和全局特征两种。全局特征是对图像内容的整体性描述。图像的顺序度量(Ordinal measure，OM)特征是一种全局特征。全局特征的优点是能够应对视频在编码、帧分辨率、缩放等方面的拷贝变化，检测速度比较快，消耗时间少；全局特征的缺点是对于平移等几何变化及复杂的编辑效果不佳。

给定一幅图像，OM特征提取的过程如下：

l、把图像分成mxn个等尺寸的块；

2、得到一个mxn的矩阵M,M的元素为块内亮度的平均值；

3、对M的元素顺序度量得到一个大小与M相同的矩阵P，将矩阵P的元素按先行后列转化为一向量，得到特征向量S。

下面通过一个例子来说明，如图3所示，把图像等分成3x3块（m=3,n=3)。得到一个1x9维特征向量S，S就是图像I的顺序度量征,S=[7,8,9,4,6,5,2,3,1]。

OM特征是效果最优的全局特征。OM特征提取方法不强调两个度量之间的大小差别，而是强调它们之间的顺序关系。OM特征对视频的亮度变换、尺寸变换等鲁棒性较好，性能较优，但图像局部变化容易造成整体顺序度量变化，对顺序度量特征的影响较大。OM算法的分块方式对算法性能也有影响：图像2x2分块的OM算法与图像3x3分块的OM算法相比，能提高抵抗加边框的拷贝攻击的鲁棒性。如图4所示，（a）为原图像提取2x2分块OM特征，（b）为原图像经过添加竖边框的拷贝攻击后提取2x2分块OM特征，两幅图像的提取的特征向量相同，说明该特征对添加竖边框的拷贝攻击具有鲁棒性。添加横边框时同理。因为，无论是对于上下边框还是左右边框的拷贝攻击，2x2分块将每个黑边框平分到每个块，块排序和原视频图像排序一致；（c）为原图像提取3x3分块提取OM特征，（d）为原图像经过添加竖边框的拷贝攻击后提取3x3分块OM特征，两幅图像提取的特征向量不同，说明该特征对添加边框的拷贝攻击不具备鲁棒性。但2x2的OM分块数目只有4个，针对不同内容视频的区分能力较弱，容易使不同的视频的亮度排序相同，检测精确度不高。

图像的局部特征指具有局部不变性特性的局部兴趣点。尺度不变特征变换（Scale invariant feature transform，SIFT）特征是一种视频拷贝检测领域常用的局部特征。SIFT特征提取方法在高斯差分尺度空间中寻找极值点，并提取出其位置、尺度、旋转不变量生成特征描述子。提取SIFT特征点的步骤如下（如图5所示）：

(1)构建尺度空间；

(2)检测尺度空间极值点；

(3)抽取稳定的关键点；

(4)为每个关键点指定一个或者多个方向；

(5)生成特征点描述子；

SIFT特征提取的特点是，在多尺度空间采用高斯差分算子检测关键点，运算速度快；关键点的定位精度高，稳定性好；在构造描述子时，以子区域的统计特性，而不是以单个像素作为操作对象，提高了对图像局部变形的适应能力。该算法匹配能力较强，能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征的匹配。SIFT算法已被证实在光照变化、图像几何变形、分辨率差异、旋转、模糊和图像压缩等6种情况下同类特征中鲁棒性最强。SIFT特征在稳定性、独特性方面的优良性能，使得SIFT特征非常适合在视频帧中提取稳定性、区分性强的特征来表征视频信息。为了保持旋转不变性，SIFT对每个关键点使用4×4共16个种子点来描述，每个种子点有8个方向向量，这样对于一个关键点就产生128个数据，即最终形成128维的SIFT特征向量。采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量，其不足之处在于匹配计算复杂度过高且耗费巨大的存储空间。

好的视频拷贝检测技术对各种拷贝攻击具有鲁棒性，然而，目前单一的全局特征或局部特征都难以兼顾高效地抵抗视频拷贝攻击和降低视频拷贝检测的复杂度。而本发明能够解决上面的问题。

发明内容

本发明目的在于提供一种视频拷贝检测方法，该方法将全局特征与局部特征相结合来表示视频特征，全局特征为顺序度量特征，顺序度量采用的二种分块顺序度量方法为将图像分别进行2*4和4*2二种分块，并且将两种不同分块的每个块内的SIFT特征点数进行顺序度量。局部特征为尺度不变特征变换特征。本发明将SIFT特征和OM特征相结合来提取关键帧图像特征，并将其应用于视频拷贝检测。使用本发明的方法，能够提高视频拷贝检测对各种拷贝变化的鲁棒性，同时避免了SIFT的128维特征匹配，降低拷贝检测的复杂度。

为了达到上述目的，本发明将SIFT特征与OM特征相结合实现视频拷贝检测的技术方案包括如下步骤：

1、提取图像的SIFT特征点；

2、将图像进行mxn的分块；将关键帧图像分别分成4x2,2x4两种大小相等的矩形区域；

3、分别统计上述第2步所得的两种分块方式下不同区域内SIFT特征点的数量；得到一个mxn的矩阵M,M的元素为对应块中的SIFT特征点数；

4、分别将各块中SIFT特征点数量排序，得到两个1*8维特征向量即为图像的特征；对M的元素顺序度量得到一个大小与M相同的矩阵P，将矩阵P的元素按先行后列转化为一向量，得到特征向量S。

本发明的SIFT特征与OM特征相结合的特征提取方法中，OM方法采用分别采用2x4和4x2二种分块方法。

图6以4x2和2x4分块的OM特征提取方法与SIFT特征相结合为例：图6（1）为关键帧图像进行SIFT特征提取的示例图；图6（2a）为对完成SIFT特征提取的图像进行4x2的OM分块，图6（2b）为对完成SIFT特征提取的图像进行2x4的OM分块；图6（3a）为6（2a）中各分块区域内的SIFT特征点数，图6（3b）为6（2b）中各分块区域内的SIFT特征点数；图6（4a）为6(3a)内SIFT特征点的排序,图6（4b）为6(3b)内SIFT特征点的排序。于是得到2个1x8维特征向量S_4X2=[2,1,3,4,5,6,7,8]和S_2X4=[3,2,1,4,5,6,7,8],它能准确代表该图像的特征。

由于该特征本质上是局部SIFT特征点的顺序度量，只需存储SIFT特征点位置及个数即可。统计各图像区域的SIFT特征点的数量，将各区域块的SIFT特征点数顺序度量，特征匹配时只用匹配该OM特征，避免了SIFT特征的128维特征描述符的特征匹配的高复杂度，因此该特征综合了局部特征和全局特征的优势，提高了拷贝检测的鲁棒性，具有极好的拷贝检测效果。

本发明解决其技术问题所采用的技术方案是：本发明提供一种视频拷贝检测方法，该方法包括如下步骤：

步骤1：取查询视频序列长度N作为检测窗口长度，对检测窗口内查询视频和参考视频分别采用本发明提出的SIFT特征和OM特征相结合的特征提取方法进行关键帧特征提取，得到的特征向量分别代表查询视频帧特征和参考视频帧特征；

步骤2：计算检测窗口内对应的查询视频帧特征向量和参考视频帧特征向量之间的距离d；

步骤3：基于距离d，计算检测窗口内参考视频子序列与查询视频序列间的平均距离D_s；

步骤4：设置一距离阈值D；

步骤5：若D_s大于D，判断查询视频不是参考视频的拷贝，否则判断查询视频为参考视频的一个拷贝。

由于本发明将全局特征与局部特征相结合来表示视频特征，能够提高视频拷贝检测时对各种拷贝变化的鲁棒性；本发明的特征提取方法，不需要用SIFT的128维特征匹配，只用存储SIFT特征点的位置和个数即可，因此极大地降低了拷贝检测的复杂度，节约了存储空间。

本发明还提供了一种用于视频拷贝检测的匹配方法，其视频拷贝检测的匹配步骤如下：

（1）在参考视频上取长度为查询视频帧数N的检测窗口；

（2）计算检测窗口内参考视频子序列首帧与查询视频首帧的特征距离；

（3）将首帧距离与阈值比较，判断是否匹配；若否，转到步骤7；若是，转到步骤4；

（4）计算检测窗口内N帧参考视频子序列与查询视频间的平均距离；

（5）将N帧视频间的平均距离与阈值比较，判断是否匹配；若是，转到步骤6，若否转到步骤7；

（6）判断为查询视频是参考视频的拷贝，转到步骤10；

（7）检测窗口是否已包含参考视频最后一帧；若否，转到步骤8；若是，转到步骤9；

（8）将检测窗口向右移动一帧，转到步骤2；

（9）判断为查询视频不是参考视频的拷贝，转到步骤10；

（10）程序结束。

附图说明：

图1是视频关键帧提取图。

图2是基于内容的视频拷贝检测框图。

图3是图像3×3分块OM特征提取图。

图4是视频帧2×2和3×3分块亮度顺序度量图。

图5是SIFT特征提取流程图。

图6是图像的SIFT特征点的顺序度量特征提取图。

图7是视频特征提取流程图。

图8是参考视频及拷贝视频的SIFT特征点顺序度量对比图。

图9是视频匹配过程图。

图10是视频拷贝检测的匹配方法流程图。

具体实施方式：

以下结合说明书附图对本发明创造作进一步的详细说明。

本发明在视频拷贝检测中将图像的SIFT特征与OM特征相结合作为视频的特征。首先提取视频各关键帧图像的SIFT特征点，并将该图像分别分成4x2,2x4两种等大小矩形区域，统计图像不同区域块内SIFT特征点的数量，根据块内特征点数的顺序度量到图像的OM特征，构成两个1x8维特征向量代表该关键帧的特征，分别计算两种分块方式下参考视频帧与查询视频帧的对应特征向量间的绝对距离，选取距离比较小的一个作为视频帧间的距离d，计算N帧查询视频与参考视频子序列间的平均距离Ds，将Ds与阈值D比较，判断是否是拷贝。

SIFT特征与OM特征结合得到的特征，能够提高视频拷贝检测对各种拷贝攻击的鲁棒性，同时降低拷贝检测的复杂度。具体的实施分为以下几个部分：

一、特征提取步骤如下（如图7所示）：

1.提取图像的SIFT特征点：

如图5所示的常规方法取得关键帧图像的SIFT特征，此处只需存储SIFT特征点的位置和个数即可，避免了高度复杂的SIFT128维特征描述符的特征匹配；

2、将关键帧图像分别分成4x2,2x4两种等大小矩形区域；

3、分别统计第2步所得的两种分块方式下不同区域块内SIFT特征点的数量；

4、分别将各块中SIFT特征点数量顺序度量，得到两个1*8维特征向量即为该关键帧图像的特征。

下面举例说明本发明采用4x2和2x4两种分块方式提取特征的优点，如图8所示。图8（a）是参考视频；图8（b）表示拷贝视频，该视频是对参考视频进行添加左右边框的拷贝攻击得到的；图8（c）也表示拷贝视频，该视频是对参考视频进行添加上下边框拷贝攻击得到的。图8（a1）和(a2)表示对图8（a）进行本发明提出的4x2和2X4分块SIFT顺序度量特征提取，其中图8（a1）表示对图（a）完成SIFT特征提取后进行4x2的OM分块；图8（a2）表示对图（a）完成SIFT特征提取后进行2x4的OM分块；图8（a3）为8（a1）中各分块区域内的SIFT特征点数的排序；图8（a4）为8（a2）中各分块区域内的SIFT特征点数的排序。同样的，图8（b1）和（b2）表示对图8（b）进行本发明提出的4x2和2X4分块SIFT顺序度量特征提取，其中8（b1）表示对图（b）完成SIFT特征提取后进行4x2的OM分块；图8（b2）表示对图（b）完成SIFT特征提取后进行2x4的OM分块；图8（b3）为8（b1）中各分块区域内的SIFT特征点数的排序；图8（b4）为8（b2）中各分块区域内的SIFT特征点数的排序。

分别将图8（a）与图8（b）的对应特征向量相比较，即，将8（a3）与8（b3）比较，两个特征向量一致；将8（a4）与8（b4）比较，此两特征向量不一致。说明4X2的分块模式能够抵抗添加左右边框的拷贝攻击。此时，选参考视频与查询视频的两种分块方式得到的特征向量距离的较小值。本例中，8（a3）与8（b3）距离为0，作为查询视频与参考视频间的距离能够很好的判断出该查询视频是拷贝视频。进一步分别将图8（a）与图8（c）的对应特征向量相比较，即，将8（a3）与8（c3）比较，得到两个特征向量不一致，将8（a4）与8（c4）比较，此两特征向量一致。说明2X4的分块模式能够抵抗添加上下边框的拷贝攻击。此时，选两种特征向量距离的较小着，8（a4）与8（c4）距离为0，作为查询视频与参考间的距离能够很好的判断出该查询视频是拷贝视频。

从图8的例子可以看出，本发明提出的4x2和2x4的二种分块方法可以抵抗添加边框的拷贝攻击，具有较好的鲁棒性和内容区分性，不仅解决了3x3分块的OM算法鲁棒性不高的缺点，而且4x2和2x4的二种分块方法比2x2分块的OM算法对内容的区分性高，很好地解决了OM算法内容区分性和算法鲁棒性的矛盾。

二、特征匹配

设查询视频帧数N小于参考视频帧数M,采用下列方法计算查询视频关键帧与参考视频关键帧之间的距离，和N帧查询视频序列与参考视频子序列间的平均距离，并进行特征匹配。

查询视频关键帧V_q[i]和参考视频关键帧V_r[p+i-1]的特征向量表示为S_q,i和S_r,p+i-1,其中i取值为[1，N]。两帧之间的距离用绝对距离表示：其中m为特征向量的维数m=8,C表示两个向量的距离的最大值，当两个向量的排序完全相反时，可得C取最大值为32。

定义两帧间的距离为：

$d(S_{q,i},S_{r,p+i-1})=\frac{1}{C}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}|S_{q,i}^j-S_{r,q+i-1}^j|---\left(1\right)$

分别计算4x2分块和2x4分块时两帧图像的距离，取距离较小的一个为两帧间的距离d。

d(S_q，i，S_r，p+i-1)＝min(d_4X2，d_2X4)              (2)

N帧查询视频与参考视频子序列的平均距离为Ds：

$D_s(V_q,V_r[p:p+N-1\left]\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}d(S_{q,i},S_{r,p+i-1})---\left(3\right)$

三、视频拷贝检测

由于查询视频帧数N小于参考视频帧数M,参考视频通过一个滑动窗口内的视频帧来顺序地与查询视频匹配（如图9所示）。本发明用V_q[i]=<V_q[1],V_q[2],V_q[3]……V_q[N]>表示查询视频，其中V_q[i](i=1,2……N)是提取的查询视频的关键帧序列；用V_r[i]=<V_r[1],V_r[2],V_r[3]……V_r[M]>表示参考视频，其中V_r[i](i=1,2……M)是提取的参考视频的关键帧序列，其中N<<M。p表示参考视频子序列的起始位置，从参考视频p帧位置开始取与查询视频等长的N帧作为检测窗口,V_r[p:p+N-1]为检测窗口内的参考视频子片段。

阈值D的确定：

阈值D关系到拷贝检测的准确度。阈值D要能够区分出拷贝视频和非拷贝视频，通过学习和训练确定阈值D。

匹配检测方法流程图如图10所示。每一次匹配先进行粗匹配再进行精匹配，先匹配查询视频第一帧和检测窗口内参考视频的第一帧，若小于阈值则继续匹配N帧查询视频和检测窗口中的参考视频，反之则检测窗口向后移一位，进入下一次子序列的匹配。

一种用于视频拷贝检测的匹配方法，其视频拷贝检测的匹配步骤如下：

（1）在参考视频上取长度为查询视频帧数N的检测窗口；

（2）计算检测窗口内参考视频子序列首帧与查询视频首帧的特征距离；

（3）将首帧距离与阈值比较，判断是否匹配；若否，转到步骤7；若是，转到步骤4；

（4）计算检测窗口内N帧参考视频子序列与查询视频间的平均距离；

（5）将N帧视频间的平均距离与阈值比较，判断是否匹配；若是，转到步骤6，若否转到步骤7；

（6）判断为查询视频是参考视频的拷贝，转到步骤10；

（7）检测窗口是否已包含参考视频最后一帧；若否，转到步骤8；若是，转到步骤9；

（8）将检测窗口向右移动一帧，转到步骤2；

（9）判断为查询视频不是参考视频的拷贝，转到步骤10；

（10）程序结束。

Claims (6)

1.一种视频拷贝检测方法，其特征在于，所述方法包括如下步骤：

步骤1：取查询视频序列长度N作为检测窗口长度，对检测窗口内查询视频和

参考视频分别采用SIFT特征和OM特征相结合的特征提取方法进行关键帧特

征提取，得到的特征向量分别代表查询视频帧特征和参考视频帧特征；

步骤2：计算检测窗口内对应的查询视频帧特征向量和参考视频帧特征向量之间的距离d；

步骤3：基于距离d，计算检测窗口内参考视频子序列与查询视频序列间的平均距离D_s；

步骤4：设置一距离阈值D；

步骤5：若D_s大于D，判断查询视频不是参考视频的拷贝，否则判断查询视频为参考视频的一个拷贝。

2.根据权利要求1所述的一种视频拷贝检测方法，其特征在于：上述步骤1中所述的特征提取采用局部特征与全局特征相结合的方法。

3.根据权利要求2所述的一种视频拷贝检测方法，其特征在于：所述的局部特征为尺度不变特征变换特征。

4.根据权利要求2所述的一种视频拷贝检测方法，其特征在于：所述的全局特征为顺序度量特征，顺序度量采用的二种分块顺序度量方法为将图像分别进行2*4和4*2二种分块，并且将两种不同分块的每个块内的SIFT特征点数进行顺序度量。

5.根据权利要求1所述的一种视频拷贝检测方法，其特征在于：上述步骤1中所述的SIFT特征和OM特征相结合的特征提取方法方法包括：

（1）提取图像的SIFT特征点；

（2）将图像进行mxn的分块；将关键帧图像分别分成4x2,2x4两种大小相等的矩形区域；

（3）分别统计上述第2步所得的两种分块方式下不同区域内SIFT特征点的数量；

（4）分别将各块中SIFT特征点数量排序，得到两个1*8维特征向量即为图像的特征。

6.一种用于视频拷贝检测的匹配方法，其特征在于，包括如下步骤：

（1）在参考视频上取长度为查询视频帧数N的检测窗口；

（2）计算检测窗口内参考视频子序列首帧与查询视频首帧的特征距离；（3）将首帧距离与阈值比较，判断是否匹配；

若否，转到步骤7；若是，转到步骤4；

（4）计算检测窗口内N帧参考视频子序列与查询视频间的平均距离；

（5）将N帧视频间的平均距离与阈值比较，判断是否匹配；

若是，转到步骤6，若否转到步骤7；

（6）判断为查询视频是参考视频的拷贝，转到步骤10；

（7）检测窗口是否已包含参考视频最后一帧；

若否，转到步骤8；若是，转到步骤9；

（8）将检测窗口向右移动一帧，转到步骤2；

（9）判断为查询视频不是参考视频的拷贝，转到步骤10；

（10）程序结束。

Images