CN101937506A - 近拷贝视频检测方法 - Google Patents

Abstract

本发明属于图像与视频处理技术领域，具体涉及一种视频的拷贝检测方法。本发明提出了梯度序数特征概念，该特征具有维数低，计算简单和区分度高等优势。梯度序数特征是一个固定维数的排序特征，它的每一维的任意次幂的和为恒量，据此本发明提出了基于固定点内积的相似性检索方法。实验结果表明该方法比其他相关方法有更好的效果。

Description

近拷贝视频检测方法

技术领域

本发明属于图像与视频处理技术领域，具体涉及一种视频的拷贝检测方法。

背景技术

随着多媒体硬件和软件技术的快速发展和广泛应用，使得图像和视频数据的采集、创作和存储设备的成本日趋低廉化，每天都有数以万计的数字媒体数据产生和发布，这些多媒体又通过不同的工具进行编辑、转换等操作变成其他的多个版本，并最终可能存储在多种不同介质上，如磁带、VCD、DVD等，或者通过互联网进行分发。正是这种编辑、传输和复制的日趋方便和简单，使得图像和视频数据的近似重复检测成为一个非常有实际应用价值研究课题。一些典型的场景是：图像和视频的原创作者很想知道其他人是如何使用自己的作品的，是否对其进行了编辑和删改；电影发行商非常担心他们的产品是否被非法拷贝和传播。此外，还有一些较新的应用场景，如通过拷贝检测技术来过滤不健康或者非法数据；当视频正在播放时，在线的视频拷贝检测能够警告可能存在的版权侵犯，以便提供即时的知识产权保护；在广播域中，广告客户可以监测网络电视(IPTV)频道或视频流媒体网站，检查其广告节目是否按实际合同以正确的时间与频率播出。

发明内容

本发明的目的在于提出一种准确率高、响应速度快的视频拷贝检测方法。

本发明的视频拷贝检测方法的目标是要设计一个能用于实时检测互联网中近重复图像和视频的系统，这样一个实际应用的检测系统必须满足以下三个条件：

1、高召回率。对于给定的查询图像和视频，系统必须能够从数据库中找到所有与之近似重复的图像和视频，而这些图像和视频可能经过了多种不同的转换操作。

2、高准确率。系统返回的查询结果必须是与查询图像和视频是近似重复和相关的。

3、高响应速度。系统应该能够实时响应用户提交的查询请求，尤其对于大规模的图像和视频数据库，系统的响应速度成为了系统是否具有应用价值的前提。

为了满足上述要求，主要有两个目标：1)寻找一个更紧凑的描述子，有效降低特征的维数；2)寻找一种高效的相似性搜索方法，缩小特征的查询范围。经过研究现有的方法发现，基于局部图像特征的检测方法要明显优于基于全局图像特征的检测方法。而在局部图像特征方面，由于从每幅图像中提取的关键点数目众多，而且每个关键点的描述维数很高，因此，它很难满足大规模近重复视频的实时检测。因此本发明提出了梯度序数特征，简称GOS。该特征具有维数低，计算简单和区分度高等优势。由于梯度序数特征实际上是一个固定维数的排序特征，它的每一维的任意次幂的和为恒量，利用梯度序数特征的这一特性，提出了一种基于固定点内积的相似性检索方法。实验结果表明我们的方法比其他相关方法有更好的效果。

本发明提出的视频拷贝检测方法，包括两个方面的内容：A.提出一个简单而有效的特征——梯度序数特征；B.基于此特征的应用于图像特征匹配的快速过滤方法。

A的具体步骤如下：

1)视频结构化分析，提取关键帧首先利用视频的亮度、颜色等特征对视频进行镜头分割，找出视频边界，从而将视频分成多个连续的镜头。然后再在每一个镜头中提取出3个关键帧(分别取镜头的第一帧，中间帧和最后一帧)。

2)对于提取的每一个关键帧，应用局部关键点检测子检测图像中的所有的关键点。本发明使用的是高斯差分算子(Differential of Gaussian)。

3)对于图像中检测到的每一个关键点局部区域利用本发明的特征描述方法(GOS)进行描述，得到关键点的描述特征梯度序数特征。其步骤为：

首先，为了获得特征的旋转不变性，需要将整个邻域旋转至关键点邻域的主方向。考虑以关键点(x，y)为中心的一个K×K的矩形邻域，K为该矩形邻域的长度，也是像素个数，一般可取16，计算这个邻域内的每一个像素点的梯度，统计得到这个局部区域的梯度直方图，选取值最大的bin所在的方向作为关键点区域的主方向。在确定了关键点的主方向后，为了保持特征的旋转不变性，需要对图像进行旋转，使得主方向和图像的水平方向重合。然后考虑关键点一个N×N邻域，N为该矩形邻域的长度，也是像素个数，一般可取16，计算这个邻域内的所有像素的梯度值，然后将这个矩形区域分成M×M个块，M一般可取4，统计各个块的梯度的模的平均值，再对这些梯度模的均值按照大小进行排序。最后得到排序序列，将这个排序序列作为这个关键点区域的描述子。

4)对于视频中的所有的梯度序数特征，利用本发明所提出的快速匹配过滤方法。首先，计算所有特征与参考特征点(例如，我们提取的特征是16维的话，固定特征就可以是(1，2，3...15，16))的内积，并归一化，得标准化内积；

B的具体步骤如下：

1)利用快速匹配过滤方法的相似度搜索方法搜索候选被查询视频特征。对于一个查询特征q，要查找所有满足1≥N(r，q)≥T的被查询特征，则只要找到在被查询特征里边查找所有满足如下条件的r：

$N(q,f)*T-\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}\≤N(r,f)\≤N(q,f)+\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}$

$A(q,f)-A(r,q)>0$

$N(q,f)*T-\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}\&le;N(r,f)\&le;1.A(q,f)-A(r,q)<0.$

2)在找到候选的r集合后，再从r集合中选出与q最相近的特征。对所有的查询特征结果进行融合，找到匹配好的帧。

3)融合所有匹配的帧，得到匹配的视频。

4)对匹配的视频的score进行标准化。

5)对于查找后的结果进行组合与后处理，得到匹配结果。

下面进一步描述发明内容。

梯度序数特征提取

在关键点的抽取方法上，本发明直接使用了David G.Lowe(1999)给出的高斯差分算子检测子。抽取关键点以后，考虑以关键点(x，y)为中心的邻域。首先，为了获得特征的旋转不变性，需要将整个邻域旋转至关键点邻域的主方向。考虑以关键点(x，y)为中心的一个K×K的矩形邻域，计算这个邻域内的每一个像素点的梯度，统计得到这个局部区域的梯度直方图，选取值最大的bin所在的方向作为关键点区域的主方向。

在确定了关键点的主方向后，为了保持特征的旋转不变性，需要对图像进行旋转，使得主方向和图像的水平方向重合。然后考虑关键点一个N×N邻域，计算这个邻域内的所有像素的梯度值，然后将这个矩形区域分成M×M块，统计各个块的梯度的模的平均值，再对这些梯度模的均值按照大小进行排序。最后得到排序序列，将这个排序序列作为这个关键点区域的描述子。图3描述了特征提取的过程。

对于图像中88的像素区域内，计算各个点的梯度，然后再分成4个区域，计算各个区域的梯度模的平均值，然后再进行排序。按从左到右，从上到下的顺序，上面四个块内的梯度模的平均值分别是10.1，8.3，2.3，5.8.那么他们的顺序就是4，3，1，2.即最后得到的描述子就是(4，3，1，2)。

这个特征描述的是各个区域的梯度模的均值的排序，从图像信号的角度来说，它反映的是关键点邻域内各个块的信号变化的平均强度的顺序。这个特征虽然简单，但是它保持了局部特征的优点，同时又具有较好的描述能力。

再考虑图像的镜像变换，要获得对于镜像变换具有不变性的特征，只需对于旋转到主方向的图像区域进行列分块.如图4所示，对于图像中的4×4区域，分成4列，然后计算各个块的梯度的平均值，再进行排序，得到描述子(1，4，3，2).这样的特征具有对镜像变换保持不变性的特征.因此如果实际情况中包含有镜像变换的拷贝视频，可以考虑用图4的方法来提取特征，不过在实际应用中应根据情况选择合适的特征维数(一般考虑选择16维或者25维).

基于梯度序数特征的快速过滤方法

通过上面介绍我们可以得知梯度序数特征实际上是一个排序特征，这样的特征满足如下的条件：

假设抽取的梯度序数特征为t维，用特征向量v＝(x₁，x₂，...x_t)表示，这个向量满足：

我们考虑当k取1和2时的特征所满足的几何特性。当k为1和2时方程变为：

x₁+x₂+...x_t＝l₁                (1)

$x_1^2+x_2^2+...+x_i^2=l_2---\left(2\right)$

当k等于1时，(1)式表示在特征空间中所有的点都是在满足方程x₁+x₂+...x_t＝l₁的超平面上，而表示所有的特征都在满足此方程的一个超球上。结合(1)式和(2)式.可以发现所有的特征点应该分布在特征空间的一个超圆上。

图2给出了特征的几何特性的图像化描述。图中，AO’f平面是当k等于1时，方程所决定的超平面；球面O是当k取2时，方程所决定的超球面，球心为O。结合两个方程，特征分布在超圆O′上，该超圆在AO’f平面上，圆心为O′。

发现了特征所满足的几何特征后，我们很自然的想到了一个降低特征维数的办法。首先将特征空间进行平移。使得特征所在的超圆的中心O′平移到坐标原点O。

超圆的中心在原来的坐标系下的坐标值C＝(y₁，y₂，...y_t)满足：

y₁+y₂+...y_t＝l₁，y₁＝y₂＝y₃...＝y_t。

所以超圆中心在原坐标系下的坐标是

然后在超圆上的任意一点为定点，记为f，对于任意的特征R＝(r₁，r₂，...r_t)我们计算f和R的内积，

然后我们再对它进行标准化。得到标准化的内积：

$N(f,R)=\frac{\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{f}_i*r_i}{\sqrt{\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{f}_i*f_i}*\sqrt{\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{r}_i*r_i}}.---\left(3\right)$

N(f，R)的取值在-1和1之间。我们就把前面部分所提取的特征映射到了一个取值在-1和1之间的一个定值。

相似性检索

假定我们拥有一个被查询视频特征库，对于被查询视频特征库中的任一特征用r表示。

被查询视频特征库中每一个特征都保存有N(f，r)。然后考虑对于任意一个查询特征q，在特征库中找出与它相近的特征。假定我们希望找到特征库中所有满足1≥N(r，q)≥T的特征r。其中T是一个阈值，它和1很接近。下面我们给出我们的在特征库中搜索相似特征算法的详细推导过程。

定义q为查询特征，f为参考点特征，N(a，b)为a和b的标准化内积。A(a，b)为a，b两个向量在向量空间中的余弦值。R为特征库，T为阈值(0＜T＜1)。对于任意的被查询视频库特征r，要使其满足1≥N(r，q)≥T，则必有：

$N(q,f)*T-\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}\&le;N(r,f)\&le;N(q,f)+\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}$

$A(q,f)-A(r,q)>0$

$N(q,f)*T-\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}\&le;N(r,f)\&le;1.$

$A(q,f)-A(r,q)<0;---\left(4\right)$

证明：

首先我们考察f，q，r三个向量之间夹角的关系(如图5)。它们满足下面的不等式：

A(q，f)-A(r，q)≤A(r，f)≤A(q，f)+A(r，q)，    A(q，f)-A(r，q)＞0；

0≤A(r，f)≤A(q，f)+A(r，q)，                A(q，f)-A(r，q)＜0；    (5)

图5中，固定向量f，查询向量q，和库向量r之间的角度关系。满足条件的r与f的角度值应该在绿色实曲线所描述的两个角度值之间。其中∠roq＝∠r′oq。

相应的，他们的余弦值应该满足的关系为：

cos(A(q，f)+A(r，q))≤cos＜r，f＞≤cos(A(q，f)-A(r，q))；A(q，f)-A(r，q)＞0

cos(A(q，f)+A(r，q))≤cos＜r，f＞≤1                A(q，f)-A(r，q)＜0；(6)

利用余弦公式将6式展开，得到7式：

$N(q,f)*N(r,q)-\sqrt{1-N^2(q,f)}*\sqrt{1-N^2(q,r)}\&le;N(r,f)\&le;N(q,f)*N(r,q)+\sqrt{1-N^2(q,f)}*\sqrt{1-N^2(q,r)}$

$A(q,f)-A(r,q)>0;$

$N(q,f)*N(r,q)-\sqrt{1-N^2(q,f)}*\sqrt{1-N^2-(q,r)}\&le;N(r,f)\&le;1$

$A(q,f)-A(r,q)<0;---\left(7\right)$

由于T≤N(r，q)≤1；所以，上式可以得到：

$N(q,f)*T-\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}\&le;N(r,f)\&le;N(q,f)+\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}$

$A(q,f)-A(r,q)>0;$

$N(q,f)*T-\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}\&le;N(r,f)\&le;1.A(q,f)-A(r,q)<0;---\left(8\right)$

因此，对于查询特征q，为了找到匹配的特征r，我们只要找到和f满足上式的所有的库向量。其它的向量肯定不会满足先前给定的条件1≥N(r，q)≥T。这样会减少大量的计算。

视频序列的匹配

视频子序列匹配是整个系统的核心任务，它任务是匹配两个视频来查找两段视频中存在拷贝的子序列。因此，在视频拷贝检测中，视频序列的匹配策略也是一个很重要的研究课题。值得指出的是，具体的匹配策略与前期的视频特征抽取是密切相关的，特征抽取的方法不同，匹配的策略可能也会不同。我们使用的是一个基于图的序列匹配方法。该方法将视频序列匹配结果转换为匹配结果图，进而将视频拷贝检测转换成了一个在匹配结果图中查找最长路径的问题(如图6所示)。该方法具有拷贝定位准确度高，能弥补图像底层特征描述力不足，节约检测时间和批量定位两段视频序列中可能存在的多段拷贝等多种优势。

附图说明

图1系统的流程图。

图2特征在特征空间中的分布图。

图3特征提取过程图。

图4加入镜像不变性的特征的提取过程。

图5查询视频特征与被查询视频特征的三角关系图。

图6查询视频与目标视频匹配结果。

图7系统的执行流程。

具体实施方式

本系统的具体实施包括3个大的部分。下面参照图7进行详细阐述。

视频拷贝检测会有两类视频。一类是被查询视频库(reference video set)。一类是查询视频(query video)。

建立特征库

首先，对于所有的被查询视频库中的每一个视频，我们通过如下操作来建立索引结构，以提高后面的视频检测的效率。

1视频结构化分析，提取关键帧。首先利用视频的亮度，颜色等特征对视频进行镜头分割，找出视频边界，从而将视频分成多个连续的镜头。然后再在每一个镜头中提取出3个关键帧(分别去镜头的第一帧，中间帧和最后一帧)。

2对于提取的每一个关键帧。应用局部关键点检测子检测图像中的所有的关键点。本专利使用的是高斯差分算子(Differential of Gaussian)。

3对于图像中检测到的每一个关键点局部区域利用我们的特征描述方法(GOS)进行描述。得到关键点的描述特征梯度序数特征。首先，为了获得特征的旋转不变性，需要将整个邻域旋转至关键点邻域的主方向。考虑以关键点(x，y)为中心的一个K×K的矩形邻域，计算这个邻域内的每一个像素点的梯度，统计得到这个局部区域的梯度直方图，选取值最大的bin所在的方向作为关键点区域的主方向。在确定了关键点的主方向后，为了保持特征的旋转不变性，需要对图像进行旋转，使得主方向和图像的水平方向重合。然后考虑关键点一个N×N邻域，计算这个邻域内的所有像素的梯度值，然后将这个矩形区域分成M×M块，统计各个块的梯度的模的平均值，再对这些梯度模的均值按照大小进行排序。最后得到排序序列，将这个排序序列作为这个关键点区域的描述子。

4对于视频中的所有的梯度序数特征，利用我们所提出的快速匹配过滤方法。计算所有特征与参考特征点(例如，我们提取的特征是16维的话，固定特征就可以是(1，2，3...15，16))的内积。并归一化。

$N(f,R)=\frac{\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{f}_i*r_i}{\sqrt{\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{f}_i*f_i}*\sqrt{\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{r}_i*r_i}}$

5利用计算好的所有的标准化内积值，建立索引结构，从而建立被查询视频视频特征库。

进行视频检测

对于所有的查询视频(query video)。进行如下操作：

1进行视频机构化分析。方法与建立特征库的操作步骤1一样，在每一个镜头中提取3个关键帧。

2对于提取的每一个关键帧。这个步骤与建立特征库的操作步骤2一样。

3对于图像中检测到的每一个关键点局部区域利用我们的特征描述方法进行描述。操作过程同建立特征库的操作步骤3一样。

4利用本发明的快速匹配过滤方法的相似度搜索方法搜索候选被查询视频特征。对于一个查询特征q，要查找所有满足1≥N(r，q)≥T的被查询特征，则只要找到在被查询特征里边查找所有满足如图五所示的三角关系的r。

5在找到候选的r集合后，再从r集合中选出与q最相近的特征。对所有的查询特征结果进行融合，找到匹配好的帧。

6融合所有匹配的帧，得到匹配的视频。这部分参照视频序列匹配部分的图方法来进行。

7对匹配的视频的score进行标准化。

8对于查找后的结果进行组合与后处理，得到匹配结果。

Claims (1)

1.一种近拷贝视频检测方法，其特征在于分为A和B两部分，其中：

A的具体步骤如下：

1)视频结构化分析，提取关键帧，首先利用视频的亮度、颜色特征对视频进行镜头分割，找出视频边界，从而将视频分成多个连续的镜头；然后再在每一个镜头中提取出镜头的第一帧、中间帧和最后一帧作为3个关键帧；

2)对于提取的每一个关键帧，应用局部关键点检测子高斯差分算子检测图像中的所有的关键点；

3)对于图像中检测到的每一个关键点用局部区域特征描述方法进行描述，得到关键点的描述特征梯度序数特征；其步骤为：

首先，考虑以关键点(x，y)为中心的一个K×K的矩形邻域，K为该矩形邻域的长度，计算这个邻域内的每一个像素点的梯度，统计得到这个局部区域的梯度直方图，选取值最大的bin所在的方向作为关键点区域的主方向；在确定了关键点的主方向后，对图像进行旋转，使得主方向和图像的水平方向重合；再考虑关键点一个N×N矩形邻域，N为该矩形邻域的长度，计算这个邻域内的所有像素的梯度值，然后将这个矩形区域分成M×M个块，统计各个块的梯度的模的平均值，再对这些梯度模的均值按照大小进行排序，得到排序序列，将这个排序序列作为这个关键点区域的描述子；

4)对于视频中的所有的梯度序数特征，计算所有特征与参考特征点的内积，并归一化；

B的具体步骤如下：

1)利用快速匹配过滤方法的相似度搜索方法搜索候选被查询视频特征，对于一个查询特征q，要查找所有满足1≥N(r，q)≥T的被查询特征，即要在被查询特征里边查找所有满足如下条件的特征r：

$N(q,f)*T-\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}\&le;N(r,f)\&le;N(q,f)+\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}$

A(q，f)-A(r，q)＞0

$N(q,f)*T-\sqrt{1-N^2(q,f)}*\sqrt{1-T^2}\&le;N(r,f)\&le;1.$ A(q，f)-A(r，q)＜0；

2)在找到候选的r集合后，再从r集合中选出与q最相近的特征；对所有的查询特征结果进行融合，找到匹配好的帧；

3)融合所有匹配的帧，得到匹配的视频；

4)对匹配的视频的score进行标准化。

5)对于查找后的结果进行组合与后处理，得到匹配结果；

其中，q为查询特征，f为参考点特征，形式N(a，b)为a和b的标准化内积，形式A(a，b)为a，b两个向量在向量空间中的余弦值，R为特征库，T为阈值，0＜T＜1。

Images