CN104766084A - 一种多目标匹配的近复制图像检测方法 - Google Patents

Abstract

本发明公开了一种多目标匹配的近复制图像检测方法，包括了以下步骤：步骤1，图像预处理，从待查图像和图像集中选出的图像分别提取局部特征区域以及各特征区域的特征向量，根据特征区域的特征向量筛选初始匹配对集；步骤2，建立特征几何变换空间，对初始匹配对集求解对应的相似变换矩阵，所有的相似变换矩阵组在一起即是特征几何变换空间；步骤3，聚类，使用适用几何空间的非线性均值漂移算法将特征几何变换空间中多个独立分布的簇聚出来；步骤4，计算相似度大小，根据各个独立分布的簇中点的多少来定义图像相似度大小；步骤5，结果呈现，重复1～4步骤，对图像集合中图像数据执行完后，按相似度排序图像检测结果集。

Description

一种多目标匹配的近复制图像检测方法

技术领域

本发明涉及到一种多目标匹配的近复制图像检测方法，属于计算机视觉、多媒体信息技术、模式识别等领域。

背景技术

随着因特网和多媒体技术的发展，图像已成为互联网上多媒体信息传输的重要内容，相应的针对图像的研究也获得了广泛的重视。近复制图像检测，即从图像集合中查询与待查图像互为近似复制的图像。这项技术可应用于新闻视频检索、插入广告检测、图像伪造检测、图像版权保护、图像检索的去重、子图像查询、图像垃圾邮件过滤等，是网络图像检索研究中的新的研究方向。

关于近复制图像检测技术的研究，最初主要关注复制图像的检索，然后很多研究者考虑图像变换开始关注检测的鲁棒性，当前的研究主要是在保证检测鲁棒性的基础上提高检测效率。一般近复制图像检测的研究主要集中在：图像表示方式、快速检测方法、相似性度量方法。根据图像表示方式不同，又分为全局特征近复制图像检测方法和局部特征近复制图像检测方法。在全局图像表示中最为传统的方法是将图像表示为一个特征向量，通过特征向量之间的距离来查询近似复制图像，忽视了图像中物体目标，对于图像的平移、裁剪等变换操作鲁棒性较差；在基于局部特征的近似复制图像检测传统方法中，首先对图像局部特征区域的检测和描述，当前主要采用的局部区域检测算子：MSER、Harris-Hessian Affine和DoG等和特征描述方法SIFT，然后实现大量局部特征的检索，主要采用哈希和量化的检索方法，虽然考虑了图像物体目标可能的旋转、缩放、平移等变换，但是由于在量化中损失了局部描述子的信息和描述视觉词汇的相互位置关系，存在多义现象，降低了准确率。

发明内容

发明目的：本发明所要解决的技术问题是针对现有方法技术的不足，提出一种多目标匹配的图像检索方法。

技术方案：本发明公开了一种多目标匹配的近复制图像检测方法，该方法的特征在于利用图像中物体目标的每对匹配特征区域对的相似变换矩阵堆积起来构成特征几何变换空间，图像中每个目标具有相近的变换，从而形成分布密度比较大的簇，最后把这些簇用非线性均值漂移算法聚类。具体包括以下步骤：

步骤1，图像预处理：对待查图像和图像集合中挑出的图像数据分别提取局部特征区域。主要采用了MSER和DoG两种局部区域仿射/尺度不变检测算法，两种检测子择一使用得到一系列描述局部区域几何特征的参数。完成局部特征区域检测后，再基于SIFT特征描述子生成特征区域的特征向量，根据特征向量的欧式距离最近邻原则确定图像对中两个局部特征集之间的匹配关系，利用最近邻距离和次近邻距离的比值关系筛选初始匹配对集。具体包括以下步骤。

步骤1-1，提取特征区域：对待查图像和图像集合中选出的图像数据分别采用基于尺度不变检测子DoG或仿射不变区域检测子MSER提取局部特征区域，两种择一使用得到描述局部区域几何特征的参数，其中尺度不变检测子DoG检测结果为一个圆形区域，参数包括圆心坐标p、半径r、方向角α(该区域的像素梯度主方向)；仿射不变检测子MSER检测结果为椭圆形区域，参数包括椭圆的中心坐标p和长短轴大小(由椭圆一般方程参数a，b，c决定)。

步骤1-2，提取特征向量：基于SIFT特征描述子生成各局部特征区域的特征向量，共128维，分别代表特征区域的直方图向量(详细算法过程参见<Distinctiveimagefeatures from scale-invariant key-points>IJCVvol.60no.2,pp 1482-1489,2004)。若局部特征区域为椭圆时，具体的特征向量提取方法如下：

步骤1-2-1，确定计算特征描述子所需的图像区域，将椭圆中心点附近固定边长radius的矩形领域划分4*4个子区域，采用双线性插值为每个子区域采样像素，领域内采样点的新坐标为：

$\begin{array}{cc}\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right)=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)& (x,y\&Element;[-\mathrm{radius},\mathrm{radius}\left]\right)\end{array}$

其中a,b,c是椭圆区域几何参数，边长radius设为30。

步骤1-2-2，将领域内的采样点分配到对应的子区域内，子区域内的梯度值分配到8个方向上，计算其权值，然后插值计算每个子区域8个方向的梯度，得到4*4*8＝128个梯度信息即为描述子的特征向量。

步骤1-2-3，对特征向量进行归一化处理，描述子向量为∏＝(h₁,h₂,...,h₁₂₈)，归一化后的特征向量为W＝(w₁,w₂,...,w₁₂₈)，则

步骤1-3，筛选初始匹配对：当且仅当局部特征区域的特征向量D_i与D_j之间的距离d(D_i,D_j)乘以阈值不大于特征向量D_i与其他所有特征向量的距离，则特征区域匹配，其距离公式为：

$d(D_i,D_j)=\sqrt{\underset{k=1}{\overset{128}{\mathrm{\&Sigma;}}}{(w_k^i-w_k^j)}^2}$

其中为第i个特征区域的特征向量D_i第k维，为第j个特征区域的特征向量D_j第k维，k取值1～128，阈值设为1.1，由于描述子向量的高维性并且各个特征向量距离很近，在筛选初始匹配对时可能有大量的错误匹配，实验结果表明阈值设为1.1最佳。

步骤2，建立特征几何变换空间：对初始匹配对集中任意匹配对分别包含两图像的局部特征区域，提取的局部特征区域主要是圆形区域或椭圆形区域，根据两个局部特征区域O_i和O_i'的几何参数求解相似变换矩阵X_i，而相似变换矩阵的估算完全建立在圆的几何参数上，在求解矩阵之前先把椭圆区域E_i调整为圆形区域O_i，即用一个仿射变换Γ_i来表示；与此类似，对于O_i'与其对应的椭圆E_i'也可定义其映射仿射矩阵Γ'_i，最后推导出椭圆区域的变换矩阵为在本发明中没有复杂的计算仿射变换矩阵Γ，只是利用椭圆区域与圆形区域面积相等这一原则，把椭圆变换成圆。每个初始匹配对集的特征区域求解一个相似变换矩阵，将所有的相似变换矩阵在一起即构成了特征几何变换空间。具体包括以下步骤：

步骤2-1，计算方向角α：采用基于尺度不变检测子DoG提取的局部特征区域是圆形区域，参数包括圆心坐标p、半径r、方向角α(该区域的像素梯度主方向)，此步骤针对仿射不变区域检测子MSER提取的局部特征区域为椭圆区域，参数包括椭圆的中心坐标p和方程参数a,b,c；

按照如下公式计算在椭圆区域中每个像素点的梯度大小m(x,y)和方向

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

其中L(x,y)代表图像坐标(x,y)的像素值，用直方图统计椭圆区域中的平均方向，在该直方图中，将360度的方向分成36个bins，每个bin包含10度(假设椭圆区域中某个像素点的梯度方向是18.25度，把它放入10～19度的bin中，并且加入到bin中的量与该像素点的梯度大小成正比)，统计完后选取直方图的最高峰作为特征区域的像素梯度主方向(详细过程参见DoG检测子方向角确定算法)。

步骤2-2，求解相似变换矩阵：一个初始匹配对包含两个局部特征区域，若第i个匹配对中特征区域为圆O_i和O_i'，参数包括圆心坐标p_i和p_i'、半径r_i和r_i'、方向角α_i和α_i'，若第i个匹配对中特征区域为椭圆E_i和E_i'，参数包括椭圆中心p_i和p_i'、参数a_i,b_i,c_i和a_i',b_i',c_i'、方向角α_i和α_i'，则每一对匹配的特征区域求解对应的相似变换矩阵X_i，组在一起构建特征几何变换空间：

$X_i=\left[\begin{array}{cc}{R}_i& t_i\\ 0& 1\end{array}\right]$

其中：

$R_i=\left[\begin{array}{cc}{s}_i& 0\\ 0& s_i\end{array}\right]\left[\begin{array}{cc}\cos {\mathrm{\&theta;}}_i& -\sin {\mathrm{\&theta;}}_i\\ \sin {\mathrm{\&theta;}}_i& \cos {\mathrm{\&theta;}}_i\end{array}\right],$ θ_i＝α_i'-α_i，

且t_i＝p_i'-R_ip_i，θ_i为旋转角度差，s_i为区域面积比，即相似变换矩阵X_i中，R_i融合了缩放和旋转变换，t_i表示平移变换，对于每一对匹配求解对应的相似变换矩阵，构建特征几何变换空间。

步骤3，聚类：步骤2构造的特征几何变换空间不是欧式空间，对于空间中任意两个变换矩阵X_i和X_j，其加法操作的结果X_i+X_j没有实际意义，而乘法操作X_iX_j则表示连续使用变换X_j和X_i。在选择聚类算法时，考虑到1)聚类簇的数目预先未知以及待聚类空间中含有较多的噪声点等，常用的带参聚类算法，如k均值法等并不适用；2)基于数据分布核密度估计的均值飘逸算法可以有效定位未知数据分布空间中的簇，但传统的均值漂移算法旨在处理欧式空间的数据聚类，所以使用非线性均值漂移聚类算法，结合特定情况对度量矩阵H的重定义以及简化均值漂移过程，将特征几何变换空间中多个独立分布的簇聚类出来。具体包括以下步骤：

步骤3-1，聚类范围约束，在每次均值漂移迭代过程中的开始，首先对特征几何变换空间中聚类范围进行约束，满足如下范围公式的，则构成每次迭代的均值漂移中心X周围的相似变换矩阵X_N：

|θ-θ_N|＜τ_θ且|σ-σ_N|＜τ_s，

其中τ_θ＝20，τ_s＝1，相似变换矩阵X关联的向量v((p_x,p_y),(p'_x,p'_y),θ,σ)，相似变换矩阵X_N关联的向量v_N((p_N,x,p_N,y),(p'_N,x,p'_N,y),θ_N,σ_N)，向量v是由求解变换矩阵X的两个特征区域的几何参数构成，(p_x,p_y)，(p'_x,p'_y)分别是两个特征区域中心坐标，θ＝α'-α代表方向角之差，σ是两个特征区域面积比值的对数；

步骤3-2，定义度量矩阵H，度量矩阵H为当前均值漂移迭代中心X与各个相似变换矩阵X_N之间距离公式为

$d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1})=\frac{1}{2}(p^{\&prime;}{p}^{\&prime;T}(X_N{X}^{-1}-e)+{\mathrm{pp}}^T(X_N^{-1}X-e)),$

其中p＝(p_x,p_y)，p'＝(p'_x,p'_y)分别是相似变换矩阵X的两个特征区域的中心坐标，e是特征几何变换空间的单位矩阵，T表示转置矩阵；

步骤3-3，简化均值漂移过程，根据当前均值漂移中心X和在步骤3-1中范围约束以内的相似变换矩阵X_N，计算相似变换矩阵关联的向量v((p_x,p_y),(p'_x,p'_y),θ,σ)和v_N((p_N,x,p_N,y),(p'_N,x,p'_N,y),θ_N,σ_N)，进而计算当前均值漂移迭代的偏移量m_h,G(v)，公式如下：

$m_{h,G}\left(v\right)=\frac{\mathrm{\&Sigma;g}\left(\frac{d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1}\left]\right)}{h^2}\right)(v_N-v)}{\mathrm{\&Sigma;g}\left(\frac{d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1}\left]\right)}{h^2}\right)},$

再根据偏移量m_h,G(v)，得到新的向量公式如下：

$\stackrel{\&OverBar;}{v}(({\stackrel{\&OverBar;}{p}}_x,{\stackrel{\&OverBar;}{p}}_y),({\stackrel{\&OverBar;}{p}}_x^{\&prime;},{\stackrel{\&OverBar;}{p}}_y^{\&prime;}),\stackrel{\&OverBar;}{\mathrm{\&theta;}},\stackrel{\&OverBar;}{\mathrm{\&sigma;}})=v((p_x,p_y),(p_x^{\&prime;},p_y^{\&prime;}),\mathrm{\&theta;},\mathrm{\&sigma;})+m_{h,G}\left(v\right),$

再根据向量中求和公式如下：

$\stackrel{\&OverBar;}{R}=\left[\begin{array}{cc}\exp \left(\stackrel{\&OverBar;}{\mathrm{\&sigma;}}\right)& 0\\ 0& \exp \left(\stackrel{\&OverBar;}{\mathrm{\&sigma;}}\right)\end{array}\right]\left[\begin{array}{cc}\cos \stackrel{\&OverBar;}{\mathrm{\&theta;}}& -\sin \stackrel{\&OverBar;}{\mathrm{\&theta;}}\\ \sin \stackrel{\&OverBar;}{\mathrm{\&theta;}}& \cos \stackrel{\&OverBar;}{\mathrm{\&theta;}}\end{array}\right],$

$\stackrel{\&OverBar;}{t}=\mathrm{\&Sigma;}(\stackrel{\&OverBar;}{R}{(p_{N,x},p_{N,y})}^T-{(p_{N,x}^{\&prime;},p_{N,y}^{\&prime;})}^T)/\mathrm{\&Sigma;}1,$

其中(p_N,x,p_N,y)和(p'_N,x,p'_N,y)为求解相似变换矩阵X_N的两个特征区域的中心坐标，由此获得了新的均值漂移中心的平移分量和从而得到完整的均值漂移迭代起点 $\stackrel{\&OverBar;}{X}=\left[\begin{array}{cc}\stackrel{\&OverBar;}{R}& \stackrel{\&OverBar;}{t}\\ 0& 1\end{array}\right];$

步骤3-4，收敛，均值漂移过程本质上沿着特征几何变换空间的概率密度上升方向不断迭代并最终达到局部极值点的过程，即不断循环步骤3-1～步骤3-3直到满足收敛条件：

$d^2\left(\right[X;{\stackrel{\&OverBar;}{X}}^{-1}],[X^{-1};\stackrel{\&OverBar;}{X}\left]\right)<\mathrm{\&xi;},$ 其中阈值ξ＝4。

步骤4，计算相似度大小：设定簇大小阈值，过滤密度小于阈值的簇，用剩下类中点个数定义图像相似度大小。具体包括以下步骤：

步骤4-1，计算相似度大小，簇大小阈值设为4，过滤密度较小的簇，用剩下的簇中点个数累加定义为图像相似度大小，记为

步骤5，结果呈现：重复步骤1～步骤4，对图像集合中图像数据执行完后，按照匹配对待查图像局部特征区域出现的频率对相似度重新计算，随后对相似度大小排序呈现图像检测结果集。具体包括以下步骤：

步骤5-1，重新计算相似度，重复步骤1～步骤4，对图像集合中图像数据执行完后，假如图像集有m张图像，即有相似度，由于相似变换矩阵X关联的从待查图像提取的特征区域，多次出现在相似度的计算中，所以按照对待查图像的局部特征区域出现的频率对相似度重新加权计算

其中f是待查图像特征区域出现次数，X^∈f代表出现次数f的特征区域得到的相似变换矩阵X。

步骤5-2，结果呈现，对加权平均后的相似度大小，采用堆排序方法，选择呈现前n张图像检测结果集。

本发明中的多目标匹配的近复制图像检测方法属于局部特征系列的方法，由于本方法考虑图像中多物体目标之间的位置关系和变换的差异性，提高了近复制图像检测的准确性。

附图说明

图1为本发明方法的基本流程图。

图2为均值漂移过程结果示意图。

图3为确定关键点处区域梯度的主方向示意图。

图4为相似变换及其仿射变换的演算。

图5为单对图像检测算法的流程示例图。

图6和图7为多目标匹配效果实例。

图8为多个近复制图像检测算法的性能比较。

图9为与SCC算法在近复制图像对上的特征匹配示例图。

具体实施方式

下面结合附图和具体实施方式对本发明做更进一步的具体说明。

本方法的流程图如图1所示，是一个多循环及每个单循环中包含迭代式的过程：首先是图像的预处理，先进行压缩保证了图像检测速率，后提取局部特征区域，再根据SIFT生成的特征向量筛选初始匹配对集；由初始匹配对集的两个局部特征区域的几何参数求解相似变换矩阵，构成特征几何变换空间；因为构成的空间不是欧式空间，普通的均值漂移聚类算法在特征几何变换空间没有意义，结合特定情况选择了非线性均值漂移聚类，对均值漂移过程进行简化和对特征几何变换空间距离的重新度量，把空间中多个独立分布的簇聚起来；根据合理的阈值，滤除密度小于阈值的簇，把其他簇中变换矩阵的多少定义这两个图像的相似度大小；多次循环至图像集中图像检测完全，对于待查图像来说，由于图像中局部特征区域多次计算在相似度中，所以按照区域出现的频率对相似度重新加权计算，最后排序呈现图像检测结果。

具体地说，如图1所示，本发明公开了一种多目标匹配的近复制图像检测方法，主要包括以下几个步骤：

步骤1，图像预处理：对待查图像和图像集合中挑出的图像数据分别提取局部特征区域。主要采用了MSER和DoG两种局部区域仿射/尺度不变检测算法，这两种检测子择一使用输出的是一系列描述局部区域几何特征的参数。完成局部特征区域检测后，再基于SIFT特征描述子生成特征区域的特征向量，根据特征向量的欧式距离最近邻原则确定图像对中两个局部特征集之间的匹配关系，利用最近邻距离和次近邻距离的比值关系筛选初始匹配对集。

步骤2，建立特征几何变换空间：对初始匹配对集中任意匹配对分别包含两图像的局部特征区域，提取的局部特征区域主要是圆形区域或椭圆形区域，根据两个局部特征区域O_i和O_i'的几何参数求解相似变换矩阵X_i，而相似变换矩阵的估算完全建立在圆的几何参数上，在求解矩阵之前先把椭圆区域E_i调整为圆形区域O_i，即用一个仿射变换Γ_i来表示；与此类似，对于O_i'与其对应的椭圆E_i'也可定义其映射仿射矩阵Γ'_i，最后推导出椭圆区域的变换矩阵为在本发明中没有复杂的计算仿射变换矩阵Γ，只是利用椭圆区域与圆形区域面积相等这一原则，把椭圆变换成圆。每个初始匹配对集的特征区域求解一个变换矩阵，将所有的相似变换在一起即构成了特征几何变换空间。

步骤3，聚类：步骤2构造的特征几何变换空间不是欧式空间，对于空间中任意两个变换矩阵X_i和X_j，其加法操作的结果X_i+X_j没有实际意义，而乘法操作X_iX_j则表示连续使用变换X_j和X_i。在选择聚类算法时，考虑到1)聚类簇的数目预先未知以及待聚类空间中含有较多的噪声点等，常用带参数的聚类算法，如k均值法等并不适用；2)基于数据分布核密度估计的均值飘逸算法可以有效定位未知数据分布空间中的簇，均值漂移过程是沿着一条概率密度最快上升的轨迹不断移动至达到局部极值点的过程，图2中(b)显示了图2中(a)图像的像素点的L*u*空间中运行均值漂移算法的示意结果，黑色线条表示均值漂移的轨迹线路，收敛于对应的分布密度函数局部极值点(山脉顶点标识)。但传统的均值漂移算法旨在处理欧式空间的数据聚类，所以使用非线性均值漂移聚类算法，结合特定情况对度量矩阵H的重定义以及简化均值漂移过程，将特征几何变换空间中多个独立分布的簇聚类出来。

步骤4，计算相似度大小：设定簇大小阈值，过滤密度小于阈值的簇，用剩下簇中点个数定义图像相似度大小。

步骤5，结果呈现：重复步骤1～步骤4，对图像集合中图像数据执行完后，按照匹配对待查图像局部特征区域出现的频率对相似度重新计算，随后对相似度大小排序呈现图像检测结果集。

步骤1，图像预处理的详细步骤如下：

步骤1-1，提取特征区域：对待查图像和图像集合中挑出的图像数据分别采用基于尺度不变检测子DoG或仿射不变区域检测子MSER提取局部特征区域，这两种检测子择一使用得到描述局部区域几何特征的参数，其中尺度不变检测子DoG检测结果为一个圆形区域，参数包括圆心坐标p、半径r、方向角α(该区域的像素梯度主方向)；仿射不变检测子MSER检测结果为椭圆形区域，参数包括椭圆的中心坐标p和长短轴大小(由椭圆一般方程参数a，b，c决定)。

步骤1-2，提取特征向量：基于SIFT特征描述子生成各局部特征区域的特征向量，共128维，分别代表特征区域的直方图向量(详细算法过程参见<Distinctiveimagefeatures from scale-invariant key-points>IJCVvol.60no.2,pp 1482-1489,2004)。若局部特征区域为椭圆时，具体的特征向量提取方法如下：

步骤1-2-1，确定计算特征描述子所需的图像区域，将椭圆中心点附近固定边长radius的矩形领域划分4*4个子区域，采用双线性插值为每个子区域采样像素，领域内采样点的新坐标为：

$\begin{array}{cc}\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right)=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)& (x,y\&Element;[-\mathrm{radius},\mathrm{radius}\left]\right)\end{array}$

其中a,b,c是椭圆区域几何参数，边长radius设为30。

步骤1-2-2，将领域内的采样点分配到对应的子区域内，子区域内的梯度值分配到8个方向上，计算其权值，然后插值计算每个子区域8个方向的梯度，得到4*4*8＝128个梯度信息即为描述子的特征向量。

步骤1-2-3，对特征向量进行归一化处理，描述子向量为∏＝(h₁,h₂,...,h₁₂₈)，归一化后的特征向量为W＝(w₁,w₂,...,w₁₂₈)，则

步骤1-3，筛选初始匹配对：当且仅当局部特征区域的特征向量D_i与D_j之间的距离d(D_i,D_j)乘以阈值不大于特征向量D_i与其他所有特征向量的距离，则特征区域匹配，其距离公式为：

$d(D_i,D_j)=\sqrt{\underset{k=1}{\overset{128}{\mathrm{\&Sigma;}}}{(w_k^i-w_k^j)}^2}$

其中为第i个特征区域的特征向量D_i第k维，为第j个特征区域的特征向量D_j第k维，k取值1～128，阈值设为1.1，由于描述子向量的高维性并且各个特征向量距离很近，在筛选初始匹配对时可能有大量的错误匹配，实验结果表明阈值设为1.1最佳。

步骤2，建立特征几何变换空间的详细步骤如下：

步骤2-1，计算方向角α：采用基于尺度不变检测子DoG提取的局部特征区域是圆形区域，参数包括圆心坐标p、半径r、方向角α(该区域的像素梯度主方向)，此步骤针对仿射不变区域检测子MSER提取的局部特征区域为椭圆区域，参数包括椭圆的中心坐标p和方程参数a,b,c；

按照如下公式计算在椭圆区域中每个像素点的梯度大小m(x,y)和方向

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

其中L(x,y)代表图像坐标(x,y)的像素值，用直方图统计椭圆区域中的像素的梯度和方向，在该直方图中，将360度的方向分成36个bins，每个bin包含10度(假设椭圆区域中某个像素点的梯度方向是18.25度，把它放入10～19度的bin中)，在统计直方图过程中，需要用关键点所在尺度1.5倍的高斯权重窗对直方图进行加权，如图3所示，用黑色的圆形表示，中心处颜色较重，表示权重最大，边缘处颜色浅，表示权重小，在该实例中为了简化给出了8个方向直方图计算结果，统计完后选取直方图的最高峰作为特征区域的关键点梯度主方向(详细过程参见DoG检测子方向角确定算法)，为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80％的方向作为该关键点的辅方向，明显提高匹配的稳定性。

步骤2-2，求解相似变换矩阵：一个初始匹配对包含两个局部特征区域，若第i个匹配对中特征区域为圆O_i和O_i'，参数包括圆心坐标p_i和p_i'、半径r_i和r_i'、方向角α_i和α_i'，若第i个匹配对中特征区域为椭圆E_i和E_i'，参数包括椭圆中心p_i和p_i'、参数a_i,b_i,c_i和a_i',b_i',c_i'、方向角α_i和α_i'，由区域的几何参数求解相似变换矩阵，矩阵表示为：

$X_i=\left[\begin{array}{cc}{R}_i& t_i\\ 0& 1\end{array}\right]$

其中，

$R_i=\left[\begin{array}{cc}{s}_i& 0\\ 0& s_i\end{array}\right]\left[\begin{array}{cc}\cos {\mathrm{\&theta;}}_i& -\sin {\mathrm{\&theta;}}_i\\ \sin {\mathrm{\&theta;}}_i& \cos {\mathrm{\&theta;}}_i\end{array}\right],$ θ_i＝α_i'-α_i，

且t_i＝p_i'-R_ip_i，θ_i为旋转角度差，s_i为区域面积比，

即相似变换矩阵X_i中，R_i融合了缩放和旋转变换，t_i表示平移变换。其中R_i可以直接由圆和椭圆的面积比和圆心角差求解得到。如图4所示，X_i的求解过程可看作圆O_i变换一个圆心角为0的单位圆，然后再变换成O_i'的过程，而仿射变换Γ可以把椭圆变换成圆。对于每一对匹配求解对应的相似变换矩阵，构建特征几何变换空间。

步骤3，聚类的详细步骤如下：

步骤3-1，聚类范围约束，在每次均值漂移迭代过程中的开始，首先对特征几何变换空间中聚类范围进行约束，满足如下范围公式的，则构成每次迭代的均值漂移中心X周围的相似变换矩阵X_N：

|θ-θ_N|＜τ_θ且|σ-σ_N|＜τ_s，

其中τ_θ＝20，τ_s＝1，相似变换矩阵X关联的向量v((p_x,p_y),(p'_x,p'_y),θ,σ)，相似变换矩阵X_N关联的向量v_N((p_N,x,p_N,y),(p'_N,x,p'_N,y),θ_N,σ_N)，向量v是由求解变换矩阵X的两个特征区域的几何参数构成，(p_x,p_y)，(p'_x,p'_y)分别是两个特征区域中心坐标，θ＝α'-α代表方向角之差，σ是两个特征区域面积比值的对数；

步骤3-2，定义度量矩阵H，为当前均值漂移迭代中心X与各个相似变换矩阵X_N之间距离公式为：

$d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1})=\frac{1}{2}(p^{\&prime;}{p}^{\&prime;T}(X_N{X}^{-1}-e)+{\mathrm{pp}}^T(X_N^{-1}X-e)),$

其中p＝(p_x,p_y)，p'＝(p'_x,p'_y)分别是相似变换矩阵X的两个特征区域的中心坐标，e是特征几何变换空间的单位矩阵，T表示转置矩阵；

步骤3-3，简化均值漂移过程，根据当前均值漂移中心X和在步骤3-1中范围约束以内的相似变换矩阵X_N，计算相似变换矩阵关联的向量v((p_x,p_y),(p'_x,p'_y),θ,σ)和v_N((p_N,x,p_N,y),(p'_N,x,p'_N,y),θ_N,σ_N)，进而计算当前均值漂移迭代的偏移量m_h,G(v)，公式如下：

$m_{h,G}\left(v\right)=\frac{\mathrm{\&Sigma;g}\left(\frac{d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1}\left]\right)}{h^2}\right)(v_N-v)}{\mathrm{\&Sigma;g}\left(\frac{d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1}\left]\right)}{h^2}\right)},$

再根据偏移量m_h,G(v)，得到新的向量公式如下：

$\stackrel{\&OverBar;}{v}(({\stackrel{\&OverBar;}{p}}_x,{\stackrel{\&OverBar;}{p}}_y),({\stackrel{\&OverBar;}{p}}_x^{\&prime;},{\stackrel{\&OverBar;}{p}}_y^{\&prime;}),\stackrel{\&OverBar;}{\mathrm{\&theta;}},\stackrel{\&OverBar;}{\mathrm{\&sigma;}})=v((p_x,p_y),(p_x^{\&prime;},p_y^{\&prime;}),\mathrm{\&theta;},\mathrm{\&sigma;})+m_{h,G}\left(v\right),$

再根据向量中求和公式如下：

$\stackrel{\&OverBar;}{R}=\left[\begin{array}{cc}\exp \left(\stackrel{\&OverBar;}{\mathrm{\&sigma;}}\right)& 0\\ 0& \exp \left(\stackrel{\&OverBar;}{\mathrm{\&sigma;}}\right)\end{array}\right]\left[\begin{array}{cc}\cos \stackrel{\&OverBar;}{\mathrm{\&theta;}}& -\sin \stackrel{\&OverBar;}{\mathrm{\&theta;}}\\ \sin \stackrel{\&OverBar;}{\mathrm{\&theta;}}& \cos \stackrel{\&OverBar;}{\mathrm{\&theta;}}\end{array}\right],$

$\stackrel{\&OverBar;}{t}=\mathrm{\&Sigma;}(\stackrel{\&OverBar;}{R}{(p_{N,x},p_{N,y})}^T-{(p_{N,x}^{\&prime;},p_{N,y}^{\&prime;})}^T)/\mathrm{\&Sigma;}1,$

其中(p_N,x,p_N,y)和(p'_N,x,p'_N,y)为求解相似变换矩阵X_N的两个特征区域的中心坐标，由此获得了新的均值漂移中心的平移分量和，从而得到完整的均值漂移迭代起点 $\stackrel{\&OverBar;}{X}=\left[\begin{array}{cc}\stackrel{\&OverBar;}{R}& \stackrel{\&OverBar;}{t}\\ 0& 1\end{array}\right];$

步骤3-4，收敛，均值漂移过程本质上沿着特征几何变换空间的概率密度上升方向不断迭代并最终达到局部极值点的过程，即不断循环步骤3-1～步骤3-3直到满足收敛条件：

$d^2\left(\right[X;{\stackrel{\&OverBar;}{X}}^{-1}],[X^{-1};\stackrel{\&OverBar;}{X}\left]\right)<\mathrm{\&xi;},$ 其中阈值ξ＝4。

步骤4，计算相似度大小的详细步骤如下：

步骤4-1，计算相似度大小，类大小阈值设为4，过滤密度较小的簇，用剩下的簇中点个数累加定义为图像相似度大小，记为如图5展示了前三步骤的示意图，图5中(b)所示提取局部特征区域(椭圆表示)和初始匹配对集(线条表示)；图5中(c)所示变换空间示意图；图5中(d)显示聚类和过滤密度较小簇后的匹配效果图，不同方向连线也表示多目标匹配，这两张图相似度大小可以记为图5中(d)图中连线的数量。如图6和图7所示不同待查图像的多目标匹配效果的实例。

步骤5，结果呈现的详细步骤如下：

步骤5-1，重新计算相似度，重复1～4步骤，对图像集合中图像数据执行完后，假如图像集有m张图像，即有相似度，由于相似变换矩阵X关联的从待查图像提取的特征区域，多次出现在相似度的计算中，所以按照对待查图像的局部特征区域出现的频率对相似度重新加权计算

其中f是待查图像特征区域出现次数，X^∈f代表出现次数f的特征区域得到的相似变换矩阵X。

步骤5-2，结果呈现，对加权平均后的相似度大小，采用堆排序方法，选择呈现前n张图像检测结果集。如图8的实验和对比，选用TRECVID2003中的Columbia数据集，共包含600幅图像，由150对近复制图像和300幅随机图像组成，图8给出了本发明的方法和现有的多个近复制检测算法的性能对比，包括空间布局对应算法SCC(Spatially Coherent Correspondences)、非刚性图像匹配算法NIM(Non-rigid ImageMatching)、基于尺度不变特征一对一对称算法OOS-SIFT(One-to-One Symmetric-ScaleInvariant Feature Transform)、基于尺度不变特征主成份分析的一对一对称算法OOS-PCA-SIFT(One-to-One Symmetric-Principal Component Analysis-Scale InvariantFeature Transform)和视觉关键词算法VK(Visual Keywords)等，性能的评估标准采用排序前n＝13幅图像的累计正确率，即前13幅返回图像中包含近复制图像。从结果可以看出，本发明的方法有着相对更好的检测性能。图9也显示了本发明算法(上)和空间布局对应算法SCC(下)在3对近复制图像上的局部特征匹配结果图，可以看出本发明算法更有效匹配局部特征，更为鲁棒的实现近复制图像检测。

实施例

本实施例的实验硬件环境是：Intel(R)Core(TM)i3-21003.10GHz，4G内存，MicrosoftWindows7旗舰版，编程环境是visual studio 2012,matlab 7.6(R2008b)32位，测试图来源于网上公开的图像中公开的图像。

实验测试用例选用了Columbia数据集，由150对近复制图像和300幅随机图像组成。每一轮处理单对图像时，用DoG局部区域尺度不变检测算法提取局部特征区域，在筛选初始匹配对阈值设置为1.1。聚类中每次均值漂移迭代过程中，圆心角度差和区域面积比值的对数阈值分别设为20和1，对特征几何变换空间聚类范围进行约束，来提高算法速度，均值沿着概率密度上升的方向不断漂移并最终达到局部极值点，当新的均值漂移中心与上一次的中心距离小于4认为是达到收敛条件。由于Columbia数据集中图像像素不高，提取的特征区域不多，所以类大小阈值设为4，过滤密度较小的簇。

与空间布局对应算法SCC的比较显示，本发明的方法在较短时间内能得到更好的结果，图9的性能比较中对检测效率进行了统计，整个方法完成全部15000对图像的匹配的排序共需要0.7小时，平均没对图像匹配约耗时0.15秒。图9也显示了相比空间布局对应算法SCC多目标匹配有效的匹配大部分局部特征区域，可见本文方法在计算速度和准确率上要优于其他方法。

本发明提出的一种多目标匹配的近复制图像检测方法，其中使用多目标匹配的方法解决了之前方法中准确率不高和多义性问题，又结合特定情况对距离度量的重定义和均值漂移过程的简化，保证了均值漂移过程的收敛性和减少了迭代次数，提高了近复制图像检测的速率。总之，本发明具有效率高，准确率高，算法无偏，适用面广的特点。

Claims (6)

1.一种多目标匹配的近复制图像检测方法，其特征在于，包括以下步骤：

步骤1，图像预处理：从待查图像和图像集中选出的图像分别提取局部特征区域，基于SIFT特征描述子生成特征区域的特征向量，根据特征向量的欧式距离最近邻原则筛选初始匹配对集；

步骤2，建立特征几何变换空间：初始匹配对集中任意匹配对包含两幅图像的局部特征区域，提取的局部特征区域，根据两个局部特征区域O_i和O′_i的几何参数求解相似变换矩阵，一个相似变换矩阵是空间中一点，将所有的相似变换矩阵组在一起即构成了特征几何变换空间；

步骤3，聚类：使用非线性均值漂移聚类算法，包括对度量矩阵H的重定义以及简化均值漂移过程，将特征几何变换空间中所有独立分布的簇聚类出来；

步骤4，计算相似度大小：设定簇大小阈值，过滤密度小于阈值的簇，用剩下簇中点个数定义图像相似度大小；

步骤5，结果呈现：重复步骤1～4，对图像集中所有选出的图像处理完后，按照匹配对待查图像局部特征区域出现的频率对相似度重新计算，按照相似度由大到小排序呈现图像检测结果集。

2.如权利要求1所述的一种多目标匹配的近复制图像检测方法，其特征在于，步骤1包括以下步骤：

步骤1-1，提取特征区域：对待查图像和图像集中选出的图像数据采用基于尺度不变检测子DoG或仿射不变区域检测子MSER提取局部特征区域，得到描述局部特征区域几何特征的参数；

步骤1-2，提取特征向量：基于SIFT特征描述子生成各局部特征区域的特征向量，共128维，分别代表特征区域的直方图向量；

步骤1-3，筛选初始匹配对：当且仅当局部特征区域的特征向量D_i与D_j之间的距离d(D_i,D_j)乘以阈值不大于特征向量D_i与其他所有特征向量的距离，则特征区域匹配，其距离公式为：

$d(D_i,D_j)=\sqrt{\underset{k=1}{\overset{128}{\mathrm{\&Sigma;}}}{(w_k^i-w_k^j)}^2},$

其中为第i个特征区域的特征向量D_i第k维，为第j个特征区域的特征向量D_j第k维，k取值1～128，阈值设为1.1。

3.如权利要求2所述的一种多目标匹配的近复制图像检测方法，其特征在于，步骤2包含下列步骤：

步骤2-1，计算方向角α：采用基于尺度不变检测子DoG提取的局部特征区域是圆形区域，参数包括圆心坐标p、半径r、方向角α，仿射不变检测子MSER检测结果为椭圆形区域，参数包括椭圆的中心坐标p和方程参数a,b,c；

按照如下公式计算在椭圆区域中每个像素点的梯度大小m(x,y)和方向

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2},$

其中L(x,y)代表图像坐标点(x,y)的像素值，用直方图统计梯度大小m(x,y)和方向统计完后选取直方图的最高峰作为特征区域的梯度主方向，即为方向角α；

步骤2-2，求解相似变换矩阵：一个初始匹配对包含两个局部特征区域，如果第i个匹配对中特征区域为圆O_i和O′_i，参数包括圆心坐标p_i和p′_i、半径r_i和r′_i、方向角α_i和α′_i，如果第i个匹配对中特征区域为椭圆E_i和E′_i，参数包括椭圆中心p_i和p′_i、参数a_i,b_i,c_i和a′_i,b′_i,c′_i、方向角α_i和α′_i，则每一对匹配的特征区域求解对应的相似变换矩阵X_i，组在一起构建特征几何变换空间：

$X_i=\left[\begin{array}{cc}{R}_i& t_i\\ 0& 1\end{array}\right],$

其中：

$R_i=\left[\begin{array}{cc}{s}_i& 0\\ 0& s_i\end{array}\right]\left[\begin{array}{cc}\cos {\mathrm{\&theta;}}_i& -\sin {\mathrm{\&theta;}}_i\\ \sin {\mathrm{\&theta;}}_i& \cos {\mathrm{\&theta;}}_i\end{array}\right],$ θ_i＝α′_i-α_i，

t_i＝p′_i-R_ip_i，θ_i为旋转角度差，s_i为区域面积比。

4.如权利要求3所述的一种多目标匹配的近复制图像检测方法，其特征在于，步骤3包含下列步骤：

步骤3-1，聚类范围约束，在每次均值漂移迭代过程中的开始，首先对特征几何变换空间中聚类范围进行约束，满足如下范围公式的，则构成每次迭代的均值漂移中心X周围的相似变换矩阵X_N：

|θ-θ_N|＜τ_θ且|σ-σ_N|＜τ_s，

其中τ_θ＝20，τ_s＝1，相似变换矩阵X关联的向量v((p_x,p_y),(p'_x,p'_y),θ,σ)，相似变换矩阵X_N关联的向量v_N((p_N,x,p_N,y),(p'_N,x,p'_N,y),θ_N,σ_N)，向量v是由求解变换矩阵X的两个特征区域的几何参数构成，(p_x,p_y)，(p'_x,p'_y)分别是两个特征区域中心坐标，θ＝α'-α代表方向角之差，σ是两个特征区域面积比值的对数；

步骤3-2，定义度量矩阵H，为当前均值漂移迭代中心X与各个相似变换矩阵X_N之间距离 $d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1}\left]\right),$ 公式为：

$d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1}\left]\right)=\frac{1}{2}(p^{\&prime;}{p}^{\&prime;T}(X_N{X}^{-1}-e)+{\mathrm{pp}}^T(X_N^{-1}X-e)),$

其中p＝(p_x,p_y)，p'＝(p'_x,p'_y)分别是相似变换矩阵X的两个特征区域的中心坐标，e是特征几何变换空间的单位矩阵，T表示转置矩阵；

步骤3-3，简化均值漂移过程，根据当前均值漂移中心X和在步骤3-1中范围约束以内的相似变换矩阵X_N，计算相似变换矩阵关联的向量v((p_x,p_y),(p'_x,p'_y),θ,σ)和v_N((p_N,x,p_N,y),(p'_N,x,p'_N,y),θ_N,σ_N)，进而计算当前均值漂移迭代的偏移量m_h,G(v)，公式如下：

$m_{h,G}\left(v\right)=\frac{\mathrm{\&Sigma;g}\left(\frac{d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1}\left]\right)}{h^2}\right)(v_N-v)}{\mathrm{\&Sigma;g}\left(\frac{d^2\left(\right[X;X^{-1}],[X_N;X_N^{-1}\left]\right)}{h^2}\right)},$

再根据偏移量m_h,G(v)，得到新的向量公式如下：

$\stackrel{\&OverBar;}{v}(({\stackrel{\&OverBar;}{p}}_x,{\stackrel{\&OverBar;}{p}}_y),({\stackrel{\&OverBar;}{p}}_x^{\&prime;},{\stackrel{\&OverBar;}{p}}_y^{\&prime;}),\stackrel{\&OverBar;}{\mathrm{\&theta;}},\stackrel{\&OverBar;}{\mathrm{\&sigma;}})=v((p_x,p_y),(p_x^{\&prime;},p_y^{\&prime;}),\mathrm{\&theta;},\mathrm{\&sigma;})+m_{h,G}\left(v\right),$

再根据向量v中求和公式如下：

$\stackrel{\&OverBar;}{R}=\left[\begin{array}{cc}\exp \left(\stackrel{\&OverBar;}{\mathrm{\&sigma;}}\right)& 0\\ 0& \exp \left(\stackrel{\&OverBar;}{\mathrm{\&sigma;}}\right)\end{array}\right]\left[\begin{array}{cc}\cos \stackrel{\&OverBar;}{\mathrm{\&theta;}}& -\sin \stackrel{\&OverBar;}{\mathrm{\&theta;}}\\ \sin \stackrel{\&OverBar;}{\mathrm{\&theta;}}& \cos \stackrel{\&OverBar;}{\mathrm{\&theta;}}\end{array}\right]$

$\stackrel{\&OverBar;}{t}=\mathrm{\&Sigma;}(\stackrel{\&OverBar;}{R}{(p_{N,x},p_{N,y})}^T-{(p_{N,x}^{\&prime;},p_{N,y}^{\&prime;})}^T)/\mathrm{\&Sigma;}1,$

其中(p_N,x,p_N,y)和(p'_N,x,p'_N,y)为求解相似变换矩阵X_N的两个特征区域的中心坐标，由此获得了新的均值漂移中心的平移分量和从而得到完整的均值漂移迭代起点 $\stackrel{\&OverBar;}{X}=\left[\begin{array}{cc}\stackrel{\&OverBar;}{R}& \stackrel{\&OverBar;}{t}\\ 0& 1\end{array}\right];$

步骤3-4，收敛，不断循环步骤3-1～步骤3-3直到满足收敛条件：

$d^2\left(\right[X;{\stackrel{\&OverBar;}{X}}^{-1}],[X^{-1};\stackrel{\&OverBar;}{X}\left]\right)<\mathrm{\&xi;},$ 其中阈值ξ＝4。

5.如权利要求4所述的一种多目标匹配的近复制图像检测方法，其特征在于，步骤4包含下列步骤：

步骤4-1，计算相似度大小，簇大小阈值设为4，过滤密度小于阈值的簇，用剩下的簇中点个数累加定义为图像相似度大小，记为ζ＝Σ^||簇||X。

6.如权利要求5所述的一种多目标匹配的近复制图像检测方法，其特征在于，步骤5包含下列步骤：

步骤5-1，重新计算相似度，重复1～4步骤，对图像集合中所有选出图像计算完后，假如图像集有m张图像，即有{ζ_ε}_ε＝1,...,m相似度，按照对待查图像的局部特征区域出现的频率对相似度重新加权计算：

其中f是待查图像特征区域出现次数，X^∈f代表出现次数f的特征区域得到的相似变换矩阵X；

步骤5-2，结果呈现，对加权平均后的相似度大小，采用堆排序方法，选择呈现前n张图像检测结果集。