CN103336964B - 一种基于模值差镜像不变性的sift图像匹配方法 - Google Patents

Abstract

本发明公开一种基于模值差镜像不变性的SIFT图像匹配方法，主要解决现有跟踪识别技术中，图像匹配方法实时性要求较高，以及目标在运动过程中发生镜像翻转出现匹配错误的情况。针对方法镜像匹配弱及实时性不好的情况，本方法提供了一种高效的镜像变换处理方向，在克服镜像变换的同时也达到降维的效果。其实现过程是：输入图像信息，提取特征点，计算其梯度强度及方向，确定主方向,将其坐标旋转到主方向。把16*16邻域像素分成16个种子点，并对轴对称的两个种子点做差取模，得到8个种子点。将每个种子点绘成四方向的直方图，最后组成8*4=32维的描绘子。此发明不仅解决了匹配方法的镜像变换问题，同时还将原128维向量描绘子降为32维，大大加强了方法的实时性。

Description

一种基于模值差镜像不变性的SIFT图像匹配方法

技术领域

本发明涉及一种计算机视觉领域的图像匹配的方法，属于图像信息处理领域。

背景技术

计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，其主要任务是通过对采集的图片或视频进行处理。计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。

图像匹配是计算机视觉里的基本技术。图像匹配，即通过一定的匹配方法在两幅或多幅图像之间识别同一个点的过程，其主要可分为以灰度为基础的匹配和以特征为基础的匹配。其中，SIFT（Scale Invariant Feature Transform）即尺度不变特征变换，是该领域目前应用最广泛的一种匹配方法。

SIFT匹配在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此方法法由David Lowe在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

SIFT方法主要有以下特点：

a)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；

b)独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；

c)多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；

d)可扩展性，可以很方便的与其他形式的特征向量进行联合。

虽然SIFT被证明是目前最有效的局部特征检测方法，但是由于其生成的特征描绘符维度高，导致匹配速度慢，实时效果不够好。实验结果表明，该方法也不适用于匹配图像的镜像变换。

发明内容

本发明的目的是克服现有SIFT对于镜像变换匹配的不足，提供一种基于模值差的镜像不变性的SIFT方法。本发明针对SIFT方法在其特征描绘符对镜像变换后，参考特征和待匹配特 征欧式距离发生极大的变换的情况，对特征描绘符进行了改进，使其对于镜像变换具有不变性。

本发明通过以下步骤实现:

1)使用SIFT算子对输入的参考图像和待匹配图像进行特征点提取，初步提取出特征点；

2)对于步骤1的提取结果，进行边缘响应点和对比度低的点的提取，筛选得到精确的特征点；

3)对步骤2筛选出的特征点进行特征描绘，制成32维特征描绘符；

4)利用最近邻/次近邻算法对参考图像和待匹配图像进行初始匹配，并剔除错误匹配，实现图像的精确匹配。

本发明优于传统的SIFT方法主要在其第三步，传统的SIFT匹配方法第三步利用图像的梯度强度及方向信息，制成128维描绘符进行匹配，但是由于图像的特征点对于镜像变换其梯度信息会发生位置上的翻转，导致同一特征点生成的特征描绘符在进行镜像翻转前后，是完全不同的两个向量，其欧式距离相差甚大，会导致步骤四匹配方法无法成功，因此传统SIFT在第三步生成的特征描绘符不具镜像变化不变性。

因此，本发明利用模值差的镜像不变性来处理特征信息，对特征点的梯度信息进行模值差的操作后再制成描绘符，并对生成描绘向量再次进行模值差处理，因此，生成的描绘符无论从其利用的信息还是其向量本身，都经过模值差处理，都具有镜像不变性，从而确保了改进后的SIFT匹配方法能够克服镜像变换。

本发明另一个作用是在对特征信息进行模值差处理的同时，将原本的128维特征描述符缩减成32维，达到降维效果，大大的提高了方法的实时性。

优选的，本发明利用以下方法完成具有镜像不变性的特征描述符的制作：

1)经过前几步已经提取出特征点，利用邻域点的信息，计算每一个特征点的梯度值m(x,y)和方向θ(x,y)；

其中， $m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x-1,y))}^2}$

θ(x,y)=tan^-1((L(x,y+1)-L(x-1,y))/(L(x+1,y)-L(x-1,y)))

根据每个特征点的梯度的值和梯度的方向，借助于其邻域的信息，采用梯度方向直方图统计确定该点的主方向。

2)以特征点为中心，其16×16邻域的像素为特征点描述符的采样区域，并将这16×16像素区域分成4×4个子区域，每个子区域分别作为一个种子点，记为：

V_ij=(V₁₁,V₁₂,V₁₃,V₁₄,V₂₁,V₂₂,V₂₃,V₂₄,V₃₁,V₃₂,V₃₃,V₃₄,V₄₁,V₄₂,V₄₃,V₄₄)。

3)将坐标方向旋转到特征点的主方向，然后对16个子区域的每个像素求其梯度方向角度θ和梯度值，将并将各角度分别投影到0～2π区间以为间隔的8个方向上，并进行每个方向上梯度值的累加，生成8方向梯度直方图。将这8个方向中关于坐标轴镜像对称的方向的梯度值俩俩进行模值相减，然后取差值得绝对值生成一个4方向梯度直方图，4个方向分别是0， 因此，每个种子点由一个四维向量表示。

4)对这4×4共16个种子点，关于镜像对称的种子点俩俩进行模值相减，即V′_i1=|V_i1-V_i4|，V′_i2=|V_i2-V_i3|，其中i=1,2,3,4。此时，一个特征点即由特征描述符V′=(V′₁₁,V′₁₂,V′₂₁,V′₂₂,V′₃₁,V′₃₂,V′₄₁,V′₄₂)来表示，其中每个V′_ij都是一个4维向量，所以镜像变换处理后的SIFT描述子由原先的16×8=128维降为8×4=32维。

对上述的方法得到的特征描绘符进行匹配，能够使得匹配方法具有镜像不变性。

本发明利用了模值差的镜像不变性，对SIFT方法进行了镜像处理，从而得到的改进后的SIFT算子在原来具有尺度不变性，旋转不变性，光照不变性的特点上，又具有镜像不变性。由于在镜像处理的同时，也达到特征描述符降维的效果，从而大大增加了匹配方法的实时性。

附图说明:

图1为本发明图像匹配方法流程图。

图2(a)为高斯差分尺度空间建立示意图,(b)为特征点提取示意图。

图3为特征点主方向生成示意图。

图4(a)为16个种子点的示意图，(b)为每个种子点8梯度方向直方图，(c)为本方法最终确定每种子点的4个方向示意图，(d)为最后生成的32维描述符示意图。

具体实施方式:

进一步的，本发明是一种基于模值差的镜像不变性的SIFT方法，其具体实现步骤如下：

所述的特征点初步提取包含两部分：一是尺度金字塔的构建，二是特征点提取。

由于高斯函数是唯一的实现尺度变换的函数，所以利用高斯函数对输入图像作用，建立尺度金字塔。

若输入图像为I(x,y),G(x,y,σ)是高斯核函数，其中σ是尺度。利用G(x,y,σ)对I(x,y)进 行卷积运算，，通过改变尺度σ，则得到该图像的多尺度空间。即

L(x,y,σ)=G(x,y,σ)*I(x,y)

其中， $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\δ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}.$

为了实现高效率的计算，用高斯差分函数DoG（Difference of Guassian）来近似归一化算子LoG（Laplacian of Guassian）。通过两个相邻尺度图像做差计算得到高斯差分尺度空间，即

$D(x,y,\mathrm{\σ})=(G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ}))\⊗I(x,y)=L(x,y,\mathrm{k\σ})-L(x,y,\mathrm{\σ})$

其中，k为两相邻此度空间倍数的常数。

此时，构建了高斯差分尺度空间。其中，尺度空间可分为o阶（octave），每一阶有s层（scale）。这些图像的尺度因子σ逐个以常数k倍递增，即若当前层尺度因子为σ，则下一层尺度因子为kσ，故k=2^1/s。D(x,y,σ)具体计算过程如图2(a)所示。

为了检测D(x,y,σ)的局部极大值和极小值，每个采样点都要和它同尺度的8个相邻点和上下尺度对应的9×2个点共26个点作比较。当其比其邻域26个点都大或都小时，这个点才被选择，作为特征点的候选点。如图2(b)所示。

这样，初步提取出特征点，但是这些点中存在一些低对比度，边缘响应点。这些点不作为特征点应该被剔除。具体剔除低对比度的点及边缘响应点的步骤如下：

1).去除低对比度点

将尺度空间函数D(x,y,σ)的泰勒(Taylor)展开得到D(x),即

$D\left(x\right)=D+\frac{{\∂D}^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^{2}D}{{\∂x}^2}x.$

只在采样点处计算D和D的导数，其中x=(x,y,σ)^T是相对于采样点的偏移，对上式求导，当导数为零时，得到局部极值点即

$\hat{x}=-\frac{{\∂}^2{D}^{-1}}{{\∂x}^2}\frac{\∂D}{\∂x}$

将求得的带入D(x)的泰勒展开式，得到

$D\left(\hat{x}\right)=D+\frac{1}{2}\frac{{\∂D}^T}{\∂x}\hat{x}$

对于所有的极值点，若则此点将作为低对比度点被剔除（假设像素值的阈值为[0,1]）.

2).去除边缘响应点

DoG算子在边缘处有很强的响应，由于边缘的位置很难确定，故而对噪声的影响很敏感。在DoG算法中，一个不明确的极值点在边缘交叉处具有较大的主曲率，但在垂直方喜爱那个此值较小。因此，将尺度空间函数D(x,y,σ)通过Hessian矩阵计算，其中 $H=\left(\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{yx}}& D_{\mathrm{yy}}\end{array}\right).$ 由于H的特征值与D的主曲率是成比例的，令

T_r(H)=D_xx+D_yy=α+β

Det(H)=D_xxD_yy-(D_xy)²=αβ

令r为两个特征值的比率，故α=rβ，则：

$\frac{T_r{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{r\β}+\mathrm{\β})}^2}{{\mathrm{r\β}}^2}=\frac{{(r+1)}^2}{r}$

当两个特征值相等时，值最小，并随r值增大而增大。

设定一阈值R，并判断式：若不满足该条件，认为是边缘响应点剔除。

通过拟合三维二次方程的方法和Hessian矩阵，我们剔除了低对比度点和边缘相应点，筛选出比较精确的特征点。此时，每个特征点有坐标信息和尺度信息。

对于每一个特征点，计算其梯度值m(x,y)和方向θ(x,y):

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x-1,y))}^2}$

θ(x,y)=tan^-1((L(x,y+1)-L(x-1,y))/(L(x+1,y)-L(x-1,y)))

为了更精确的得到特征点的梯度主方向，采用直方图来统计该点及其邻域的方向信息。具体做法如下：

以该特征点为中心，1.5σ为半径的圆域中，统计各个像素的梯度值，并绘成梯度直方图。梯度方向直方图的横坐标代表梯度的方向角，纵坐标代表梯度方向角相应的梯度值的累加值。其中梯度直方图将360°分成36个bin，每个bin为10°。同时由于离圆心远的点贡献小，离得近的点贡献大，所以将其每个点梯度值与高斯核函数作用，赋予其权值。梯度直方图的峰值处及为关键点的主方向。当梯度直方图中存在另外的相当于主峰值80%的峰值时，则将这个方向判定为该特征点的辅助方向。如图3所示。

为了保证本方法的旋转不变性，将坐标轴旋转为关键点的方向。以特征代点为中心取16×16的邻域作为采样窗口。将窗口内的点的方向投影到0～2π区间以为间隔的8个方向上。

将16×16的窗口划分为16个区域，分别作为16个种子点。如图4(a)。记做:

V=(V₁₁,V₁₂,V₁₃,V₁₄,V₂₁,V₂₂,V₂₃,V₂₄,V₃₁,V₃₂,V₃₃,V₃₄,V₄₁,V₄₂,V₄₃,V₄₄)

将种子点通过高斯加权后，绘成8方向的梯度方向直方图。如图4(b)。这方向的模值记为：

V_ij=(V_ij1,V_ij2,V_ij3,V_ij4,V_ij5,V_ij6,V_ij7,V_ij8)

将这8个方向中关于坐标轴镜像对称的方向的梯度值俩俩进行模值相减，然后取差值得绝对值生成一个4方向的梯度方向直方图。这四个方向分别是0， 如图4(c)。即

V‘_ij=(|V_ij1-V_ij5|,|V_ij2-V_ij8|,|V_ij3-V_ij7|,|V_ij4-V_ij6|)

同样，对于16个种子点，关于镜像对称的种子点俩俩进行模值相减，即

V′_i1=|V_i1-V_i4|,V′_i2=|V_i2-V_i3|

其中，i=1,2,3,4。

此时,一个特征点即由特征描述符V′=(V′₁₁,V′₁₂,V′₂₁,V′₂₂,V′₃₁,V′₃₂,V′₄₁,V′₄₂)来表示。如图4(d)。

从而就算发生镜像变换，即V_i1与V_i4,V_i2与V_i3交换；V_ij1与V_ij5，V_ij2与V_ij6，V_ij3与V_ij7，V_ij4与V_ij8交换，其模值差是不变的，即V‘_ij=V_ij，V′=V，从而实现镜像不变性。

由于每个V′_ij都是一个4维向量。所以镜像变换处理后的SIFT描述子由原先的16×8=128维变为8×4=32维。同时实现了降维的作用。大大增加了实时性。

对上述步骤形成的32维描绘向量利用最近邻/次近邻算法进行匹配。

采用特征向量的欧氏距离作为两幅图像的相似度度量。取待匹配图像的一个特征点，从参考图像中找出与其欧氏距离最近的前两个点，分别作为最近邻和次近邻。若最近邻距离与次近邻的距离比值小于一个预先设定好的阈值，则接受该点与其最近点为一堆匹配点。

对采用最近邻/次近邻算法匹配出的匹配点，采用基于极限约束的RANSAC（RandomSample Consensus）剔除错误匹配点对来实现图像的精匹配。

Claims (1)

1.一种基于模值差镜像不变性的SIFT图像匹配方法，其特征在于，包括如下步骤：

步骤(1)，利用SIFT算子对输入的参考图像和待匹配图像进行特征点提取；

步骤(2)，对于提取的特征点进一步的进行低对比度点以及边缘响应点的剔除，最后筛选得到精确的关键点；

步骤(3)，对步骤(2)筛选出的SIFT特征点进行镜像不变处理和降维处理，获取参考图像和待匹配图像的特征向量描述符；

步骤(4)，利用最近邻/次近邻算法对参考图像和待匹配图像进行初始匹配，并剔除错误匹配，实现图像的精确匹配；

步骤(3)得到的特征向量描述符是经过镜像不变处理以及降维处理得到的32维特征向量描述符；所述的32维特征向量描述符得到的具体步骤如下：

S3.1:利用邻域点的信息，计算每一个特征点的梯度值m(x,y)和方向θ(x,y)；

S3.2:根据每个特征点的梯度的值和梯度的方向，借助于其邻域的信息，采用梯度方向直方图统计确定该点的主方向；

S3.3:以特征点为中心，其16×16邻域的像素为特征点描述子的采样区域，并将这16×16像素区域分成4×4个子区域，每个子区域分别作为一个种子点，记为：

Vij＝(V11,V12,V13,V14,V21,V22,V23,V24,V31,V32,V33,V34,V41,V42,V43,V44)，将坐标方向旋转到特征点的主方向，然后对16个子区域的每个像素求其梯度方向角度θ和梯度值，将并将各角度分别投影到0～2π区间以π/4为间隔的8个方向上，并进行每个方向上梯度值的累加，生成8方向梯度直方图，将这8个方向中关于坐标轴镜像对称的方向的梯度值俩俩进行模值相减，然后取差值得绝对值生成一个4方向梯度直方图，4个方向分别是0，π/4，π/2，3π/4，因此，每个种子点由一个四维向量表示；

S3.4:对这4×4共16个种子点，关于镜像对称的种子点，俩俩进行模值相减，即V′i1＝|Vi1-Vi4|，V′i2＝|Vi2-Vi3|，其中i＝1,2,3,4，此时，一个特征点即由特征描述符V′＝(V′11,V′12,V′21,V′22,V′31,V′32,V′41,V′42)来表示，其中每个V′ij都是一个4维向量，所以镜像变换处理后的S I F T描述子由原先的16×8＝128维降为8×4＝32维。