CN102722731A - 一种基于改进sift算法的高效图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于改进SIFT算法的高效图像匹配方法。本发明包括下列步骤：（1）利用SIFT算子对输入的参考图像和待匹配图像进行特征点提取；（2）结合Harris算子对SIFT提取的特征点进行优化以筛选具有代表性的角点作为最终的特征点；（3）对SIFT特征描述符进行降维处理，获取参考图像和待匹配图像的64维特征向量描述符；（4）利用最近邻/次近邻（NN/SCN）算法对参考图像和待匹配图像进行初始匹配，并采用随机采样一致性（RANSAC）算法剔除其中的错误匹配，从而实现图像的精匹配。本发明在图像匹配时，通过选择更能代表或体现图像特征的点进行匹配，在保证匹配精度的同时提高了SIFT匹配的实时性。

Description

一种基于改进SIFT算法的高效图像匹配方法

技术领域

本发明涉及一种图像匹配的方法，属于图像处理技术领域。

背景技术

图像匹配是指同一场景在两个不同时点下图像之间的对应关系，它是计算机视觉研究领域的一个基本问题，也是计算机视觉应用，如深度恢复、摄像机标定、运动分析以及三维重构等问题的研究起点或基础。

在特征匹配法中，如今运用最多的是点特征。现在常见的特征点提取算法包括：Harris算子、ForIstner算子、SIFT算法和基于小波变换的边缘点提取法。其中SIFT算法以其独特的优势，成为目前最为稳定的一种算法。SIFT(Scale Invariant Feature Transform)算法即尺度不变特征变换算法，是David G.Lowe在1999年提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，SIFT将一幅图像映射（变换）为一个局部特征向量集，特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定的不变性。SIFT特征向量的生成由以下四个步骤组成：

1、在尺度空间中检测极值点；

2、去除低对比度的极值点和不稳定的边缘极值点，得到特征点；

3、计算特征点的方向参数；

4、生成SIFT特征点向量，向量维数一般为128维。

运用SIFT算法提取的SIFT特征向量具有如下优点：

1、SIFT特征是图像的局部特征，对其旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换等保持一定程度的稳定性；

2、独特性好，信息量丰富，使用于在海量特征数据库中进行快速、准确的匹配；

3、多量性，即使少数的几个物体也可以产生大量SIFT特征向量；

4、可扩展性，可以很方便地与其他形式的特征向量进行联合。

尽管SIFT提取的特征点稳定，但SIFT算法缺点也很多，如：算法复杂度较高，计算数据量大，耗时较长。研究人员针对以上的缺点采取了许多改进措施，Yanke等人提出了PCA-SIFT方法^[1]，目的是对特征描述进行数据降维，虽使匹配速度加快，但是由于没有任何先验知识做基础，这种方法反而使计算量增加；Grabner等人用积分图像方法^[2]，使SIFT的计算速度提高了，但是降低了SIFT方法的优越性。以上方法只是改进匹配阶段或者特征描述，本发明通过特征提取和特征描述的双重改进，在保证SIFT匹配精度的前提下提高了运算速度，更好的实现了SIFT算法的实时性。

[1]KE Y，SUKTHANKAR R.PCA-SIFT:a more distinctive representation for local imagedescriptors[C].Proceedings Conference Computer Vision and Pattern Recognition,2004:511-517.

[2]GRABNER M,GRABNER H,BISCHOF H.Fast approximated SIFT[C].Proceedings AsianConference on Computer Vision,2006,1:918-927。

发明内容

本发明所要解决的技术问题是针对背景技术的不足，提出一种改进SIFT算法的高效图像匹配方法。在图像匹配时，通过选择更能代表或体现图像特征的点来进行匹配工作，有效提高了匹配过程的实时性。

本发明为解决上述技术问题采用以下技术方案：

一种基于改进SIFT算法的高效图像匹配方法，包括如下步骤：

步骤（1），利用SIFT算子对输入的参考图像和待匹配图像进行特征点提取；

步骤（2），结合Harris算子对步骤（1）提取的参考图像和待匹配图像的特征点进行优化，筛选出具有代表性的角点作为最终的SIFT特征点；

步骤（3），对步骤（2）筛选出的SIFT特征点的特征描述符进行降维处理，获取参考图像和待匹配图像的64维特征向量描述符；

步骤（4），利用最近邻/次近邻算法对参考图像和待匹配图像进行初始匹配，并采用基于极线约束的RANSAC算法剔除其中的错误匹配，实现图像的精匹配。

进一步的，本发明的一种基于改进SIFT算法的高效图像匹配方法，步骤（1）所述利用SIFT算子对输入的参考图像和待匹配图像进行特征点提取的具体步骤如下：

第一步，利用高斯卷积核对输入的图像I(x,y)进行处理，得到多尺度空间图像L(x,y,σ)，即 $L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})\⊗I(x,y),$ 其中 $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2,}$ （x，y）代表图像的像素位置，σ为尺度空间因子；

第二步，对多尺度空间图像L(x,y,σ)进行高斯差处理，构建高斯差分尺度空间图像D(x,y,σ)，即 $D(x,y,\mathrm{\σ})=(G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ}))\⊗I(x,y)=L(x,y,\mathrm{k\σ})-L(x,y,\mathrm{\σ}),$ 式中，k为两相邻尺度空间倍数的常数；

第三步，检测该高斯差分尺度空间图像的局部极值点，然后利用拟合三维二次函数将所述极值点精确到亚像素级，并采用阈值法和Hessian矩阵法筛选特征点，得到SIFT特征点集。

进一步的，本发明的一种基于改进SIFT算法的高效图像匹配方法，步骤（2）所述结合Harris算子对步骤(1)提取的特征点进行优化的具体步骤如下：

步骤a、生成一个大小为3×3高斯窗口函数w_x，y；

步骤b、对SIFT算子提取出的每一个特征点计算其相应的M矩阵：

$M=\underset{x,y}{\mathrm{\Σ}}{w}_{x,y}\left[\begin{array}{c}{I_x}^2{I}_x{I}_y\\ I_x{I}_y{I_y}^2\end{array}\right]$

其中I_x为x方向的差分，I_y为y方向的差分；

步骤c、通过M矩阵的行列式值det(M)和迹trace(M），计算步骤b中各特征点对应的角点响应函数值R(x,y)：

R(x,y)=det(M)/(trace(M))²

步骤d、对所有特征点对应的R(x,y)进行降序排列，选取序列的前n个特征点作为最终的SIFT特征点，n根据不同图像对于匹配点数的要求确定。

进一步的，本发明的一种基于改进SIFT算法的高效图像匹配方法，步骤（3）所述对SIFT特征描述符进行降维处理，获取参考图像和待匹配图像的64维特征向量描述符的具体步骤如下：

步骤A，利用邻域点的信息，计算每一个特征点的梯度值m(x,y)和梯度方向θ(x,y)；

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)=tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

步骤B，根据每个特征点的梯度值和梯度方向,借助于其邻域圆的信息，采用方向直方图统计的方式确定该特征点的主方向；

步骤C，将以特征点为中心，16×16像素邻域作为特征点描述符的采样区域，并将该邻域划分为16个大小为4×4的采样子区域；在每个4×4的采样子区域内，以特征点主方向作为基准方向，计算每个特征点的梯度方向与基准方向的夹角；将每个特征点的梯度值以该夹角的角度，投影到0~2π区间以π/4为间隔的8个方向上，并进行每个方向上梯度值的累加，归一化操作后生成8维向量描述符；一个特征点即由16×8=128维特征向量描述符表示；

步骤D，将每个子区域中产生的8个向量中相反方向的梯度进行模值相减，然后取差值的绝对值生成一个4维向量，4维向量的方向分别是0~π区间以π/4为间隔的4个方向；将每个子区域的8维向量描述符依此方法降至4维，则每个特征点的特征向量描述符相应降为16×4=64维。

进一步的，本发明的一种基于改进SIFT算法的高效图像匹配方法，步骤（4）所述利用最近邻/次近邻算法对参考图像和待匹配图像进行初始匹配的具体步骤如下：

采用特征向量的欧式距离作为两幅图像中特征点的相似性度量，取待匹配图像的一个特征点，从参考图像中找出与其欧式距离最近的前两个特征点，作为最近邻特征点和次近邻特征点；

若最近邻特征点的距离除以次近邻特征点的距离小于预先设定的比例阈值，则接受该特征点与其最近邻特征点为一对匹配点；否则认为该特征点匹配失败，即无匹配点；其中，所述比例阈值是针对具体的图像，根据匹配点数目以及稳定程度来确定；提高该比例阈值，SIFT匹配点数目会相应增加；降低该比例阈值，SIFT匹配点数目会相应减少。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明在图像匹配时，通过选择更能代表或体现图像特征的点进行匹配，有效提高了匹配过程的实时性。首先在特征提取步骤利用Harris算子对SIFT算子检测的特征点进行优化，在保持旋转不变性和平移不变性的同时筛选出具有高灰度差异值的代表性的角点作为特征点；其次在特征描述步骤对SIFT的描述符进行降维处理，在保持光照不变性和旋转不变性的条件下，从128维降为64维特征向量描述符，从而节省了特征向量匹配时的开销。本发明从以上两点进行改进，在保证匹配精度的同时，提高了SIFT匹配的实时性。

附图说明

图1为本发明图像匹配原理框图。

图2为本发明方向描述子的生成示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例包括如下步骤：

（1）利用SIFT算子对输入的参考图像和待匹配图像进行特征点提取.具体的步骤如下：

第一步，利用高斯卷积核对输入的图像I(x,y)进行处理，得到多尺度空间图像L(x,y,σ)，即 $L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})\⊗I(x,y),$ 其中 $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$ （x，y）代表图像的像素位置，σ为尺度空间因子；

第二步，对多尺度空间图像L(x,y,σ)进行高斯差处理构建高斯差分尺度空间图像D(x,y,σ)，即 $D(x,y,\mathrm{\σ})=(G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ}))\⊗I(x,y)=L(x,y,\mathrm{k\σ})-L(x,y,\mathrm{\σ}),$ 式中，k为两相邻尺度空间倍数的常数；检测该高斯差分尺度图像空间的局部极值点（极大值或极小值）；

第三步，利用拟合三维二次函数将所述极值点精确到亚像素级，并采用阈值法和Hessian矩阵法筛选特征点，得到SIFT特征点集。

所有特征点的检测都是基于尺度不变的特性，而高斯卷积核是实现尺度变换的唯一线性核。DoG图像D(x,y,σ)是由相邻两层的高斯尺度空间图像L(x,y,σ)相减得到，利用DoG算子代替LoG算子检测极值点精度虽有所降低，但前者相比后者提高了运算速度。检测到的极值点通过拟合三维二次函数用以精确确定极值点的位置和尺度，使之均达到亚像素精度。采用阈值法和Hessian矩阵法能够同时去除低对比度和边缘响应的极值点，保证特征点的独特性和稳定性，从而提高匹配的抗噪声能力以及稳定性。

（2）结合Harris算子对SIFT提取的特征点进行优化。为避免造成匹配阶段时间的浪费，采用Harris算子对SIFT特征点集进行筛选，将具有代表性的角点作为最终的特征点。具体的步骤如下：

a、生成一个大小为3×3高斯窗口函数w_x，y；

b、对SIFT算子提取出的每一个特征点计算相应的M矩阵：

$M=\underset{x,y}{\mathrm{\Σ}}{w}_{x,y}\left[\begin{array}{c}{I_x}^2{I}_x{I}_y\\ I_x{I}_y{I_y}^2\end{array}\right]$

其中：I_x为x方向的差分，I_y为y方向的差分。

c、通过M矩阵的行列式值det(M)和迹trace(M），计算b中各点对应的角点响应函数值R(x,y)：R(x,y)=det(M)/(trace(M))²

d、对所有特征点对应的R(x,y)进行降序排列，选取序列的前n个点作为最终的特征点，n可根据不同图像对于匹配点数的要求确定。

由以上步骤得到的角点，由Harris定义可知具有旋转不变性和平移不变性。经Harris优化后的特征点有效去除了SIFT特征点中灰度对比较低的点，将具有高灰度差异的特征点作为最终的特征点，利用这些更具代表性的特征点进行特征匹配从而提高匹配的实时性。

（3）对SIFT特征描述符进行降维处理，分别获取参考图像和待匹配图像的64维特征向量描述符。首先利用邻域点的信息，计算每一个点的梯度值m(x,y)和梯度方向θ(x,y)：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)=tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

根据每个特征点的梯度大小和方向,借助于其邻域圆的信息，采用方向直方图统计的方式来确定该点的主方向。将以特征点为中心，16×16像素邻域作为特征点描述符的采样区域，并将该邻域划分为16个大小4×4的采样子区域。在4×4的采样子区域内，以特征点主方向作为基准方向，计算每个特征点的梯度方向与基准方向的夹角；将每个特征点的梯度值以该方法计算出的夹角的角度，投影到0~2π区间以π/4为间隔的8个方向上，并进行每个方向上梯度值的累加，归一化操作后生成8维向量描述符；一个特征点即由16×8=128维特征向量描述符表示。

梯度向量由梯度模值和梯度方向组成。基于梯度向量的数学涵义，梯度方向是梯度模值增加最快的方向，反梯度方向是梯度模值减小最快的方向。方向相反的梯度向量的区别在于，梯度方向表示的是增加量，反梯度方向表示的是减小量。如图2(a)所示，本发明中将子区域的8个向量中相反方向的梯度向量进行模值相减，取差值的绝对值表示其变化值，从而生成一个4维向量，方向分别是0~π区间以π/4为间隔的4个方向，如图2(b)所示。将每个子区域的8维向量描述符降至4维，则每个特征点的向量描述符相应降为16×4=64维。相比图2(a)的128维向量，维数降低一半的同时也缩减了一半的计算量。如此，在保留其旋转不变性和光照不变性的前提下克服了SIFT向量描述符维数过高的问题。

（4）利用最近邻/次近邻（NN/SCN）算法对参考图像和待匹配图像进行初始匹配。经以上特征提取和特征描述后，从参考图像和待匹配图像中分别获取了64维特征向量描述符。采用特征向量的欧式距离作为两幅图像中特征点的相似性度量。采用特征向量的欧式距离作为两幅图像中特征点的相似性度量。取待匹配图像的一个特征点，从参考图像中找出与其欧式距离最近的前两个特征点，称为最近邻和次近邻。若最近邻的距离除以次近邻的距离小于某个比例阈值，则接受该特征点与其最近邻为一对匹配点。提高或降低这个比例阈值，SIFT匹配点数目会相应增加或减少，亦会影响其稳定性。针对具体的图像，可根据匹配点数目以及稳定程度选择合适的比例阈值。一副图像在完成初始匹配之后，会产生部分错误匹配。为了消除这些误匹配，采用基于极线约束的RANSAC算法剔除错误匹配点对来实现图像的精匹配。利用RANSAC算法在剔除误匹配的同时也剔除了部分正确匹配点对，但后者相比前者，在数量上是完全可以接受的，对匹配的后续工作几乎没有影响。

表1

表1为两幅320*240图像利用SIFT算法与改进之后算法进行匹配的时间对比表。可以看出改进后的算法在特征描述以及特征匹配阶段极大的减小了时间的开销，从而有效提高了匹配的效率，更好地实现匹配的实时性。

Claims (5)

1.一种基于改进SIFT算法的高效图像匹配方法，其特征在于，包括如下步骤：

步骤（1），利用SIFT算子对输入的参考图像和待匹配图像进行特征点提取；

步骤（2），结合Harris算子对步骤（1）提取的参考图像和待匹配图像的特征点进行优化，筛选出具有代表性的角点作为最终的SIFT特征点；

步骤（3），对步骤（2）筛选出的SIFT特征点的特征描述符进行降维处理，获取参考图像和待匹配图像的64维特征向量描述符；

步骤（4），利用最近邻/次近邻算法对参考图像和待匹配图像进行初始匹配，并采用基于极线约束的RANSAC算法剔除其中的错误匹配，实现图像的精匹配。

2.根据权利要求1所述的一种基于改进SIFT算法的高效图像匹配方法，其特征在于，步骤

（1）所述利用SIFT算子对输入的参考图像和待匹配图像进行特征点提取的具体步骤如下：

第一步，利用高斯卷积核对输入的图像I(x,y)进行处理，得到多尺度空间图像L(x,y,σ)，即 $L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})\⊗I(x,y),$ 其中 $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$ （x，y）代表图像的像素位置，σ为尺度空间因子；

第二步，对多尺度空间图像L(x,y,σ)进行高斯差处理，构建高斯差分尺度空间图像D(x,y,σ)，即 $D(x,y,\mathrm{\σ})=(G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ}))\⊗I(x,y)=L(x,y,\mathrm{k\σ})-L(x,y,\mathrm{\σ}),$ 式中，k为两相邻尺度空间倍数的常数；

第三步，检测该高斯差分尺度空间图像的局部极值点，然后利用拟合三维二次函数将所述极值点精确到亚像素级，并采用阈值法和Hessian矩阵法筛选特征点，得到SIFT特征点集。

3.根据权利要求1所述的一种基于改进SIFT算法的高效图像匹配方法，其特征在于，步骤（2）所述结合Harris算子对步骤(1)提取的特征点进行优化的具体步骤如下：

步骤a、生成一个大小为3×3高斯窗口函数w_x，y；

步骤b、对SIFT算子提取出的每一个特征点计算其相应的M矩阵：

$M=\underset{x,y}{\mathrm{\Σ}}{w}_{x,y}\left[\begin{array}{c}{I_x}^2{I}_x{I}_y\\ I_x{I}_y{I_y}^2\end{array}\right]$

其中I_x为x方向的差分，I_y为y方向的差分；

步骤c、通过M矩阵的行列式值det(M)和迹trace(M），计算步骤b中各特征点对应的角点响应函数值R(x,y)：

R(x,y)=det(M)/(trace(M))²

步骤d、对所有特征点对应的R(x,y)进行降序排列，选取序列的前n个特征点作为最终的SIFT特征点，n根据不同图像对于匹配点数的要求确定。

4.根据权利要求1所述的一种基于改进SIFT算法的高效图像匹配方法，其特征在于，步骤（3）所述对SIFT特征描述符进行降维处理，获取参考图像和待匹配图像的64维特征向量描述符的具体步骤如下：

步骤A，利用邻域点的信息，计算每一个特征点的梯度值m(x,y)和梯度方向θ(x,y)；

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)=tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

步骤B，根据每个特征点的梯度值和梯度方向,借助于其邻域圆的信息，采用方向直方图统计的方式确定该特征点的主方向；

步骤C，将以特征点为中心，16×16像素邻域作为特征点描述符的采样区域，并将该邻域划分为16个大小为4×4的采样子区域；在每个4×4的采样子区域内，以特征点主方向作为基准方向，计算每个特征点的梯度方向与基准方向的夹角；将每个特征点的梯度值以该夹角的角度，投影到0~2π区间以π/4为间隔的8个方向上，并进行每个方向上梯度值的累加，归一化操作后生成8维向量描述符；一个特征点即由16×8=128维特征向量描述符表示；

步骤D，将每个子区域中产生的8个向量中相反方向的梯度进行模值相减，然后取差值的绝对值生成一个4维向量，4维向量的方向分别是0~π区间以π/4为间隔的4个方向；将每个子区域的8维向量描述符依此方法降至4维，则每个特征点的特征向量描述符相应降为16×4=64维。

5.根据权利要求1所述的一种基于改进SIFT算法的高效图像匹配方法，其特征在于，步骤（4）所述利用最近邻/次近邻算法对参考图像和待匹配图像进行初始匹配的具体步骤如下：

采用特征向量的欧式距离作为两幅图像中特征点的相似性度量，取待匹配图像的一个特征点，从参考图像中找出与其欧式距离最近的前两个特征点，作为最近邻特征点和次近邻特征点；

若最近邻特征点的距离除以次近邻特征点的距离小于预先设定的比例阈值，则接受该特征点与其最近邻特征点为一对匹配点；否则认为该特征点匹配失败，即无匹配点；其中，所述比例阈值是针对具体的图像，根据匹配点数目以及稳定程度来确定；提高该比例阈值，SIFT匹配点数目会相应增加；降低该比例阈值，SIFT匹配点数目会相应减少。

Images