CN103729654A - 基于改进sift算法的图像匹配检索系统 - Google Patents

Abstract

本发明公开了一种基于改进SIFT算法的图像匹配系统，主要解决了图像匹配检索过程中图像快速匹配的问题，首先把输入图像和图像库进行二值化，提取各自所有的特征点，采取提取尺度不变的特征点算法进行特征描述，即在高斯差分尺度空间上检测极值点并将其作为潜在的关键点,剔除掉其中不稳定的点.关键点局部特征的描述和匹配.即在关键点周围的小区域上计算梯度方向直方图,将其作为该特征点的描述,然后对其进行进一步的扩展，利用中心对称的LBP特征，首先将LBP特征引入到关键点的描述中，构造一种计算简单、维数低的描述方法，在尽量保证SIFT算法匹配性能的前提下提高匹配运算速度。

Description

基于改进SIFT算法的图像匹配检索系统

技术领域

本发明属于图像检索领域，涉及SIFT和旋转不变LBP结合的算法的图像匹配技术。

背景技术

图像匹配技术作为计算机视觉和数字图像处理领域的一项重要的分支，广泛应用于导航、地图、地形识别、环境监测和生理病变研究等领域，但是由于它受到天气、阳光、遮挡等外界因素的严重影响,并且存在因不同的成像时间、角度、距离等因素而导致的图像平移、旋转、缩放等问题, 这都给图像匹配工作带来了很大影响，严重影响其匹配的准确性；为了解决上述问题也提出了基于像素灰值的相关算法（例如SSAD,NNPROD等）的缺点是对图像的尺度、旋转、明暗、视角等变换敏感，相比之下，基于局部特征（例如角点、SIFT关键点等）的算法对图像的几何和光度变换具有不变性，目前,图像匹配算法的研究已经由基于像素的灰度相关向基于局部特征转变, 近年来, 在计算机视觉领域, 基于局部不变量描述符( Local Invariant Descriptor) 的方法在目标识别和图像匹配方面取得了显著进展，2004 年, 哥伦比亚大学的David

Lowe 提出了一种新的点特征提取算法——SIFT( Scale Invariant Feature Transform) 算法, 较好地解决了场景部分遮挡、旋转缩放、视点变化并且成功应用于目标识别、图像复原、图像拼接等领域，然而, 算法仍存在一些问题, 如阈值过多且难以确定, 特征描述符维数过高导致计算过于复杂大大影响了检索的速度；

LBP( local binary patterns)是一种表述灰度图像某像素点与周围像素点大小关系的二进制描述,最初被应用于图像纹理描述.近年来人们提出了很多扩展LBP,它计算简单,并且具有部分的尺度、旋转和亮暗不变性等优点,已成功地应用于人脸识别领域，最近又提出了一种中心对称的LBP特征,并首次将LBP特征引入到关键点的描述中取得了良好的效果.本文把旋转不变LBP特征引入到关键点的描述中去,为 SIFT关键点构造了一种计算简单、维数低的描述方法,在尽量保证SIFT算法匹配性能的前提下,提高了算法的运算速度.

本专利针对SIFT 特征描述符的高维数和高复杂度问题对SIFT 算法利用LBP关键点进行了改进,提高了匹配速度，增强了检索性的实时性和检索速度。

发明内容

要解决的技术问题:

本发明要解决的技术问题是：提供一种能够适应多分辨率的情况、算法复杂度低、且实时性好的匹配算法.SIFT 算法是性能最好、应用最广泛的基于局部特征的图像匹配算法,但其计算复杂度高. 为此,提出一种SIFT和旋转不变LBP相结合的图像匹配算法,以提高SIFT 算法的速度.首先利用SIFT关键点检测方法在待匹配图像上分别检测关键点,得到几个个关键点集;然后计算每个关键点周围图像区域的旋转不变LBP 特征,并将其作为该关键点的描述;最后采用基于关键点最近邻距离比值的匹配策略,找出这几个关键点集之间存在匹配关系的关键点对.

首先利用SIFT 算法基于图像特征尺度选择的思想,建立图像的多尺度空间,在不同尺度下检测到同一个特征点，确定特征点位置的同时确定其所在尺度,以达到尺度抗缩放的目的,剔出一些对比度较低的点以及边缘响应点, 并提取旋转不变特征描述符以达到抗仿射变换的目的.该算法主要包含8个步骤:

Step1. 把输入图像和图像库的图像二值化，尽量匹配的输入图像点集合，和图像库匹配点集合.

Step2.提取参考图像与目标图像各自的特征初始匹配点集，分别作为参考匹配点集和目标匹配点集.

Step3.采取在尺度空间局部极值的检测.构造图像的尺度高斯金字塔,对尺度高斯金字塔每阶的相邻2层依次作差,以得到高斯差分金字塔;在高斯差分金字塔中检测局部极大值和极小值,每个极值必须是所在局部邻(包括同层的8个邻域点、上一层和下一层各自对应的9个邻域点)内的极值点;将所有的极值点作为关键点的候选对象.

Step4.在关键点精确坐标和尺度的确定以及不稳定候选关键点的剔除.通过一种三维二次函数的拟合,精确确定关键点的位置和尺度(达到亚素精度) ,同时剔除对比度低的候选关键点,剔除具有不稳定边缘响应的候选关键点.

Step5. 寻找关键点方向的分配。计算关键点所在的高斯金字塔图层上、该关键点周围一个窗口内像素点的梯度方向,并计算梯度方向直方图,直方图的峰值代表了该关键点处邻域梯度的主方向,把它当作该关键点的方向.

Step6.以关键点为中心的图像区域的LBP的描述特征的提取.

Step7.关键点周围区域的旋转不变LBP特征的描述.

Step8.进行关键点的匹配，判断是否满足条件，进行图像的输出.

本发明的另一方面，还提供了一种图像匹配装置，其中，所述图像匹配装置包括如下模块：

（一）提取模块，其提取参考图像与目标图像各自的特征初始匹配点集，分别作为参考匹配点集合目标匹配点集.

（二）通信模块，其主要是从外部各种视频图像采集终端接收图像，比如各种摄像头，和从网络下载的图片等最终保存在图像库中.

（三）匹配模块，所述匹配模块参考所述提取模块的各种图像，根据采集图像的点集来进行所述参考图像与所述目标图像之间进行图像匹配.

（四）输出模块，根据匹配的相识度，对所匹配的图像按照相似性程度对匹配图像进行输出，具体如图1所。

技术具体实现

为解决上述问题，本发明提供了一种改进SIFT算法的图像匹配算法该算法包括的步骤：

S1.进行二值化输入图像，提取特征点集合，建立输入特征点集合和标准库点集合，提取各自的特征点集，然后进行存储标记，进行下一步的应用.

S2.然后利用SIFT算法处理：SIFT算法基于图像特征尺度选择的思想,建立图像的多尺度空间,在不同尺度下检测到同一个特征点,确定特征点位置的同时确定其所在尺度,以达到尺度抗缩放的目的,剔出一些对比度较低的点以及边缘响应点，并提取旋转不变特征描述符以达到抗仿射变换的目的。该算法主要包含4个步骤:(1)建立尺度空间,寻找候选点;(2)精确确定关键点,剔除不稳定点;(3)确定关键点的方向;(4)提取特征描述符.

S3.对输入图像进行高斯卷积变换。高斯卷积核是实现尺度变换的唯一变换核.因此一幅图像I(x, y，

)的尺度空间定义为L( x, y，

)是由不同尺度的高斯函数G( x, y，

)与原图像卷积运算生成的.

L( x, y，

)= G( x, y，

)* I(x, y，

)

G( x, y，

)=

利用一组连续的高斯卷积核与原图像进行卷积,生成利用一组连续的高斯卷积核与原图像进行卷积，生成一系列尺度空间的图像, 相邻尺度的图像相减就得到一组DOG( Difference- Of- Gaussian)图像D（x,y）.然后将图像缩小2倍并重复以上过程,直至图像尺寸小于某一范围.将DOG尺度空间的每个点与本尺度的相邻位置以及相邻尺度的对应位置进行逐个比较,得到的局部极值位置和尺度即为关键点位置和对应的尺度.利用尺度空间函数D(x, y)的泰勒二次展开式(进行最小二乘拟合,通过计算拟合曲面的极值来进一步确定关键点的精确位置和尺度.关键点最终的坐标和尺度可以精确到子像素级.

D（x）=D+

S4.在SIFT算法中利用关键点邻域像素的梯度方向分布特性为每个关键点指定主方向,也就是指关键点邻域内各点梯度方向的直方图中最大值所对应的方向,后续的描述符构造均以该方向为参照.

S5.在构造特征描述符时, 首先将特征点周围局部区域顺时针旋转( 调整至0°),以确保其旋转不变性.在旋转后的区域内,首先建立以关键点为中心的16×16 的矩形窗口(只显示了8×8的窗口)均匀地分成16个4×4 的子区域并在个每小块上计算8个方向( 0、45、90、135、180、225、270、315、360)的梯度累加值,绘制梯度方向直方图.16个子块一共得到128个数据,这1*128 的向量就被定义为一个特征点的描述符。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响,如果将其进行归一化,则可以进一步减少光照变化的影响.

S6.利用SIFT算法中的邻域方向性信息联合的思想能够增强算法的抗噪声能力, 同时对于含有定位误差的特征匹配也提供了较好的容错性,并且SIFT 特征是图像的局部特征利用其局部特征进行匹配.

S7.SIFT算法需要给关键点分配一个主方向,目的是为了确保描述符的旋转不变性.如果描述符本身就具有很好的抗旋转能力,考虑到在图像发生旋转后特征点周围的区域都会发生变化,而圆具有很好的旋转不变性，因此改进了这个算法后采用LBP特征的算法改进上述的处理.

S8.首先建立基本的LBP特征集合在图像上对一个局部建立一个3×3邻域的二进制描述,其计算过程如下:

S9.将图截取一个某3×3邻域的周围8个像素点的灰度值分别与中心像素点的值比较大小,根据大小关系对这8个像素点进行二值化.即如果某像素点的灰度值大于中心像素点的灰度值,则将其置为0,否则置为1.

S10. 二值化后的3×3邻域的周围8个像素点的值分别与设定的权值矩阵相应的值相乘,得出新的结果.

S11. 把所得到的新的结果里面的8个值相加,得到的十进制数就为该3×3邻域的LBP特征值.即得出的新的矩阵的3×3邻域的LBP特征值为LBP = 1 + 2 + 4 + 16 = 23.

S12.为了提高基本LBP特征的表达能力,对基本LBP特征进行了扩展,计算LBP特征时不再局限于3×3邻域,而是设定一个采样半径R和采样点数P,并且在以中心点为圆心、R为半径的圆周上等间隔地采样P个点.

S13.在这P个点的灰度值通过与中心点的灰度值比较大小进行二值化，常用的R及对应的P，现在以P= 8 , R= 1.0 ,说明扩展LBP特征的计算过程.假设中心像素点的灰度值为

,8个采样的像素点的灰度值分别为 ,

, ,

, 则中心像素点周围区域的LBP 特征计算公式为:

S14.关键点周围区域的旋转不变LBP 特征描述，设

(r,c,

,)为SIFT 关键点检测方法得到的某一关键点,其中( r , c) 为

在原始图像上的位置坐标, σ和θ分别为

的尺度和方向.

S15.根据σ的大小,在

所在的高斯金字塔相应层上,以

为中心取一个15 ×15 大小的图像区域。为了获得旋转不变性,按照θ的大小把该图像区域旋转到参考方向,最后取中心的11×11大小的图像区域作为待描述区域.

S16.采取以上的LBP 特征的缺点是旋转相关的，通过进一步改进，实现了具有旋转不变性的LBP特征.旋转不变的LBP特征(记为

) 可由扩展的LBP特征通过数据的循环移位操作实现,计算公式为：

=min{ROR()|k=0,1,…

}

其中ROR（O ,K）表示对P位二进制数X进行向右循环移位k 次（| k| < P）此时取P=8，R=1.0.

S17.将图像一部分分成如下的粗线内9×9大小的区域中,分别以每个像素点P为中心,求取以它为中心的旋转不变LBP特征

记为

9（j=1,2..81）.

S18.从直观上讲,像素点

距离中心

越远,它对描述

贡献的信息量越小,因此对进行加权,加权系数为

= exp{

}

其中（,

），（

,

）为像素点

和中心点

在待描述图像区域中的坐标，

为选定的常数.

S19.把计算得到的所有加权LBP 特征值组一个一维向量,记为

，则

=[

，.l

..

.

]

S20.为了消除光照变化以及其他因素的影响,把

进行归一化,即

S21.最后得到的81维向量

即为关键点

周围区域的描述(

的维数取决于区域的大小)。从

的计算过程可以看出,在待描述图像区域获取的过程中.

S22.利用关键点的尺度获得了尺度不变性,利用把待描述图像区域旋转到参考方向获得了旋转不变性, 利用描述向量的归一化获得了对光照变化的鲁棒性,再加上旋转不变LBP 特征自身具有一定程度的尺度、旋转和亮暗不变性,确保了基于旋转不变LBP 特征描述方法的鲁棒性.

S23. 关键点的匹配，当关键点的描述向量生成后利用：

=

的距离作为关键点之间的相似性判定度量.其中

=[

,

..

]和

=[

,

..

]分别为关键点A和B的描述向量.

S24.匹配策略与SIFT 算法的相同，其中的某个关键点A,中找出与之描述向量距离最近的2个关键点B和C,如果最近的距离

与次近的距离

的比值小于某个阈值t ，即：

< t

则认为关键点A 与距离最近的关键点B 匹配.

S25.依次类推图像依次匹配最后根据匹配的结果进行输出。

本发明具有以下有益效果及优点

本发明解决了图像检索系统中的图像检索快速匹配的问题，用旋转不变LBP特征描述SIFT关键点周围局部图像区域,利用关键点的描述向量之间的距离关系来实现关键点对之间的匹配.这种SIFT与LBP特征相结合的图像匹配算法对尺度、旋转、亮暗等图像变换具有很强的鲁棒性,大大降低了原算法的复杂度，采取改进后的SIFT算法具有很好的独特性和抗旋转能力以及抗噪声能力，同时运算速度比以前大为提高.

本发明的具体实现如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的 形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (4)

1.一种基于改进SIFT算法的图像匹配系统，其特征在于，包括如下步骤 ：

首先对参考图像与目标图像进行二值化，得到各自的特征初始匹配点集，分别作为参考匹配点集和目标匹配点集.

尺度空间局部极值的检测，构造图像的尺度高斯金字塔，对尺度高斯金字塔每层的相邻2层依次作差，以得到高斯差分金字塔，在高斯差分金字塔中检测局部极大值和极小值，每个极值必须是所在局部邻域内的极值点，将所有的极值点作为关键点的候选对象.

关键点精确坐标和尺度的确定以及不稳定候选关键点的剔除，通过一种三维二次函数的拟合，精确确定关键点的位置和尺度，同时剔除对比度低的候选关键点，剔除具有不稳定边缘相应的候选关键点.

关键点反响的分配，计算关键点所在的高斯金字塔图层上该关键点周围的一个窗口内像素的梯度方向，并计算梯度方向的直方图，直方图的峰值代表该极值点处邻域梯度主方向，把他当作该关键点的方向.

. 5) 对输入图像进行高斯卷积变换.高斯卷积核是实现尺度变换的唯一变换核。

2.因此一幅图像I(x, y， )的尺度空间定义为L( x, y，

)是由不同尺度的高斯函数G( x, y，

)与原图像卷积运算生成的.

L( x, y，

)= G( x, y，

)* I(x, y，

)

G( x, y，

)=

6)

利用一组连续的高斯卷积核与原图像进行卷积,生成利用一组连续的高斯卷积核与原图像进行卷积，生成一系列尺度空间的图像, 相邻尺度的图像相减就得到一组DOG( Difference- Of- Gaussian)图像D（x,y）.然后将图像缩小2倍并重复以上过程,直至图像尺寸小于某一范围。

3.将DOG尺度空间的每个点与本尺度的相邻位置以及相邻尺度的对应位置进行逐个比较,得到的局部极值位置和尺度即为关键点位置和对应的尺度.利用尺度空间函数D(x, y)的泰勒二次展开式(进行最小二乘拟合,通过计算拟合曲面的极值来进一步确定关键点的精确位置和尺度。

4.关键点最终的坐标和尺度可以精确到子像素级.

在SIFT算法中利用关键点邻域像素的梯度方向分布特性为每个关键点指定主方向,也就是指关键点邻域内各点梯度方向的直方图中最大值所对应的方向,后续的描述符构造均以该方向为参照.

9）将图截取一个某3×3邻域的周围8个像素点的灰度值分别与中心像素点的值比较大小,根据大小关系对这8个像素点进行二值化.即如果某像素点的灰度值大于中心像素点的灰度值,则将其置为0,否则置为1.

10）在这P个点的灰度值通过与中心点的灰度值比较大小进行二值化，常用的R及对应的P，现在以P= 8 , R= 1.0 ,说明扩展LBP特征的计算过程.假设中心像素点的灰度值为

,8个采样的像素点的灰度值分别为

,

, ⋯,

, 则中心像素点周围区域的LBP特征计算公式为:

采取以上的LBP 特征的缺点是旋转相关的，通过进一步改进，实现了具有旋转不变性的LBP特征.旋转不变的LBP特征(记为

) 可由扩展的LBP特征通过数据的循环移位操作实现,计算公式为：

=min{ROR(

)|k=0,1,…

}

其中ROR（O ,K）表示对P位二进制数X进行向右循环移位k 次（| k| < P）此时取P=8，R=1.0.

11）从直观上讲,像素点

距离中心

越远,它对描述

贡献的信息量越小,因此对进行加权,加权系数为

= exp{

}

其中（

,），（

,

）为像素点

和中心点

在待描述图像区域中的坐标，

为选定的常数.

12）把计算得到的所有加权LBP 特征值组一个一维向量,记为

，则

=[

，

.l

..

.

]

13）为了消除光照变化以及其他因素的影响,把

进行归一化,即

14）最后得到的n维向量

即为关键点

周围区域的描述(

的维数取决于区域的大小).从

的计算过程可以看出,在待描述图像区域获取的过程中.

15)利用关键点的尺度获得了尺度不变性,利用把待描述图像区域旋转到参考方向获得了旋转不变性, 利用描述向量的归一化获得了对光照变化的鲁棒性,再加上旋转不变LBP 特征自身具有一定程度的尺度、旋转和亮暗不变性,确保了基于旋转不变LBP 特征描述方法的鲁棒性.

16) 关键点的匹配，当关键点的描述向量生成后利用：

=

的距离作为关键点之间的相似性判定度量.其中

=[

,

..

]和=[

,

..]分别为关键点A和B的描述向量.

17) 匹配策略与SIFT 算法的相同，其中的某个关键点A,中找出与之描述向量距离最近的2个关键点B和C,如果最近的距离与次近的距离

的比值小于某个阈值t ，即：

< t

18) 依次进行各种关键点的匹配，判断是否满足条件，进行把匹配后的图像输出。