CN102968777A - 一种基于重叠区域sift特征点的图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于重叠区域SIFT特征点的图像拼接方法，属于图像处理技术领域。本发明针对现有基于特征的图像拼接算法因提取整幅图像特征而导致算法计算量大、非重叠区域特征容易造成后续匹配错误和计算冗余等问题，提出一种基于重叠区域SIFT特征点的图像拼接方法，仅提取图像重叠区域的特征点，减少了特征点数量，大幅降低了算法计算量；并采用改进的SIFT特征向量提取方法表述特征点，进一步降低了特征点匹配时的计算量，并降低了误匹配率。本发明还公开了一种存在光学成像差异的图像拼接方法，首先将两幅存在光学成像差异的待拼接图像利用投影变换变换到柱面坐标空间，然后本发明基于重叠区域SIFT特征点的图像拼接方法进行图像拼接。

Description

一种基于重叠区域SIFT特征点的图像拼接方法

技术领域

本发明涉及一种图像拼接方法，尤其涉及一种基于重叠区域SIFT特征点的图像拼接方法，属于图像处理技术领域。

背景技术

图像拼接是把描述同一场景的相互之间有部分重叠的一系列图像拼接成一幅宽视角图像的技术，它解决了图像视野和图像分辨率之间的矛盾，通过图像拼接即可得到宽视野、高分辨率的图像。图像拼接技术有着广泛的应用。

图像拼接技术包括图像配准和图像融合，其中图像配准是图像拼接的核心和关键。目前常用的图像配准方法主要分为基于灰度信息的图像配准方法、基于变换域的图像配准方法和基于特征的图像配准方法等三种方法。基于特征的图像配准方法速度快、对灰度变化、图像形变和遮挡等都有一定的鲁棒性（Barbara Zitová,Jan Flusser.Imageregistration methods:a survey[J].Image and Vision Computing,2003,21(11):977-1000.），所以它是目前图像配准和图像拼接技术中最常用的方法。1999年，David G.Lowe提出用尺度不变的特征(Scale-Invariant Feature)来进行物体识别和图像匹配等（David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal ofComputer Vision,2004,60(2):91-110.），并于2004年总结了当时的基于不变量技术的特征检测方法，正式提出了尺度不变特征变换，简称SIFT（SIFT：Scale-Invariant FeatureTransform）（David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.）。SIFT算子是一种图像的局部描述子，基于尺度空间，对图像平移、旋转、缩放保持不变性，而且对于仿射变换、光照变化和3D投影变换也具有一定的鲁棒性。2005年，K.Mikolajczyk和C.Schmid对包括SIFT算子在内的十种局部描述子做了对比性实验，实验结果表明SIFT算子在同类算子中具有最强的健壮性（Krystian Mikolajczyk and Cordelia Schmid.A performanceevaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2005,27(10):1615-1630.）。所以图像拼接中经常使用SIFT算法提取图像的特征点。

目前，基于SIFT的图像拼接算法的一般流程是：首先利用SIFT算法提取两幅待拼接图像的全部特征点；然后根据特征点之间的欧氏距离匹配特征点，形成匹配对，并对匹配对提纯；再根据匹配对进行图像融合，完成图像拼接。假设利用SIFT算法提取的两幅图像的特征点数分别为M个和N个，在计算欧氏距离时，共需要计算M×N个欧氏距离。对于一幅图像来说，其具有的特征点数往往超过数百甚至上千个，这样就需要计算数十万个欧氏距离，计算量较大，影响算法运行速度。图像拼接技术中，决定拼接能否成功的关键是图像重叠区域，非重叠区域对图像拼接没有直接作用。所以非重叠区域的特征点提取不但增加计算量，而且容易产生错误的匹配对，影响匹配效果。

发明内容

本发明所要解决的技术问题在于克服现有技术中存在的计算量过大的不足，提出一种基于重叠区域SIFT特征点的图像拼接方法，只提取图像重叠区域内的特征点，大量减少提取的特征点数和算法计算量，同时减少错误的匹配对，提高匹配效果。

本发明具体采用以下技术方案：

一种基于重叠区域SIFT特征点的图像拼接方法，首先确定待拼接的两幅图像的重叠区域；确定两幅待拼接图像重叠区域中的SIFT特征点，并提取各特征点的SIFT特征向量；根据SIFT特征向量对两幅图像的特征点进行匹配，并对匹配对进行提纯；根据提纯后的匹配对对两幅待拼接图像的重叠区域进行图像融合。

传统的SIFT算法采用128维描述子对特征点进行特征描述，考虑到图像拼接不同于图像识别，只需要特征点的少量描述信息，而特征点过多的描述信息会增加特征点匹配时间。为了进一步降低不必要的特征点匹配时间，本发明进一步对SIFT特征向量提取方法进行了改进，具体按照以下方法提取各特征点的SIFT特征向量：

步骤A、选取以特征点为中心，半径为k个像素的圆环形邻域，k为大于2的整数；将该圆环形邻域沿径向划分为m个同心的小圆环子区域，m为大于等于2小于k的整数；m个同心的小圆环子区域由内向外依次编号为i=1，2，…，m；

步骤B、计算所述圆环形邻域中每个像素点的梯度值和梯度方向；

步骤C、将梯度的方向等分为n个方向范围，n为大于等于2的整数，统计每个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和；以第i个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和作为该第i个小圆环子区域的特征向量V_i（i＝1,2,…,m）的n个元素；从最内层的第1个小圆环子区域中，选出梯度方向落在其内的所有像素点的梯度值之和最大的方向范围，循环左移/右移特征向量V₁中的元素，使得该方向范围的梯度值之和为特征向量_V1的第一个元素，其余小圆环子区域的特征向量做相同的移动，得到V_i=(v_i1,v_i2,…,v_ij,…v_in)；则n×m维的向量V=(V₁,V₂,…,V_m)=(v₁₁,v₁₂,…,v_1n,v₂₁,v₂₂,…,v_2n，…,v_ij,…,v_m1，v_m2,…,v_mn)即为该特征点的SIFT特征向量。

优选地，本发明利用以下方法确定待拼接的两幅图像的重叠区域：

步骤1、对于两幅待拼接图像I₁(x,y)、I₂(x,y)，设其大小分别为[row₁,col₁]和[row₂,col₂]，通过尾部补0，使得两幅图像大小均为[row_max，col_max]，其中，row_max=max{row₁,row₂}，col_max=max{col₁,col₂}；

步骤2、利用相位相关法计算I₂(x,y)相对于I₁(x,y)的位移量Δx、Δy；

步骤3、比较Δx、Δy，若|Δx|>|Δy|且Δx<0，则I₂(x,y)在I₁(x,y)下方，重叠区域范围近似为I1[row1-|Δx|:row1,1:col1]和I2[1:|Δx|，1：col2]；若|Δx|>|Δy|且Δx>0，则I₂(x,y)在I₁(x,y)上方，重叠区域范围近似为I1[1:|Δx|，1：col1]和I2[row2-|Δx|:row2,1:col2]；若|Δx|<|Δy|&Δy<0，则I₂(x,y)在I₁(x,y)右边，重叠区域范围近似为I1[1:row1,col1-|Δy|:col1]和I2[1:row2,1:|Δy|]；若|Δx|<|Δy|&Δy>0，则I₂(x,y)在I₁(x,y)左边，重叠区域范围近似为I1[1:row1,1:|Δy|]和I2[1:row2,col2-|Δy|:col2]。

本发明针对现有基于特征的图像拼接算法因提取整幅图像特征而导致算法计算量大、非重叠区域特征容易造成后续匹配错误和计算冗余等问题，提出一种基于重叠区域SIFT特征点的图像拼接方法，仅提取图像重叠区域的特征点，减少了特征点数量，大幅降低了算法计算量；并采用改进的SIFT特征向量提取方法表述特征点，进一步降低了特征点匹配时的计算量，并降低了误匹配率。

附图说明

图1是本发明的图像拼接算法的流程图；

图2是现有技术中的极值点检测示意图；

图3(a)、图3(b)分别是本发明提取特征点SIFT特征向量时的圆环形邻域的径向划分、圆周方向划分示意图；

图4是大小相同、无旋转且光照相同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(c)是拼接效果图；

图5是大小不同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(c)是拼接效果图；

图6是有旋转角度的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(c)是拼接效果图；

图7是光照不同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(c)是拼接效果图；

图8是利用本发明方法在柱面坐标空间中对图7(a)、7（b）进行拼接得到的柱面全景图；

图9是本发明方法与现有SIFT算法的效果比较；其中图(a)是算法提取到的特征点数比较，图(b)是算法正确匹配对数比较，图(c)是算法正确匹配率比较，图(d)是算法总消耗时间比较；

图10是重叠区域比例为50%的图像采用本发明方法的拼接效果图，其中图(a)、(b)是待拼接图像，图(c)为拼接效果图；

图11是重叠区域比例为25%的图像采用本发明方法的拼接效果图，其中图(a)、(b)是待拼接图像，图(c)为拼接效果图；

图12是重叠区域比例为10%的图像采用本发明方法的拼接效果图，其中图(a)、(b)是待拼接图像，图(c)为拼接效果图；

图13是1×6型的图像系列拼接效果图，其中(a)~(f)是待拼接的图像系列，(g)是采用本发明方法的拼接效果图；

图14是3×3型的图像系列拼接效果图，其中(a)~(h)是待拼接的图像系列，(j)是采用本发明方法的拼接效果图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的思路是针对现有基于SIFT特征点的图像拼接算法，存在计算量大和非重叠区域内的特征点容易发生匹配错误等问题，首先确定待拼接图像的重叠区域，然后在重叠区域内提取图像的SIFT特征点，并利用改进的SIFT特征向量描述描述特征点，进行后续的匹配等运算，减少了算法运算量，提高了运算速度和匹配率。

本发明的图像拼接方法，其流程如图1所示，具体按照以下步骤：

步骤1、确定待拼接的两幅图像的重叠区域。

图像重叠区域的确定可采用现有的各种方法，例如[王悦,吴云东,张愧珂.自由像片重叠区域的确定与拼接.海洋测绘[J],2008,28(5):65-68]，[ang K H,Jung S K,LeeM H.Constructing cylindrical panoramic image using equidistant matching[J].Electr onicsLetters,1999,35(20):1715-1716.]等文献中记载的方法，为了减少计算量并实现大小不同的两幅图像的拼接，本发明利用相位相关法近似计算图像的重叠区域，具体如下：

对于大小不同的两幅待拼接图像I₁(x,y)、I₂(x,y)，其大小分别为[row₁,col₁]、[row₂,col₂]，记row_max={row₁,row₂},col_max={col₁,col₂}，经过尾部补0使得两幅图像大小均为[row_max,col_max]，此时两幅图像分别变为I′₁(x,y)和I′₂(x,y)。假设两者之间存在一个大小为(Δx,Δy)的平移量，用函数表示两幅图像之间的关系为：

I₁(x,y)=I₂(x-Δx,y-Δy)    (1)

对上式作傅里叶变换，F₁(u,v)和F₂(u,v)分别是I′₁(x,y)和I′₂(x,y)的傅里叶变换，由傅里叶变换的时移性质得：

F₁(u,v)＝F₂(u,v)e^{-j2π(uΔx+vΔy)}    (2)

那么两幅图像I′₁(x,y)和I′₂(x,y)的互功率谱为：

$P(u,v)=\frac{F_1(u,v)F_2^{*}(u,v)}{\left|F_1(u,v)F_2^{*}(u,v)\right|}=e^{-j2\mathrm{\&pi;}(\mathrm{u\&Delta;x}+\mathrm{v\&Delta;y})}---\left(3\right)$

其中

是F₂(u,v)的复共轭。而互功率谱P(u,v)又可以表示为：

$P(u,v)=\frac{F_1(u,v)F_2^{*}(u,v)}{\left|F_1(u,v)F_2^{*}(u,v)\right|}=\frac{\left|F_1(u,v)\right|e^{j{\mathrm{\&psi;}}_1}\&CenterDot;\left|F_2^{*}(u,v)\right|e^{j{\mathrm{\&psi;}}_2}}{\left|F_1(u,v)F_2^{*}(u,v)\right|}=e^{j({\mathrm{\&psi;}}_1-{\mathrm{\&psi;}}_2)}---\left(4\right)$

由式(3)和式(4)，可以得到：

$e^{j({\mathrm{\&psi;}}_1-{\mathrm{\&psi;}}_2)}=e^{-j2\mathrm{\&pi;}(\mathrm{u\&Delta;x}+\mathrm{v\&Delta;y})}---\left(5\right)$

可以看出两幅图像之间的相位差等于两幅图像的互功率谱的相位。式(5)傅里叶反变换得：

p(x,y)＝F^-1{e^{-j2π(uΔx+vΔy)}}＝δ(x-Δx,y-Δy)    (6)

函数p(x,y)是一个冲击函数，在两幅图像相对位移为(Δx,Δy)处取得最大值，其他位移处趋向于零，求出式(6)中冲击函数的峰值点所对应的位置，即可确定两幅图像之间的位移量：

$(\mathrm{\&Delta;x},\mathrm{\&Delta;y})=\arg \underset{x,y}{\max }p(x,y)---\left(7\right)$

取Δx、Δy绝对值大者为参考量，比较得Δx绝对值大时，若Δx为负，则I₂(x,y)在I₁(x,y)下方，反之则在上方，此时两幅图像是上下重叠的，且重叠区域可以限定为[row_max-|Δx|:row_max,col_max]和[1:|Δx|,col_max]；比较得Δy绝对值大时，若Δy为负，则I₂(x,y)在I₁(x,y)右边，反之则在左边，此时两幅图像是左右重叠的，且重叠区域可以限定为[row_max,col_max-|Δy|:col_max]和[row_max,1:|Δy|]。由此便确定了重叠区域的范围。

步骤2、确定两幅待拼接图像重叠区域中的SIFT特征点。

本发明中重叠区域中的SIFT特征点的确定采用传统SIFT算法，David.Lowe提出的SIFT算法可以分为以下几个步骤：

(1)选用高斯差分函数G(x,y,σ)与输入图像I(x,y)卷积得到尺度空间D(x,y,σ)为：D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)；

(2)将高斯差分图像中的每个像素点和它周围26个像素点(相同尺度的8个相邻点和上下相邻尺度对应的9个邻近像素点)比较，如图2所示，只有当此像素点比它相邻的26个像素点都大或者都小时，才选择此像素点作为极值点；

(3)在某极值点A处对高斯差分图像D(x,y,σ)进行泰勒展开：

其中x=(x,y,σ)^T是到点A的偏移量，对D(x)求x偏导数并令偏导数为零，求得极值点A在原图像中的精确位置；

(4)为使得描述子具有旋转不变形，基于图像的局部特征给每一个关键点分配一个方向。对于尺度空间上的每个点(x,y)，计算其梯度值和方向如下：

$\left\{\begin{array}{c}m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}\\ \mathrm{\&theta;}(x,y)={\tan }^{-1}((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))\end{array}\right.$

步骤3、提取各特征点的SIFT特征向量。

此处可以采用传统SIFT算法的特征点描述子来对特征点进行描述，传统SIFT算法生成的特征点描述子是128维的，对特征点的描述比较精确，但相应地后续特征点匹配所需计算量极大，这是因为SIFT算法最初是应用于图像识别，因为图像识别中较小目标匹配图像数据库，需要丰富的特征信息描述。然而考虑到图像拼接只需要重叠区域的少量匹配点描述信息，因此，本发明并未采用SIFT算法产生的128维特征点描述子，而是提取特征点的较低维数的SIFT特征向量，减少了特征点描述和匹配时间。SIFT算法在生成特征点描述子之前，需要对特征点进行方向分配，将坐标轴旋转为特征点的主方向位置，以确保旋转不变性。由于矩形本身不具有旋转不变性，而圆形本身具有良好的旋转不变性，因此本发明采用以特征点为中心的圆环形邻域窗口。具体地，本发明按照以下方法提取各特征点的SIFT特征向量：

步骤A、选取以特征点为中心，半径为k个像素的圆环形邻域，k为大于2的整数；将该圆环形邻域沿径向划分为m个同心的小圆环子区域，m为大于等于2小于k的整数；m个同心的小圆环子区域由内向外依次编号为i＝1，2，…，m；

步骤B、计算所述圆环形邻域中每个像素点的梯度值和梯度方向；

步骤C、将梯度的方向等分为n个方向范围，n为大于等于2的整数，统计每个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和；以第i个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和作为该第i个小圆环子区域的特征向量V_i（i＝1,2,…,m）的n个元素；从最内层的第1个小圆环子区域中，选出梯度方向落在其内的所有像素点的梯度值之和最大的方向范围，循环左移/右移特征向量V₁中的元素，使得该方向范围的梯度值之和为特征向量V₁的第一个元素，其余小圆环子区域的特征向量做相同的移动，得到V_i＝(v_i1,v_i2,…,v_ij，…v_in)；则n×m维的向量V＝(V₁,V₂,…,V_m)＝(v₁₁,v₁₂,…,v_1n,v₂₁,v₂₂,…,v_2n，…,v_ij,…,v_m1，v_m2,…,v_mn)即为该特征点的SIFT特征向量。

m、n的取值决定了SIFT特征向量的维数，当m、n的取值满足：n×m<128时，即可得到较低维数的SIFT特征向量。经大量实验发现，当所述k、m、n的取值分别为8、4、8时，可在计算复杂度与匹配准确率之间获得较佳折中效果。为了使公众理解，下面以k、m、n的取值分别为8、4、8为例，对本发明的SIFT特征向量提取方法进行更详细的描述。

（1）如图3（a）所示，以特征点为中心，选取半径为8个像素的圆环形区域为邻域窗口，用半径为2、4、6、8的四个同心圆将该圆环形邻域窗口划分为图3（a）所示的四个同心的小圆环区域。像素点的梯度方向范围为0~360°，将其等分为8份，如图3（b）所示，8个梯度方向范围分别为0°~45°、45°~90°、90°~135°、135°~180°、180°~225°、225°~270°、270°~315°、315°~0°。对于每一个小圆环区域，统计落到上述各方向范围内的像素点，并将每个方向范围内的所有像素点的梯度值相加，其和作为该小圆环区域的该方向范围的梯度值，从而得到4个小圆环区域的8个方向范围的梯度值。SIFT算法中，是将梯度值高斯加权相加，此处，由于选取的邻域是同心圆环区域，要求最内的同心圆环权值最大，下一步中选取最内的同心圆环区域梯度值作为主要的特征向量元素即可，所以此处省去了高斯加权相加这一步骤。

(2)记由内至外的4个小圆环区域的特征向量分别为V₁、V₂、V₃、V₄，其中V_i=(v_i1，v_i2，v_i3，v_i4,v_i5,v_i6,v_i7,v_i8),i∈[1,4]，v_i1~v_i8是第i个小圆环区域中梯度方向分别落在0°~45°、45°~90°、90°~135°、135°~180°、180°~225°、225°~270°、270°~315°、315°~0°范围内的所有像素点的梯度值之和。由于越靠近特征点处的像素权值越大，越远离特征点的像素权值越小，因此最内层的小圆环对于描述子的影响最大，影响从内向外依次递减，所以取特征向量V₁的8个元素作为特征点的SIFT特征向量V的前8个值，取特征向量V₂的8个元素作为SIFT特征向量V的9~16个值，V₃的8个元素作为SIFT特征向量V的17~24个值，V₄的8个元素作为SIFT特征向量V的25~32个值，即可得32维的向量V=(V₁,V₂,…,V₄)=(v₁₁,v₁₂,…,v₁₈,v₂₁,v₂₂,…,v₂₈,…,v₄₁,v₄₂,…,v₄₈)。

(3)为了保证旋转不变性，需要对向量V_i进行排序操作，将最内的小圆环区域的特征向量V₁中最大的值调整为第一个元素。若v₁₁是V₁中的最大值，则不需要处理；若v₁₁不是V₁中的最大值，则需要V₁、V₂、V₃、V₄中的元素同时进行循环左移（或者右移），直至将V₁中最大的元素调整至首位置，譬如v₁₄是特征向量V₁中的最大值，则将v₁₄循环左移至V₁的首位，此时V₁变为V₁=(v₁₄,v₁₅，v₁₆,v₁₇,v₁₈,v₁₁,v₁₂,v₁₃)，将V₂、V₃、V₄同步循环左移至V_i=(v_i4,v_i5,v_i6,v_i7,v_i8,v_i1，v_i2,v_i3),i∈[2,4]，最终的SIFT特征向量V=(V₁,V₂,V₃,V₄)，这样即可保证改进的描述子具有旋转不变性，相似于SIFT算法中将特征点旋转至0°。

为了减少大梯度值的影响，如果32维SIFT特征向量中某一维的梯度值大于0.2，则将其梯度值置为0.2，为了对光照变化更具有鲁棒性，需要对32维的SIFT特征向量进行归一化处理，归一化处理后有：

$\stackrel{\&OverBar;}{V}=\frac{V}{\sqrt{\underset{i=1}{\overset{32}{\mathrm{\&Sigma;}}}{v}_i^2}}=(\stackrel{\&OverBar;}{v_1},\stackrel{\&OverBar;}{v_2},...,\stackrel{\&OverBar;}{v_{32}})$

步骤4、根据SIFT特征向量对两幅图像的特征点进行匹配，并对匹配对进行提纯。

采用32维SIFT特征向量之间的欧氏距离来度量两个特征点之间的匹配程度。假设有两个特征点p和q，对应的SIFT特征向量分别为Des_p和Des_q，则它们之间的欧氏距离为：

$d=\sqrt{\underset{i=1}{\overset{32}{\mathrm{\&Sigma;}}}{({\mathrm{Des}}_p\left(i\right)-{\mathrm{Des}}_q\left(i\right))}^2}$

接着采用Beis和Lowe提出的Best-Bin-First算法搜索(Jeffrey S.Beis and David G.Lowe.Shape indexing using approximate nearest-neighbour search in high-dimensionalspaces.Conference on Computer Vision and Pattern Recognition,Puerto Rico,1997:1000-1006.)，找到每个特征点的最近邻点和次近邻点，假设找到某特征点p欧氏距离最近和次近的两个特征点q'和q″，然后计算p与q'以及p与q'两组描述子之间的欧氏距离比值t，通过设置阈值来去除误匹配点，如果比值t小于设置阈值T，则视为特征点匹配成功，即(p,q')为一对匹配点，否则特征点匹配失败。阈值越小，得到的匹配对越少，错误匹配也就越少。阈值T一般取值范围为0.4~0.6。

最后采用鲁棒的随机采样一致性算法(Random Sample Consensus，RANSAC)（Martin A.Fischler and Robert C.Bolles.Random sample consensus:a paradigm for modelfitting with applications to image analysis and automated cartography.Communications ofACM,1981,24(6):381-395.）利用匹配点内在约束关系，对匹配点进行多次提纯，剔除错误的匹配点，并求得稳定的最优8参数投影变换模型。步骤5、根据提纯后的匹配对对两幅待拼接图像的重叠区域进行图像融合。

根据8参数投影变换矩阵将一幅图像映射到另一幅图像中，在同一坐标系下进行图像拼接，并采用渐入渐出融合法对图像重叠区域处进行图像融合(Richard Szeliski.ImageAlignment and stitching:A Tutorial.Foundations and Trends in Computer Graphics andVision.2006,2(1):1-104.)，以消除图像重叠区域处的接缝或亮度差异，至此就完成了图像的拼接运算。

本发明提出的图像拼接方法对图像大小、旋转和光照等有一定的鲁棒性，图4、图5、图6和图7显示了采用本发明方法进行图像拼接的效果：图4是大小相同、无旋转且光照相同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(c)是拼接效果图；图5是大小不同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(c)是拼接效果图；图6是有旋转角度的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(c)是拼接效果图；图7是光照不同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(c)是拼接效果图。从图7可以发现，当两幅待拼接图像有光学成像差异时，采用本发明方法得到的拼接效果不太符合人们的视觉性（参见图7(c)），为解决该问题，可采用柱面全景图进行完善：首先将两幅存在光学成像差异的待拼接图像利用投影变换变换到柱面坐标空间，然后利用本发明基于重叠区域SIFT特征点的图像拼接方法进行图像拼接。先将图7(a)、7(b)利用投影变换变换到柱面坐标空间(Jang Kyung Ho,JungSoon Ki,Lee Minho.Constructing cylindrical panoramic image using equidistant matching.Electronics Letters,1999,35(20):1715-1716)，然后再利用本发明提出的算法进行拼接，这样可以得到视觉效果较为理想的柱面全景图，如图8所示。

本发明提取的特征点数在很大程度上受图像重叠区域比例的影响。实验选取重叠区域比例分别为50%、40%、30%、25%、20%、15%和10%的七组图像，图像大小均为470*700，分别用两种方法对七组图像进行拼接实验，其中方法一是利用传统SIFT算法提取整幅图像的特征点，并用128维的特征点描述子进行匹配和拼接；方法二是利用本发明提出的拼接算法，图9显示了两种方法的效果比较结果；其中图(a)是算法提取到的特征点数比较，图(b)是算法正确匹配对数比较，图(c)是算法正确匹配率比较，图(d)是算法总消耗时间比较。从图9(a)中可以看到，随着重叠区域比例的缩小，利用本发明算法提取到的特征点数越来越少；当重叠区域比例为10%时，利用本发明算法提取的特征点数小于250个，比方法一中提取到的特征点数减少90%左右，很大程度上减少了算法计算量。从图9(b)看到，正确匹配对数不但没有随着提取特征点数的减少而减少，反而增加了，主要是因为采用了32维特征点描述子进行匹配。正确匹配对数越多，则得到的投影变换矩阵越精确，图像融合误差就越小，拼接效果越好。从图9(c)看到，方法一得到的正确匹配率均小于30%，说明提取的超过70%的特征点对图像拼接没有直接作用，只能增加算法运行时间；而本发明方法中得到的正确匹配率均在40%以上，而且当重叠区域比例为15%时，正确匹配率达到了65%，说明提取的特征点的利用率提高了，减少了不必要的特征点提取。从图9(d)中可以看出，本发明给出的算法在总时间上有明显的优势，算法执行时间平均缩短了23%左右。

图10、图11和12分别是重叠区域比例为50%、25%和10%的三组图像采用本发明方法进行拼接的实验结果，其中图(a)、图(b)是待拼接图像，图(c)为最终的拼接效果图。从图10、图11和12可以看出，本发明算法对重叠区域比例的要求较低，对于重叠区域比例高达50%的图像或者重叠区域比例低至10%的图像均可实现较为理想的拼接效果。

本发明方法可用于M×N型的图像序列的拼接。图13中(a)~(f)是待拼接的1×6图像序列，(g)是采用本发明方法拼接的效果图。图14中(a)~(h)是待拼接的3×3图像序列，(j)是采用本发明方法拼接的效果图。

Claims (10)

1.一种基于重叠区域SIFT特征点的图像拼接方法，其特征在于，首先确定待拼接的两幅图像的重叠区域；确定两幅待拼接图像重叠区域中的SIFT特征点，并提取各特征点的SIFT特征向量；根据SIFT特征向量对两幅图像的特征点进行匹配，并对匹配对进行提纯；根据提纯后的匹配对对两幅待拼接图像的重叠区域进行图像融合。

2.如权利要求1所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述提取各特征点的SIFT特征向量具体按照以下方法：

步骤A、选取以特征点为中心，半径为k个像素的圆环形邻域，k为大于2的整数；将该圆环形邻域沿径向划分为m个同心的小圆环子区域，m为大于等于2小于k的整数；m个同心的小圆环子区域由内向外依次编号为i =1，2，…，m；

步骤B、计算所述圆环形邻域中每个像素点的梯度值和梯度方向；

步骤C、将梯度的方向等分为n个方向范围，n为大于等于2的整数，统计每个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和；以第i个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和作为该第i个小圆环子区域的特征向量                                               

（

）的n个元素；从最内层的第1个小圆环子区域中，选出梯度方向落在其内的所有像素点的梯度值之和最大的方向范围，循环左移/右移特征向量中的元素，使得该方向范围的梯度值之和为特征向量

的第一个元素，其余小圆环子区域的特征向量做相同的移动，得到；则

维的向量

即为该特征点的SIFT特征向量。

3.如权利要求2所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述m、n的取值满足：

。

4.如权利要求3所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述k、m、n的取值分别为8、4、8。

5.如权利要求2所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述步骤C之后还包括：

步骤D、将步骤C所得到的向量

中值大于0.2的元素值替换为0.2。

6.如权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，利用以下方法确定待拼接的两幅图像的重叠区域：

步骤101、对于两幅待拼接图像

、

，设其大小分别为和

，通过尾部补0，使得两幅图像大小均为

，其中，

，

；

步骤102、利用相位相关法计算

相对于

的位移量

；

步骤103、比较

，若且

，则

在下方，重叠区域范围近似为和

；若

且

，则

在

上方，重叠区域范围近似为

和

；若

，则

在

右边，重叠区域范围近似为

和；若

，则

在

左边，重叠区域范围近似为

和

。

7.如权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，在根据SIFT特征向量对两幅图像的特征点进行匹配之前，先对SIFT特征向量进行归一化处理。

8.如权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，采用随机采样一致性算法对匹配对进行提纯。

9.如权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述根据SIFT特征向量对两幅图像的特征点进行匹配，具体按照以下方法：

对于其中一幅待拼接图像的任意一个特征点

，利用Best-Bin-First算法搜索另一幅待拼接图像中与特征点

的SIFT特征向量距离最近和次近的特征点和

；然后判断

与

以及

与

的SIFT特征向量之间的距离比值是否小于一预设阈值，如是，则特征点匹配成功，即

为一对匹配点；否则，特征点匹配失败。

10.一种存在光学成像差异的图像拼接方法，其特征在于，首先将两幅存在光学成像差异的待拼接图像利用投影变换变换到柱面坐标空间，然后利用权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法进行图像拼接。

Images