CN104376548B - 一种基于改进型surf算法的图像快速拼接方法 - Google Patents
一种基于改进型surf算法的图像快速拼接方法 Download PDFInfo
- Publication number
- CN104376548B CN104376548B CN201410626230.9A CN201410626230A CN104376548B CN 104376548 B CN104376548 B CN 104376548B CN 201410626230 A CN201410626230 A CN 201410626230A CN 104376548 B CN104376548 B CN 104376548B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- pixel
- mrow
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种基于改进型SURF算法的图像快速拼接方法,改进了现有的角点提取方法以及角点的特征描述方法,再去除提取出角点的误匹配,实现多幅图像的快速拼接。首先,采用改进的FAST算法提高提取角点,FAST算法提取角点运算速度较快,改进后,稳定性也更好;其次,对角点特征的描述采用SURF描述与LBP描述相结合,这样也能够提高角点匹配的速度;然后,采用RANSAC方法去除误匹配,提高准确度,得到较为准确的变换矩阵从而进行快速拼接;最后,根据得到的匹配点对,计算出待拼接图像到参考图像的变换参数,采用渐入渐出法,完成图像拼接。
Description
技术领域
本发明涉及一种基于改进型SURF(Speed Up Robust Feature,加速鲁棒特征)算法的图像快速拼接方法,适用于遥感图像处理、医学图像分析、绘图学、大场景视频监控和超分辨率重构等领域。
背景技术
图像拼接技术是数字图像处理研究的热门方向之一,在军事和民用方面都有广泛的应用。在人们的实际生活应用中,所需要的场景往往超过数码相机、监控摄像机等的视角范围。为了得到高分辨率,同时大视角的图像,人们不得不采用各种昂贵的镜头和相机,这样会导致成本的大大提高。所谓图像拼接技术,就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼接成一幅大型的无缝高分辨率图像的技术。
图像拼接的过程主要包括图像获取、图像预处理、图像配准和图像融合。其中,图像配准是图像拼接的关键技术。近年来,随着人们对于图像的分析和理解更加深入,图像配准所利用的图像特征也从图像的低级特征发展到利用高级特征。
目前,图像拼接的主要问题在于,无法找到一种能够很好兼顾速度和拼接质量的算法。Richard Szeliksi提出了基于运动的全景图像拼接模型,模型利用L-M算法(Levenberg-Marquardt算法,非线性最小二乘算法)求出图像之间的几何变换关系进行配准,成为图像拼接的经典算法。此后,有各种特征描述符被不断提出,如LBP(Local BinaryPatterns,局部二值模式)算法、SIFT(Scale-invariant feature transform,尺度不变特征转换)算法、SURF(Speed Up Robust Feature,加速鲁棒特征)算法、HOG(Histogram ofOriented Gradient,方向梯度直方图)算法等,这些特征描述符在用于图像配准时,各有优势和不足。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种基于改进型SURF算法的图像快速拼接方法。
本发明公开了一种基于改进型SURF算法的图像快速拼接方法,包括以下步骤:
步骤1,检测参考图像和待拼接图像两幅图像中的角点;
步骤2,对两幅图像检测的角点进行特征描述,然后进行特征点匹配;
步骤3,对匹配得出的特征点对,去除误匹配,得到优化后的特征点对;
步骤4,计算变换矩阵;
步骤5,对两幅图像进行融合。
采用改进的FAST算法进行角点检测,包括:在图像中选取一个像素点P,判断像素点P是否是兴趣点的像素;判断像素点P是否为兴趣点的方法为:令选取的像素点灰度值为IP,图像灰度阈值T,在像素点P周围,以4个像素为半径画圆,在该圆圆周上得到16个像素点;如果在16个像素点中存在N个连续的点,它们的灰度值大于IP+T或者小于IP-T时,则判定该像素点P为兴趣点,N为大于等于12的自然数;
先将选中像素的上下左右四个点的像素值与IP进行比较,如果至少存在三个像素值不大于IP+T或者不小于IP-T时,得判断该点不是兴趣点,否则检查所有16个像素并判断N个连续像素是否符合标准;
采用史托马斯算法得到每个角点的分数,令λ1和λ2为角点结构张量矩阵A的两个最大特征值,计算最小值min(λ1,λ2),以此作为分数,令(x,y)为偏移量,I为图像灰度,Ix和Iy为图像灰度I的偏导数,角点位置的协方差矩阵为A-1,在得到每个角点的评分后按照的得分高低顺序对角点序列进行排序,排序完成后按顺序循环比较两个角点之间的距离,如果两个角点的距离小于期望的角点间距离,则保留Shi-Tomasi得分高的角点,期望的距离不小于10像素;
获取最终的改进FAST角点。
步骤2中,采用改进的SURF算法对两幅图像进行特征描述,包括以下步骤:
创建一个以兴趣点为中心的矩形区域,矩形的方向为兴趣点的方向,将每个区域划分为两个以上的3×3的子区域,对于每个子区域,用5×5间隔采样计算Haar小波响应,令dx为Haar小波在x方向上响应,dy为该响应在y方向上的响应,对响应的dx和dy采用高斯加权,得出每个子区域中小波响应dx和dy的和组成第一组特征向量,同时把强度响应绝对值的总和添加进特征描述;
得到每个子分解区域的四个描述,用矢量v表示为v=(∑dx,∑dy,∑|dx|,∑|dy|),所有3×3的区域描述子的个数为36,即36维的描述。
步骤2中,采用改进的LBP算法对两幅图像进行特征描述,包括以下步骤:
采用检测窗口检测,对于图像单元中的每一个像素点,取其相邻的连续16个点作为采样点,对于单个像素点而言,当中心点的像素大于一个邻近点的像素值,则将该临近点值设为0,反之可以设为1,从而得到了一个16位的二进制数;对所有像素位置加权求和获取该检测窗口的LBP编码值;将这16位数据依次进行循环左移操作,每次左移对应产生16个新的数据,在其中找到最大一个,作为最终的编码数据。
步骤2中,先判断LBP纹理特征是否符合要求,然后通过计算欧式距离和比较最佳匹配次最佳匹配来查找匹配点,通过两级匹配,保留180~220个角点,包括以下步骤:
设定一个欧式距离最大值MAX,分别从参考图像和待拼接图像中选择一个角点,采用LBP纹理特征分别对两个角点计算每个位的差异,选取一个阈值为2,若位差异大于阈值2,则重新再从参考图像中选取角点计算每个位差异,当在参考图像中选取的角点与待匹配图像每个位差异不大于阈值2时,计算这两个角点描述的欧式距离平方和,若欧式距离平方和小于当前已得出的最佳匹配,则令小于当前最佳欧式距离平方和的点作为当前最佳匹配,当前最佳匹配初始值MAX;不然,则令大于当前最佳欧式距离平方和但小于第二最小欧式距离平方和的点设为第二最佳匹配点,第二最佳匹配点初始值为MAX;如此将参考图像中的每一个特征点与待拼接图像中的特征点进行比较,分别得出最佳和第二佳匹配点;若得到的最佳和第二佳欧式距离平方和之比小于阈值,则该点对为匹配点对,否则判定该点对不是匹配点对。
步骤3中,设定采样次数N,每次采样随机抽取两个匹配点对共4个点,其中在参考图像上选取两个特征点,在待匹配图像上选取对应的两个特征点;如果同一图像中选取的两个点不相关,则重新选取,如果相关,则根据选取的两个匹配点对计算单应性矩阵;然后计算满足单应性矩阵匹配点的个数,若满足单应性矩阵的匹配点数量不为最大,则重新选取匹配点对;若为最大,则通过计算匹配点超距离,判断内点和外点,设定外点是误匹配,并去除;设定内点被认为是正确匹配,予以保留,剩下的角点,用来融合参考图像和待拼接图像。
步骤4中,根据由步骤3得到的4对匹配点对,利用已有的OpenCV函数库,求得透视变换所需的单应性矩阵。
有X′i=HXi,其中X′i=(x′i y′i 1)T,Xi=(xi yi 1)T是两对齐次坐标,通过4对匹配点对,求得变换矩阵H。
在角点提取时采用改进的FAST算法(Features from Accelerated SegmentTest,加速分割检测特征)提高提取速度,实验证明该算法的速度比传统角点提取更快,通过对该算法的改良提高了其提取的角点的稳定性。对角点特征的描述采用了3×3的SURF描述与LBP结合,与LBP结合描述是为了提高角点匹配的速度。特征点对去除误匹采用RANSAC(Random Sample Consensus,随意抽样一致性)去除误匹配提高匹配的准确率。根据得到的匹配点对,计算出待拼接图像到参考图像的变换参数,采用渐入渐出法拼接图像,也就是在拼接图像中的重叠区域,又参考图像渐渐过渡到待拼接图像,保持视觉上的平滑和一致性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1基于改进型SURF算法的图像快速拼接方法总流程图。
图2改进的FAST算法提取角点流程图。
图3改进的SURF算法匹配流程图。
图4去除误匹配角点流程图。
图5参考图像与待拼接图像融合流程图。
图6改进的SURF算法匹配结果图。
图7拼接结果图。
具体实施方式
本发明公开了一种基于SURF算法的图像快速拼接方法,采用改进的FAST算法,对参考图像和待拼接图像提取角点。FAST算法提取角点运算速度较快,经过本方法改进后,其稳定性也得以提高。本方法采用SURF描述与LBP描述相结合的方法,来描述角点特征,这样也能够提高角点匹配的速度。本方法采用RANSAC方法去除误匹配,提高准确度,得到较为准确的变换矩阵。最后,采用渐入渐出法,完成参考图像与待拼接图像的快速拼接。
将角点定义为在某一个像素点周围邻域内有足够数量的像素点与该像素点处于不同的区域。在实际灰度图中,存在足够多的像素点灰度值大于或者小于角点的灰度值。选择圆形区域作为模板并考察圆的中心点是否为角点。
参照图1,基于改进型SURF算法的图像快速拼接方法。分别对参考图像和待拼接图像,采用改进的FAST方法检测角点。然后,采用改进的SURF方法对两幅图像检测的角点进行特征点匹配。对匹配得出的特征点对,采用RANSAC方法去除误匹配,得到更加精确的特征点对。根据得到的精确特征点对,计算出变换矩阵。最后采用渐入渐出法,融合出完整的图像。
参照图2,对参考图像和待拼接图像分别提取角点。首先按照基本FAST方法进行角点检测。然后,计算上一步骤得到的每一个角点的Shi-Tomasi得分。根据每一个角点的得分,按高低顺序排序,循环比较两个角点之间的距离。如果角点之间的距离不符合期望,则认为是不显著角点,在此去除。去除邻域内不显著的角点后,得到较为精确的角点。
参照图3,对参考图像和待拼接图像中由上一步骤检测出的角点进行匹配。首先,设定一个欧式距离最大值MAX。分别从参考图像和待匹配图像中选择一个角点。采用LBP纹理特征分别对两个角点计算每个位的差异。选取一个阈值为2。若位差异大于阈值,则重新再参考图像中选取角点计算每个位差异。当在参考图像中选取的角点与待匹配图像每个位差异不大于阈值2时,计算这两个角点描述的欧式距离平方和。若欧式距离平方和小于当前已得出的最佳匹配,则令小于当前最佳欧式距离平方和的点作为当前最佳匹配,默认值为MAX;不然,则令大于当前最佳欧式距离平方和但小于第二最小欧式距离平方和的点设为第二最佳匹配点,默认值为MAX。如此将参考图像中的每一个特征点与待拼接图像中的特征点进行比较,分别得出最佳和第二佳匹配点。若得到的最佳和第二佳欧式距离平方和之比小于阈值,则该点对为匹配点对;不然认为未找到匹配点对。
参照图4,去除误匹配的角点。当待匹配点对多于4对时,能够进行有效的去除误匹配操作。设定一个采样次数N,每次采样随机抽取两个匹配点对(在参考图像上选取两个特征点,在待匹配图像上选取对应的两个特征点),共4个点。如果同一图像中选取的两个点不相关,则重新选取。如果相关,则根据选取的两个匹配点对计算单应性矩阵。然后计算满足单应性矩阵匹配点的个数。若满足单应性矩阵的匹配点数量不为最大,则重新选取匹配点对;若为最大,则通过计算匹配点超距离,判断“内点”和“外点”。外点被认为是误匹配,予以去除;而内点被认为是精确匹配,予以保留。剩下的角点,才被用来融合参考图像和待拼接图像。
参照图5,计算变换矩阵并采用渐入渐出法进行图像融合。首先根据精确的特征点对求解变换矩阵。通过4对配对点,可求得变换矩阵。待匹配图像与变换矩阵相乘,然后与参考图像进行拼接。拼接采用渐入渐出法,对参考图像和变换后的待拼接图像重叠区域的每一个像素值依照其距离重叠区域边缘的远近分别加权,计算每个拼接图像重叠区域每个位置的像素值加权和,作为融合图像该点像素值。这样能够使两幅图像的融合更加平滑。
本发明中首先,通过检测出图像中的角点,为后续的特征描述和特征匹配创造条件。角点的检测包括以下步骤:
1.FAST角点检测
(1)在图像中选取一个像素点“P”,设该像素点灰度值为IP,该像素为要判断是否是兴趣点的像素。
(2)根据具体情况设定图像灰度阈值T。
(3)在像素点P周围选取16个像素点,使这16个点形成半径为3的圆。
(4)在16个像素点中存在N个连续的点,它们的灰度值大于IP+T或者小于IP-T时,该像素点P为兴趣点。
(5)为提高算法执行速度,先将选中像素的上下左右四个点的像素值像素(设为I1,I5,I9,I13)的值与IP进行比较。显然,一般至少有四个像素应该满足使兴趣点存在的阈值标准。
(6)如果至少存在四个像素值I1,I5,I9,I13不大于IP+T或者不小于IP-T时,得出该点不是兴趣点。在这种情况下,像素点P不可能为兴趣点。否则,如果至少有3个像素大于IP+T或者小于IP-T,然后检查所有16个像素并判断12个连续像素是否符合标准。
(7)依照以上做法遍历每个像素点。
按照以上方法会得到大量角点,这些角点会在局部图像中分布过于密集。选取其中特征描述特点更强的角点,有利于快速精确的实现后续的特征点配对过程。
2.解决局部角点密集问题
Harris角点(哈里斯角点)计算中的二阶矩阵,又称为结构张量矩阵。Shi-Tomasi算法(史托马斯算法)是基于Harris角点计算方法的优化。采用Shi-Tomasi算法得到每个角点的分数,令λ1和λ2为角点结构张量矩阵A的两个最大特征值,计算最小值min(λ1,λ2),以此作为分数,令(x,y)为偏移量,I为图像灰度,Ix和Iy为图像灰度I的偏导数,角点位置的协方差矩阵为A-1。则,公式为:
(1)在得到每个角点的评分后按照的得分高低顺序对角点序列进行排序。
(2)排序完成后按顺序循环比较两个角点之间的距离,如果两个角点的距离小于期望的角点间距离则保留Shi-Tomasi得分高的角点。
通过以上两大步骤,获取最终的改进FAST角点。详细流程见图2。
获得待拼接图像的角点以后,对角点进行特征描述,这是为下一步匹配提供必要的参数。
特征描述包括以下步骤:
1.SURF描述
(1)确定一个兴趣点方向。首先计算在以兴趣点为中心的半径为6s的邻域内沿x和y方向的Haar小波(Haar wavelet transform,哈尔小波变换)响应,其中s为兴趣点所在的尺度。利用积分图像进行快速滤波。计算得到邻域内的小波响应后,该响应表示为点在尺度空间沿横坐标的水平强度和沿纵坐标的垂直强度。通过计算大小为π/3窗口滑动得到所有响应并确定主方向。水平和垂直方向的响应相加,两者之和产生一个局部方向向量。遍历整个窗口后得到的最大的矢量被定义为该兴趣点的方向。
(2)利用Haar小波响应生成SURF特征描述符。首先创建一个以兴趣点为中心的矩形区域,而该矩形的方向为兴趣点的方向。将每个区域划分为多个3×3的子区域,这样可以保留重要的空间信息。对于每个子区域,用5×5间隔采样计算Haar小波响应。设定dx为Haar小波在x方向上响应,dy为该响应在y方向上的响应。对响应的dx和dy采用高斯加权,可提高对集合形变的稳定性并减少定位错误。这样,得出每个子区域中小波响应dx和dy的和组成第一组特征向量。为了给其添加强度极值变化的信息,强度响应绝对值的总和也需要添加进特征,这样每个子分解区域拥有四个描述,用矢量v表示为v=(∑dx,∑dy,∑|dx|,∑|dy|)。那么所有3×3的区域描述子的个数为36,即36维的描述。小波响应具有光照强度变化不变性,对比不变性可通过将描述单位量化得到。本发明采用的3×3子区域计算维度对效果影响不大,但能极大提高运算和匹配的速度。
2.LBP描述
(1)对于单元中的每一个像素点,取其相邻的连续16个点作为采样点。
(2)对于每一个像素点来说,当中心点的像素大于某一个邻近点的像素值,则该临近点值可以设为“0”,反之可以设为“1”。这样就得到了一个16位的二进制数,通过对不同的像素位置加权求和可以获取该检测窗口的LBP编码值。
(3)将这16位数据依次进行循环左移操作,这样会产生16个新的数据。
(4)在上一步得到16个数据中,找到最大(或者最小)的一个,作为最终的编码数据。这样可以保证在旋转的情况下,LBP得出的编码是不变的。
改进以后,LBP编码数据量会减少,因此结合改进的SURF描述符共同对特征进行描述。
得到改进的SURF和LBP描述之后就要对两幅图产生的特征点之间进行匹配操作。本发明在基本SURF匹配算法的基础上,增加了LBP纹理特征匹配,因此角点匹配过程是一个两级的匹配。首先判断LBP纹理特征是否符合要求,然后通过计算欧式距离和比较最佳匹配次最佳匹配来查找匹配点。为了提高匹配速度,本发明中直接使用了依次查询的方法。详细的匹配流程见图2。
在本发明中的算法中,得到的角点数量应该控制在200个左右。这个数量在提取角点中耗时较少,同时又能保证足够的样本数量以便去除错误的角点匹配。本发明采用RANSAC算法去除误匹配。详细的去除误匹配流程见图3。
参考图像与待拼接图像的融合包括以下步骤:
1.计算变换矩阵
得到4对匹配点对以后,下一步就是对待拼接图像进行矫正,使其处于和参考图像相同的坐标系下。根据4对匹配点对,可以利用OpenCV(Open Source Computer VisionLibrary,跨平台计算机视觉库)中的“cvFindHomography()”函数,求解透视变换的单应性矩阵。将单应性矩阵与待拼接图像作用后,待拼接图像可以被转换到与参考图像相同的坐标系中。
2.渐入渐出法融合
待拼接图像在与变换矩阵相乘后,得到的图像与参考图像会产生重叠。采用现有的渐入渐出法融合两幅图像。如果只是两幅图像的简单叠加,拼接帝图像中会产生拼缝,拼接痕迹明显,效果不佳。因此要采用效果更加平滑的渐入渐出法。对两幅图像的重叠部分的每一个像素,按照其距离重叠部分边缘的远近分别进行加权,来计算拼接图像重叠部分每个位置像素值的加权和。在图像拼接加权函数T(x)中引入微调系数α。渐入渐出公式:P(x)=(1-T(x))·P1(x)+(1-T(x))·P2(x)+α。其中,0≤α≤1;0≤T(x)≤1)。
T(x)的取值根据图像重叠部分的大小来选取。重叠部分越大,T(x)的增加约平缓;图像的过度也随之更加平滑。令重叠部分的最左侧为坐标0点,重叠部分宽度为m,
对两幅图像的重叠部分按渐入渐出法拼接,可得到平滑的图像。
本发明公开了一种基于改进型SURF算法的图像快速拼接方法,改进了现有的角点提取方法以及角点的特征描述方法,再去除提取出角点的误匹配,实现多幅图像的快速拼接。采用改进的FAST算法提高提取角点,FAST算法提取角点运算速度较快,改进后,稳定性也更好;对角点特征的描述采用SURF描述与LBP描述相结合,这样也能够提高角点匹配的速度;采用RANSAC方法去除误匹配,提高准确度,得到较为准确的变换矩阵从而进行快速拼接;根据得到的匹配点对,计算出待拼接图像到参考图像的变换参数,采用渐入渐出法拼接图像。本发明结合了改进的FAST算法、SURF描述等方法的优点,提供的方法较好的提高了图像拼接的速度,并同时保证了图像拼接的精确度。
实施例
仿真试验的硬件环境为惠普工作台,硬件配置为Intel Core2 CPU,主频3.00GHz,内存为2.98GB。软件环境为Visual Studio 2008。
在仿真试验中,采用两幅图片。图片分辨率为704×576像素,格式为bmp位图。两幅图片中包含部分相交的场景。将其中一幅作为参考图像,另一幅作为待拼接图像。分别采用改进的FAST方法提取角点。然后将两幅提取出的角点,采用改进的SURF描述方法进行匹配。匹配结果见图6。
如图6,其中参考图像找到符合条件的角点188个,用时28.46ms;待拼接图像找到符合条件的角点217个,用时17.70ms。匹配的过程用时13.18ms。角点的检测和匹配速度性能都很好。
参考图像和待拼接图像的拼接结果见图7。
本发明公开了一种基于改进型SURF算法的图像快速拼接方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的典型实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (1)
1.一种基于改进型SURF算法的图像快速拼接方法,其特征在于,包括以下步骤:
步骤1,检测参考图像和待拼接图像两幅图像中的角点;
步骤2,对两幅图像检测的角点进行特征描述,然后进行特征点匹配;
步骤3,对匹配得出的特征点对,去除误匹配,得到优化后的特征点对;
步骤4,计算变换矩阵;
步骤5,对两幅图像进行融合;
采用改进的FAST算法进行角点检测,包括:在图像中选取一个像素点P,判断像素点P是否是兴趣点的像素;判断像素点P是否为兴趣点的方法为:令选取的像素点灰度值为IP,图像灰度阈值T,在像素点P周围,以4个像素为半径画圆,在该圆圆周上得到16个像素点;如果在16个像素点中存在N个连续的点,它们的灰度值大于IP+T或者小于IP-T时,则判定该像素点P为兴趣点,N为大于等于12的自然数;
先将选中像素的上下左右四个点的像素值与IP进行比较,如果至少存在三个像素值不大于IP+T或者不小于IP-T时,得判断该点不是兴趣点,否则检查所有16个像素并判断N个连续像素是否符合标准;
采用史托马斯算法得到每个角点的分数,令λ1和λ2为角点结构张量矩阵A的两个最大特征值,计算最小值min(λ1,λ2),以此作为分数,令(x,y)为偏移量,I为图像灰度,Ix和Iy为图像灰度I的偏导数,角点位置的协方差矩阵为A-1,
<mrow>
<msup>
<mi>A</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo><</mo>
<msubsup>
<mi>I</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>></mo>
<mo><</mo>
<msubsup>
<mi>I</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>></mo>
<mo>-</mo>
<mo><</mo>
<msub>
<mi>I</mi>
<mi>x</mi>
</msub>
<msub>
<mi>I</mi>
<mi>y</mi>
</msub>
<msup>
<mo>></mo>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo><</mo>
<msubsup>
<mi>I</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>></mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mo><</mo>
<msub>
<mi>I</mi>
<mi>x</mi>
</msub>
<msub>
<mi>I</mi>
<mi>y</mi>
</msub>
<mo>></mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mo><</mo>
<msub>
<mi>I</mi>
<mi>x</mi>
</msub>
<msub>
<mi>I</mi>
<mi>y</mi>
</msub>
<mo>></mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo><</mo>
<msubsup>
<mi>I</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>></mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
在得到每个角点的评分后按照的得分高低顺序对角点序列进行排序,排序完成后按顺序循环比较两个角点之间的距离,如果两个角点的距离小于期望的角点间距离,则保留Shi-Tomasi得分高的角点,期望的距离不小于10像素;
获取最终的改进FAST角点;
步骤2中,采用改进的SURF算法对两幅图像进行特征描述,包括以下步骤:
创建一个以兴趣点为中心的矩形区域,矩形的方向为兴趣点的方向,将每个区域划分为两个以上的3×3的子区域,对于每个子区域,用5×5间隔采样计算Haar小波响应,令dx为Haar小波在x方向上响应,dy为该响应在y方向上的响应,对响应的dx和dy采用高斯加权,得出每个子区域中小波响应dx和dy的和组成第一组特征向量,同时把强度响应绝对值的总和添加进特征描述;
得到每个子分解区域的四个描述,用矢量v表示为v=(∑dx,∑dy,∑|dx|,∑|dy|),所有3×3的区域描述子的个数为36,即36维的描述;
步骤2中,采用改进的LBP算法对两幅图像进行特征描述,包括以下步骤:
采用检测窗口检测,对于图像单元中的每一个像素点,取其相邻的连续16个点作为采样点,对于单个像素点而言,当中心点的像素大于一个邻近点的像素值,则将该临近点值设为0,反之可以设为1,从而得到了一个16位的二进制数;对所有像素位置加权求和获取该检测窗口的LBP编码值;将这16位数据依次进行循环左移操作,每次左移对应产生16个新的数据,在其中找到最大一个,作为最终的编码数据;
步骤2中,先判断LBP纹理特征是否符合要求,然后通过计算欧式距离和比较最佳匹配次最佳匹配来查找匹配点,通过两级匹配,保留180~220个角点,包括以下步骤:
设定一个欧式距离最大值MAX,分别从参考图像和待拼接图像中选择一个角点,采用LBP纹理特征分别对两个角点计算每个位的差异,选取一个阈值为2,若位差异大于阈值2,则重新再从参考图像中选取角点计算每个位差异,当在参考图像中选取的角点与待匹配图像每个位差异不大于阈值2时,计算这两个角点描述的欧式距离平方和,若欧式距离平方和小于当前已得出的最佳匹配,则令小于当前最佳欧式距离平方和的点作为当前最佳匹配,当前最佳匹配初始值MAX;不然,则令大于当前最佳欧式距离平方和但小于第二最小欧式距离平方和的点设为第二最佳匹配点,第二最佳匹配点初始值为MAX;如此将参考图像中的每一个特征点与待拼接图像中的特征点进行比较,分别得出最佳和第二佳匹配点;若得到的最佳和第二佳欧式距离平方和之比小于阈值,则该点对为匹配点对,否则判定该点对不是匹配点对;
步骤3中,设定采样次数N,每次采样随机抽取两个匹配点对共4个点,其中在参考图像上选取两个特征点,在待匹配图像上选取对应的两个特征点;如果同一图像中选取的两个点不相关,则重新选取,如果相关,则根据选取的两个匹配点对计算单应性矩阵;然后计算满足单应性矩阵匹配点的个数,若满足单应性矩阵的匹配点数量不为最大,则重新选取匹配点对;若为最大,则通过计算匹配点超距离,判断内点和外点,设定外点是误匹配,并去除;设定内点被认为是正确匹配,予以保留,剩下的角点,用来融合参考图像和待拼接图像;
步骤4中,得到4对匹配点对以后,对待拼接图像进行矫正,使其处于和参考图像相同的坐标系下;根据4对匹配点对,利用OpenCV中的“cvFindHomography()”函数,求解透视变换的单应性矩阵;将单应性矩阵与待拼接图像作用后,待拼接图像被转换到与参考图像相同的坐标系中;
步骤5中,待拼接图像在与变换矩阵相乘后,采用渐入渐出法融合两幅图像;对两幅图像的重叠部分的每一个像素,按照其距离重叠部分边缘的远近分别进行加权,计算拼接图像重叠部分每个位置像素值的加权和;
在渐入渐出公式P(x)中引入微调系数α渐入渐出公式:
P(x)=T(x)·P1(x)+(1-T(x))·P2(x)+α,
其中,0≤α≤1;0≤T(x)≤1;
T(x)的取值根据图像重叠部分的大小来选取,重叠部分越大,T(x)的增加约平缓;图像的过度也随之更加平滑,令重叠部分的最左侧为坐标0点,重叠部分宽度为m,
<mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mi>x</mi>
<mi>m</mi>
</mfrac>
<mo>,</mo>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>3</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>m</mi>
<mo>,</mo>
</mrow>
对两幅图像的重叠部分按渐入渐出法拼接,得到平滑的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410626230.9A CN104376548B (zh) | 2014-11-07 | 2014-11-07 | 一种基于改进型surf算法的图像快速拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410626230.9A CN104376548B (zh) | 2014-11-07 | 2014-11-07 | 一种基于改进型surf算法的图像快速拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104376548A CN104376548A (zh) | 2015-02-25 |
CN104376548B true CN104376548B (zh) | 2017-11-03 |
Family
ID=52555438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410626230.9A Active CN104376548B (zh) | 2014-11-07 | 2014-11-07 | 一种基于改进型surf算法的图像快速拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104376548B (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106464811B (zh) | 2015-03-10 | 2021-03-26 | 深圳市大疆创新科技有限公司 | 用于自适应全景图像生成的系统及方法 |
CN104751412B (zh) * | 2015-04-23 | 2018-01-30 | 重庆信科设计有限公司 | 一种基于仿射不变特征的图像拼接方法 |
CN104933434A (zh) * | 2015-06-16 | 2015-09-23 | 同济大学 | 一种结合LBP特征提取和surf特征提取方法的图像匹配方法 |
CN105300403B (zh) * | 2015-09-22 | 2017-12-29 | 清华大学 | 一种基于双目视觉的车辆里程计算法 |
CN105787876B (zh) * | 2015-12-31 | 2019-01-04 | 上海颐本信息科技有限公司 | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 |
CN106204637A (zh) * | 2016-06-29 | 2016-12-07 | 深圳市优象计算技术有限公司 | 光流计算方法 |
CN106683042B (zh) * | 2017-01-05 | 2020-08-11 | 卡本(深圳)医疗科技有限公司 | 一种基于非线性最小二乘的多模态医学图像融合方法以及系统 |
CN107230210A (zh) * | 2017-06-19 | 2017-10-03 | 长光卫星技术有限公司 | 一种遥感图像港口水面目标的快速分割方法 |
CN109509145A (zh) * | 2017-09-14 | 2019-03-22 | 长沙博为软件技术股份有限公司 | 一种桌面应用程序的视图数据画布通用拼接方法 |
CN107945111B (zh) * | 2017-11-17 | 2021-07-27 | 中国矿业大学 | 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法 |
CN108648184A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 一种遥感图像高空卷云的检测方法 |
CN108830283B (zh) * | 2018-06-15 | 2020-10-20 | 阿依瓦(北京)技术有限公司 | 一种图像特征点匹配方法 |
CN109146861B (zh) * | 2018-08-04 | 2021-09-28 | 福州大学 | 一种改进的orb特征匹配方法 |
CN109559273B (zh) * | 2018-11-23 | 2020-03-13 | 河北工业大学 | 一种面向车底图像的快速拼接方法 |
CN109581352B (zh) * | 2018-12-10 | 2021-11-16 | 南京莱斯电子设备有限公司 | 一种基于毫米波雷达的超分辨测角系统 |
WO2020132961A1 (zh) * | 2018-12-26 | 2020-07-02 | 合刃科技(深圳)有限公司 | 外观缺陷检测方法及装置 |
CN110020995B (zh) * | 2019-03-06 | 2023-02-07 | 沈阳理工大学 | 针对复杂图像的图像拼接方法 |
CN110111248B (zh) * | 2019-03-15 | 2023-03-24 | 西安电子科技大学 | 一种基于特征点的图像拼接方法、虚拟现实系统、照相机 |
CN110084784A (zh) * | 2019-03-30 | 2019-08-02 | 天津大学 | 星上角点特征实时检测与匹配方法 |
CN110222749B (zh) * | 2019-05-27 | 2022-06-07 | 成都信息工程大学 | 一种可见光图像与红外图像匹配方法 |
CN110472479B (zh) * | 2019-06-28 | 2022-11-22 | 广州中国科学院先进技术研究所 | 一种基于surf特征点提取和局部lbp编码的指静脉识别方法 |
CN110292361A (zh) * | 2019-07-30 | 2019-10-01 | 佛山科学技术学院 | 一种超宽范围的皮肤成像设备与方法 |
CN111080514A (zh) * | 2019-11-07 | 2020-04-28 | 北京科技大学 | 一种图像拼接方法及拼接装置 |
CN111179173B (zh) * | 2019-12-26 | 2022-10-14 | 福州大学 | 一种基于离散小波变换和坡度融合算法的图像拼接方法 |
CN113129213A (zh) * | 2020-01-14 | 2021-07-16 | 中国计量大学 | 一种数字全息子孔径相位图自动拼接融合方法 |
CN111275622B (zh) * | 2020-01-18 | 2022-10-14 | 中国人民解放军陆军工程大学 | 图像拼接方法、装置及终端设备 |
CN113496230A (zh) * | 2020-03-18 | 2021-10-12 | 中国电信股份有限公司 | 图像匹配方法和系统 |
CN111751380B (zh) * | 2020-07-08 | 2021-08-31 | 中国水利水电科学研究院 | 一种基于轻小型无人机的混凝土坝裂缝检查方法 |
CN112381748A (zh) * | 2020-11-16 | 2021-02-19 | 上海亨临光电科技有限公司 | 基于纹理特征点的太赫兹与可见光图像配准方法及装置 |
CN112799430B (zh) * | 2021-01-13 | 2022-09-09 | 东南大学 | 基于可编程无人机的路面图像智能采集方法 |
CN113112531A (zh) * | 2021-04-02 | 2021-07-13 | 广州图匠数据科技有限公司 | 一种图像匹配方法及装置 |
CN113436070B (zh) * | 2021-06-20 | 2022-05-17 | 四川大学 | 一种基于深度神经网络的眼底图像拼接方法 |
CN113609943A (zh) * | 2021-07-27 | 2021-11-05 | 东风汽车有限公司东风日产乘用车公司 | 手指指静脉识别方法、电子设备及存储介质 |
CN114119437A (zh) * | 2021-11-10 | 2022-03-01 | 哈尔滨工程大学 | 一种基于gms的用于改善运动物体畸变的图像拼接方法 |
CN114298902A (zh) * | 2021-12-02 | 2022-04-08 | 上海闻泰信息技术有限公司 | 一种图像对齐方法、装置、电子设备和存储介质 |
CN113989125B (zh) * | 2021-12-27 | 2022-04-12 | 武汉楚精灵医疗科技有限公司 | 内镜图像的拼接方法、装置、计算机设备及存储介质 |
CN115953567B (zh) * | 2023-03-14 | 2023-06-30 | 广州市玄武无线科技股份有限公司 | 一种堆箱数量的检测方法、装置、终端设备及存储介质 |
CN116824183B (zh) * | 2023-07-10 | 2024-03-12 | 北京大学 | 基于多重特征描述符的图像特征匹配方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930245A (zh) * | 2012-09-24 | 2013-02-13 | 深圳市捷顺科技实业股份有限公司 | 一种车辆跟踪方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807257A (zh) * | 2010-05-12 | 2010-08-18 | 上海交通大学 | 图像标签信息识别方法 |
KR101394361B1 (ko) * | 2012-11-21 | 2014-05-14 | 중앙대학교 산학협력단 | 알파매트 추정과 영상 합성을 이용한 단일 영상의 안개 제거 장치 및 방법 |
-
2014
- 2014-11-07 CN CN201410626230.9A patent/CN104376548B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930245A (zh) * | 2012-09-24 | 2013-02-13 | 深圳市捷顺科技实业股份有限公司 | 一种车辆跟踪方法及系统 |
Non-Patent Citations (5)
Title |
---|
"基于比值法与相关融合的SURF特征点匹配方法";周阳等;《电光与控制》;20130331;第20卷(第3期);论文第40-44页 * |
"基于角点检测与SIFT算法的快速匹配方法";陈长伟;《计算机应用与软件》;20140731;第31卷(第7期);论文第214-217页 * |
"局部二值模式方法研究与展望";宋克臣等;《自动化学报》;20130630;第39卷(第6期);论文第730-742页 * |
"眼底图像处理与分析中的关键技术研究";王玉亮;《万方数据企业知识服务平台》;20140605;论文摘要,第48-54、78-85、95-100、156页,图3.1 * |
"视觉数据不变性特征研究";全宇晖;《中国博士学位论文全文数据库 信息科技辑》;20131115(第11期);论文第73-76页,图4-3 * |
Also Published As
Publication number | Publication date |
---|---|
CN104376548A (zh) | 2015-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104376548B (zh) | 一种基于改进型surf算法的图像快速拼接方法 | |
CN105913093B (zh) | 一种用于文字识别处理的模板匹配方法 | |
Yao et al. | Multi-modal remote sensing image matching considering co-occurrence filter | |
CN110390640B (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
CN102006425B (zh) | 一种基于多摄像机的视频实时拼接方法 | |
CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
CN105957007A (zh) | 基于特征点平面相似度的图像拼接方法 | |
CN106940876A (zh) | 一种基于surf的快速无人机航拍图像拼接算法 | |
CN110246168A (zh) | 一种移动巡检机器人双目图像拼接的特征匹配方法 | |
CN108805812A (zh) | 用于图像拼接的多尺度不变orb算法 | |
US8666170B2 (en) | Computer system and method of matching for images and graphs | |
CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
CN103593832A (zh) | 一种基于高斯二阶差分特征检测算子的图像拼接方法 | |
CN104933434A (zh) | 一种结合LBP特征提取和surf特征提取方法的图像匹配方法 | |
Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
CN101488224B (zh) | 基于相关性度量的特征点匹配方法 | |
CN103258321A (zh) | 一种图像拼接方法 | |
CN109657612A (zh) | 一种基于人脸图像特征的质量排序系统及其使用方法 | |
CN107945221A (zh) | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 | |
CN111861866A (zh) | 一种变电站设备巡检图像全景重建方法 | |
CN103700082B (zh) | 基于对偶四元数相对定向的图像拼接方法 | |
CN112215925A (zh) | 自适应采煤机随动跟踪多摄像头视频拼接方法 | |
CN109711420B (zh) | 基于人类视觉注意机制的多仿射目标的检测与识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |