CN104134208A - 利用几何结构特征从粗到精的红外与可见光图像配准方法 - Google Patents

Abstract

本发明涉及一种利用几何结构特征从粗到精的红外与可见光图像配准方法，包括以下步骤：(1)对红外与可见光图像分别提取图像边缘及兴趣点这两种几何结构特征，为后续的图像配准做准备；(2)利用边缘对准算法求解初始变换参数，寻找可以使两幅图像的边缘重叠率最大的图像变换；(3)利用上一步计算出的近似变换将每一个兴趣点的待匹配区域缩小为其变换点的邻域范围以排除无关点的干扰，之后利用尺度不变特征变换(SIFT)描述子执行缩小待匹配区域的兴趣点匹配操作；(4)对初始匹配点对执行改进的随机采样一致性(RANSAC)操作以移除误匹配点对；(5)利用剩余的正确匹配点对计算出最终的更加准确的图像变换，完成配准任务。

Description

利用几何结构特征从粗到精的红外与可见光图像配准方法

技术领域

本发明涉及一种利用几何结构特征从粗到精的红外与可见光图像配准方法，属于数字图像处理及计算机视觉领域，它主要涉及兴趣点检测及匹配、边缘提取和图像变换技术。在各类基于红外与可见光图像配准的目标识别、军事侦察或遥感系统中有广泛的应用。

背景技术

由于一对红外与可见光图像可以提供非常有用的互补信息以提高相关任务的效率和准确性，所以红外与可见光图像配准技术被广泛应用于诸如遥感、基于配准融合的目标识别和军事侦察等许多领域中。然而，红外与可见光图像在灰度上差异很大，比如：图像的某些区域存在着对比度反转而其他区域不存在；存在于一幅图像中的视觉特征在另一幅图像中可能并不存在等(参见文献：伊拉尼等.多传感器成像的鲁棒配准.计算机视觉国际会议论文集,1998,959-966.(Irani M.,Anandan P..Robust multi-sensor image alignment.Proceedings of InternationalConference on Computer Vision,1998,959-966.))。因此，对于红外与可见光图像配准的研究非常有意义而且需要克服很多难题。

过去几年中已经提出了很多关于红外与可见光图像配准的方法，主要分为两类：基于特征的配准方法(参见文献：[1]何卡克等.基于角点与豪斯多夫距离的红外与可见光图像配准.计算机科学报告文集：图像分析,2007,383-392.([1]T.,Z.,Krapac J..Infrared-visual image registration based on corners and hausdorff distance.Lecture Notes inComputer Science:Image Analysis,2007,383-392.)[2]李等.基于梯度统计信息的鲁棒CCD与IR图像配准.信号处理快报,2010,17(4):347-350.([2]Lee J.H.,et al.Robust CCD and IRimage registration using gradient-based statistical information.Signal Processing Letters,2010,17(4):347-350.)[3]韩俊功等.人造环境中利用混合视觉特征的可见光与红外图像配准.模式识别快报,2013,34(1):42-51.([3]Han J.,Pauwels E.J.,De Z.P..Visible and infrared imageregistration in man-made environments employing hybrid visual features.Pattern RecognitionLetters,34(1):42-51.))和基于区域的配准方法(参见文献：[1]伊拉尼等.多传感器成像的鲁棒配准.计算机视觉国际会议论文集,1998,959-966.([1]Irani M.,Anandan P..Robustmulti-sensor image alignment.Proceedings of International Conference on Computer Vision,1998,959-966.)[2]斯沃纳兹等.应用于多分辨率图像配准的共有信息最优化方法.电气电子工程师学会图像处理汇刊,2000,9(12):2083-2099.([2]Thévenaz P.,Unser M..Optimization ofmutual information for multiresolution image registration.IEEE Transactions on Image Processing,2000,9(12):2083-2099.))。基于特征的方法首先提取图像中的显著视觉特征，然后利用这些特征去估计变换参数。与基于特征的方法不同，基于区域的方法利用整个图像内容来估计变换参数。具体来说，该方法主要是利用最优化方法来最小化两幅图像的亮度差异平方和、最大化两幅图像的标准化互相关函数或最优化两幅图像的共有信息等。在大多数情况下，基于特征的配准方法要比基于区域的配准方法表现得更好，这是因为仅仅利用具有良好鉴别性的视觉特征来进行图像配准具有更高的效率和更强的针对性。更重要的是，基于区域的配准方法不能处理未对准偏差较大的图像配准问题，这是因为最优化方法需要一个充分接近于真实解的初始点来开始运算以便最终收敛。鉴于以上原因，本发明采用基于特征的配准方法，下面也将着重介绍基于特征的红外与可见光图像配准算法。

从以上分析来看，基于特征的配准方法需要解决如下三个主要问题：(1)特征提取，保证两幅图像中的大部分特征能够对应于实际场景中的相同位置；(2)特征描述，确保图像间特征的准确匹配；(3)配准策略，能够有效地利用特征来计算图像间准确的变换关系。

应用最广的特征包括兴趣点、区域、边缘/梯度信息或者直线等。对于描述子，最常用的包括梯度幅值信息描述子、梯度方向信息描述子或不变矩描述子等。配准策略非常重要，主要有两类方法：

第一类为利用描述子进行特征匹配(参见文献：[1]金等.基于亮度与边缘方向信息的多传感器图像配准.模式识别,2008,41(11):3356-3365.([1]Kim Y.S.,Lee J.H.,Ra J.B..Multi-sensor image registration based on intensity and edge orientation information.PatternRecognition,2008,41(11):3356-3365.)[2]戴晓龙等.利用结合不变矩的改进链码表示法的基于特征的图像配准算法.电气电子工程师学会地理与遥感汇刊,1999,37(5):2351-2362.([2]Dai X.,Khorram S..A feature-based image registration algorithm using improved chain-coderepresentation combined with invariant moments.IEEE Transactions on Geoscience and RemoteSensing,1999,37(5):2351-2362.)[3]李等.基于梯度统计信息的鲁棒CCD与IR图像配准.信号处理快报,2010,17(4):347-350.([3]Lee J.H.,et al.Robust CCD and IR image registrationusing gradient-based statistical information.Signal Processing Letters,2010,17(4):347-350.)[4]考拉斯等.基于分割的红外与可见光图像配准技术.光学工程,2000,39(1):282-289.([4]Coiras E.,Santamari J.,Miravet C..Segment-based registration technique for visual-infraredimages.Optical Engineering,39(1):282-289.))。

第二类为对特征进行几何结构对准(参见文献：[1]韩俊功等.利用直线几何结构分析的可见光与红外图像配准.计算机科学报告文集：图像分析,2012,114-125.([1]Han J.,PauwelsE.,de Zeeuw P..Visible and infrared image registration employing line-based geometric analysis.Lecture Notes in Computer Science:Image Analysis,2012,114-125.)[2]何卡克等.基于角点与豪斯多夫距离的红外与可见光图像配准.计算机科学报告文集：图像分析,2007,383-392.([2]T.,Z.,Krapac J..Infrared-visual image registration based on corners and hausdorffdistance.Lecture Notes in Computer Science:Image Analysis,2007,383-392.)[3]韩俊功等.人造环境中利用混合视觉特征的可见光与红外图像配准.模式识别快报,2013,34(1):42-51.([3]Han J.,Pauwels E.J.,De Z.P..Visible and infrared image registration in man-made environmentsemploying hybrid visual features.Pattern Recognition Letters,34(1):42-51.)[4]扎克等.利用文理特征进行红外与可见光图像的仿射配准.计算机视觉冬季研讨会论文集,2007.([4]Jarc A.,et al..Texture features for affine registration of thermal(FLIR)and visible images.Proceedings ofComputer Vision Winter Workshop,2007.))。

对于红外与可见光图像配准而言，这两种配准策略拥有它们各自的优点和缺点。利用描述子进行特征匹配在大多数特征能够正确匹配的前提下可以得到准确的配准结果，但往往仅有少量的特征能够正确匹配，这是因为红外与可见光图像间的灰度差异较大导致实际匹配点对的描述子之间也存在着较大的差异。对特征进行几何结构对准的主体思想是通过搜寻可以对准两幅图像中大多数视觉特征的图像变换来完成配准任务。这种配准策略可以在大多数情况下成功地配准红外与可见光图像，但是它仅仅能够得到一个近似的变换，配准精度较低。因此，现有的红外与可见光图像配准算法在配准策略上还存在着很大的问题，无法同时获得很高的配准成功率和配准精度。

发明内容

为了处理基于特征的配准方法所要解决的三个问题，同时解决现有的红外与可见光图像配准方法的不足，本发明提出了一种利用几何结构特征从粗到精的红外与可见光图像配准方法，它是一种新的红外与可见光图像配准算法，它的主要贡献在于如下两个方面：(1)本算法采用复合的配准策略和从粗到精的配准方式。在粗配准阶段，算法利用边缘对准方法求解初始变换参数。具体为：提取出用于对准的图像边缘后，寻找可以使两幅图像的边缘重叠率最大的图像变换；在之后的精配准阶段，首先利用初始的图像变换将兴趣点的待匹配区域缩小为其变换点的邻域范围，以排除无关点干扰并提高后续兴趣点匹配的准确性；然后利用尺度不变特征变换(SIFT)描述子(参见文献：罗伊.源于尺度不变关键点的鉴别性图像特征.计算机视觉国际期刊,2004,60(2):91-110.(Lowe D.G..Distinctive image features fromscale-invariant keypoints.International Journal of Computer Vision,60(2):91-110.))执行缩小待匹配区域的兴趣点匹配操作，获得大量的正确匹配点对，也就是说，对于可见光图像中的每一个兴趣点，仅仅在其缩小的待匹配区域内寻找与其描述子间距离最近的兴趣点；最后，利用正确的匹配点对计算出一个更加准确的图像变换。从上面的陈述中可以看出，本算法结合了利用描述子进行特征匹配和对特征进行几何结构对准这两种常用配准策略的优点，不但能在大多数情况下成功配准红外与可见光图像，而且算法具有很高的配准精度。(2)由于红外与可见光图像的边缘/梯度信息是比较相似的，本算法采用多种反映图像边缘/梯度信息的特征来进行配准，包括用于对准的图像边缘以及用于匹配的兴趣点，从差异很大的红外与可见光图像中提取出了相似的信息。

本发明一种利用几何结构特征从粗到精的红外与可见光图像配准方法，其特征在于包含以下具体步骤：

步骤一：对红外与可见光图像分别提取图像边缘及兴趣点这两种几何结构特征，为后续的图像配准做准备；

步骤二：利用边缘对准算法求解初始变换参数，具体方法为：首先利用尺度不变特征变换(SIFT)描述子执行一次常规的兴趣点匹配操作(对于可见光图像中的每一个兴趣点，在整个红外图像上寻找与其描述子间距离最近的兴趣点)，之后列举出匹配点对之间两两组合的所有情况并利用每个组合计算出一个仿射变换，从中挑选出使两幅图像的边缘重叠率最大的图像变换；

步骤三：利用上一步计算出的近似变换将每一个兴趣点的待匹配区域缩小为其变换点的邻域范围，以排除无关点干扰并提高兴趣点匹配的准确性，之后利用尺度不变特征变换(SIFT)描述子执行缩小待匹配区域的兴趣点匹配操作，具体为：对于可见光图像中的每一个兴趣点，仅仅在其待匹配区域内寻找与其描述子间距离最近的兴趣点；

步骤四：对初始匹配点对执行改进的随机采样一致性(RANSAC)操作以移除误匹配点对。传统的随机采样一致性(RANSAC)操作(参见文献：费希尔等.随机采样一致性：模型滤波范例及其在图像分析及自动制图上的应用.美国计算机协会通讯期刊,1981,24(6):381-395.(Fischler M.A.,Bolles R.C..Random sample consensus:a paradigm for model fitting withapplications to image analysis and automated cartography.Communications of the ACM,1981,24(6):381-395.))在计算出仿射变换模型后，仅仅使用满足该仿射变换模型的匹配点对数目来评价模型。这种评价方式是不够准确的，本发明在对仿射变换模型的评价中加入了边缘重叠率因素，同时考虑匹配点对数目和边缘重叠率两方面因素，提高算法的准确性；

步骤五：利用剩余的正确匹配点对计算出最终的更加准确的图像变换，完成配准任务。

其中，步骤一为准备阶段，步骤二为粗配准阶段，步骤三～步骤五为精配准阶段。

本发明的优点及功效在于：(1)采用复合的配准策略，结合了利用描述子进行特征匹配和对特征进行几何结构对准这两种常用配准策略的优点，算法不但能在大多数情况下成功配准红外与可见光图像，而且还具有很高的配准精度；(2)采用从粗到精的配准方式，先利用边缘对准算法估计出大概的图像变换，然后利用该变换缩小兴趣点的待匹配区域，排除无关点的干扰并提高兴趣点匹配的成功率，解决了红外与可见光图像配准中兴趣点匹配成功率过低的问题；(3)采用多种反映图像边缘/梯度信息的特征来进行配准，包括用于对准的图像边缘以及用于匹配的兴趣点，从差异很大的红外与可见光图像中提取出了相似的信息。本发明可以对红外与可见光图像进行准确的配准，可广泛应用于遥感、基于配准融合的目标识别和军事侦察等许多领域中，具有广阔的市场前景与应用价值。

附图说明

图1为本发明利用几何结构特征从粗到精进行红外与可见光图像配准的流程框图。

图2(a)～(f)和图3(a)～(f)分别为本发明及另外3种配准方法对两组红外与可见光图像进行配准后的实验结果对比图。对比时，首先将可见光图像按照配准时计算出的仿射变换参数进行图像变换，然后对变换图提取边缘并覆盖到红外图像上。对比图中，白色线条即为可见光变换图的边缘线。

图2(a)为用于配准的可见光图像；

图2(b)为用于配准的红外图像；

图2(c)为基于角点和豪斯多夫距离的配准算法的配准结果图；

图2(d)为基于直线几何结构分析的配准算法的配准结果图；

图2(e)为基于SIFT流的配准算法的配准结果图；

图2(f)为本发明提出算法的配准结果图；

图3(a)为用于配准的可见光图像；

图3(b)为用于配准的红外图像；

图3(c)为基于角点和豪斯多夫距离的配准算法的配准结果图；

图3(d)为基于直线几何结构分析的配准算法的配准结果图；

图3(e)为基于SIFT流的配准算法的配准结果图；

图3(f)为本发明提出算法的配准结果图；

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。本发明的流程如图1所示，各部分具体实施细节如下：

步骤一.图像边缘提取及兴趣点检测

(1)图像边缘提取

尽管红外与可见光图像在灰度上差别很大，但是它们的边缘/梯度信息却比较相似，因此可以通过对准边缘来计算出一个近似的图像变换。本发明使用Canny算子(参见文献：堪尼.一种边缘检测的计算方法.电气电子工程师学会模式分析与机器智能汇刊,1986,(6):679-698.(Canny J..A computational approach to edge detection.IEEE Transactions on Pattern Analysis andMachine Intelligence,1986,(6):679-698.))来提取图像边缘，具体步骤为：

第一步：使用高斯滤波器平滑图像；

第二步：用一阶偏导的有限差分来计算梯度的幅值和方向；

第三步：对梯度幅值进行非极大值抑制；

第四步：用双阈值算法检测和连接边缘。

红外与可见光图像中用于对准的图像边缘必须含有大量的重复区域，即出现在可见光图像中的边缘也要出现在红外图像的相应位置上。然而，使用Canny算子提取出的图像边缘含有很多细小的边缘信息，它们往往不具备重复性。因此，在Canny算子提取的边缘图上，还需要进一步移除长度过小的图像边缘，具体为：

第一步：对边缘图进行联通区域检测，每一个联通区域即为一条图像边缘线l_i；

第二步：计算每一个联通区域的像素数，即为该边缘线的长度值

第三步：移除长度值小于阈值t＝0.2×max的边缘线，得到最终的用于对准的图像边缘。

(2)兴趣点检测

本发明使用改进的级阶高斯拉普拉斯滤波器(参见文献：苗振伟等.使用级阶LoG滤波器的兴趣点检测.模式识别,2013,46(11):2890-2901.(Miao Z.,Jiang X..Interest point detectionusing rank order LoG filter.Pattern Recognition,2013,46(11):2890-2901.))检测图像的角点及斑点，这是因为该滤波器检测出的角点及斑点反映了图像的边缘/梯度信息，而红外与可见光图像的边缘/梯度信息比较相似。兴趣点检测仅仅是本配准算法的准备工作，其他能够反映图像边缘/梯度信息的检测器均可以用于此处来检测兴趣点。

使用改进的级阶高斯拉普拉斯滤波器进行进行兴趣点检测的具体步骤为：

第一步：通过设置尺度参数σ来初始化改进的级阶高斯拉普拉斯滤波器；

第二步：使用改进的级阶高斯拉普拉斯滤波器对输入图像进行滤波来产生角点/斑点图；

第三步：在角点/斑点图上检测局部峰值点，并移除分布在脊线上的局部峰值点。最终剩余的局部峰值点就是该尺度下的兴趣点；

第四步：使用更大的尺度参数σ来更新改进的级阶高斯拉普拉斯滤波器，然后返回至第二步在一个新的尺度下检测兴趣点，直至达到最大尺度值时停止算法。

步骤二.边缘对准算法求解初始变换参数

使用边缘对准算法求解变换参数的主体思想是寻找可以使两幅图像的边缘重叠率最大的图像变换，搜寻图像变换的方式是其关键技术。众所周知，仿射变换(旋转、缩放与平移)是图像配准中应用最广的图像变换，它的变换参数可以简单地被两个匹配点对计算出来。再者，对于红外与可见光图像，尽管基于尺度不变特征变换(SIFT)描述子的兴趣点匹配仅仅能够产生少量的正确匹配点对，但是正确匹配点对的数量在绝大多数情况下是大于两对的。因此，图像变换的搜寻可以使用下面的方法：首先利用尺度不变特征变换(SIFT)描述子执行一次常规的兴趣点匹配操作(对于可见光图像中的每一个兴趣点，在整个红外图像上寻找与其描述子间距离最近的兴趣点)，之后列举出匹配点对之间两两组合的所有情况并利用每个组合计算出一个仿射变换，从中挑选出使两幅图像的边缘重叠率最大的图像变换。使用这种搜寻方法得到的图像变换也许不是最好的，但它是最好变换的一个近似。

不同于最优化方法，它们经常陷入假的局部极小值而且无法处理未对准偏差较大的图像配准问题，这种搜寻图像变换的方法可以在绝大多数情况下找到近似的图像变换。另外，这种搜寻方法相比于枚举法要耗费相对较少的时间。总之，这种搜寻方法非常可靠且有效。

该方法需要解决如下两个关键技术：(1)使用两个匹配点对计算仿射变换参数；(2)使用求出的仿射变换计算两幅图像的边缘重叠率。下面将分别予以详细介绍。

(1)使用两个匹配点对计算仿射变换参数

在图像配准中，仿射变换是应用最广泛的图像变换，它可以简单地被尺度(s)，旋转(α)，水平位移(t_x)和垂直位移(t_y)这四个参数定义：

$\left[\begin{array}{c}{x}_{\mathrm{IR}}\\ y_{\mathrm{IR}}\end{array}\right]=s\begin{array}{}\end{array}\left[\begin{array}{cc}\cos \mathrm{\α}& -\sin \mathrm{\α}\\ \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{Vis}}\\ y_{\mathrm{Vis}}\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]$

其中，(x_Vis,y_Vis)和(x_IR,y_IR)分别代表可见光图像中一个点的坐标和它在红外图像中的匹配点坐标。

假设两幅图像间的几何结构变换是全局的，那么两个匹配点对就足以计算出变换参数。对于可见光图像中的两个点A₁(x_A1,y_A1)，A₂(x_A2,y_A2)和它们在红外图像中的匹配点B₁(x_B1,y_B1)，B₂(x_B2,y_B2)，仿射变换的四个参数可以用下面的方法计算出来：

$\mathrm{\α}=\arctan \left(\frac{{\text{\Δx}}_A\·\mathrm{\Δ}{y}_B-\mathrm{\Δ}{x}_B\·{\mathrm{\Δy}}_A}{\mathrm{\Δ}{y}_A\·\mathrm{\Δ}{y}_B+\mathrm{\Δ}{x}_B\·\mathrm{\Δ}{x}_A}\right),$

$s=\frac{\mathrm{\Δ}{x}_B}{\cos \mathrm{\α}\·\mathrm{\Δ}{x}_A-\sin \mathrm{\α}\·\mathrm{\Δ}{y}_A},$

t_x＝x_B1-s·(cosα·x_A1-sinα·y_A1),

t_y＝y_B1-s·(sinα·x_A1+cosα·y_A1)

其中，Δx_A＝x_A2-x_A1,Δy_A＝y_A2-y_A1,Δx_B＝x_B2-x_B1,Δy_B＝y_B2-y_B1.

(2)使用求出的仿射变换计算两幅图像的边缘重叠率

计算出仿射变换后，可见光边缘点就可以变换到红外图像上得到其对应的变换点。那么对于可见光边缘点可以计算出它的变换点与所有红外边缘点的最近距离如果最近距离小于两个像素值，那么就可以被认为是一个重叠的可见光边缘点。同理，红外边缘点也可以变换到可见光图像上，进而找出所有重叠的红外边缘点。之后，两幅图像的边缘重叠率可以用如下方法计算：

$r=\frac{\mathrm{num}\_{\mathrm{rp}}_{\mathrm{Vis}}}{\mathrm{num}\_p_{\mathrm{vis}}}+\frac{\mathrm{num}\_{\mathrm{rp}}_{\mathrm{IR}}}{\mathrm{num}\_p_{\mathrm{IR}}}$

其中，num_rp_Vis和num_rp_IR分别代表重叠的可见光边缘点数目和重叠的红外边缘点数目，num_p_Vis和num_p_IR分别代表全部可见光边缘点数目和全部红外边缘点数目。

边缘对准算法的详细步骤总结如下：

第一步：利用尺度不变特征变换(SIFT)描述子执行一次常规的兴趣点匹配操作，具体为：对于可见光图像中的兴趣点计算它与红外图像中兴趣点的描述子间的距离，和它的描述子间距离最小的兴趣点就是它的匹配点：

$\mathrm{match}\left(P_{\mathrm{Vis}}^{\left(i\right)}\right)=P_{\mathrm{IR}}^{\left(j\right)},\{{\mathrm{dist}}_{\mathrm{ij}}=\underset{k=\mathrm{1,2},...n_{\mathrm{IR}}}{\min }\{{\mathrm{dist}}_{\mathrm{ik}}\left\}\right\}$

其中，为红外兴趣点，dist_ij为与的描述子间的距离，n_IR为红外兴趣点的个数，min{}为最小值函数。

第二步：列举出匹配点对之间两两组合的所有情况，对于每一个组合，计算出相应的仿射变换参数，进而计算出两幅图像的边缘重叠率。

第三步：找出边缘重叠率最大时所对应的两个匹配点对，由他们计算出的仿射变换即为所求。

边缘对准算法仅仅可以计算出一个近似的、不够精准的图像变换，这是因为：(1)红外与可见光图像的边缘图并不完全相同；(2)算法假设两幅图像间的几何结构变换是全局的，而实际中图像内各个区域的变换存在着一定的差异。所以，还需要在此基础上进一步求解更加精确的图像变换。

步骤三.执行缩小待匹配区域的兴趣点匹配操作

利用上一步计算出的图像变换可以缩小每一个兴趣点的待匹配区域，具体为：将每一个兴趣点的待匹配区域设为以其变换点为圆心半径为10个像素的圆形邻域范围。这样，每一个兴趣点的待匹配点将大大减少，兴趣点匹配的准确性也将得到很大的提高。缩小待匹配区域后，重新执行基于尺度不变特征变换(SIFT)描述子的兴趣点匹配操作，得到新的更加准确的兴趣点匹配结果。具体步骤如下：

第一步：利用上一步计算出的图像变换将每一个兴趣点的待匹配区域缩小为以其变换点为圆心半径为10个像素的圆形邻域范围；

第二步：利用尺度不变特征变换(SIFT)描述子执行缩小待匹配区域的兴趣点匹配操作，具体为：对于可见光图像中的兴趣点计算它与待匹配区域内兴趣点的描述子间的距离，和它的描述子间距离最小的兴趣点就是它的匹配点：

$\mathrm{match}\left(P_{\mathrm{Vis}}^{\left(i\right)}\right)=P_{\mathrm{IR}}^{\left(j\right)},\{{\mathrm{dist}}_{\mathrm{ij}}=\underset{k=\mathrm{1,2},...n_{\mathrm{region}}}{\min }\{{\mathrm{dist}}_{\mathrm{ik}}\left\}\right\}$

其中，为红外兴趣点，dist_ij为与的描述子间的距离，n_region为待匹配区域内红外兴趣点的个数，min{}为最小值函数。

步骤四.执行改进的随机采样一致性操作

随机采样一致性操作用于移除误匹配点对，其基本思想为：通过反复随机地选择最小数目的匹配点对，用它们计算出一个仿射变换并利用满足该仿射变换模型的匹配点对数目来评价该模型。一定次数的操作过后，评价值最高的仿射变换模型最可信，满足该模型的匹配点对即为正确的匹配点对。这里，称一个匹配点对满足仿射变换模型是指，该点对中的可见光兴趣点经变换后与红外兴趣点的距离小于阈值l(一般取为2个像素值)。

然而，仅仅使用满足仿射变换模型的匹配点对数目来评价模型是不够准确的，最好的变换模型并不一定拥有最多的满足条件的匹配点对。因此，本发明对传统的随机采样一致性操作进行了改进，在对仿射变换模型的评价中加入了边缘重叠率因素，同时考虑匹配点对数目和边缘重叠率两方面因素，提高算法的准确性。

改进的随机采样一致性操作的具体步骤为：

第一步：随机选择三个匹配点对；

第二步：利用这三个匹配点对计算仿射变换模型。这里使用一个更加普遍的仿射变换定义公式：

$\left[\begin{array}{c}{x}_{\mathrm{IR}}\\ y_{\mathrm{IR}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}a& b& t_x\\ c& d& t_y\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}_{\mathrm{Vis}}\\ y_{\mathrm{Vis}}\\ 1\end{array}\right]$

其中，(x_Vis,y_Vis)为可见光兴趣点坐标，(x_IR,y_IR)为其匹配点坐标，(a,b,c,d,t_x,t_y)为仿射变换参数。这个仿射变换定义公式含有六个参数，因此最少需要三个匹配点对才能求解出这些参数；

第三步：对计算出的仿射变换模型进行评价，评价值为：

value＝num_right/num+r

其中，num_right代表满足该变换模型的匹配点对数目，num代表全部匹配点对数目，r代表两幅图像在该变换下的边缘重叠率；

第四步：循环次数加一，转至第一步再次执行上述操作，直至循环次数达到预先设置的最大循环次数；

第五步：评价值最高的变换模型最可信，满足该模型的匹配点对即为正确的匹配点对。

步骤五.计算最终图像变换

上一步中得到的正确匹配点对数目远远大于三对，因此采用最小二乘法按照上一步介绍的仿射变换定义公式求解出最终的变换矩阵，具体方法如下：

首先将上一步中介绍的仿射变换定义公式改为如下形式：

$\left[\begin{array}{c}{x}_{\mathrm{IR}}\\ y_{\mathrm{IR}}\end{array}\right]=\begin{array}{c}\left[\begin{array}{cccccc}{x}_{\mathrm{Vis}}& y_{\mathrm{Vis}}& 1& 0& 0& 0\\ 0& 0& 0& x_{\mathrm{Vis}}& y_{\mathrm{Vis}}& 1\end{array}\right]\end{array}\left[\begin{array}{c}a\\ b\\ t_x\\ c\\ d\\ t_y\end{array}\right]$

那么对于n个匹配点对，可以得到下面的式子：

$\left[\begin{array}{c}{x}_{\mathrm{IR}}^{\left(1\right)}\\ y_{\mathrm{IR}}^{\left(1\right)}\\ x_{\mathrm{IR}}^{\left(2\right)}\\ y_{\mathrm{IR}}^{\left(2\right)}\\ ...\\ x_{\mathrm{IR}}^{\left(n\right)}\\ y_{\mathrm{IR}}^{\left(n\right)}\end{array}\right]=\left[\begin{array}{cccccc}{x}_{\mathrm{Vis}}^{\left(1\right)}& y_{\mathrm{Vis}}^{\left(1\right)}& 1& 0& 0& 0\\ 0& 0& 0& x_{\mathrm{Vis}}^{\left(1\right)}& y_{\mathrm{Vis}}^{\left(1\right)}& 1\\ x_{\mathrm{Vis}}^{\left(2\right)}& y_{\mathrm{Vis}}^{\left(2\right)}& 1& 0& 0& 0\\ 0& 0& 0& x_{\mathrm{Vis}}^{\left(2\right)}& y_{\mathrm{Vis}}^{\left(2\right)}& 1\\ ...& & & & & \\ x_{\mathrm{Vis}}^{\left(n\right)}& y_{\mathrm{Vis}}^{\left(n\right)}& 1& 0& 0& 0\\ 0& 0& 0& x_{\mathrm{Vis}}^{\left(n\right)}& y_{\mathrm{Vis}}^{\left(n\right)}& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ t_x\\ c\\ d\\ t_y\end{array}\right],$ 记为A＝Bx

则x＝(B^TB)^-1B^TA。由于兴趣点分布于图像的各个区域，因此利用大量正确的匹配点对通过最小二乘法计算出的图像变换能够适应于图像的各个区域，是对粗配准阶段得到的近似变换进行局部调整后的结果，具有更高的准确性。

为了展示本发明的效果，使用22组红外与可见光图像来验证本发明的有效性，并将本发明与另外三种配准算法进行对比。实验图集中，红外与可见光图像的灰度差异和未对准偏差都比较大，十分考验配准算法的性能；用于对比的算法分别是：(1)基于角点与豪斯多夫距离的方法(参见文献：何卡克等.基于角点与豪斯多夫距离的红外与可见光图像配准.计算机科学报告文集：图像分析,2007,383-392.(T.,Z.,Krapac J..Infrared-visual imageregistration based on corners and hausdorff distance.Lecture Notes in Computer Science:ImageAnalysis,2007,383-392.))；(2)基于直线几何结构分析的方法(参见文献：韩俊功等.利用直线几何结构分析的可见光与红外图像配准.计算机科学报告文集：图像分析,2012,114-125.(Han J.,Pauwels E.,de Zeeuw P..Visible and infrared image registration employing line-basedgeometric analysis.Lecture Notes in Computer Science:Image Analysis,2012,114-125.))；(3)基于SIFT流的方法(参见文献：刘策等.SIFT流：场景间的稠密对应及其应用.电气电子工程师学会模式分析与机器智能汇刊,2011,33(5):978-994.(Liu C.,Yuen J.,Torralba A..Sift flow:Dense correspondence across scenes and its applications.IEEE Transactions on Pattern Analysisand Machine Intelligence,33(5):978-994.))。

对比时，首先将可见光图像按照配准时计算出的仿射变换参数进行图像变换，然后对变换图提取边缘并覆盖到红外图像上。本发明提出的配准算法能够成功配准全部的22组图像，而另外三种算法仅能成功配准出其中的一部分图像。更为重要的是，本发明提出的配准算法具有很高的配准精度，而另外三种算法的配准精度较差。其中的两组实验结果分别如图2(a)-(f)和图3(a)-(f)所示，对比图中，白色线条为可见光变换图的边缘线。图2(a)、图3(a)为用于配准的可见光图像，图2(b)、图3(b)为用于配准的红外图像，图2(c)、图3(c)为基于角点和豪斯多夫距离的配准算法的配准结果，图2(d)、图3(d)为基于直线几何结构分析的配准算法的配准结果，图2(e)、图3(e)为基于SIFT流的配准算法的配准结果，图2(f)、图3(f)为本发明提出算法的配准结果。

从对比结果图可以看出，尽管红外与可见光图像的灰度差异和未对准偏差都比较大，本发明提出的配准算法都能够将他们准确地配准起来，可见光变换图的边缘线与对应红外图像的边缘线能够十分准确地贴合在一起。而另外三种算法却无法准确地实现配准，很多可见光变换图的边缘线与对应红外图像的边缘线相距很远。以图2(c)-(f)为例，图2(c)右下角处椅子靠背的边缘线、图2(d)左上角处计算机显示器的顶部边缘线以及图2(e)上方的头部轮廓线都没能准确地重合在一起，而图2(f)中可见光变换图的边缘线与对应红外图像的边缘线都能准确地贴合在一起。总之，对比实验充分验证了本发明的有效性，算法拥有很高的成功率和准确性。

Claims (1)

1.利用几何结构特征从粗到精的红外与可见光图像配准方法，其特征在于：它包含以下具体步骤：

步骤一：对红外与可见光图像分别提取图像边缘及兴趣点这两种几何结构特征，为后续的图像配准做准备；

步骤二：利用边缘对准算法求解初始变换参数，具体方法为：首先利用尺度不变特征变换(SIFT)描述子执行一次常规的兴趣点匹配操作，对于可见光图像中的每一个兴趣点，在整个红外图像上寻找与其描述子间距离最近的兴趣点，之后列举出匹配点对之间两两组合的所有情况并利用每个组合计算出一个仿射变换，从中挑选出使两幅图像的边缘重叠率最大的图像变换；

步骤三：利用上一步计算出的近似变换将每一个兴趣点的待匹配区域缩小为其变换点的邻域范围，以排除无关点干扰并提高兴趣点匹配的准确性，之后利用尺度不变特征变换(SIFT)描述子执行缩小待匹配区域的兴趣点匹配操作，具体为：对于可见光图像中的每一个兴趣点，仅仅在其待匹配区域内寻找与其描述子间距离最近的兴趣点；

步骤四：对初始匹配点对执行改进的随机采样一致性(RANSAC)操作以移除误匹配点对，传统的随机采样一致性(RANSAC)操作在计算出仿射变换模型后，仅仅使用满足该仿射变换模型的匹配点对数目来评价模型；这种评价方式是不够准确的，在对仿射变换模型的评价中加入了边缘重叠率因素，同时考虑匹配点对数目和边缘重叠率两方面因素，提高算法的准确性；

步骤五：利用剩余的正确匹配点对计算出最终的更加准确的图像变换，完成配准任务。