CN102800097B - 多特征多级别的可见光与红外图像高精度配准方法 - Google Patents

Abstract

本发明公开了一种可见光图像与红外图像的配准方法包括对可见光图像和红外图像进行多尺度分解，得到低分辨率的可见光图像和红外图像；在低分辨率图像对上提取SIFT特征、多尺度角点特征和面点特征，匹配SIFT特征并去除外点，利用匹配的SIFT特征对得到初始变换模型，所谓变换模型是指红外图像和高光谱图像之间的一种几何变换关系；在原始图像对上利用初始变换模型提供的几何约束，进行基于图像块对的多尺度角点特征、面点特征提取，根据初始变换模型和多尺度角点特征、面点特征确定更精确的变换模型；根据变换模型对红外图像进行变换，得到变换后的红外图像。

Description

多特征多级别的可见光与红外图像高精度配准方法

技术领域

本发明属于图像处理技术领域，具体涉及遥感图像的配准方法，特别是一种可见光与红外图像的配准方法。本发明可以广泛适用于航天、航空传感器平台获取的遥感影像的配准方法。

背景技术

红外图像的光谱位于可见光波段之外，包含了很多可见光波段之外的很多特征，这些特征对于准确识别目标具有重要的意义。例如，处于机动状态和休息状态的同一辆坦克，在可见光图像上无法区分，而通过红外图像的反映的温度信息可以正确识别坦克的状态。因此，综合利用不同传感器的互补特性，对可见光与红外图像进行融合对情报获取和分析具有重要的作用。作为可见光与红外图像融合的前提，可见光与红外图像必须进行自动、高精度配准。可见光与红外图像高精度自动配准技术是制约可见光与红外图像融合应用的关键技术，具有重要的应用价值。

然而，由于成像机理的差异，同一物体在可见光与红外图像上的表现差距很大，这种差距给传统的特征匹配方法带来了很大的挑战。实际上，即使让判图专家在可见光与红外图像手工标定快速一些控制点对也是一件很困难的事情。正是因为可见光与红外图像的差异较大，目前可见光与红外图像配准基本上仍处于研究阶段，尚未有专门的可见光－红外图像配准软件。尽管商业软件如Erdas和Envi都提供了配准功能，但这些配准功能都是为可见光图像设计的。在这些软件上对可见光和红外图像进行配准，成功的概率很小。目前，对可见光与红外图像配准的研究大都集中在相似性度量，其中基于互信息的配准方法最受青睐。然而，基于互信息的可见光与红外图像配准方法有致命的缺陷：对初始值依赖严重。若没有好的初始值，极易陷入局部极小值或不收敛。该缺陷严重制约了其实用性，因为自动从可见光与红外图像上获取这种初始值信息是很困难的。在这种情况下，必须另辟思路研究新的配准方法，在保证配准精度的同时，尽可能提供其自动化程度和计算速度。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是针对可见光图像与红外图像的互补性而提出一种特别适合于可见光与红外图像的自动、高效、高精度的配准方法，以推动遥感识别技术的发展。

(二)技术方案

本发明提出一种可见光图像与红外图像的配准方法，包括如下步骤：

步骤S1、对可见光图像和红外图像进行多尺度分解，得到低分辨率的可见光图像和红外图像；

步骤S2、在所述低分辨率图像对上提取SIFT特征、多尺度角点特征和面点特征，匹配SIFT特征并去除外点，利用匹配的SIFT特征对得到初始变换模型，所谓变换模型是指红外图像和高光谱图像之间的一种几何变换关系；

步骤S3、在原始图像对上利用初始变换模型提供的几何约束，进行基于图像块对的多尺度角点特征、面点特征提取，根据初始变换模型和多尺度角点特征、面点特征确定更精确的变换模型；

步骤S4、根据所述变换模型对红外图像进行变换，得到变换后的红外图像。

(三)有益效果

本发明的可见光与红外图像高精度自动配准方法基于多特征多级别的配准，综合利用了模式识别、计算机视觉领域中最新的特征提取和特征匹配技术及并行计算技术，有效地解决了可见光与红外图像的配准问题，弥补了现有配准软件对可见光与红外图像配准方面的缺陷。

本发明的配准方法对可见光与红外图像配准具有很好的通用性和实用性，能够大大推动可见光与红外图像的广泛应用，具有很好的经济效益。

附图说明

图1是本发明的系统框图；

图2是本发明的方法的一个具体实施例的原始可见光图像和生成的低分辨率可见光图像的例图；

图3是本发明的方法的一个具体实施例的原始红外图像与生成的低分辨率红外图像的例图；

图4SIFT特征提取流程图；

图5是本发明的方法的一个具体实施例的SIFT特征提取中DOG构建图例；

图6是本发明的方法的一个具体实施例的SIFT特征提取中极值点提取图例；

图7是本发明的方法的一个具体实施例的SIFT特征提取中主方向检测图例；

图8是本发明的一个具体实施例的为SIFT特征构造描述向量的一个示意图；

图9是本发明的一个具体实施例的粗配准流程；

图10是本发明的一个具体实施例的GDBICP核心流程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明的多特征多级别的可见光与红外图像的高精度配准方法既可以硬件方式实现，也可以软件方式实现。例如在个人计算机、工控机及服务器上以软件的形式安装并执行，也可本发明的方法做成嵌入式芯片以硬件的形式来体现。下面参照附图对本发明的具体实施方式进行说明。

在下面的描述中，所述的“图像”特指通过遥感设备获得的遥感图像，并且是已进行了数字化的数字图像。然而，本发明并不限于遥感图像，对于其它技术领域中获得的需要配准的可见光图像和红外图像，本发明也可适用。

图1给出了一个实施例的系统框图。如图1所示，总的来说，本发明的方法包括如下步骤：

步骤S1：多尺度分解。对可见光图像和红外图像进行多尺度分解，得到低分辨率的可见光图像和红外图像；

根据本发明的一种具体实施方式，该实施例中的多尺度分解通过降采样实现。虽然多尺度分解可以由小波金字塔、高斯金字塔等多种方法实现，但计算量比降采样大的多；而在精配准阶段，SIFT特征还要在原始图像上提取。因此，基于降采样的多尺度分解方式在保持配准精度的同时，还大大减少了计算量。

步骤S2:粗配准。在低分辨率图像对上提取SIFT(Scale-invariantFeature Transform，尺度不变特征变换)特征、多尺度角点特征和面点特征，采用最近邻比值法匹配SIFT特征并去除外点，利用匹配的SIFT特征对和GDBICP法得到初始变换模型；

根据本发明的一种具体实施方式，角点特征分为主动匹配角点特征和被动匹配角点特征，面点特征分为主动匹配面点特征和被动匹配面点特征。主动匹配角(面)点特征是参考图像(如可见光图像)上需要匹配的角(面)点特征，被动匹配角(面)点特征是待配准图像(如红外图像)上可能匹配的角(面)点特征。主动匹配角(面)点特征是被动匹配角(面)点特征的子集。

根据本发明的一种具体实施方式，采用最近邻比值法来匹配SIFT特征，并去除外点，外点指不满足上述变换模型的SIFT特征对；

根据本发明的一种具体实施方式，利用GDBICP(Generalized DualBootstrap Iterative Closest Point)法得到初始变换模型，所谓变换模型是指红外图像和高光谱图像之间的一种几何变换关系。

变换模型包含变换类型和变换参数两层含义。同样，变换模型的确定也包括变换类型选择和变换参数求解。上述变换模型是后续配准变换模型的初始值即初始变换模型，在精配准阶段变换模型的类型及其参数都将不断调整。

步骤S3：精配准。在所述原始图像对上利用初始变换模型提供的几何约束，进行基于图像块对的多尺度角点特征、面点特征提取，根据初始变换模型和多尺度角点特征、面点特征确定更精确的变换模型。在更精确的变换模型下，红外图像和显著波段图像的多尺度角/面点特征之间的拟合误差更小。

根据本发明的一种具体实施方式，利用迭代重加权最小二乘法选择变换类型并求取变换参数。

步骤S4：图像变换。根据所述变换模型对红外图像进行变换，得到变换后的红外图像。

根据本发明的一种具体实施方式，根据变换模型对红外图像进行双三次样条插值，然后根据变换模型及可见光图像和红外图像的尺寸计算参考图像和变换后的红外图像的最大重叠区域的坐标，取出、保存所述最大重叠区域的坐标内的可见光图像和红外图像。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明作进一步的详细说明。

在该实施例中，步骤S1利用双线性插值方法对可见光图像和红外图像进行降采样，生成低分辨率可见光图像和低分辨率红外图像。图2为原始可见光图像和生成的低分辨率可见光图像的例图，其中上图为原始可见光图像，下图为低分辨率可见光图像。图3为原始红外图像和生成的低分辨率红外图像的例图，其中上图为原始红外图像，下图为低分辨率红外图像。

图4是本发明的方法的具体实施例中步骤S2的提取SIFT特征的流程图。在该实施例中，SIFT特征的提取是按照如下流程实现的：

步骤S21、构建图像的DOG(Difference of Gaussian,高斯差分)金字塔。

设图像为I(x,y),则DOG金字塔中第k层高斯差分图像为D(x,y,kσ)＝L(x,y,(k+1)σ)-L(x,y,kσ),其中，L(x,y,σ)＝G(x,y,σ)*I(x,y)，*表示卷积运算。图5是DOG构建图例，如图5所示，图像在5个尺度上进行高斯卷积，得到的DOG金字塔中有4个图像。

步骤S22、在DOG金字塔的每层上提取极值点，所谓极值点是指在局部邻域内D(x,y,kσ)取值最大的点。

提取极值点的过程为，选择DOG金字塔上的任一点，若该点在该层及上、下相邻两层的26个邻域内不是极值点，则将该点去除，否则将该点作为极值点。图6是提取极值点的示意图，如图6所示，DOG金字塔中的第k层图像的标“×”的点与第k-1层、第k+1层的26个标““的点进行比较，若标“×”的点对应的D(x,y,kσ)是这26个邻域点中的最大值，则标“×”的点为极值点。

步骤S23、对于所提取的极值点，去除局部曲率非常不对称的极值点。在该实施例中，计算差分图像D的局部Hessian矩阵H，去除满足下面条件的极值点_：tr(H)²/det(H)>10，其中det(H)表示矩阵H的行列式值，tr(H)表示矩阵H的迹；

步骤S24、计算SIFT特征的亚像素级别的空间位置、尺度，所述SIFT特征是指保留下来的极值点。

假设SIFT特征X＝(x,y,σ)，其中x,y,σ分别为极值点X的x、y方向坐标及尺度参数，此时三个方向的坐标都为正数。根据高斯差分图像D(x,y,σ)泰勒展开公式计算出以SIFT特征X为原点相对于X在行、列及层数上的偏移量，即其中D表示泰勒展开公式的一次项，D、和可由SIFT特征X及其邻域的像素根据差分法计算。然后按照如下规则对极值点进行亚像素级插值：如果三个方向上的偏移量都小于0.5像素，则该点就是极值点为所求的亚像素级极值点坐标；如果某一方向上的偏移量大于等于0.5像素，如假设x方向的偏移量大于0.5像素，将偏移量四舍五入到一整数值a，将a与x相加得到新的SIFT特征X2＝(x+a,y,s)，然后将极值点X2按上述步骤进行操作，直到三个方向上的偏移量都小于0.5。

步骤S25、确定所述SIFT特征主方向，所谓主方向是指与以SIFT特征为中心的邻域内的梯度方向直方图的峰值对应的梯度方向。

在该实施例中，在以SIFT特征X＝(x,y,σ)为中心、以1.5σ为半径的邻域窗口内采样，计算高斯平滑图像L(x,y,σ)在上述邻域窗口内的每一像素的梯度方向并用直方图统计邻域像素的梯度方向，得到一个梯度方向直方图。梯度方向直方图是一种关于梯度方向θ的统计图，其范围是0～360度，其中每10度一个柱，总共36个柱。该梯度方向直方图的峰值代表了该极值点处邻域梯度的主方向，即作为该SIFT特征的方向。图7是本发明的该实施例的梯度直方图的一个示例图。在该图中显示了采用7个柱为SIFT特征确定主方向的示例。在该梯度方向直方图中，当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该SIFT特征的辅方向。一个SIFT特征可能会被指定具有多个方向(一个主方向，一个以上辅方向)。

步骤S26、为SIFT特征构造描述向量，所谓描述向量是指用于刻画该SIFT特征周围图像块统计特征的、由梯度方向直方图构成的向量。

在该实施例中，首先将SIFT特征周围图像块的坐标轴旋转为所述SIFT特征的方向，以确保旋转不变性；然后将SIFT特征周围16×16像素的窗口内分成4×4像素的小块，计算每个小块的8个方向的梯度方向直方图，将每个小块的梯度方向直方图连接起来形成128维的特征向量；最后，将其归一化到单位长度。图8是本发明的为SIFT特征构造描述向量的一个示意图。

本发明的步骤S2还涉及到在多个尺度上提取角点特征和面点特征。对图像I，在多个尺度上提取角点特征和面点特征。k＝0,…,N,N控制尺度的个数，本实例N＝4。在每个尺度上，角点特征和面点特征提取方法如下：

步骤S21’、对于图像的每个像素点x计算互相关矩阵M(x)，互相关矩阵是用来描述该像素点与其邻域像素的关系。计算方式如下式，其中表示图像I在水平、竖直方向的梯度图像，w()表示高斯权重函数，其标准差为σ，像素点x邻域N(x)的尺寸为3σ。

$M\left(x\right)={\mathrm{\Σ}}_{y\∈N\left(x\right)}w(x-y)(\▿I\left(y\right)){(\▿I\left(y\right))}^T.$

步骤S22’、根据互相关矩阵的特征值选取角点特征和面点特征，得到角点特征集合和面点特征集合。

首先对互相关矩阵M(x)进行特征值分解，即M(x)＝∑_i＝1,2λ_i(x)Γ_i(x)Γ_i(x)^T，λ₁(x)≤λ₂(x),λ₁(x)和λ₂(x)表示x处M(x)的特征值，Γ_i(x)表示与λ_i(x)对应的特征向量，Γ_i(x)^T表示Γ_i(x)的转置。

然后，根据特征值来选取角点特征和面点特征。若λ₁(x)/λ₂(x)>0.1且m(x)＝λ₁(x)+λ₂(x)>t_m，则x为候选角点特征；若λ₁(x)/λ₂(x)≤0.1且m(x)＝λ₁(x)+λ₂(x)≤t_m，x为候选面点特征。对每个像素点进行上述操作，得到角点特征集合C和面点特征集合F。t_m是一阈值，表示特征的强度。t_m应取一正数，t_m越大得到的候选角点特征和面点特征越少，不同的t_m取值对后续的特征匹配影响不大，在该实施例中，t_m＝1。

步骤S23’、去除角点特征集合和面点特征集合中的噪声点。对于角点特征集合C或面点特征集合F中的某特征点x，若m(x)<μ_m+0.5σ_m，将x从C或F中去除。其中，μ_m和σ_m分别为半径_r＝30的邻域内的m(x)的均值和方差。

步骤S24’、对于角点特征和面点特征进行非极值点抑制。对于角点特征集合C中的角点特征x，沿特征值λ₁(x)和λ₂(x)对应的特征向量Γ₁(x)和Γ₂(x)的方向进行非极大值点抑制；对于面点特征集合F中的某面点特征x，沿λ₂(x)对应的特征向量的方向Γ₂(x)进行非极大值点抑制。具体方法如下：对以x为中心、沿Γ_i(x)方向的半径r＝30的邻域内，若存在x'满足m(x')>m(x)，则x不是好的特征，将其从候选特征集合中去掉。

步骤S25’、根据特征强度的大小来选择被动角点特征和被动面点特征。

在该实施例中，对角点特征集合C或面点特征集合F中的特征按特征强度m(x)从大到小排序，选择前n个角点特征和面点特征作为被动匹配角点特征和面点特征的集合。n根据图像大小确定，对于1024×1024像素的图像，n一般取1000。

步骤S26’、根据特征强度的大小来选择主动角点特征和主动面点特征。

改变特征强度阈值，令t_m＝2t_m，r＝2r，重复步骤S22’－S25’。对角点特征集合C或面点特征集合F中的特征点按特征强度m(x)从大到小排序，选择前m个角点特征和m个面点特征作为主动匹配角点特征、面点特征集合。m根据图像大小确定，对于1024×1024像素的图像，m一般取500。同一图像的主动匹配角(面)点特征是被动匹配角(面)点特征的子集，在匹配时，参考图像的主动匹配角(面)点特征与待配准图像的被动匹配角(面)点特征(而不是待配准图像的主动匹配角(面)点特征)进行匹配，这样做的好处是可以得到更稠密的角(面)点特征匹配点对，从而有利用提高配准精度。

按照上述步骤在每个尺度σ_k上提取被动匹配角点特征、面点特征和主动匹配角点特征、面点特征，将各尺度、各类型特征点合并在一起，组成被动匹配角点特征集合C_m、被动匹配面点特征集合F_m、主动匹配角点特征集合C_d、主动匹配面点特征集合F_d。每一个角点特征c_i由三维向量组成，即c_i＝(x_i,y_i,s_i)，s_i等于它所在的尺度参数σ_k。每一个面点特征f_i由四维向量组成，即f_i＝(x_i,y_i,s_i,η_i)，η_i表示方向，η_i对应步骤S26’中在(x_i,y_i)处的Γ₂(x)。

图9是本发明的方法的步骤S3的流程图。该步骤为精配准步骤。如图9所示，本发明中的步骤S3是按如下流程实现的：

选择置信度高且未尝试过的SIFT特征对，由该SIFT特征对及被动匹配角点特征集合C_m、被动匹配面点特征集合F_m、主动匹配角点特征集合C_d、主动匹配面点特征集合F_d通过GDBICP方法进行匹配，若该次匹配成功，粗配准终止；否则，选择下一个置信度高的SIFT特征对通过GDBICP方法进行匹配。

图10是本发明的方法的步骤S3中的GDBICP方法的流程图。如图10所示，GDBICP方法包括如下步骤：

步骤S31、根据选择的SIFT特征对确定初始变换模型(相似变换)，SIFT特征对所在的邻域作为初始匹配区域；

设当前选择的SIFT特征对为A＝(x₁,y₁,s₁,θ₁)和B＝(x₂,y₂,s₂,θ₂)，其中x_i和y_i是坐标值，s_i和θ₂是对应的尺度参数和主方向参数。该步骤为粗配准，变换类型为相似变换，SIFT特征对之间应满足 $\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{ccc}s\&CenterDot;\cos \mathrm{\&theta;}& s\&CenterDot;\sin \mathrm{\&theta;}& t_x\\ -\sin \mathrm{\&theta;}& s\&CenterDot;\cos \mathrm{\&theta;}& t_y\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right],$ s、θ、t_x、t_y为所求的变换参数。根据A和B的尺度参数和主方向参数的对应关系，可求得θ＝θ₂-θ₁，x_t＝x₂-s·cosθ·x₁-s·sinθ·y₁，y_t＝y₂+s·sinθ·x₁-s·cosθ·y₁。以(x_i,y_i)为中心、以h+3·s_i为半径的区域分别作为A和B的初始匹配区域。

步骤S32、根据当前迭代步骤的变换模型(注：求变换模型是一个迭代的过程，S4的变换模型是最终的变换模型，当前迭代步骤的变换模型是一个中间结果)和当前匹配区域，分别从前向和后向利用ICP(IterativeClosest Point)方法匹配当前匹配区域内的角点特征和面点特征；

前向匹配以可见光图像为参考图像，为红外图像上的每一个角点特征和面点特征寻找其在红外图像上对应的角点特征和面点特征。假设当前变换模型类型为(k表示变换类型，k＝0表示相似变换、k＝1表示仿射变换、k＝2表示投影变换)，对于红外图像的任一角点特征c_i＝(x_i,y_i,s_i)，它对应可见光图像的坐标记为在可见光图像上距离最近的三个角点特征为然后计算中每个元素与c_i的匹配度将与最大的对应的作为c_i的匹配角点特征，记为e_i。类似的，为红外图像的每一面点特征f_i＝(x_i,y_i,s_i,η_i)寻找可见光图像对应的匹配面点特征h_i，面点特征的匹配度计算公式为 $w_i^f=\min (s_i^f/s_i,s_i/s_i^f)\&CenterDot;|{\mathrm{\&eta;}}_i^T\&CenterDot;{\mathrm{\&eta;}}_i^f|,g_i^f=(x_i^g,y_i^g,s_i^g,{\mathrm{\&eta;}}_i^g)(i=\mathrm{1,2,3})$ 为可见光图像上距离最近的三个面点特征。

后向匹配以红外图像为参考图像，为可见光图像上的每一个角点特征和面点特征寻找其在红外图像上对应的角点特征和面点特征，操作过程与前向匹配类似。

步骤S33、根据当前匹配的角点特征和面点特征利用迭代重加权最小二乘法重新估计前向和后向变换参数；通过ICP和参数估计的交替迭代，确定最优变换参数和最优的匹配；

当前变换模型与当前匹配的角点特征和面点特征紧密相关。为此，在给定变换类型的前提下采用迭代重加权最小二乘法不断调整变换参数及匹配的角点特征和面点特征集合。为方便叙述，在步骤S33中，当变换类型给定后将变换模型记为θ^pq。迭代重加权最小二乘法的目标函数为： $E({\mathrm{\&theta;}}^{\mathrm{pq}};C_c^{\mathrm{pq}},C_f^{\mathrm{pq}})=\underset{(p_i,q_i)\&Element;C_c^{\mathrm{pq}}}{\mathrm{\&Sigma;}}{w}_{c;i}\mathrm{\&rho;}(d_c(p_i,q_i;{\mathrm{\&theta;}}^{\mathrm{pq}})/{\mathrm{\&sigma;}}_c)+\underset{(p_i,q_i)\&Element;C_f^{\mathrm{pq}}}{\mathrm{\&Sigma;}}{w}_{f;i}\mathrm{\&rho;}(d_f(p_i,q_i;{\mathrm{\&theta;}}^{\mathrm{pq}})/{\mathrm{\&sigma;}}_f)$

上式中， $\mathrm{\&rho;}\left(u\right)=\left\{\begin{array}{cc}\frac{a^2}{6}[1-(1-{\left(\frac{u^2}{a}\right)}^3]& \left|u\right|\&le;a\\ \frac{a^2}{6}& \left|u\right|>a\end{array}\right.,$ a＝4,d_c(p,q；θ^pq)＝||T(p；θ^pq)-q||/s_q

d_f(p,q；θ^pq)＝|⁽T(p；θ^pq)-q)^Tη_q|/s_q,w_c；i和w_f；i为每一对角点特征和面点特征的权重。为简化计算，实际求解时将上述目标函数拆分为两个步骤：求解每一对角(面)点对匹配权重w_d,i和更新变换参数，这两个步骤循环交叉迭代，直到算法收敛。匹配权重w_d,i根据当前变换模型θ^pq下匹配点对(p_i,q_i)的匹配误差进行计算，对于角点，对于面点， $w_{d,i}=w(d_f(p_i,q_i;{\mathrm{\&theta;}}^{\mathrm{pq}})/{\mathrm{\&sigma;}}_f)/{\mathrm{\&sigma;}}_f^2,$ 其中， $w\left(u\right)=\left\{\begin{array}{cc}1-{\left(\frac{u}{a}\right)}^2& \left|u\right|\&le;a\\ 0& \left|u\right|>a\end{array}\right..$ 在当前匹配点对权重w_d,i的基础上，利用加权最小二乘法估计新通过优化 $F({\mathrm{\&theta;}}^{\mathrm{pq}};C_c^{\mathrm{pq}},C_f^{\mathrm{pq}})=\underset{(p_i,q_i)\&Element;C_c^{\mathrm{pq}}}{\mathrm{\&Sigma;}}{w}_{d;i}{w}_{c;i}{d}_c^2(p_i,q_i;{\mathrm{\&theta;}}^{\mathrm{pq}})+\underset{(p_i,q_i)\&Element;C_f^{\mathrm{pq}}}{\mathrm{\&Sigma;}}{w}_{d;i}{w}_{f;i}{d}_f^2(p_i,q_i;{\mathrm{\&theta;}}^{\mathrm{pq}})$ 求解新的变换参数。σ_c和σ_f为角点特征和面点特征的尺度因子，计算公式如下： ${\mathrm{\&sigma;}}_c=\sqrt{\underset{(p_i,q_i)\&Element;C_c^{\mathrm{pq}}}{\mathrm{\&Sigma;}}{w}_{d;i}{w}_{c;i}{d}_c^2(p_i,q_i;{\mathrm{\&theta;}}^{\mathrm{pq}})/\underset{(p_i,q_i)\&Element;C_c^{\mathrm{pq}}}{\mathrm{\&Sigma;}}{w}_{d;i}{w}_{c;i}},$ ${\mathrm{\&sigma;}}_f=\sqrt{\underset{(p_i,q_i)\&Element;C_f^{\mathrm{pq}}}{\mathrm{\&Sigma;}}{w}_{d;i}{w}_{f;i}{d}_f^2(p_i,q_i;{\mathrm{\&theta;}}^{\mathrm{pq}})/\underset{(p_i,q_i)\&Element;C_f^{\mathrm{pq}}}{\mathrm{\&Sigma;}}{w}_{d;i}{w}_{f;i}}.$

步骤S34、利用当前最优匹配的角点特征和面点特征集合，根据AkaikeInformation准则进行模型选择；

令变换类型k＝0,1,2,并分别-进行步骤S33操作，得到对应的前向变换模型和后向变换分别为和当前最优匹配的前向匹配角点特征和面点特征集合为和后向匹配角点特征和面点特征集合为和 在Akaike Information准则下的不适度为：

$\begin{array}{c}{I}_i=-2\left[\right|C_c^{\mathrm{pq}}|\log \left({\mathrm{\&sigma;}}_c^{\mathrm{pq}}\right)+|C_f^{\mathrm{pq}}|\log \left({\mathrm{\&sigma;}}_f^{\mathrm{pq}}\right)+E({\mathrm{\&theta;}}^{\mathrm{pq}};C_c^{\mathrm{pq}},C_f^{\mathrm{pq}})]-2\left[\right|C_c^{\mathrm{qp}}|\log \left({\mathrm{\&sigma;}}_c^{\mathrm{qp}}\right)\\ +\left|C_f^{\mathrm{qp}}\right|\log \left({\mathrm{\&sigma;}}_f^{\mathrm{qp}}\right)+E({\mathrm{\&theta;}}^{\mathrm{qp}};C_c^{\mathrm{qp}},C_f^{\mathrm{qp}})]+2\mathrm{nl}/(n-l-1)\end{array}.$

上式中，l表示变换类型k的自由度，k＝0时，l＝4；k＝1时，l＝6；k＝2时，l＝9；|A|表示集合A中元素个数。与最小的I_i对应的和为当前匹配区域的最优前向、后向变换模型。

步骤S35、根据当前变换模型的不确定性(用变换参数的方差矩阵刻画)进行匹配区域增长，区域增长的速度与当前匹配区域的前向匹配和后向匹配的角点特征和面点特征的匹配误差成反比。当匹配区域增长到角点特征和面点特征的最大外接矩形时，GDBICP收敛，此时的前向匹配变换模型作为步骤S4的变换模型。

本发明的该实施例的步骤S4是按如下流程实现的：根据步骤S3求得的变换模型，对红外图像进行双三次样条插值得到变换后的红外图像，变换后的红外图像与可见光图像已经配准。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种可见光图像与红外图像的配准方法，其特征在于，包括如下步骤：

步骤S1、对可见光图像和红外图像进行多尺度分解，得到低分辨率的可见光图像和红外图像；

步骤S2、在所述低分辨率图像对上提取SIFT特征、多尺度角点特征和面点特征，匹配SIFT特征并去除外点，利用匹配的SIFT特征对得到初始变换模型，所谓变换模型是指红外图像和高光谱图像之间的一种几何变换关系；

步骤S3、在原始图像对上利用初始变换模型提供的几何约束，进行基于图像块对的多尺度角点特征、面点特征提取，根据初始变换模型和多尺度角点特征、面点特征确定更精确的变换模型；

步骤S4、根据所述变换模型对红外图像进行变换，得到变换后的红外图像；

所述步骤S3包括：

步骤S31、根据选择的SIFT特征对确定初始变换模型，SIFT特征对所在的邻域作为初始匹配区域；

步骤S32、根据当前迭代步骤的变换模型和当前匹配区域，分别从前向和后向利用ICP方法匹配当前匹配区域内的角点特征和面点特征；

步骤S33、根据当前匹配的角点特征和面点特征利用迭代重加权最小二乘法重新估计前向和后向变换参数；通过ICP和参数估计的交替迭代，确定最优变换参数和最优的匹配；

步骤S34、利用当前最优匹配的角点特征和面点特征集合，根据AkaikeInformation准则进行模型选择；

步骤S35、根据当前变换模型的不确定性进行匹配区域增长，区域增长的速度与当前匹配区域的前向匹配和后向匹配的角点特征和面点特征的匹配误差成反比。

2.如权利要求1所述的可见光图像与红外图像的配准方法，其特征在于，在步骤S1中，通过降采样实现多尺度分解。

3.如权利要求1所述的可见光图像与红外图像的配准方法，其特征在于，在步骤S2中，采用最近邻比值法来匹配SIFT特征，并去除外点，外点指不满足上述变换模型的SIFT特征对。

4.如权利要求1所述的可见光图像与红外图像的配准方法，其特征在于，在步骤S2中，利用GDBICP法得到初始变换模型。

5.如权利要求1所述的可见光图像与红外图像的配准方法，其特征在于，所述步骤S2中的SIFT特征提取步骤包括：

步骤S21、构建图像的DOG金字塔；

步骤S22、在DOG金字塔的每层上提取极值点，所谓极值点是指在局部邻域内取值最大的点；

步骤S23、对于所提取的极值点，去除局部曲率不对称的极值点；

步骤S24、步骤S24、计算SIFT特征的亚像素级别的空间位置、尺度，所述SIFT特征是指保留下来的极值点；

步骤S25、确定所述SIFT特征主方向，所谓主方向是指与以SIFT特征为中心的邻域内的梯度方向直方图的峰值对应的梯度方向；

步骤S26、为SIFT特征构造描述向量，所谓描述向量是指用于刻画该SIFT特征周围图像块统计特征的、由梯度方向直方图构成的向量。

6.如权利要求1所述的可见光图像与红外图像的配准方法，其特征在于，所述步骤S2中的中提取角点特征和面点特征的步骤包括：

步骤S21’、对于图像的每个像素点计算互相关矩阵，互相关矩阵是用来描述该像素点与其邻域像素的关系；

步骤S22’、根据互相关矩阵的特征值选取角点特征和面点特征，得到角点特征集合和面点特征集合；

步骤S23’、去除角点特征集合和面点特征集合中的噪声点；

步骤S24’、对于角点特征和面点特征进行非极值点抑制；

步骤S25’、根据特征强度的大小来选择被动角点特征和被动面点特征；

步骤S26’、根据特征强度的大小来选择主动角点特征和主动面点特征。

7.如权利要求1所述的可见光图像与红外图像的配准方法，其特征在于，在所述步骤S3中，采用最近邻比值法来匹配SIFT特征，并去除外点，外点指不满足上述变换模型的SIFT特征对。