CN102855621A - 一种基于显著区域分析的红外与可见光遥感图像配准方法 - Google Patents

Abstract

本发明公开了一种基于显著区域分析的红外与可见光遥感图像配准方法，可用于航天、航空红外与可见光遥感图像的配准，该方法包括以下步骤：根据经纬度信息获取相同尺度和方向的红外与可见光图像；根据特征一致性原则提取红外图像中有利于进行特征匹配的显著区域；提取两幅图像中的SIFT特征点并计算特征描述子；根据特征的相似度、尺度和距离约束进行特征匹配；根据显著图像对特征匹配结果进行加权并排序；选取具有平移一致性的匹配结果子集合；根据选取的特征点对子集合计算内点数最大的变换矩阵；将红外图像变换到与可见光图像相同的坐标系中。本发明抑制了错误的匹配结果对结果的影响，解决了红外与可见光图像由于传感器类型不同所造成的配准问题。

Description

一种基于显著区域分析的红外与可见光遥感图像配准方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于显著区域分析的红外与可见光遥感图像配准方法，可用于航天、航空传感器平台获取的红外与可见光遥感图像的配准。

背景技术

近年来，我国的对地观测卫星快速发展，卫星的数量和应用领域不断扩大，大量的观测数据广泛应用于社会经济发展的各个领域，发挥了不可替代的作用。采用多源传感器是对地观测系统的一个重要特点，红外和可见光传感器是多源传感器中重要的两种传感器。由于这两种传感器具有不同的成像机理，因此获取的图像体现了观测对象的不同特性，具有良好的互补性，因此，将二者进行融合具有巨大的应用前景，而红外与可见光图像的配准则是融合的重要基础。

红外与可见光传感器由于成像机理不同带来的成像上的差异，加上红外图像自身分辨率较低的影响，给配准造成了巨大的困难。虽然近年来有研究人员针对红外与可见光的配准问题开展了研究，也取得了一定的成果，但是其距离实用化还有很大的距离。因此，如何高效和准确的实现红外与可见光图像的配准，充分发挥遥感图像尤其是红外图像的使用效能，仍是一个极具挑战性的难点课题，尚存许多问题亟待解决，因此，很有必要对其进行深入的研究和探讨。

发明内容

红外与可见光图像配准技术是两种图像进行融合的基础，对于红外与可见光图像的综合应用具有重要意义，同时也是使用高精度可见光图像提高红外图像定位精度的重要技术途径。红外与可见光图像由于成像机理不同，具有各自不同的特点和良好的互补性，也正是由于成像机理的不同，给配准带来了巨大的难度，目前的技术还无法实现高效、准确和自动化的配准。

本发明的目的是综合显著性分析和遥感图像中的先验信息的约束，提供一种自动高效的红外和可见光图像配准方法，该方法包括以下步骤：

步骤S1，根据经纬度信息计算红外与可见光遥感图像的重叠区域，并对所述红外与可见光遥感图像中的重叠区域进行尺度归一化，得到具有相同尺度和相同方向的红外遥感重叠图像与可见光遥感重叠图像，所述红外与可见光遥感图像为带有地理定位信息也就是经纬度信息的、经过了方向校正的红外与可见光遥感图像；

步骤S2，基于归一化后的所述红外遥感重叠图像与可见光遥感重叠图像，根据特征一致性原则提取所述红外遥感重叠图像中有利于进行特征匹配的显著区域，相应地得到用于图像配准的显著性图像；

步骤S3，分别提取归一化后的所述红外遥感重叠图像与可见光遥感重叠图像中的尺度不变特征变换SIFT特征点，并计算相应特征点的特征描述子；

步骤S4，利用所述步骤S3得到的两幅重叠图像的SIFT特征点的特征相似度、尺度和距离约束进行特征点匹配，得到匹配成功的特征点对；

步骤S5，根据所述步骤S4得到的特征点对在所述显著性图像中相应位置的像素点的值对特征点对之间的相似度进行加权，并根据加权后的各个特征点对之间的相似度对各个特征点对进行排序；

步骤S6，根据加权排序后的特征点对集合计算变换矩阵；

步骤S7，根据所述变换矩阵，将所述红外遥感图像变换到与所述可见光遥感图像相同的坐标系中，得到与所述可见光遥感图像配准的红外遥感图像。

本发明的有益效果是，本发明通过基于显著性分析的方法对特征点对进行了选择，抑制了错误的匹配结果对结果的影响，从而解决了红外与可见光图像由于传感器类型不同所造成的配准难点。本发明提出的红外与可见光图像配准方法使用范围广，计算效率高。

附图说明

图1是本发明提出的基于显著区域分析的红外与可见光遥感图像配准方法的流程图。

图2是本发明基于特征一致性的显著区域分析流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明使用的方法既可以在个人计算机、工控机及服务器上以软件的形式安装并执行，也可将方法做成嵌入式芯片以硬件的形式来体现。

图1是本发明提出的基于显著区域分析的红外与可见光遥感图像配准方法的流程图，如图1所示，本发明提出的基于显著区域分析的红外与可见光遥感图像配准方法，包括以下几个步骤：

步骤S1，根据经纬度信息计算红外与可见光遥感图像的重叠区域，并对所述红外与可见光遥感图像中的重叠区域进行尺度归一化，得到具有相同尺度和相同方向的红外遥感重叠图像与可见光遥感重叠图像；

所述红外与可见光遥感图像为带有地理定位信息也就是经纬度信息的、经过了方向校正的红外与可见光遥感图像，即2级遥感图像，该图像的上方对应正北方向。所述步骤S1中对所述红外与可见光遥感图像中的重叠区域进行尺度归一化的步骤进一步包括：

步骤S11，根据各自的图像分辨率计算所述红外与可见光遥感图像的相对像元尺寸；

设输入的红外遥感图像的分辨率F1为10米，可见光遥感图像的分辨率F2为2米，则红外遥感图像与可见光遥感图像的相对像元尺寸为F1∶F2＝5。

步骤S12，截取所述红外与可见光遥感图像的重叠区域，得到红外与可见光遥感图像的重叠图像；

步骤S13，根据所述相对像元尺寸将截取得到的两幅重叠图像调整到同样的尺度；

根据所述步骤S11计算得到的相对像元尺寸，将所述可见光遥感图像的重叠图像的尺寸调整为原来的五分之一，即可使得红外遥感图像与可见光遥感图像的重叠图像具有相同的尺度，实现所述红外与可见光遥感图像的重叠区域的尺度归一化。

步骤S2，基于归一化后的所述红外遥感重叠图像与可见光遥感重叠图像，根据特征一致性原则提取所述红外遥感重叠图像中有利于进行特征匹配的显著区域，相应地得到用于图像配准的显著性图像；

所述有利于进行特征匹配的显著区域指的是具有良好特征一致性的区域，即两幅重叠图像的该区域中均具有明显的纹理和结构特征，并且特征具有一定相似度。

图2是本发明基于特征一致性的显著区域分析的流程图，如图2所示，所述步骤S2进一步包括以下几个步骤：

步骤S21，分别对红外遥感重叠图像和可见光遥感重叠图像进行降采样处理；

由于步骤S1中已经将红外遥感重叠图像和可见光遥感重叠图像调整到了同样的尺度，因此只需要对两幅重叠图像进行相同比例的降采样处理即可；本发明的实施例中，将红外遥感重叠图像和可见光遥感重叠图像的分辨率均降为原来的1/5。

所述步骤S21的降采样操作一方面可以有效抑制图像中的噪声，另一方面还可以缩小步骤S1中利用经纬度信息对红外与可见光遥感图像进行粗匹配的结果中像素之间的距离，有利于接下来的特征匹配，同时还能够减小计算量。

步骤S22，在经过降采样处理的红外遥感重叠图像上提取显著边缘特征点，即其梯度值大于指定阈值的边缘点，得到所述红外遥感重叠图像的边缘图像；

在本发明的实施例中，采用Canny算子来计算某边缘点的梯度值，Canny算法中包含两个阈值，本发明实施例将第一个阈值设定为60，将第二个阈值设定为第一个阈值的三倍即180。

步骤S23，根据所述步骤S22检测到的红外遥感重叠图像的边缘图像提取红外遥感重叠图像的轮廓曲线，并仅保留其中长度均大于指定阈值的轮廓曲线；

所述步骤S23中，使用本领域通用的边缘跟踪方法来提取红外遥感重叠图像的轮廓曲线，轮廓曲线上像素的数目即为轮廓曲线的长度，该步骤在提取轮廓曲线时，只提取长度满足要求的显著轮廓曲线，以保证轮廓特征的稳定性，在本发明的实施例中，轮廓长度的阈值设定为100。

步骤S24，对于所述步骤S23得到的红外遥感重叠图像中的每一个轮廓曲线，通过在降采样处理后的可见光遥感重叠图像中寻找其对应匹配结果来计算每一个轮廓曲线的匹配度；

所述步骤S24中寻找对应匹配结果的步骤进一步包括如下步骤：

步骤S241，在可见光遥感重叠图像上提取边缘点，且只保留梯度值大于指定阈值的边缘点；

在本发明的实施例中，使用Sobel算子来计算该梯度值，且阈值设定为80。

步骤S242，对于红外遥感重叠图像中的某个轮廓曲线C，将其与可见光遥感重叠图像进行匹配，并计算该轮廓曲线C的匹配度。

将该轮廓曲线C上面的每一个点记为pi，设其坐标为(xi，yi)，如果在可见光遥感重叠图像中以坐标(xi，yi)为中心，以r为半径的范围内存在与点pi的梯度方向相同的点，则认为点pi在可见光遥感重叠图像中存在匹配点，同时在可见光遥感重叠图像中去除该匹配点，以避免重复匹配。按照上述方法对轮廓曲线C上的每一个点进行匹配，得到可见光遥感重叠图像中的多个匹配点。

若轮廓曲线C的长度为N，在可见光遥感图像的重叠图像中匹配得到的匹配点的数目为NR，则该轮廓曲线C的匹配度为P＝NR/N。

步骤S25，根据所述每一个轮廓曲线的匹配度对所述轮廓曲线附近区域的所有像素点进行赋值，即将所述轮廓曲线附近区域的所有像素点赋值为该轮廓曲线的匹配度，具有高匹配度的区域即为显著区域。

所述轮廓曲线的附近区域指的是以轮廓曲线上的点为中心，以R1为半径的区域，在本发明的实施例中，R1取值为10。

所述匹配度越高，就认为相应的附近区域的特征一致性越好，该区域的显著性值就越大。

通过上述显著区域的分析步骤不仅得到了具有良好特征一致性的区域，并且这些区域也是在两幅图像中均存在明显的纹理特征的区域，因此，在这些区域提取的特征点更有利于实现特征的匹配。最终的显著性图像反映了在大尺度上红外与可见光遥感图像的重叠图像是否一致，大尺度上特征一致的区域将在图像精配准时对应更多地特征。

步骤S3，分别提取归一化后的所述红外遥感重叠图像与可见光遥感重叠图像中的SIFT(尺度不变特征变换)特征点，并计算相应特征点的特征描述子；

在计算特征点的特征描述子时，考虑到红外遥感图像反映的是地物的温度特性，其与可见光遥感图像中的灰度值并没有严格的对应关系，因此本发明使用0-180度的范围，即认为相差180度的两个梯度方向是相同的。

该步骤中，特征点的提取和特征描述子的计算均采用本领域通用的标准SIFT方法，只是标准SIFT方法在计算梯度方向的时候，计算出的梯度方向Dir为0-360度，而本发明实施例中，根据上述考虑对其进行修改：Dir＝Dir％180。

步骤S4，利用所述步骤S3得到的两幅重叠图像的SIFT特征点的特征相似度、尺度和距离约束进行特征点匹配，得到匹配成功的特征点对；

设红外遥感重叠图像中的特征点记为feat1，其尺度为s1，位置为(x1，y1)，特征描述子为descr1；可见光遥感重叠图像中的特征点记为feat2，其尺度为s2，位置为(x2，y2)，特征描述子为descr2，其中，各特征点的尺度和位置信息均是在所述步骤S3提取特征点时得到的。

如果上述两个特征点满足如下式所示的特征相似度、尺度和距离约束，则认为特征点feat1和feat2为一个匹配成功的特征点对：

DescrDist(descr1，descr2)＜descrThres，

s1/s2＞0.5&s1/s2＜2，

$\sqrt{{(x1-x2)}^2+{(y1-y2)}^2}<\mathrm{distThres},$

其中，DescrDist为特征点描述子之间的距离，descr1，descr2分别表示相应特征点的特征描述子，descrThres为特征描述子的距离阈值，distThres为特征点之间的距离阈值。在本发明的实施例中，使用欧式距离计算特征点之间的距离，且令descrThres＝0.25，distThres＝20。

步骤S5，根据所述步骤S4得到的特征点对在所述显著性图像中相应位置的像素点的值对特征点对之间的相似度进行加权，并根据加权后的各个特征点对之间的相似度对各个特征点对进行排序；

对所述特征点对之间的相似度加权是为了综合考虑特征点对之间的相似度和该特征点对位置的显著性。

匹配成功的每一个特征点对包含两个特征点，其中一个特征点是红外遥感重叠图像中的特征点，一个特征点是可见光遥感重叠图像中的特征点，根据这两个特征点分别在各自图像中的位置，得到其分别在显著性图像中相应位置的像素点的值sal1，sal2，设该特征点对中特征点描述子之间的距离为DescrDist，则对特征点对之间的相似度进行的加权可以表示为：

(1-DescrDist)*MAX(sal1，sal2)

其中，1-DescrDist表示特征点对之间的相似度。

步骤S6，根据加权排序后的特征点对集合计算变换矩阵；

设排序后的特征点对集合为PAIR＝{pair-1，pair-2，…，pair-i，…，pair-n}，其中，pair-i表示特征点对，n为特征点对的个数。该集合中，排在前面的特征点对表示相似度较高的特征点对。

接下来要进行多次迭代来求取变换矩阵：

令迭代次数为N，在第i次迭代中，首先获取所述集合中与pair-i具有平移一致性的所有特征点对组成特征点对子集合；

设pair-i的两个特征点的位置为(x1i，y1i)，(x2i，y2i)，则平移一致性的要求可以表示为，对于特征点对集合PAIR中除第i个特征点对外的其他特征点对pair-j(j≠i)，如果满足如下要求，则认为其与pair-i具有平移一致性：

dxi＝x1i-x2i，

dyi＝y1i-y2i，

dxj＝x1j-x2j，

dyj＝y1j-y2j，

$\sqrt{{(\mathrm{dxi}-\mathrm{dxj})}^2+{(\mathrm{dyi}-\mathrm{dyj})}^2}<\mathrm{transThres},$

其中，(x1j，y1j)，(x2j，y2j)为特征点对pair-j的两个特征点的位置，transThres是平移阈值，在本发明的实施例中，取值为10。

然后，在所述特征点对子集合上使用本领域通用的RANSAC(随机抽样一致性)方法来计算变换矩阵，并得到内点数目Mi；

最后，遍历特征点对子集合中所有的特征点对，取遍历过程中产生最大内点数M的变换矩阵作为要求得的变换矩阵。

在迭代过程中，保存之前迭代过程中出现的最大内点数，将其记为M(M的初始值设为0)，如果Mi＞M，则将Mi的值赋给M，并保存本次迭代得到的变换矩阵。本发明的实施例中，迭代次数N设为200。

步骤S7，根据所述变换矩阵，将所述红外遥感图像变换到与所述可见光遥感图像相同的坐标系中，得到与所述可见光遥感图像配准的红外遥感图像。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于显著区域分析的红外与可见光遥感图像配准方法，其特征在于，该方法包括以下步骤：

步骤S1，根据经纬度信息计算红外与可见光遥感图像的重叠区域，并对所述红外与可见光遥感图像中的重叠区域进行尺度归一化，得到具有相同尺度和相同方向的红外遥感重叠图像与可见光遥感重叠图像，所述红外与可见光遥感图像为带有地理定位信息也就是经纬度信息的、经过了方向校正的红外与可见光遥感图像；

步骤S2，基于归一化后的所述红外遥感重叠图像与可见光遥感重叠图像，根据特征一致性原则提取所述红外遥感重叠图像中有利于进行特征匹配的显著区域，相应地得到用于图像配准的显著性图像；

步骤S3，分别提取归一化后的所述红外遥感重叠图像与可见光遥感重叠图像中的尺度不变特征变换SIFT特征点，并计算相应特征点的特征描述子；

步骤S4，利用所述步骤S3得到的两幅重叠图像的SIFT特征点的特征相似度、尺度和距离约束进行特征点匹配，得到匹配成功的特征点对；

步骤S5，根据所述步骤S4得到的特征点对在所述显著性图像中相应位置的像素点的值对特征点对之间的相似度进行加权，并根据加权后的各个特征点对之间的相似度对各个特征点对进行排序；

步骤S6，根据加权排序后的特征点对集合计算变换矩阵；

步骤S7，根据所述变换矩阵，将所述红外遥感图像变换到与所述可见光遥感图像相同的坐标系中，得到与所述可见光遥感图像配准的红外遥感图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中对所述红外与可见光遥感图像中的重叠区域进行尺度归一化的步骤进一步包括：

步骤S11，根据各自的图像分辨率计算所述红外与可见光遥感图像的相对像元尺寸；

步骤S12，截取所述红外与可见光遥感图像的重叠区域，得到红外与可见光遥感图像的重叠图像；

步骤S13，根据所述相对像元尺寸将截取得到的两幅重叠图像调整到同样的尺度。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2中，所述有利于进行特征匹配的显著区域指的是具有良好特征一致性的区域，即两幅重叠图像的该区域中均具有明显的纹理和结构特征，并且特征具有一定相似度。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括以下几个步骤：

步骤S21，分别对红外遥感重叠图像和可见光遥感重叠图像进行降采样处理；

步骤S22，在经过降采样处理的红外遥感重叠图像上提取显著边缘特征点，即其梯度值大于指定阈值的边缘点，得到所述红外遥感重叠图像的边缘图像；

步骤S23，根据所述步骤S22检测到的红外遥感重叠图像的边缘图像提取红外遥感重叠图像的轮廓曲线，并仅保留其中长度均大于指定阈值的轮廓曲线；

步骤S24，对于所述步骤S23得到的红外遥感重叠图像中的每一个轮廓曲线，通过在降采样处理后的可见光遥感重叠图像中寻找其对应匹配结果来计算每一个轮廓曲线的匹配度；

步骤S25，根据所述每一个轮廓曲线的匹配度对所述轮廓曲线附近区域的所有像素点进行赋值，即将所述轮廓曲线附近区域的所有像素点赋值为该轮廓曲线的匹配度，具有高匹配度的区域即为显著区域。

5.根据权利要求4所述的方法，其特征在于，所述步骤S24中寻找对应匹配结果的步骤进一步包括如下步骤：

步骤S241，在可见光遥感重叠图像上提取边缘点，且只保留梯度值大于指定阈值的边缘点；

步骤S242，对于红外遥感重叠图像中的某个轮廓曲线C，将其与可见光遥感重叠图像进行匹配，并计算该轮廓曲线C的匹配度。

6.根据权利要求5所述的方法，其特征在于，所述步骤S242中，将该轮廓曲线C上面的每一个点记为pi，设其坐标为(xi，yi)，如果在可见光遥感重叠图像中以坐标(xi，yi)为中心，以r为半径的范围内存在与点pi的梯度方向相同的点，则认为点pi在可见光遥感重叠图像中存在匹配点，同时在可见光遥感重叠图像中去除该匹配点，以避免重复匹配。

7.根据权利要求5所述的方法，其特征在于，若轮廓曲线C的长度为N，在可见光遥感图像的重叠图像中匹配得到的匹配点的数目为NR，则该轮廓曲线C的匹配度为P＝NR/N。

8.根据权利要求1所述的方法，其特征在于，所述步骤S4中，设红外遥感重叠图像中的特征点记为feat1，其尺度为s1，位置为(x1，y1)，特征描述子为descr1；可见光遥感重叠图像中的特征点记为feat2，其尺度为s2，位置为(x2，y2)，特征描述子为descr2；

若两个特征点满足如下式所示的特征相似度、尺度和距离约束，则认为特征点feat1和feat2为一个匹配成功的特征点对：

DescrDist(descr1，descr2)＜descrThres，

s1/s2＞0.5&s1/s2＜2，

$\sqrt{{(x1-x2)}^2+{(y1-y2)}^2}<\mathrm{distThres},$

其中，DescrDist为特征点描述子之间的距离，descr1，descr2分别表示相应特征点的特征描述子，descrThres为特征描述子的距离阈值，distThres为特征点之间的距离阈值。

9.根据权利要求1所述的方法，其特征在于，所述步骤S5中，所述对特征点对之间的相似度进行加权表示为：

(1-DescrDist)*MAX(sal1，sal2)，

其中，1-DescrDist表示特征点对之间的相似度，sal1、sal2分别为显著性图像中，与该特征点对中的两个特征点在各自图像中的位置相应的位置的像素点的值，DescrDist为该特征点对中特征点描述子之间的距离。

10.根据权利要求1所述的方法，其特征在于，设排序后的特征点对集合为PAIR＝{pair-1，pair-2，…，pair-i，…，pair-n}，其中，pair-i表示特征点对，n为特征点对的个数；

所述步骤S6中：

首先获取所述集合中与pair-i具有平移一致性的所有特征点对组成特征点对子集合；

然后，在所述特征点对子集合上使用随机抽样一致性RANSAC方法来计算变换矩阵，并得到内点数目Mi；

最后，遍历特征点对子集合中所有的特征点对，取遍历过程中产生最大内点数M的变换矩阵作为要求得的变换矩阵。

11.根据权利要求10所述的方法，其特征在于，设pair-i的两个特征点的位置为(x1i，y1i)，(x2i，y2i)，则所述平移一致性的要求可以表示为，对于特征点对集合PAIR中除第i个特征点对外的其他特征点对pair-j(j≠i)，如果满足如下要求，则认为其与pair-i具有平移一致性：

dxi＝x1i-x2i，

dyi＝y1i-y2i，

dxj＝x1j-x2j，

dyj＝y1j-y2j，

$\sqrt{{(\mathrm{dxi}-\mathrm{dxj})}^2+{(\mathrm{dyi}-\mathrm{dyj})}^2}<\mathrm{transThres},$

其中，(x1j，y1j)，(x2j，y2j)为特征点对pair-j的两个特征点的位置，transThres是平移阈值。

Images