CN103337077B - 一种基于多尺度分割和sift的可见光与红外图像配准的方法 - Google Patents

Abstract

本发明公开了一种基于多尺度分割和SIFT的可见光与红外图像配准的方法，包括：步骤1，对可见光图像和红外图像分别进行预处理，其中对可见光图像进行高斯滤波处理，对红外图像进行线性增强处理；步骤2，设定初始参数值包括尺度因子、紧凑因子和形状因子，对预处理后的可见光和红外图像分别进行多尺度图像分割；步骤3，对多尺度图像分割后的可见光与红外图像进行SIFT配准，找出同名点选择变换模型计算参数对源图像进行配准；步骤4和步骤5，判断：若可见光与红外图像未配准或者配准的精度没有满足设定的阈值要求，则返回步骤2对多尺度图像分割方法的参数值进行调整；直至可见光与红外图像的配准精度满足设定的阈值要求，停止迭代，输出配准结果。

Description

一种基于多尺度分割和SIFT的可见光与红外图像配准的方法

技术领域

本发明涉及遥感影像处理技术领域，尤其是涉及一种基于多尺度分割和SIFT的可见光与红外图像配准的方法。

背景技术

图像配准(ImageRegistration)技术是将相同地区，在不同视角、不同时刻、不同传感器或不同光照条件拍摄的图像进行空间对准的过程，该技术是异源空间数据获取和集成过程中极为关键的步骤，寻找最佳的几何变换参数是图像配准的最终目的。可见光传感器因其获取的图像分辨率非常高，并且所获取的图像与人目视效果一致，一直是遥感领域中重要的传感器之一。但可见光影像受云层状况、成像时间等天气条件影响较大。与可见光传感器相比，红外传感器具有被动工作方式、抗干扰性强、目标识别能力强、全天候工作等特点。另一方面由于总体上来说红外图像具有对比度低、边缘模糊、信噪比低、成分复杂等缺点，受大气热辐射、远作用距离、探测器噪声等因素影响，成像传感器探测到的目标的局部细节的灰度差异不明显，特别是在检测到的信号相对较弱、背景有非平稳起伏干扰的情况下，目标边缘有可能被大量杂波、噪声所淹没，从而导致图像信噪比降低、形状和结构的信息不足，因此利用两者互补的特性，将两类图像进行融合，可以获得地物目标更为本质、更为客观的特征，从而可以为目标识别、目标分类、目标提取及解译提供更为准确的依据，而图像融合的前提为图像配准，因而研究有效的可见光与红外图像配准方法具有很现实的意义。

对于可见光影像和红外影像的配准，由于其成像机理差异很大，使得可见光影像和红外影像的配准存在很多问题及难点。可见光影像和红外影像截然不同的成像机理也造成两类影像同名特征的提取以及配准难度的极大增加，而可见光影像与红外影像配准技术也成为二者信息集成的“瓶颈”。这也使得可见光影像与红外影像的配准问题成为目前的研究焦点。传统的影像配准方法并不适合于可见光与红外影像的配准问题中，需要对其进行改进。目前可见光影像和红外影像配准方法大致可分为两类：基于区域的配准方法和基于特征的配准方法。

（1）基于区域的配准方法：

基于区域的配准方法，无需对源图像进行复杂的预处理，该方法以整幅图像或局部区域的灰度信息为依据，建立待配准图像和基准图像之间的相似度量，利用某种搜索算法，寻找出相似度量达到最优值时的变换模型中的参数值，因此也被称为直接配准法，其特点是实现起来比较简单，并且具有较高的配准精度。基于图像灰度的图像配准方法，针对具体问题选取不同的相似性度量准则，常用的相似性度量准则有：互相关算法、序贯相似性检测算法和互信息相似性度量准则。

互相关算法是1982年提出的最早的基于区域灰度的图像配准方法，该方法的原理是：采用一幅图像X作为源图像和一个尺寸小于X的模板T，然后定义表征模板在每一个平移位置与源图像X的相似度的交叉相关函数F，模板T以某一平移量在源图像X中移动，当交叉相关函数F出现峰值时，即模板T与源图像X已经配准了。但是采用这种方法时需要非常巨大的运算量才能搜索出最佳匹配位置。

为了减少搜索的运算量，加快搜索最佳匹配位置的效率，后来出现了基于序贯相似性的检测的算法（SSDA）。基于序贯相似性的检测的算法与互相关算法相比，有两方面的优势：一方面采用了简单的相似性度量准则E(u,v)，因为新准则不需要大量的乘法运算，所以省去了很大的运算量；另一方面采用了序贯搜索策略，新准则的实质误差绝对值的累加和，在图像能够完成匹配的位置区域，E(u,v)的值增长速度非常缓慢，而在不能够完成匹配的位置区域，E(u,v)的值增长速度非常快，所以可以采用一个误差阈值，当累积误差超过这个阈值时，则在相应位置提前停止迭代运算，转到下一个位置再计算E(u,v)，由于满足匹配条件的位置只有少量的几个点，所以序贯搜索策略能够提高搜索速度，极大的节省了搜索时间。

基于互信息相似性度量准则的配准方法可以克服对图像灰度变化和图像本身的畸变的适应能力较弱的缺点。互信息最初是用来比较两幅图像之间的统计相关性或者是一幅图中包含另一幅图像信息的多少。首先将两幅图像的灰度信息看做具有独立样本空间的均匀随机过程，分别设两幅图像灰度信息的随机变量是A和B，则两幅图像之间的互信息表示为：

其中H(A)、H(B)和H(A,B)分别为随机变量A的熵、随机变量B的熵、A和B的联合熵。两幅图像之间存在的相关性最大时，联合熵达到最小值，互信息量将是最大值，即两幅图像已经配准。基于互信息的相似性度量准则的方法没有要求图像中的灰度值为线性关系，所以能够解决多源图像的配准的问题，得到了广泛的应用。但该方法是建立在概率密度函数估计的基础之上，所以概率密度函数的估计是其前提和主要难点。

基于待配准图像灰度信息的配准方法主要以图像中的灰度信息为依据开展，对于同一类传感器获取的图像，两幅图像中的灰度信息表现出较强的相关性，该方法能够取得较好的配准效果，但是针对可见光与红外图像等其它异源传感器获取的异源图像，由于在成像机理上存在差异，在图像中呈现出的灰度信息也具有不同程度的差异，因此此类方法针对可见光与红外图像只局限与灰度信息相关性大的可见光与近红外图像。

（2）基于特征的配准方法：

基于特征的图像配准方法是目前异源影像最常用的图像配准算法之一，该算法需要提取待配准图像中的点、线、区域等特征信息，不需要其它复杂信息，这样使得参与运算的信息大大减少，从而有效的提高了算法效率，并且该算法只需要特征信息，对图像灰度变化具有一定的鲁棒性。但是，正是由于该算法只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感。根据选取的特征信息不同，把基于特征的图像配准方法划分为三大类：特征点、特征区域、特征边缘。

特征点是最常用的图像特征信息之一，一般选取的特征点是相对于其邻域表现出来的具有某种奇异性的像素点。特征点往往容易被提取到，但是特征点所含信息量相对较少，只能反映出其在图像中的位置坐标信息，所以在两幅图像中寻找同名点是特征点配准方法的关键所在。彭逸月、何伟基等人提出了一种基于特征点的红外和可见光图像的配准方法，该方法首先根据边缘图像的结构分别提取红外图像特征点和可见光图像特征点，其次根据结合了形状结构和灰度、梯度信息配准准则寻找两幅图像的对应特征点，最后利用三对特征点根据变换模型得到图像的缩放倍率、旋转角度和平移坐标，从而实现了两幅图像的配准。

在图像中寻找某些明显的区域信息作为特征区域，然而在实际应用中寻找到特征区域后，采用最多的还是区域的形心点，所以这类算法要求特征区域提取的精确性非常高。陈洁、付冬梅等人提出了一种基于图像轮廓特征的红外与可见光图像配准方法，该方法首先通过设置目标过滤器来提取明显的轮廓，再利用部分Hausdorff距离对轮廓进行匹配，计算出匹配轮廓对的面积和质心，并以此作为配准依据来对源图像进行配准。

图像中另一明显的特征就是边缘特征，图像中的边缘特征比较容易提取，因此这类方法的鲁棒性较强，适用范围较广，但是此类方法对边缘特征提取要求较高，并且要求边缘特征信息全部用数学语言表述出来也比较困难。针对可见光与红外图像的配准问题，王阿妮、马彩文等人在传统的基于边缘相关匹配配准的基础上提出了一种改进方法，该方法首先手动选取待配准图像与参考图像中包含同一目标的子图像，接着利用Canny算子提取子图像的边缘和子图像的边缘相关性，求取出子图像间的仿射变换模型参数，再进一步修正该参数，得到原图像之间的仿射变换模型，然后对待配准图像进行仿射变换及双线性插值，从而实现图像配准。

综上所述针对可见光与红外影像的配准问题，基于特征的配准方法较基于区域的配准方法具有很好的鲁棒性，故基于图像配准信息的配准方法一直是异源图像配准领域研究的热点。但由于两类图像成像原理不同表现在灰度上存在较大差异，故采用提取特征信息进行图像配准是一种行之有效的方法，但大多数情况下图像的特征信息提取不准确从而导致后续配准过程出现较大误差，这就需要在异源图像提取特征信息前采用一些手段对图像进行处理如图像分割等，使得两幅图像中更容易提取出有效的特征信息。

发明内容

为了解决上述技术问题，本发明提出了一种基于多尺度分割和SIFT的可见光与红外图像配准的方法。

本发明所采用的技术方案是：一种基于多尺度分割和SIFT的可见光与红外图像配准的方法，其特征在于，包括以下步骤：

步骤1：确定可见光源图像和红外源图像，分别对所述的可见光源图像和红外源图像进行预处理，所述的预处理包括对所述的可见光源图像采取高斯滤波的方法进行处理和对所述的红外源图像进行线性增强处理；

步骤2：设定初始参数值，所述的初始参数值包括尺度因子、紧凑度因子和形状因子，对所述的预处理后的可见光图像和红外图像分别进行多尺度图像分割；

步骤3：对所述的多尺度分割后的可见光图像和红外图像采用SIFT方法找出同名点，选择多项式纠正模型计算变换参数对所述的可见光源图像和红外源图像进行配准；

步骤4：判断：

若所述的可见光图像和红外图像不存在同名点，则返回执行所述的步骤2，对所述的参数值进行调整后，对所述的预处理后的可见光图像和红外图像分别进行多尺度图像分割；

若所述的可见光图像和红外图像存在同名点，则执行步骤5；

步骤5：判断：

若所述的可见光图像和红外图像未配准或者配准的精度没有满足设定的阈值要求，则返回执行所述的步骤2，对所述的参数值进行调整后，对所述的预处理后的可见光图像和红外图像分别进行多尺度图像分割；

若所述的可见光图像和红外图像配准的精度满足设定的阈值要求，则停止迭代，输出配准结果。

作为优选，所述的多尺度图像分割方法为基于凸面模型的多尺度图像分割方法。

作为优选，所述的可见光图像进行多尺度图像分割的初始参数值分别为：尺度因子60、紧凑度因子和形状因子为0.5；红外图像进行多尺度图像分割的初始参数值分别为：尺度因子90、紧凑度因子和形状因子为0.5。

作为优选，若所述的同名点≥3个，则采用多项式纠正的方法对所述的可见光图像与红外图像进行纠正配准。

作为优选，所述的多尺度图像分割方法的参数值进行调整，其参数调整规则为首先保持所述的可见光图像多尺度图像分割参数尺度因子的初始参数值V₁不变，所述的红外图像多尺度图像分割参数尺度因子的初始参数值V₂以10为步长增加，而后所述的可见光图像多尺度图像分割参数尺度因子以10为步长增加，重复上述步骤对所述的可见光图像和红外图像进行多尺度分割，至V₁迭代3次此时可见光图像多尺度分割参数尺度因子为90，V₂迭代9次此时红外图像多尺度分割参数尺度因子为180时，所述的可见光图像和红外图像配准的精度满足设定的阈值要求。

作为优选，所述的红外图像多尺度图像分割参数尺度因子的初始参数值V₂=1.5V₁。

作为优选，所述的设定的阈值为一个像素。

本发明提出的方法提供一种可见光图像与红外图像的配准方法，与传统的方法相比，本发明具有以下优点：

（1）针对可见光图像和红外图像，提出了一种基于多尺度分割和SIFT相结合的可见光图像与红外图像配准方法，提高了可见光图像与红外图像配准方法的普适性和鲁棒性；

（2）提出了一种基于多尺度分割理论迭代反馈的配准方法，提高了配准精度，为异源图像配准提供了新的技术方案。

附图说明

图1：本发明的方法流程图。

图2：本发明具体实施例的可见光源图像。

图3：本发明具体实施例的红外源图像。

图4：本发明具体实施例的可见光图像多尺度分割结果图。

图5：本发明具体实施例的红外图像多尺度分割结果图。

图6：本发明具体实施例的可见光图像中有效的SIFT同名点。

图7：本发明具体实施例的红外图像中有效的SIFT同名点。

图8：本发明具体实施例的可见光图像与红外图像配准效果图（1/2部分配准）。

图9：本发明具体实施例的可见光图像与红外图像配准效果图（3/4部分配准）。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

请见图1，本发明所采用的技术方案是：一种基于多尺度分割和SIFT的可见光与红外图像配准的方法，包括以下步骤：

步骤1：确定可见光源图像和红外源图像，分别对可见光源图像和红外源图像进行预处理，预处理包括对可见光源图像采取高斯滤波的方法进行处理和对红外源图像进行线性增强处理；

步骤2：设定初始参数值，初始参数值包括尺度因子、紧凑度因子和形状因子，对预处理后的可见光图像和红外图像分别进行多尺度图像分割；

步骤3：对所述的多尺度分割后的可见光图像和红外图像采用SIFT方法找出同名点，选择多项式纠正模型计算变换参数对所述的可见光源图像和红外源图像进行配准；

步骤4：判断：

若可见光图像和红外图像不存在同名点，则返回执行步骤2，对参数值进行调整后，对预处理后的可见光图像和红外图像分别进行多尺度图像分割；

若可见光图像和红外图像存在同名点，则执行步骤5；

步骤5：判断：

若可见光图像和红外图像未配准或者配准的精度没有满足设定的阈值要求，则返回执行步骤2，对参数值进行调整后，对预处理后的可见光图像和红外图像分别进行多尺度图像分割；

若可见光图像和红外图像配准的精度满足设定的阈值要求，则停止迭代，输出配准结果。

以下通过具体可见光图像和红外图像来阐述本方法；请见图2，为本发明所采用的可见光源图像，请见图3，为本发明所采用的红外源图像。

步骤1：确定可见光源图像和红外源图像，分别对可见光源图像和红外源图像进行预处理，预处理包括对可见光源图像采取高斯滤波的方法进行处理和对红外源图像进行线性增强处理；

实际应用中的可见光图像中含有噪声，一般采用高斯滤波的方法进行消除，而红外图像呈现整体灰度较低且集中、对比度不高，故采用图像增强的方法进行预处理。

步骤2：设定初始参数值，初始参数值包括尺度因子、紧凑度因子和形状因子，对预处理后的可见光图像和红外图像分别进行多尺度图像分割；

本方法所采用的多尺度图像分割方法为基于凸面模型的多尺度图像分割方法，该方法中的参数包括尺度因子、紧凑度因子和形状因子，而尺度因子是多尺度图像分割方法中最关键的一个参数。本方法中只以尺度因子作为参数调整的对象，另两个参数：紧凑度因子和形状因子均设置为0.5且保持不变。因红外图像对同类地物因温度不同而表现出较可见光图像的复杂性，故红外图像采用较大的尺度参数进行分割，而可见光图像则采用较小的尺度参数进行分割才尽可能得到更多的同名区域。可见光图像进行多尺度分割的初始参数赋值分别为：尺度因子60，紧凑度因子和形状因子为0.5，红外图像进行多尺度分割的初始参数赋值分别为：尺度因子90，紧凑度因子和形状因子为0.5；请见图4，为本发明的可见光图像多尺度分割结果图；图5，为本发明的红外图像多尺度分割结果图。

步骤3：对所述的多尺度分割后的可见光图像和红外图像采用SIFT方法找出同名点，选择变换模型计算参数对所述的可见光源图像和红外源图像进行配准；本方法只考虑可见光图像与红外图像只存在仿射变换，如能找到3个或3个以上的同名点，采用多项式纠正的方法对两幅图像进行纠正配准；请见图6，为本发明的可见光图像中有效的SIFT同名点；图7，为本发明的红外图像中有效的SIFT同名点。

步骤4：判断：若可见光图像和红外图像不存在同名点，则返回执行步骤2，对参数值进行调整后，对预处理后的可见光图像和红外图像分别进行多尺度图像分割；若可见光图像和红外图像存在同名点，则执行步骤5；

本发明的多尺度图像分割方法的参数值进行调整，其参数调整规则为首先保持可见光图像多尺度图像分割参数尺度因子的初始参数值V₁不变，红外图像多尺度图像分割参数尺度因子的初始参数值V₂（V₂=1.5V₁）以10为步长增加，而后可见光图像多尺度图像分割参数尺度因子以10为步长增加，重复上述步骤对可见光图像和红外图像进行多尺度分割，至V₁迭代3次此时可见光图像多尺度分割参数尺度因子为90，V₂迭代9次此时红外图像多尺度分割参数尺度因子为180时，所述的可见光图像和红外图像配准的精度满足设定的阈值要求，即一个像素之内。

步骤5：判断：若可见光图像和红外图像未配准或者配准的精度没有满足设定的阈值要求，则返回执行步骤2，对参数值进行调整后，对预处理后的可见光图像和红外图像分别进行多尺度图像分割；若可见光图像和红外图像配准的精度满足设定的阈值要求，则停止迭代，输出配准结果；请见图8，为本发明的可见光图像与红外图像配准效果图（1/2部分配准）；图9，为本发明的可见光图像与红外图像配准效果图（3/4部分配准）。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多尺度分割和SIFT的可见光与红外图像配准的方法，其特征在于，包括以下步骤：

步骤1：确定可见光源图像和红外源图像，分别对所述的可见光源图像和红外源图像进行预处理，所述的预处理包括对所述的可见光源图像采取高斯滤波的方法进行处理和对所述的红外源图像进行线性增强处理；

步骤2：设定初始参数值，所述的初始参数值包括尺度因子、紧凑度因子和形状因子，对所述的预处理后的可见光图像和红外图像分别进行多尺度图像分割；

步骤3：对所述的多尺度分割后的可见光图像和红外图像采用SIFT方法找出同名点，选择多项式纠正模型计算变换参数对所述的可见光源图像和红外源图像进行配准；

步骤4：判断：

若所述的可见光图像和红外图像不存在同名点，则返回执行所述的步骤2，对所述的参数值进行调整后，对所述的预处理后的可见光图像和红外图像分别进行多尺度图像分割；

若所述的可见光图像和红外图像存在同名点，则执行步骤5；

步骤5：判断：

若所述的可见光图像和红外图像未配准或者配准的精度没有满足设定的阈值要求，则返回执行所述的步骤2，对所述的参数值进行调整后，对所述的预处理后的可见光图像和红外图像分别进行多尺度图像分割；其参数调整规则为首先保持所述的可见光图像多尺度图像分割参数尺度因子的初始参数值V₁不变，所述的红外图像多尺度图像分割参数尺度因子的初始参数值V₂以10为步长增加，而后所述的可见光图像多尺度图像分割参数尺度因子以10为步长增加，重复上述步骤对所述的可见光图像和红外图像进行多尺度分割，至V₁迭代3次此时可见光图像多尺度分割参数尺度因子为90，V₂迭代9次此时红外图像多尺度分割参数尺度因子为180时，所述的可见光图像和红外图像配准的精度满足设定的阈值要求；

若所述的可见光图像和红外图像配准的精度满足设定的阈值要求，则停止迭代，输出配准结果。

2.根据权利要求1所述的基于多尺度分割和SIFT的可见光与红外图像配准的方法，其特征在于：所述的多尺度图像分割方法为基于凸面模型的多尺度图像分割方法。

3.根据权利要求1或2所述的基于多尺度分割和SIFT的可见光与红外图像配准的方法，其特征在于：所述的可见光图像进行多尺度图像分割的初始参数值分别为：尺度因子60、紧凑度因子和形状因子为0.5；红外图像进行多尺度图像分割的初始参数值分别为：尺度因子90、紧凑度因子和形状因子为0.5。

4.根据权利要求1所述的基于多尺度分割和SIFT的可见光与红外图像配准的方法，其特征在于：若步骤3中所述的同名点≥3个，则采用多项式纠正的方法对所述的可见光图像与红外图像进行纠正配准。

5.根据权利要求1所述的基于多尺度分割和SIFT的可见光与红外图像配准的方法，其特征在于：所述的红外图像多尺度图像分割参数尺度因子的初始参数值V₂=1.5V₁。

6.根据权利要求1所述的基于多尺度分割和SIFT的可见光与红外图像配准的方法，其特征在于：所述的设定的阈值为一个像素。