CN110223330A - 一种可见光和红外图像的配准方法及系统 - Google Patents

Abstract

本发明公开了一种可见光图像和红外图像的配准方法，其包括步骤：(1)采集电力设备的可见光图像和红外图像；(2)对红外图像和可见光图像进行初次配准，以得到初次配准点对；采用有限离散剪切波变换对可见光图像进行频域分析，以合成可见光退化图像；(3)提取红外图像和可见光退化图像的图像边缘；采用在初次配准点对中任意取三对点对以获得仿射变换矩阵集合，求得仿射变换矩阵集合中使得图像边缘相关度最高的集合，以得到最优的三对配准点对，构建配准点邻域；以选定的亚像素单位在配准点邻域内遍历查找使得仿射边缘相关度最高的亚像素点，并最终得到配准点对；(4)基于最终的配准点对对红外图像和可见光退化图像进行配准。

Description

一种可见光和红外图像的配准方法及系统

技术领域

本发明涉及一种图像配准方法及系统，尤其涉及一种可见光图像的配准方法及系统。

背景技术

对于电力设备空间位置测量，能否对红外图像以及可见光图像进行有效准确的配准是非常重要的，这会直接影响最终是否可以获得误差较小的测量结果。然而，由于红外图像和可见光图像在分辨率和色彩上存在的巨大差异，从而使得红外图像与可见光图像的配准较难实现，其中，在分辨率上，红外图像大多在“300×400”内，远低于普通可见光图像的分辨率“1080×1920”，这导致红外图像灰度细节丢失严重、图像模糊，与可见光灰度图像中清晰的纹理具有较大差异。另外，红外传感器成像机理与可见光传感器的成像机理不同，同一目标在异源图像中色彩表现差异大，例如可见光图像中灰度值较小(可见光图像显示较黑)的物体可能温度较高，导致该物体在红外图像中的灰度值偏高(或者，物体的温度较低导致其在红外图像中的灰度值偏低)，从而与可见光图像中成像的色彩截然不同。这样巨大的差异导致配准难度在只利用PIIFD描述子匹配时，红外和可见光图像匹配精度相对同源图像低很多。

基于此，期望获得一种新的配准方法，其可以实现可见光图像和红外图像之间的配准。

发明内容

本发明的目的之一在于提供一种可见光图像和红外图像的配准方法，该配准方法可以利用有限离散剪切波变换和迭代配准解决可见光图像与红外图像之间分辨率差异大的问题，并且通过配准点邻域亚像素优化解决可见光图像与红外图像之间的色彩差异大的问题。

基于上述目的，本发明提出了一种可见光图像和红外图像的配准方法，其包括步骤：

(1)采集电力设备的可见光图像和红外图像；

(2)对红外图像和可见光图像进行初次配准，以得到初次配准点对；采用有限离散剪切波变换对可见光图像进行频域分析，以分解得到若干子图像，在若干子图像中选取高频域子图像和中频域子图像进行有限离散剪切波变换反变换，以合成可见光退化图像；

(3)提取红外图像和可见光退化图像的图像边缘；采用在初次配准点对中任意取三对点对以解得一组仿射变换矩阵的方式获得仿射变换矩阵集合，求得仿射变换矩阵集合中使得图像边缘相关度最高的集合，以得到最优的三对配准点对；

以该最优的三个配准点对为中心，构建配准点邻域；以选定的亚像素单位在配准点邻域内遍历查找使得仿射边缘相关度最高的亚像素点，将得到的亚像素点作为最终的配准点对；

(4)基于最终的配准点对对红外图像和可见光退化图像进行配准。

在本发明所述的可见光图像和红外图像的配准方法中，由于红外图像和可见光图像的分辨率差异大，但可以通过仿射变换矩阵的方式将红外图像与可见光图像之间的差异减小，从而使得经过处理后的图像之间进行配准时降低分辨率差异大所带来的影响。另外，虽然红外图像和可见光图像的色彩差异虽然较大，但是二者之间具有明显相同的轮廓，因此，也可以通过图像边缘度进行最终的配准。

进一步地，在本发明所述的可见光图像和红外图像的配准方法中，初次配准包括步骤：

对可见光图像和红外图像进行角点检测；

确定各角点的主方向；

基于角点选取角点邻域，将角点邻域划分为若干个子区域；

基于角点邻域得到PIIFD描述子；

采用PIIFD描述子进行双边匹配算法，以得到初次配准点对。

在上述方案中，PIIFD描述子是一种局部强度特征不变描述子，其结合了图像的灰度以及梯度特征，可以作为图像特征点的主要属性。

提取PIIFD描述子前需要为每个角点分配主方向，建立描述子和主方向的匹配关系，以便实现图像的旋转不变性。由于红外图像和可见光图像的对于同一个像素点的梯度可能相同也可能相反，因此可以将梯度向量的角度限制在[0,π)内，以对于需要进行初次匹配的图像建立新的梯度向量，以使得修改后的新的梯度向量可以满足红外图像和可见光图像中相反的角点梯度转换到相同的方向。

随后角点邻域像素窗口内的梯度进行矢量累加。在此过程中，累加可能造成相反的梯度相互抵消，而使得最终的角点梯度向量为0向量，因而，可以引入梯度平方向量，以便最终获得每个角点的主方向。

为了保证PIIFD描述子的旋转不变性，计算角点邻域梯度方向的过程中，以角点主方向为基准方向，即0°方向。

进一步地，在本发明所述的可见光图像和红外图像的配准方法中，基于最近邻优先法进行初次配准，以增强匹配结果的准确性。

进一步地，在本发明所述的可见光图像和红外图像的配准方法中，

基于角点选取4×4邻域，将其划分为16个子区域，则整个邻域的梯度向量为：

则PIIFD描述子被表示为Des：

H_i＝[H_i1 H_i2 H_i3 H_i4]

Q_i＝[Q_i1 Q_i2 Q_i3 Q_i4]

Q表示辅助矩阵，Q＝rot(H，180°)，式中的i＝1或2。

上述方案中，考虑到可见光图像以及红外图像中存在大量的梯度反向的情况，为了保证局部强度不变，可以对邻域的梯度做出修改，例如对梯度幅值做分段加权处理，对前20％的幅值大小赋予权重1，对20％～40％的赋予权重0.75，40％～60％赋予权重0.5，以此类推，幅值最小的20％部分权重为0。同时，可以将梯度方向限制在(0,π)内，把幅值相差π的梯度幅值累加，方向取较小者，以此达到降维的目的，将原始维度降低一半。

另外需要指出的是，在上述方案中，引入辅助矩阵Q是因为，虽然将角点主方向的梯度方向控制在了(0,π)内，但是针对红外图像和可见光图像仍存在相互旋转180°后的情况，因此需要引入辅助矩阵Q，以最终获得PIIFD描述子。

进一步地，在本发明所述的可见光图像和红外图像的配准方法中，采用Harris角点检测算法对可见光图像和红外图像进行角点检测。

上述方案中，角点被定义为两条边的交点，其局部邻域应该具有两个不同区域的不同方向的边界。而采用Harris角点检测算法进行图像角点提取，是因为其算法复杂度低、消耗计算机资源少。Harris角点检测算法是通过建立高斯数据窗口在图像中滑动，取滑动过程中像素变化最大的点为角点。Harris角点检测算法根据像素点的响应值R来判断其是否为角点，具体如下：

由于Harris角点检测算法是已知的现有技术，因此本案在此不再赘述。

由此，可以得到图像中的候选角点，并且利用极大值抑制的方式得到局部的响应函数R值最大的点即为最终结果。

并且，图像所提取的角点数量可以通过设置响应函数R值的阈值进行控制，阈值越大，角点越少，阈值越小，角点越多。

进一步地，在本发明所述的可见光图像和红外图像的配准方法中，初次配准还包括步骤：对初次配准点对进行主方向校验，将主方向差异很大的初次配准点对作为错配点对而从初次配准点对集合中删除，由此可以保证初次配准所匹配点是唯一确定的，并且消除错匹配的情况。

进一步地，在本发明所述的可见光图像和红外图像的配准方法中，采用Canny边缘检测算法提取红外图像和可见光退化图像的图像边缘。

进一步地，在本发明所述的可见光图像和红外图像的配准方法中，迭代进行所述步骤(2)-(3)若干次，以进一步提高最终配准点对的精确度；然后进行所述步骤(4)。

相应地，本发明的另一目的在于提供一种可见光图像和红外图像的配准系统，通过该配准系统可以利用有限离散剪切波变换和迭代配准解决可见光图像与红外图像之间分辨率差异大的问题，并且通过配准点邻域亚像素优化解决可见光图像与红外图像之间的色彩差异大的问题。

基于上述目的，本发明还提出了一种可见光图像和红外图像的配准系统，其执行上述的可见光图像和红外图像的配准方法，配准系统包括：

图像采集装置，其采集电力设备的可见光图像和红外图像；

处理模块，其执行所述步骤(2)，(3)和(4)。

本发明所述的可见光图像和红外图像的配准方法和系统相较于现有技术具有如下所述的优点以及有益效果：

本发明所述的配准方法可以利用有限离散剪切波变换和迭代配准解决可见光图像与红外图像之间分辨率差异大的问题，并且通过配准点邻域亚像素优化解决可见光图像与红外图像之间的色彩差异大的问题。

此外，本发明所述的配准系统也同样具有上述的优点以及有益效果。

附图说明

图1示意性地显示了本发明所述的可见光图像和红外图像的配准方法在一种实施方式下的初次配准的流程。

具体实施方式

下面将根据具体实施例及说明书附图对本发明所述的可见光图像和红外图像的配准方法和系统作进一步说明，但是该说明并不构成对本发明技术方案的不当限定。

在本实施方式中，可见光图像和红外图像的配准系统执行一种可见光图像和红外图像的配准方法，其中，配准系统包括图像采集装置以及处理模块，图像采集装置采集电力设备的可将光图像和红外图像，而处理模块则执行如下步骤：

(2)对红外图像和可见光图像进行初次配准，以得到初次配准点对；采用有限离散剪切波变换对可见光图像进行频域分析，以分解得到若干子图像，在若干子图像中选取高频域子图像和中频域子图像进行有限离散剪切波变换反变换，以合成可见光退化图像；

(3)提取红外图像和可见光退化图像的图像边缘；采用在初次配准点对中任意取三对点对以解得一组仿射变换矩阵的方式获得仿射变换矩阵集合，求得仿射变换矩阵集合中使得图像边缘相关度最高的集合，以得到最优的三对配准点对；

以该最优的三个配准点对为中心，构建配准点邻域；以选定的亚像素单位在配准点邻域内遍历查找使得仿射边缘相关度最高的亚像素点，将得到的亚像素点作为最终的配准点对；

(4)基于最终的配准点对对红外图像和可见光退化图像进行配准。

图1示意性地显示了本发明所述的可见光图像和红外图像的配准方法在一种实施方式下的初次配准的流程。

如图1所示，初次配准包括步骤：对可见光图像和红外图像进行角点检测；确定各角点的主方向；基于角点选取角点邻域，将角点邻域划分为若干个子区域；基于角点邻域得到PIIFD描述子；采用PIIFD描述子进行双边匹配算法，以得到初次配准点对。

上述方案中，由于PIIFD描述子是一种局部强度特征不变描述子，其结合了图像的灰度以及梯度特征，可以作为图像特征点的主要属性。首先对红外图像以及可见光图像进行Harris角点检测，角点可以被定义为两条边的交点，其局部邻域应该具有两个不同区域的不同方向的边界。在Harris角点检测中，其建立高斯数据窗口在图像中滑动，取滑动过程中像素变化最大的点即为角点，在本实施例中Harris角点检测根据像素点的角点响应函数值，判断其是否为角点。Harris角点检测如下所示进行判断：

由此，可以得到图像中的候选角点，并且利用极大值抑制的方式得到局部的响应函数R值最大的点即为最终结果。

此外，在本技术方案中，图像所提取的角点数量可以通过设置响应函数R值的阈值进行控制，阈值越大，角点越少，阈值越小，角点越多。

提取PIIFD描述子前需要为每个角点分配主方向，建立PIIFD描述子和主方向的匹配关系，以便实现图像的旋转不变性。由于红外图像和可见光图像的对于同一个像素点的梯度可能相同也可能相反的，因此必须将梯度向量的角度限制在[0,π)内，建立新的梯度向量，以使得红外图像和可见光图像中梯度相反的角点梯度转换到相同的方向。

随后，将角点邻域像素窗口内的梯度进行矢量累加，但累加会导致相反的梯度相互抵消，最终角点的梯度向量为0向量。为解决该问题，可以引入梯度平方向量，并最终获得每个角点的主方向。

为了保证PIIFD描述子的旋转不变性，计算角点邻域梯度方向的过程中，以角点主方向为基准方向，即0°方向。并且，取角点4×4邻域，将其划分为16个子区域，每个子区域计算8、10或16个梯度方向，即把360°等分为45°、36°或22.5°。用一个梯度直方柱代表一个梯度方向，以8个梯度方向为例，根据梯度统计后得到8个梯度向量，则所有子区域组成4×4×8＝128维向量。

考虑到电力设备的红外和可见光图像中存在大量的梯度反向的情况，而为了保证局部强度不变性则需要对邻域梯度方向做出修改，首先对梯度幅值做分段加权处理，对前20％的幅值大小赋予权重1，对20％～40％的赋予权重0.75，40％～60％赋予权重0.5，以此类推，幅值最小的20％部分权重为0。此外，为了将梯度方向限制在(0，π)内，把幅值相差π的梯度幅值累加，方向取较小者，以此达到降维的目的，最终将原始维度降低一半，即变为64维向量。

经过上述的处理后，整个邻域的梯度向量记为：

需要注意的是，即使在计算角点主方向时将梯度方向限制在了(0，π)内，但是针对红外图像与可见光图像仍存在相互旋转180°后的情况，为了解决这个问题，引入辅助矩阵Q＝rot(H，180°)，最终得到PIIFD描述子为

H_i＝[H_i1 H_i2 H_i3 H_i4]

Q_i＝[Q_i1 Q_i2 Q_i3 Q_i4]

其中c为比例因子，用于调节PIIFD描述子幅值的大小。

随后，对角点的PIIFD描述子进行匹配时，采用最近邻优先结合双边匹配算法增强匹配结果的准确性。假设待配准图像I_l对应的描述子集合为F_l，基准图像I₂对应的描述子集合为F₂，对于f_li∈F_l，f_1i表示待配准图像I₁的PIIFD描述子，则定义f_li到集合F₂的距离为

对于f_1i，通过最近邻优法检索集合D(f_1i，F₂)中的最大值对应的f_2i作为其匹配点。为保证最近邻优法的适用性，用f_2i′和f_2i″分别表示集合D(f_1i，F₂)中的最大值和次最大值；只有两者满足关系f_2i″/f_2i′＜t时，才选取最大值f_2i′对应的f_2i作为其匹配点，否则视为匹配失败，在本案中，t值取0.8～0.9之间的任意数值。上述匹配成功的两个描述子(或描述子所对应的角点)记为一个单边匹配集合M(I₁，I₂)。考虑到单边匹配会出现多对一的情况出现，即F₁中的多个元素可能会匹配到F₂中的同一个元素。为了解决该问题，以I₂为待配准图像，I₁为基准图像，得到匹配集合M(I₂，I₁)，保留M(I₁，I₂)和M(I₂，I₁)中相同的元素作为初匹配成功的点，上述完成特征点描述子匹配的双向匹配过程即为双边匹配。通过双边匹配可以保证匹配点的唯一性，去除了多对一的影响。

通过上述匹配得到的结果尽管保证了匹配点是唯一确定的，但是仍然可能存在错匹配的情况，因为部分匹配点计算集合距离时存在一定的偶然性。为了去除这一部分错配点，初次配准还可以包括步骤：对初次配准点对进行主方向校验，将主方向差异很大的初次配准点对作为错配点对而从初次配准点对集合中删除。

之后采用有限离散剪切波变换对可见光图像进行频域分析，在分解的子图像中，在若干子图像中选取高频域子图像和中频域子图像进行有限离散剪切波变换反变换，以合成可见光退化图像。

随后可以采用Canny边缘检测算法提取红外图像和可见光退化图像的图像边缘，利用Sobel算子计算每个像素点在两个方向上的梯度，并对梯度做非极大值抑制处理，利用线性插值计算像素点在正负梯度方向上的两个像素梯度，并与该像素点梯度大小进行比较，最后对候选边缘点进行双阈值检测，即设定梯度的最大与最小阈值，若像素点的梯度值大于最大阈值，则判定为强边缘点，也是真实边缘点，若小于最小阈值，则判定为非边缘点，而若处于最大和最小阈值之间，则判定为弱边缘点。对弱边缘点的邻域进行强边缘点检测，若邻域存在强边缘点，则判定该点为真实边缘点。

并且引入边缘相关度的概念，边缘相关度(Edge Correlation，简称EC)为两幅图像的边缘矩阵EA、EB的相关系数，其可以用于判定两幅边缘图像的相似程度，边缘图像相似度越高，则边缘相关度越大；当两幅边缘图像完全重叠时，边缘相关度为1；当边缘图像相似度很低时，边缘相关度越接近0。

由于初次配准得到的配准点是像素级的结果，而红外图像和可见光图像的分辨率并不一致，也就是说，分辨率较低的红外图像中一个像素点实际上对应可见光图像中的一个区域，因此，本案中采用结合边缘相关度的亚像素优化以解决该问题。

具体来说，首先，采用在初次配准点对中任意取三对点对以解得一组仿射变换矩阵的方式获得仿射变换矩阵集合，求得仿射变换矩阵集合中使得图像边缘相关度最高的集合，以得到最优的三对配准点对。

其次，以上一步得到的最优的三对配准点对为中心，构建配准点邻域。

最后，以选定的0.2～0.08个亚像素为单位在配准点邻域内遍历查找使得仿射边缘相关度最高的亚像素点，将得到的亚像素点作为最终的配准点对。

最终基于最终的配准点对对红外图像和可见光退化图像进行配准。

在一些实施方式中，可以通过处理模块迭代进行步骤(2)-(3)若干次，以进一步提高最终配准点对的精确度，然后进行所述步骤(4)

由最终获得的结果可以看出，图像的边缘相关度得到了显著提升，由此说明通过本案的配准方法可以显著提高可见光图像与红外图像之间的配准效果。

需要注意的是，边缘相关度是一个相对值，不同配准图像对之间的边缘相关度不具有可比性，仅有参考性，而同一对配准图像间的边缘相关度越高则能表明配准效果越好。若基准图像与待配准图像为同一图像，则边缘相关度为1。

综上所述可以看出，本发明所述的配准方法可以利用有限离散剪切波变换和迭代配准解决可见光图像与红外图像之间分辨率差异大的问题，并且通过配准点邻域亚像素优化解决可见光图像与红外图像之间的色彩差异大的问题。

此外，本发明所述的配准系统也同样具有上述的优点以及有益效果。

需要说明的是，本发明的保护范围中现有技术部分并不局限于本申请文件所给出的实施例，所有不与本发明的方案相矛盾的现有技术，包括但不局限于在先专利文献、在先公开出版物，在先公开使用等等，都可纳入本发明的保护范围。

另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种可见光图像和红外图像的配准方法，其特征在于，包括步骤：

(1)采集电力设备的可见光图像和红外图像；

(2)对红外图像和可见光图像进行初次配准，以得到初次配准点对；采用有限离散剪切波变换对可见光图像进行频域分析，以分解得到若干子图像，在若干子图像中选取高频域子图像和中频域子图像进行有限离散剪切波变换反变换，以合成可见光退化图像；

(3)提取红外图像和可见光退化图像的图像边缘；采用在初次配准点对中任意取三对点对以解得一组仿射变换矩阵的方式获得仿射变换矩阵集合，求得仿射变换矩阵集合中使得图像边缘相关度最高的集合，以得到最优的三对配准点对；

以该最优的三个配准点对为中心，构建配准点邻域；以选定的亚像素单位在配准点邻域内遍历查找使得仿射边缘相关度最高的亚像素点，将得到的亚像素点作为最终的配准点对；

(4)基于最终的配准点对对红外图像和可见光退化图像进行配准。

2.如权利要求1所述的可见光图像和红外图像的配准方法，其特征在于，初次配准包括步骤：

对可见光图像和红外图像进行角点检测；

确定各角点的主方向；

基于角点选取角点邻域，将角点邻域划分为若干个子区域；

基于角点邻域得到PIIFD描述子；

采用PIIFD描述子进行双边匹配算法，以得到初次配准点对。

3.如权利要求2所述的可见光图像和红外图像的配准方法，其特征在于，基于最近邻优先法进行初次配准。

4.如权利要求2所述的可见光图像和红外图像的配准方法，其特征在于，

基于角点选取4×4邻域，将其划分为16个子区域，则整个邻域的梯度向量为：

则PIIFD描述子被表示为Des：

H_i＝[H_i1 H_i2 H_i3 H_i4]

Q_i＝[Q_i1 Q_i2 Q_i3 Q_i4]

Q表示辅助矩阵，Q＝rot(H，180°)，式中的i＝1或2。

5.如权利要求2所述的可见光图像和红外图像的配准方法，其特征在于，采用Harris角点检测算法对可见光图像和红外图像进行角点检测。

6.如权利要求2所述的可见光图像和红外图像的配准方法，其特征在于，初次配准还包括步骤：对初次配准点对进行主方向校验，将主方向差异很大的初次配准点对作为错配点对而从初次配准点对集合中删除。

7.如权利要求1所述的可见光图像和红外图像的配准方法，其特征在于，采用Canny边缘检测算法提取红外图像和可见光退化图像的图像边缘。

8.如权利要求1-7中任意一项所述的可见光图像和红外图像的配准方法，其特征在于，迭代进行所述步骤(2)-(3)若干次，以进一步提高最终配准点对的精确度；然后进行所述步骤(4)。

9.一种可见光图像和红外图像的配准系统，其执行如权利要求1-8中任意一项所述的可见光图像和红外图像的配准方法，所述配准系统包括：

图像采集装置，其采集电力设备的可见光图像和红外图像；

处理模块，其执行所述步骤(2)，(3)和(4)。