CN109523583B - 一种基于反馈机制的电力设备红外与可见光图像配准方法 - Google Patents

Abstract

本发明公开了一种基于反馈机制的电力设备红外与可见光图像配准方法，利用Canny算法分别提取红外与可见光图像的边缘，并分别在红外与可见光边缘图像上提取SURF特征点；再通过对SURF特征点进行粗匹配与排序得到匹配点集，根据匹配点集计算出仿射矩阵集，采用先验约束对仿射矩阵集进行筛选，得到候选仿射矩阵集；根据候选仿射矩阵集依次对红外图像进行仿射变换，采用归一化互信息快速计算方法计算出可见光与仿射变换后的红外图像间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵；基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集。本发明采用的方法可以有效地提高电力设备的红外与可见光图像的配准精度。

Description

一种基于反馈机制的电力设备红外与可见光图像配准方法

技术领域

本发明属于图像处理技术领域，涉及一种基于反馈机制的电力设备红外与可见光图像配准方法。

背景技术

随着成像传感器技术的成熟和应用场景的日益复杂，仅使用单一的成像传感器来满足使用需求较为困难，而多成像传感器系统可将多个成像传感器获得的互补或冗余信息进行整合，能更好地满足使用需求。同时，多成像传感器系统意味着同一场景下图像的传感器来源不同、视角不同、获取时间不同，使得图像间无法正确匹配，而图像配准旨在获取图像间的几何对应关系，将同一场景的两幅或者多幅图像变换到同一几何坐标系下，从而在像素层上实现最佳匹配。

电力设备通常处于长期运行状态，容易因安装不当、环境温度、积灰等因素导致过热激化，如果未能及时检测并定位出温度异常区域，持续的异常温度可能会导致设备内部元器件熔断甚至烧毁，从而引起严重事故。而红外图像是通过接受目标散发出来的红外福射成像，可以准确、快捷地记录场景的温度分布，因此借助红外图像定期对电力设备的运行温度进行检测有着重要的实际意义。

然而，红外图像因成像机制的限制，其对目标的细节表现能力远不及可见光图像，导致无法对异常电力设备所处位置进行准确定位。可见光图像的时空分辨率较高，并且细节、纹理和颜色等信息丰富，借助可见光图像能够高质量地记录场景的照度分布和反射信息的优势。利用图像配准技术实现红外与可见光图像配准，并将具有较高配准精度的红外图像拼接或融合到可见光图像中，可增强信息的互补性，可以有效地突出目标，同时减少对场景分析和理解的不确定性，从而提高电力设备温度检测的准确性、有效性与实用性。

图像配准根据配准方式的不同，主要分为基于灰度的方法和基于特征的方法。基于灰度的方法是通过特定的搜索策略使得两幅图像的某种基于灰度信息的相似度达到最佳，互信息是该类方法常用的相似度量，因此带来较大的计算量。基于特征的图像配准方法是选择某种图像特征作为基元，并根据特定的搜索策略寻找图像中的匹配基元，最后根据匹配基元求解配准参数，该类方法通过提取图像中的显著特征，计算量较小。对于基于特征的图像配准方法，特征点是一种被广泛使用的基元，其中的正确匹配的特征点越多，配准精度越高，但是异源图像的特征点在不同图像上的相似性不足，正确匹配点较少，并且容易产生误匹配，导致配准精度不高。

发明内容

本发明所要解决的技术问题是：从包含大量误匹配的匹配点中，筛选出正确匹配点，有效地提高电力设备的红外与可见光图像的配准精度。

为解决上述技术问题，本发明提出了一种基于反馈机制的电力设备红外与可见光图像配准方法，包括以下步骤：

1)分别对红外图像与可见光图像进行各向异性滤波；

2)利用Canny算法分别提取红外图像与可见光图像的边缘，并分别在红外边缘图像与可见光边缘图像上提取SURF特征点；

3)通过对SURF特征点进行粗匹配与排序得到匹配点集，然后根据匹配点集计算出仿射矩阵集，并采用预设的先验约束对仿射矩阵集进行筛选，得到候选仿射矩阵集；

4)根据候选仿射矩阵集依次对红外滤波图像进行仿射变换，然后采用归一化互信息快速计算方法计算出可见光图像与仿射变换后的红外图像间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵；

5)基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集；

6)根据最优匹配点集解出最优仿射矩阵，并将最优仿射矩阵作用到红外图像，完成红外与可见光图像配准。

本发明所达到的有益效果：针对电力设备红外与可见光图像配准，剔除了配准过程中产生的误匹配点，有效提高了电力设备红外与可见光图像的配准精度，将配准后的红外图像拼接或融合到可见光图像中后，增强了信息的互补性，在可见光图像中可精确定位出具有异常温度的电力设备。

附图说明

图1为本发明的一种基于反馈机制的电力设备红外与可见光图像配准方法的流程图。

具体实施方式

本发明的实际流程图如图1所示，一种基于反馈机制的电力设备红外与可见光图像配准方法，步骤包括：

1)分别对红外与可见光图像进行各向异性滤波。具体步骤如下：

令iterImg表示输入图像，令rows，cols分别表示iterImg的高和宽，iter表示迭代次数，

11)令I_x,y表示输入图像iterImg中位于(x,y)处的像素值，令▽_N(I_x,y)，▽_S(I_x,y)，▽_E(I_x,y)，▽_W(I_x,y)分别表示上下左右四个方向的梯度，计算公式如下：

12)令cN_x,y，cS_x,y，cE_x,y，cW_x,y分别表示上下左右四个方向的扩散系数，k是一个常系数，计算公式如下：

13)更新输入图像iterImg的像素值I_x,y，其中x的范围是1～cols-1，y的范围是1～rows-1，计算公式如下：

用I_x,y+k·(cN_x,y·▽_N(I_x,y)+cS_x,y·▽_S(I_x,y)+cE_x,y·▽_E(I_x,y)+cW_x,y·▽_W(I_x,y))替代I_x,y

14)用iter-1替代iter；

15)如果iter不等于0，则将更新后的输入图像iterImg再次作为输入图像，转至步骤2)，如果iter等于0，则停止迭代，滤波结束；

分别令红外图像与可见光图像作为输入图像iterImg，重复上述滤波过程，滤波后的红外图像与可见光图像分别记为红外滤波图像infImg和可见光滤波图像visImg；

2)利用Canny算法分别提取红外图像与可见光图像的边缘，并分别在红外与可见光边缘图像上提取SURF特征点。具体步骤如下：

21)分别对红外滤波图像infImg和可见光滤波图像visImg进行Canny边缘检测，提取出的边缘图像分别记为红外边缘图像infEdge和可见光边缘图像visEdge；

22)分别对红外边缘图像infEdge和可见光边缘图像visEdge进行SURF特征点提取，分别令红外特征点集合infPoints和可见光特征点集合visPoints表示红外边缘图像infEdge和可见光边缘图像visEdge上的SURF特征点集合，infPoints[i]表示红外特征点集合infPoints中第i个特征点，visPoints[j]表示可见光特征点集合visPoints中第j个特征点，其中每个特征点包含该点在图像中的像素坐标和描述向量，所述描述向量在进行SURF特征点提取时计算得到；

3)通过对SURF特征点进行粗匹配与排序得到匹配点集，然后根据匹配点集计算出仿射矩阵，并采用预设的先验约束对仿射矩阵进行筛选，得到候选仿射矩阵集。具体步骤如下：

31)SURF特征点的粗匹配与排序：

计算红外特征点infPoints[i]与可见光特征点visPoints[j]描述向量间的欧式距离，若欧式距离小于常量dis1，则认为红外特征点infPoints[i]与可见光特征点visPoints[j]匹配，并记它们为一对匹配点；

改变i和j，使得红外特征点集合infPoints中的每个特征点infPoints[i]都与可见光特征点集合visPoints中的每个特征点visPoints[j]进行一次匹配判断；

匹配判断完成后，根据匹配点描述向量间的欧式距离对匹配结果按照从小到大排序，并只保留前n₁对匹配点，将前n₁对匹配点记为匹配点集match，match[i]表示匹配点集match中第i对匹配点；

32)匹配点集的仿射矩阵计算：

从匹配点集match中选出3对匹配点进行组合，匹配点集match中有n₁对匹配点，则一共有

种组合方式，如(match[1],match[2],match[3])，(match[1],match[2],match[4])，…，(match[1],match[2],match[n₁])，…，(match[n₁-2],match[n₁-1],match[n₁])，表示某一种匹配点组合；

根据(match[i₁],match[i₂],match[i₃])可分别得到3对匹配点的像素横纵坐标，分别记为

并求解下列方程：

解出{a₁,a₂,a₃,a₄,a₅,a₆}，a₁，a₂，a₃，a₄，a₅，a₆均是待求解参数，即计算出一个仿射矩阵，仿射矩阵的表示公式如下：

遍历匹配点集中

种匹配点组合方式，则所有计算出来的仿射矩阵可形成一个仿射矩阵集；

33)基于先验约束的仿射矩阵筛选：

利用先验约束对仿射矩阵集中的所有仿射矩阵进行筛选，如果仿射矩阵满足约束，则记为仿射矩阵h_k，表示第k个满足约束的仿射矩阵，即候选仿射矩阵，并将计算出仿射矩阵h_k的3对匹配点的像素横纵坐标集合

加入坐标集合X中，先验约束条件如下：

式中，str1、str2、str3和str4是常量阈值；

当对仿射矩阵集中的所有仿射矩阵都进行筛选之后，所有满足约束的仿射矩阵形成的集合即是候选仿射矩阵集。

4)根据候选仿射矩阵依集次对红外滤波图像进行仿射变换，然后采用归一化互信息快速计算方法计算出可见光图像与仿射变换后的红外图像兴趣区域间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵。具体步骤如下：

41)基于候选仿射矩阵的仿射变换：

根据候选仿射矩阵依次对红外图像进行仿射变换，就是根据仿射矩阵h_k对红外滤波图像infImg进行重映射，即对于红外滤波图像infImg中的每个像素(x,y)都进行如下操作：

其中，(x',y')表示变换后的红外图像中的像素坐标，如果(x',y')是非整数坐标，则使用双线性插值将其变成整数坐标，针对红外滤波图像infImg的重映射和双线性插值操作即仿射变换，将基于仿射矩阵h_k进行仿射变换后的红外滤波图像infImg记为红外仿射变换图像infImg_k；

42)生成红外图像与可见光图像兴趣区域：

421)分别记坐标集合X中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标为x_max，x_min，y_max，y_min，根据上述坐标形成兴趣矩形，其中(x_min，y_min)，(x_max，y_min)，(x_max，y_max)，(x_min，y_max)是兴趣矩形的4个顶点，兴趣矩阵的包含范围即是兴趣区域；

422)在可见光滤波图像visImg上的兴趣区域范围形成一个新可见光图像，记为可见光兴趣区域图像visRoi，在红外仿射变换图像infImg_k上的兴趣区域范围形成一个新红外图像，记为红外兴趣区域图像infRoi_k；

可见光与仿射变换后的红外图像间的互信息计算

43)采用归一化互信息快速计算方法计算可见光与仿射变换后的红外图像间的互信息，步骤如下：

431)分别得到可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k中的最大灰度值vis_max和inf_max，将位于可见光兴趣区域图像visRoi中所有像素的像素值都乘以255/vis_max，将位于红外兴趣区域图像infRoi_k中所有像素的像素值都乘以255/inf_max；432)分别生成可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的灰度直方图，分别用{visBin₀,visBin₁,...,visBin₂₅₅}、{infBin₀,infBin₁,...,infBin₂₅₅}来表示，再将可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的灰度直方图进行线性叠加，得到一个新的灰度直方图，记为灰度直方图Bin，公式如下：

Bin＝{visBin₀+infBin₀,visBin₁+infBin₁,...,visBin₂₅₅+infBin₂₅₅}

＝{bin₀,bin₁,...,bin₂₅₅}

式中，bin_m是灰度直方图中的一个图柱，表示第m个灰度级范围的像素数量，m取值范围都是0～255；

433)按照下列步骤对灰度直方图Bin进行修正：

a.按照从左到右的顺序，依次判断灰度直方图Bin中每个图柱拥有的像素数量是否小于常量阈值T_bin,若像素数量小于常量阈值T_bin，则将该图柱与其右相邻的图柱进行叠加合并；若该图柱拥有的像素数量小于常量阈值T_bin，并且位于灰度直方图的最右端，则将该图柱与其左相邻的图柱进行叠加合并；其中，叠加合并后的图柱拥有的像素数量是叠加合并前的两个图柱的像素数量之和，并且，叠加合并后的图柱所表示的灰度级范围是叠加合并前的两个图柱所表示的灰度级范围的并集；

b.若灰度直方图Bin中每个图柱拥有的像素数量都不小于T_bin，转步骤c，否则转步骤a；

c.若灰度直方图Bin中的图柱数量不大于36个，则终止，得到修正后的灰度直方图Bin'，此时修正后的灰度直方图Bin'具有36个图柱，Bin'＝{bin₀,bin₁,...,bin_p,...,bin_l,...,bin₃₅}，bin_p表示修正后的灰度直方图Bin'中第p个灰度级范围的图柱，bin_l表示修正后的灰度直方图Bin'中第l个灰度级范围的图柱；

d.找到灰度直方图Bin中拥有像素数量最少的图柱bin_min，若图柱bin_min位于灰度直方图的最左端或者最右端，则将图柱bin_min与其相邻图柱进行叠加合并；若图柱bin_min不位于最左端或者最右端，则转步骤e；

e.令bin_left和bin_right分别表示图柱bin_min的左相邻图柱和右相邻图柱，令N₁、N₂和N₃分别表示图柱bin_left、图柱bin_right和图柱bin_min所拥有的像素数量，令range₁、range₂和range₃分别为图柱bin_left、图柱bin_right和图柱bin_min所表示的灰度级范围，对图柱bin_left、图柱bin_right和图柱bin_min进行比例合并：首先，将图柱bin_min所拥有的像素数量按比例分配给图柱bin_left和图柱bin_right，公式如下：

式中，[]表示对数值进行四舍五入；然后，按比例

和

将range3分为左右两个范围，分别记为range_left和range_right；然后，令range₁＝range₁∪range_left，range₂＝range₂∪range_right；转步骤c；∪表示求并集，取左右两个集合中的所有元素，如果有重复元素则只保留一个；

434)根据可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k，同时以修正后的灰度直方图Bin'为参照，分别生成可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的新灰度直方图：

a.令灰度直方图一visRoiBin表示可见光兴趣区域图像visRoi的新灰度直方图，并且灰度直方图一visRoiBin中每个图柱表示的灰度级范围与修正后的灰度直方图Bin'中每个图柱表示的灰度级范围一致，

visRoiBin＝{visBin'₀,visBin'₁,...,visBin'_l,...,visBin'₃₅}，visBin'_l表示灰度直方图一visRoiBin中第l个灰度级范围的图柱，l的表示范围为0～35，灰度直方图一visRoiBin的建立过程如下：遍历可见光兴趣区域图像visRoi中所有像素，若该像素的灰度值属于图柱bin_l的所表示灰度级范围，则图柱visBin'_l拥有的像素数量加1；

b.令灰度直方图二infRoi_kBin表示红外兴趣区域图像infRoi_k的新灰度直方图，并且灰度直方图二infRoi_kBin中每个图柱表示的灰度级范围与修正后的灰度直方图Bin'中每个图柱表示的灰度级范围一致，

infRoi_kBin＝{infBin'₀,infBin'₁,...,infBin'_p,...,infBin'₃₅}，infBin'_p表示灰度直方图二infRoi_kBin中第p个灰度级范围的图柱，p的表示范围为0～35，灰度直方图二infRoi_kBin的建立过程如下：遍历红外兴趣区域图像infRoi_k中所有像素，若该像素的灰度值属于图柱bin_p的所表示灰度级范围，则图柱infBin'_p拥有的像素数量加1；

435)计算H(A)和H(B)，计算公式如下：

式中，H(A)表示可见光兴趣区域图像visRoi的信息熵，H(B)表示红外兴趣区域图像infRoi_k的信息熵，p_A(a)表示灰度直方图一visRoiBin中第a个灰度级范围的图柱拥有的像素数量与灰度直方图一visRoiBin所有图柱拥有的像素数量的比例，p_B(b)表示灰度直方图二infRoi_kBin中第b个灰度级范围的图柱拥有的像素数量与灰度直方图二infRoi_kBin所有图柱拥有的像素数量的比例；

436)计算H(A,B)，计算公式如下：

式中，H(A,B)表示可见光兴趣区域图像visRoi与红外兴趣区域图像infRoi_k的联合信息熵，p_AB(a,b)表示在可见光兴趣区域图像visRoi中属于灰度直方图一visRoiBin中第a个灰度级范围，并且相同坐标下，在红外兴趣区域图像infRoi_k中属于灰度直方图二infRoi_kBin中第b个灰度级范围的像素数量，与灰度直方图一visRoiBin、灰度直方图二infRoi_kBin所有图柱拥有的像素数量之和的比例；

437)计算互信息，计算公式如下：

式中，NMI_k表示根据仿射矩阵h_k计算得到的互信息；

44)反馈矩阵选取

若互信息NMI_k是所有根据候选仿射矩阵计算出的互信息中的最大值，则仿射矩阵h_k是反馈矩阵，并将h_k重新记为反馈矩阵h_max。

5)基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集。

从匹配点集match取出第c对匹配点match[c]，其中c的取值范围是1～n₁，match[c]包含特征点infPoints[c]和特征点visPoints[c]，令

表示infPoints[c]的像素坐标，令

表示visPoints[c]的像素坐标，对

进行如下变换：

式中，

表示

进行变换后的坐标；

计算

与

的欧式距离eucDis，公式如下：

如果eucDis小于常量阈值str5，则认为

与

是一对最优匹配点，并将它们加入最优匹配点集goodMatch，同时将

重新记为

将

重新记为

表示

和

是最优匹配点集goodMatch中第v对最优匹配点goodMatch[v]；

针对匹配点match[c]，当c将所有的值遍历完后，设形成的最优匹配点集goodMatch拥有num对最优匹配点。

6)根据最优匹配点集求解出最优仿射矩阵，并将最优仿射矩阵作用到红外图像，完成红外图像与可见光图像配准。

令goodMatch[z]表示goodMatch中第z对最优匹配点，goodMatch[z]包含像素坐标

和

其中z的取值范围是1～num，

根据goodMatch[z]对X矩阵和Y矩阵进行填充，公式如下：

根据X矩阵和Y矩阵计算出最优仿射矩阵h_best，公式如下：

h_best＝inv(inv(T(X)*X)*(T(X)*Y))

式中，inv()表示括号内矩阵的逆矩阵，T()表示括号内矩阵的转置矩阵；

根据最优仿射矩阵h_best对红外滤波图像infImg进行仿射变换，方法与步骤41)一致，变换完成之后则完成红外与可见光图像配准。

Claims (7)

1.一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于，包括以下步骤：

1)分别对红外图像与可见光图像进行各向异性滤波；

2)利用Canny算法分别提取红外图像与可见光图像的边缘，并分别在红外边缘图像与可见光边缘图像上提取SURF特征点；

3)通过对SURF特征点进行粗匹配与排序得到匹配点集，然后根据匹配点集计算出仿射矩阵集，并采用预设的先验约束对仿射矩阵集进行筛选，得到候选仿射矩阵集；

4)根据候选仿射矩阵集依次对红外滤波图像进行仿射变换，然后采用归一化互信息快速计算方法计算出可见光图像与仿射变换后的红外图像间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵；

5)基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集；

6)根据最优匹配点集解出最优仿射矩阵，并将最优仿射矩阵作用到红外图像，完成红外与可见光图像配准；

在所述步骤4)中，具体步骤如下：

41)根据候选仿射矩阵依次对红外图像进行仿射变换；

42)成红外图像与可见光图像兴趣区域；

43)采用归一化互信息快速计算方法计算可见光与仿射变换后的红外图像间的互信息，步骤如下：

431)分别得到可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k中的最大灰度值vis_max和inf_max，将位于可见光兴趣区域图像visRoi中所有像素的像素值都乘以255/vis_max，将位于红外兴趣区域图像infRoi_k中所有像素的像素值都乘以255/inf_max；

432)分别生成可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的灰度直方图，分别用{visBin₀,visBin₁,...,visBin₂₅₅}、{infBin₀,infBin₁,...,infBin₂₅₅}来表示，再将可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的灰度直方图进行线性叠加，得到一个新的灰度直方图，记为灰度直方图Bin，公式如下：

Bin＝{visBin₀+infBin₀,visBin₁+infBin₁,...,visBin₂₅₅+infBin₂₅₅}

＝{bin₀,bin₁,...,bin₂₅₅}

式中，bin_m是灰度直方图中的一个图柱，表示第m个灰度级范围的像素数量，m取值范围都是0～255；

433)对灰度直方图Bin进行修正；按照下列步骤对灰度直方图Bin进行修正：

a.按照从左到右的顺序，依次判断灰度直方图Bin中每个图柱拥有的像素数量是否小于常量阈值T_bin,若像素数量小于常量阈值T_bin，则将该图柱与其右相邻的图柱进行叠加合并；若该图柱拥有的像素数量小于常量阈值T_bin，并且位于灰度直方图的最右端，则将该图柱与其左相邻的图柱进行叠加合并；其中，叠加合并后的图柱拥有的像素数量是叠加合并前的两个图柱的像素数量之和，并且，叠加合并后的图柱所表示的灰度级范围是叠加合并前的两个图柱所表示的灰度级范围的并集；

b.若灰度直方图Bin中每个图柱拥有的像素数量都不小于T_bin，转步骤c，否则转步骤a；

c.若灰度直方图Bin中的图柱数量不大于36个，则终止，得到修正后的灰度直方图Bin'，此时修正后的灰度直方图Bin'具有36个图柱，Bin'＝{bin₀,bin₁,...,bin_p,...,bin_l,...,bin₃₅}，bin_p表示修正后的灰度直方图Bin'中第p个灰度级范围的图柱，bin_l表示修正后的灰度直方图Bin'中第l个灰度级范围的图柱；

d.找到灰度直方图Bin中拥有像素数量最少的图柱bin_min，若图柱bin_min位于灰度直方图的最左端或者最右端，则将图柱bin_min与其相邻图柱进行叠加合并；若图柱bin_min不位于最左端或者最右端，则转步骤e；

e.令bin_left和bin_right分别表示图柱bin_min的左相邻图柱和右相邻图柱，令N₁、N₂和N₃分别表示图柱bin_left、图柱bin_right和图柱bin_min所拥有的像素数量，令range₁、range₂和range₃分别为图柱bin_left、图柱bin_right和图柱bin_min所表示的灰度级范围，对图柱bin_left、图柱bin_right和图柱bin_min进行比例合并：首先，将图柱bin_min所拥有的像素数量按比例分配给图柱bin_left和图柱bin_right，公式如下：

式中，[]表示对数值进行四舍五入；然后，按比例

和

将range₃分为左右两个范围，分别记为range_left和range_right；然后，令range₁＝range₁∪range_left，range₂＝range₂∪range_right；转步骤c；∪表示求并集，取左右两个集合中的所有元素，如果有重复元素则只保留一个；

434)根据可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k，同时以修正后的灰度直方图Bin'为参照，分别生成可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的新灰度直方图：

435)计算H(A)和H(B)，计算公式如下：

式中，H(A)表示可见光兴趣区域图像visRoi的信息熵，H(B)表示红外兴趣区域图像infRoi_k的信息熵，p_A(a)表示灰度直方图一visRoiBin中第a个灰度级范围的图柱拥有的像素数量与灰度直方图一visRoiBin所有图柱拥有的像素数量的比例，p_B(b)表示灰度直方图二infRoi_kBin中第b个灰度级范围的图柱拥有的像素数量与灰度直方图二infRoi_kBin所有图柱拥有的像素数量的比例；

436)计算H(A,B)，计算公式如下：

式中，H(A,B)表示可见光兴趣区域图像visRoi与红外兴趣区域图像infRoi_k的联合信息熵，p_AB(a,b)表示在可见光兴趣区域图像visRoi中属于灰度直方图一visRoiBin中第a个灰度级范围，并且相同坐标下，在红外兴趣区域图像infRoi_k中属于灰度直方图二infRoi_kBin中第b个灰度级范围的像素数量，与灰度直方图一visRoiBin、灰度直方图二infRoi_kBin所有图柱拥有的像素数量之和的比例；

437)计算互信息，计算公式如下：

式中，NMI_k表示根据仿射矩阵h_k计算得到的互信息；

44)若互信息NMI_k是所有根据候选仿射矩阵计算出的互信息中的最大值，则仿射矩阵h_k是反馈矩阵，并将h_k重新记为反馈矩阵h_max。

2.根据权利要求1所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤1)中，分别对红外图像与可见光图像进行各向异性滤波的具体步骤如下：

令iterImg表示输入图像，令rows，cols分别表示iterImg的高和宽，iter表示迭代次数，

11)令I_x,y表示输入图像iterImg中位于(x,y)处的像素值，令

分别表示上下左右四个方向的梯度，计算公式如下：

12)令cN_x,y，cS_x,y，cE_x,y，cW_x,y分别表示上下左右四个方向的扩散系数，k是一个常系数，计算公式如下：

13)更新输入图像iterImg的像素值I_x,y，其中x的范围是1～cols-1，y的范围是1～rows-1，计算公式如下：

用

替代I_x,y

14)用iter-1替代iter；

15)如果iter不等于0，则将更新后的输入图像iterImg再次作为输入图像，转至步骤2)，如果iter等于0，则停止迭代，滤波结束；

分别令红外图像与可见光图像作为输入图像iterImg，重复上述滤波过程，滤波后的红外图像与可见光图像分别记为红外滤波图像infImg和可见光滤波图像visImg。

3.根据权利要求2所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤2)中，具体步骤如下：

21)分别对红外滤波图像infImg和可见光滤波图像visImg进行Canny边缘检测，提取出的边缘图像分别记为红外边缘图像infEdge和可见光边缘图像visEdge；

22)分别对红外边缘图像infEdge和可见光边缘图像visEdge进行SURF特征点提取，分别令红外特征点集合infPoints和可见光特征点集合visPoints表示红外边缘图像infEdge和可见光边缘图像visEdge上的SURF特征点集合，infPoints[i]表示红外特征点集合infPoints中第i个特征点，visPoints[j]表示可见光特征点集合visPoints中第j个特征点，其中每个特征点包含该点在图像中的像素坐标和描述向量，所述描述向量在进行SURF特征点提取时计算得到。

4.根据权利要求3所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤3)中，具体步骤如下：

31)SURF特征点的粗匹配与排序：

计算红外特征点infPoints[i]与可见光特征点visPoints[j]描述向量间的欧式距离，若欧式距离小于常量dis1，则认为红外特征点infPoints[i]与可见光特征点visPoints[j]匹配，并记它们为一对匹配点；

改变i和j，使得红外特征点集合infPoints中的每个特征点infPoints[i]都与可见光特征点集合visPoints中的每个特征点visPoints[j]进行一次匹配判断；

匹配判断完成后，根据匹配点描述向量间的欧式距离对匹配结果按照从小到大排序，并只保留前n₁对匹配点，将前n₁对匹配点记为匹配点集match，match[i]表示匹配点集match中第i对匹配点；

32)匹配点集的仿射矩阵计算：

从匹配点集match中选出3对匹配点进行组合，匹配点集match中有n₁对匹配点，则一共有

种组合方式，如(match[1],match[2],match[3])，(match[1],match[2],match[4])，…，(match[1],match[2],match[n₁])，…，(match[n₁-2],match[n₁-1],match[n₁])，表示某一种匹配点组合；

根据(match[i₁],match[i₂],match[i₃])可分别得到3对匹配点的像素横纵坐标，分别记为

并求解下列方程：

其中，a₁，a₂，a₃，a₄，a₅，a₆均是待求解参数，解出{a₁,a₂,a₃,a₄,a₅,a₆}，即计算出一个仿射矩阵，仿射矩阵的表示公式如下：

遍历匹配点集中

种匹配点组合方式，则所有计算出来的仿射矩阵可形成一个仿射矩阵集；

33)基于先验约束的仿射矩阵筛选：

利用先验约束对仿射矩阵集中的所有仿射矩阵进行筛选，如果仿射矩阵满足约束，则记为仿射矩阵h_k，表示第k个满足约束的仿射矩阵，即候选仿射矩阵，并将计算出仿射矩阵h_k的3对匹配点的像素横纵坐标集合

加入坐标集合X中，先验约束条件如下：

式中，str1、str2、str3和str4是常量阈值；

当对仿射矩阵集中的所有仿射矩阵都进行筛选之后，所有满足约束的仿射矩阵形成的集合即是候选仿射矩阵集。

5.根据权利要求1所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤434)中，

a.令灰度直方图一visRoiBin表示可见光兴趣区域图像visRoi的新灰度直方图，并且灰度直方图一visRoiBin中每个图柱表示的灰度级范围与修正后的灰度直方图Bin'中每个图柱表示的灰度级范围一致，visRoiBin＝{visBin'₀,visBin'₁,...,visBin'_l,...,visBin'₃₅}，visBin'_l表示灰度直方图一visRoiBin中第l个灰度级范围的图柱，l的表示范围为0～35，灰度直方图一visRoiBin的建立过程如下：遍历可见光兴趣区域图像visRoi中所有像素，若该像素的灰度值属于图柱bin_l的所表示灰度级范围，则图柱visBin'_l拥有的像素数量加1；

b.令灰度直方图二infRoi_kBin表示红外兴趣区域图像infRoi_k的新灰度直方图，并且灰度直方图二infRoi_kBin中每个图柱表示的灰度级范围与修正后的灰度直方图Bin'中每个图柱表示的灰度级范围一致，infRoi_kBin＝{infBin'₀,infBin'₁,...,infBin'_p,...,infBin'₃₅}，infBin'_p表示灰度直方图二infRoi_kBin中第p个灰度级范围的图柱，p的表示范围为0～35，灰度直方图二infRoi_kBin的建立过程如下：遍历红外兴趣区域图像infRoi_k中所有像素，若该像素的灰度值属于图柱bin_p的所表示灰度级范围，则图柱infBin'_p拥有的像素数量加1。

6.根据权利要求1所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤5)中，

从匹配点集match取出第c对匹配点match[c]，其中c的取值范围是1～n₁，match[c]包含特征点infPoints[c]和特征点visPoints[c]，令

表示infPoints[c]的像素坐标，令

表示visPoints[c]的像素坐标，对

进行如下变换：

式中，

表示

进行变换后的坐标；

计算

与

的欧式距离eucDis，公式如下：

如果eucDis小于常量阈值str5，则认为

与

是一对最优匹配点，并将它们加入最优匹配点集goodMatch，同时将

重新记为

将

重新记为

表示

和

是最优匹配点集goodMatch中第v对最优匹配点goodMatch[v]；

针对匹配点match[c]，当c将所有的值遍历完后，设形成的最优匹配点集goodMatch拥有num对最优匹配点，c表示第c对，c的取值范围是1～n₁。

7.根据权利要求6所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤6)中，

令goodMatch[z]表示goodMatch中第z对最优匹配点，goodMatch[z]包含像素坐标

和

其中z的取值范围是1～num，

根据goodMatch[z]对X矩阵和Y矩阵进行填充，公式如下：

根据X矩阵和Y矩阵计算出最优仿射矩阵h_best，公式如下：

h_best＝inv(inv(T(X)*X)*(T(X)*Y))

式中，inv()表示括号内矩阵的逆矩阵，T()表示括号内矩阵的转置矩阵；

根据最优仿射矩阵h_best对红外滤波图像infImg进行仿射变换，方法与步骤41)一致，变换完成之后则完成红外与可见光图像配准。

Images