CN112288761A - 一种异常发热的电力设备检测方法、装置和可读存储介质 - Google Patents

Abstract

本发明提供一种异常发热的电力设备检测方法、装置和可读存储介质，其中，异常发热的电力设备检测方法包括如下步骤：对电力设备的红外图像和可见光图像进行边缘检测，得到红外边缘图像和可见光边缘图像；通过KAZE算法对红外边缘图像和可见光边缘图像进行特征点检测，根据特征点检测得到的红外特征点和可见光特征点进行匹配得到的匹配特征点对计算红外边缘图像和可见光边缘图像之间变换模型的变换参数；根据变换参数确定可见光边缘图像中的非匹配区域；根据对红外图像进行阈值分割得到掩码图和非匹配区域确定可见光图像中的异常发热区域，将异常发热区域对应的电力设备确定为异常发热的电力设备。本发明提高了检测异常发热的电力设备的准确率。

Description

一种异常发热的电力设备检测方法、装置和可读存储介质

技术领域

本发明涉及电力设备异常检测技术领域，具体涉及一种异常发热的电力设备检测方法、装置和可读存储介质。

背景技术

电网的建设与维护为国家提升综合国力和社会的高速发展提供了动力和保障。电力设备作为电网中的重要组成部分，其稳定运行是国民安全用电的重要保障。电力设备正常工作时，电力设备的导体由于电流的流通，会产生一定的热量，会使电力设备的温度在一定的范围内。当电力设备故障或老化时，会出现局部区域发热异常的情况，长期如此，会危及电力系统的安全运行，因此需要及时的发现电力设备的异常发热区域，并进行维修。现有的电力设备发热检测方法为用测温仪或者红外热成像进行检测，其需要在整个电力系统上布置相应的仪器，电力设备发热检测花费大、且容易遗漏死角，检测成功率低下，并需要技术人员对测量结果进行分析，花费的人力物力大，智能化水平低。

随着技术的发展和成熟，人们逐步将红外成像技术获取的红外图像与可见光图像进行协同处理，结合了红外图像能够测温、抗环境干扰能力强和可见光图像细节信息丰富、分辨率高的特点，在红外图像中检测异常发热区域的同时，能够在可见光图像中自动定位发热区域并分辨引起发热的具体设备和元件。但使用红外图像和可见光图像协同处理首先需要对二者进行配准，但红外图像与可见光图像相比分辨率低、细节丢失严重、图像模糊，且红外和可见光图像的灰度属性具有明显差异。现有的配准方法常基于特征点进行配准，其中SIFT(Scale-invariant feature transform，尺度不变特征变换)对于特征点平均分布的情况，匹配的结果准确率低下，且由于SIFT描述符有多个方向，容易出现同一个特征点匹配多次的情况；SURF(Speeded Up Robust Features，加速稳健特征)相比于SIFT提升了运算速度，但匹配的结果准确率低的问题没有解决。

由此可知，目前在通过红外图像和可见光图像协调检测电力设备的发热区域过程中，红外图像和可见光图像之间特征点的匹配结果准确率低下。

发明内容

基于上述现状，针对在通过红外图像和可见光图像协调检测电力设备的发热区域过程中，红外图像和可见光图像之间特征点的匹配结果准确率低下的技术问题，本发明主要目的在于提供一种异常发热的电力设备检测方法、装置和可读存储介质，以提高红外图像和可见光图像之间特征点的匹配结果准确率。

为实现上述目的，本发明采用的技术方案如下：

一种异常发热的电力设备检测方法，所述异常发热的电力设备检测方法包括以下步骤：

S100，获取电力设备对应的红外图像和可见光图像，并对所述红外图像和所述可见光图像进行边缘检测，得到所述红外图像对应的红外边缘图像和所述可见光图像对应的可见光边缘图像；

S200，通过KAZE算法对所述红外边缘图像和所述可见光边缘图像进行特征点检测，得到所述红外边缘图像对应的红外特征点和所述可见光边缘图像对应的可见光特征点；

S300，对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，并获取所述匹配特征点对对应的距离比值，将所述距离比值从小到大进行排序，得到排序后的距离比值，在排序后的距离比值中从前到后选取第一预设数量的目标距离比值，并将所述目标距离比值对应的匹配特征点对确定为初始数据集；

S400，执行内特征点对确定流程：在所述初始数据集中随机选取含有第二预设数量匹配特征点对的子集，根据所述子集计算得到变换模型参数，并根据所述变换模型参数对所述初始数据集中除所述子集外的匹配特征点对进行判断，以确定匹配特征点中的内特征点对；

S500，计算所述内特征点对确定流程的执行次数，并在所述执行次数大于预设次数时将最多内特征点对对应的变换模型参数确定为所述红外边缘图像和所述可见光边缘图像之间变换模型的变换参数；

S600，根据所述变换参数放大所述红外边缘图像，得到放大后的红外边缘图像，并根据所述变换参数确定所述可见光边缘图像中的待匹配区域，在所述待匹配区域中，以滑动窗口的方式搜索出与放大后的红外边缘图像相同尺寸的子图像；

S700，计算每次滑动窗口对应的归一化相关系数，并确定所计算的归一化相关系数中的最大系数，将所述最大系数对应子图像的区域确定为匹配边缘区域，并根据所述匹配边缘区域确定所述可见光图像中的非匹配区域；

S800，对所述红外图像进行阈值分割，得到所述红外图像对应的掩码图，根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域，并将所述异常发热区域对应的电力设备确定为异常发热的电力设备。

优选地，在所述步骤S100中，所述获取电力设备对应的红外图像和可见光图像的步骤包括：

通过红外摄像设备获取所述电力设备的红外图像，通过可见光摄像设备获取所述电力设备的可见光图像，其中，所述红外摄像设备和所述可见光摄像设备设置于同一光轴中，所述红外摄像设备与所述可见光摄像设备之间基线的距离在预设范围内，所述红外摄像设备的镜头和所述可见光摄像设备的镜头处于同一平面中。

优选地，在所述步骤S800中，所述根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域的步骤包括：

将所述掩码图嵌套在所述可见光图像中，以确定所述可见光图像中像素值为0的目标图像区域；

将所述可见光图像中除所述目标图像区域和所述非匹配区域外的区域确定为所述可见光图像中的异常发热区域。

优选地，在步骤S700中，计算归一化相关系数的公式为：

其中，

表示子图像，

表示放大后的红外边缘图像，W′表示放大后的红外边缘图像的宽，H′表示放大后的红外边缘图像的高，

中的(m,n)是子图像中像素点的坐标，

中的(m,n)是放大后的红外边缘图像中像素点的坐标，

为子图像为左上角像素点的坐标，

优选地，在步骤S200中，通过KAZE算法进行特征点检测的过程包括以下步骤：

S201，非线性扩散过滤：在非线性扩散滤波形成过程中，将图像亮度值L在不同尺度的演变描述为流动方程的散度，用非线性偏导方程来表示流动方程的散度，非线性偏导方程表示为公式：

其中，div表示散度运算，

表示梯度运算，x_d、y_d表示图像的横坐标和纵坐标，t表示图像尺度，在扩散函数中引入了传导函数c，使得非线性扩散对局部图像结构的自适应成为可能，传导函数表示为：

其中，

是高斯平滑后的图像L_σ的梯度，通过传导函数c得到新的传导函数g，新的传导函数g表示为：

其中，k是决定扩散级别的对比度因子，用于控制图像边缘的扩散水平，k取平滑过后的图像的梯度L_σ直方图的70％作为k值；

S202，AOS：使用隐式离散差分方程来求取非线性扩散滤波中的非线性偏微分方程的近似解，离散差分方程的矩阵形式表示为：

其中，A_l是每一个维度的图像传导的矩阵形式，τ表示步长，L_i是多层图像中的第i层图像，m′为任意大于1的整数；在离散差分方程中，求解方程的线性系统，线性系统对应的解表示为：

其中，I为一定维度的单位矩阵；

S203，构建非线性尺度空间：构建经所述AOS和可变的传导扩散构建的非线性尺度空间，所述非线性尺度空间包含O个图像尺度空间的组数和S个图像尺度空间的层数，每一个子层的尺度因子表示为：

σ_i(o,s)＝σ₀2^o+s/S，o∈[0,...,O-1]，s∈[0,...,S-1]，i∈[0,...,N]；

其中，σ₀表示图像尺寸的基准值，N是经过非线性扩散滤波的图像总数，N＝O×S，每层的尺度因子以像素为单位，将单位由像素转换到时间，得到每一个子层的尺度因子以时间为单位的表达式，每一个子层的尺度因子以时间为单位的表达式表示为：

i＝{0,...,N}；

其中，t_i表示为进化时间，σ_i为非线性尺度空间模型中各个层之间的尺度关系；计算输入图像的梯度直方图，获得对比度因子k，使用AOS通过迭代得到非线性尺度空间，非线性尺度空间用表示为：

S204，特征点检测：计算尺度归一化的Hessian在不同尺度下的响应值的公式表示为：

其中，L_xx为亮度值L在x方向上的二阶导数,L_yy为亮度值L在y方向上的二阶导数，L_xy为亮度值L在x方向和y方向上的混合二阶导数，σ为图像所在层的尺度系数，对于非线性尺度空间L_i中的滤波图像，在不同尺度σ_i下分析响应，除了i＝0和i＝N外，在所有滤波图像中寻找响应极值，得到特征点。

优选地，在所述步骤S300中，所述对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对的步骤包括：

将所述红外边缘图像中的各个红外特征点依次确定为目标特征点，通过欧式距离公式计算目标特征点与所述可见光边缘图像中各个可见光特征点之间的距离，在所述可见光边缘图像中查找与所述目标特征点之间距离最小可见光第一特征点和距离第二小的可见光第二特征点；

将所述目标特征点与所述可见光第一特征点之间的距离确定为第一距离，并将所述目标特征点与所述可见光第二特征点之间的距离确定为第二距离；

若所述第一距离与所述第二距离之间的距离比值在预设范围内，则确定所述目标特征点与所述可见光第一特征点为匹配特征点对，以得到所述红外特征点和所述可见光特征点中的匹配特征点对。

优选地，在步骤S300中，所述对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，并获取所述匹配特征点对对应的距离比值的步骤包括：

对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，采用RANSAC算法删除所述特征点对中的错误特征点对，得到目标特征点对；

获取所述目标特征点对对应的距离比值。

优选地，在所述步骤S100中，所述对所述红外图像和所述可见光图像进行边缘检测，得到所述红外图像对应的红外边缘图像和所述可见光图像对应的可见光边缘图像的步骤包括：

将所述红外图像和所述可见光图像输入基于HED算法训练得到神经网络中，得到与所述红外图像对应的红外边缘图结果和与所述可见光图像对应的可见光边缘图结果；聚合所述红外边缘图结果，得到所述红外图像对应的红外边缘图像，并聚合所述可见光边缘图结果，得到所述可见光图像对应的可见光边缘图像。

本发明还提供一种异常发热的电力设备检测装置，所述异常发热的电力设备检测装置包括：

获取模块，用于获取电力设备对应的红外图像和可见光图像；边缘检测模块，用于对所述红外图像和所述可见光图像进行边缘检测，得到所述红外图像对应的红外边缘图像和所述可见光图像对应的可见光边缘图像；特征点检测模块，用于通过KAZE算法对所述红外边缘图像和所述可见光边缘图像进行特征点检测，得到所述红外边缘图像对应的红外特征点和所述可见光边缘图像对应的可见光特征点；匹配模块，用于对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对；计算模块，用于根据所述匹配特征点对计算所述红外边缘图像和所述可见光边缘图像之间变换模型的变换参数；判定模块，用于根据所述变换参数确定所述可见光边缘图像中的匹配边缘区域，并根据所述匹配边缘区域确定所述可见光图像中的非匹配区域；分割模块，用于对所述红外图像进行阈值分割，得到所述红外图像对应的掩码图；所述判定模块还用于根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域，并将所述异常发热区域对应的电力设备确定为异常发热的电力设备。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有检测程序，所述检测程序被处理器执行时实现如所述的异常发热的电力设备检测方法的步骤。

【有益效果】

通过对电力设备的红外图像和可见光图像进行边缘检测，得到红外图像对应的红外边缘图像和可见光图像对应的可见光边缘图像，然后通过KAZE算法对红外边缘图像和可见光边缘图像进行特征点检测，得到红外边缘图像对应的红外特征点和可见光边缘图像对应的可见光特征点，对红外特征点和可见光特征点进行匹配，得到匹配的特征点对，并根据匹配特征点对计算红外边缘图像和可见光边缘图像之间变换模型的变换参数，根据变换参数确定可见光边缘图像中的匹配边缘区域，并根据匹配边缘区域确定可见光图像中的非匹配区域，对红外图像进行分割，得到红外图像对应的掩码图，根据掩码图和非匹配区域确定可见光图像中的异常发热区域，并将异常发热区域对应的电力设备确定为异常发热的电力设备。实现了首先利用KAZE算法对红外边缘图像和可见光边缘图像进行粗配准，再利用红外边缘图像和可见光边缘图像之间变换模型的变换参数进行配对，提高了异常发热的电力设备的检测的准确率；同时，因为使用了KAZE结合变换模型匹配的方法，既解决了变换模型匹配没有多尺度和速度慢的弊端，又解决了KAZE对于红外和可见光匹配精度不高的问题，进一步提高了红外边缘图像和可见光边缘图像匹配的成功率，且直接对可见光图像中的电力设备进行分割可能会受到光照、颜色、纹理等的影响，导致电力设备分割不全等问题，为此，本发明只对电力设备的红外图像进行分割，而不对电力设备的可见光图像进行分割，将红外图像的分割结果嵌套进可见光图像，进而确定出异常发热的电力设备，受到的干扰少，分割结果准确，从而进一步提高了检测异常发热的电力设备的准确率。

本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。

附图说明

以下将参照附图对根据本发明的优选实施方式进行描述。图中：

图1是本发明一实施例的异常发热的电力设备检测方法流程框图。

图2本发明实施例中红外摄像设备和可见光摄像设备之间的位置关系示意图；

图3是本发明实施例中依据不同尺度的归一化Hessian矩阵查找图像的局部极大值点的一种示意图；

图4是本发明异常发热的电力设备检测装置的结构示意图；

图5是本发明实施例中搜索子图像的一种示意图，其中，图A为放大后的红外边缘图像的一种示意图，图B为以放大后的红外边缘图像为模板，在待匹配区域中进行搜索，搜索窗口覆盖的子图像一种示意图；

图6是本发明实施例中可见光图像中异常发热区域的一种分割示意图，其中，图C为对红外图像进行阈值分割后所得的结果图的一种示意图，图D为可见光图像的一种示意图，图E为确定可见光图像中异常发热区域的一种示意图。

具体实施方式

现结合附图，对本发明的较佳实施例作详细说明。需要说明的是，本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制。

如图1所示，是本发明一实施例的异常发热的电力设备检测方法流程框图。

步骤S100，获取电力设备对应的红外图像和可见光图像，并对所述红外图像和所述可见光图像进行边缘检测，得到所述红外图像对应的红外边缘图像和所述可见光图像对应的可见光边缘图像。

获取电力设备对应的红外图像和可见光图像，其中，电力设备包括发电设备和供电设备。具体地，可在侦测到获取指令时，根据该获取指令获取电力设备对应的红外图像和可见光图像，该获取指令可为预先设置好的定时任务定时触发的，也可以是用户根据需要手动在电力设备对应系统中触发的，或者由用户在所持的移动终端中触发，然后由移动终端发送给电力设备对应系统的。当获取到电力设备对应的红外图像和可见光图像后，对红外图像和可见光图像进行边缘检测，得到红外图像对应的红外边缘图像，以及得到可见光图像对应的可见光边缘图像。具体地，可采用Canny边缘检测算法、索贝尔算子(Sobeloperator)和普利维特算子(Prewitt operate)等方法对红外图像和可见光图像进行边缘检测。

进一步的，步骤S100包括：

步骤a，通过红外摄像设备获取所述电力设备的红外图像，通过可见光摄像设备获取所述电力设备的可见光图像，其中，所述红外摄像设备和所述可见光摄像设备设置于同一光轴中，所述红外摄像设备与所述可见光摄像设备之间基线的距离在预设范围内，所述红外摄像设备的镜头和所述可见光摄像设备的镜头处于同一平面中。

在本实施例中，是通过红外摄像设备获取电力设备对应的红外图像，以及通过可见光摄像设备获取电力设备的可见光图像，其中，一个红外摄像设备和一个可见光摄像设备可对应一个电力设备，也可对应多个电力设备。具体地，可参照图2，图2是本发明实施例中红外摄像设备和可见光摄像设备之间的位置关系示意图。由图2可知，红外摄像设备和可见光摄像设备设置于同一光轴中，红外摄像设备与可见光摄像设备之间基线的距离在预设范围内，预设范围可根据具体需要而设置，如可将预设范围设置成5cm(厘米)-10cm，也可将预设范围设置成3cm-11cm等。红外摄像设备的镜头和可见光摄像设备的镜头处于同一平面中。需要说明的是，在本实施例中，是基于红外摄像设备的视场角小于可见光摄像设备的视场角，红外图像是可见光图像的一部分的条件对红外图像和可见光图像进行配准的，因此本实施例中可见光摄像设备的分辨率大于红外摄像设备的分辨率，如可将红外摄像设备的分辨率设置为320×240，将可见光摄像设备的分辨率设置为2048×1536。

进一步地，步骤S100包括：

步骤b，将所述红外图像和所述可见光图像输入基于HED算法训练得到神经网络中，得到与所述红外图像对应的红外边缘图结果和与所述可见光图像对应的可见光边缘图结果。

步骤d，聚合所述红外边缘图结果，得到所述红外图像对应的红外边缘图像，并聚合所述可见光边缘图结果，得到所述可见光图像对应的可见光边缘图像。

具体地，通过HED(Holistically-Nested Edge Detection)算法对红外图像和可见光图像进行边缘检测，得到红外边缘图像和可见光边缘图像的具体过程为：训练一个神经网络，使该神经网络可以学习并生成接近ground truth(有标注)的边缘图的特征，从而得到对应的边缘图像。

基于HED算法训练得到神经网络的过程为：获取训练图像集{(X_n,Y_n),n＝1,...,N}，其中，样本

表示电力设备的图像，当该神经网络是用来获取红外边缘图结果时，样本

表示电力设备的红外图像；当神经网络是用来获取可见光边缘图结果时，样本

表示电力设备的可见光图像。

其中

表示样本X_n对应的二值边缘图像，即可见光图像或者红外图像对应的ground truth边缘图像。需要说明的是，因为在训练过程中是从整体上独立地考虑每个图像，因此删除下标n。以W₀表示神经网络中所有标准网络层的参数集合，因为在神经网络中的卷积层之后有M个side output(侧输出)层，且每个side-output层与一个分类器相关联，因此每个side-output层的响应权重可以表示为w＝(w⁽¹⁾,...,w^(M))，则可确定神经网络对应的目标函数可用公式(1)表示：

公式(1)

其中，z_side表示side-output层的损失函数，w^(m)指HED第m side-output层的权重，α_m为平衡每side-output层输出为最终损失贡献的系数。

可以理解的是，在训练得到神经网络过程中，训练损失函数使用了电力设备的图像X_n＝{x_j,j＝1,...,|X|}和二值边缘图像Y_n＝{y_j,j＝1,...,|X|}，其中，y_j∈{0,1}表示二值边缘图像中的所有像素。需要说明的是，在自然图像中，边缘像素和非边缘像素是严重失衡的，90％的像素不属于边缘像素，因此在每个像素项的基础上引入一个类平衡权重β以抵消边缘像素和非边缘像素之间失衡。可以理解的是，自然图像就是所拍摄的原始图像。具体地，类平衡交叉熵损失函数可用公式(2)表示：

公式(2)：

像素的标注数据集(ground truth)，|Y₊|表示非边缘像素的标注数据集；

使用激活函数δ在像素j上的

值计算得到的；在每一个side-output层上，进行边缘图像预测，其中，

表示m层上的side-output输出。

添加一个“weighted-fusion(加权融合)”层到神经网络并同时在训练期间学习融合权重以直接利用side-output输出，融合层面的损失函数为可用公式(3)表示：

公式(3)

其中，

h＝(h₁,...,h_M)表示融合权重，Dist(.,.)是融合后的预测标注数据和实际标注数据之间的距离，在本实施例中，将Dist(.,.)设置为交叉熵损失，最后通过标准(反向传播)随机梯度下降算法以最小化目标函数，具体地，通过标准随机梯度下降算法以最小化目标函数可用公式(4)表示：

公式(4)(W₀,w,h)^*＝argmin(Z_side(W₀,w)+Z_fuse(W₀,w,h))。

需要说明的是，得到最小化目标函数，就是基于HED算法训练得到神经网络。将红外图像和可见光图像输入基于HED算法训练得到的神经网络中，得到与红外图像对应的红外边缘图结果和与可见光图像对应的可见光边缘图结果，具体地，参照公式(5)。

公式(5)

其中，CNN(.)表示神经网络的输出结果，该输出结果为边缘图结果；X表示输入神经网络的图像。当输入神经网络中的图像为红外图像时，输出结果为红外边缘图结果；当输入神经网络中的图像为可见光图像时，输出结果为可见光边缘图结果。

当得到红外边缘图结果和可见光边缘图结果后，聚合红外边缘图结果，得到红外图像对应的红外边缘图像，并聚合可见光边缘图结果，得到可见光图像对应的可见光边缘图像。具体地，聚合过程可用公式(6)表示：

公式(6)

由公式(6)可知，在得到边缘图像过程中，是通过平均值叠加得到的。在本实施例中，为了便于描述，将红外边缘图像记为

将可见光边缘图像记为

需要说明的是，由于红外图像具有热扩散的特点，红外图像的边缘相对模糊，因此本实施例利用HED对红外图像和可见光图像进行边缘检测，以忽略红外图像和可见光图像中弱小的边缘，解决自然图像边缘和目标边界模糊的问题，提高了异常发热电力设备检测的检测效率。

步骤S200，通过KAZE算法对所述红外边缘图像和所述可见光边缘图像进行特征点检测，得到所述红外边缘图像对应的红外特征点和所述可见光边缘图像对应的可见光特征点。

当得到红外边缘图像和可见光边缘图像后，通过KAZE算法对红外边缘图像和可见光边缘图像进行特征点检测，得到红外边缘图像对应的红外特征点和可见光边缘图像对应的可见光特征点。其中，KAZE算法是由法国学者Pablo等提出，是一种鲁棒性很强的特征点提取算法，被视为线性空间特征算法的改进。

具体地，通过KAZE算法进行特征点检测的过程包括以下步骤：

步骤S201，非线性扩散过滤：在非线性扩散滤波形成过程中，将图像亮度值L在不同尺度的演变描述为流动方程的散度，用非线性偏导方程来表示流动方程的散度，非线性偏导方程表示为公式：

其中，div表示散度运算，

表示梯度运算，x_d、y_d表示图像的横坐标和纵坐标，t表示图像尺度，在扩散函数中引入了传导函数c，使得非线性扩散对局部图像结构的自适应成为可能，传导函数表示为：

其中，

是高斯平滑后的图像L_σ的梯度，通过传导函数c得到新的传导函数g，新的传导函数g表示为：

其中，k是决定扩散级别的对比度因子，用于控制图像边缘的扩散水平，k取平滑过后的图像的梯度L_σ直方图的70％作为k值。

需要说明的是，在非线性扩散滤波形成过程中，图像亮度值L在不同尺度的演变描述为流动方程(flow function)的散度，此过程可用非线性偏导方程来表示。在非线性偏导方程中，t越大，对应的图像表示也越简单。

通过传导函数c得到新的传导函数g，新的传导函数包括g₁和g₂，其中，

其中，k是决定扩散级别的对比度因子，用于控制图像边缘的扩散水平，k取平滑过后的图像的梯度L_σ直方图的70％作为k值。g₁提升了高对比度的边缘，g₂提升了宽区域部分的边缘。在KAZE算法中，使用g₂。

步骤S202，AOS：使用隐式离散差分方程来求取非线性扩散滤波中的非线性偏微分方程的近似解，离散差分方程的矩阵形式表示为：

其中，A_l是每一个维度的图像传导的矩阵形式，τ表示步长，L_i是多层图像中的第i层图像，m′为任意大于1的整数；在离散差分方程中，求解方程的线性系统，线性系统对应的解表示为：

其中，I为一定维度的单位矩阵。

对于非线性扩散滤波中的非线性偏微分方程，没有解析解，因此需要使用数值分析方法来求取近似解，具体地，本实施例使用隐式(semi-implicit)离散差分方程求取近似解。其中，在离散差分方程的矩阵形式中，A_l是每一个维度的图像传导的矩阵形式，即图像在不同维度上的传导性。需要说明的是，离散差分方程在任意步长中是稳定的，它创造了离散非线性扩散尺度空间，此方法必须要求解方程的线性系统，这个系统的矩阵是对三角且对角占优的，这样系统就可以使用高效的托马斯算法，即通过托马斯算法可以快速求解。

步骤S203，构建非线性尺度空间：构建经所述AOS和可变的传导扩散构建的非线性尺度空间，所述非线性尺度空间包含O个图像尺度空间的组数和S个图像尺度空间的层数，每一个子层的尺度因子表示为：

σ_i(o,s)＝σ₀2^o+s/S，o∈[0,...,O-1]，s∈[0,...,S-1]，i∈[0,...,N]；

其中，σ₀表示图像尺寸的基准值，N是经过非线性扩散滤波的图像总数，N＝O×S，每层的尺度因子以像素为单位，将单位由像素转换到时间，得到每一个子层的尺度因子以时间为单位的表达式，每一个子层的尺度因子以时间为单位的表达式表示为：

i＝{0,...,N}；

其中，t_i表示为进化时间，σ_i为非线性尺度空间模型中各个层之间的尺度关系；计算输入图像的梯度直方图，获得对比度因子k，使用AOS通过迭代得到非线性尺度空间，非线性尺度空间用表示为：

需要说明的是，经上述AOS方法和可变的传导扩散构建的非线性尺度空间，包含O个octaves(图像尺度空间的组数)和S个sub-levels(图像尺度空间的层数)，并且尺度空间始终基于原图进行操作，而非在每一层进行下采样。每层的尺度因子以像素为单位，即高斯模板的大小以像素为单位，需要将单位由像素转换到时间，得到每一个子层的尺度因子以时间为单位的表达式。在本实施例中，使用映射σ_i→t_i只是为了从建立的非线性尺度空间获取一组进化时间。在每个经过滤波的图像t_i的非线性尺度空间中，生成的图像不符合原始图像的高斯卷积的标准差σ_i。通过设置扩散函数g₂＝1(即一个常数函数)来获得高斯尺度空间的方程，得到等效于高斯尺度空间的效果。在非线性尺度空间中不断演化，除了与物体边界相对应的强图像边缘外，对大多数图像像素而言，传导函数趋于常数。对于输入图像，首先要进行高斯卷积减少噪声和其他人为因素的影响，计算图像的梯度直方图，获得对比度因子k，然后使用AOS通过迭代得到非线性尺度空间。

步骤S204，特征点检测：计算尺度归一化的Hessian在不同尺度下的响应值的公式表示为：

其中，L_xx为亮度值L在x方向上的二阶导数,L_yy为亮度值L在y方向上的二阶导数，L_xy为亮度值L在x方向和y方向上的混合二阶导数，σ为图像所在层的尺度系数，对于非线性尺度空间L_i中的滤波图像，在不同尺度σ_i下分析响应，除了i＝0和i＝N外，在所有滤波图像中寻找响应极值，得到特征点。

需要说明的是，非线性不变特征算法KAZE依据不同尺度的归一化Hessian矩阵查找图像的局部极大值点。因此先计算尺度归一化的Hessian在不同尺度下的响应值。对于多尺度特征检测，需要对微分算子集进行尺度归一化，因为一般情况下空间导数的幅值随着尺度的增大而减小。对于给定的非线性尺度空间L_i中的滤波图像，在不同尺度σ_i下分析响应。在每个尺度和空间位置上寻找最大，除了i＝0和i＝N，在所有滤波图像中寻找极值。如图3，通过在当前滤波图像i、上一滤波图像i+1和下一滤波图像i-1上，以大小为σ_i×σ_i的矩形窗口滑动寻找极值。为了加快极值搜索的速度，首先检查大小为3×3像素的窗口上的响应，以便快速丢弃非极值响应，得到极值响应；需要说明的是，在矩形窗口滑动寻找到的响应极值就是特征点，最后，以亚像素精度估计特征点的位置。可以理解的是，在其他实施例中，也可以检查其它大小像素的窗口上的响应，以便快速丢弃非极值响应，如检查大小为4×4像素的窗口上的响应。在本实施例中，计算一阶和二阶导数时使用3×3大小的Scharr滤波器，以便于更好地近似旋转不变性。需要说明的是，虽然需要对每一个像素点计算多尺度下的导数，但将计算结果保存下来，在计算特征描述的步骤就可以重复使用从而降低计算量。

进一步地，通过KAZE算法进行特征点检测的过程包括特征描述步骤。特征描述：利用特征点的邻域找到主方向，邻域是一个半径为6σ_i的范围，σ_i是特征点所在的尺度大小。在其它实施例中，邻域的半径也可以根据具体需要而设置，如将邻域的半径设置为8σ_i或者5σ_i等。对邻域内的像素点计算x方向和y方向的梯度，并且使用高斯进行加权(以特征点为中心的高斯分布)，这样越是靠近特征点的采样点(像素点)的重要性就越高。在圆形的邻域内以60度的扇形为滑窗进行转动扫描，计算扇形内的矢量之和，挑选最长的矢量作为主方向。在其它实施例中，也可以在圆形的邻域内以80度的扇形为滑窗进行转动扫描，或者在圆形的邻域内以90度的扇形为滑窗进行转动扫描。

使用M-SURF描述子来适应非线性空间。对于尺度大小为σ_i的特征点，在其24σ_i×24σ_i的矩形邻域内的像素点计算x方向和y方向的偏导。这个领域又被分成4×4个子区域，每一个区域大小为9σ_i×9σ_i，每两个子区域之间重叠2σ_i。对于每一个子区域都赋予高斯核为σ₁＝2.5σ_i进行高斯加权之后可以得到一个4维的描述向量，具体地，4维的描述向量可用公式(16)表示：

公式(16)d_v＝(∑L_x,∑L_y,∑|L_x|,∑|L_y|)。

当得到4维的描述向量后，再通过另一个4×4高斯核为σ₁＝1.5σ_i的窗口对每个子区域的4维向量进行高斯加权，然后进行归一化处理。在归一化处理后，每个特征点的描述向量为64维，此时，矩形区域内的点都转到了主方向，梯度的计算也根据了主方向，所以得到的64维描述向量是旋转不变的。可以理解的是，在本实施例中，通过KAZE算法得到的红外特征点和可见光特征点的描述向量是64维的。

步骤S300，对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，并获取所述匹配特征点对对应的距离比值，将所述距离比值从小到大进行排序，得到排序后的距离比值，在排序后的距离比值中从前到后选取第一预设数量的目标距离比值，并将所述目标距离比值对应的匹配特征点对确定为初始数据集。

当得到红外特征点和可见光特征点后，对红外特征点和可见光特征点进行匹配，得到红外特征点和可见光特征点中相匹配的特征点，可以理解的是，红外特征点和可见光特征点中相匹配的特征点就是匹配的特征点对。当得到匹配特征点对后，获取匹配特征点对对应的距离比值，将距离比值从小到大进行排序，得到排序后的距离比值，并在排序后的距离比值中从前到后选取第一预设数量的目标距离比值，将目标距离比值对应的匹配特征点对确定为初始数据集。可以理解的是，匹配特征点对对应的距离比值就是公式(18)计算得到的距离比值，该距离比值是一个近邻距离比值。

具体地，若将匹配特征点对组成样本集Sample，对Sample中的所有匹配特征点对(x_i,y_i)、(x′_i,y′_i)按其距离比值由小到大进行排序，选取前Q对匹配特征点对作为初始数据集G，其中，(x_i,y_i)可表示匹配特征点对中的红外特征点，(x′_i,y′_i)表示匹配特征点对中的可见光特征点，Q表示第一预设数量，本实施例对第一预设数量大小不做具体限制，用户可以根据需要而设置。

步骤S400，执行内特征点对确定流程：在所述初始数据集中随机选取含有第二预设数量匹配特征点对的子集，根据所述子集计算得到变换模型参数，并根据所述变换模型参数对所述初始数据集中除所述子集外的匹配特征点对进行判断，以确定匹配特征点中的内特征点对。

当得到初始数据集后，根据初始数据集执行内特征点对确定流程。具体地，内特征点对确定流程为：在初始数据集中随机选取含有第二预设数量匹配特征点对的子集，即该子集中含有第二预设数量的匹配特征点对。第二预设数量可设置为4、5或者8等。当得到子集后，根据子集计算得到变换模型参数，并根据变换模型参数对初始数据集中除子集外的匹配特征点对进行判断，以确定匹配特征点对中的内特征点对。具体地，若(x_i,y_i)经过变换模型变换后的特征点与(x′_i,y′_i)之间的距离还是小于设定的阈值，则(x_i,y_i)和(x′_i,y′_i)这一匹配特征点对为内特征点对；若(x_i,y_i)经过变换模型变换后的特征点与(x′_i,y′_i)之间的距离大于或者等于设定的阈值，则(x_i,y_i)和(x′_i,y′_i)这一匹配特征点对为外特征点对，其中，阈值的大小可根据具体需要而设置，本实施例不限制阈值的大小。

具体地，本实施例以第二预设数量为4举例说明根据子集计算得到变换模型参数的过程：选取4对匹配特征点对，每对匹配特征点对可以得到x′＝m₁x+m₃，y′＝m₅y+m₆两个方程式，4对匹配特征点对一共有八个方程式，利用最小二乘法对八个方程式求解，得到m₁,m₃,m₅,m₆。可以理解的是，所得m₁,m₃,m₅,m₆就是变换模型参数。

步骤S500，计算所述内特征点对确定流程的执行次数，并在所述执行次数大于预设次数时将最多内特征点对对应的变换模型参数确定为所述红外边缘图像和所述可见光边缘图像之间变换模型的变换参数。

计算内特征点对确定流程的执行次数，并判断该执行次数是否大于预设次数。若执行次数大于预设次数，则计算该预设次数中，各个变换模型参数对应的内特征点对的数量，将内特征点对数量最多的变换模型参数确定为红外边缘图像和可见光边缘图像之间变换模型的变换参数。需要说明的是，内特征点对的数量最多，代表匹配正确的特征点对数目最多，对应的变换模型参数最准确。

具体地，预设次数可根据具体需要而预先设置好的，也可以通过公式(19)计算得到：

公式(19)

其中，U表示预设次数，p为在所有采样中至少出现一次所有匹配点特征点对都为内特征点对情况的概率，q为内特征点对的数量与匹配特征点对总数量之间的比值。可以理解的是，当预设次数为U时，一共可以得到U组变换模型参数。

需要说明的是，由于红外摄像设备和可见光摄像设备处于同一光轴，所以本实施例仅保留六参数模型中尺度变换参数，忽略角度和形状的变换参数。具体地，利用六参数仿射变换模型描述红外边缘图像和可见光边缘图像之间的变换模型的关系可采用公式(20)表示：

公式(20)

其中，(x′,y′)是可见光边缘图像中的一像素点，(x,y)是红外边缘图像中与(x′,y′)对应的像素点，由于本实施例只涉及平移及尺度变换关系，因此m₂＝m₄＝0。可以理解的是，红外边缘图像和可见光边缘图像之间变换模型的变换参数m₁,m₃,m₅,m₆。

具体地，所述对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对的步骤包括：

步骤e，将所述红外边缘图像中的各个红外特征点依次确定为目标特征点通过欧式距离公式计算目标特征点与所述可见光边缘图像中各个可见光特征点之间的距离，在所述可见光边缘图像中查找与所述目标特征点之间距离最小可见光第一特征点和距离第二小的可见光第二特征点。

具体地，将红外边缘图像中的各个红外特征点依次确定为目标特征点，通过欧式距离公式计算目标特征点与可见光边缘图像中各个可见光特征点之间的距离，并在可见光边缘图像中查找与目标特征点之间距离最小和距离第二小的可见光特征点。为了便于描述，本实施例将可见光边缘图像中与目标特征点之间距离最小的可见光特征点记为可见光第一特征点，将可见光边缘图像中与目标特征点之间距离第二小的可见光特征点记为可见光第二特征点。在本实施例中，可通过欧式距离公式计算两个特征点之间的距离。

可以理解的是，本实施例是以红外边缘图像

为待配准图像，选择红外边缘图像

中的一个特征点R，其M-SURF特征描述向量为r_i，以可见光边缘图像

为参考图像，选择可见光边缘图像

中的一个特征点S，其M-SURF特征描述向量为s_i，则两个特征点之间的距离可用欧式距离公式计算得到，欧氏距离公式(17)表示为：

公式(17)

在

中找到与

中的特征点R欧氏距离最小的点e和第二小的点f，e为可见光第一特征点，f为可见光第二特征点，e与R的之间的距离表示为d_er，f与R的之间的距离表示为d_fr。

步骤g，将所述目标特征点与所述可见光第一特征点之间的距离确定为第一距离，并将所述目标特征点与所述可见光第二特征点之间的距离确定为第二距离。

步骤h，若所述第一距离与所述第二距离之间的距离比值在预设范围内，则确定所述目标特征点与所述可见光第一特征点为匹配特征点对，以得到所述红外特征点和所述可见光特征点中的匹配特征点对。

当确定可见光第一特征点和可见光第二特征点后，将目标特征点与可见光第一特征点之间的距离确定为第一距离，以及将目标特征点与可见光第二特征点之间的距离确定为第二距离。当确定第一距离和第二距离后，计算第一距离和第二距离之间的距离比值，并判断所计算的距离比值是否在预设范围内。若所计算的距离比值在预设范围内，则确定目标特征点与可见光第一特征点为匹配特征点对，依次对每一个目标特征点执行相同的操作，得到红外特征点和可见光特征点中的匹配特征点对；如所计算的距离比值未在预设范围内，则确定目标特征点与可见光第一特征点匹配失败，即目标特征点与可见光第一特征点不是匹配特征点对。

具体地，第一距离和第二距离之间的距离比值可用公式(18)表示：

公式(18)

其中，T′表示预设范围，在本实施例中，T′的取值范围是[0.4,0.6]，在其它实施例中，T′的取值范围也可根据需要设置为其它。由公式(18)可知，第一距离和第二距离之间的距离比值等于第一距离除以第二距离。

步骤S600，根据所述变换参数放大所述红外边缘图像，得到放大后的红外边缘图像，并根据所述变换参数确定所述可见光边缘图像中的待匹配区域，在所述待匹配区域中，以滑动窗口的方式搜索出与放大后的红外边缘图像相同尺寸的子图像。

当得到红外边缘图像和可见光边缘图像之间变换模型的变换参数后，根据变换参数确定可见光边缘图像中的匹配边缘区域。具体地，根据该变换参数确定红外边缘图像和可见光边缘图像之间的尺度关系，红外边缘图像和可见光边缘之间的尺度关系为(m₁,m₅)，根据该尺度关系放大红外边缘图像，得到放大后的红外边缘图像，放大后的红外边缘图像的宽为放大前红外边缘图像的宽乘以m₁，放大后的红外边缘图像的高为放大前红外边缘图像的高乘以m₅。在本实施例中，为了便于理解，将放大后的红外边缘图像记为

放大前的红外边缘图像和放大后的红外边缘图像之间的尺寸变为(W′,H′)。需要说明的是，在对红外图像和可见光图像进行边缘检测时，没有修改红外图像和可见光图像的分辨率，因此，红外边缘图像和可见光边缘图像之间的尺度关系与红外图像和可见光图像之间的尺度关系是相同的。

在得到变换参数后，根据变换参数确定可见光边缘图像中待扩大区域的左上角点坐标为(m₁+m₃,m₅+m₆)，待扩大区域的宽即为放大后的红外边缘图像的宽，待扩大区域的高为放大后的红外边缘图像的高。具体地，若将待扩大区域的四个角点记为(A₁,B₁)、(A₂,B₁)、(A₁,B₂)、(A₂,B₂)，以待扩大区域为中心，获取面积扩大四倍的范围，得到待匹配区域。可以理解的是，待匹配区域的尺寸为(2W′,2H′)，四个角点变为

当确定待匹配区域后，在待匹配区域中，以滑动窗口的方式搜索出于放大后的红外边缘图像相同尺寸的子图像。

步骤S700，计算每次滑动窗口对应的归一化相关系数，并确定所计算的归一化相关系数中的最大系数，将所述最大系数对应子图像的区域确定为匹配边缘区域，并根据所述匹配边缘区域确定所述可见光图像中的非匹配区域。

当确定待匹配区域后，在待匹配区域中，以滑动窗口的方式搜索出于放大后的红外边缘图像相同尺寸的子图像，即以

为模板，在待匹配区域中进行搜索，以搜索到窗口覆盖的子图像，并将子图像记为

其中

为子图像为左上角点坐标，

计算

与

的归一化相关系数，即计算每次滑动窗口对应的归一化相关系数，具体地，采用公式(21)计算归一化相关系数：

其中，

中的(m,n)是子图像中像素点的坐标，

中的(m,n)是放大后的红外边缘图像中像素点的坐标。

需要说明的是，在搜索得到子图像的过程中，会以滑动窗口的方式进行多次搜索。当计算得到归一化相关系数后，确定所计算的归一化相关系数中的最大归一化相关系数，本实施例为了便于描述将最大归一化相关系数记为最大系数。在确定最大系数后，将最大系数对应的子图像对应的区域确定为匹配边缘区域。具体地，可参照图5，图5是本发明实施例中搜索子图像的一种示意图，其中，图A为放大后的红外边缘图像的一种示意图，图B为以放大后的红外边缘图像为模板，在待匹配区域中进行搜索，搜索窗口覆盖的子图像一种示意图。

当确定匹配边缘区域后，根据该匹配边缘区域确定可见光图像中的非匹配区域。可以理解的是，在可见光图像中，除去可见光边缘图像中所确定的匹配边缘区域，剩下区域就是可见光图像中的非匹配区域。需要说明的是，可见光边缘图像和可见光图像的分辨率是相同的，因此可见光边缘图像和可见光图像的匹配边缘区域和非匹配区域是相对应的，确定了可见光边缘图像中的匹配边缘区域，就是确定了可见光图像中的匹配边缘区域，可见光图像中除了匹配边缘区域外的区域就是非匹配区域

步骤S800，对所述红外图像进行阈值分割，得到所述红外图像对应的掩码图，根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域，并将所述异常发热区域对应的电力设备确定为异常发热的电力设备。

对红外图像进行阈值分割，得到红外图像对应的掩码图。具体地，在本实施例中，对红外图像进行阈值分割。具体地，可采用Otsu(最大类间方差法)阈值分割法、最大熵阈值分割法和迭代阈值分割法等对红外图像进行阈值分割。需要说明的是，由于红外图像的特征，在对红外图像进行阈值分割后，得到分割结果，根据分割结果得到红外图像对应的掩码图，通过红外图像对应的掩码图可以确定红外图像中像素值为255的图像区域，以及像素值为0的图像区域。当得到红外图像对应的掩码图后，根据掩码图和非匹配区域确定可见光图像中的异常发热区域，并将该异常发热区域对应的电力设备确定为异常发热的电力设备。

进一步地，所述根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域的步骤包括：

步骤p，将所述掩码图嵌套在所述可见光图像中，以确定所述可见光图像中像素值为0的目标图像区域。

步骤q，将所述可见光图像中除所述目标图像区域和所述非匹配区域外的区域确定为所述可见光图像中的异常发热区域。

具体地，将掩码图嵌套在可见光图像中，以确定可见光图像中像素点为0的目标图像区域。需要说明的是，在将掩码图嵌套在可见光图像过程中，会进行位置匹配，将掩码图嵌套在可见光图像中的对应区域中。当确定可见光图像中像素点为0的目标图像区域后，将可见光图像中除目标图像区域和非匹配区域外的区域确定为可见光图像中异常发热区域。可以理解是，可在可见光图像中，将非匹配区域和对应红外图像像素值为0的区域的像素点的像素值设置为0，此时，可见光图像中像素值不为0的图像区域就是异常发热区域。具体地，参照图6，图6是本发明实施例中可见光图像中异常发热区域的一种分割示意图，其中，图C为对红外图像进行阈值分割后所得的结果图的一种示意图，图D为可见光图像的一种示意图，图E为确定可见光图像中异常发热区域的一种示意图。

本实施例通过对电力设备的红外图像和可见光图像进行边缘检测，得到红外图像对应的红外边缘图像和可见光图像对应的可见光边缘图像，然后通过KAZE算法对红外边缘图像和可见光边缘图像进行特征点检测，得到红外边缘图像对应的红外特征点和可见光边缘图像对应的可见光特征点，对红外特征点和可见光特征点进行匹配，得到匹配的特征点对，并根据匹配特征点对计算红外边缘图像和可见光边缘图像之间变换模型的变换参数，根据变换参数确定可见光边缘图像中的匹配边缘区域，并根据匹配边缘区域确定可见光图像中的非匹配区域，对红外图像进行分割，得到红外图像对应的掩码图，根据掩码图和非匹配区域确定可见光图像中的异常发热区域，并将异常发热区域对应的电力设备确定为异常发热的电力设备。实现了首先利用KAZE算法对红外边缘图像和可见光边缘图像进行粗配准，再利用红外边缘图像和可见光边缘图像之间变换模型的变换参数进行配对，提高了异常发热的电力设备的检测的准确率；同时，因为使用了KAZE结合变换模型匹配的方法，既解决了变换模型匹配没有多尺度和速度慢的弊端，又解决了KAZE对于红外和可见光匹配精度不高的问题，进一步提高了红外边缘图像和可见光边缘图像匹配的成功率，且直接对可见光图像中的电力设备进行分割可能会受到光照、颜色、纹理等的影响，导致电力设备分割不全等问题，为此，本实施例只对电力设备的红外图像进行分割，而不对电力设备的可见光图像进行分割，将红外图像的分割结果嵌套进可见光图像，进而确定出异常发热的电力设备，受到的干扰少，分割结果准确，从而进一步提高了检测异常发热的电力设备的准确率。

进一步地，提出本发明异常发热的电力设备检测方法另一实施例。

所述异常发热的电力设备检测方法另一实施例与上述异常发热的电力设备检测方法的实施例的区别在于，在步骤S300中，所述对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，并获取所述匹配特征点对对应的距离比值的步骤包括：

步骤y，对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，采用RANSAC算法删除所述特征点对中的错误特征点对，得到目标特征点对。

步骤z，获取所述目标特征点对对应的距离比值。

当得到红外特征点和可见光特征点后，对红外特征点和可见光特征点进行匹配，得到匹配的特征点对，然后采用RANSAC(Random Sample Consensus)算法删除特征点对中的错误特征点对，得到目标特征点对。可以理解的是，目标特征点对为匹配特征点对中除错误特征点对外的特征点对，即目标特征点对为正确特征点对。当得到目标特征点对后，获取目标特征点对对应的距离比值。

本实施例通过在匹配得到特征点对后，采用RANSAC算法删除特征点对中的错误特征点对，得到目标特征点对，然后获取目标特征点对对应的距离比值，从而提高根据距离比值确定非匹配区域的准确率，以进一步地提高检测异常发热的电力设备的准确率。

本发明还提供一种异常发热的电力设备检测装置，参照图4，所述异常发热的电力设备检测装置包括：

获取模块10，用于获取电力设备对应的红外图像和可见光图像；边缘检测模块20，用于对所述红外图像和所述可见光图像进行边缘检测，得到所述红外图像对应的红外边缘图像和所述可见光图像对应的可见光边缘图像；特征点检测模块30，用于通过KAZE算法对所述红外边缘图像和所述可见光边缘图像进行特征点检测，得到所述红外边缘图像对应的红外特征点和所述可见光边缘图像对应的可见光特征点；匹配模块40，用于对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对；初始数据集判定模块50，用于获取所述匹配特征点对对应的距离比值，将所述距离比值从小到大进行排序，得到排序后的距离比值，在排序后的距离比值中从前到后选取第一预设数量的目标距离比值，并将所述目标距离比值对应的匹配特征点对确定为初始数据集；执行模块60，用于执行内特征点对确定流程：在所述初始数据集中随机选取含有第二预设数量匹配特征点对的子集，根据所述子集计算得到变换模型参数，并根据所述变换模型参数对所述初始数据集中除所述子集外的匹配特征点对进行判断，以确定匹配特征点中的内特征点对；计算模块70，用于计算所述内特征点对确定流程的执行次数；判定模块80，用于在所述执行次数大于预设次数时将最多内特征点对对应的变换模型参数确定为所述红外边缘图像和所述可见光边缘图像之间变换模型的变换参数；所述计算模块70还用于计算每次滑动窗口对应的归一化相关系数；所述判定模块80还用于确定所计算的归一化相关系数中的最大系数，将所述最大系数对应子图像的区域确定为匹配边缘区域，并根据所述匹配边缘区域确定所述可见光图像中的非匹配区域；分割模块90，用于对所述红外图像进行阈值分割，得到所述红外图像对应的掩码图；所述判定模块80还用于根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域，并将所述异常发热区域对应的电力设备确定为异常发热的电力设备。

进一步地，所述获取模块10还用于通过红外摄像设备获取所述电力设备的红外图像，通过可见光摄像设备获取所述电力设备的可见光图像，其中，所述红外摄像设备和所述可见光摄像设备设置于同一光轴中，所述红外摄像设备与所述可见光摄像设备之间基线的距离在预设范围内，所述红外摄像设备的镜头和所述可见光摄像设备的镜头处于同一平面中。

进一步地，所述判定模块60包括：嵌套单元，用于将所述掩码图嵌套在所述可见光图像中，以确定所述可见光图像中像素值为0的目标图像区域；第一确定单元，用于将所述可见光图像中除所述目标图像区域和所述非匹配区域外的区域确定为所述可见光图像中的异常发热区域。

进一步地，计算归一化相关系数的公式为：

其中，

表示子图像，

表示放大后的红外边缘图像，W′表示放大后的红外边缘图像的宽，H′表示放大后的红外边缘图像的高，

中的(m,n)是子图像中像素点的坐标，

中的(m,n)是放大后的红外边缘图像中像素点的坐标，

为子图像为左上角像素点的坐标，

进一步地，所述特征点检测模块30包括:非线性扩散过滤单元，用于在非线性扩散滤波形成过程中，将图像亮度值L在不同尺度的演变描述为流动方程的散度，用非线性偏导方程来表示流动方程的散度，非线性偏导方程表示为公式：

其中，div表示散度运算，

表示梯度运算，x_d、y_d表示图像的横坐标和纵坐标，t表示图像尺度，在扩散函数中引入了传导函数c，使得非线性扩散对局部图像结构的自适应成为可能，传导函数表示为：

其中，

是高斯平滑后的图像L_σ的梯度，通过传导函数c得到新的传导函数g，新的传导函数g表示为：

其中，k是决定扩散级别的对比度因子，用于控制图像边缘的扩散水平，k取平滑过后的图像的梯度L_σ直方图的70％作为k值；

AOS单元，使用隐式离散差分方程来求取非线性扩散滤波中的非线性偏微分方程的近似解，离散差分方程的矩阵形式表示为：

其中，A_l是每一个维度的图像传导的矩阵形式，τ表示步长，L_i是多层图像中的第i层图像，m′为任意大于1的整数；在离散差分方程中，求解方程的线性系统，线性系统对应的解表示为：

其中，I为一定维度的单位矩阵；

构建单元，用于构建经所述AOS和可变的传导扩散构建的非线性尺度空间，所述非线性尺度空间包含O个图像尺度空间的组数和S个图像尺度空间的层数，每一个子层的尺度因子表示为：

σ_i(o,s)＝σ₀2^o+s/S，o∈[0,...,O-1]，s∈[0,...,S-1]，i∈[0,...,N]；

其中，σ₀表示图像尺寸的基准值，N是经过非线性扩散滤波的图像总数，N＝O×S，每层的尺度因子以像素为单位，将单位由像素转换到时间，得到每一个子层的尺度因子以时间为单位的表达式，每一个子层的尺度因子以时间为单位的表达式表示为：

i＝{0,...,N}；其中，t_i表示为进化时间，σ_i为非线性尺度空间模型中各个层之间的尺度关系；计算输入图像的梯度直方图，获得对比度因子k，使用AOS通过迭代得到非线性尺度空间，非线性尺度空间用表示为：

特征点检测单元，用于计算尺度归一化的Hessian在不同尺度下的响应值的公式表示为：

其中，L_xx为亮度值L在x方向上的二阶导数,L_yy为亮度值L在y方向上的二阶导数，L_xy为亮度值L在x方向和y方向上的混合二阶导数，σ为图像所在层的尺度系数，对于非线性尺度空间L_i中的滤波图像，在不同尺度σ_i下分析响应，除了i＝0和i＝N外，在所有滤波图像中寻找响应极值，得到特征点。

进一步地，所述匹配模块40包括：

第二确定单元，用于将所述红外边缘图像中的各个红外特征点依次确定为目标特征点；计算单元，用于通过欧式距离公式计算目标特征点与所述可见光边缘图像中各个可见光特征点之间的距离；查找单元，用于在所述可见光边缘图像中查找与所述目标特征点之间距离最小可见光第一特征点和距离第二小的可见光第二特征点；所述第四确定单元还用于将所述目标特征点与所述可见光第一特征点之间的距离确定为第一距离，并将所述目标特征点与所述可见光第二特征点之间的距离确定为第二距离；若所述第一距离与所述第二距离之间的距离比值在预设范围内，则确定所述目标特征点与所述可见光第一特征点为匹配特征点对，以得到所述红外特征点和所述可见光特征点中的匹配特征点对。

进一步地，所述异常发热的电力设备检测装置还包括：删除模块，用于采用RANSAC算法删除所述特征点对中的错误特征点对，得到目标特征点对；所述初始数据集判定模块50还用于获取所述目标特征点对对应的距离比值。

进一步地，所述边缘检测模块20包括：输入单元，用于将所述红外图像和所述可见光图像输入基于HED算法训练得到神经网络中，得到与所述红外图像对应的红外边缘图结果和与所述可见光图像对应的可见光边缘图结果；聚合单元，用于聚合所述红外边缘图结果，得到所述红外图像对应的红外边缘图像，并聚合所述可见光边缘图结果，得到所述可见光图像对应的可见光边缘图像。

本发明异常发热的电力设备检测装置的具体实施方式与上述异常发热的电力设备检测方法各实施例基本相同，在此不再重复赘述。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有检测程序，所述检测程序被处理器执行时实现如上所述异常发热的电力设备检测方法的步骤。

本发明计算机可读存储介质的具体实施方式与上述异常发热的电力设备检测方法各实施例基本相同，在此不再重复赘述。

本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。

应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。

Claims (10)

1.一种异常发热的电力设备检测方法，其特征在于，所述异常发热的电力设备检测方法包括以下步骤：

S100，获取电力设备对应的红外图像和可见光图像，并对所述红外图像和所述可见光图像进行边缘检测，得到所述红外图像对应的红外边缘图像和所述可见光图像对应的可见光边缘图像；

S200，通过KAZE算法对所述红外边缘图像和所述可见光边缘图像进行特征点检测，得到所述红外边缘图像对应的红外特征点和所述可见光边缘图像对应的可见光特征点；

S300，对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，并获取所述匹配特征点对对应的距离比值，将所述距离比值从小到大进行排序，得到排序后的距离比值，在排序后的距离比值中从前到后选取第一预设数量的目标距离比值，并将所述目标距离比值对应的匹配特征点对确定为初始数据集；

S400，执行内特征点对确定流程：在所述初始数据集中随机选取含有第二预设数量匹配特征点对的子集，根据所述子集计算得到变换模型参数，并根据所述变换模型参数对所述初始数据集中除所述子集外的匹配特征点对进行判断，以确定匹配特征点中的内特征点对；

S500，计算所述内特征点对确定流程的执行次数，并在所述执行次数大于预设次数时将最多内特征点对对应的变换模型参数确定为所述红外边缘图像和所述可见光边缘图像之间变换模型的变换参数；

S600，根据所述变换参数放大所述红外边缘图像，得到放大后的红外边缘图像，并根据所述变换参数确定所述可见光边缘图像中的待匹配区域，在所述待匹配区域中，以滑动窗口的方式搜索出与放大后的红外边缘图像相同尺寸的子图像；

S700，计算每次滑动窗口对应的归一化相关系数，并确定所计算的归一化相关系数中的最大系数，将所述最大系数对应子图像的区域确定为匹配边缘区域，并根据所述匹配边缘区域确定所述可见光图像中的非匹配区域；

S800，对所述红外图像进行阈值分割，得到所述红外图像对应的掩码图，根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域，并将所述异常发热区域对应的电力设备确定为异常发热的电力设备。

2.根据权利要求1所述的异常发热的电力设备检测方法，其特征在于，在所述步骤S100中，所述获取电力设备对应的红外图像和可见光图像的步骤包括：

通过红外摄像设备获取所述电力设备的红外图像，通过可见光摄像设备获取所述电力设备的可见光图像，其中，所述红外摄像设备和所述可见光摄像设备设置于同一光轴中，所述红外摄像设备与所述可见光摄像设备之间基线的距离在预设范围内，所述红外摄像设备的镜头和所述可见光摄像设备的镜头处于同一平面中。

3.根据权利要求1所述的异常发热的电力设备检测方法，其特征在于，在所述步骤S800中，所述根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域的步骤包括：

将所述掩码图嵌套在所述可见光图像中，以确定所述可见光图像中像素值为0的目标图像区域；

将所述可见光图像中除所述目标图像区域和所述非匹配区域外的区域确定为所述可见光图像中的异常发热区域。

4.根据权利要求1所述的异常发热的电力设备检测方法，其特征在于，在步骤S700中，计算归一化相关系数的公式为：

其中，

表示子图像，

表示放大后的红外边缘图像，W′表示放大后的红外边缘图像的宽，H′表示放大后的红外边缘图像的高，

中的(m,n)是子图像中像素点的坐标，

中的(m,n)是放大后的红外边缘图像中像素点的坐标，

为子图像为左上角像素点的坐标，

5.根据权利要求1所述的异常发热的电力设备检测方法，其特征在于，在步骤S200中，通过KAZE算法进行特征点检测的过程包括以下步骤：

S201，非线性扩散过滤：在非线性扩散滤波形成过程中，将图像亮度值L在不同尺度的演变描述为流动方程的散度，用非线性偏导方程来表示流动方程的散度，非线性偏导方程表示为公式：

其中，div表示散度运算，

表示梯度运算，x_d、y_d表示图像的横坐标和纵坐标，t表示图像尺度，在扩散函数中引入了传导函数c，使得非线性扩散对局部图像结构的自适应成为可能，传导函数表示为：

其中，

是高斯平滑后的图像L_σ的梯度，通过传导函数c得到新的传导函数g，新的传导函数g表示为：

其中，k是决定扩散级别的对比度因子，用于控制图像边缘的扩散水平，k取平滑过后的图像的梯度L_σ直方图的70％作为k值；

S202，AOS：使用隐式离散差分方程来求取非线性扩散滤波中的非线性偏微分方程的近似解，离散差分方程的矩阵形式表示为：

其中，A_l是每一个维度的图像传导的矩阵形式，τ表示步长，L_i是多层图像中的第i层图像，m′为任意大于1的整数；在离散差分方程中，求解方程的线性系统，线性系统对应的解表示为：

其中，I为一定维度的单位矩阵；

S203，构建非线性尺度空间：构建经所述AOS和可变的传导扩散构建的非线性尺度空间，所述非线性尺度空间包含O个图像尺度空间的组数和S个图像尺度空间的层数，每一个子层的尺度因子表示为：

σ_i(o,s)＝σ₀2^o+s/S，o∈[0,...,O-1]，s∈[0,...,S-1]，i∈[0,...,N]；

其中，σ₀表示图像尺寸的基准值，N是经过非线性扩散滤波的图像总数，N＝O×S，每层的尺度因子以像素为单位，将单位由像素转换到时间，得到每一个子层的尺度因子以时间为单位的表达式，每一个子层的尺度因子以时间为单位的表达式表示为：

其中，t_i表示为进化时间，σ_i为非线性尺度空间模型中各个层之间的尺度关系；计算输入图像的梯度直方图，获得对比度因子k，使用AOS通过迭代得到非线性尺度空间，非线性尺度空间用表示为：

S204，特征点检测：计算尺度归一化的Hessian在不同尺度下的响应值的公式表示为：

其中，L_xx为亮度值L在x方向上的二阶导数,L_yy为亮度值L在y方向上的二阶导数，L_xy为亮度值L在x方向和y方向上的混合二阶导数，σ为图像所在层的尺度系数，对于非线性尺度空间L_i中的滤波图像，在不同尺度σ_i下分析响应，除了i＝0和i＝N外，在所有滤波图像中寻找响应极值，得到特征点。

6.根据权利要求1所述的异常发热的电力设备检测方法，其特征在于，在所述步骤S300中，所述对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对的步骤包括：

将所述红外边缘图像中的各个红外特征点依次确定为目标特征点，通过欧式距离公式计算目标特征点与所述可见光边缘图像中各个可见光特征点之间的距离，在所述可见光边缘图像中查找与所述目标特征点之间距离最小可见光第一特征点和距离第二小的可见光第二特征点；

将所述目标特征点与所述可见光第一特征点之间的距离确定为第一距离，并将所述目标特征点与所述可见光第二特征点之间的距离确定为第二距离；

若所述第一距离与所述第二距离之间的距离比值在预设范围内，则确定所述目标特征点与所述可见光第一特征点为匹配特征点对，以得到所述红外特征点和所述可见光特征点中的匹配特征点对。

7.根据权利要求1所述的异常发热的电力设备检测方法，其特征在于，在步骤S300中，所述对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，并获取所述匹配特征点对对应的距离比值的步骤包括：

对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对，采用RANSAC算法删除所述特征点对中的错误特征点对，得到目标特征点对；

获取所述目标特征点对对应的距离比值。

8.根据权利要求1至7任一项所述的异常发热的电力设备检测方法，其特征在于，在所述步骤S100中，所述对所述红外图像和所述可见光图像进行边缘检测，得到所述红外图像对应的红外边缘图像和所述可见光图像对应的可见光边缘图像的步骤包括：

将所述红外图像和所述可见光图像输入基于HED算法训练得到神经网络中，得到与所述红外图像对应的红外边缘图结果和与所述可见光图像对应的可见光边缘图结果；

聚合所述红外边缘图结果，得到所述红外图像对应的红外边缘图像，并聚合所述可见光边缘图结果，得到所述可见光图像对应的可见光边缘图像。

9.一种异常发热的电力设备检测装置，其特征在于，所述异常发热的电力设备检测装置包括：

获取模块，用于获取电力设备对应的红外图像和可见光图像；

边缘检测模块，用于对所述红外图像和所述可见光图像进行边缘检测，得到所述红外图像对应的红外边缘图像和所述可见光图像对应的可见光边缘图像；

特征点检测模块，用于通过KAZE算法对所述红外边缘图像和所述可见光边缘图像进行特征点检测，得到所述红外边缘图像对应的红外特征点和所述可见光边缘图像对应的可见光特征点；

匹配模块，用于对所述红外特征点和所述可见光特征点进行匹配，得到匹配的特征点对；

初始数据集判定模块，用于获取所述匹配特征点对对应的距离比值，将所述距离比值从小到大进行排序，得到排序后的距离比值，在排序后的距离比值中从前到后选取第一预设数量的目标距离比值，并将所述目标距离比值对应的匹配特征点对确定为初始数据集；

执行模块，用于执行内特征点对确定流程：在所述初始数据集中随机选取含有第二预设数量匹配特征点对的子集，根据所述子集计算得到变换模型参数，并根据所述变换模型参数对所述初始数据集中除所述子集外的匹配特征点对进行判断，以确定匹配特征点中的内特征点对；

计算模块，用于计算所述内特征点对确定流程的执行次数；

判定模块，用于在所述执行次数大于预设次数时将最多内特征点对对应的变换模型参数确定为所述红外边缘图像和所述可见光边缘图像之间变换模型的变换参数；

所述计算模块还用于计算每次滑动窗口对应的归一化相关系数；

所述判定模块还用于确定所计算的归一化相关系数中的最大系数，将所述最大系数对应子图像的区域确定为匹配边缘区域，并根据所述匹配边缘区域确定所述可见光图像中的非匹配区域；

分割模块，用于对所述红外图像进行阈值分割，得到所述红外图像对应的掩码图；

所述判定模块还用于根据所述掩码图和所述非匹配区域确定所述可见光图像中的异常发热区域，并将所述异常发热区域对应的电力设备确定为异常发热的电力设备。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有检测程序，所述检测程序被处理器执行时实现如权利要求1-8任一项所述的异常发热的电力设备检测方法的步骤。

Images