CN115661044A - 一种基于多源融合的变电站电力设备故障检测方法 - Google Patents

Abstract

本发明公开了一种基于多源融合的变电站电力设备故障检测方法，涉及电力设备缺陷诊断的技术领域，方法包括：S1、采集可见光图像与红外图像并对红外图像进行预处理；S21、使用SIFT算子提取匹配特征点对可见光图像和红外图像进行配准处理；S22、基于改进的YOLOv4算法构建卷积神经网络模型，采集多场景多种类的电力设备可见光图像构建训练集对上述卷积神经网络模型训练，使用训练好的上述卷积神经网络模型对可见光图像上电力设备进行识别与定位；S3、红外相机对可见光图像所识别的设备区域进行主动测温，并将被测物体的最高温度在融合图像上可视化，进行缺陷诊断；保证最高平均精度的同时达到最快的预测速度。

Description

一种基于多源融合的变电站电力设备故障检测方法

技术领域

本发明涉及电力设备缺陷诊断的技术领域，具体而言，涉及一种基于多源融合的变电站电力设备故障检测方法。

背景技术

随着人工智能技术发展，基于红外图像的变电站设备缺陷智能评估成为可能。现有技术中的多层感知网络模型能够对电气设备红外热像进行热缺陷智能预测和诊断，目前，针对热缺陷检测的实时性还在不断研究。

近年来，研究者提出将可见光和红外图像融合并应用于电力设备热缺陷诊断，但较多文献只针对一类或少类的设备进行研究；而在多目标设备检测方面的文献中，可见光和红外图像融合进行智能缺陷诊断仍较难满足实时性需求。

常用一种基于YOLOv3算法的绝缘子红外图像缺陷检测方法来进行热缺陷检测。基于此算法，卷积神经网络具有自动识别红外图像缺陷的能力，但当前红外成像技术发展水不敏感，对图像设备类型识别准确率不高。

使用基于YOLOv4算法替代YOLOv3算法可以提高对图像中设备的识别能力，但现有YOLOv4算法需求的模型参数较多，处理速度较慢，难以在边缘端设备运行。

急需一种可以充分发挥热成像的诊断优势，对电力设备各种缺陷可以有效进行识别，且具有较高缺陷识别效率与精度的算法进行热缺陷检测。

发明内容

本发明的目的在于：提出一种具有较高缺陷识别效率与精度的多源融合算法进行热缺陷检测。

本发明的技术方案是：提供了一种基于多源融合的变电站电力设备故障检测方法，该方法包括：

S1、采集可见光图像与红外图像并对红外图像进行预处理；

S21、使用SIFT算子提取匹配特征点对可见光图像和红外图像进行配准处理；

S22、基于改进的YOLOv4算法构建卷积神经网络模型，采集多场景多种类的电力设备可见光图像构建训练集对上述卷积神经网络模型训练，使用训练好的上述卷积神经网络模型对可见光图像上电力设备进行识别与定位；

S3、红外相机对可见光图像所识别的设备区域进行主动测温，并将被测物体的最高温度在融合图像上可视化，进行缺陷诊断；

其中，步骤S22中所述基于改进YOLOv4算法构建的卷积神经网络模型将GhostNet与PANet相结合，采用4个尺度，使用深度可分离卷积方法以减少参数量，引入ASFF模块以PANet输出的一层特征图为基准对其余特征图上下采样后经过卷积操作得到四个不同尺度的特征图，弥补减少参数带来的精度损失。

上述任一项技术方案中，进一步地，步骤S22中基于改进YOLOv4算法构建的卷积神经网络模型包括：GhostNet特征提取网络模块；

GhostNet特征提取网络模块由多个Ghost bottleneck堆叠而成，单个Ghostbottleneck由两个堆叠的Ghost module组成；

使用公式Y′＝X*f常规卷积得到p个本征特征图Y′，其中X为输入数据，f为滤波器，*为卷积操作；使用公式Y_ij＝η_i,j(Y_i′)，

j＝1,...,z产生z个Ghost特征图Y_ij，其中η为多个轻量线性运算；

将得到的本征特征图与Ghost特征图拼接，得到特征图P1作为输出。

上述任一项技术方案中，进一步地，步骤S22中基于改进YOLOv4算法构建的卷积神经网络模型还包括：PANet模块；

PANet模块将GhostNet模块输出的特征图P1依次进行1次、2次、3次上采样，再依次与相对输入图像8倍、4倍、2倍降采样的特征图进行张量拼接及5次卷积后，得到特征图P2、P3、P4，输出具有不同感受野的4个预测特征图P1、P2、P3、P4。

上述任一项技术方案中，进一步地，步骤S22基于改进YOLOv4算法构建的卷积神经网络模型还包括：ASFF模块，所述ASFF模块的运算过程包括：

以第m层特征图输出的尺寸大小为基准，对其余特征图进行上下采样操作，保证待融合的多层特征图尺寸统一；将PANet输出的4个预测特征图经过卷积操作，得到4个空间权重向量，然后对其进行通道方向拼接，输出权重融合图；

对输出的权重融合图经过卷积操作，得到权重向量；在通道方向进行softmax操作，得到4个权重系数α^m _ij,β^m _ij,γ^m _ij,δ^m _ij∈[0,1]；将4个权重系数乘加到4个特征图上面，得到4个不同尺度的特征图：ASFF-1，ASFF-2，ASFF-3，ASFF-4。

上述任一项技术方案中，进一步地，步骤S22中基于改进YOLOv4算法构建的卷积神经网络模型还包括：YOLO Head预测模块；

YOLO Head预测模块采用K-means算法获得12个锚点框，将ASFF模块输出的4个特征图分成相应尺寸的网格，每个网格预测3个边界框，并输出边界框中是否包含目标、边界框准确度的置信度以及每个网格预测属于n_c个类别的概率；对所得边界框经过非极大值抑制筛选，得到最终预测结果。

上述任一项技术方案中，进一步地，所述YOLO Head预测模块中计算误差通过计算损失函数L_loss实现，所述损失函数L_loss包括边界框坐标预测误差L_cIou、边界框的置信度误差L_coord以及识别物体所属类别预测误差L_cls。

上述任一项技术方案中，进一步地，步骤S1中对红外图像进行预处理具体包括：

采用中值滤波对图像进行去噪；基于Gamma变换S＝(I+ξ)^γ调整图像对比度，其中I为输入的归一化灰度图，S为输出的归一化灰度图，ξ为补偿系数，γ为系数。

上述任一项技术方案中，进一步地，步骤S21具体包括：

首先使用高斯核对图像进行平滑处理，构建尺度空间；

对尺度空间极值进行检测：构建尺度空间后，通过搜索所有尺度上的图像位置，使用高斯微分函数识别潜在的对于尺度旋转不变的兴趣点，去除部分边缘响应点；

找到在不同尺度下都存在的特征点后，利用特征点邻域像素的梯度来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向；

以特征点为中心，将特征点附近邻域内图像梯度的位置和方向旋转一个方向角θ，将原图像x轴转到与主方向相同的方向，即校正描述子主方向；

对可见光图像和红外图像分别建立描述子集合，通过两点集合内关键点描述子的比对实现特征点匹配，从而获得准确的红外与可见光图像的变换关系；

将图像匹配特征点数与相似度函数结合构成适应度函数，其中相似度函数同时考虑到距离、角度两个因素，适应度函数越小，提取的匹配特征点越多，特征向量相似性越大，待匹配图像与基准图像匹配程度越高；适应度函数为

其中

u、v分别为待匹配图像与基准图像；N₁、N₂分别表示u、v提取到的SIFT匹配特征点个数，最终提取到一定数量的正确匹配特征点，实现可见光图像与红外图像的精准融合。

上述任一项技术方案中，进一步地，步骤S3进行缺陷诊断时采用相对温差判断法

其中t₁为热点温度；t₂为正常对应点的温度；t₀为环境温度基准体的温度；τ是相对温差。

本发明的有益效果是：

本发明中的技术方案在YOLOv4算法的基础上，用深度可分离卷积代替普通卷积后，减少GhostNet参数量，且在保证了最高平均精度的同时达到最快的预测速度，保证GhostNet网络识别性能相当的同时，降低卷积层的计算成本；在轻量化处理模型的基础上，引入ASFF模块和小目标尺度后仅增加了极少的计算量，仍然有良好的实时性，提高了检测的平均精度和准确率，弥补了由于减少参数带来的精度损失。

在本发明的优选实现方式中，通过采用粒子群优化SIFT描述子实现多源图像配准，避免了搜索匹配特征点时大部分因受视角变化和噪点干扰，使图像检测关键点时出现不变性和稳定性的问题，通过获得准确的红外与可见光图像的变换关系，将图像匹配特征点数与相似度函数结合构成适应度函数，提高提取的匹配特征点数，使得特征向量相似性更大，待匹配图像与基准图像匹配程度更高。

附图说明

本发明的上述和附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明的一个实施例的基于多源融合的变电站电力设备故障检测方法的示意流程图；

图2是根据本发明的一个实施例的基于多源融合的变电站电力设备故障检测方法的YOLOv4算法流程图；

图3是根据本发明的一个实施例的基于多源融合的变电站电力设备故障检测方法的模型训练过程损失变化曲线。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本实施例提供了一种基于多源融合的变电站电力设备故障检测方法，该方法包括：

S1、采集可见光图像与红外图像并对红外图像进行预处理。

S21、使用SIFT算子提取匹配特征点对可见光图像和红外图像进行配准处理。

S22、基于改进的YOLOv4算法构建卷积神经网络模型，采集多场景多种类的电力设备可见光图像构建训练集对上述卷积神经网络模型训练，使用训练好的上述卷积神经网络模型对可见光图像上电力设备进行识别与定位。

S3、红外相机对可见光图像所识别的设备区域进行主动测温，并将被测物体的最高温度在融合图像上可视化，进行缺陷诊断。

在本实施例中，热成像采集红外热像仪采样速度设置为65fps，保证采样到相同时间和状态的数据；将热红外视频流分帧，每种状态取5s作为训练数据，2s作为测试数据，并将每帧热成像进行手工标注。

由于采集的部分电力设备红外图像会受到外部环境因素的干扰，存在不清晰、噪点多等问题，且红外图像中的多个设备之间相互重叠，在一定程度上影响后续的检测结果，因此需要对采集图像进行预处理。

步骤S1中首先采用中值滤波对图像进行去噪；然后基于Gamma变换S＝(I+ξ)^γ调整图像对比度，其中I为输入的归一化灰度图，S为输出的归一化灰度图，ξ为补偿系数，γ为系数；在本实施例中基于实验对比设置ξ＝0.1且γ＝1.5，去噪和增强后的红外图像比原始图像更清晰、对比度更高、设备细节更明显。

可见光与红外图像配准是多源信息融合与热缺陷检测的基础。SIFT描述子，不受视角变化和噪点的干扰，具有不变性和稳定性，可在图像中检测出关键点。然而可见光图像与红外图像尺度变化在不同方向存在明显差异，提取到的匹配特征点数会随之下降，从而导致配准可靠性降低。因此，利用SIFT算子提取匹配特征点进行配准处理，从而获得准确的红外与可见光图像的变换关系。

步骤S21中配准处理具体包括：

首先使用高斯核对图像进行平滑处理，构建尺度空间；对尺度空间极值进行检测：构建尺度空间后，通过搜索所有尺度上的图像位置，使用高斯微分函数识别潜在的对于尺度旋转不变的兴趣点，去除部分边缘响应点；找到在不同尺度下都存在的特征点后，利用特征点邻域像素的梯度来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向；以特征点为中心，将特征点附近邻域内图像梯度的位置和方向旋转一个方向角θ，将原图像x轴转到与主方向相同的方向，即校正描述子主方向；对可见光图像和红外图像分别建立描述子集合，通过两点集合内关键点描述子的比对实现特征点匹配，从而获得准确的红外与可见光图像的变换关系；将图像匹配特征点数与相似度函数结合构成适应度函数，其中相似度函数同时考虑到距离、角度两个因素，适应度函数越小，提取的匹配特征点越多，特征向量相似性越大，待匹配图像与基准图像匹配程度越高；适应度函数为

其中

u、v分别为待匹配图像与基准图像；N₁、N₂分别表示u、v提取到的SIFT匹配特征点个数，最终提取到一定数量的正确匹配特征点，实现可见光图像与红外图像的精准融合。

在对电力设备进行热缺陷监测之前，需利用深度学习算法实现设备的识别与定位。如图2所示，以优化的YOLOv4算法为基本模型，减少模型参数、提升推理速度，使之能够在边缘端设备运行，并增加遮挡目标检测尺度与自适应空间特征融合模块，也就是ASFF模块，有效地提高物体检测的准确率，弥补参数的减少导致的精度损失。

具体地，步骤S22中基于改进YOLOv4算法构建的卷积神经网络模型将GhostNet与PANet相结合，采用4个尺度，使用深度可分离卷积方法以减少参数量，引入ASFF模块以PANet输出的一层特征图为基准对其余特征图上下采样后经过卷积操作得到四个不同尺度的特征图，弥补减少参数带来的精度损失。

步骤S22中基于改进YOLOv4算法构建的卷积神经网络模型包括：GhostNet特征提取网络模块、PANet模块、ASFF模块和YOLO Head预测模块。

GhostNet特征提取网络模块由多个Ghost bottleneck堆叠而成，单个Ghostbottleneck由两个堆叠的Ghost module组成；当Stride＝1时，Ghost bottleneck由两个堆叠的Ghost module组成。其中shortcut负责连接输入和输出，当Stride＝2时，在两个Ghostmodule间添加深度卷积，使用shortcut连接输入和输出。

使用公式Y′＝X*f常规卷积得到p个本征特征图Y′，其中X为输入数据，f为滤波器，*为卷积操作；使用公式Y_ij＝η_i,j(Y_i′)，

j＝1,...,z产生z个Ghost特征图Y_ij，其中η为多个轻量线性运算；

将得到的本征特征图与Ghost特征图拼接，得到特征图P1作为输出。

YOLOv4选择路径聚合网络，也就是PANet作为特征融合模块。变电站背景复杂、设备极易被遮挡，各类型设备位置密集，为了提高GhostNet对不同大小目标的检测精度，将GhostNet与PANet相结合，原有的3个尺度扩展为4个尺度，并且为了减少参数量和节约运算成本，将PANet模块的普通3x3卷积替换为深度可分离卷积。

PANet模块将GhostNet模块输出的特征图P1依次进行1次、2次、3次上采样，再依次与相对输入图像8倍、4倍、2倍降采样的特征图进行张量拼接及5次卷积后，得到特征图P2、P3、P4。

PANet模块输出具有不同感受野的4个预测特征图P1、P2、P3、P4。

为解决多层间不同特征尺度之间的不一致性问题，添加ASFF模块，旨在自适应找出最合适的融合特征。ASFF模块的运算过程包括：

以第m层特征图输出的尺寸大小为基准，对其余特征图进行上下采样操作，保证待融合的多层特征图尺寸统一；将PANet输出的4个预测特征图经过卷积操作，得到4个空间权重向量，然后对其进行通道方向拼接，输出权重融合图；

对输出的权重融合图经过卷积操作，得到权重向量；在通道方向进行softmax操作，得到4个权重系数α^m _ij,β^m _ij,γ^m _ij,δ^m _ij∈[0,1]；将4个权重系数乘加到4个特征图上面，得到4个不同尺度的特征图：ASFF-1，ASFF-2，ASFF-3，ASFF-4。

YOLO Head预测模块采用K-means算法获得12个锚点框，将ASFF模块输出的4个特征图分成相应尺寸的网格，每个网格预测3个边界框，对所得边界框经过非极大值抑制筛选，得到最终预测结果。

YOLO Head预测模块中预测及计算误差的方法具体为：

损失函数L_loss包括边界框坐标预测误差L_cIou、边界框的置信度误差L_coord以及识别物体所属类别预测误差L_cls。

在另一个实施例中，向训练好的卷积神经网络模型输入电力设备的可见光图像，经GhostNet特征提取网络输出一张416×416大小的特征图P1。PANet模块将特征图P1依次进行1次、2次、3次上采样，然后分别与相对输入图像8倍、4倍、2倍降采样的特征图进行张量拼接及5次卷积后，得到特征图P2、P3、P4；其中P4输出为104×104的极小目标检测征图；P4下采样与P3融合并经过卷积后，输出52×52的小目标检测特征图；进一步下采样，与P2融合并经过5次卷积，得到26×26的中目标检测特征图；继续下采样与P1融合并经过卷积，得到13×13的大目标检测特征图，至此得到了具有不同感受野的4个预测特征图。接着在ASFF模块中，以第m层特征图输出的尺寸大小c×h×w为基准，对其余特征图进行上下采样操作，保证待融合的多层特征图尺寸统一，其中c为通道数，h为高度，w为宽度。将PANet得到的4个层级特征图经过1×1×N的卷积操作，其中N＝d·(5+n_c)，n_c表示设备类别数量，d＝4表示尺度数，得到尺寸均为N×h×w的4个空间权重向量，然后对其进行通道方向拼接，输出大小为4N×h×w的权重融合图，对输出的权重融合图经过1×1×4的卷积操作，得到权重向量；在通道方向进行softmax操作，得到4个权重系数α^m _ij,β^m _ij,γ^m _ij,δ^m _ij∈[0,1]；将4个权重系数乘加到4个特征图上面，得到4个不同尺度的特征图：ASFF-1，ASFF-2，ASFF-3，ASFF-4。最后在YOLO Head预测模块中采用K-means算法获得12个锚点框，将每个图分成13×13、26×26、52×52、104×104的网格，每个网格需要预测3个边界框，并输出边界框中是否包含目标、边界框准确度的置信度以及每个网格预测属于n_c个类别的概率，对所得边界框经过非极大值抑制筛选，得到最终预测结果。

步骤S3进行缺陷诊断时主要依据DL/T664—2016《带电设备红外诊断应用规范》，通过表面温度判断法，同类比较判断法和相对温差判断法将热缺陷严重程度分为三个等级：一般缺陷，严重缺陷，紧急缺陷。

其中相对温差判断法公式为

其中t₁为热点温度；t₂为正常对应点的温度；t₀为环境温度基准体的温度；τ是相对温差。

在本发明的另一个实施例中，对上述基于多源融合的变电站电力设备故障检测方法进行模型训练：

对220kV变电站进行数据采集，数据集样本量为3547，采集了包括绝缘子、套管、互感器、避雷器、变压器等多种设备类型的数据，对数据按照VOC2007数据集格式进行标注，从总样本集中按6：2：2比例划分训练集、验证集、测试集；红外传感器采用分辨率为384x288的XCore LT系列测温型非制冷红外机芯组件，可见光相机采用640x480像素AF自动对高清摄像头模组，镜头25mm。操作系统为Linux ubuntu 16.04LTS，Intel core i7-6800k CPU，计算机内存8GB，采用Pytorch 1.6、CUDA 10.1等环境搭建模型，使用GeForce GTX 1080显卡进行模型训练。

模型训练时设置Batchsize大小为32；初始学习率0.01；衰减率设置为0.0005，epoch为10000，动量momentum为0.9；使用聚类得到12个锚框，大小为(6、20)、(10、59)、(11、32)、(16、48)、(19，89)，(24，148)、(29，44)、(30，75)、(35，105)、(40，195)、(58，264)，(104，224)，将它们均匀分布到四个特征图中。

如图3所示，横坐标表示模型训练轮数，纵坐标表示对应损失值，训练开始时，损失值约为0.9，随着训练轮次的增加，损失值逐渐减小，在训练8000轮后，损失值稳定在0.1左右，达到较好的训练效果。

该算法对背景复杂、设备外观极为相似、遮挡目标、不易被人眼察觉的设备都可精准识别与定位。利用训练好的改进YOLOv4模型进行了一系列实验与测试，测试指标主要包括精度、召回率、平均精度、FPS等，并通过测试图像验证了算法的性能。

综上所述，本发明提出了一种基于多源融合的变电站电力设备故障检测方法，包括：

S1、采集可见光图像与红外图像并对红外图像进行预处理。

S21、使用SIFT算子提取匹配特征点对可见光图像和红外图像进行配准处理。

S22、基于改进的YOLOv4算法构建卷积神经网络模型，采集多场景多种类的电力设备可见光图像构建训练集对上述卷积神经网络模型训练，使用训练好的上述卷积神经网络模型对可见光图像上电力设备进行识别与定位。

S3、红外相机对可见光图像所识别的设备区域进行主动测温，并将被测物体的最高温度在融合图像上可视化，进行缺陷诊断。

其中，步骤S22中基于改进YOLOv4算法构建的卷积神经网络模型将GhostNet与PANet相结合，采用4个尺度，使用深度可分离卷积方法以减少参数量，引入ASFF模块以PANet输出的一层特征图为基准对其余特征图上下采样后经过卷积操作得到四个不同尺度的特征图，弥补减少参数带来的精度损失。

本发明中的步骤可根据实际需求进行顺序调整、合并和删减。

尽管参考附图详地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (9)

1.一种基于多源融合的变电站电力设备故障检测方法，其特征在于，所述方法包括：

S1、采集可见光图像与红外图像并对红外图像进行预处理；

S21、使用SIFT算子提取匹配特征点对可见光图像和红外图像进行配准处理；

S22、基于改进的YOLOv4算法构建卷积神经网络模型，采集多场景多种类的电力设备可见光图像构建训练集对上述卷积神经网络模型训练，使用训练好的上述卷积神经网络模型对可见光图像上电力设备进行识别与定位；

S3、红外相机对可见光图像所识别的设备区域进行主动测温，并将被测物体的最高温度在融合图像上可视化，进行缺陷诊断；

其中，步骤S22中所述基于改进YOLOv4算法构建的卷积神经网络模型将GhostNet与PANet相结合，采用4个尺度，使用深度可分离卷积方法以减少参数量，引入ASFF模块以PANet输出的一层特征图为基准对其余特征图上下采样后经过卷积操作得到四个不同尺度的特征图，弥补减少参数带来的精度损失。

2.如权利要求1所述的基于多源融合的变电站电力设备故障检测方法，其特征在于，步骤S22中所述基于改进YOLOv4算法构建的卷积神经网络模型包括：GhostNet特征提取网络模块；

所述GhostNet特征提取网络模块由多个Ghost bottleneck堆叠而成，单个Ghostbottleneck由两个堆叠的Ghost module组成；

使用公式Y′＝X*f常规卷积得到p个本征特征图Y′，其中X为输入数据，f为滤波器，*为卷积操作；使用公式

产生z个Ghost特征图Y_ij，其中η为多个轻量线性运算；

将得到的本征特征图与Ghost特征图拼接，得到特征图P1作为输出。

3.如权利要求2所述的基于多源融合的变电站电力设备故障检测方法，其特征在于，步骤S22中所述基于改进YOLOv4算法构建的卷积神经网络模型还包括：PANet模块；

所述PANet模块将GhostNet模块输出的特征图P1依次进行1次、2次、3次上采样，再依次与相对输入图像8倍、4倍、2倍降采样的特征图进行张量拼接及5次卷积后，得到特征图P2、P3、P4，输出具有不同感受野的4个预测特征图P1、P2、P3、P4。

4.如权利要求3所述的基于多源融合的变电站电力设备故障检测方法，其特征在于，步骤S22中所述基于改进YOLOv4算法构建的卷积神经网络模型还包括：ASFF模块，所述ASFF模块的运算过程包括：

以第m层特征图输出的尺寸大小为基准，对其余特征图进行上下采样操作，保证待融合的多层特征图尺寸统一；将PANet输出的4个预测特征图经过卷积操作，得到4个空间权重向量，然后对其进行通道方向拼接，输出权重融合图；

对输出的权重融合图经过卷积操作，得到权重向量；在通道方向进行softmax操作，得到4个权重系数α^m _ij,β^m _ij,γ^m _ij,δ^m _ij∈[0,1]；将4个权重系数乘加到4个特征图上面，得到4个不同尺度的特征图：ASFF-1，ASFF-2，ASFF-3，ASFF-4。

5.如权利要求4所述的基于多源融合的变电站电力设备故障检测方法，其特征在于，步骤S22中所述基于改进YOLOv4算法构建的卷积神经网络模型还包括：YOLO Head预测模块；

所述YOLO Head预测模块采用K-means算法获得12个锚点框，将ASFF模块输出的4个特征图分成相应尺寸的网格，每个网格预测3个边界框，并输出边界框中是否包含目标、边界框准确度的置信度以及每个网格预测属于n_c个类别的概率；对所得边界框经过非极大值抑制筛选，得到最终预测结果。

6.如权利要求5所述的基于多源融合的变电站电力设备故障检测方法，其特征在于，所述YOLO Head预测模块中计算误差通过计算损失函数L_loss实现，所述损失函数L_loss包括边界框坐标预测误差L_cIou、边界框的置信度误差L_coord以及识别物体所属类别预测误差L_cls。

7.如权利要求1所述的基于多源融合的变电站电力设备故障检测方法，其特征在于，所述步骤S1中对红外图像进行预处理具体包括：

采用中值滤波对图像进行去噪；基于Gamma变换S＝(I+ξ)^γ调整图像对比度，其中I为输入的归一化灰度图，S为输出的归一化灰度图，ξ为补偿系数，γ为系数。

8.如权利要求1所述的基于多源融合的变电站电力设备故障检测方法，其特征在于，所述步骤S21具体包括：

首先使用高斯核对图像进行平滑处理，构建尺度空间；

对尺度空间极值进行检测：构建尺度空间后，通过搜索所有尺度上的图像位置，使用高斯微分函数识别潜在的对于尺度旋转不变的兴趣点，去除部分边缘响应点；

找到在不同尺度下都存在的特征点后，利用特征点邻域像素的梯度来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向；

以特征点为中心，将特征点附近邻域内图像梯度的位置和方向旋转一个方向角θ，将原图像x轴转到与主方向相同的方向，即校正描述子主方向；

对可见光图像和红外图像分别建立描述子集合，通过两点集合内关键点描述子的比对实现特征点匹配，从而获得准确的红外与可见光图像的变换关系；

将图像匹配特征点数与相似度函数结合构成适应度函数，其中相似度函数同时考虑到距离、角度两个因素，适应度函数越小，提取的匹配特征点越多，特征向量相似性越大，待匹配图像与基准图像匹配程度越高；适应度函数为

其中

u、v分别为待匹配图像与基准图像；N₁、N₂分别表示u、v提取到的SIFT匹配特征点个数，最终提取到一定数量的正确匹配特征点，实现可见光图像与红外图像的精准融合。

9.如权利要求1所述的基于多源融合的变电站电力设备故障检测方法，其特征在于，所述步骤S3进行缺陷诊断时采用相对温差判断法

其中t₁为热点温度；t₂为正常对应点的温度；t₀为环境温度基准体的温度；τ是相对温差。

Images