CN116523881A - 一种电力设备异常温度检测方法及装置 - Google Patents

一种电力设备异常温度检测方法及装置 Download PDF

Info

Publication number
CN116523881A
CN116523881A CN202310495015.9A CN202310495015A CN116523881A CN 116523881 A CN116523881 A CN 116523881A CN 202310495015 A CN202310495015 A CN 202310495015A CN 116523881 A CN116523881 A CN 116523881A
Authority
CN
China
Prior art keywords
feature
fusion
module
convolution
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310495015.9A
Other languages
English (en)
Inventor
吴悦园
林丽霞
李杏
陈浩
李华轩
庄凤彩
陈晓儒
陈智豪
王斌
康钱江
陈婷
吴瑜
陈江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202310495015.9A priority Critical patent/CN116523881A/zh
Publication of CN116523881A publication Critical patent/CN116523881A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种电力设备异常温度检测方法及装置，包括获取电力设备的待识别红外图像，将待识别红外图像输入至改进的目标检测模型，改进的目标检测模型包括目标特征提取网络、目标特征融合网络和目标检测网络；采用目标特征提取网络对待识别红外图像进行特征强化提取操作，确定多个红外特征图，目标特征提取网络包括级联的注意力激活卷积模块、多分支特征融合模块和空间金字塔池化模块；将各红外特征图分别输入至目标特征融合网络进行特征深层融合操作，输出对应的融合特征图；通过目标检测网络对各融合特征图进行温度检测，输出电力设备的温度检测结果。通过该模型对电力设备进行温度检测，检测效果更佳。

Description

一种电力设备异常温度检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种电力设备异常温度检测方法和装置。
背景技术
随着生活用电和工业用电量日益增长，电力设备的负荷在不断增大，而电力设备承载着高负荷的电力转送，其设备绝缘在电力转送过程中不仅受到电、热的直接影响，还会因使用时间增多或不良环境等多种因素性能逐渐弱化，高负荷不可避免的带来了电力设备的发热，使得电力设备异常温度导致的故障不断增加。
及时发现、及时处理电力设备异常温度，并采取相应的控制措施对电力设备安全稳定运行起着很大作用。目前，传统的电力设备异常温度检测技术中，一般都采用基于深度学习神经网络结合图像识别对电力设备进行异常温度的检测，该方法由于神经网络构造简单、泛化能力较弱，使得网络模型的检测精度在图像分辨率低以及目标缺陷较小的情况下容易受到干扰，同时在通常情况下，变电站电力设备在实际运行中温度异常的红外图像较少，且图像存在大量噪声、边缘细节不突出等问题，从而导致检测效果不理想。
发明内容
本发明提供了一种电力设备异常温度检测方法和装置，用于解决现有技术中由于神经网络构造简单、泛化能力较弱，网络模型的检测精度在图像分辨率低以及目标缺陷较小的情况下容易受到干扰，同时在通常情况下，变电站电力设备的红外图像存在大量噪声和边缘细节不突出，从而导致检测效果不理想的技术问题。
本发明提供的一种电力设备异常温度检测方法，包括：
获取电力设备的待识别红外图像，将所述待识别红外图像输入至改进的目标检测模型，所述改进的目标检测模型包括目标特征提取网络、目标特征融合网络和目标检测网络；
采用所述目标特征提取网络对所述待识别红外图像进行特征强化提取操作，确定多个红外特征图，所述目标特征提取网络包括级联的注意力激活卷积模块、多分支特征融合模块和空间金字塔池化模块；
将各所述红外特征图分别输入至所述目标特征融合网络进行特征深层融合操作，输出对应的融合特征图；
通过所述目标检测网络对各所述融合特征图进行温度检测，输出对应的所述电力设备的温度检测结果。
可选地，所述采用所述目标特征提取网络对所述待识别红外图像进行特征强化提取操作，确定多个红外特征图的步骤，包括：
采用注意力激活卷积模块对输入的所述待识别红外图像进行特征提取，输出向量特征融合图；
通过多分支特征融合模块对所述向量特征融合图进行多分支特征融合，生成第一红外特征图；
采用多分支特征融合模块对所述第一红外特征图进行多分支特征融合，生成第二红外特征图；
通过级联的多分支特征融合模块和空间金字塔池化模块对所述第二红外特征图执行多分支特征融合和池化操作，输出第三红外特征图。
可选地，所述多分支特征融合模块包括级联的第一分支融合模块和第二分支融合模块；所述注意力激活卷积模块包括空间到深度层、无卷积步长层、注意力机制层、卷积组和第二分支融合模块；所述采用注意力激活卷积模块对输入的所述待识别红外图像进行特征提取，输出向量特征融合图的步骤，包括：
采用空间到深度层对所述待识别红外图像进行执行下采样和拼接操作，构建采样特征图；
将所述采样特征图输入无卷积步长层进行通道数替换操作，输出中间特征图；
通过注意力机制层对所述中间特征图中的冗余特征进行剔除，生成目标提取特征图；
通过卷积组对所述目标提取特征图进行非线性映射，输出非线性向量特征图；
采用第二分支融合模块对所述非线性向量特征图执行分支融合操作，确定向量特征融合图。
可选地，所述空间金字塔池化模块包括带有FReLU激活函数的卷积模块、卷积组、第一池化层、第二池化层、第三池化层、第四池化层和注意力机制层；所述通过级联的多分支特征融合模块和空间金字塔池化模块对所述第二红外特征图执行特征融合和池化操作，输出第三红外特征图的步骤，包括：
将所述第二红外特征图输入多分支特征融合模块执行多分支特征融合操作，确定红外融合特征图；
通过带有FReLU激活函数的卷积模块和卷积组分别对所述红外融合特征图进行非线性映射，生成对应的第一特征图和第二特征图，所述卷积组包括级联的三个带有FReLU激活函数的卷积模块；
采用注意力机制层对所述第一特征图中的冗余特征进行剔除，输出第三特征图；
将所述第二特征图分别输入第一池化层、第二池化层、第三池化层、第四池化层执行池化操作后，依次经过注意力机制层进行冗余特征剔除操作，生成多个第二子特征图；
将多个所述第二子特征图进行拼接后，并通过带有FReLU激活函数的卷积模块进行非线性映射，生成第四特征图；
对所述第三特征图和所述第四特征图进行堆叠后，并通过带有FReLU激活函数的卷积模块进行非线性映射，输出第三红外特征图。
可选地，所述带有FReLU激活函数的卷积模块包括卷积层、批正则化层和FReLU激活函数层；所述带有FReLU激活函数的卷积模块的具体处理过程为：
将输入带有FReLU激活函数的卷积模块的卷积输入图采用卷积层进行卷积运算，生成空间特征向量图；
采用批正则化层对所述空间特征向量图执行归一化操作后，并通过FReLU激活函数层进行非线性映射，输出卷积输出图；
所述FReLU激活函数具体为：
式中，xc,i,j为卷积输入图中第c个特征通道上二维位置为(i,j)的特征向量；FReLU()为漏斗激活函数；为卷积输入图中第c个特征通道上以二维位置(i,j)为中心的区域；/>为以二维位置(i,j)为中心的区域在第c个特征通道中的共享参数；out1为第一张量图；out2为第二张量图；out为卷积输出图；cat()为拼接函数；dim为拼接维度；T()为二维空间条件。
可选地，所述目标特征融合网络包括注意力卷积模块、采样卷积模块、特征融合模块和第一分支融合模块；所述采用所述目标特征融合网络对各所述红外特征图进行特征融合，生成对应的融合特征图的步骤，包括：
将所述第一红外特征图和所述第二红外特征图分别输入注意力卷积模块进行特征提取，生成第一输出特征图和第二输出特征图；
通过采样卷积模块对所述第三红外特征图执行特征提取和上采样操作，输出第三输出特征图；
采用特征融合模块对所述第二输出特征图和所述第三输出特征图进行堆叠和分支融合，确定第四输出特征图；
将所述第四输出特征图输入采样卷积模块执行特征提取和上采样操作，生成第一初始特征图；
通过特征融合模块对所述第一初始特征图和所述第一输出特征图进行堆叠和分支融合，确定第一融合特征图；
采用第一分支融合模块对所述第一融合特征图进行分支融合得到第一子图，并将所述第一子图和所述第四输出特征图输入特征融合模块进行进行堆叠和分支融合，输出第二融合特征图；
采用第一分支融合模块对所述第二融合特征图进行分支融合得到第二子图，并将所述第二子图和所述第三红外特征图输入特征融合模块进行堆叠和分支融合，生成第三融合特征图。
可选地，所述第一分支融合模块包括带有FReLU激活函数的卷积模块、最大值池化层和卷积融合模块；所述第一分支融合模块具体处理过程为：
将输入第一分支融合模块的融合输入图分别采用带有FReLU激活函数的卷积模块和最大值池化层执行非线性映射和最大值池化操作，生成对应的第一映射图和最大值池化图；
采用带有FReLU激活函数的卷积模块对所述第一映射图和所述第一池化图进行非线性映射，输出第二映射图和第三映射图；
将所述第二映射图和所述第三映射图进行拼接后，并通过卷积融合模块执行卷积运算和非线性映射操作，确定融合输出图。
可选地，所述目标检测网络包括重参数卷积模块和预测卷积层；所述通过所述目标检测网络对各所述融合特征图进行温度检测，输出对应的所述电力设备的温度检测结果的步骤，包括：
通过重参数卷积模块对各所述融合特征图执行调整特征向量操作，生成对应的调整特征图；
采用预测卷积层对各所述调整特征图进行预测，输出所述电力设备的温度检测结果。
可选地，所述改进的目标检测模型的训练测试过程，包括：
获取所述电力设备的异常温度红外图像集，采用改进的马氏距离函数和非局部均值滤波算法对所述异常温度红外图像集执行去噪操作，生成去噪图像数据，接着对所述去噪图像数据执行边缘细节强化操作，输出二值图数据；
采用所述二值图数据和所述去噪图像数据构建目标图像集，并对所述目标图像集进行归一化，确定样本集；
采用预设聚类算法对所述样本集进行聚类计算，确定先验框尺寸，所述先验框尺寸用于在模型训练时辅助模型进行目标定位；
采用预设图像数据集对改进的目标检测模型进行预训练，获得预训练模型；
基于所述预训练模型的权重和所述先验框尺寸，采用所述样本集先对所述改进的目标检测模型的目标特征融合模块以及目标检测模块进行局部模型训练，再对所述改进的目标检测模型进行整体模型训练；
所述改进的马氏距离函数具体为：
式中，C为目标协方差矩阵；α为收缩系数；diag(D)为协方差矩阵D对角元素组成的新对角矩阵；μmin为协方差矩阵D中最小特征元素值；μmax为协方差矩阵D中最大特征元素值；D为协方差矩阵；Fm,n为以(i,j)为像素坐标中心的局部区域内坐标为(m,n)的像素；Fi.j为坐标为(i,j)的像素；dm(Fm,n,Fi.j)表示F(m,n)与F(i,j)之间的马氏距离；r表示以(i,j)为像素中心坐标的领域半径。
本发明第二方面提供的一种电力设备异常温度检测装置，包括：
输入模块，用于获取电力设备的待识别红外图像，将所述待识别红外图像输入至改进的目标检测模型，所述改进的目标检测模型包括目标特征提取网络、目标特征融合网络和目标检测网络；
特征提取模块，用于采用所述目标特征提取网络对所述待识别红外图像进行特征强化提取操作，确定多个红外特征图，所述目标特征提取网络包括级联的注意力激活卷积模块、多分支特征融合模块和空间金字塔池化模块；
特征融合模块，用于将各所述红外特征图分别输入至所述目标特征融合网络进行特征深层融合操作，输出对应的融合特征图；
检测模块，用于通过所述目标检测网络对各所述融合特征图进行温度检测，输出对应的所述电力设备的温度检测结果。
从以上技术方案可以看出，本发明具有以下优点：
本发明首先采用改进的马氏距离和非局部均值滤波算法对变电站电力设备的温度异常红外图像进行降噪，再对降噪后的红外图像进行边缘细节强化处理，以增强红外图像的边缘细节及降低红外图像中的噪声，其次，通过采用新型的注意力卷积模块替代原有特征提取模块中的步长为2的普通卷积模块，避免了特征信息的非歧视性丢失，同时采用空间金字塔池化模块改进原有的特征提取模块，剔除无关冗余的特征信息，增强对低分辨率图像和温度异常小目标的检测能力，采用带有FReLU激活函数的卷积模块改进原有的特征融合模块，提高了模型非线性拟合能力，最后通过目标检测模块输出相应的温度检测结果，实现了快速、准确地检测出电力设备红外图像的异常温度区域，提高了检测精度并获得了更好的检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种电力设备异常温度检测方法的步骤流程图；
图2为本发明实施例提供的改进的目标检测模型的结构示意图；
图3为本发明实施例提供的一种电力设备异常温度检测方法的步骤流程图；
图4为本发明实施例提供的目标检测模型中第一分支融合模块的结构示意图；
图5为本发明实施例提供的目标检测模型中第二分支融合模块的结构示意图；
图6为本发明实施例提供的一种改进的目标检测模型训练过程的步骤流程图；
图7为本发明实施例提供的一种采用改进的目标检测模型进行图像检测测试的效果示意图；
图8为本发明实施例提供的一种电力设备异常温度检测装置的结构框图。
具体实施方式
本发明实施例提供了一种电力设备异常温度检测方法和装置，用于解决现有技术中由于神经网络构造简单、泛化能力较弱，网络模型的检测精度在图像分辨率低以及目标缺陷较小的情况下容易受到干扰，同时在通常情况下，变电站电力设备的红外图像存在大量噪声和边缘细节不突出，从而导致检测效果不理想的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种电力设备异常温度检测方法的步骤流程图。
步骤101、获取电力设备的待识别红外图像，将待识别红外图像输入至改进的目标检测模型，改进的目标检测模型包括目标特征提取网络、目标特征融合网络和目标检测网络。
待识别红外图像指的是通过收集变电站日常巡检红外图像构建电力设备红外图像集，从其中筛选出其中电力设备异常温度的红外图像。
请参阅图2，本发明实施例所提供的改进的目标检测模型为YOLOv7-SPD模型，其是对原始YOLOv7目标检测模型进行改进，具体的改进为：通过将原始的YOLOv7检测模型中的步长为2的普通卷积模块替换为SPD-NAM卷积模块(由空间到深度层、无卷积步长层和注意力机制层构成的注意力卷积模块)，将NAM注意力机制嵌入至SPPCSPC(原始YOLOv7目标检测模型中使用的SPP(Spatial Pyramid Pooling，空间金字塔池化)结构)，构建出SPPCSPC-NAM模块(空间金字塔池化模块)，然后基于FReLU激活函数将原有的CBS模块改进为CBF模块(带有FReLU激活函数的卷积模块)，并构建出MB_CBF模块(第二分支融合模块)与TB_CBF模块(第一分支融合模块)，从而得到本实施例中的改进的YOLOv7-SPD模型。
其中，该模型主要可以分为三个部分，分别是目标特征提取模块(即神经网络模型中的Backbone主干提取网络)、目标特征融合模块(即神经网络模型中的Neck特征融合网络)以及目标检测模块(即神经网络模型中的Head检测网络)。
在本实施例中，当接收到电力设备的待识别红外图像时，将待识别红外图像输入至改进的目标检测模型。
步骤102、采用目标特征提取网络对待识别红外图像进行特征强化提取操作，确定多个红外特征图，目标特征提取网络包括级联的注意力激活卷积模块、多分支特征融合模块和空间金字塔池化模块。
在本步骤中，目标特征提取网络包括级联的注意力激活卷积模块、多分支特征融合模块和空间金字塔池化模块(SPPCSPC-NAM模块)；红外特征图包括第一红外特征图、第二红外特征图和第三红外特征图。
在本实施例中，采用目标特征提取网络对待识别红外图像进行特征强化提取操作，确定多个红外特征图。
步骤103、将各红外特征图分别输入至目标特征融合网络进行特征深层融合操作，输出对应的融合特征图。
在本实施例中，将各红外特征图分别输入至目标特征融合网络进行特征深层融合操作，输出对应的融合特征图。
步骤104、通过目标检测网络对各融合特征图进行温度检测，输出对应的电力设备的温度检测结果。
在本实施例中，通过目标检测网络对各融合特征图进行温度检测，输出电力设备的温度检测结果。
在本发明实施例中，通过对原始YOLOv7目标检测模型进行改进，构建了一种变电站电力设备的YOLOv7-SPD模型，并基于变电站电力设备的红外图像数据集对其进行训练测试，采用该YOLOv7-SPD模型并结合电力设备异常温度检测方法，实现了对于电力设备图像中的异常温度区域的检测。其中，本发明实施例中通过将原始的YOLOv7检测模型中的步长为2的普通卷积模块替换为SPD-NAM卷积模块，避免了特征信息的非歧视性丢失，将NAM注意力机制嵌入至SPPCSPC，构建出SPPCSPC-NAM模块，可以剔除无关冗余的特征信息，从而增强对低分辨率图像和温度异常小目标的检测能力，然后基于FReLU激活函数将原有的CBS模块改进为CBF模块，并构建出MB_CBF模块与TB_CBF模块提高了模型非线性拟合能力，最后通过目标检测模块输出相应的温度检测结果，实现了快速、准确地检测出电力设备红外图像的异常温度区域，提高了检测精度并获得了更好的检测效果。
请参阅图3，图3为本发明实施例提供的一种电力设备异常温度检测方法的步骤流程图。
本发明提供的一种电力设备异常温度检测方法，包括：
步骤301、获取电力设备的待识别红外图像，将待识别红外图像输入至改进的目标检测模型，改进的目标检测模型包括目标特征提取网络、目标特征融合网络和目标检测网络。
具体地，当需要对电力设备进行异常温度检测时，可以将对应的电力设备异常温度的红外图像输入至预先训练好的改进的目标检测模型中进行处理。
在本实施例中，获取电力设备的待识别红外图像，将待识别红外图像输入至改进的目标检测模型。
步骤302、采用注意力激活卷积模块对输入的待识别红外图像进行特征提取，输出向量特征融合图。
向量特征融合图，指的是注意力激活卷积模块进行图像处理后输出的特征图，可以理解的是，其可以对应为在图像检测过程中注意力激活卷积模块进行图像处理后任一输出的特征图。
在本步骤中，多分支特征融合模块包括级联的第一分支融合模块(TB_CBF模块)和第二分支融合模块(MB_CBF模块)，注意力激活卷积模块包括空间到深度层(space todepth，SPD层)、无卷积步长层(non-stridedconvolution层)、注意力机制层(NAM注意力机制)、卷积组和第二分支融合模块。
进一步地，步骤302可以包括以下子步骤：
S21、采用空间到深度层对待识别红外图像进行执行下采样和拼接操作，构建采样特征图。
为方便进行说明，示例性地，假设特征提取过程中任意大小为(S,S,C1)的待识别红外图像Fin，则通过SPD层后该图像F′in大小为(S/Nsacle,S/Nsacle,N2sacleC1)，即按照比例因子Nsacle随机提取N2 sacle子特征图(大小为S/Nsacle,S/Nsacle,C1)，然后进行串联堆叠后获得采样特征图F′in。
S22、将采样特征图输入无卷积步长层进行通道数替换操作，输出中间特征图。
具体地，通过无卷积步长层改变通道数，获得中间特征图F′out，其中卷积层滤波器大小为C2×C2，C2<N2 sacleC1，中间特征图F′out大小为(S/Nsacle,S/Nsacle,C2)
S23、通过注意力机制层对中间特征图中的冗余特征进行剔除，生成目标提取特征图。
冗余特征，指的是特征图中权重较小值对应的特征。
值得一提的是，NAM注意力(normalization-based attention module,NAM)是一种高效且轻量级的注意力机制，其核心就是采用批正则化层(BN)处理获得输入的特征图的比例因子(scaling factor)，代表各个特征信息的重要性程度，计算公式如下：
式中，μB和σB分别为小批量B的均值和标准差；γ和β是可训练的仿射变换参数(即尺度和位移)；Bin和Bout分别表示输入批量和输出批量。
示例性地，通过注意力机制层对中间特征图中的冗余特征进行剔除，即根据通道注意力子模块先行对输入的中间特征图进行BN处理(归一化)，获得为每个通道的比例因子γ及其通道权重wγ，最后与中间特征图进行像素级累积，获得输出特征Mc；之后将特征Mc输入至空间注意力子模块中，处理获得空间比例因子λ及其空间权重wλ，与中间特征图进行像素级累积后获得最终NAM注意力处理后的目标提取特征图Ms。通过上述处理流程，剔除特征图中权重较小值对应的特征，从而得到权重较大，重要性更强的特征。
S24、通过卷积组对目标提取特征图进行非线性映射，输出非线性向量特征图。
非线性向量特征图，指的是卷积组进行图像处理后的特征图，可以理解的是，其可以对应为在图像检测过程中卷积组进行图像处理后任一输出的特征图。
S25、采用第二分支融合模块对非线性向量特征图执行分支融合操作，确定向量特征融合图。
向量特征融合图指的是第二分支融合模块进行图像处理后的特征图，可以理解的是，其可以对应为在图像检测过程中第二分支融合模块进行图像处理后任一输出的特征图。
在本实施例中，通过采用SPD-NAM卷积模块替代原始的YOLOv7检测模型中的步长为2的普通卷积模块，剔除无关冗余的特征信息，增强了对低分辨率图像和温度异常小目标的检测能力，并采用基于FReLU激活函数将原有的CBS模块改进为CBF模块构建的MB_CBF模块(第二分支融合模块)，提高了模型非线性拟合能力，也避免了特征信息的非歧视性丢失。
步骤303、通过多分支特征融合模块对向量特征融合图进行多分支特征融合，生成第一红外特征图。
可选地，参照图4和图5，第一分支融合模块(TB_CBF模块)包括带有FReLU激活函数的卷积模块、最大值池化层和卷积融合模块；第一分支融合模块具体处理过程为：将输入第一分支融合模块的融合输入图分别采用带有FReLU激活函数的卷积模块和最大值池化层执行非线性映射和最大值池化操作，生成对应的第一映射图和最大值池化图；采用带有FReLU激活函数的卷积模块对第一映射图和第一池化图进行非线性映射，输出第二映射图和第三映射图；将第二映射图和第三映射图进行拼接后，并通过卷积融合模块执行卷积运算和非线性映射操作，确定融合输出图。
示例性的，第二分支融合模块(MB_CBF模块)具体的处理过程为：将特征图分别输入至CBF模块(带有FReLU激活函数的卷积模块)进行非线性映射，得到两个第一特征子图；接着将其中的一个第一特征子图输入至级联的CBF模块进行非线性映射，得到第二特征子图，再将第二特征子图输入至级联的CBF模块进行非线性映射，得到第三特征子图；最后，将两个第一特征子图、第二特征子图和第三特征子图进行特征融合后，再输入至卷积层(Conv)进行卷积运算后，再经过CBF模块进行非线性映射，得到最终的第一分支融合图。
在本实施例中，通过多分支特征融合模块对向量特征融合图进行多分支特征融合，生成第一红外特征图。
步骤304、采用多分支特征融合模块对第一红外特征图进行多分支特征融合，生成第二红外特征图。
在本实施例中，采用多分支特征融合模块对第一红外特征图进行多分支特征融合，生成第二红外特征图。
步骤305、通过级联的多分支特征融合模块和空间金字塔池化模块对第二红外特征图执行多分支特征融合和池化操作，输出第三红外特征图。
空间金字塔池化模块(SPPCSPC-NAM)包括带有FReLU激活函数的卷积模块、卷积组、第一池化层、第二池化层、第三池化层、第四池化层和注意力机制层。
卷积组包括级联的三个带有FReLU激活函数的卷积模块。
进一步地，步骤305可以包括以下子步骤：
S51、将第二红外特征图输入多分支特征融合模块执行多分支特征融合操作，确定红外融合特征图。
S52、通过带有FReLU激活函数的卷积模块和卷积组分别对红外融合特征图进行非线性映射，生成对应的第一特征图和第二特征图，卷积组包括级联的三个带有FReLU激活函数的卷积模块。
第一特征图指的是带有FReLU激活函数的卷积模块进行图像处理后的特征图，可以理解的是，其可以对应为在图像检测过程中带有FReLU激活函数的卷积模块进行图像处理后任一输出的特征图。
可选地，带有FReLU激活函数的卷积模块包括卷积层、批正则化层和FReLU激活函数层；带有FReLU激活函数的卷积模块的具体处理过程为：
将输入带有FReLU激活函数的卷积模块的卷积输入图采用卷积层进行卷积运算，生成空间特征向量图；
采用批正则化层对空间特征向量图执行归一化操作后，并通过FReLU激活函数层进行非线性映射，输出卷积输出图；
FReLU激活函数具体为：
式中，xc,i,j为卷积输入图中第c个特征通道上二维位置为(i,j)的特征向量；FReLU()为漏斗激活函数；为卷积输入图中第c个特征通道上以二维位置(i,j)为中心的区域；/>为以二维位置(i,j)为中心的区域在第c个特征通道中的共享参数；out1为第一张量图；out2为第二张量图；out为卷积输出图；cat()为拼接函数；dim为拼接维度；T()为二维空间条件。
值得一提的是，将输入的卷积输入图xc,i,j应用于FReLU，得到out1和out2，然后，使用cat串联堆叠操作将两个向量沿着dim＝1拼接起来，以得到最终输出的卷积输出图out。
S53、采用注意力机制层对第一特征图中的冗余特征进行剔除，输出第三特征图。
S54、将第二特征图分别输入第一池化层、第二池化层、第三池化层、第四池化层执行池化操作后，依次经过注意力机制层进行冗余特征剔除操作，生成多个第二子特征图。
具体地，第一池化层、第二池化层、第三池化层和第四池化层分别为1、5、9、13四种池化核大小的池化层；第二子特征图指的是在空间金字塔池化模块中生成的中间图。
S55、将多个第二子特征图进行拼接后，并通过带有FReLU激活函数的卷积模块进行非线性映射，生成第四特征图。
第四特征图指的是在空间金字塔池化模块中生成的中间图。
S56、对第三特征图和第四特征图进行堆叠后，并通过带有FReLU激活函数的卷积模块进行非线性映射，输出第三红外特征图。
值得一提的是，将第三特征图和第四特征图进行特征融合后，经过CBF模块的处理，输出第三红外特征图，实现不同尺度特征信息的融合。
示例性地，在输入特征图经过第一条分支中的3个CBF模块与1、5、9、13四种池化核大小的池化层处理后，添加NAM注意力模块，再经过CBF模块处理后获得特征F1；另外，在输入特征图经过第二条分支CBF模块处理后添加NAM注意力模块，获得特征F2；最后将F1与F2特征进行叠加(Concat)与CBF模块处理，实现不同尺度特征信息的融合，提高YOLOv7-SPD目标检测模型的精度。
在本实施例中，通过级联的多分支特征融合模块和空间金字塔池化模块对第二红外特征图执行多分支特征融合和池化操作，输出第三红外特征图。
步骤306、将各红外特征图分别输入至目标特征融合网络进行特征深层融合操作，输出对应的融合特征图。
目标特征融合网络包括注意力卷积模块、采样卷积模块、特征融合模块和第一分支融合模块。
融合特征图包括第一融合特征图、第二融合特征图和第三融合特征图。
进一步地，步骤306可以包括以下子步骤：
S61、将第一红外特征图和第二红外特征图分别输入注意力卷积模块进行特征提取，生成第一输出特征图和第二输出特征图。
S62、通过采样卷积模块对第三红外特征图执行特征提取和上采样操作，输出第三输出特征图。
S63、采用特征融合模块对第二输出特征图和第三输出特征图进行堆叠和分支融合，确定第四输出特征图。
S64、将第四输出特征图输入采样卷积模块执行特征提取和上采样操作，生成第一初始特征图。
S65、通过特征融合模块对第一初始特征图和第一输出特征图进行堆叠和分支融合，确定第一融合特征图。
S66、采用第一分支融合模块对第一融合特征图进行分支融合得到第一子图，并将第一子图和第四输出特征图输入特征融合模块进行进行堆叠和分支融合，输出第二融合特征图。
S67、采用第一分支融合模块对第二融合特征图进行分支融合得到第二子图，并将第二子图和第三红外特征图输入特征融合模块进行堆叠和分支融合，生成第三融合特征图。
具体地，采样卷积模块包括上采样层和SPD-NAM卷积模块，特征融合模块包括Concat层和第二分支融合模块；第一初始特征图指的是采样卷积模块进行图像处理后输出的特征图，可以理解的是，其可以对应为在图像检测过程中采样卷积模块进行图像处理后任一输出的特征图；第四输出特征图指的是特征融合模块进行图像处理后输出的特征图，可以理解的是，其可以对应为在图像检测过程中特征融合模块进行图像处理后任一输出的特征图。
在本实施例中，将各红外特征图分别输入至目标特征融合网络进行特征深层融合操作，输出对应的融合特征图。
步骤307、通过目标检测网络对各融合特征图进行温度检测，输出对应的电力设备的温度检测结果。
目标检测网络包括重参数卷积模块和预测卷积层。
调整特征图指的是重参数卷积模块进行图像处理后输出的特征图。
进一步地，步骤307包括以下子步骤：
S71、通过重参数卷积模块对各融合特征图执行调整特征向量操作，生成对应的调整特征图。
S72、采用预测卷积层对各调整特征图进行预测，输出电力设备的温度检测结果。
值得一提的是，通过目标特征提取网络与目标特征融合网络提取得到的三个尺度的特征(对应三个YOLO_Head)，即融合特征图，输入至RepConv模块，即重参数卷积模块后输出调整特征向量大小，由于只有一类目标，所以输出大小为(1+5)×3＝18，其中，1代表标签类别数量，5代表检测框的坐标位置(x,y,w,h)和置信度分数C，3代表先验框的数量，最后再通过YOLO_Head中的1×1卷积，即预测卷积层进行预测，输出电力设备的温度检测结果，从而让工作人员清楚了解到温度异常区域。
在本实施例中，通过目标检测网络对各融合特征图进行温度检测，输出电力设备的温度检测结果。
在本发明实施例中，通过对原始YOLOv7目标检测模型进行改进，构建了一种变电站电力设备的YOLOv7-SPD模型，并基于变电站电力设备的红外图像数据集对其进行训练测试，采用该YOLOv7-SPD模型并结合电力设备异常温度检测方法，实现了对于电力设备图像中的异常温度区域的检测。其中，本发明实施例中通过将原始的YOLOv7检测模型中的步长为2的普通卷积模块替换为SPD-NAM卷积模块，避免了特征信息的非歧视性丢失，将NAM注意力机制嵌入至SPPCSPC，构建出SPPCSPC-NAM模块，可以剔除无关冗余的特征信息，从而增强对低分辨率图像和温度异常小目标的检测能力，然后基于FReLU激活函数将原有的CBS模块改进为CBF模块，并构建出MB_CBF模块与TB_CBF模块提高了模型非线性拟合能力，最后通过目标检测模块输出相应的温度检测结果，实现了快速、准确地检测出电力设备红外图像的异常温度区域，提高了检测精度并获得了更好的检测效果。
请参阅图6，图6为本发明实施例提供的一种改进的目标检测模型训练过程的步骤流程图，该过程可以包括以下步骤：
步骤601、获取电力设备的异常温度红外图像集，采用改进的马氏距离函数和非局部均值滤波算法对异常温度红外图像集执行去噪操作，生成去噪图像数据，接着对去噪图像数据执行边缘细节强化操作，输出二值图数据。
在本步骤中，通过收集变电站日常巡检红外图像构建电力设备红外图像集，从其中筛选出其中电力设备异常温度的红外图像，构建变电站电力设备异常温度红外图像集，其中包含各种拍摄角度、背景、环境、天气情况的红外线图像。
对异常温度红外图像集中的图像进行标签制作，具体的，采用LabelImg标签制作工具，利用矩形框(Rectangle)框选温度异常区域，并定义其标签为“abnormal”。
进一步地，获取异常温度红外图像集各个图像对应的全部像素值，计算各个图像对应的像素值i与像素值j的全部协方差，采用全部协方差作为矩阵元素从而构成协方差矩阵，将全部协方差矩阵分别代入改进的马氏距离函数进行运算，再结合非局部均值滤波算法对异常温度红外图像集进行执行去噪操作，生成去噪图像数据。
在具体实现中，为方便方法的实现，可以通过将上述结合协方差矩阵、改进的马氏距离函数和非局部均值滤波算法对图像进行去噪的过程转换为公式封装的形式，实际收集的变电站电力设备的温度红外图像集中的异常温度含噪声红外图像可以表示为：
Fi,j＝Xi,j+Zi,j；
式中，F表示含噪声的电力设备温度异常红外图像，X为真实的电力设备温度异常红外图像，Z为加性的白噪声信号，(i,j)为对应异常温度含噪声红外图像的像素坐标。
采用改进的马氏距离函数来度量其相似性，具体为：
式中，C为目标协方差矩阵；α为收缩系数；diag(D)为协方差矩阵D对角元素组成的新对角矩阵；μmin为协方差矩阵D中最小特征元素值；μmax为协方差矩阵D中最大特征元素值；D为协方差矩阵；Fm,n为以(i,j)为像素坐标中心的局部区域内坐标为(m,n)的像素；Fi.j为坐标为(i,j)的像素；dm(Fm,n,Fi.j)表示F(m,n)与F(i,j)之间的马氏距离；r表示以(i,j)为像素中心坐标的领域半径。
再结合非局部均值滤波(Non-Local Means，NLM)算法对异常温度含噪声红外图像进行处理，得到的红外图像，即去噪图像数据，可以表示为：
/>
式中，为去噪图像数据，Ωi,j表示以(i,j)为像素中心的局部区域，/>代表F(m,n)与F(i,j)之间的距离，F(m,n)为以(i,j)坐标为像素中心的局部区域内坐标为(m,n)的像素，F(i,j)为以坐标为(i,j)的像素。
最后，将去噪处理后的图像输入至边缘细节强化模块中，该模块首先采用卷积核大小为7×7的卷积对去噪处理后的图像进行中值滤波处理，再通过卷积核大小为5×5的卷积先后三次迭代实现去噪处理后的图像的腐蚀与膨胀操作，即3次腐蚀与3次膨胀，然后再进行Otsu二值化，最后再利用卷积核大小为5×5的卷积三次迭代处理对图像进行膨胀，最终获得突出红外图像中电力设备边缘细节的二值图，即二值图数据。
在本实施例中，获取电力设备的异常温度红外图像集，采用改进的马氏距离函数和非局部均值滤波算法对异常温度红外图像集执行去噪操作，生成去噪图像数据，接着对去噪图像数据执行边缘细节强化操作，输出二值图数据。
步骤602、采用二值图数据和去噪图像数据构建目标图像集，并对目标图像集进行归一化，确定样本集。
具体地，将二值图数据与一开始输入的去噪处理后的图像数据相加，便获得像组合增强后的电力设备红外图像，即目标图像集，然后再将该图像集按照8:1:1的比例划分为训练集、验证集和测试集，并将目标图像集中的图像进行归一化为640×640大小，其中，样本集包括训练集、验证集和测试集。
在本实施例中，采用二值图数据和去噪图像数据构建目标图像集，并对目标图像集进行归一化，确定样本集。
步骤603、采用预设聚类算法对样本集进行聚类计算，确定先验框尺寸，先验框尺寸用于在模型训练时辅助模型进行目标定位。
在本步骤中，预设聚类算法为K-means聚类算法，在训练测试前，首先利用K-means聚类算法对训练集的图像及其标签进行聚类，获得最佳先验框尺寸[12 20；20 30；30,47；36 76；53 56；67 98；132 110；92 169；211 236]，辅助模型进行目标定位。
在本实施例中，采用预设聚类算法对样本集进行聚类计算，确定先验框尺寸，先验框尺寸用于在模型训练时辅助模型进行目标定位。
步骤604、采用预设图像数据集对改进的目标检测模型进行预训练，获得预训练模型。
在本步骤中，预设图像数据集为COCO数据集，采用COCO数据集训练YOLOv7-SPD模型，获得预训练模型，并将其迁移至本发明的样本集中进行训练测试。
在本实施例中，采用预设图像数据集对改进的目标检测模型进行预训练，获得预训练模型。
步骤605、基于预训练模型的权重和先验框尺寸，采用样本集先对改进的目标检测模型的目标特征融合模块以及目标检测模块进行局部模型训练，再对改进的目标检测模型进行整体模型训练。
具体地，训练过程可分为两个部分，第一个部分，首先基于预训练模型的权重和先验框尺寸，冻结特征提取网络的权重参数，对改进的目标检测模型的目标特征融合网络和目标检测网络进行局部模型训练100轮，批大小为8，学习率设置为1×10-2；第二个部分解冻之后对整个模型的权重参数再训练100轮，批大小为2，学习率设置为1×10-3，结合SGD优化器、Cos学习率下降策略，每10轮保存一个权重模型；总共训练200轮，最后，将保存损失值最小且验证集精度最高的模型作为最优YOLOv7-SPD目标检测模型，即改进的目标检测模型，接着，再将测试集输入至最优YOLOv7-SPD目标检测模型中进行检测，获得其检测结果，包括类别、预测框、置信度，并通过非极大值抑制NMS进行预测框的筛选，从而保留最贴切目标区域的检测框，最后，再根据检测精度(average precision，AP)与检测速度(FPS)评价指标计算原理，计算测试集结果的AP与FPS值，用于验证本发明的检测实际效果，如表1所示。其中，目标检测模型包括目标特征提取网络(Backbone)、目标特征融合网络(Neck)和目标检测网络(Head)。
表1测试集检测结果
示例性地，参照图7，示出了本发明实施例提供的一种采用训练好的改进的目标检测模型进行图像检测测试的效果示意图，可以看出，通过采用本发明实施例所提供的改进的目标检测模型，可以清楚且准确地定位至电力设备中存在异常温度的位置，并且可以检测出对应的异常温度、环境温度以及距离等有效数据，以便电力运维人员快速确认存在异常温度问题的电力设备的具体位置，从而进行及时的处理，避免出现更大的损失。
在本实施例中，基于预训练模型的权重和先验框尺寸，采用样本集先对改进的目标检测模型的目标特征融合模块以及目标检测模块进行局部模型训练，再对改进的目标检测模型进行整体模型训练。
在本发明实施例中，通过对原始YOLOv7目标检测模型进行改进，构建了一种变电站电力设备的YOLOv7-SPD模型，并基于变电站电力设备的红外图像数据集对其进行训练测试，采用该YOLOv7-SPD模型并结合电力设备异常温度检测方法，实现了对于电力设备图像中的异常温度区域的检测。其中，本发明实施例中通过将原始的YOLOv7检测模型中的步长为2的普通卷积模块替换为SPD-NAM卷积模块，避免了特征信息的非歧视性丢失，将NAM注意力机制嵌入至SPPCSPC，构建出SPPCSPC-NAM模块，可以剔除无关冗余的特征信息，从而增强对低分辨率图像和温度异常小目标的检测能力，然后基于FReLU激活函数将原有的CBS模块改进为CBF模块，并构建出MB_CBF模块与TB_CBF模块提高了模型非线性拟合能力，最后通过目标检测模块输出相应的温度检测结果，实现了快速、准确地检测出电力设备红外图像的异常温度区域，提高了检测精度并获得了更好的检测效果。
请参阅图8，图8为本发明实施例提供的一种电力设备异常温度检测装置的结构框图。
输入模块801，用于获取电力设备的待识别红外图像，将待识别红外图像输入至改进的目标检测模型，改进的目标检测模型包括目标特征提取网络、目标特征融合网络和目标检测网络。
特征提取模块802，用于采用目标特征提取网络对待识别红外图像进行特征强化提取操作，确定多个红外特征图，目标特征提取网络包括级联的注意力激活卷积模块、多分支特征融合模块和空间金字塔池化模块。
特征融合模块803，用于将各红外特征图分别输入至目标特征融合网络进行特征深层融合操作，输出对应的融合特征图。
检测模块804，用于通过目标检测网络对各融合特征图进行温度检测，输出对应的电力设备的温度检测结果。
进一步地，特征提取模块802包括：
向量融合子模块，用于采用注意力激活卷积模块对输入的待识别红外图像进行特征提取，输出向量特征融合图。
第一提取子模块，用于通过多分支特征融合模块对向量特征融合图进行多分支特征融合，生成第一红外特征图。
第二提取子模块，用于采用多分支特征融合模块对第一红外特征图进行多分支特征融合，生成第二红外特征图。
第三提取子模块，用于通过级联的多分支特征融合模块和空间金字塔池化模块对第二红外特征图执行多分支特征融合和池化操作，输出第三红外特征图。
进一步地，向量融合子模块包括：
采样单元，用于采用空间到深度层对待识别红外图像进行执行下采样和拼接操作，构建采样特征图。
替换单元，用于将采样特征图输入无卷积步长层进行通道数替换操作，输出中间特征图。
剔除单元，用于通过注意力机制层对中间特征图中的冗余特征进行剔除，生成目标提取特征图。
映射单元，用于通过卷积组对目标提取特征图进行非线性映射，输出非线性向量特征图。
融合单元，用于采用第二分支融合模块对非线性向量特征图执行分支融合操作，确定向量特征融合图。
进一步地，第三提取子模块包括：
多分支融合单元，用于将第二红外特征图输入多分支特征融合模块执行多分支特征融合操作，确定红外融合特征图；
第二映射单元，用于通过带有FReLU激活函数的卷积模块和卷积组分别对红外融合特征图进行非线性映射，生成对应的第一特征图和第二特征图，卷积组包括级联的三个带有FReLU激活函数的卷积模块。
第二剔除单元，用于采用注意力机制层对第一特征图中的冗余特征进行剔除，输出第三特征图。
池化单元，用于将第二特征图分别输入第一池化层、第二池化层、第三池化层、第四池化层执行池化操作后，依次经过注意力机制层进行冗余特征剔除操作，生成多个第二子特征图。
拼接单元，用于将多个第二子特征图进行拼接后，并通过带有FReLU激活函数的卷积模块进行非线性映射，生成第四特征图。
第三映射单元，用于对第三特征图和第四特征图进行堆叠后，并通过带有FReLU激活函数的卷积模块进行非线性映射，输出第三红外特征图。
可选地，带有FReLU激活函数的卷积模块包括卷积层、批正则化层和FReLU激活函数层。带有FReLU激活函数的图像处理步骤，包括：
将输入带有FReLU激活函数的卷积模块的卷积输入图采用卷积层进行卷积运算，生成空间特征向量图。
采用批正则化层对空间特征向量图执行归一化操作后，并通过FReLU激活函数层进行非线性映射，输出卷积输出图。
FReLU激活函数具体为：
式中，xc,i,j为卷积输入图中第c个特征通道上二维位置为(i,j)的特征向量；FReLU()为漏斗激活函数；为卷积输入图中第c个特征通道上以二维位置(i,j)为中心的区域；/>为以二维位置(i,j)为中心的区域在第c个特征通道中的共享参数；out1为第一张量图；out2为第二张量图；out为卷积输出图；cat()为拼接函数；dim为拼接维度；T()为二维空间条件。
进一步地，特征融合模块803包括：
注意力提取子模块，用于将第一红外特征图和第二红外特征图分别输入注意力卷积模块进行特征提取，生成第一输出特征图和第二输出特征图。
第二采样子模块，用于通过采样卷积模块对第三红外特征图执行特征提取和上采样操作，输出第三输出特征图。
第四融合子模块，用于采用特征融合模块对第二输出特征图和第三输出特征图进行堆叠和分支融合，确定第四输出特征图。
第三采样子模块，用于将第四输出特征图输入采样卷积模块执行特征提取和上采样操作，生成第一初始特征图。
第五融合子模块，用于通过特征融合模块对第一初始特征图和第一输出特征图进行堆叠和分支融合，确定第一融合特征图。
第二分支融合子模块，用于采用第一分支融合模块对第一融合特征图进行分支融合得到第一子图，并将第一子图和第四输出特征图输入特征融合模块进行进行堆叠和分支融合，输出第二融合特征图。
第三分支融合子模块，用于采用第一分支融合模块对第二融合特征图进行分支融合得到第二子图，并将第二子图和第三红外特征图输入特征融合模块进行堆叠和分支融合，生成第三融合特征图。
可选地，第一分支融合模块包括带有FReLU激活函数的卷积模块、最大值池化层和卷积融合模块。第一分支融合模块的图像处理步骤，包括：
将输入第一分支融合模块的融合输入图分别采用带有FReLU激活函数的卷积模块和最大值池化层执行非线性映射和最大值池化操作，生成对应的第一映射图和最大值池化图；
采用带有FReLU激活函数的卷积模块对第一映射图和第一池化图进行非线性映射，输出第二映射图和第三映射图；
将第二映射图和第三映射图进行拼接后，并通过卷积融合模块执行卷积运算和非线性映射操作，确定融合输出图。
进一步地，检测模块804包括：
调整子模块，用于通过重参数卷积模块对各融合特征图执行调整特征向量操作，生成对应的调整特征图。
预测子模块，用于采用预测卷积层对各调整特征图进行预测，输出电力设备的温度检测结果。
在一种可选实施例中，装置还包括：
输出二值图模块，用于获取电力设备的异常温度红外图像集，采用改进的马氏距离函数和非局部均值滤波算法对异常温度红外图像集执行去噪操作，生成去噪图像数据，接着对去噪图像数据执行边缘细节强化操作，输出二值图数据。
确定样本模块，用于采用二值图数据和去噪图像数据构建目标图像集，并对目标图像集进行归一化，确定样本集。
尺寸模块，用于采用预设聚类算法对样本集进行聚类计算，确定先验框尺寸，先验框尺寸用于在模型训练时辅助模型进行目标定位。
预训练模块，用于采用预设图像数据集对改进的目标检测模型进行预训练，获得预训练模型。
冻结训练模块，用于基于预训练模型的权重和先验框尺寸，采用样本集先对改进的目标检测模型的目标特征融合模块以及目标检测模块进行局部模型训练，再对改进的目标检测模型进行整体模型训练。
改进的马氏距离函数具体为：
式中，C为目标协方差矩阵；α为收缩系数；diag(D)为协方差矩阵D对角元素组成的新对角矩阵；μmin为协方差矩阵D中最小特征元素值；μmax为协方差矩阵D中最大特征元素值；D为协方差矩阵；Fm,n为以(i,j)为像素坐标中心的局部区域内坐标为(m,n)的像素；Fi.j为坐标为(i,j)的像素；dm(Fm,n,Fi.j)表示F(m,n)与F(i,j)之间的马氏距离；r表示以(i,j)为像素中心坐标的领域半径。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、模块和子模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种电力设备异常温度检测方法，其特征在于，包括：
获取电力设备的待识别红外图像，将所述待识别红外图像输入至改进的目标检测模型，所述改进的目标检测模型包括目标特征提取网络、目标特征融合网络和目标检测网络；
采用所述目标特征提取网络对所述待识别红外图像进行特征强化提取操作，确定多个红外特征图，所述目标特征提取网络包括级联的注意力激活卷积模块、多分支特征融合模块和空间金字塔池化模块；
将各所述红外特征图分别输入至所述目标特征融合网络进行特征深层融合操作，输出对应的融合特征图；
通过所述目标检测网络对各所述融合特征图进行温度检测，输出对应的所述电力设备的温度检测结果。
2.根据权利要求1所述的电力设备异常温度检测方法，其特征在于，所述采用所述目标特征提取网络对所述待识别红外图像进行特征强化提取操作，确定多个红外特征图的步骤，包括：
采用注意力激活卷积模块对输入的所述待识别红外图像进行特征提取，输出向量特征融合图；
通过多分支特征融合模块对所述向量特征融合图进行多分支特征融合，生成第一红外特征图；
采用多分支特征融合模块对所述第一红外特征图进行多分支特征融合，生成第二红外特征图；
通过级联的多分支特征融合模块和空间金字塔池化模块对所述第二红外特征图执行多分支特征融合和池化操作，输出第三红外特征图。
3.根据权利要求2所述的电力设备异常温度检测方法，其特征在于，所述多分支特征融合模块包括级联的第一分支融合模块和第二分支融合模块；所述注意力激活卷积模块包括空间到深度层、无卷积步长层、注意力机制层、卷积组和第二分支融合模块；所述采用注意力激活卷积模块对输入的所述待识别红外图像进行特征提取，输出向量特征融合图的步骤，包括：
采用空间到深度层对所述待识别红外图像进行执行下采样和拼接操作，构建采样特征图；
将所述采样特征图输入无卷积步长层进行通道数替换操作，输出中间特征图；
通过注意力机制层对所述中间特征图中的冗余特征进行剔除，生成目标提取特征图；
通过卷积组对所述目标提取特征图进行非线性映射，输出非线性向量特征图；
采用第二分支融合模块对所述非线性向量特征图执行分支融合操作，确定向量特征融合图。
4.根据权利要求2所述的电力设备异常温度检测方法，其特征在于，所述空间金字塔池化模块包括带有FReLU激活函数的卷积模块、卷积组、第一池化层、第二池化层、第三池化层、第四池化层和注意力机制层；所述通过级联的多分支特征融合模块和空间金字塔池化模块对所述第二红外特征图执行特征融合和池化操作，输出第三红外特征图的步骤，包括：
将所述第二红外特征图输入多分支特征融合模块执行多分支特征融合操作，确定红外融合特征图；
通过带有FReLU激活函数的卷积模块和卷积组分别对所述红外融合特征图进行非线性映射，生成对应的第一特征图和第二特征图，所述卷积组包括级联的三个带有FReLU激活函数的卷积模块；
采用注意力机制层对所述第一特征图中的冗余特征进行剔除，输出第三特征图；
将所述第二特征图分别输入第一池化层、第二池化层、第三池化层、第四池化层执行池化操作后，依次经过注意力机制层进行冗余特征剔除操作，生成多个第二子特征图；
将多个所述第二子特征图进行拼接后，并通过带有FReLU激活函数的卷积模块进行非线性映射，生成第四特征图；
对所述第三特征图和所述第四特征图进行堆叠后，并通过带有FReLU激活函数的卷积模块进行非线性映射，输出第三红外特征图。
5.根据权利要求4所述的电力设备异常温度检测方法，其特征在于，所述带有FReLU激活函数的卷积模块包括卷积层、批正则化层和FReLU激活函数层；所述带有FReLU激活函数的卷积模块的具体处理过程为：
将输入带有FReLU激活函数的卷积模块的卷积输入图采用卷积层进行卷积运算，生成空间特征向量图；
采用批正则化层对所述空间特征向量图执行归一化操作后，并通过FReLU激活函数层进行非线性映射，输出卷积输出图；
所述FReLU激活函数具体为：
式中，xc,i,j为卷积输入图中第c个特征通道上二维位置为(i,j)的特征向量；FReLU()为漏斗激活函数；为卷积输入图中第c个特征通道上以二维位置(i,j)为中心的区域；为以二维位置(i,j)为中心的区域在第c个特征通道中的共享参数；out1为第一张量图；out2为第二张量图；out为卷积输出图；cat()为拼接函数；dim为拼接维度；T()为二维空间条件。
6.根据权利要求2所述的电力设备异常温度检测方法，其特征在于，所述目标特征融合网络包括注意力卷积模块、采样卷积模块、特征融合模块和第一分支融合模块；所述采用所述目标特征融合网络对各所述红外特征图进行特征融合，生成对应的融合特征图的步骤，包括：
将所述第一红外特征图和所述第二红外特征图分别输入注意力卷积模块进行特征提取，生成第一输出特征图和第二输出特征图；
通过采样卷积模块对所述第三红外特征图执行特征提取和上采样操作，输出第三输出特征图；
采用特征融合模块对所述第二输出特征图和所述第三输出特征图进行堆叠和分支融合，确定第四输出特征图；
将所述第四输出特征图输入采样卷积模块执行特征提取和上采样操作，生成第一初始特征图；
通过特征融合模块对所述第一初始特征图和所述第一输出特征图进行堆叠和分支融合，确定第一融合特征图；
采用第一分支融合模块对所述第一融合特征图进行分支融合得到第一子图，并将所述第一子图和所述第四输出特征图输入特征融合模块进行进行堆叠和分支融合，输出第二融合特征图；
采用第一分支融合模块对所述第二融合特征图进行分支融合得到第二子图，并将所述第二子图和所述第三红外特征图输入特征融合模块进行堆叠和分支融合，生成第三融合特征图。
7.根据权利要求6所述的电力设备异常温度检测方法，其特征在于，所述第一分支融合模块包括带有FReLU激活函数的卷积模块、最大值池化层和卷积融合模块；所述第一分支融合模块具体处理过程为：
将输入第一分支融合模块的融合输入图分别采用带有FReLU激活函数的卷积模块和最大值池化层执行非线性映射和最大值池化操作，生成对应的第一映射图和最大值池化图；
采用带有FReLU激活函数的卷积模块对所述第一映射图和所述第一池化图进行非线性映射，输出第二映射图和第三映射图；
将所述第二映射图和所述第三映射图进行拼接后，并通过卷积融合模块执行卷积运算和非线性映射操作，确定融合输出图。
8.根据权利要求1所述的电力设备异常温度检测方法，其特征在于，所述目标检测网络包括重参数卷积模块和预测卷积层；所述通过所述目标检测网络对各所述融合特征图进行温度检测，输出对应的所述电力设备的温度检测结果的步骤，包括：
通过重参数卷积模块对各所述融合特征图执行调整特征向量操作，生成对应的调整特征图；
采用预测卷积层对各所述调整特征图进行预测，输出所述电力设备的温度检测结果。
9.根据权利要求1所述的电力设备异常温度检测方法，其特征在于，所述改进的目标检测模型的训练过程，包括：
获取所述电力设备的异常温度红外图像集，采用改进的马氏距离函数和非局部均值滤波算法对所述异常温度红外图像集执行去噪操作，生成去噪图像数据，接着对所述去噪图像数据执行边缘细节强化操作，输出二值图数据；
采用所述二值图数据和所述去噪图像数据构建目标图像集，并对所述目标图像集进行归一化，确定样本集；
采用预设聚类算法对所述样本集进行聚类计算，确定先验框尺寸，所述先验框尺寸用于在模型训练时辅助模型进行目标定位；
采用预设图像数据集对改进的目标检测模型进行预训练，获得预训练模型；
基于所述预训练模型的权重和所述先验框尺寸，采用所述样本集先对所述改进的目标检测模型的目标特征融合模块以及目标检测模块进行局部模型训练，再对所述改进的目标检测模型进行整体模型训练；
所述改进的马氏距离函数具体为：
式中，C为目标协方差矩阵；α为收缩系数；diag(D)为协方差矩阵D对角元素组成的新对角矩阵；μmin为协方差矩阵D中最小特征元素值；μmax为协方差矩阵D中最大特征元素值；D为协方差矩阵；Fm,n为以(i,j)为像素坐标中心的局部区域内坐标为(m,n)的像素；Fi.j为坐标为(i,j)的像素；dm(Fm,n,Fi.j)表示F(m,n)与F(i,j)之间的马氏距离；r表示以(i,j)为像素中心坐标的领域半径。
10.一种电力设备异常温度检测装置，其特征在于，包括：
输入模块，用于获取电力设备的待识别红外图像，将所述待识别红外图像输入至改进的目标检测模型，所述改进的目标检测模型包括目标特征提取网络、目标特征融合网络和目标检测网络；
特征提取模块，用于采用所述目标特征提取网络对所述待识别红外图像进行特征强化提取操作，确定多个红外特征图，所述目标特征提取网络包括级联的注意力激活卷积模块、多分支特征融合模块和空间金字塔池化模块；
特征融合模块，用于将各所述红外特征图分别输入至所述目标特征融合网络进行特征深层融合操作，输出对应的融合特征图；
检测模块，用于通过所述目标检测网络对各所述融合特征图进行温度检测，输出对应的所述电力设备的温度检测结果。
CN202310495015.9A 2023-05-04 2023-05-04 一种电力设备异常温度检测方法及装置 Pending CN116523881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310495015.9A CN116523881A (zh) 2023-05-04 2023-05-04 一种电力设备异常温度检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310495015.9A CN116523881A (zh) 2023-05-04 2023-05-04 一种电力设备异常温度检测方法及装置

Publications (1)

Publication Number Publication Date
CN116523881A true CN116523881A (zh) 2023-08-01

Family

ID=87402617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310495015.9A Pending CN116523881A (zh) 2023-05-04 2023-05-04 一种电力设备异常温度检测方法及装置

Country Status (1)

Country Link
CN (1) CN116523881A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935477A (zh) * 2023-09-13 2023-10-24 中南民族大学 一种基于联合注意力的多分支级联的人脸检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935477A (zh) * 2023-09-13 2023-10-24 中南民族大学 一种基于联合注意力的多分支级联的人脸检测方法及装置
CN116935477B (zh) * 2023-09-13 2023-12-26 中南民族大学 一种基于联合注意力的多分支级联的人脸检测方法及装置

Similar Documents

Publication Publication Date Title
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
CN111091101B (zh) 基于一步法的高精度行人检测方法、系统、装置
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN113569667A (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN116523881A (zh) 一种电力设备异常温度检测方法及装置
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
CN116579616A (zh) 一种基于深度学习的风险识别方法
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及系统
CN116665095A (zh) 一种运动舰船检测方法、系统、存储介质和电子设备
CN114022727B (zh) 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法
Fan et al. Deep convolutional neural networks for road crack detection: Qualitative and quantitative comparisons
CN113012107B (zh) 电网缺陷检测方法及系统
Abdelkader et al. Evaluation of spalling in bridges using machine vision method
KR20230023263A (ko) 딥러닝 기반 하수도 결함 감지 방법 및 그 장치
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
CN116681885B (zh) 输变电设备红外图像目标识别方法及系统
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN108256551A (zh) 一种基于区域卷积神经网络的车辆检测方法
CN117237751A (zh) 一种抓取检测模型的训练方法、识别方法、系统、设备
CN116206222A (zh) 基于轻量化目标检测模型的输电线路故障检测方法及系统
CN116128820A (zh) 一种基于改进yolo模型的销钉状态的识别方法
CN116309270A (zh) 一种基于双目图像的输电线路典型缺陷识别方法
CN115631154A (zh) 一种电力设备状态监控分析方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination