CN116256586A - 电力设备过热检测方法、装置、电子设备与存储介质 - Google Patents

电力设备过热检测方法、装置、电子设备与存储介质 Download PDF

Info

Publication number
CN116256586A
CN116256586A CN202310519164.4A CN202310519164A CN116256586A CN 116256586 A CN116256586 A CN 116256586A CN 202310519164 A CN202310519164 A CN 202310519164A CN 116256586 A CN116256586 A CN 116256586A
Authority
CN
China
Prior art keywords
feature map
feature
processing
stacking
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310519164.4A
Other languages
English (en)
Other versions
CN116256586B (zh
Inventor
吴悦园
林丽霞
陈浩
李华轩
李杏
康钱江
庄凤彩
陈晓儒
王斌
陈智豪
陈婷
吴瑜
陈江
冯文秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202310519164.4A priority Critical patent/CN116256586B/zh
Publication of CN116256586A publication Critical patent/CN116256586A/zh
Application granted granted Critical
Publication of CN116256586B publication Critical patent/CN116256586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0096—Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种电力设备过热检测方法、装置、电子设备与存储介质，涉及电力设备故障检测技术领域，用于解决现有的电力设备过热检测方法中检测效率低下、检测效果不理想等技术问题。方法包括：获取电力设备红外图像并将其输入至变电站电力设备过热检测模型，对电力设备红外图像进行连续空间域视觉识别处理，提取出多个特征图，对多个特征图分别进行深层特征强化处理，输出多个强化特征图，对多个强化特征图进行特征增强融合处理，输出多个增强融合特征图并确定各自对应的检测头，基于各个检测头对电力设备红外图像中电力设备的对应位置进行过热检测，实现了快速、准确地检测出电力设备过热缺陷，提高了检测效率并获得了更好的检测效果。

Description

电力设备过热检测方法、装置、电子设备与存储介质
技术领域
本发明涉及电力设备故障检测技术领域，尤其涉及一种电力设备过热检测方法、装置、电子设备与存储介质。
背景技术
电力的正常供给是保障人们日常工作生活的重要手段之一，在电力工业中，电力设备是构成电网的基本单位，而电力设备的安全稳定运行是保证电网可靠供电的关键。电力设备大致可划分为发电设备、变电站电力设备、输电设备、用电设备这四种类型。其中，变电站电力设备是电力系统中转换电压、接受和调节电压的电力设施，主要包括避雷器、变压器、隔离开关、电缆、电抗器等重要组成部分。在实际应用中，由于变电站电力设备长时间在各种恶劣天气、重负荷下连续运行，从而很容易发生局部过热而引起故障或损坏，甚至导致大范围停电的问题，为了保证变电站电力设备的正常稳定运行，经常检查变电站电力设备的工作状态是非常有必要的，由此可见，对于变电站电力设备异常发热状态进行实时检测已成为近年来的一项重要任务。
目前而言，红外成像仪作为一种非接触、无损检测技术，在变电站电力设备的异常热状态检测中得到了较为广泛应用，在相关技术中，电力运维人员通常需手持红外热成像仪对变电站电力设备进行观察，通过比对红外图像中变电站电力设备表面的温度分布以判断电力设备的某个位置是否存在过热区域。然而采用这种检测方式，不仅对电力运维人员的经验、技术、心理素质都有较高要求，且这种劳动密集型人工检测方式，容易发生危险事故且检测效率低下，同时在通常情况下，不同变电站电力设备的温度分布不一致，收集的红外图像往往存在颜色混乱、对比度低等问题，从而导致检测效果不理想。
发明内容
本发明提供了一种电力设备过热检测方法、装置、电子设备与存储介质，用于解决或部分解决现有的电力设备过热检测方法中检测效率低下、检测效果不理想等技术问题。
本发明提供的一种电力设备过热检测方法，所述方法包括：
获取需要进行过热检测的电力设备红外图像，将所述电力设备红外图像输入至变电站电力设备的过热检测模型，所述过热检测模型至少包括特征提取模块、特征融合模块以及检测模块；
通过所述特征提取模块对所述电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图分别输入至所述特征融合模块进行深层特征强化处理，输出第一强化特征图、第二强化特征图以及第三强化特征图；
将所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图输入至检测模块进行特征增强融合处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，并确定所述第一增强融合特征图、所述第二增强融合特征图以及所述第三增强融合特征图各自对应的检测头；
基于各个所述检测头对所述电力设备红外图像中变电站电力设备的对应位置进行过热检测。
可选地，所述通过所述特征提取模块对所述电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图，包括：
将所述电力设备红外图像输入所述特征提取模块连续进行两次标准卷积处理，获得输入特征图，接着对所述输入特征图进行连续空间域卷积处理，获得输出特征图；
对所述输出特征图先进行最大值池化处理，再进行连续空间域卷积处理，提取出第一特征图；
对所述第一特征图先进行最大值池化处理，再进行连续空间域卷积处理，提取出第二特征图；
对所述第二特征图先进行最大值池化处理，再进行连续空间域卷积处理，接着进行空间池化处理，提取出第三特征图。
可选地，所述特征提取模块至少包括连续空间域卷积子模块，所述对所述输入特征图进行连续空间域卷积处理，获得输出特征图，包括：
将所述输入特征图输入至所述连续空间域卷积子模块进行分组卷积处理，获得临近局部上下文静态特征，接着对所述输入特征图进行降维卷积处理，获得输入值特征矩阵；
将所述临近局部上下文静态特征与所述输入特征图对应的原始特征进行堆叠卷积处理，获得动态多头自注意力特征图；
将所述动态多头自注意力特征图与所述输入值特征矩阵进行相乘，获得全局动态上下文特征信息；
将所述临近局部上下文静态特征与所述全局动态上下文特征信息进行元素相加融合处理，获得输出特征图。
可选地，所述将所述输入特征图输入至所述连续空间域卷积子模块进行分组卷积处理，获得临近局部上下文静态特征，接着对所述输入特征图进行降维卷积处理，获得输入值特征矩阵，包括：
将所述输入特征图输入至所述连续空间域卷积子模块进行3×3分组卷积处理，获得临近局部上下文静态特征；
提取所述输入特征图的原始特征；
对所述输入特征图进行1×1降维卷积处理，获得输入值特征矩阵；
计算公式如下所示：
Figure SMS_1
；
其中，X为输入特征图，Q为临近局部上下文静态特征，K 1 为输入特征图X的原始特征，V为输入值特征矩阵，f k×k 为卷积核大小为k×k的卷积层，W v 为1×1卷积层的权值矩阵。
可选地，所述将所述临近局部上下文静态特征与所述输入特征图对应的原始特征进行堆叠卷积处理，获得动态多头自注意力特征图，包括：
将所述临近局部上下文静态特征与所述输入特征图对应的原始特征先进行堆叠处理，再连续进行两次1×1降维卷积处理，获得动态多头自注意力特征图，计算公式如下：
Figure SMS_2
；
其中，
Figure SMS_3
表示特征的堆叠处理，W 1 与W 2为对应1×1降维卷积处理的权值矩阵；
则所述将所述动态多头自注意力特征图与所述输入值特征矩阵进行相乘，获得全局动态上下文特征信息，包括：
采用公式
Figure SMS_4
计算全局动态上下文特征信息K 2。
可选地，所述将所述第一特征图、所述第二特征图以及所述第三特征图分别输入至所述特征融合模块进行深层特征强化处理，输出第一强化特征图、第二强化特征图以及第三强化特征图，包括：
对所述第三特征图进行标准卷积处理以及深层特征信息提取处理之后，与经过标准卷积处理之后的第二特征图进行堆叠处理，获得第一堆叠特征图，对所述第一堆叠特征图进行连续空间域卷积处理，获得初步强化特征图；
对所述初步强化特征图进行标准卷积处理以及深层特征信息提取处理之后，与经过标准卷积处理之后的第一特征图进行堆叠处理，获得第二堆叠特征图，对所述第二堆叠特征图进行连续空间域卷积处理，输出第一强化特征图；
对所述第一强化特征图进行标准卷积处理之后，与所述初步强化特征图进行堆叠处理，获得第三堆叠特征图，对所述第三堆叠特征图进行连续空间域卷积处理，输出第二强化特征图；
对所述第二强化特征图进行标准卷积处理之后，与所述第三特征图进行堆叠处理，获得第四堆叠特征图，对所述第四堆叠特征图进行连续空间域卷积处理，输出第三强化特征图。
可选地，所述特征融合模块至少包括深层特征信息提取子模块，则所述深层特征信息提取处理的步骤，包括：
将需要进行深层特征提取的输入特征信息输入至深层特征信息提取子模块，对所述输入特征信息进行7×7卷积处理以及批处理归一化处理之后，通过激活函数进行线性修正，获得修正特征信息；
对所述修正特征信息进行全局特征信息提取处理，获得对应的全局特征信息，对所述修正特征信息进行视觉中心特征提取处理，获得对应的视觉中心特征信息，将所述全局特征信息与所述视觉中心特征信息进行串联堆叠，获得输出特征信息；
计算公式如下所示：
Figure SMS_5
；
Figure SMS_6
；
其中，X in 为深层特征信息提取子模块的输入特征信息，f 7×7为卷积核大小为7×7的卷积层，BN(·)表示批处理归一层，σ(·)表示ReLU激活函数，X' in 表示修正特征信息，MLP(X' in )表示全局特征信息，LVC(X' in )表示视觉中心特征信息，cat(·)表示沿特征图通道进行串联堆叠，F EVC 表示为深层特征信息提取子模块的输出特征信息。
可选地，所述检测模块至少包括特征增强融合子模块，所述将所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图输入至检测模块进行特征增强融合处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，包括：
通过所述特征增强融合子模块对所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图进行卷积串联堆叠处理之后，获得第一串联堆叠特征图、第二串联堆叠特征图、第三串联堆叠特征图；
对所述第一串联堆叠特征图、所述第二串联堆叠特征图、所述第三串联堆叠特征图进行上下采样串联堆叠处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图。
可选地，所述通过所述特征增强融合子模块对所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图进行卷积串联堆叠处理之后，获得第一串联堆叠特征图、第二串联堆叠特征图、第三串联堆叠特征图，包括：
通过所述特征增强融合子模块对所述第三强化特征图进行1×1降维卷积处理，获得第一串联堆叠特征图；
对所述第一串联堆叠特征图的特征信息进行上采样处理之后与所述第二强化特征图进行串联堆叠处理，获得第二串联堆叠特征图；
对所述第二串联堆叠特征图的特征信息进行上采样处理之后与所述第一强化特征图进行串联堆叠处理，获得第三串联堆叠特征图；
计算公式如下所示：
Figure SMS_7
；
其中，Y 1为第一强化特征图，Y 2为第二强化特征图，Y 3为第三强化特征图，P 1为第三串联堆叠特征图，P 2为第二串联堆叠特征图，P 3为第一串联堆叠特征图，f 1×1表示卷积核大小为1×1的卷积层，U 2为上采样，cat(·)表示沿特征图通道进行串联堆叠。
可选地，所述对所述第一串联堆叠特征图、所述第二串联堆叠特征图、所述第三串联堆叠特征图进行上下采样串联堆叠处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，包括：
对所述第二串联堆叠特征图进行上采样处理之后，与所述第三串联堆叠特征图进行串联堆叠处理，输出第一增强融合特征图；
将进行下采样处理后的第三串联堆叠特征图，与进行上采样处理后的第一串联堆叠特征图进行串联堆叠处理，输出第二增强融合特征图；
对所述第二串联堆叠特征图进行下采样处理之后，与所述第一串联堆叠特征图进行串联堆叠处理，输出第三增强融合特征图；
计算公式如下所示：
Figure SMS_8
；
其中，H 1为第一增强融合特征图，H 2为第二增强融合特征图，H 3为第三增强融合特征图，D 2为下采样。
可选地，所述方法还包括：
构建变电站电力设备的过热检测模型，获取经过多组合数据增广处理的红外图像数据集，并采用所述过热检测模型对所述红外图像数据集进行模型训练以及图像检测测试；
根据图像检测测试结果计算过热检测数据，依据所述过热检测数据对所述过热检测模型进行评价。
可选地，所述采用所述过热检测模型对所述红外图像数据集进行模型训练以及图像检测测试，包括：
将所述红外图像数据集按预设比例划分为红外图像训练集以及红外图像测试集；
通过所述红外图像训练集对所述过热检测模型进行训练，并将所述红外图像测试集输入至训练后的过热检测模型进行图像检测测试。
可选地，所述通过所述红外图像训练集对所述过热检测模型进行训练，包括：
采用K均值聚类算法对所述红外图像训练集进行聚类计算，确定先验框尺寸，所述先验框尺寸用于在模型训练时辅助模型进行目标定位；
采用预设图像数据集对所述过热检测模型进行预训练处理，获得预训练模型，并基于所述先验框尺寸以及所述预训练模型的权重，先对所述过热检测模型的特征融合模块以及检测模块进行局部模型训练，再对所述过热检测模型进行整体模型训练。
可选地，在所述获取经过多组合数据增广处理的红外图像数据集之前，所述方法还包括：
获取变电站电力设备的巡检红外图像集，从所述巡检红外图像集中筛选出多张过热红外图像样本，并对所述多张过热红外图像样本进行热缺陷标记处理，生成对应的热缺陷标签文件集；
采用所述多张过热红外图像样本进行多组合数据增广处理，获得多张增广红外图像，并对所述多张增广红外图像进行标签创建操作，生成对应的图像变换标签文件集；
将所述多张过热红外图像样本、所述热缺陷标签文件集、所述多张增广红外图像以及所述图像变换标签文件集作为所述变电站电力设备的红外图像数据集。
可选地，所述采用所述多张过热红外图像样本进行多组合数据增广处理，获得多张增广红外图像，包括：
步骤S1：每次从所述多张过热红外图像样本中随机选取预设数量的目标红外图像样本，对每张所述目标红外图像样本分别进行图像变换处理，获得各自对应的变换图像样本；
步骤S2：将各个所述变换图像样本进行图像拼接处理，获得拼接后的增广红外图像；
步骤S3：重复多次由步骤S1至S2的处理过程，直至获得多张增广红外图像。
可选地，所述对每张所述目标红外图像样本分别进行图像变换处理，获得各自对应的变换图像样本，包括：
对每张所述目标红外图像样本均采取0.5的概率任意选择旋转、裁剪、镜像翻转中的处理方式进行图像变换，获得各自对应的变换图像样本。
本发明还提供了一种电力设备过热检测装置，所述装置包括：
电力设备红外图像获取模块，用于获取需要进行过热检测的电力设备红外图像，将所述电力设备红外图像输入至变电站电力设备的过热检测模型，所述过热检测模型至少包括特征提取模块、特征融合模块以及检测模块；
连续空间域视觉识别处理模块，用于通过所述特征提取模块对所述电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图；
深层特征强化处理模块，用于将所述第一特征图、所述第二特征图以及所述第三特征图分别输入至所述特征融合模块进行深层特征强化处理，输出第一强化特征图、第二强化特征图以及第三强化特征图；
特征增强融合处理模块，用于将所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图输入至检测模块进行特征增强融合处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，并确定所述第一增强融合特征图、所述第二增强融合特征图以及所述第三增强融合特征图各自对应的检测头；
过热检测模块，用于基于各个所述检测头对所述电力设备红外图像中变电站电力设备的对应位置进行过热检测。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的电力设备过热检测方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的电力设备过热检测方法。
从以上技术方案可以看出，本发明具有以下优点：提供了一种通过变电站电力设备过热检测模型对电力设备进行过热检测的方法，其中，在过热检测处理过程中，通过采用新型连续空间域卷积子模块替代原有特征提取网络中的多模块融合算法模块，提高了过热检测模型对复杂红外图像中电力设备的视觉注意力，同时采用深层特征信息提取子模块改进特征融合网络，提高了模型电力设备小目标检测能力，最后通过在检测网络中添加特征增强融合子模块对输出的强化特征图进行特征增强融合，以增强特征表达能力与丰富度，通过采用本发明实施例所提供的变电站电力设备过热检测模型，并结合电力设备过热检测方法，实现了快速、准确地检测出电力设备过热缺陷，辅助电力运维人员智能化、自动化辨识电力设备过热故障，提高了检测效率并获得了更好的检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种变电站电力设备的过热检测模型的结构示意图；
图2为本发明实施例提供的一种电力设备过热检测方法的步骤流程图；
图3为本发明实施例提供的一种检测模块的特征增强融合子模块中进行特征处理的流程示意图；
图4为本发明实施例提供的一种采用多组合数据增广处理方法构建红外图像数据集的步骤流程图；
图5为本发明实施例提供的一种采用多组合数据增广处理之后获得增广红外图像的效果示意图；
图6为本发明实施例提供的一种变电站电力设备的过热检测模型构建及训练过程的步骤流程图；
图7为本发明实施例提供的一种采用过热检测模型进行图像检测测试的效果示意图；
图8为本发明实施例提供的一种电力设备过热检测装置的结构框图。
具体实施方式
本发明实施例提供了一种电力设备过热检测方法、装置、电子设备与存储介质，用于解决或部分解决现有的电力设备过热检测方法中检测效率低下、检测效果不理想等技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
作为一种示例，在电力工业中，电力设备是构成电网的基本单位，电力设备的安全稳定运行是保证电网可靠供电的关键。其中，变电站电力设备由于长时间在各种恶劣天气、重负荷下连续运行，很容易发生局部过热，从而引起故障或损坏，甚至导致大范围停电的问题。因此，经常检查变电站电力设备的工作状态是非常重要的。当前，红外成像仪作为一种非接触、无损检测技术，在变电站电力设备的异常热状态检测中得到了较为广泛应用，在相关技术中，电力运维人员通常需手持红外热成像仪对变电站电力设备进行观察，通过比对红外图像中变电站电力设备表面的温度分布以判断电力设备的某个位置是否存在过热区域。然而采用这种检测方式，不仅对电力运维人员的经验、技术、心理素质都有较高要求，且这种劳动密集型人工检测方式，容易发生危险事故且检测效率低下，同时在通常情况下，不同变电站电力设备的温度分布不一致，收集的红外图像往往存在颜色混乱、对比度低等问题，从而导致检测效果不理想。
因此，本发明实施例的核心发明点之一在于：对YOLOv7-tiny（You Only LookOnce v7-tiny，一种当前先进的深度学习目标检测算法）轻量化目标检测模型进行改进，构建一种变电站电力设备的过热检测模型PEODNet（Power Equipment Overheat DetectionNetwork，电力设备过热检测网络），以及提供一种基于过热检测模型PEODNet对变电站电力设备进行过热检测的方法，以实现对于变电站电力设备的快速过热检测。其中，通过采用新型连续空间域卷积子模块CoT_C3（Contextual Transformer_Concentrated-Comprehensive Convolution，一种实现连续空间域卷积操作的目标跟踪算法）替代YOLOv7-tiny特征提取网络中的MCB（Multi-modal Compact Bilinear Pooling，多模态紧凑双线性池/一种多模态融合算法）模块，以提高过热检测模型对复杂红外图像中电力设备的视觉注意力，同时采用深层特征信息提取子模块ECVBlock（一种用于提高小目标检测能力的算法模块）改进YOLOv7-tiny的特征融合网络，以提高模型电力设备小目标检测能力，最后在YOLOv7-tiny的检测网络中添加特征增强融合子模块FEFN（Feature EnhancementFusion Network，特征增强融合网络）对输出的强化特征图进行特征增强融合，以增强特征表达能力与丰富度，通过采用本发明实施例所提供的变电站电力设备过热检测模型，并结合电力设备过热检测方法，实现快速、准确地检测出电力设备过热缺陷，辅助电力运维人员智能化、自动化辨识电力设备过热故障，提高检测效率并获得更好的检测效果。
参照图1，示出了本发明实施例提供的一种变电站电力设备的过热检测模型的结构示意图。
由图中可以看出，本发明实施例所提供的变电站电力设备过热检测模型主要可以分为三个部分，分别是特征提取模块101（即神经网络模型中的Backbone主干提取网络）、特征融合模块102（即神经网络模型中的Neck特征融合网络）以及检测模块103（即神经网络模型中的Head检测网络）。
具体地，特征提取模块101主要用于对输入的电力设备红外图像进行特征提取，主要可以包括标准卷积子模块CBL（Conv - Batch Normalization - LeakReLU，卷积层 -批量归一化BN层-激活函数层），连续空间域卷积子模块CoT_C3、最大值池化子模块MP（MaxPooling，最大值池化）、空间金字塔池化子模块SPPCSPC（YOLOv7中使用的SPP（SpatialPyramid Pooling，空间金字塔池化）结构 ）。
其中，标准卷积子模块CBL主要用于对输入图像进行标准卷积处理，包括在卷积层进行卷积操作、在批量归一化BN层进行批量归一化操作以及在激活函数层进行线性修正操作，获得输入特征图。
连续空间域卷积子模块CoT_C3作为一种可以用于视觉识别的轻量化语义分割网络，主要用于对特征图进行连续空间域卷积操作，增强视觉注意力。
最大值池化子模块MP则可以对特征图进行最大值池化处理，进一步实现特征选择以及数据过滤。
空间金字塔池化子模块SPPCSPC中也可以包括标准卷积子模块CBL、最大值池化子模块MP，以及堆叠+标准卷积部分Concat+CBL，其中，对于最大值池化子模块MP，其最大值池化应用于大小为1×1、5×5、9×9、13×13的卷积核，而堆叠+标准卷积部分Concat+CBL则用于进行特征堆叠以及标准卷积处理，通过空间金字塔池化子模块SPPCSPC的处理，可以避免由于图像处理操作所造成的图像失真等问题，同时可以解决卷积神经网络提取到图片重复特征的问题。
特征提取模块101中的特征提取过程将在下面内容中结合方法实施例进行说明，具体参见下面方法实施例的相关说明部分内容即可。
特征融合模块102主要用于对经过连续空间域卷积子模块CoT_C3处理或者经过空间金字塔池化子模块SPPCSPC处理所输出的特征图进行特征融合，输出对应的强化特征图，其中，特征融合模块102具体可以包括标准卷积子模块CBL、堆叠+连续空间域卷积部分Concat+CoT_C3、深层特征信息提取子模块ECVBlock。
由于前面内容对标准卷积子模块CBL进行了介绍，此处不再赘述。堆叠+连续空间域卷积部分Concat+CoT_C3则用于先对特征图进行堆叠操作，再进行连续空间域卷积操作，以增强特征融合的视觉注意能力。
深层特征信息提取子模块ECVBlock可以用于对特征图的深层特征信息进行处理以及上采样，其原理为利用LVC（Label Verify Correct，一种小样本目标检测方法）模块与轻量级MLP（Multi-Layer Perception，多层感知器）模块提取输入特征信息的视觉中心特征信息和全局特征信息，以提高变电站电力设备的过热检测模型的小目标检测能力。
特征融合模块102中的特征融合过程将在下面内容中结合方法实施例进行说明，具体参见下面方法实施例的相关说明部分内容即可。
检测模块103具体可以包括特征增强融合子模块FEFN，以及检测头输出子模块，检测模块103主要用于对经特征融合模块102处理后输出的强化特征图进行特征增强融合，增强特征表达能力与丰富度，以及输出不同尺寸大小的检测头（Head），用于检测并确定变电站电力设备的红外图像中目标过热位置。
检测模块103中的检测过程将在下面内容中结合方法实施例进行说明，具体参见下面方法实施例的相关说明部分内容即可。
在本发明实施例中，通过对YOLOv7-tiny轻量化目标检测模型进行了改进，构建一种变电站电力设备的过热检测模型PEODNet，采用该过热检测模型PEODNet并结合电力设备进过热检测方法，可以实现对于变电站电力设备的快速过热检测。其中，本发明实施例中通过采用新型连续空间域卷积子模块CoT_C3替代YOLOv7-tiny特征提取网络中的MCB模块，可以提高过热检测模型对复杂红外图像中电力设备的视觉注意力，同时采用深层特征信息提取子模块ECVBlock改进YOLOv7-tiny的特征融合网络，可以提高模型电力设备小目标检测能力，最后在YOLOv7-tiny的检测网络中添加特征增强融合子模块FEFN对输出的强化特征图进行特征增强融合，可以增强特征表达能力与丰富度，通过采用本发明实施例所提供的变电站电力设备过热检测模型，并结合电力设备过热检测方法，实现了快速、准确地检测出电力设备过热缺陷，辅助电力运维人员智能化、自动化辨识电力设备过热故障，提高了检测效率并可以获得更好的检测效果。
为使本发明公开更充分，下面将通过结合上述实施例中所提供的变电站电力设备过热检测模型，对变电站的电力设备过热检测方法进行说明。
参照图2，示出了本发明实施例提供的一种电力设备过热检测方法的步骤流程图，具体可以包括以下步骤：
步骤201，获取需要进行过热检测的电力设备红外图像，将所述电力设备红外图像输入至变电站电力设备的过热检测模型，所述过热检测模型至少包括特征提取模块、特征融合模块以及检测模块；
具体地，当需要对电力设备进行过热检测时，可以将对应的电力设备红外图像输入至预先训练好的过热检测模型中进行处理，由前述内容可知，本发明实施例所提供的变电站电力设备过热检测模型中至少可以包括特征提取模块、特征融合模块以及检测模块，因前面实施例对各个模块进行了较为详尽的说明，因此不再赘述。
步骤202，通过所述特征提取模块对所述电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图；
为方便进行说明，示例性地，假设输入的电力设备红外图像大小为800×600像素，通过特征提取模块分别提取出尺寸大小为80×80×256的第一特征图F 1、尺寸大小为40×40×512的第二特征图F 2以及尺寸大小为20×20×1024的第三特征图F 3，从而通过特征提取模块提取出不同尺寸大小的特征图，以便后续进行特征融合等处理。
进一步地，通过特征提取模块对电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图的步骤，可以为：
首先将电力设备红外图像输入特征提取模块，在标准卷积子模块CBL中连续进行两次标准卷积处理，获得输入特征图X，接着在连续空间域卷积子模块CoT_C3中对输入特征图X进行连续空间域卷积处理，获得输出特征图Y；接着在最大值池化子模块MP中对输出特征图Y先进行最大值池化处理后，在连续空间域卷积子模块CoT_C3进行连续空间域卷积处理，提取出尺寸大小为80×80×256第一特征图F 1；接着在最大值池化子模块MP中对第一特征图F 1先进行最大值池化处理后，在连续空间域卷积子模块CoT_C3进行连续空间域卷积处理，提取出尺寸大小为40×40×512的第二特征图F 2；然后在最大值池化子模块MP中对第二特征图F 2先进行最大值池化处理后，在连续空间域卷积子模块CoT_C3进行连续空间域卷积处理，接着在空间金字塔池化子模块SPPCSPC中进行空间池化处理，提取出尺寸大小为20×20×1024的第三特征图F 3。
由前述内容可知，特征提取模块中至少可以包括连续空间域卷积子模块CoT_C3，则对输入特征图X进行连续空间域卷积处理，获得输出特征图Y的步骤，可以为：首先将输入特征图X输入至连续空间域卷积子模块CoT_C3进行分组卷积处理，获得临近局部上下文静态特征Q，接着对输入特征图X进行降维卷积处理，获得输入值特征矩阵V；接着将临近局部上下文静态特征Q与输入特征图X对应的原始特征K 1进行堆叠卷积处理，获得动态多头自注意力特征图A；然后将动态多头自注意力特征图A与输入值特征矩阵V进行相乘，获得全局动态上下文特征信息K 2；接着将临近局部上下文静态特征Q与全局动态上下文特征信息K 2进行元素相加融合处理，获得输出特征图Y。
具体地，假设输入特征图X大小为（H×W×C），在连续空间域卷积子模块CoT_C3进行数据处理时，可以将输入特征图X分为3个特征处理分支，其中，分支1中采用3×3的分组卷积进行处理获得临近局部上下文静态特征Q，分支2中则不进行任何处理，依然保留输入特征图X的原始特征K 1，分支3则采用1×1的降维卷积处理获得输入值特征矩阵V。
则将输入特征图X输入至连续空间域卷积子模块CoT_C3进行分组卷积处理，获得临近局部上下文静态特征Q，接着对输入特征图X进行降维卷积处理，获得输入值特征矩阵V的步骤，可以包括：将输入特征图X输入至连续空间域卷积子模块CoT_C3进行3×3分组卷积处理，获得临近局部上下文静态特征Q；提取输入特征图X的原始特征K 1；对输入特征图X进行1×1降维卷积处理，获得输入值特征矩阵V。
具体计算公式如下所示：
Figure SMS_9
；
其中，f k×k 为卷积核大小为k×k的卷积层，W v 为1×1卷积层的权值矩阵。
进一步地，将临近局部上下文静态特征Q与输入特征图X对应的原始特征K 1进行堆叠卷积处理，获得动态多头自注意力特征图A，可以包括：将临近局部上下文静态特征Q与输入特征图X对应的原始特征K 1先进行堆叠处理，再连续进行两次1×1降维卷积处理，获得动态多头自注意力特征图A，具体计算公式如下：
Figure SMS_10
；
其中，
Figure SMS_11
表示特征的堆叠处理，W 1 与W 2为对应1×1降维卷积处理的权值矩阵。
则将动态多头自注意力特征图A与输入值特征矩阵V进行相乘，获得全局动态上下文特征信息K 2的步骤，可以为采用公式
Figure SMS_12
计算全局动态上下文特征信息K 2。
同时在空间金字塔池化子模块SPPCSPC中，结合前面实施例中变电站电力设备过热检测模型的结构示意图，对于输入该子模块的特征图，也可以先采用2个特征处理分支进行分别处理，接着进行堆叠处理，获得对应输出的特征图，具体地，在分支1中，可以将输入的特征图在标准卷积子模块CBL中进行标准卷积处理，在分支2中，可以先将输入的特征图在标准卷积子模块CBL中进行标准卷积处理，获得分支1的处理特征图，然后在最大值池化子模块MP中进行最大值池化处理，其中，最大值池化处理对应的卷积核大小为1×1、5×5、9×9、13×13，然后再次在标准卷积子模块CBL中进行标准卷积处理，输出分支2的处理特征图，接着在堆叠+标准卷积Concat+CBL部分将分支1与分支2的处理特征图进行堆叠处理以及标准卷积处理，最终获得对应的特征图，即特征提取模块中输出的第三特征图F 3，在这个过程中，通过空间金字塔池化子模块SPPCSPC的处理，可以有效避免由于图像处理操作（如对图像区域裁剪、缩放等操作）所造成的图像失真等问题，同时可以解决卷积神经网络提取到图片重复特征的问题，大大提高了产生候选框的速度，且节省了计算成本。
在本实施例中，通过采用新型的连续空间域卷积子模块CoT_C3替代模型的特征提取网络中MCB模块，并在特征提取模块中采用各个处理子模块进行对应的特征提取处理，输出不同尺寸大小的特征图，可以在后续处理中提高过热检测模型对复杂红外图像中电力设备的视觉注意力。
步骤203，将所述第一特征图、所述第二特征图以及所述第三特征图分别输入至所述特征融合模块进行深层特征强化处理，输出第一强化特征图、第二强化特征图以及第三强化特征图；
示例性地，假设将第一特征图F 1、第二特征图F 2以及第三特征图F 3分别输入至特征融合模块进行深层特征强化处理之后，输出第一强化特征图Y 1、第二强化特征图Y 2以及第三强化特征图Y 3。
由前述内容可知，特征融合模块至少可以包括深层特征信息提取子模块ECVBlock，从而在具体的实现中，将第一特征图F 1、第二特征图F 2以及第三特征图F 3分别输入至特征融合模块进行深层特征强化处理，输出第一强化特征图Y 1、第二强化特征图Y 2以及第三强化特征图Y 3的步骤，可以为：
在标准卷积子模块CBL对第三特征图F 3进行标准卷积处理以及在深层特征信息提取子模块ECVBlock进行深层特征信息提取处理之后，与在堆叠+连续空间域卷积部分Concat+CoT_C3部分经过标准卷积处理之后的第二特征图F 2进行堆叠处理，获得第一堆叠特征图F'1，并对该第一堆叠特征图F'1进行连续空间域卷积处理，获得初步强化特征图F's；
在标准卷积子模块CBL对初步强化特征图F's进行标准卷积处理，接着在深层特征信息提取子模块ECVBlock进行深层特征信息提取处理之后，与在标准卷积子模块CBL经过标准卷积处理之后的第一特征图F 1进行堆叠处理，获得第二堆叠特征图F'2，并在连续空间域卷积子模块CoT_C3对第二堆叠特征图F'2进行连续空间域卷积处理，输出第一强化特征图Y 1；
接着在标准卷积子模块CBL对第一强化特征图Y 1进行标准卷积处理之后，与初步强化特征图F's在堆叠+连续空间域卷积部分Concat+CoT_C3部分进行堆叠处理，获得第三堆叠特征图F'3，接着对第三堆叠特征图F'3进行连续空间域卷积处理，输出第二强化特征图Y 2；
然后在标准卷积子模块CBL对第二强化特征图Y 2进行标准卷积处理之后，与第三特征图F 3在堆叠+连续空间域卷积部分Concat+CoT_C3部分进行堆叠处理，获得第四堆叠特征图F'4，接着对第四堆叠特征图F'4进行连续空间域卷积处理，输出第三强化特征图Y 3，从而通过特征融合模块对特征提取模块输出的各个特征图进行相应处理，可以输出对应的强化特征图。
进一步地，假设将需要在深层特征信息提取子模块ECVBlock进行深层特征信息提取处理的特征信息作为输入特征信息X in ，则上述深层特征信息提取处理的步骤，具体可以包括：
首先将需要进行深层特征提取的输入特征信息X in 输入至深层特征信息提取子模块ECVBlock，对输入特征信息X in 进行7×7卷积处理以及批处理归一化处理之后，通过ReLU激活函数进行线性修正，获得修正特征信息X' in ；
接着在MLP模块对修正特征信息X' in 进行全局特征信息提取处理，获得对应的全局特征信息MLP(X' in )，在LVC模块对修正特征信息X' in 进行视觉中心特征提取处理，获得对应的视觉中心特征信息LVC(X' in )，将全局特征信息MLP(X' in )与视觉中心特征信息LVC(X' in )进行串联堆叠，获得输出特征信息F EVC 。
具体计算公式如下所示：
Figure SMS_13
；
Figure SMS_14
；
其中，X in 为深层特征信息提取子模块的输入特征信息，f 7×7为卷积核大小为7×7的卷积层，BN(·)表示批处理归一层，σ(·)表示ReLU激活函数，X' in 表示修正特征信息，MLP(X' in )表示全局特征信息，LVC(X' in )表示视觉中心特征信息，cat(·)表示沿特征图通道进行串联堆叠，F EVC 表示为深层特征信息提取子模块的输出特征信息。
从而通过采用深层特征信息提取子模块ECVBlock改进YOLOv7-tiny的特征融合网络，提高了模型电力设备小目标检测能力。
步骤204，将所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图输入至检测模块进行特征增强融合处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，并确定所述第一增强融合特征图、所述第二增强融合特征图以及所述第三增强融合特征图各自对应的检测头；
在具体的实现中，可以将第一强化特征图Y 1、第二强化特征图Y 2以及第三强化特征图Y 3输入至检测模块进行特征增强融合处理，输出第一增强融合特征图H 1、第二增强融合特征图H 2以及第三增强融合特征图H 3，并确定第一增强融合特征图H 1、第二增强融合特征图H 2以及第三增强融合特征图H 3各自对应的检测头（Head），用于检测并确定变电站电力设备的红外图像中目标过热位置。
由前面实施例中对过热检测模型的介绍可知，检测模块至少可以包括特征增强融合子模块FEFN，为更好地进行说明，参照图3，示出了本发明实施例提供的一种检测模块的特征增强融合子模块FEFN中进行特征处理的流程示意图，则将第一强化特征图Y 1、第二强化特征图Y 2以及第三强化特征图Y 3输入至检测模块进行特征增强融合处理，输出第一增强融合特征图H 1、第二增强融合特征图H 2以及第三增强融合特征图H 3的步骤，具体可以包括：
首先通过特征增强融合子模块FEFN对第一强化特征图Y 1、第二强化特征图Y 2以及第三强化特征图Y 3进行卷积串联堆叠处理之后，获得第一串联堆叠特征图P 3、第二串联堆叠特征图P 2、第三串联堆叠特征图P 1；
接着对第一串联堆叠特征图P 3、第二串联堆叠特征图P 2、第三串联堆叠特征图P 1进行上下采样串联堆叠处理，输出第一增强融合特征图H 1、第二增强融合特征图H 2以及第三增强融合特征图H 3。
进一步地，通过特征增强融合子模块FEFN对第一强化特征图Y 1、第二强化特征图Y 2以及第三强化特征图Y 3进行卷积串联堆叠处理之后，获得第一串联堆叠特征图P 3、第二串联堆叠特征图P 2、第三串联堆叠特征图P 1的步骤，具体可以为：
首先通过特征增强融合子模块FEFN对第三强化特征图Y 3进行1×1降维卷积处理，获得第一串联堆叠特征图P 3；
接着对第一串联堆叠特征图P 3的特征信息进行上采样处理之后与第二强化特征图Y 2进行串联堆叠处理，获得第二串联堆叠特征图P 2；
然后对第二串联堆叠特征图P 2的特征信息进行上采样处理之后与第一强化特征图Y 1进行串联堆叠处理，获得第三串联堆叠特征图P 1。
具体计算公式如下所示：
Figure SMS_15
；
其中，Y 1为第一强化特征图，Y 2为第二强化特征图，Y 3为第三强化特征图，P 1为第三串联堆叠特征图，P 2为第二串联堆叠特征图，P 3为第一串联堆叠特征图，f 1×1表示卷积核大小为1×1的卷积层，U 2为上采样，cat(·)表示沿特征图通道进行串联堆叠。
再进一步地，对第一串联堆叠特征图P 3、第二串联堆叠特征图P 2、第三串联堆叠特征图P 1进行上下采样串联堆叠处理，输出第一增强融合特征图H 1、第二增强融合特征图H 2以及第三增强融合特征图H 3的步骤，可以包括：
对第二串联堆叠特征图P 2进行上采样处理之后，与第三串联堆叠特征图P 1进行串联堆叠处理，输出第一增强融合特征图H 1；
将进行下采样处理后的第三串联堆叠特征图P 1，与进行上采样处理后的第一串联堆叠特征图P 3进行串联堆叠处理，输出第二增强融合特征图H 2；
对第二串联堆叠特征图P 2进行下采样处理之后，与第一串联堆叠特征图P 3进行串联堆叠处理，输出第三增强融合特征图H 3。
计算公式如下所示：
Figure SMS_16
；
其中，H 1为第一增强融合特征图，H 2为第二增强融合特征图，H 3为第三增强融合特征图，D 2为下采样。
特别地，图中由串联堆叠特征图至增强融合特征图的处理过程，实线可以表示对串联堆叠特征图进行了上采样或者下采样之后再进行下一步操作，虚线可以表示为未对串联堆叠特征图进行上采样或者下采样处理。
在输出第一增强融合特征图H 1、第二增强融合特征图H 2以及第三增强融合特征图H 3之后，也即可以输出第一增强融合特征图H 1对应的尺寸为80×80×18的检测头（Head）、第二增强融合特征图H 2对应的尺寸为40×40×18的检测头（Head），以及第三增强融合特征图H 3对应的尺寸为20×20×18的检测头（Head），从而通过检测模块对经特征融合模块处理后输出的强化特征图进行特征增强融合，增强了特征表达能力与丰富度，以及可以输出不同尺寸大小的检测头（Head），用于检测并确定变电站电力设备的红外图像中目标过热位置。
步骤205，基于各个所述检测头对所述电力设备红外图像中变电站电力设备的对应位置进行过热检测。
当通过检测模块处理输出不同尺寸的检测头之后，可以基于各个检测头对电力设备红外图像中变电站电力设备的对应位置进行过热检测，实现快速确定变电站电力设备的红外图像中目标过热位置。
在本发明实施例中，在过热检测处理过程中，通过采用新型连续空间域卷积子模块替代原有特征提取网络中的多模块融合算法模块，提高了过热检测模型对复杂红外图像中电力设备的视觉注意力，同时采用深层特征信息提取子模块改进特征融合网络，提高了模型电力设备小目标检测能力，最后通过在检测网络中添加特征增强融合子模块对输出的强化特征图进行特征增强融合，以增强特征表达能力与丰富度，通过采用本发明实施例所提供的变电站电力设备过热检测模型，并结合电力设备过热检测方法，实现了快速、准确地检测出电力设备过热缺陷，辅助电力运维人员智能化、自动化辨识电力设备过热故障，提高了检测效率并获得了更好的检测效果。
作为一种可选实施例，在采用上述实施例所提供的过热检测模型以及过热检测方法对变电站电力设备进行过热检测前，可以基于某变电站电力运维人员采用红外相机收集的巡检红外图像集，构建红外图像数据集，用于变电站电力设备的过热检测模型的训练以及图像检测测试，对过热检测模型进行模型评价以及优化。
示例性地，参照图4，示出了本发明实施例提供的一种采用多组合数据增广处理方法构建红外图像数据集的步骤流程图，具体可以包括以下步骤：
步骤401，获取变电站电力设备的巡检红外图像集，从所述巡检红外图像集中筛选出多张过热红外图像样本，并对所述多张过热红外图像样本进行热缺陷标记处理，生成对应的热缺陷标签文件集；
在具体的实现中，可以根据某变电站店里运维人员采用红外相机收集的巡检红外图像集，假设通过人工筛选后获得含过热缺陷的过热红外图像样本462张，并采用LabelImg（一种图像标注工具）标签工具进行标签制作，将过热红外图像样本中的过热缺陷标记为“abnormal”（异常），并自动生成.xml标签文件，构成与多张过热红外图像样本对应的热缺陷标签文件集。
步骤402，采用所述多张过热红外图像样本进行多组合数据增广处理，获得多张增广红外图像，并对所述多张增广红外图像进行标签创建操作，生成对应的图像变换标签文件集；
接着可以将筛选出来的462张过热红外图像样本采用多组合Mosaic（马赛克）数据增强方法进行多组合数据增广处理，获得多张增广红外图像，并利用CreateXML（一种xml文件创建工具）创建变换图像后的.xml标签文件，对多张增广红外图像进行标签创建操作，生成对应的图像变换标签文件集。
具体地，采用多张过热红外图像样本进行多组合数据增广处理，获得多张增广红外图像，具体可以为如下步骤：
步骤S1：每次从462张过热红外图像样本中随机选取12张目标红外图像样本，对每张目标红外图像样本分别进行图像变换处理，获得各自对应的变换图像样本；
作为一种示例，对每张目标红外图像样本分别进行图像变换处理，获得各自对应的变换图像样本，可以为：对每张目标红外图像样本均采取0.5的概率任意选择旋转、裁剪、镜像翻转中的处理方式进行图像变换，获得各自对应的变换图像样本，其中，旋转角度范围为[0,360]，宽高裁剪因子可以为0.6。
步骤S2：将各个变换图像样本进行图像拼接处理，获得拼接后的增广红外图像；
根据Mosaic数据增广原理，将12张随机变换后的变换图像样本拼接为一幅增广红外图像，拼接后的增广红外图像大小可以设定为800×600像素。
示例性地，参照图5，示出了本发明实施例提供的一种采用多组合数据增广处理之后获得增广红外图像的效果示意图，可以看出，一张增广红外图像中可以包括12张过热红外图像样本的特征，相较于原始Mosaic数据增强采用的4张输入图像进行拼接，本发明实施例中采用了12张图像进行拼接，显然能够使得电力设备目标更小，并且在拼接之前采用了多种图像处理方式进行随机处理，更加符合实际应用场景中小目标电力设备图像。
步骤S3：重复多次由步骤S1至S2的处理过程，直至获得多张增广红外图像。
步骤403，将所述多张过热红外图像样本、所述热缺陷标签文件集、所述多张增广红外图像以及所述图像变换标签文件集作为所述变电站电力设备的红外图像数据集。
最终，将基于多组合Mosaic数据增强方法获得的多张增广红外图像以及对应的图像变换标签文件集，与462张过热红外图像样本以及对应的热缺陷标签文件集，共同构建变电站电力设备过热检测模型进行训练测试所需的红外图像数据集，通过本示例中的处理方法，共可以获得1906张图像作为变电站电力设备的红外图像数据集。
从而针对变电站电力设备类型、尺寸大小多样化等的问题，本发明实施例中提出了一种多组合Mosaic数据增强方法，从数据集本身出发，实现了小目标样本数量的增广，丰富了小目标样本数量，使得训练的过热检测模型具有良好的小目标检测性能。
作为一种可选实施例，可以构建用于对变电站电力设备进行过热检测的过热检测模型，并对该模型进行训练以及测试，以在后续电力设备运维过程中，用于对需要检测的电力设备红外图像进行过热检测，以通过检测结果及时发现或者预测电力设备的过热故障，及时进行维护，避免造成不必要的损失，由于前面实施例中对变电站电力设备的过热检测模型以及对应的过热检测方法进行了较为详细的描述，因此，过热检测模型的相关结构以及处理流程可以参照上面实施例中相关内容，此处不再赘述。
具体地，参照图6，示出了本发明实施例提供的一种变电站电力设备的过热检测模型构建及训练过程的步骤流程图，该过程可以包括以下步骤：
步骤601，构建变电站电力设备的过热检测模型，获取经过多组合数据增广处理的红外图像数据集，并采用所述过热检测模型对所述红外图像数据集进行模型训练以及图像检测测试；
在具体的实现中，采用过热检测模型对红外图像数据集进行模型训练以及图像检测测试，可以包括：首先将红外图像数据集按预设比例划分为红外图像训练集以及红外图像测试集（如将红外训练集与红外测试集的比例划分为9:1）；接着通过红外图像训练集对过热检测模型进行训练，并将红外图像测试集输入至训练后的过热检测模型进行图像检测测试。
示例性地，通过红外图像训练集对过热检测模型进行训练，可以包括：
先采用K均值聚类算法（K-means Clustering Algorithm）对红外图像训练集进行聚类计算，获得红外训练集样本标签中的目标框大小，并将目标框大小确定为模型训练时的先验框尺寸，其中，先验框尺寸可以用于在模型训练时辅助模型进行目标定位；
接着采用预设图像数据集，如COCO数据集（Common Objects in Contex，一个可以用来进行图像识别的数据集），对过热检测模型进行预训练处理，获得预训练模型，并将该预训练模型迁移至本发明实施例中变电站电力设备过热检测任务中，基于先验框尺寸以及预训练模型的权重，先对过热检测模型的特征融合模块以及检测模块进行局部模型训练，再对过热检测模型进行整体模型训练。作为一种示例，在前100轮训练过程中基于先验框尺寸以及预训练模型的权重，对过热检测模型的特征融合模块Neck以及检测模块Head进行局部模型训练，在后100轮训练过程中则对整个过热检测模型进行训练，其中，前100轮训练的batchsize（一次训练所选取的样本数）大小可以设置为8，学习率可以设置为10-3，后100轮训练的batchsize大小可以设置为2，学习率可以设置为10-4。
值得说明的是，上述例子中所涉及的参数均仅作为一种示例，在进行模型训练时，除了可以按照一定比例将数据集划分为训练集以及测试集以对模型进行训练测试之外，当数据较多或者有必要时，还可以按照一定比例将数据集划分为训练集、验证集以及测试集（如可以将训练集、验证集以及测试集的比例按8:1:1进行划分），通过训练集对模型进行训练，并通过验证集以及测试集对模型进行交叉验证，获得性能更优的模型，同时在对训练的轮数、batchsize以及学习率等参数进行设置时，本领域技术人员也可以根据实际需求进行设定，可以理解的是，本发明对此不作限制。
接着可以将红外测试集的图像输入至最终训练后获得的变电站电力设备过热检测模型中进行批量化检测，示例性地，参照图7，示出了本发明实施例提供的一种采用过热检测模型进行图像检测测试的效果示意图，可以看出，通过采用本发明实施例所提供的过热检测模型，可以清楚且准确地定位至电力设备中存在过热缺陷的位置，并且可以检测出对应的过热温度、环境温度以及距离等有效数据，以便电力运维人员快速确认存在过热问题的电力设备的具体位置，从而进行及时的处理，避免出现更大的损失。
步骤602，根据图像检测测试结果计算过热检测数据，依据所述过热检测数据对所述过热检测模型进行评价。
进一步地，在进行图像检测测试之后，可以根据图像检测测试结果计算过热检测数据，并依据过热检测数据对过热检测模型进行模型评价。
示例性地，可以根据红外测试集的图像检测结果计算检测精度，如AP（AveragePrecision，平均精度/目标检测中的一个常用指标）值，检测速度，如FPS（Frame PerSecond，画面每秒传输帧数）与Latency（延迟），模型占用内存等性能评价指标，作为模型评价的评价指标，同时可以将本发明实施例中过热检测模型PEODNet的测试结果与YOLOv7-tiny模型的指标进行比对，结果如表1所示：
Figure SMS_17
从表中可以看出，相较于YOLOv7-tiny模型，采用本发明实施例中过热检测模型PEODNet对电力设备进行过热检测，较大提高了检测精度，同时检测速度、延时滞后以及模型占用内存与YOLOv7-tiny模型的测试数据相比，在较大提高了检测精度的前提下，两者差别可以忽略不计。
在本发明实施例中，通过对YOLOv7-tiny轻量化目标检测模型进行改进，构建了一种变电站电力设备的过热检测模型PEODNet，并基于变电站电力设备的红外图像数据集对其进行训练测试，采用该过热检测模型PEODNet并结合电力设备进过热检测方法，可以实现对于变电站电力设备的快速过热检测。其中，本发明实施例中通过采用新型连续空间域卷积子模块CoT_C3替代YOLOv7-tiny特征提取网络中的MCB模块，可以提高过热检测模型对复杂红外图像中电力设备的视觉注意力，同时采用深层特征信息提取子模块ECVBlock改进YOLOv7-tiny的特征融合网络，可以提高模型电力设备小目标检测能力，最后在YOLOv7-tiny的检测网络中添加特征增强融合子模块FEFN对输出的强化特征图进行特征增强融合，可以增强特征表达能力与丰富度，通过采用本发明实施例所提供的变电站电力设备过热检测模型，并结合电力设备过热检测方法，实现了快速、准确地检测出电力设备过热缺陷，辅助电力运维人员智能化、自动化辨识电力设备过热故障，提高了检测效率并可以获得更好的检测效果。
参照图8，示出了本发明实施例提供的一种电力设备过热检测装置的结构框图，具体可以包括：
电力设备红外图像获取模块801，用于获取需要进行过热检测的电力设备红外图像，将所述电力设备红外图像输入至变电站电力设备的过热检测模型，所述过热检测模型至少包括特征提取模块、特征融合模块以及检测模块；
连续空间域视觉识别处理模块802，用于通过所述特征提取模块对所述电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图；
深层特征强化处理模块803，用于将所述第一特征图、所述第二特征图以及所述第三特征图分别输入至所述特征融合模块进行深层特征强化处理，输出第一强化特征图、第二强化特征图以及第三强化特征图；
特征增强融合处理模块804，用于将所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图输入至检测模块进行特征增强融合处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，并确定所述第一增强融合特征图、所述第二增强融合特征图以及所述第三增强融合特征图各自对应的检测头；
过热检测模块805，用于基于各个所述检测头对所述电力设备红外图像中变电站电力设备的对应位置进行过热检测。
在一种可选实施例中，所述连续空间域视觉识别处理模块802包括：
输出特征图生成模块，用于将所述电力设备红外图像输入所述特征提取模块连续进行两次标准卷积处理，获得输入特征图，接着对所述输入特征图进行连续空间域卷积处理，获得输出特征图；
第一特征图提取模块，用于对所述输出特征图先进行最大值池化处理，再进行连续空间域卷积处理，提取出第一特征图；
第二特征图提取模块，用于对所述第一特征图先进行最大值池化处理，再进行连续空间域卷积处理，提取出第二特征图；
第三特征图提取模块，用于对所述第二特征图先进行最大值池化处理，再进行连续空间域卷积处理，接着进行空间池化处理，提取出第三特征图。
在一种可选实施例中，所述特征提取模块至少包括连续空间域卷积子模块，所述输出特征图生成模块包括：
输入特征图处理模块，用于将所述输入特征图输入至所述连续空间域卷积子模块进行分组卷积处理，获得临近局部上下文静态特征，接着对所述输入特征图进行降维卷积处理，获得输入值特征矩阵；
动态多头自注意力特征图生成模块，用于将所述临近局部上下文静态特征与所述输入特征图对应的原始特征进行堆叠卷积处理，获得动态多头自注意力特征图；
全局动态上下文特征信息生成模块，用于将所述动态多头自注意力特征图与所述输入值特征矩阵进行相乘，获得全局动态上下文特征信息；
相加融合处理模块，用于将所述临近局部上下文静态特征与所述全局动态上下文特征信息进行元素相加融合处理，获得输出特征图。
在一种可选实施例中，所述输入特征图处理模块具体用于：
将所述输入特征图输入至所述连续空间域卷积子模块进行3×3分组卷积处理，获得临近局部上下文静态特征；
提取所述输入特征图的原始特征；
对所述输入特征图进行1×1降维卷积处理，获得输入值特征矩阵；
计算公式如下所示：
Figure SMS_18
；
其中，X为输入特征图，Q为临近局部上下文静态特征，K 1 为输入特征图X的原始特征，V为输入值特征矩阵，f k×k 为卷积核大小为k×k的卷积层，W v 为1×1卷积层的权值矩阵。
在一种可选实施例中，所述动态多头自注意力特征图生成模块具体用于：
将所述临近局部上下文静态特征与所述输入特征图对应的原始特征先进行堆叠处理，再连续进行两次1×1降维卷积处理，获得动态多头自注意力特征图，计算公式如下：
Figure SMS_19
；
其中，
Figure SMS_20
表示特征的堆叠处理，W 1 与W 2为对应1×1降维卷积处理的权值矩阵；
则所述全局动态上下文特征信息生成模块具体用于：
采用公式
Figure SMS_21
计算全局动态上下文特征信息K 2。
在一种可选实施例中，所述深层特征强化处理模块803包括：
初步强化特征图生成模块，用于对所述第三特征图进行标准卷积处理以及深层特征信息提取处理之后，与经过标准卷积处理之后的第二特征图进行堆叠处理，获得第一堆叠特征图，对所述第一堆叠特征图进行连续空间域卷积处理，获得初步强化特征图；
第一强化特征图输出模块，用于对所述初步强化特征图进行标准卷积处理以及深层特征信息提取处理之后，与经过标准卷积处理之后的第一特征图进行堆叠处理，获得第二堆叠特征图，对所述第二堆叠特征图进行连续空间域卷积处理，输出第一强化特征图；
第二强化特征图输出模块，用于对所述第一强化特征图进行标准卷积处理之后，与所述初步强化特征图进行堆叠处理，获得第三堆叠特征图，对所述第三堆叠特征图进行连续空间域卷积处理，输出第二强化特征图；
第三强化特征图输出模块，用于对所述第二强化特征图进行标准卷积处理之后，与所述第三特征图进行堆叠处理，获得第四堆叠特征图，对所述第四堆叠特征图进行连续空间域卷积处理，输出第三强化特征图。
在一种可选实施例中，所述特征融合模块至少包括深层特征信息提取子模块，则所述装置还包括：
修正特征信息生成模块，用于将需要进行深层特征提取的输入特征信息输入至深层特征信息提取子模块，对所述输入特征信息进行7×7卷积处理以及批处理归一化处理之后，通过激活函数进行线性修正，获得修正特征信息；
输出特征信息输出模块，用于对所述修正特征信息进行全局特征信息提取处理，获得对应的全局特征信息，对所述修正特征信息进行视觉中心特征提取处理，获得对应的视觉中心特征信息，将所述全局特征信息与所述视觉中心特征信息进行串联堆叠，获得输出特征信息；
计算公式如下所示：
Figure SMS_22
；
Figure SMS_23
；
其中，X in 为深层特征信息提取子模块的输入特征信息，f 7×7为卷积核大小为7×7的卷积层，BN(·)表示批处理归一层，σ(·)表示ReLU激活函数，X' in 表示修正特征信息，MLP(X' in )表示全局特征信息，LVC(X' in )表示视觉中心特征信息，cat(·)表示沿特征图通道进行串联堆叠，F EVC 表示为深层特征信息提取子模块的输出特征信息。
在一种可选实施例中，所述检测模块至少包括特征增强融合子模块，所述特征增强融合处理模块804包括：
卷积串联堆叠处理模块，用于通过所述特征增强融合子模块对所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图进行卷积串联堆叠处理之后，获得第一串联堆叠特征图、第二串联堆叠特征图、第三串联堆叠特征图；
上下采样串联堆叠处理模块，用于对所述第一串联堆叠特征图、所述第二串联堆叠特征图、所述第三串联堆叠特征图进行上下采样串联堆叠处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图。
在一种可选实施例中，所述卷积串联堆叠处理模块包括：
第一串联堆叠特征图生成模块，用于通过所述特征增强融合子模块对所述第三强化特征图进行1×1降维卷积处理，获得第一串联堆叠特征图；
第二串联堆叠特征图生成模块，用于对所述第一串联堆叠特征图的特征信息进行上采样处理之后与所述第二强化特征图进行串联堆叠处理，获得第二串联堆叠特征图；
第三串联堆叠特征图生成模块，用于对所述第二串联堆叠特征图的特征信息进行上采样处理之后与所述第一强化特征图进行串联堆叠处理，获得第三串联堆叠特征图；
计算公式如下所示：
Figure SMS_24
；
其中，Y 1为第一强化特征图，Y 2为第二强化特征图，Y 3为第三强化特征图，P 1为第三串联堆叠特征图，P 2为第二串联堆叠特征图，P 3为第一串联堆叠特征图，f 1×1表示卷积核大小为1×1的卷积层，U 2为上采样，cat(·)表示沿特征图通道进行串联堆叠。
在一种可选实施例中，所述上下采样串联堆叠处理模块包括：
第一增强融合特征图输出模块，用于对所述第二串联堆叠特征图进行上采样处理之后，与所述第三串联堆叠特征图进行串联堆叠处理，输出第一增强融合特征图；
第二增强融合特征图输出模块，用于将进行下采样处理后的第三串联堆叠特征图，与进行上采样处理后的第一串联堆叠特征图进行串联堆叠处理，输出第二增强融合特征图；
第三增强融合特征图输出模块，用于对所述第二串联堆叠特征图进行下采样处理之后，与所述第一串联堆叠特征图进行串联堆叠处理，输出第三增强融合特征图；
计算公式如下所示：
Figure SMS_25
；
其中，H 1为第一增强融合特征图，H 2为第二增强融合特征图，H 3为第三增强融合特征图，D 2为下采样。
在一种可选实施例中，所述装置还包括：
过热检测模型训练测试模块，用于构建变电站电力设备的过热检测模型，获取经过多组合数据增广处理的红外图像数据集，并采用所述过热检测模型对所述红外图像数据集进行模型训练以及图像检测测试；
过热检测数据计算模块，用于根据图像检测测试结果计算过热检测数据，依据所述过热检测数据对所述过热检测模型进行评价。
在一种可选实施例中，所述过热检测模型训练测试模块具体用于：
将所述红外图像数据集按预设比例划分为红外图像训练集以及红外图像测试集；
通过所述红外图像训练集对所述过热检测模型进行训练，并将所述红外图像测试集输入至训练后的过热检测模型进行图像检测测试。
在一种可选实施例中，所述过热检测模型训练测试模块包括：
聚类计算模块，用于采用K均值聚类算法对所述红外图像训练集进行聚类计算，确定先验框尺寸，所述先验框尺寸用于在模型训练时辅助模型进行目标定位；
过热检测模型训练子模块，用于采用预设图像数据集对所述过热检测模型进行预训练处理，获得预训练模型，并基于所述先验框尺寸以及所述预训练模型的权重，先对所述过热检测模型的特征融合模块以及检测模块进行局部模型训练，再对所述过热检测模型进行整体模型训练。
在一种可选实施例中，所述装置还包括：
过热红外图像样本筛选模块，用于获取变电站电力设备的巡检红外图像集，从所述巡检红外图像集中筛选出多张过热红外图像样本，并对所述多张过热红外图像样本进行热缺陷标记处理，生成对应的热缺陷标签文件集；
多组合数据增广处理模块，用于采用所述多张过热红外图像样本进行多组合数据增广处理，获得多张增广红外图像，并对所述多张增广红外图像进行标签创建操作，生成对应的图像变换标签文件集；
红外图像数据集确定模块，用于将所述多张过热红外图像样本、所述热缺陷标签文件集、所述多张增广红外图像以及所述图像变换标签文件集作为所述变电站电力设备的红外图像数据集。
在一种可选实施例中，所述多组合数据增广处理模块包括：
图像变换处理模块，用于实现步骤S1：每次从所述多张过热红外图像样本中随机选取预设数量的目标红外图像样本，对每张所述目标红外图像样本分别进行图像变换处理，获得各自对应的变换图像样本；
图像拼接处理模块，用于实现步骤S2：将各个所述变换图像样本进行图像拼接处理，获得拼接后的增广红外图像；
图像数据处理重复模块，用于实现步骤S3：重复多次由步骤S1至S2的处理过程，直至获得多张增广红外图像。
在一种可选实施例中，所述图像变换处理模块具体用于：
对每张所述目标红外图像样本均采取0.5的概率任意选择旋转、裁剪、镜像翻转中的处理方式进行图像变换，获得各自对应的变换图像样本。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见前述方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行本发明任一实施例的电力设备过热检测方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明任一实施例的电力设备过热检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种电力设备过热检测方法，其特征在于，所述方法包括：
获取需要进行过热检测的电力设备红外图像，将所述电力设备红外图像输入至变电站电力设备的过热检测模型，所述过热检测模型至少包括特征提取模块、特征融合模块以及检测模块；
通过所述特征提取模块对所述电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图分别输入至所述特征融合模块进行深层特征强化处理，输出第一强化特征图、第二强化特征图以及第三强化特征图；
将所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图输入至检测模块进行特征增强融合处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，并确定所述第一增强融合特征图、所述第二增强融合特征图以及所述第三增强融合特征图各自对应的检测头；
基于各个所述检测头对所述电力设备红外图像中变电站电力设备的对应位置进行过热检测。
2.根据权利要求1所述的电力设备过热检测方法，其特征在于，所述通过所述特征提取模块对所述电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图，包括：
将所述电力设备红外图像输入所述特征提取模块连续进行两次标准卷积处理，获得输入特征图，接着对所述输入特征图进行连续空间域卷积处理，获得输出特征图；
对所述输出特征图先进行最大值池化处理，再进行连续空间域卷积处理，提取出第一特征图；
对所述第一特征图先进行最大值池化处理，再进行连续空间域卷积处理，提取出第二特征图；
对所述第二特征图先进行最大值池化处理，再进行连续空间域卷积处理，接着进行空间池化处理，提取出第三特征图。
3.根据权利要求2所述的电力设备过热检测方法，其特征在于，所述特征提取模块至少包括连续空间域卷积子模块，所述对所述输入特征图进行连续空间域卷积处理，获得输出特征图，包括：
将所述输入特征图输入至所述连续空间域卷积子模块进行分组卷积处理，获得临近局部上下文静态特征，接着对所述输入特征图进行降维卷积处理，获得输入值特征矩阵；
将所述临近局部上下文静态特征与所述输入特征图对应的原始特征进行堆叠卷积处理，获得动态多头自注意力特征图；
将所述动态多头自注意力特征图与所述输入值特征矩阵进行相乘，获得全局动态上下文特征信息；
将所述临近局部上下文静态特征与所述全局动态上下文特征信息进行元素相加融合处理，获得输出特征图。
4.根据权利要求3所述的电力设备过热检测方法，其特征在于，所述将所述输入特征图输入至所述连续空间域卷积子模块进行分组卷积处理，获得临近局部上下文静态特征，接着对所述输入特征图进行降维卷积处理，获得输入值特征矩阵，包括：
将所述输入特征图输入至所述连续空间域卷积子模块进行3×3分组卷积处理，获得临近局部上下文静态特征；
提取所述输入特征图的原始特征；
对所述输入特征图进行1×1降维卷积处理，获得输入值特征矩阵；
计算公式如下所示：
Figure QLYQS_1
；
其中，X为输入特征图，Q为临近局部上下文静态特征，K 1 为输入特征图X的原始特征，V为输入值特征矩阵，f k×k 为卷积核大小为k×k的卷积层，W v 为1×1卷积层的权值矩阵。
5.根据权利要求4所述的电力设备过热检测方法，其特征在于，所述将所述临近局部上下文静态特征与所述输入特征图对应的原始特征进行堆叠卷积处理，获得动态多头自注意力特征图，包括：
将所述临近局部上下文静态特征与所述输入特征图对应的原始特征先进行堆叠处理，再连续进行两次1×1降维卷积处理，获得动态多头自注意力特征图，计算公式如下：
Figure QLYQS_2
；
其中，
Figure QLYQS_3
表示特征的堆叠处理，W 1 与W 2为对应1×1降维卷积处理的权值矩阵；
则所述将所述动态多头自注意力特征图与所述输入值特征矩阵进行相乘，获得全局动态上下文特征信息，包括：
采用公式
Figure QLYQS_4
计算全局动态上下文特征信息K 2。
6.根据权利要求2所述的电力设备过热检测方法，其特征在于，所述将所述第一特征图、所述第二特征图以及所述第三特征图分别输入至所述特征融合模块进行深层特征强化处理，输出第一强化特征图、第二强化特征图以及第三强化特征图，包括：
对所述第三特征图进行标准卷积处理以及深层特征信息提取处理之后，与经过标准卷积处理之后的第二特征图进行堆叠处理，获得第一堆叠特征图，对所述第一堆叠特征图进行连续空间域卷积处理，获得初步强化特征图；
对所述初步强化特征图进行标准卷积处理以及深层特征信息提取处理之后，与经过标准卷积处理之后的第一特征图进行堆叠处理，获得第二堆叠特征图，对所述第二堆叠特征图进行连续空间域卷积处理，输出第一强化特征图；
对所述第一强化特征图进行标准卷积处理之后，与所述初步强化特征图进行堆叠处理，获得第三堆叠特征图，对所述第三堆叠特征图进行连续空间域卷积处理，输出第二强化特征图；
对所述第二强化特征图进行标准卷积处理之后，与所述第三特征图进行堆叠处理，获得第四堆叠特征图，对所述第四堆叠特征图进行连续空间域卷积处理，输出第三强化特征图。
7.根据权利要求6所述的电力设备过热检测方法，其特征在于，所述特征融合模块至少包括深层特征信息提取子模块，则所述深层特征信息提取处理的步骤，包括：
将需要进行深层特征提取的输入特征信息输入至深层特征信息提取子模块，对所述输入特征信息进行7×7卷积处理以及批处理归一化处理之后，通过激活函数进行线性修正，获得修正特征信息；
对所述修正特征信息进行全局特征信息提取处理，获得对应的全局特征信息，对所述修正特征信息进行视觉中心特征提取处理，获得对应的视觉中心特征信息，将所述全局特征信息与所述视觉中心特征信息进行串联堆叠，获得输出特征信息；
计算公式如下所示：
Figure QLYQS_5
；
Figure QLYQS_6
；
其中，X in 为深层特征信息提取子模块的输入特征信息，f 7×7为卷积核大小为7×7的卷积层，BN(·)表示批处理归一层，σ(·)表示ReLU激活函数，X' in 表示修正特征信息，MLP(X' in )表示全局特征信息，LVC(X' in )表示视觉中心特征信息，cat(·)表示沿特征图通道进行串联堆叠，F EVC 表示为深层特征信息提取子模块的输出特征信息。
8.根据权利要求1或6所述的电力设备过热检测方法，其特征在于，所述检测模块至少包括特征增强融合子模块，所述将所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图输入至检测模块进行特征增强融合处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，包括：
通过所述特征增强融合子模块对所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图进行卷积串联堆叠处理之后，获得第一串联堆叠特征图、第二串联堆叠特征图、第三串联堆叠特征图；
对所述第一串联堆叠特征图、所述第二串联堆叠特征图、所述第三串联堆叠特征图进行上下采样串联堆叠处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图。
9.根据权利要求8所述的电力设备过热检测方法，其特征在于，所述通过所述特征增强融合子模块对所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图进行卷积串联堆叠处理之后，获得第一串联堆叠特征图、第二串联堆叠特征图、第三串联堆叠特征图，包括：
通过所述特征增强融合子模块对所述第三强化特征图进行1×1降维卷积处理，获得第一串联堆叠特征图；
对所述第一串联堆叠特征图的特征信息进行上采样处理之后与所述第二强化特征图进行串联堆叠处理，获得第二串联堆叠特征图；
对所述第二串联堆叠特征图的特征信息进行上采样处理之后与所述第一强化特征图进行串联堆叠处理，获得第三串联堆叠特征图；
计算公式如下所示：
Figure QLYQS_7
；/>
其中，Y 1为第一强化特征图，Y 2为第二强化特征图，Y 3为第三强化特征图，P 1为第三串联堆叠特征图，P 2为第二串联堆叠特征图，P 3为第一串联堆叠特征图，f 1×1表示卷积核大小为1×1的卷积层，U 2为上采样，cat(·)表示沿特征图通道进行串联堆叠。
10.根据权利要求9所述的电力设备过热检测方法，其特征在于，所述对所述第一串联堆叠特征图、所述第二串联堆叠特征图、所述第三串联堆叠特征图进行上下采样串联堆叠处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，包括：
对所述第二串联堆叠特征图进行上采样处理之后，与所述第三串联堆叠特征图进行串联堆叠处理，输出第一增强融合特征图；
将进行下采样处理后的第三串联堆叠特征图，与进行上采样处理后的第一串联堆叠特征图进行串联堆叠处理，输出第二增强融合特征图；
对所述第二串联堆叠特征图进行下采样处理之后，与所述第一串联堆叠特征图进行串联堆叠处理，输出第三增强融合特征图；
计算公式如下所示：
Figure QLYQS_8
；
其中，H 1为第一增强融合特征图，H 2为第二增强融合特征图，H 3为第三增强融合特征图，D 2为下采样。
11.根据权利要求1所述的电力设备过热检测方法，其特征在于，还包括：
构建变电站电力设备的过热检测模型，获取经过多组合数据增广处理的红外图像数据集，并采用所述过热检测模型对所述红外图像数据集进行模型训练以及图像检测测试；
根据图像检测测试结果计算过热检测数据，依据所述过热检测数据对所述过热检测模型进行评价。
12.根据权利要求11所述的电力设备过热检测方法，其特征在于，所述采用所述过热检测模型对所述红外图像数据集进行模型训练以及图像检测测试，包括：
将所述红外图像数据集按预设比例划分为红外图像训练集以及红外图像测试集；
通过所述红外图像训练集对所述过热检测模型进行训练，并将所述红外图像测试集输入至训练后的过热检测模型进行图像检测测试。
13.根据权利要求12所述的电力设备过热检测方法，其特征在于，所述通过所述红外图像训练集对所述过热检测模型进行训练，包括：
采用K均值聚类算法对所述红外图像训练集进行聚类计算，确定先验框尺寸，所述先验框尺寸用于在模型训练时辅助模型进行目标定位；
采用预设图像数据集对所述过热检测模型进行预训练处理，获得预训练模型，并基于所述先验框尺寸以及所述预训练模型的权重，先对所述过热检测模型的特征融合模块以及检测模块进行局部模型训练，再对所述过热检测模型进行整体模型训练。
14.根据权利11所述的电力设备过热检测方法，其特征在于，在所述获取经过多组合数据增广处理的红外图像数据集之前，所述方法还包括：
获取变电站电力设备的巡检红外图像集，从所述巡检红外图像集中筛选出多张过热红外图像样本，并对所述多张过热红外图像样本进行热缺陷标记处理，生成对应的热缺陷标签文件集；
采用所述多张过热红外图像样本进行多组合数据增广处理，获得多张增广红外图像，并对所述多张增广红外图像进行标签创建操作，生成对应的图像变换标签文件集；
将所述多张过热红外图像样本、所述热缺陷标签文件集、所述多张增广红外图像以及所述图像变换标签文件集作为所述变电站电力设备的红外图像数据集。
15.根据权利要求14所述的电力设备过热检测方法，其特征在于，所述采用所述多张过热红外图像样本进行多组合数据增广处理，获得多张增广红外图像，包括：
步骤S1：每次从所述多张过热红外图像样本中随机选取预设数量的目标红外图像样本，对每张所述目标红外图像样本分别进行图像变换处理，获得各自对应的变换图像样本；
步骤S2：将各个所述变换图像样本进行图像拼接处理，获得拼接后的增广红外图像；
步骤S3：重复多次由步骤S1至S2的处理过程，直至获得多张增广红外图像。
16.根据权利要求15所述的电力设备过热检测方法，其特征在于，所述对每张所述目标红外图像样本分别进行图像变换处理，获得各自对应的变换图像样本，包括：
对每张所述目标红外图像样本均采取0.5的概率任意选择旋转、裁剪、镜像翻转中的处理方式进行图像变换，获得各自对应的变换图像样本。
17.一种电力设备过热检测装置，其特征在于，包括：
电力设备红外图像获取模块，用于获取需要进行过热检测的电力设备红外图像，将所述电力设备红外图像输入至变电站电力设备的过热检测模型，所述过热检测模型至少包括特征提取模块、特征融合模块以及检测模块；
连续空间域视觉识别处理模块，用于通过所述特征提取模块对所述电力设备红外图像进行连续空间域视觉识别处理，提取出第一特征图、第二特征图以及第三特征图；
深层特征强化处理模块，用于将所述第一特征图、所述第二特征图以及所述第三特征图分别输入至所述特征融合模块进行深层特征强化处理，输出第一强化特征图、第二强化特征图以及第三强化特征图；
特征增强融合处理模块，用于将所述第一强化特征图、所述第二强化特征图以及所述第三强化特征图输入至检测模块进行特征增强融合处理，输出第一增强融合特征图、第二增强融合特征图以及第三增强融合特征图，并确定所述第一增强融合特征图、所述第二增强融合特征图以及所述第三增强融合特征图各自对应的检测头；
过热检测模块，用于基于各个所述检测头对所述电力设备红外图像中变电站电力设备的对应位置进行过热检测。
18.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-16任一项所述的电力设备过热检测方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-16任一项所述的电力设备过热检测方法。
CN202310519164.4A 2023-05-10 2023-05-10 电力设备过热检测方法、装置、电子设备与存储介质 Active CN116256586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310519164.4A CN116256586B (zh) 2023-05-10 2023-05-10 电力设备过热检测方法、装置、电子设备与存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310519164.4A CN116256586B (zh) 2023-05-10 2023-05-10 电力设备过热检测方法、装置、电子设备与存储介质

Publications (2)

Publication Number Publication Date
CN116256586A true CN116256586A (zh) 2023-06-13
CN116256586B CN116256586B (zh) 2023-07-18

Family

ID=86688265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310519164.4A Active CN116256586B (zh) 2023-05-10 2023-05-10 电力设备过热检测方法、装置、电子设备与存储介质

Country Status (1)

Country Link
CN (1) CN116256586B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503398A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116503399A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 基于yolo-afps的绝缘子污闪检测方法
CN116503396A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 一种绝缘子污闪快速检测方法、系统和设备
CN116862915A (zh) * 2023-09-05 2023-10-10 西南石油大学 一种风机内部视频流缺陷识别方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3210706U (ja) * 2017-03-21 2017-06-01 昭和電子工業株式会社 電力機器の温度監視装置
CN107063464A (zh) * 2017-03-29 2017-08-18 国网上海市电力公司 一种用于高压电缆瓷套式终端的在线红外测温系统
CN110097053A (zh) * 2019-04-24 2019-08-06 上海电力学院 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法
CN110243864A (zh) * 2019-07-30 2019-09-17 广东电网有限责任公司 一种电力设备过热故障检测手机
CN112085089A (zh) * 2020-09-03 2020-12-15 国网浙江省电力有限公司电力科学研究院 基于深度学习算法的变电站设备智能测温方法
CN112258487A (zh) * 2020-10-29 2021-01-22 德鲁动力科技(海南)有限公司 图像检测系统及方法
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN113298717A (zh) * 2021-06-08 2021-08-24 浙江工业大学 基于多注意力残差特征融合的医学图像超分辨率重建方法
CN113554125A (zh) * 2021-09-18 2021-10-26 四川翼飞视科技有限公司 结合全局与局部特征的目标检测装置、方法和存储介质
CN113989631A (zh) * 2021-08-31 2022-01-28 上海航天控制技术研究所 一种基于卷积神经网络的红外图像目标检测网络压缩方法
CN114220009A (zh) * 2021-12-09 2022-03-22 福建省海峡智汇科技有限公司 一种基于红外图像的导线风偏识别方法与系统
CN114463257A (zh) * 2021-12-23 2022-05-10 国网湖南省电力有限公司 一种基于深度学习的电力设备红外图像检测方法及系统
CN114972208A (zh) * 2022-05-05 2022-08-30 扬州大学 一种基于YOLOv4的轻量化小麦赤霉病检测方法
KR20220128192A (ko) * 2021-03-12 2022-09-20 한국전력공사 합성 영상을 활용한 객체 검출장치 및 그 방법
CN115409697A (zh) * 2021-05-28 2022-11-29 华为技术有限公司 一种图像处理方法及相关装置
CN115661044A (zh) * 2022-09-30 2023-01-31 国网山西省电力公司大同供电公司 一种基于多源融合的变电站电力设备故障检测方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3210706U (ja) * 2017-03-21 2017-06-01 昭和電子工業株式会社 電力機器の温度監視装置
CN107063464A (zh) * 2017-03-29 2017-08-18 国网上海市电力公司 一种用于高压电缆瓷套式终端的在线红外测温系统
CN110097053A (zh) * 2019-04-24 2019-08-06 上海电力学院 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法
CN110243864A (zh) * 2019-07-30 2019-09-17 广东电网有限责任公司 一种电力设备过热故障检测手机
CN112085089A (zh) * 2020-09-03 2020-12-15 国网浙江省电力有限公司电力科学研究院 基于深度学习算法的变电站设备智能测温方法
CN112258487A (zh) * 2020-10-29 2021-01-22 德鲁动力科技(海南)有限公司 图像检测系统及方法
KR20220128192A (ko) * 2021-03-12 2022-09-20 한국전력공사 합성 영상을 활용한 객체 검출장치 및 그 방법
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN115409697A (zh) * 2021-05-28 2022-11-29 华为技术有限公司 一种图像处理方法及相关装置
CN113298717A (zh) * 2021-06-08 2021-08-24 浙江工业大学 基于多注意力残差特征融合的医学图像超分辨率重建方法
CN113989631A (zh) * 2021-08-31 2022-01-28 上海航天控制技术研究所 一种基于卷积神经网络的红外图像目标检测网络压缩方法
CN113554125A (zh) * 2021-09-18 2021-10-26 四川翼飞视科技有限公司 结合全局与局部特征的目标检测装置、方法和存储介质
CN114220009A (zh) * 2021-12-09 2022-03-22 福建省海峡智汇科技有限公司 一种基于红外图像的导线风偏识别方法与系统
CN114463257A (zh) * 2021-12-23 2022-05-10 国网湖南省电力有限公司 一种基于深度学习的电力设备红外图像检测方法及系统
CN114972208A (zh) * 2022-05-05 2022-08-30 扬州大学 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN115661044A (zh) * 2022-09-30 2023-01-31 国网山西省电力公司大同供电公司 一种基于多源融合的变电站电力设备故障检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于彦良 等: "改进深度学习优化电力设备缺陷图像识别", 机械设计与制造, vol. 365, no. 07, pages 176 - 178 *
郑含博 等: "基于改进YOLOv3的电力设备红外目标检测模型", 电工技术学报, vol. 36, no. 7, pages 1389 - 1398 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503398A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116503399A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 基于yolo-afps的绝缘子污闪检测方法
CN116503396A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 一种绝缘子污闪快速检测方法、系统和设备
CN116503398B (zh) * 2023-06-26 2023-09-26 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116503396B (zh) * 2023-06-26 2024-02-27 广东电网有限责任公司湛江供电局 一种绝缘子污闪快速检测方法、系统和设备
CN116503399B (zh) * 2023-06-26 2024-03-22 广东电网有限责任公司湛江供电局 基于yolo-afps的绝缘子污闪检测方法
CN116862915A (zh) * 2023-09-05 2023-10-10 西南石油大学 一种风机内部视频流缺陷识别方法

Also Published As

Publication number Publication date
CN116256586B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN116256586B (zh) 电力设备过热检测方法、装置、电子设备与存储介质
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN109801232A (zh) 一种基于深度学习的单幅图像去雾方法
CN110879982A (zh) 一种人群计数系统及方法
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
WO2023154320A1 (en) Thermal anomaly identification on building envelopes as well as image classification and object detection
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
CN113065598A (zh) 一种绝缘子识别模型的获取方法、装置及计算机设备
CN114418956A (zh) 一种变电站关键电气设备的变化检测方法及系统
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
CN111179212B (zh) 集成蒸馏策略和反卷积的微小目标检测片上实现方法
CN112529908A (zh) 一种基于级联卷积网络的数字病理图像分割方法及其模型
CN116523881A (zh) 一种电力设备异常温度检测方法及装置
Xiang et al. Recognition of characters on curved metal workpiece surfaces based on multi-exposure image fusion and deep neural networks
CN111414882A (zh) 一种基于多级分辨率平衡网络的红外目标检测方法
CN104123707B (zh) 一种基于局部秩先验的单幅图像超分辨率重建方法
CN112529881B (zh) 一种电力控制柜线缆异常识别方法及装置
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN115331081A (zh) 图像目标检测方法与装置
CN116503398B (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN117557775B (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统
Mao et al. Traffic Scene Object Detection Algorithm Based on Improved SSD
CN111881743B (zh) 一种基于语义分割的人脸特征点定位方法
CN113658112B (zh) 一种基于模板匹配与神经网络算法的弓网异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant