CN111986172A - 一种面向电力设备的红外图像故障检测方法及装置 - Google Patents

一种面向电力设备的红外图像故障检测方法及装置 Download PDF

Info

Publication number
CN111986172A
CN111986172A CN202010833710.8A CN202010833710A CN111986172A CN 111986172 A CN111986172 A CN 111986172A CN 202010833710 A CN202010833710 A CN 202010833710A CN 111986172 A CN111986172 A CN 111986172A
Authority
CN
China
Prior art keywords
infrared image
power equipment
fault
detected
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010833710.8A
Other languages
English (en)
Inventor
龙凯华
穆卡
郝震
马继先
李志刚
郭亮
覃晗
刘光伟
秦逸帆
马鑫晟
廖逍
谢可
刘迪
白景坡
李文璞
李小宁
靳敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
North China Electric Power Research Institute Co Ltd
State Grid Information and Telecommunication Co Ltd
Original Assignee
State Grid Corp of China SGCC
North China Electric Power Research Institute Co Ltd
State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, North China Electric Power Research Institute Co Ltd, State Grid Information and Telecommunication Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010833710.8A priority Critical patent/CN111986172A/zh
Publication of CN111986172A publication Critical patent/CN111986172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请实施例提供一种面向电力设备的红外图像故障检测方法及装置，所述方法包括：获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息；利用颜色识别技术识别所述待检测红外图像的故障区域；将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置；本申请有效地解决了人工巡检效率低及工作量大的问题，实现了电力设备电流致热型故障的自动化检测及精准定位，极大地提升了电力设备红外图像的故障检测效率。

Description

一种面向电力设备的红外图像故障检测方法及装置
技术领域
本申请涉及图像处理技术领域，特别涉及一种面向电力设备的红外图像故障检测方法及装置。
背景技术
近年来，随着特高压电力设备及交直流混合电力设备等的大量接入，电网的覆盖范围大幅扩展。面对种类多样、数量庞大的电力设备，仅仅依靠传统的人工检测方式进行电力设备故障检测，越来越无法满足现有阶段的检修需求。
另外，智能变电站解决方案要求变电站向自动化和智能化方向发展。目前，利用人工智能领域中的图像识别等技术，可以对采集到的红外图像进行处理分析，能够辅助甚至替代人工进行电力设备的故障诊断，大幅提高了巡检效率，减缩了检修成本。但由于红外图谱分辨率低、背景干扰大、拍摄角度多样、电力设备类型复杂等原因，目前，基于红外图像的故障自动诊断，任务难度大，诊断精准低，无法完成对电力设备的故障类型的自动识别，也无法对故障发生部位进行精准定位。
发明内容
针对现有技术中存在的问题，本申请提供一种面向电力设备的红外图像故障检测方法及装置，有效地解决了人工巡检效率低及工作量大的问题，实现了电力设备电流致热型故障的自动化检测及精准定位，极大地提升了电力设备红外图像的故障检测效率。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种面向电力设备的红外图像故障检测方法，包括：获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息；利用颜色识别技术识别所述待检测红外图像的故障区域；将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置。
进一步地，所述预先训练所述目标检测模型的步骤，包括：根据历史红外图像构建训练集和测试集，并对所述训练集和所述测试集进行标注，得到所述电力设备的目标标注框；利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型。
进一步地，所述利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型，包括：
将标注后的所述训练集输入至YOLOv3模型，得到初始检测模型；
计算所述初始检测模型的损失函数，通过损失函数最优化的方法，对所述初始检测模型的权值进行更新，得到中间目标检测模型；
将标注前的测试集输入至所述中间目标检测模型，输出测试标注框；
将所述目标标注框与所述测试标注框进行比对；若比对结果不一致，则继续对中间模型进行训练，直至比对结果一致，得到最终的所述目标检测模型。
进一步地，所述将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息，包括：调整所述待检测红外图像的像素为标准值；将调整后的所述待检测红外图像输入至所述目标检测模型的特征提取网络，输出特征提取网络输出特征图；所述特征提取网络包含52层卷积层；对所述特征提取网络输出特征图进行降维，得到y1特征图；将所述y1特征图与所述特征提取网络的第43层卷积层的残差模块输出特征图进行横向连接，得到y2特征图；对所述y2特征图进行特征降维及上采样后，与所述特征提取网络的第26层卷积层的残差模块输出特征图横向连接，得到y3特征图；在所述y1特征图、所述y2特征图及所述y3特征图上分别生成预测框，得到每个所述预测框对应的四维向量；若所述预测框中包含所述电力设备，则计算该预测框的坐标及该预测框中的所述电力设备属于预先设定的各所述电力设备类型的概率；根据所述概率确定所述电力设备类型，并利用所述四维向量确定所述电力设备位置信息。
进一步地，所述利用颜色识别技术识别所述待检测红外图像的故障区域，包括：将所述待检测红外图像由RGB色彩空间转为HSV色彩空间；根据HSV故障颜色范围参考表从转为所述HSV色彩空间的所述待检测红外图像中，提取故障颜色范围区域，作为所述故障区域。
进一步地，所述的面向电力设备的红外图像故障检测方法，还包括：根据所述故障区域，对所述待检测红外图像进行二值化处理。
进一步地，所述将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置，包括：遍历待检测红外图像中的所有所述目标标注框，检测是否存在所述故障区域；如果存在所述故障区域，则根据所述电力设备位置信息，生成所述目标标注框中的所述电力设备的故障位置。
第二方面，本申请提供一种面向电力设备的红外图像故障检测装置，包括：电力设备定位单元，用于获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息；故障区域识别单元，用于利用颜色识别技术识别所述待检测红外图像的故障区域；融合单元，用于将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置。
进一步地，所述的面向电力设备的红外图像故障检测装置，还包括：标注单元，用于根据历史红外图像构建训练集和测试集，并对所述训练集和所述测试集进行标注，得到所述电力设备的目标标注框；训练单元，用于利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型。
进一步地，所述训练单元，包括：
初始检测模型生成模块，用于将标注后的所述训练集输入至YOLOv3模型，得到初始检测模型；
中间检测模型生成模块，用于计算所述初始检测模型的损失函数，通过损失函数最优化方法，对所述初始检测模型的权值进行更新，得到中间目标检测模型；
测试标注框输出模块，用于将标注前的测试集输入至所述中间目标检测模型，输出测试标注框；
比对模块，用于将所述目标标注框与所述测试标注框进行比对；若比对结果不一致，则继续对中间模型进行训练，直至比对结果一致，得到最终的所述目标检测模型。
进一步地，所述电力设备定位单元，包括：调整模块，用于调整所述待检测红外图像的像素为标准值；特征提取网络输出特征图生成模块，用于将调整后的所述待检测红外图像输入至所述目标检测模型的特征提取网络，输出特征提取网络输出特征图；所述特征提取网络包含52层卷积层；y1特征图生成模块，用于对所述特征提取网络输出特征图进行降维，得到y1特征图；y2特征图生成模块，用于将所述y1特征图与所述特征提取网络的第43层卷积层的残差模块输出特征图进行横向连接，得到y2特征图；y3特征图生成模块，用于对所述y2特征图进行特征降维及上采样后，与所述特征提取网络的第26层卷积层的残差模块输出特征图横向连接，得到y3特征图；预测框生成模块，用于在所述y1特征图、所述y2特征图及所述y3特征图上分别生成预测框，得到每个所述预测框对应的四维向量；概率计算模块，用于计算包含所述电力设备的所述预测框中的所述电力设备属于预先设定的各所述电力设备类型的概率；确定模块，用于根据所述概率确定所述电力设备类型，并利用所述四维向量确定所述电力设备位置信息。
进一步地，所述故障区域识别单元，包括：空间转化模块，用于将所述待检测红外图像由RGB色彩空间转为HSV色彩空间；故障区域提取模块，用于根据HSV故障颜色范围参考表从转为所述HSV色彩空间的所述待检测红外图像中，提取故障颜色范围区域，作为所述故障区域。
进一步地，所述故障区域识别单元，还包括：二值化处理模块，用于根据所述故障区域，对所述待检测红外图像进行二值化处理。
进一步地，所述融合单元，包括：故障区域检测模块，用于遍历待检测红外图像中的所有所述目标标注框，检测是否存在所述故障区域；坐标生成模块，用于如果根据所述电力设备位置信息，生成存在所述故障区域的所述目标标注框中的所述电力设备的故障位置。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述面向电力设备的红外图像故障检测方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述面向电力设备的红外图像故障检测方法的步骤。
由上述技术方案可知，本申请提供一种面向电力设备的红外图像故障检测方法及装置，通过获取电力设备类型及电力设备位置信息，然后利用颜色识别技术识别待检测红外图像的故障区域，再将电力设备类型及电力设备位置信息与对应的故障区域进行融合，最终能够获得电力设备的故障位置。所述面向电力设备的红外图像故障检测方法及装置有效地解决了人工巡检效率低及工作量大的问题，实现了电力设备电流致热型故障的自动化检测及精准定位，极大地提升了电力设备红外图像的故障检测效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的面向电力设备的红外图像故障检测方法流程图一；
图2为本申请实施例中的面向电力设备的红外图像故障检测方法流程图二；
图3为本申请实施例中的面向电力设备的红外图像故障检测方法流程图三；
图4为本申请实施例中的面向电力设备的红外图像故障检测方法流程图四；
图5为本申请实施例中的面向电力设备的红外图像故障检测方法流程图五；
图6为本申请实施例中的面向电力设备的红外图像故障检测方法流程图六；
图7为本申请实施例中的面向电力设备的红外图像故障检测方法流程图七；
图8为本申请实施例中的面向电力设备的红外图像故障检测装置的结构图一；
图9为本申请实施例中的面向电力设备的红外图像故障检测装置的结构图二；
图10为本申请实施例中的面向电力设备的红外图像故障检测装置的结构图三；
图11为本申请实施例中的面向电力设备的红外图像故障检测装置的结构图四；
图12为本申请实施例中的面向电力设备的红外图像故障检测装置的结构图五；
图13为本申请实施例中的面向电力设备的红外图像故障检测装置的结构图六；
图14为本申请实施例中的面向电力设备的红外图像故障检测装置的结构图七；
图15为本申请实施例中的电子设备的结构示意图；
图16为本申请实施例中的目标检测模型的结构示意图之一；
图17为本申请实施例中的目标检测模型的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了能实现电力设备电流致热型故障的自动化检测及精准定位，提升电力设备红外图像的故障检测效率，本申请实施例提供一种面向电力设备的红外图像故障检测方法，参见图1，包括：
S101：获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息。
可以理解的是，为了得到待检测红外图像中的电力设备类型及电力设备位置信息，首先需要获取电力设备的待检测红外图像，这些待检测红外图像可以通过FLIR系列红外热成像仪自动采集。采集频度可根据实际需要进行调整，可实时采集，也可每隔一段时间间隔进行采集。此外，由于待检测红外图像中的电力设备类型及电力设备位置信息的获得需要依赖目标检测模型完成，因此需要结合电力系统中电力设备故障检测应用场景的特点，对目标检测模型进行预先训练。将获取的待检测红外图像的输入目标检测模型时，可以输出待检测红外图像中的电力设备类型及电力设备位置信息。
S102：利用颜色识别技术识别所述待检测红外图像的故障区域。
可以理解的是，由于电力设备的缺陷中约有60％左右表现为热缺陷，而红外图像可以反映待测物体的表面温度。表面温度不同，热场不同，对应的红外图像的颜色不同。而电力设备如果存在热缺陷，其故障区域的表面温度则会较高，而表面温度较高的区域，其颜色往往偏向黄色或白色。因此，可以根据红外图像所呈现出的颜色特点，利用颜色识别技术，获知红外图像上发生故障的电力设备的大致范围，即识别出待检测红外图像的故障区域。
S103：将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置。
可以理解的是，由于红外图像只能大致了解发生故障的电力设备所在的大致故障区域，而无法获知具体发生故障的电力设备类型及电力设备位置信息，因此，需要将红外图像上的电力设备类型及电力设备位置信息与对应的故障区域进行融合，从而获得电力设备的故障位置。
从上述描述可知，本申请实施例提供的面向电力设备的红外图像故障检测方法，能够利用目标检测模型获得电力设备类型及电力设备位置信息，并能够基于红外图像，利用颜色识别技术，获得电力设备的故障区域，并将电力设备类型及电力设备位置信息与对应的故障区域进行融合，最终获得电力设备的故障位置。在充分考虑到电力设备红外图像复杂性及电力设备运行机理与发热特性的基础上，排除了红外图像中所存在的大量背景干扰，实现了对电力设备类型及电力设备故障位置的精确判断；从而有效地解决了人工巡检效率低及工作量大的问题，实现了电力设备电流致热型故障的自动化检测及精准定位，极大地提升了电力设备红外图像的故障检测效率。
为了得到可供使用的目标检测模型，在本申请提供的面向电力设备的红外图像故障检测方法的一实施例中，参见图2，预先训练所述目标检测模型的步骤，包括：
S201：根据历史红外图像构建训练集和测试集，并对所述训练集和所述测试集进行标注，得到所述电力设备的目标标注框。
S202：利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型。
可以理解的是，在一具体实施例中，为对目标检测模型进行训练，首先需要通过FLIR系列红外热像仪采集各类电力设备的历史红外图像，这些历史红外图像共同构成了历史红外图像样本集，本申请中所用的历史红外图像样本集共可以包含1248张历史红外图像。然后将样本集随机划分为容量大小之比为4:1的两个子集，分别作为训练集和测试集。也就是说，随机选取样本集中998张历史红外图像作为训练集，其余的250张历史红外图像则作为测试集。对训练集的目的在于，用其中的历史红外图像，可以训练得到目标检测模型，以使其在今后能够自动标注待检测红外图像上的电力设备，并得到电力设备的目标标注框；而利用测试集的目的则在于，可以对上述训练效果进行测试。
在训练前，首先分别对训练集和测试集中的历史红外图像中的电力设备进行标注，标注可采用LabelImg标注软件对历史红外图像逐张进行，逐张标注的历史红外图像中包含每一设备的最小内接矩形框，即目标标注框，并标明电力设备类型。在训练时，利用训练集中的历史红外图像，以YOLOv3模型为基础进行训练，得到目标检测模型。
其中，本申请实施例中所使用的FLIR系列红外热成像仪所采集到的历史红外图像的平均大小为640×520像素，图像中的电力设备包含有变压器、断路器、隔离开关、电压互感器、电流互感器、避雷器、套管、绝缘子等电力设备类型。为方便起见，可将以上各电力设备类型用字母和数字命名，以方便标注，参见表1。
表1电力设备类别标签
序号 电力设备 电力设备类型
1 变压器 byq
2 断路器 dlq
3 隔离开关 glkg
4 电压互感器 dyhgq
5 电流互感器 dlhgq
6 避雷器 blq
7 套管 tg
8 绝缘子 jyz
9 支柱绝缘子 zzjyz
10 接头 jt
11 三相 3x
从上述描述可知，本发明实施例提供的面向电力设备的红外图像故障检测方法，利用训练集中的历史红外图像对YOLOv3模型进行训练，得到目标检测模型，以便今后能够利用该模型，对待检测红外图像上的电力设备进行自动识别，并得到电力设备的目标标注框，为后续的红外图像故障检测提供基础。
为了得到更加准确高效的目标检测模型，在本申请提供的面向电力设备的红外图像故障检测方法的一实施例中，参见图3，所述利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型，包括：
S301：将标注后的所述训练集输入至YOLOv3模型，得到初始检测模型；
可以理解的是，由于YOLOv3模型是一种用于目标检测的现有模型，那么将标注后的所述训练集输入至YOLOv3模型，可以得到初始检测模型。然而，初始检测模型并不成熟，如果直接将其应用于本方案中的目标检测过程，无法获得预期效果，因此还需对其进行完善。
S302：计算所述初始检测模型的损失函数，通过损失函数最优化方法，对所述初始检测模型的权值进行更新，得到中间目标检测模型；
可以理解的是，为了完善初始检测模型，得到中间目标检测模型，需计算初始检测模型的损失函数，这一过程体现为衡量训练集所对应的由LabelImg标注软件标注的目标标注框与利用初始检测模型标注的内容之间的误差。根据误差，利用损失函数最优化的方法，对初始检测模型的权值进行更新，直至完成指定次数的迭代，即可得到中间目标检测模型。
以上过程也可以理解为，利用训练集对初始检测模型进行拟合，在模型权值不断迭代的过程中，模型在训练集上产生的目标标注框与由LabelImg标注软件标注的目标标注框之间的误差逐渐减少，直至达到一定误差范围后终止训练，得到中间目标检测模型。误差的计算可利用损失函数最优化方法(使损失函数最优化的方法)实现，误差参数可设置为0.8。
S303：将标注前的测试集输入至训练得到的所述中间目标检测模型，输出测试标注框；
可以理解的是，目标检测模型训练好后，需用测试集对中间目标检测模型进行测试，测试其训练效果，即将标注前测试集中的历史红外图像输入至中间目标检测模型中，令中间目标检测模型对测试集中的历史红外图像中的电力设备进行标注，也称进行预测，得到测试标注框。对于测试集中的每一张历史红外图像而言，都有自己对应的若干测试标注框。
S304：将所述目标标注框与所述测试标注框进行比对；若比对结果不一致，则继续对中间模型进行训练，直至比对结果一致，得到最终的所述目标检测模型。
可以理解的是，将预先标注的测试集中的历史红外图像的目标标注框与目标检测模型对测试集中的历史红外图像进行标注(也称预测)得到的对应的测试标注框进行比对；若比对结果不一致，则继续对YOLOv3模型进行训练，直至比对结果一致，得到最终的目标检测模型。以上比对过程也可理解为，利用mAP公式计算目标检测模型对测试集中的历史红外图像进行自动标注的测试标注框的准确度。如果准确度达到满意，则认为比对结果一致，从而认为目标检测模型已经训练完成；否则，继续训练，直至得到满意的目标检测模型。
从上述描述可知，本发明实施例提供的面向电力设备的红外图像故障检测方法，利用测试集中的历史红外图像对目标检测模型的训练效果进行测试，最终得到满意的目标检测模型，以便后续可以对待检测红外图像检测，输出待检测红外图像中的电力设备类型及电力设备位置信息。
为了得到待检测红外图像中的电力设备类型及电力设备位置信息，在本申请提供的面向电力设备的红外图像故障检测方法的一实施例中，参见图4，所述将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息，包括：
S401：调整所述待检测红外图像的像素为标准值。
S402：将调整后的所述待检测红外图像输入至所述目标检测模型的特征提取网络，输出特征提取网络输出特征图；所述特征提取网络包含52层卷积层。
S403：对所述特征提取网络的所述特征提取网络输出特征图进行降维，得到y1特征图。
S404：将所述y1特征图与所述特征提取网络的第43层卷积层的残差模块输出特征图进行横向连接，得到y2特征图。
S405：对所述y2特征图进行特征降维及上采样，并与所述特征提取网络的第26层卷积层的残差模块输出特征层横向连接，得到y3特征图。
S406：在所述y1特征图、所述y2特征图及所述y3特征图上分别生成预测框，得到每个所述预测框对应的四维向量。
S407：若所述预测框中包含所述电力设备，则计算该预测框的坐标及该预测框中的所述电力设备属于预先设定的各所述电力设备类型的概率。
S408：根据所述概率确定所述电力设备类型，并利用所述四维向量确定所述电力设备位置信息。
在一具体实施例中，目标检测模型在标注好的训练集中训练，进行有监督的深度学习，总迭代次数为70000次，初始学习率为0.001，衰减系数为0.0005，采用小批量梯度下降法更新模型权重。
当待检测红外图像被输入至经预先训练的目标检测模型中时，检测步骤如下：
步骤(1)：本申请实施例中的FLIR系列红外热成像仪采集到的红外图像尺寸一般为640×512像素，为了后续计算，首先需将待检测红外图像的尺寸调整为416×416像素的标准值。
步骤(2)：将调整后的待检测红外图像输入至目标检测模型的特征提取网络，输出特征提取网络输出特征图；其中，特征提取网络的结构为改进后的Darknet-53卷积神经网络，参见图16和图17，其中图17为图16中所画虚线部分的具体结构。也就是说，特征提取网络去掉了Darknet53网络结构中最后的全连接层，仅包含52层卷积层，且每层卷积层后紧跟一层BN(Batch Normalization)层和一层LeakyReLU线性激活层。
待检测红外图像输入至特征提取网络后即为输入特征图，在一次前向传播的过程中，分别在第2层、5层、10层、27层、44层卷积层采用大小为3，步长为2的卷积核对其进行卷积计算，得到特征提取网络输出特征图。其中，每层卷积层对应的输出特征图的尺度均减小为该层输入特征图尺度的1/2，经过5次变换，特征图在最后一层，即第52层卷积层输出时，其特征维度为13×13×1024。
步骤(3)：根据特征提取网络输出特征图，经过卷积核为1x1大小的卷积计算进行特征降维，得到y1特征图，y2特征图，y3特征图，参见图17。
对步骤(2)中最后一层输出的特征维度为13×13×1024的特征图，采用256个大小为1×1的卷积核进行特征降维，得到y1特征图。y1特征图的特征维度为13×13×256。对y1特征图进行上采样，令其尺度增加为原来的2倍，再将其与网络输出特征图的第43层卷积层的残差模块输出特征图(特征维度为26×26×512)进行横向连接，得到y2特征图。y2特征图的特征维度为26×26×738。然后，采用128个尺度为1×1的卷积核对y2进行特征降维，将其特征维度降为26×26×128，再对其进行上采样，得到特征维度为52×52×128的特征图。最后，将特征维度为52×52×128的特征图与网络输出特征图的第26层卷积层的残差模块输出特征层(维度为52×52×256)横向连接得到y3特征图，y3特征图的特征维度为52×52×384。
y1特征图、y2特征图及y3特征图的尺寸大小不同，以便于下一步能够针对同一张待检测红外图像中近大远小显示的电力设备，都能更加准确地预测。其中，y2，y3为浅层输出特征图，更适合进行小目标的预测。
步骤(4)：在y1特征图、y2特征图及y3特征图上分别生成预测框，得到每个预测框对应的四维向量。
对y2特征图和y3特征图进行特征降维，使y1特征图、y2特征图及y3特征图的通道数均为256。然后，在y1特征图、y2特征图及y3特征图的每个像素点上分别生成三个不同比例和大小的预测框，即分别在y1特征图、y2特征图及y3特征图这三个尺度特征空间中产生预测框。三个不同比例和大小的预测框的尺寸分别为13×13×3、26×26×3和52×52×3。每个预测框由一个四维向量(x,y,w,h)唯一确定，x和y分别为预测框中心点的横纵坐标，w和h分别为预测框的宽高值。
步骤(5)：接下来需判定上述各个预测框内是否包含有电力设备，如包含，则计算该预测框的位置坐标及该预测框中电力设备属于预先设定的各电力设备类型的概率；根据概率确定电力设备类型，并利用每个预测框对应的唯一四维向量确定电力设备位置信息。
在步骤(5)中，首先依次对步骤(4)中y1特征图、y2特征图及y3特征图中的全部预测框进行判定，判定各个预测框中是否包含电力设备；若预测框中包含电力设备，则针对每个预测框，计算其包含每种电力设备类型的概率，并为此设定一个概率阈值，随后仅对概率高于该阈值的预测框进行保留。然后通过非极大值抑制算法去除三张特征图中预测内容重复的预测框，得到若干最优预测框。这些最优预测框共同构成了一张待检测红外图像中全部的电力设备内容。利用每个最优预测框对应的唯一四维向量确定电力设备位置信息。
其中，概率是对每个预测框进行逻辑回归计算所得，即分别计算各电力设备类型的sigmoid函数值，将得到的函数值映射至(0,1)区间上，所得映射即为预测框中待预测物属于某一电力设备类型的概率。
从上述描述可知，本发明实施例提供的面向电力设备的红外图像故障检测方法，通过将待检测红外图像输入至特征提取网络，得到特征提取网络输出特征图，再经过卷积计算，得到更适合电力设备类型预测的输出特征图，而后经过概率计算并结合预测框的四维向量，最终可以判断出待检测红外图像中所包含的全部电力设备类型及电力设备位置信息，为后续故障检测提供基础。
为了得到待检测红外图像的故障区域，在本申请提供的面向电力设备的红外图像故障检测方法的一实施例中，参见图5，所述利用颜色识别技术识别所述待检测红外图像的故障区域，包括：
S501：将所述待检测红外图像由RGB色彩空间转为HSV色彩空间。
可以理解的是，色彩空间是指三维颜色空间中的可见光子集，包含了某个颜色域中的所有颜色。常用的色彩空间主要有HSV、RGB以及CMYK等。通常数字图像的色彩空间都是RGB，但RGB三个分量会随光照变化而发生改变，不适合进行颜色识别。而在HSV色彩空间中，色调(hue)、对比度(saturation)和亮度(value)三要素较适合人的视觉系统。由于电力设备温度异常区域在红外图像上主要表现为偏黄或接近白色，因此，本申请可以基于颜色识别方法，识别红外图像故障区域。
基于上述，首先，本申请实施例将待检测红外图像的色彩空间由RGB转为HSV。RGB到HSV的转换公式如下：
V＝max{R,G,B}式(1)
Figure BDA0002638920490000131
Figure BDA0002638920490000132
S502：根据HSV故障颜色范围参考表从转为所述HSV色彩空间的所述待检测红外图像中，提取故障颜色范围区域，作为所述故障区域。
可以理解的是，在HSV色彩空间中，待检测红外图像的特征能够很好地被体现，更加符合人们视觉上对各种颜色的主观认识，在颜色识别中具有更高的鲁棒性。其中，色调(Hue)的参数范围为0-180，对比度(Saturation)的参数范围为0-255，亮度(Value)的参数范围为0-255。当电力设备存在电流致热型故障时，即存在温度异常时，HSV色彩空间中各颜色分量参数的范围参见表2。Hmin、Hmax、Smin、Smax、Vmin及Vmax分别表示当电力设备存在故障时，H、S、V三个颜色分量的最小值及最大值。在本实施例中，对于待检测红外图像的各个像素点而言，如果其H、S、V三个颜色分量的数值均落在表2中“白”这列或“黄”这列所示的故障颜色范围中，则可判定该像素点所对应的范围存在故障，即故障颜色范围，将这些范围整合起来即为故障区域。
举例而言，假设某个像素点的H、S、V三个颜色分量的数值分别为50、20、223，则对照表2，该像素点的H、S、V三个颜色分量的数值落在了“白”这列所示的故障颜色范围，则可判定该像素点所在的范围存在故障，即该像素点在故障颜色范围中。
表2 HSV故障颜色范围参考表
Figure BDA0002638920490000133
Figure BDA0002638920490000141
从上述描述可知，本发明实施例提供的面向电力设备的红外图像故障检测方法，通过将待检测红外图像的色彩空间由RGB转为HSV，再对照HSV故障颜色范围参考表，提取指定颜色的区域范围，作为故障区域，从而完成了在待检测红外图像上确定故障区域的工作。
为了方便后续对待检测红外图像的处理，在本申请提供的面向电力设备的红外图像故障检测方法的一实施例中，参见图6，所述的面向电力设备的红外图像故障检测方法还包括：
S601：根据所述故障区域，对所述待检测红外图像进行二值化处理。
可以理解的是，图像的二值化处理具体是针对待检测红外图像上的像素点，选定H、S、V三个颜色分量的数值符合表2中“白”这列所对应的H(0-180)、S(0-30)、V(221-255)及“黄”这列所对应的H(26-34)、S(43-255)、V(46-255)的区域；将选定的区域内的像素点的灰度值设置为255，其余像素点的灰度值设置为0。二值化后，电力设备红外图像可呈现明显的黑白效果。
从上述描述可知，本发明实施例提供的面向电力设备的红外图像故障检测方法，通过对待检测红外图像进行二值化，可以明显看到电力设备发生故障的区域，方便后续图像处理。
为了最终获得电力设备的故障位置，在本申请提供的面向电力设备的红外图像故障检测方法的一实施例中，参见图7，所述将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置，包括：
S701：遍历待检测红外图像中的所有所述目标标注框，检测是否存在所述故障区域。
S702：如果存在所述故障区域，则根据所述电力设备位置信息，生成所述目标标注框中的所述电力设备的故障位置。
可以理解的是，前述步骤通过目标检测模型识别出了待检测红外图像中电力设备类型及电力设备位置信息，并通过颜色识别技术实现了对待检测红外图像电力设备的故障区域分割，现将两者结合，即可准确判断发生故障的电力设备类型及电力设备位置信息，从而实现电力设备电流过热型故障的精准定位。
也就是说，首先，利用遍历算法，遍历所有目标标注框，检测各个目标标注框中是否存在所述故障区域。当发现有目标标注框中存在故障区域时，则结合前述步骤中的若干输出结果，生成该目标标注框对应的电力设备类型及电力设备位置信息，否则继续循环遍历其他目标标注框，并判断其中是否存在故障区域。最后，标出待检测红外图像中发生故障的全部电力设备类型及电力设备位置信息，实现红外图像电力设备故障的精准定位。
从上述描述可知，本发明实施例提供的面向电力设备的红外图像故障检测方法，通过将电力设备类型及电力设备位置信息与故障区域相结合，实现了红外图像变电设备故障的精准定位。
为了能够实现面向电力设备的红外图像故障检测，本申请提供一种面向电力设备的红外图像故障检测装置，参见图8，所述面向电力设备的红外图像故障检测装置具体包括：电力设备定位单元801，故障区域识别单元802及融合单元803。
电力设备定位单元801，用于获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息；
故障区域识别单元802，用于利用颜色识别技术识别所述待检测红外图像的故障区域；
融合单元803，用于将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置。
从上述描述可知，本申请实施例提供的面向电力设备的红外图像故障检测方法，能够利用目标检测模型获得电力设备类型及电力设备位置信息，并能够基于红外图像，利用颜色识别技术，获得电力设备的故障区域，并将电力设备类型及电力设备位置信息与对应的故障区域进行融合，最终获得电力设备的故障位置。在充分考虑到电力设备红外图像复杂性及电力设备运行机理与发热特性的基础上，排除了红外图像中所存在的大量背景干扰，实现了对电力设备类型及电力设备故障位置的精确判断；从而有效地解决了人工巡检效率低及工作量大的问题，实现了电力设备电流致热型故障的自动化检测及精准定位，极大地提升了电力设备红外图像的故障检测效率。
在本申请的面向电力设备的红外图像故障检测装置的一实施例中，参见图9，所述的面向电力设备的红外图像故障检测装置，还包括标注单元901和训练单元902。
标注单元901，用于根据历史红外图像构建训练集和测试集，并对所述训练集和所述测试集进行标注，得到所述电力设备的目标标注框；
训练单元902，用于利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型。
在本申请的面向电力设备的红外图像故障检测装置的一实施例中，参见图10，所述训练单元，包括初始检测模型生成模块1001、中间检测模型生成模块1002、测试标注框输出模块1003和比对模块1004。
初始检测模型生成模块1001，用于将标注前的所述训练集输入至YOLOv3模型，得到初始检测模型；中间目标检测模型生成模块1002，计算所述初始检测模型的损失函数，通过最优化损失函数的方法，对所述初始检测模型的权值进行更新，得到中间目标检测模型；
测试标注框输出模块1003，用于将标注前的测试集输入至训练得到的所述中间目标检测模型，输出测试标注框；
比对模块1004，将所述目标标注框与所述测试标注框进行比对；若比对结果不一致，则继续对YOLOv3模型进行训练，直至比对结果一致，得到最终的所述目标检测模型。
本申请的面向电力设备的红外图像故障检测装置的一实施例中，参见图11，所述电力设备定位单元，包括调整模块1101、特征提取网络输出特征图生成模块1102、y1特征图生成模块1103、y2特征图生成模块1104、y3特征图生成模块1105、预测框生成模块1106、概率计算模块1107及确定模块1108。
调整模块1101，用于调整所述待检测红外图像的像素为标准值；
特征提取网络输出特征图生成模块1102，用于将调整后的所述待检测红外图像输入至所述目标检测模型的特征提取网络，输出特征提取网络输出特征图；所述特征提取网络包含52层卷积层；
y1特征图生成模块1103，用于对所述特征提取网络输出特征图进行降维，得到y1特征图；
y2特征图生成模块1104，用于将所述y1特征图与所述特征提取网络的第43层卷积层的残差模块输出特征图进行横向连接，得到y2特征图；
y3特征图生成模块1105，用于对所述y2特征图进行特征降维及上采样后，与所述特征提取网络的第26层卷积层的残差模块输出特征图横向连接，得到y3特征图；
预测框生成模块1106，用于在所述y1特征图、所述y2特征图及所述y3特征图上分别生成预测框，得到每个所述预测框对应的四维向量；
概率计算模块1107，用于计算包含所述电力设备的所述预测框中的所述电力设备属于预先设定的各所述电力设备类型的概率；
确定模块1108，用于根据所述概率确定所述电力设备类型，并利用所述四维向量确定所述电力设备位置信息。
本申请的面向电力设备的红外图像故障检测装置的一实施例中，参见图12，所述故障区域识别单元，包括空间转化模块1201和故障区域提取模块1202。
空间转化模块1201，用于将所述待检测红外图像由RGB色彩空间转为HSV色彩空间；
故障区域提取模块1202，用于根据HSV故障颜色范围参考表从转为所述HSV色彩空间的所述待检测红外图像中，提取故障颜色范围区域，作为所述故障区域。
本申请的面向电力设备的红外图像故障检测装置的一实施例中，参见图13，所述故障区域识别单元，还包括二值化处理模块1301。
二值化处理模块1301，用于根据所述故障区域，对所述待检测红外图像进行二值化处理。
本申请的面向电力设备的红外图像故障检测装置的一实施例中，参见图14，所述融合单元，包括故障区域检测模块1401和坐标生成模块1402。
故障区域检测模块1401，用于遍历待检测红外图像中的所有所述目标标注框，检测是否存在所述故障区域；
坐标生成模块1402，用于如果根据所述电力设备位置信息，生成存在所述故障区域的所述目标标注框中的所述电力设备的故障位置。
从硬件层面来说，为了能够更好地实现面向电力设备的红外图像故障检测，本申请提供一种面向电力设备的红外图像故障检测方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现面向电力设备的红外图像故障检测装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的面向电力设备的红外图像故障检测方法的实施例，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)等。
在实际应用中，面向电力设备的红外图像故障检测方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图15为本申请实施例的电子设备9600的系统构成的示意框图。如图15所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图15是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，面向电力设备的红外图像故障检测方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
S101：获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息；
S102：利用颜色识别技术识别所述待检测红外图像的故障区域；
S103：将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置。
从上述描述可知，本申请实施例提供的面向电力设备的红外图像故障检测方法，能够利用目标检测模型获得电力设备类型及电力设备位置信息，并能够基于红外图像，利用颜色识别技术，获得电力设备的故障区域，并将电力设备类型及电力设备位置信息与对应的故障区域进行融合，最终获得电力设备的故障位置。在充分考虑到电力设备红外图像复杂性及电力设备运行机理与发热特性的基础上，排除了红外图像中所存在的大量背景干扰，实现了对电力设备类型及电力设备故障位置的精确判断；从而有效地解决了人工巡检效率低及工作量大的问题，实现了电力设备电流致热型故障的自动化检测及精准定位，极大地提升了电力设备红外图像的故障检测效率。
在另一个实施方式中，面向电力设备的红外图像故障检测装置可以与中央处理器9100分开配置，例如可以将面向电力设备的红外图像故障检测装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现面向电力设备的红外图像故障检测方法功能。
如图15所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图15中所示的所有部件；此外，电子设备9600还可以包括图15中没有示出的部件，可以参考现有技术。
如图15所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的面向电力设备的红外图像故障检测方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的面向电力设备的红外图像故障检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S101：获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息；
S102：利用颜色识别技术识别所述待检测红外图像的故障区域；
S103：将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置。
从上述描述可知，本申请实施例提供的面向电力设备的红外图像故障检测方法，能够利用目标检测模型获得电力设备类型及电力设备位置信息，并能够基于红外图像，利用颜色识别技术，获得电力设备的故障区域，并将电力设备类型及电力设备位置信息与对应的故障区域进行融合，最终获得电力设备的故障位置。在充分考虑到电力设备红外图像复杂性及电力设备运行机理与发热特性的基础上，排除了红外图像中所存在的大量背景干扰，实现了对电力设备类型及电力设备故障位置的精确判断；从而有效地解决了人工巡检效率低及工作量大的问题，实现了电力设备电流致热型故障的自动化检测及精准定位，极大地提升了电力设备红外图像的故障检测效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种面向电力设备的红外图像故障检测方法，其特征在于，包括：
获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息；
利用颜色识别技术识别所述待检测红外图像的故障区域；
将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置。
2.根据权利要求1所述的面向电力设备的红外图像故障检测方法，其特征在于，预先训练所述目标检测模型的步骤，包括：
根据历史红外图像构建训练集和测试集，并对所述训练集和所述测试集进行标注，得到所述电力设备的目标标注框；
利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型。
3.根据权利要求2所述的面向电力设备的红外图像故障检测方法，其特征在于，所述利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型，包括：
将标注后的所述训练集输入至YOLOv3模型，得到初始检测模型；
计算所述初始检测模型的损失函数，通过损失函数最优化方法，对所述初始检测模型的权值进行更新，得到中间检测模型；
将标注前的测试集输入至所述中间目标检测模型，输出测试标注框；
将所述目标标注框与所述测试标注框进行比对；若比对结果不一致，则继续对YOLOv3模型进行训练，直至比对结果一致，得到最终的所述目标检测模型。
4.根据权利要求1所述的面向电力设备的红外图像故障检测方法，其特征在于，所述将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息，包括：
调整所述待检测红外图像的像素为标准值；
将调整后的所述待检测红外图像输入至所述目标检测模型的特征提取网络，输出特征提取网络输出特征图；所述特征提取网络包含52层卷积层；
对所述特征提取网络输出特征图进行降维，得到y1特征图；
将所述y1特征图与所述特征提取网络的第43层卷积层的残差模块输出特征图进行横向连接，得到y2特征图；
对所述y2特征图进行特征降维及上采样后，与所述特征提取网络的第26层卷积层的残差模块输出特征图横向连接，得到y3特征图；
在所述y1特征图、所述y2特征图及所述y3特征图上分别生成预测框，得到每个所述预测框对应的四维向量；
若所述预测框中包含所述电力设备，则计算该预测框的坐标及该预测框中的所述电力设备属于预先设定的各所述电力设备类型的概率；
根据所述概率确定所述电力设备类型，并利用所述四维向量确定所述电力设备位置信息。
5.根据权利要求1所述的面向电力设备的红外图像故障检测方法，其特征在于，所述利用颜色识别技术识别所述待检测红外图像的故障区域，包括：
将所述待检测红外图像由RGB色彩空间转为HSV色彩空间；
根据HSV故障颜色范围参考表从转为所述HSV色彩空间的所述待检测红外图像中，提取故障颜色范围区域，作为所述故障区域。
6.根据权利要求5所述的面向电力设备的红外图像故障检测方法，其特征在于，还包括：
根据所述故障区域，对所述待检测红外图像进行二值化处理。
7.根据权利要求1所述的面向电力设备的红外图像故障检测方法，其特征在于，所述将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置，包括：
遍历待检测红外图像中的所有所述目标标注框，检测是否存在所述故障区域；
如果存在所述故障区域，则生成所述目标标注框中的所述故障区域的坐标。
8.一种面向电力设备的红外图像故障检测装置，其特征在于，包括：
电力设备定位单元，用于获取电力设备的待检测红外图像，并将所述待检测红外图像输入至经预先训练的目标检测模型，得到所述待检测红外图像中的电力设备类型及电力设备位置信息；
故障区域识别单元，用于利用颜色识别技术识别所述待检测红外图像的故障区域；
融合单元，用于将所述电力设备类型及所述电力设备位置信息与对应的所述故障区域进行融合，获得电力设备的故障位置。
9.根据权利要求8所述的面向电力设备的红外图像故障检测装置，其特征在于，还包括：
标注单元，根据历史红外图像构建训练集和测试集，并对所述训练集和所述测试集进行标注，得到所述电力设备的目标标注框；
训练单元，利用标注后的所述训练集对YOLOv3模型进行训练，得到所述目标检测模型。
10.根据权利要求9所述的面向电力设备的红外图像故障检测装置，其特征在于，所述训练单元，包括：
初始检测模型生成模块，用于将标注后的所述训练集输入至YOLOv3模型，得到初始检测模型；
中间检测模型生成模块，用于计算所述初始检测模型的损失函数，通过损失函数最优化方法，对所述初始检测模型的权值进行更新，得到中间目标检测模型；
测试标注框输出模块，用于将标注前的测试集输入至所述中间目标检测模型，输出测试标注框；
比对模块，用于将所述目标标注框与所述测试标注框进行比对；若比对结果不一致，则继续对中间模型进行训练，直至比对结果一致，得到最终的所述目标检测模型。
11.根据权利要求8所述的面向电力设备的红外图像故障检测装置，其特征在于，所述电力设备定位单元，包括：
调整模块，用于调整所述待检测红外图像的像素为标准值；
特征提取网络输出特征图生成模块，用于将调整后的所述待检测红外图像输入至所述目标检测模型的特征提取网络，输出特征提取网络输出特征图；所述特征提取网络包含52层卷积层；
y1特征图生成模块，用于对所述特征提取网络输出特征图进行降维，得到y1特征图；
y2特征图生成模块，用于将所述y1特征图与所述特征提取网络的第43层卷积层的残差模块输出特征图进行横向连接，得到y2特征图；
y3特征图生成模块，用于对所述y2特征图进行特征降维及上采样后，与所述特征提取网络的第26层卷积层的残差模块输出特征图横向连接，得到y3特征图；
预测框生成模块，用于在所述y1特征图、所述y2特征图及所述y3特征图上分别生成预测框，得到每个所述预测框对应的四维向量；
概率计算模块，用于计算包含所述电力设备的所述预测框中的所述电力设备属于预先设定的各所述电力设备类型的概率；
确定模块，用于根据所述概率确定所述电力设备类型，并利用所述四维向量确定所述电力设备位置信息。
12.根据权利要求8所述的面向电力设备的红外图像故障检测装置，其特征在于，所述故障区域识别单元，包括：
空间转化模块，用于将所述待检测红外图像由RGB色彩空间转为HSV色彩空间；
故障区域提取模块，用于根据HSV故障颜色范围参考表从转为所述HSV色彩空间的所述待检测红外图像中，提取故障颜色范围区域，作为所述故障区域。
13.根据权利要求12所述的面向电力设备的红外图像故障检测装置，其特征在于，所述故障区域识别单元，还包括：
二值化处理模块，用于根据所述故障区域，对所述待检测红外图像进行二值化处理。
14.根据权利要求8所述的面向电力设备的红外图像故障检测装置，其特征在于，所述融合单元，包括：
故障区域检测模块，用于遍历待检测红外图像中的所有所述目标标注框，检测是否存在所述故障区域；
坐标生成模块，用于如果根据所述电力设备位置信息，生成存在所述故障区域的所述目标标注框中的所述电力设备的故障位置。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述面向电力设备的红外图像故障检测方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述面向电力设备的红外图像故障检测方法的步骤。
CN202010833710.8A 2020-08-18 2020-08-18 一种面向电力设备的红外图像故障检测方法及装置 Pending CN111986172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010833710.8A CN111986172A (zh) 2020-08-18 2020-08-18 一种面向电力设备的红外图像故障检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010833710.8A CN111986172A (zh) 2020-08-18 2020-08-18 一种面向电力设备的红外图像故障检测方法及装置

Publications (1)

Publication Number Publication Date
CN111986172A true CN111986172A (zh) 2020-11-24

Family

ID=73434692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010833710.8A Pending CN111986172A (zh) 2020-08-18 2020-08-18 一种面向电力设备的红外图像故障检测方法及装置

Country Status (1)

Country Link
CN (1) CN111986172A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562698A (zh) * 2020-12-02 2021-03-26 国网山西省电力公司大同供电公司 一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法
CN112697798A (zh) * 2020-12-07 2021-04-23 国网信息通信产业集团有限公司 面向红外图像的变电设备电流致热型缺陷的诊断方法和装置
CN112714284A (zh) * 2020-12-22 2021-04-27 全球能源互联网研究院有限公司 一种电力设备检测方法、装置及移动终端
CN113239731A (zh) * 2021-04-12 2021-08-10 国网吉林省电力有限公司电力科学研究院 断路器热故障红外热像谱的图像数字特征提取方法
CN114323302A (zh) * 2021-12-14 2022-04-12 国网电力科学研究院武汉南瑞有限责任公司 一种氧化锌避雷器故障智能识别方法
CN115113637A (zh) * 2022-07-13 2022-09-27 中国科学院地质与地球物理研究所 基于5g和人工智能的无人化地球物理巡检系统及方法
CN115619778A (zh) * 2022-12-06 2023-01-17 南京迈能能源科技有限公司 一种电力设备缺陷识别方法、系统、可读存储介质及设备
WO2023092759A1 (zh) * 2021-11-25 2023-06-01 浙江天铂云科光电股份有限公司 基于温度视觉的智能检测方法、装置及电子设备
CN116681687A (zh) * 2023-06-20 2023-09-01 广东电网有限责任公司广州供电局 基于计算机视觉的导线检测方法、装置和计算机设备
CN116859174A (zh) * 2023-09-05 2023-10-10 深圳市鸿明机电有限公司 一种高压变电机柜电气部件在线状态监控系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107607207A (zh) * 2017-08-22 2018-01-19 中国科学院深圳先进技术研究院 一种电力设备热故障诊断方法、系统及电子设备
KR20180135827A (ko) * 2018-12-11 2018-12-21 전주비전대학교산학협력단 드론과 ｇｉｓ를 사용한 이상 발열 태양광 모듈 검출 방법
CN109101906A (zh) * 2018-07-27 2018-12-28 中国南方电网有限责任公司超高压输电公司贵阳局 一种变电站电力设备红外图像异常实时检测方法及装置
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110598736A (zh) * 2019-08-06 2019-12-20 西安理工大学 一种电力设备红外图像故障定位、识别与预测方法
US20200026960A1 (en) * 2018-07-17 2020-01-23 Nvidia Corporation Regression-based line detection for autonomous driving machines
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107607207A (zh) * 2017-08-22 2018-01-19 中国科学院深圳先进技术研究院 一种电力设备热故障诊断方法、系统及电子设备
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
US20200026960A1 (en) * 2018-07-17 2020-01-23 Nvidia Corporation Regression-based line detection for autonomous driving machines
CN109101906A (zh) * 2018-07-27 2018-12-28 中国南方电网有限责任公司超高压输电公司贵阳局 一种变电站电力设备红外图像异常实时检测方法及装置
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
KR20180135827A (ko) * 2018-12-11 2018-12-21 전주비전대학교산학협력단 드론과 ｇｉｓ를 사용한 이상 발열 태양광 모듈 검출 방법
CN110598736A (zh) * 2019-08-06 2019-12-20 西安理工大学 一种电力设备红外图像故障定位、识别与预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘云鹏;裴少通;武建华;纪欣欣;梁利辉;: "基于深度学习的输变电设备异常发热点红外图片目标检测方法", 南方电网技术, no. 02 *
贾鑫;张惊雷;温显斌;: "双监督信号深度学习的电气设备红外故障识别", 红外与激光工程, no. 07 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562698A (zh) * 2020-12-02 2021-03-26 国网山西省电力公司大同供电公司 一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法
CN112697798A (zh) * 2020-12-07 2021-04-23 国网信息通信产业集团有限公司 面向红外图像的变电设备电流致热型缺陷的诊断方法和装置
CN112697798B (zh) * 2020-12-07 2023-03-31 国网信息通信产业集团有限公司 面向红外图像的变电设备电流致热型缺陷的诊断方法和装置
CN112714284A (zh) * 2020-12-22 2021-04-27 全球能源互联网研究院有限公司 一种电力设备检测方法、装置及移动终端
CN113239731A (zh) * 2021-04-12 2021-08-10 国网吉林省电力有限公司电力科学研究院 断路器热故障红外热像谱的图像数字特征提取方法
CN113239731B (zh) * 2021-04-12 2022-06-14 国网吉林省电力有限公司电力科学研究院 断路器热故障红外热像谱的图像数字特征提取方法
WO2023092759A1 (zh) * 2021-11-25 2023-06-01 浙江天铂云科光电股份有限公司 基于温度视觉的智能检测方法、装置及电子设备
CN114323302A (zh) * 2021-12-14 2022-04-12 国网电力科学研究院武汉南瑞有限责任公司 一种氧化锌避雷器故障智能识别方法
CN115113637A (zh) * 2022-07-13 2022-09-27 中国科学院地质与地球物理研究所 基于5g和人工智能的无人化地球物理巡检系统及方法
CN115619778A (zh) * 2022-12-06 2023-01-17 南京迈能能源科技有限公司 一种电力设备缺陷识别方法、系统、可读存储介质及设备
CN116681687A (zh) * 2023-06-20 2023-09-01 广东电网有限责任公司广州供电局 基于计算机视觉的导线检测方法、装置和计算机设备
CN116859174A (zh) * 2023-09-05 2023-10-10 深圳市鸿明机电有限公司 一种高压变电机柜电气部件在线状态监控系统

Similar Documents

Publication Publication Date Title
CN111986172A (zh) 一种面向电力设备的红外图像故障检测方法及装置
CN108846418B (zh) 一种电缆设备温度异常定位与识别方法
CN115496740A (zh) 基于卷积神经网络的镜片缺陷检测方法及其系统
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN113344852A (zh) 一种电力场景通用物品的目标检测方法、装置及存储介质
CN110930386A (zh) 图像处理方法、装置、设备及存储介质
CN114782769A (zh) 训练样本的生成方法、装置、系统及目标对象的检测方法
CN114119528A (zh) 一种配电线路绝缘子的缺陷检测方法及装置
CN113592839A (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统
CN113139730A (zh) 一种基于数字孪生模型的电力设备状态评估方法及系统
CN113191336B (zh) 基于图像识别的电力隐患识别方法及系统
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN113269730B (zh) 图像处理方法、装置、计算机设备及存储介质
CN115690505A (zh) 光伏组件故障检测方法、装置、计算机设备及存储介质
CN112634382B (zh) 一种非自然对象的图像识别、替换方法和装置
CN115112661A (zh) 一种缺陷检测方法、装置、计算机设备和存储介质
CN114299307A (zh) 一种输电线路图像标注方法及相关装置
CN109684948B (zh) 检测物体网孔异常的方法、装置及系统
CN114255193A (zh) 一种板卡图像增强方法、装置、设备及可读存储介质
CN113537398A (zh) 颜值评估模型训练方法及组件，颜值评估方法及组件
CN113936134A (zh) 一种目标检测方法及装置
CN111768333A (zh) 标识去除方法、装置、设备及存储介质
JP2021069169A (ja) 検査システム及び検査方法
CN116523803B (zh) 图像处理方法、阴影去除方法、装置、设备和存储介质
US20220172453A1 (en) Information processing system for determining inspection settings for object based on identification information thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination