CN111598843B - 基于深度学习的电力变压器呼吸器目标缺陷检测方法 - Google Patents

基于深度学习的电力变压器呼吸器目标缺陷检测方法 Download PDF

Info

Publication number
CN111598843B
CN111598843B CN202010331940.4A CN202010331940A CN111598843B CN 111598843 B CN111598843 B CN 111598843B CN 202010331940 A CN202010331940 A CN 202010331940A CN 111598843 B CN111598843 B CN 111598843B
Authority
CN
China
Prior art keywords
dense
map
defect detection
respirator
network module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010331940.4A
Other languages
English (en)
Other versions
CN111598843A (zh
Inventor
杨莎
熊纬
张昭
陈亮
黄树欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Original Assignee
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Technology Co Ltd, NARI Nanjing Control System Co Ltd filed Critical Nari Technology Co Ltd
Priority to CN202010331940.4A priority Critical patent/CN111598843B/zh
Publication of CN111598843A publication Critical patent/CN111598843A/zh
Application granted granted Critical
Publication of CN111598843B publication Critical patent/CN111598843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的变压器呼吸器目标缺陷检测方法，包括：构建变压器呼吸器缺陷的标识数据集；构建变压器呼吸器目标缺陷检测模型，缺陷检测模型包括基于DenseNet的主干网络模块和与基于CenterNet的检测网络模块，主干网络模块与检测网络模块连接；利用标识数据集对缺陷检测模型进行训练得到优化的目标缺陷检测模型；将待检测的变压器呼吸器的图片输入优化的目标缺陷检测模型进行缺陷检测。本申请的方法在提升CNN学习能力的同时实现了模型轻量化设计，在一定程度上克服了硬件制造技术与复杂环境对识别准确率的影响，提高变压器呼吸器目标缺陷检测的效率和准确率。

Description

基于深度学习的电力变压器呼吸器目标缺陷检测方法
技术领域
本发明涉及变压器优化，具体涉及一种基于深度学习的电力变压器呼吸器目标缺陷检测方法。
背景技术
在电力系统中，变压器能否正常的运行直接关系到整个电力系统的稳定与安全。变压器若与未经净化的空气直接接触，吸入了空气中的杂质和水分后，整台变压器的变压器油就会变质；尤其对于大中型变压器，因其体积大、接触面广，变压器油更易受潮。如何提高变压器的安全稳定，确保其正常工作，是电力部门非常关注的问题。变压器吸湿器(又称变压器呼吸器，或者变压器干燥剂)是一种装有变色硅胶等吸湿材料的玻璃容器，能够过滤空气中水分、使得干燥纯净的空气进入主变，防止变压器绝缘油老化。电网中使用的大中型变压器一般都配备有这种呼吸器作为重要的保护部件。如果呼吸器未安装或者吸湿变色后长期没有被更换，维修人员无法通过变压器油色的变化来诊断其是否受潮变质，不仅会烧坏变压器，还会威胁其他带电线路的安全稳定运行。
在变电站智能巡检的实际落地应用中，对变压器呼吸器的状态或者缺陷的判别较多采用运维人员定期巡检或者基于智能巡检机器人的图像识别方式。人工巡检方式效率低，人力成本高，不能很好满足日益增加的电网业务需求。基于智能巡检机器人的图像识别技术较多采用传统的目标检测方式，利用窗口遍历的方式寻找目标可能存在的位置，需要手工的选择特征，其过程复杂，对于目标检测效果的优劣完全取决于研究人员的先验知识；以窗口区域遍历图像的方式检测目标，在检测过程中有很多冗余窗口，时间复杂度高，并且对于小目标、密集目标、形变较严重的目标、遮挡面积大的目标检测效果不理想。
基于CNN的目标检测方法占有主导地位，成为现如今较为先进的方法，主要分为以下几类：1)基于候选区域(Region Proposal，RP)的方法SPP-net、Fast R-CNN、Faster R-CNN、R-FCN和Mask R-CNN等；2)基于回归的方法YOLO和SSD，YOLOv2，YOLOv3等；3)基于Anchor-Free的single-stage detector方法CornerNet和CenterNet。上述在诸如电力设备的目标检测之类的计算机视觉任务上显示出强大的功能，但在对电力变压器呼吸器检测过程中，也存在一些问题：
(1)由于变压器呼吸器设备缺陷多样、背景复杂，基于候选区域的方法较为复杂，候选区域计算冗余，占用资源较大，不符合实时性准则。
(2)基于回归的方法需要设计者根据先验知识设计回归框的宽高比例以及大小，不利于对缺陷多样、颜色丰富、背景复杂的变压器呼吸器的检测，漏检较多。
(3)一些少数的对呼吸器识别的应用案例也较大程度地依赖于昂贵的计算资源，当扩展神经网络的体系结构使得神经网络变得更深和更广泛的同时，通常也会带来更繁重的计算量。
发明内容
发明目的：本申请的目的在于提供一种基于深度学习的电力变压器呼吸器目标缺陷检测方法，以解决现有检测方法计算量大、准确性低的问题。
技术方案：本发明提供了一种基于深度学习的变压器呼吸器目标缺陷检测方法，包括：
(1)基于预先设定的缺陷标定规则对采集的图片进行标定和存储，构建变压器呼吸器缺陷的标识数据集；
(2)构建变压器呼吸器目标缺陷检测模型，缺陷检测模型包括基于DenseNet的主干网络模块和与基于CenterNet的检测网络模块，主干网络模块与检测网络模块连接；
主干网络模块用于提取变压器呼吸器的特征图；检测网络模块用于根据特征图进行缺陷检测；
(3)利用标识数据集对缺陷检测模型进行训练，通过迭代训练得到优化的目标缺陷检测模型；
(4)将待检测的变压器呼吸器的图片输入优化的目标缺陷检测模型进行缺陷检测。
进一步地，主干网络模块包括密集子模块以及与其相连的卷积层子模块；
密集子模块包括四个依次连接的密集单元，前一密集单元的输出作为后一密集单元的输入；每个密集单元包括密集块、第一过渡层及第二过渡层；
卷积层子模块包括三个依次连接的卷积层；
输入特征图从密集子模块输入，后经卷积子模块输出得到变压器呼吸器的特征图。
进一步地，每个密集块包括多个密集层，通过多个密集层与第一过渡层、第二过渡层结合进行片段改进，包括：
(11)将输入特征图通过分隔通道拆分成第一基础特征x′0和第二基础特征x″0；
(12)将第二基础特征与当前密集块中的所有密集层依次进行卷积操作，得到当前密集块的输出[x′0，x1,…xn]，n为当前密集块中的密集层数量；
(13)将当前密集层的输出[x′0，x1,…xn]与第一过渡层进行卷积，得到第一过渡层的输出xT；
(14)将第一过渡层的输出xT与第一基础特征x′0串联后与第二过渡层卷积，将得到的第二过渡层的输出xU作为当前密集单元的改进输出。
进一步地，检测网络模块包括高斯半径自适应的高斯滤波器，高斯滤波器通过以下步骤进行构建：
将输入的特征图定义为I∈RW×h×3，其中W为输入图像的宽，H为输入图像的高，R为图像缩放比例，即输入特征图与输出热力图的大小比值；
通过CenterNet在特征图中心点标记标签，记中心点的位置为p∈R2；
将中心点对应到低分辨率图上，得到低分辨率图上对应的中心点坐标
Figure BDA0002465259650000031
Figure BDA0002465259650000032
其中R为CenterNet输入与输出的比值；
将低分辨率图的中心点坐标
Figure BDA0002465259650000033
通过高斯核函数得到低分辨中心点标签热力图；
根据低分辨中心点标签热力图的尺寸的确定高斯分布的标准差，进而构建高斯滤波器的高斯核。
进一步地，将低分辨率图的中心点坐标
Figure BDA0002465259650000034
通过高斯核函数得到标签热力图包括：
将中心点坐标
Figure BDA0002465259650000035
通过高斯核函数
Figure BDA0002465259650000036
生成为关键中心热力图
Figure BDA0002465259650000037
其中，C表示变压器呼吸器缺陷类别的数目；
Figure BDA0002465259650000038
为中心点的坐标值；Yxyc＝1是一个检测到目标的预测值，是表示在(x,y)坐标检测到了变压器呼吸器这种c类别缺陷的目标，而Yxyc＝0表示在当前(x,y)坐标中不存在类别为c的呼吸器缺陷检测目标。
当中心位置
Figure BDA0002465259650000041
对应的Yxyc＝1时为标签热力图。
进一步地，高斯滤波器的高斯核表示为：
Figure BDA0002465259650000042
其中，标准差s表示为：
Figure BDA0002465259650000043
其中，w为低分辨中心点标签热力图的宽；h为低分辨中心点标签热力图的高；o为超参数，表示高斯分布的标准差与w的最小比值。
进一步地，检测网络模块通过以下步骤进行检测：
(21)将特征图经过CenterNet处理，得到用于预测呼吸器中心点类别以及位置的初始位置热图U0、用于预测呼吸器宽高的宽高热图Ywh以及用于预测呼吸器偏置的偏置热图Yoff；
(22)针对初始位置热图进行三种不同扩张率的空洞卷积，得到感受野尺度不同的第一位置热图U1、第二位置热图U2和第三位置热图U3；
(23)将初始位置热图U0、第一位置热图U1、第二位置热图U2和第三位置热图U3根据高斯加权结构进行加性融合得到最终位置热图Yhm；
(24)将最终位置热图Yhm、宽高热图Ywh以及偏置热图Yoff分别与标签热力图求取交叉熵损失函数，以供训练网络参数。
进一步地，三种不同扩张率可根据高斯滤波器中高斯分布的标准差倍数进行确定。
进一步地，最终位置热图Yhm具体表示为：
Figure BDA0002465259650000044
Figure BDA0002465259650000045
其中，Wi为第i位置热图Ui的权重,H(·)为高斯滤波器的高斯核。
有益效果：与现有技术相比，本申请的方法在提升CNN学习能力的同时实现了模型轻量化设计，在一定程度上克服了硬件制造技术与复杂环境对识别准确率的影响，在效率和准确率方面表现出色。
附图说明
图1为本申请的目标缺陷检测方法的流程示意图；
图2为本申请构建目标缺陷检测模型的流程图；
图3为本申请中主干网络模块的结构示意图；
图4为本申请中单个密集单元的结构示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步描述：
本发明提供了一种基于深度学习的变压器呼吸器目标缺陷检测方法，如图1所示，包括：
S101基于预先设定的缺陷标定规则对采集的图片进行标定和存储，构建变压器呼吸器缺陷的标识数据集。
具体地，可通过电力巡检机器人自主巡检拍摄或监控系统相关高清视频设备或其他适当的方式采集呼吸器图片。将采集的变压器呼吸器的图片经过图像裁剪、旋转、缩放和增加困难样本等预处理后，按照预先设定的变压器呼吸器缺陷标定规则进行标定和存储，为模型训练提供数据支撑。
在本申请的实施例中，预先设定的缺陷标定规则包括缺陷的类别及对应的标签。缺陷类别包括：“呼吸器”、“呼吸器正常”、“油封破损”、“硅胶桶破损”、“硅胶变色”五种状态。具体需要注意：
①硅胶筒破损类应标注发生破损的整个硅胶筒区域，标签名称为“呼吸器_硅胶筒破损(hxq_gjtps)”；
②呼吸器硅胶变色应标注无遮挡的发生变色现象呼吸器的整个硅胶筒区域，标签名称为“呼吸器硅胶变色(hxq_gjbs)”；
③油封破损应标注发生破损的整个油封区域，标签名称为“呼吸器_油封破损(hxq_yfps)”；
④对存在缺陷的整个呼吸器区域进行标注，标签名称为“呼吸器(hxq)”；
⑤对无缺陷的呼吸器进行标注，标签名称为“呼吸器_正常(hxq_zc)”。
利用LabelImg工具对照缺陷类别对预处理后的图片按照变压器呼吸器5种缺陷类别对应的标注名称进行标注，经过人脑学习过程和人工标注过程，输出对应的XML标注文件，里面包含标注目标的标签名称、左上角和右下角坐标。将建立好的标识数据集按比例分为训练集、测试集。
S102构建变压器呼吸器目标缺陷检测模型CenterNet-DN，如图2所示，缺陷检测模型包括基于DenseNet的主干网络模块和与基于CenterNet的检测网络模块，主干网络模块与检测网络模块连接；主干网络模块用于提取变压器呼吸器的特征图；检测网络模块用于根据特征图进行缺陷检测。
具体地，如图3所示，主干网络模块包括密集子模块301以及与其相连的卷积层子模块302。其中，密集子模块301包括四个依次连接的密集单元，前一密集单元的输出作为后一密集单元的输入；卷积层子模块包括三个依次连接的卷积层；输入特征图从密集子模块输入，后经卷积子模块输出得到变压器呼吸器的特征图。
如图4所示，每个密集单元包括密集块401、第一过渡层402及第二过渡层403。密集块的结构每个密集块包括多个密集层，通过多个密集层与第一过渡层、第二过渡层结合进行片段改进，包括：
(11)将输入特征图通过分隔通道拆分成第一基础特征x′0和第二基础特征x′0′；
(12)将第二基础特征与当前密集块中的所有密集层依次进行卷积操作，得到当前密集块的输出[x′0，x1,…xn]，n为当前密集块中的密集层数量；
(13)将当前密集层的输出[x′0，x1,…xn]与第一过渡层进行卷积，得到第一过渡层的输出xT；
(14)将第一过渡层的输出xT与第一基础特征x′0串联后与第二过渡层卷积，将得到的第二过渡层的输出xU作为当前密集单元的改进输出。
上述改进步骤可通过以下公式表示：
xk＝wk*[x″0,x1,…xk-1]
xT＝wT*[x″0,x1,…xk]
xU＝wU*[x′0,…xT]
其中，wk是第k个密集层的权重；xk是第k个密集层的卷积输出，是以wk为权重系数进行x″0与[x1,…xk-1]的级联特征融合输出；xT是第一过渡层的卷积输出，是以wT为权重系数进行x″0与[x1,…xk]的级联特征融合输出；xU是以wU为权重系数进行x′0与xT的串联后再经过第二过渡层的卷积输出。
主干网络模块以DenseNet网络为基础进行梯度分流改进设计，有效防止网络模型过拟合，提高了变压器呼吸器特征的表征能力，大大缩小了模型规模，检测速度快以及检测效果好。
检测网络模块包括高斯半径自适应的高斯滤波器，该滤波器为标准差自适应的高斯滤波器，用于在输出特征映射上模拟与标签热力图相近的热力值分布，更加准确的预测出变压器呼吸器所在位置。高斯滤波器通过以下步骤进行构建：
①将输入的特征图定义为I∈RW×h×3；其中W为输入图像的宽；H为输入图像的高；R为图像缩放比例，即输入特征图与输出热力图的大小比值；3表示通道数量。
②通过CenterNet在特征图中心点标记标签，记中心点的位置为p∈R2。
③将中心点对应到低分辨率图上，得到低分辨率图上对应的中心点坐标
Figure BDA0002465259650000071
Figure BDA0002465259650000072
其中R为CenterNet输入与输出的比值。
④将低分辨率图的中心点坐标
Figure BDA0002465259650000073
通过高斯核函数得到低分辨中心点标签热力图。
具体地，将中心点坐标
Figure BDA0002465259650000074
通过下列高斯核函数生成为关键中心热力图
Figure BDA0002465259650000075
Figure BDA0002465259650000076
其中，
Figure BDA0002465259650000077
为中心点的坐标值；标准差σp表征点(x,y)与中心点
Figure BDA0002465259650000078
Figure BDA0002465259650000079
的离散程度；C表示变压器呼吸器缺陷类别的数目；
Figure BDA00024652596500000710
为中心点的坐标值；Yxyc＝1是一个检测到目标的预测值，是表示在(x,y)坐标检测到了变压器呼吸器这种c类别缺陷的目标，而Yxyc＝0表示在当前(x,y)坐标中不存在类别为c的呼吸器缺陷检测目标。
当中心位置
Figure BDA00024652596500000711
对应的Yxyc＝1时为标签热力图。
周围坐标点对应的值呈高斯分布即距离中心点越远的位置对应的值越低，超过中心点高斯分布的标准差范围的位置对应的值为0。CenterNet在训练过程中直接将输出特征映射与低分辨中心点标签热力图求交叉熵损失，在预测过程中，直接取输出特征映射的最大响应值为目标的中心，其余点全为负样本。
⑤根据低分辨中心点标签热力图的尺寸的确定高斯分布的标准差，进而构建高斯滤波器的高斯核。
高斯滤波器的高斯核表示为：
Figure BDA0002465259650000081
其中，标准差s表示为：
Figure BDA0002465259650000082
其中，w为低分辨中心点标签热力图的宽；h为低分辨中心点标签热力图的高；o为超参数，表示高斯分布的标准差与w的最小比值。
如图2所示，基于构建的高斯滤波器，检测网络模块通过以下步骤进行检测：
(21)将特征图经过CenterNet处理，得到用于预测呼吸器中心点类别以及位置的初始位置热图U0、用于预测呼吸器宽高的宽高热图Ywh以及用于预测呼吸器偏置的偏置热图Yoff。
(22)针对初始位置热图进行三种不同扩张率的空洞卷积，得到感受野尺度不同的第一位置热图U1、第二位置热图U2和第三位置热图U3；三种不同扩张率可根据高斯滤波器中高斯分布的标准差倍数进行确定，例如设置为标准差s的1、0.5、0.25倍。在具体实施例中，空洞卷积滤波器的大小为3*3；三种不同扩张率的空洞卷积的输入通道数为64，输出通道数为类别数；设定输出通道为5。
(23)将初始位置热图U0、第一位置热图U1、第二位置热图U2和第三位置热图U3根据高斯加权结构进行加性融合得到最终位置热图Yhm；
最终位置热图Yhm具体表示为：
Figure BDA0002465259650000083
Figure BDA0002465259650000084
其中，Wi为第i位置热图Ui的权重,H(·)为高斯滤波器的高斯核。
(24)将最终位置热图Yhm、宽高热图Ywh以及偏置热图Yoff分别与标签热力图求取交叉熵损失函数，以供训练网络参数。从而训练和预测出变压器呼吸器的高和宽，变压器呼吸器的中心点的位置以及类别概率，中心点位置的偏移。
CenterNet在训练过程中直接将输出特征映射与低分辨中心点标签热力图求交叉熵损失，在预测过程中，直接取输出特征映射的最大响应值为目标的中心，其余点全为负样本。
S103利用标识数据集对缺陷检测模型进行训练，通过迭代训练得到优化的目标缺陷检测模型。
具体地，将训练集中的变压器呼吸器图片输入到构建好的目标检测网络CenterNet-DN中，进行前向传播，输出当前预测值，然后与真实值相比较，得到本次迭代的损失，再将损失反向传播，更新网络参数，反复迭代，达到指定训练轮数，终止训练，形成优化的目标缺陷检测模型。
S104将待检测的变压器呼吸器的图片输入优化的目标缺陷检测模型进行缺陷检测。
具体地，将待检测包含有呼吸器图片输入优化的目标缺陷检测模型中进行检测，依据所述最终检测结果在检测图像上用矩形框标注每个呼吸器目标物体的位置和类别，实现对变电设备变压器呼吸器的目标识别和缺陷的检测。
实验仿真：
本实验选用国家电网变电站2019年度，通过人工巡检或智能巡检机器人实地采集的315张可见光图像作为数据集进行实验。所有图像尺寸均为1920*1080。在实验中，按照5：1的比例随机划分数据集，其中55张图像作为训练集，260张图像作为测试集。在数量较小的训练集上，测试本发明方法在小样本数据集上的效果。
试验环境，服务器采用dell precision 7920，CPU：Inter Xeon Bronze 3106，1.70GHz，显卡GeForce RTXTM 2080Ti；软件配置采用pytorch1.1.0，cuda10.2，CUDNN7.6，实验结果如下表1所示。
表1
方法 平均IoU(100％) 平均测试速度(fqs)
YoloV3 86.31 20.2
Faster RCN 78.1 2
CornerNet 82.22 10.3
CenterNet 89.07 30.6
CenterNet-DN 96.28 32.9
表1为不同方法在自建变压器呼吸器数据集的测试对比，本发明的方法及设计的模型对于变压器呼吸器的检测具最高的平均重合度指标，并且平均速度达到32.9帧每秒，提高了检测效率和准确率。本发明的方法能够利用实际的变电站机器人巡检数据或者人工拍摄变压器呼吸器图像，学习训练网络，直接输出识别结果，辅助运维人员运维检修工作。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (7)

1.一种基于深度学习的变压器呼吸器目标缺陷检测方法，其特征在于，包括：
(1)基于预先设定的缺陷标定规则对采集的图片进行标定和存储，构建变压器呼吸器缺陷的标识数据集；
(2)构建变压器呼吸器目标缺陷检测模型，所述缺陷检测模型包括基于DenseNet的主干网络模块和与基于CenterNet的检测网络模块，所述主干网络模块与所述检测网络模块连接；
所述主干网络模块用于提取变压器呼吸器的特征图；所述检测网络模块用于根据所述特征图进行缺陷检测；
所述主干网络模块包括密集子模块以及与其相连的卷积层子模块；
所述密集子模块包括四个依次连接的密集单元，前一密集单元的输出作为后一密集单元的输入；每个所述密集单元包括密集块、第一过渡层及第二过渡层；
所述卷积层子模块包括三个依次连接的卷积层；
输入特征图从所述密集子模块输入，后经卷积子模块输出得到变压器呼吸器的特征图；
所述检测网络模块包括高斯半径自适应的高斯滤波器，所述高斯滤波器通过以下步骤进行构建：
将输入的特征图定义为I∈RW×H×3，其中W为输入图像的宽，H为输入图像的高，R为图像缩放比例，即输入特征图与输出热力图的大小比值；
通过CenterNet在特征图中心点标记标签，记中心点的位置为p∈R2；
将中心点对应到低分辨率图上，得到低分辨率图上对应的中心点坐标
Figure FDA0003770400490000011
其中R为CenterNet输入与输出的比值；
将低分辨率图的中心点坐标
Figure FDA0003770400490000012
通过高斯核函数得到低分辨中心点标签热力图；
根据低分辨中心点标签热力图的尺寸的确定高斯分布的标准差，进而构建高斯滤波器的高斯核；
(3)利用所述标识数据集对所述缺陷检测模型进行训练，通过迭代训练得到优化的目标缺陷检测模型；
(4)将待检测的变压器呼吸器的图片输入所述优化的目标缺陷检测模型进行缺陷检测。
2.根据权利要求1所述的方法，其特征在于，每个所述密集块包括多个密集层，通过多个密集层与第一过渡层、第二过渡层结合进行片段改进，包括：
(11)将输入特征图通过分隔通道拆分成第一基础特征x′0和第二基础特征x″0；
(12)将所述第二基础特征与当前密集块中的所有密集层依次进行卷积操作，得到当前密集块的输出[x′0，x1,…xn]，n为当前密集块中的密集层数量；
(13)将当前密集层的输出[x′0，x1,…xn]与所述第一过渡层进行卷积，得到第一过渡层的输出xT；
(14)将所述第一过渡层的输出xT与所述第一基础特征x′0串联后与所述第二过渡层卷积，将得到的第二过渡层的输出xU作为当前密集单元的改进输出。
3.根据权利要求1所述的方法，其特征在于，所述将低分辨率图的中心点坐标
Figure FDA0003770400490000021
通过高斯核函数得到标签热力图包括：
将所述中心点坐标
Figure FDA0003770400490000022
通过高斯核函数
Figure FDA0003770400490000023
生成为关键中心热力图
Figure FDA0003770400490000024
C表示变压器呼吸器缺陷类别的数目；
Figure FDA0003770400490000025
为中心点的坐标值；Yxyc＝1是一个检测到目标的预测值，是表示在(x,y)坐标检测到了变压器呼吸器这种c类别缺陷的目标，而Yxyc＝0表示在当前(x,y)坐标中不存在类别为c的呼吸器缺陷检测目标；
当中心位置
Figure FDA0003770400490000026
对应的Yxyc＝1时为标签热力图。
4.根据权利要求1所述的方法，其特征在于，所述高斯滤波器的高斯核表示为：
Figure FDA0003770400490000027
其中，标准差s表示为：
Figure FDA0003770400490000028
其中，w为低分辨中心点标签热力图的宽；h为低分辨中心点标签热力图的高；o为超参数，表示高斯分布的标准差与w的最小比值。
5.根据权利要求1所述的方法，其特征在于，所述检测网络模块通过以下步骤进行检测：
(21)将所述特征图经过CenterNet处理，得到用于预测呼吸器中心点类别以及位置的初始位置热图U0、用于预测呼吸器宽高的宽高热图Ywh以及用于预测呼吸器偏置的偏置热图Yoff；
(22)针对所述初始位置热图进行三种不同扩张率的空洞卷积，得到感受野尺度不同的第一位置热图U1、第二位置热图U2和第三位置热图U3；
(23)将所述初始位置热图U0、第一位置热图U1、第二位置热图U2和第三位置热图U3根据高斯加权结构进行加性融合得到最终位置热图Yhm；
(24)将所述最终位置热图Yhm、宽高热图Ywh以及偏置热图Yoff分别与所述标签热力图求取交叉熵损失函数，以供训练网络参数。
6.根据权利要求5所述的方法，其特征在于，所述三种不同扩张率可根据所述高斯滤波器中高斯分布的标准差倍数进行确定。
7.根据权利要求5所述的方法，其特征在于，所述最终位置热图Yhm具体表示为：
Figure FDA0003770400490000031
Figure FDA0003770400490000032
其中，Wi为第i位置热图Ui的权重,H(·)为所述高斯滤波器的高斯核。
CN202010331940.4A 2020-04-24 2020-04-24 基于深度学习的电力变压器呼吸器目标缺陷检测方法 Active CN111598843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010331940.4A CN111598843B (zh) 2020-04-24 2020-04-24 基于深度学习的电力变压器呼吸器目标缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010331940.4A CN111598843B (zh) 2020-04-24 2020-04-24 基于深度学习的电力变压器呼吸器目标缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111598843A CN111598843A (zh) 2020-08-28
CN111598843B true CN111598843B (zh) 2022-11-11

Family

ID=72190542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010331940.4A Active CN111598843B (zh) 2020-04-24 2020-04-24 基于深度学习的电力变压器呼吸器目标缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111598843B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200043B (zh) * 2020-09-30 2022-04-19 中邮通建设咨询有限公司 面向室外施工现场的危险源智能识别系统及方法
CN112233096B (zh) * 2020-10-19 2021-11-12 哈尔滨市科佳通用机电股份有限公司 一种车辆裙板故障检测方法
CN112288694B (zh) * 2020-10-19 2022-10-04 武汉大学 基于掩膜区域卷积神经网络的变电设备缺陷识别的方法
CN112232432B (zh) * 2020-10-26 2023-04-11 西安交通大学 基于改进中心点检测的安检x光图像目标检测与识别方法
CN112580443B (zh) * 2020-12-02 2022-03-15 燕山大学 基于嵌入式设备改进CenterNet的行人检测方法
CN112733730B (zh) * 2021-01-12 2022-11-18 中国石油大学(华东) 采油作业现场吸烟人员识别处理方法及系统
CN112837297B (zh) * 2021-02-08 2023-04-28 福建医科大学附属协和医院 一种渐进式多尺度的颅面骨骨折检测方法
CN113034469B (zh) * 2021-03-24 2023-10-24 东北大学 基于transformer的热成像检测管道内部缺陷的方法
CN112990102B (zh) * 2021-04-16 2022-10-11 四川阿泰因机器人智能装备有限公司 一种改进的Centernet复杂环境目标检测方法
CN115496666A (zh) * 2022-11-02 2022-12-20 清智汽车科技(苏州)有限公司 用于目标检测的热图生成方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110969205A (zh) * 2019-11-29 2020-04-07 南京恩博科技有限公司 一种基于目标检测的森林烟火检测方法、存储介质和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110969205A (zh) * 2019-11-29 2020-04-07 南京恩博科技有限公司 一种基于目标检测的森林烟火检测方法、存储介质和设备

Also Published As

Publication number Publication date
CN111598843A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598843B (zh) 基于深度学习的电力变压器呼吸器目标缺陷检测方法
US11581130B2 (en) Internal thermal fault diagnosis method of oil-immersed transformer based on deep convolutional neural network and image segmentation
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN111402211B (zh) 一种基于深度学习的高速列车车底异物识别方法
CN112183667B (zh) 一种协同深度学习的绝缘子故障检测方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN111178206B (zh) 一种基于改进yolo的建筑预埋件检测方法及系统
CN112734692A (zh) 一种变电设备缺陷识别方法及装置
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN112070134A (zh) 电力设备图像分类方法、装置、电力设备及存储介质
CN111242144B (zh) 电网设备异常的检测方法和装置
CN113643228B (zh) 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法
CN111738114B (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN111798417A (zh) 一种基于ssd遥感图像目标检测的方法及装置
CN116310785A (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN113989487A (zh) 一种面向实景调度的故障缺陷检测方法及系统
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
CN115631411A (zh) 基于sten网络对不同环境中的绝缘子破损检测方法
CN114612803A (zh) 一种改进CenterNet的输电线路绝缘子缺陷检测方法
CN111241905A (zh) 基于改进ssd算法的输电线路鸟窝检测方法
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
Zu et al. Detection of common foreign objects on power grid lines based on Faster R-CNN algorithm and data augmentation method
CN116681962A (zh) 基于改进YOLOv5的电力设备热图像检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant