CN114494875A - 一种电网设备可视检测方法、系统、设备和介质 - Google Patents

一种电网设备可视检测方法、系统、设备和介质 Download PDF

Info

Publication number
CN114494875A
CN114494875A CN202210103108.8A CN202210103108A CN114494875A CN 114494875 A CN114494875 A CN 114494875A CN 202210103108 A CN202210103108 A CN 202210103108A CN 114494875 A CN114494875 A CN 114494875A
Authority
CN
China
Prior art keywords
prediction
frame
power grid
grid equipment
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210103108.8A
Other languages
English (en)
Inventor
莫文昊
焦飞
雷龙武
谈元鹏
郑州
杨彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210103108.8A priority Critical patent/CN114494875A/zh
Publication of CN114494875A publication Critical patent/CN114494875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种电网设备可视检测方法、系统、设备和介质，将缺陷类别集中各类型图像数据和预处理后的电网设备运行图像数据训练包含方向预测网络分支的无锚框神经网络，得到训练后的包含方向预测网络分支的无锚框神经网络；将采集的待检测电网设备的图像，输入到训练后的包含方向预测网络分支的无锚框神经网络中，进行电网设备缺陷的定位与类型检测。本发明针对水平回归框标注引入过多干扰背景信息的问题，使用基于无锚框角度预测的旋转回归框进行检测，实现检测算法对于高长宽比目标或无人机影像、遥感影像下电网设备及其故障的精确定位与监测。采用基于人为提取特征的零样本学习方法，实现无数据缺陷的认知推理。

Description

一种电网设备可视检测方法、系统、设备和介质
技术领域
本发明属于电力人工智能中电网设备的可视故障检测技术领域，特别涉及一种电网设备可视检测方法、系统、设备和介质。
背景技术
对主要设备运行状态的监控是维护电力系统运行安全的重要手段，近年来随着电力行业数字化的持续建设，人工智能、大数据技术在电力运检领域取得广泛应用，以无人机输电杆塔巡检、变电站智能巡检等应用极大的提升了检测的智能性和实时性。然而，目前的设备可视检测技术一般采用水平矩形框进行识别，检测精度受拍摄视角影响大，容易引入大量背景干扰信息，影响模型的学习效果和检测结果的准确性。旋转回归框检测在水平框的基础上增加旋转参量，使矩形框在能够自适应的寻找尽可能贴合目标的角度，同时增强网络对形状特征的感知。
传统的运检方案为运检人员定期检查，依据经验知识肉眼判断设备运行情况，该方式检测实时性差，巡检效率较低，且肉眼分辨存在较大的主观随机性。随着深度学习为代表的人工智能的迅速成熟和发展，基于CNN的目标检测技术取得了较大进步，为电力运检提供了新的解决方案。目前在实际应用中效果较好的方法主要分为：1)基于锚框的双阶段目标检测网络，以Faster R-CNN为代表；2)基于锚框的单阶段目标检测网络，以YOLO、SSD为代表；3)无锚框的单阶段目标检测网络，以FCOS、CornNet为代表。以上网络具有各自优点：双阶段网络检测精度较高，其网络结构较灵活，适合根据复杂任务进行分支扩展；单阶段网络设计结构明确，检测速度快，适合边缘部署和精度要求不高的环境；无锚框网络作为一种新兴的网络结构，较好的平衡了检测精度和检测速度的关系。
缺陷样本难以获取是电力设备可视检测领域的另一大难题，缺陷样本在全部运检影像中占比不足百分之一，给数据集构建和模型的训练带来了极大挑战。缺陷样本获取面临的另一个难题是类别不均衡，不同设备的不同缺陷类型往往在形态学和图像语义上具有相似性，但样本数量有数量级的差距。零样本学习技术通过构建电力设备的语义特征空间，建立深度神经网络学习不同电力设备的语义特征关联，解决类别间存在的领域漂移、枢纽点聚集和语义间隔等问题，以实现基于已知语义特征和特征描述的零样本智能推理。
现有的电网设备可视检测方法仍存在一系列问题：
1.基于锚框的目标检测网络采用窗口穷举思路，计算中会产生大量的冗余，计算速度难以进一步优化；
2.水平的检测框无法很好的适应不同视角下的输入样例，难以准确的定位目标，为精细化感知的开展引入过多背景干扰；
3.数据集获取难度大，样本类别不均衡，单个模型难以兼顾各类别检测结果。
发明内容
本发明的目的是提供一种电网设备可视检测方法、系统、设备和介质，实现对电网设备的可视检测，该检测方法自适应高精度检测，并减少冗余计算量，适应边缘部署条件。
为实现上述目的，本发明采用的技术方案如下：
一种电网设备可视检测方法，包括以下步骤：
采集待检测电网设备的图像；
将所述待检测电网设备的图像输入到训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络中，完成电网设备缺陷的定位与类型检测。
进一步的，所述训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络通过将缺陷类别集中图像数据采用逐像素点融合、基于GridMask方法的擦除再填充或Mosaic数据增强方法进行增强后，训练基于rot-HrNet包含方向预测网络分支的无锚框神经网络得到。
进一步的，将所述待检测电网设备的图像输入到训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络中，完成电网设备缺陷的定位与类型检测，包括以下步骤：
将所述待检测电网设备的图像映射到特征空间内，建立每个标签信息在缺陷类别集上的one-hot预测结果：
固定视觉-语义编码网络结构中参数，使用基于每个标签信息在缺陷类别集上的one-hot预测结果的log似然损失函数更新网络参数，得到训练后的视觉-语义编码网络；
通过训练后的视觉-语义编码网络预测回归框在缺陷类别集的类别，完成电网设备缺陷的定位与类型检测。
进一步的，基于每个标签信息在缺陷类别集上的one-hot预测结果的log似然损失函数Lc为：
Figure BDA0003492882660000031
式中，yi为网络在缺陷类别集合D上的one-hot预测结果，
Figure BDA0003492882660000032
为缺陷类别。
进一步的，基于rot-HrNet含方向预测网络分支的无锚框神经网络的损失函数L＝Lk+Loff_x+Loff_y+Lsize_w+Lsize_h+Langle；
其中，Lk为中心点预测损失，Loff_x为中心点横坐标偏移预测误差，Loff_y为中心点纵坐标偏移预测误差，Lsize_w为中心点宽偏移预测误差，Lsize_h为中心点高偏移预测误差，Langle为中心点角度偏移预测误差。
进一步的，中心点预测损失Lk通过下式计算得到：
Figure BDA0003492882660000033
其中，N为当前样本中的目标总数，α为超参数，
Figure BDA0003492882660000034
为预测框中心对应的整数部分坐标(px，py)处的置信度，px为预测框中心对应的整数部分横坐标，py为预测框中心对应的整数部分纵坐标；
Figure BDA0003492882660000041
为预测框中心对应的整数部分坐标(px，py)处的置信度真实值。
进一步的，中心点横坐标偏移预测误差Loff_x，中心点纵坐标偏移预测误差Loff_y，中心点宽偏移预测误差Lsize_w，中心点高偏移预测误差Lsize_h，中心点角度偏移预测误差Langle，通过下式计算得到：
Figure BDA0003492882660000042
Figure BDA0003492882660000043
Figure BDA0003492882660000044
Figure BDA0003492882660000045
Figure BDA0003492882660000046
其中，N为当前样本中的目标总数，p为当前样本的全部目标，Δx为预测框中心点偏移横坐标预测值，
Figure BDA0003492882660000047
为预测框中心点偏移纵坐标真实值，Δy为预测框中心点偏移纵坐标预测值，
Figure BDA0003492882660000048
为预测框中心点偏移纵坐标真实值，w为预测框中心点宽，
Figure BDA0003492882660000049
为预测框中心点横坐标真实值，h为预测框中心点高，
Figure BDA00034928826600000410
为预测框中心点横坐标真实值，θ为预测框中心点旋转角度，
Figure BDA00034928826600000411
为预测框中心点横坐标真实值。
一种电网设备可视检测系统，包括
图像采集单元，用于采集待检测电网设备的图像；
检测单元，用于将所述待检测电网设备的图像输入到训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络中，完成电网设备缺陷的定位与类型检测。
进一步的，所述检测单元还用于，通过将缺陷类别集中图像数据采用逐像素点融合、基于GridMask方法的擦除再填充或Mosaic数据增强方法进行增强后，训练基于rot-HrNet包含方向预测网络分支的无锚框神经网络得到。
进一步的，检测单元具体用于，将所述待检测电网设备的图像映射到特征空间内，建立每个标签信息在缺陷类别集上的one-hot预测结果：
固定视觉-语义编码网络结构中参数，使用基于每个标签信息在缺陷类别集上的one-hot预测结果的log似然损失函数更新网络参数，得到训练后的视觉-语义编码网络；
通过训练后的视觉-语义编码网络预测回归框在缺陷类别集的类别，完成电网设备缺陷的定位与类型检测。
进一步的，所述基于每个标签信息在缺陷类别集上的one-hot预测结果的log似然损失函数Lc为：
Figure BDA0003492882660000051
式中，yi为网络在缺陷类别集合D上的one-hot预测结果，
Figure BDA0003492882660000052
为缺陷类别。
进一步的，所述基于rot-HrNet含方向预测网络分支的无锚框神经网络的损失函数L＝Lk+Loff_x+Loff_y+Lsize_w+Lsize_h+Langle；
其中，Lk为中心点预测损失，Loff_x为中心点横坐标偏移预测误差，Loff_y为中心点纵坐标偏移预测误差，Lsize_w为中心点宽偏移预测误差，Lsize_h为中心点高偏移预测误差，Langle为中心点角度偏移预测误差。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的电网设备可视检测方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的电网设备可视检测方法。
与现有技术相比，本发明具有的有益效果：
本发明针对水平回归框标注引入过多干扰背景信息的问题，使用基于rot-HrNet包含方向预测网络分支的无锚框(Anchor Free)神经网络实现检测算法对于高长宽比目标或无人机影像、遥感影像下电网设备及其故障的精确定位与监测。该方法可实现对于变压器过热、绝缘子破裂等不常见缺陷在仅有少量数据或无数据情况下的人为数据构建与模型训练，实现电网设备缺陷的定位与类型检测。
进一步的，针对部分缺陷样本难以获取的问题，采用基于人为提取特征的零样本学习方法，基于缺陷类别集实现无数据缺陷的认知推理。
进一步的，本发明在建立常见电网设备及其缺陷数据集和各类别语义描述的基础上固定视觉-语义编码网络模型，能够对基于语义特征的无数据样本进行方向自适应缺陷检测，减轻算法对数据的依赖。
进一步的，采用逐像素点融合、基于GridMask方法的擦除再填充或Mosaic数据增强方法，将不同类型图片进行组合，能够提升网络检测能力。
附图说明
图1为本发明的流程示意图。
图2为本发明的流程框图。
图3为本发明的系统示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1和图2，本发明的电网设备可视检测方法，包括以下步骤：
首先，利用固定摄像头和无人机等方式采集电网设备运行图像，包括电网设备正常运行图像与电网设备异常运行图像，并对采集的电网设备运行图像进行模糊筛选、数据增强与剪裁等预处理，之后采用旋转标注方法标注标签信息
Figure BDA0003492882660000071
获得标注后的图片。其中，
Figure BDA0003492882660000072
为标签信息中心点横坐标，
Figure BDA0003492882660000073
为标签信息中心点纵坐标，
Figure BDA0003492882660000074
为标签信息宽度，
Figure BDA0003492882660000075
为标签信息高度，
Figure BDA0003492882660000076
为标签信息旋转角度。
标注标签信息时，为保证标注框的唯一确定性，设定以下标注规则：
1)设定旋转框较长边长度为旋转框宽度，旋转框较短边长度为旋转框高度；
2)旋转框角度为长边沿顺时针方向与图像垂直方向夹角；
3)标注区域仅包含设备的可见区域，每个目标对应唯一的回归框标注，回归框采用可包围的最小面积回归框。
其次，对标注后的图片进行预处理，预处理包括对图片去噪、图像随机反转以及图片数据降采样，得到符合网络输入格式的图片数据[3，Win，Hin]。其中，Win为预设的输入特征图的宽，Hin为预设的输入特征图的高；再将符合网络输入格式的图片数据输入到基于rot-HrNet包含方向预测网络分支的无锚框神经网络中，进行电网设备缺陷的定位与类型检测。
具体的，对于符合网络输入格式的图片数据[3，Win，Hin]，通过三组不同尺寸的卷积将特征提取流分为高、中、低分辨率，保留各尺寸信息，得到多尺度的特征。为提升特征提取网络对于旋转角度预测与图形中小目标的检测能力，将多尺度的特征通过角度自适应的可变形卷积进行特征旋转对齐，并结合层注意力机制进行特征提取，得到多尺度特征图。
为减小计算量，采用最近邻法将多尺度特征图的特征对齐，得到对齐后的多尺度的特征图。即对于多尺度特征图内任意相邻的四个像素点(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)，插入的像素点(x，y)满足x∈[i，i+1]、y∈[j，j+1]，像素点(x，y)的特征值为：
f(x，y)＝f(|x|，|y|)
其中，|x|为x的四舍五入取整，f为对应像素点的特征值，x为像素点横坐标，y为像素点纵坐标。
然后，将对齐后的多尺度的特征图输入到一组多任务回归分支神经网络中，得到预测图。其中，所述多任务回归分支神经网络包括类别、中心点坐标、中心点偏置、检测框宽高和角度预测分支，每个分支由两个3x3的卷积组成，并输出一个和特征图尺寸相同的预测图。
根据每个预测图中的一个预测框bi＝(cx，cy，w，h，θ)和预测框对应的标签信息
Figure BDA0003492882660000081
Figure BDA0003492882660000082
cx为预测框中心点横坐标预测值，cy为预测框中心点纵坐标预测值，w为预测框中心点宽，h为预测框中心点高，θ为预测框中心点旋转角度，
Figure BDA0003492882660000083
为预测框中心点横坐标真实值，
Figure BDA0003492882660000084
为预测框中心点纵坐标真实值，
Figure BDA0003492882660000085
为预测框中心点横坐标真实值，
Figure BDA0003492882660000086
为预测框中心点横坐标真实值，
Figure BDA0003492882660000087
为预测框中心点横坐标真实值，分别预测预测框中心对应的整数部分坐标(px，py)处的置信度
Figure BDA00034928826600000817
中心点偏移(Δx，Δy)、宽高(w，h)和预测框中心点旋转角度θ，则：
cx＝px+Δx
cy＝py+Δy
其中，px为预测框中心对应的整数部分横坐标预测值，py为预测框中心对应的整数部分纵坐标预测值，Δx为预测框中心点偏移横坐标预测值，Δy为预测框中心点偏移纵坐标预测值。
为对齐预测参数和对应的真实结果，计算如下：
Figure BDA0003492882660000088
Figure BDA0003492882660000089
Figure BDA00034928826600000810
Figure BDA00034928826600000811
其中，
Figure BDA00034928826600000812
为预测框中心对应的整数部分横坐标真实值，
Figure BDA00034928826600000813
为预测框中心对应的整数部分纵坐标真实值，
Figure BDA00034928826600000814
为预测框中心点横坐标真实值，
Figure BDA00034928826600000815
为预测框中心点纵坐标真实值，
Figure BDA00034928826600000816
为预测框中心点偏移横坐标真实值，
Figure BDA0003492882660000091
为预测框中心点偏移纵坐标真实值。
对于基于rot-HrNet包含方向预测网络分支的无锚框神经网络训练，使用仅考虑正样本的Focal Loss作为类别及中心点预测损失Lk：
Figure BDA0003492882660000092
其中，N为当前样本中的目标总数，α为超参数，本发明中设置α＝2，px为预测框中心对应的整数部分横坐标，py为预测框中心对应的整数部分纵坐标；
Figure BDA0003492882660000093
为预测框中心对应的整数部分坐标(px，py)处的置信度真实值。
对于中心点偏移、宽、高和角度的预测误差，采用Smooth L1损失函数计算，即：
Figure BDA0003492882660000094
Figure BDA0003492882660000095
Figure BDA0003492882660000096
Figure BDA0003492882660000097
Figure BDA0003492882660000098
其中，Loff_x为中心点横坐标偏移预测误差，Loff_y为中心点纵坐标偏移预测误差，Lsize_w为中心点宽偏移预测误差，Lsize_h为中心点高偏移预测误差，Langle为中心点角度偏移预测误差。p为当前样本的全部目标，N为当前样本中的目标总数。
基于rot-HrNet包含方向预测网络分支的无锚框神经网络的总的损失函数L＝Lk+Loff_x+Loff_y+Lsize_w+Lsize_h+Langle。
在基于rot-HrNet包含方向预测网络分支的无锚框神经网络结构基础上，通过对无样本缺陷的可视化特征分解与相似特征图像数据集构建，实现对电网设备及其可视缺陷的零样本学习。
具体的，首先，根据专家先验知识，按照设备缺陷的图形特征，将一个缺陷类别集D表示为一组常见特征类别
Figure BDA0003492882660000101
的组合，分别收集常见特征类别
Figure BDA0003492882660000102
中各类型图像数据，构建预训练集。
在预训练集上训练基于rot-HrNet包含方向预测网络分支的无锚框神经网络结构。
然后，在缺陷类别集D的图像数据中，标注各类别的标签信息
Figure BDA0003492882660000103
对应的缺陷类别
Figure BDA0003492882660000104
与常见特征类别
Figure BDA0003492882660000105
其中，
Figure BDA0003492882660000106
为缺陷类别，
Figure BDA0003492882660000107
为常见特征类别。使用全连接神经网络建立缺陷类别集D和常见特征类别
Figure BDA0003492882660000108
之间的语义特征关系。
采集待检测电网设备的图像，基于视觉-语义编码网络根据缺陷类别集D和常见特征类别
Figure BDA0003492882660000109
之间的语义特征关系，将待检测电网设备的图像映射到一个特征空间内，建立每个标签信息在缺陷类别集D上的one-hot预测结果yi：
yi＝fp(zi)
其中，fp为双层全连接神经网络，zi为网络在常见特征类别
Figure BDA00034928826600001010
上的one-hot预测结果，yi为网络在缺陷类别集合D上的one-hot预测结果。
固定视觉-语义编码网络结构中其余参数，使用标签信息
Figure BDA00034928826600001011
和其缺陷类别
Figure BDA00034928826600001012
训练，使用log似然损失函数更新网络参数，得到训练后的视觉-语义编码网络；log似然损失函数Lc为：
Figure BDA00034928826600001013
在测试时，通过训练后的视觉-语义编码网络预测回归框bi在缺陷类别集D的类别，完成电网设备缺陷的定位与类型检测。
进一步的，为提升模型检测能力，在训练时使用数据增强方法将不同类型图片进行组合。组合方式包括逐像素点融合、基于GridMask方法的擦除再填充或Mosaic数据增强方法。
本发明可以应用于电网设备可见光缺陷检测，在建立常见电网设备及其缺陷数据集和各类别语义描述的基础上预训练模型，能够对基于语义特征的无数据样本进行方向自适应缺陷检测，减轻算法对数据的依赖。
实施例1
首先，采集变压器主设备及其附属设备运行图像，包括：呼吸器、油枕、套管、冷却器等，并采用旋转标注方法进行标注，并建立基于其特征标注，构建包含特征标注的旋转数据集。同时，收集其他电网设备或工业设备上出现的各类缺陷影像，缺陷类型包括：金属锈蚀、玻璃表面破损、金属表面破损、渗漏油、脏污等。对通用缺陷数据进行对应规则的特征向量标注。具体地，利用固定摄像头和无人机采集等方式设备运行图像。对图像进行模糊筛选、预处理、数据增强、剪裁方法等预处理方法，之后进行旋转框标注。
采用的标注方法为旋转矩形框标注，标签信息包括
Figure BDA0003492882660000111
获得标注后的图片。其中，
Figure BDA0003492882660000112
为标签信息中心点横坐标，
Figure BDA0003492882660000113
为标签信息中心点纵坐标，
Figure BDA0003492882660000114
为标签信息宽度，
Figure BDA0003492882660000115
为标签信息高度，
Figure BDA0003492882660000116
为标签信息旋转角度。为保证标注框的唯一确定性，设定以下标注规则：
1)设定旋转框较长边长度为旋转框宽度，旋转框较短边长度为旋转框高度；
2)旋转框角度为长边沿顺时针方向与图像垂直方向夹角；
3)标注区域仅包含设备的可见区域，每个目标对应唯一的回归框标注，采用可包围的最小面积回归框。
其次，对图片进行预处理，预处理包括图片去噪、图像随机反转、图片数据降采样，得到符合网络输入格式的图片数据[3，Win，Hin]。将图片数据输入基于rot-HrNet特征提取模块的包含方向预测网络分支的无锚框方向自适应神经网络中进行。
rot-HrNet特征提取模块是一种针对旋转目标检测的多分支并联特征提取网络，分为下采样编码部分、特征保持部分和上采样特征融合部分。对于输入特征图，通过三组不同尺寸的卷积将特征提取流分为高、中、低分辨率，保留各尺寸信息。通过角度自适应的可变形卷积进行特征旋转对齐，并结合层注意力机制进行特征融合。
为减小计算量，采用最近邻法进行上采样，即对于相邻的四个像素点(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)和插入的像素点(x，y)满足x∈[i，i+1]、y∈[j，j+1]，其特征值
f(x，y)＝f(|x|，|y|)
其中，|x|为x的四舍五入取整，f为对应像素点的特征值。
然后，设计一组多任务回归分支在特征提取层基础上进行类别及中心点坐标、中心点偏置、检测框宽高和角度预测，每个分支包含两个3x3的卷积，并输出一个和特征图尺寸相同的预测图。对于一个预测框(cx，cy，w，h，θ)和其对应的标签信息
Figure BDA0003492882660000121
分别预测其中心对应的整数部分坐标(px，py)处的置信度
Figure BDA0003492882660000127
中心点偏移(Δx，Δy)、宽高(w，h)和预测框中心点旋转角度θ，则，
cx＝px+Δx
cy＝py+Δy
为对齐预测参数和对应的真实结果，计算：
Figure BDA0003492882660000122
Figure BDA0003492882660000123
Figure BDA0003492882660000124
Figure BDA0003492882660000125
对于模型训练，使用仅考虑正样本的Focal Loss作为类别及中心点预测损失，
Figure BDA0003492882660000126
其中，N为当前样本中的目标总数，α为超参数，本发明中设置α＝2。
对于中心点偏移、宽高和角度的预测误差，采用Smooth L1损失函数，即：
Figure BDA0003492882660000131
Figure BDA0003492882660000132
Figure BDA0003492882660000133
其中，p为当前样本的全部目标，N为当前样本中的目标总数。
进一步，考虑基于零样本学习的视觉-语义编码网络模型及其训练方法，使用语义编码嵌入方法建立训练类别和测试类别之间的语义特征关系。
具体的，基于视觉-语义编码网络根据缺陷类别集D和常见特征类别
Figure BDA0003492882660000134
之间的语义特征关系，将待检测电网设备的图像映射到一个特征空间内，建立每个标签信息在缺陷类别集D上的one-hot预测结果yi：
yi＝fp(zi)
其中，fp为双层全连接神经网络，zi为网络在常见特征类别
Figure BDA0003492882660000135
上的one-hot预测结果，yi为网络在缺陷类别集合D上的one-hot预测结果。
固定视觉-语义编码网络结构中其余参数，使用标签信息
Figure BDA0003492882660000136
和其缺陷类别
Figure BDA0003492882660000137
训练，使用log似然损失函数更新网络参数，得到训练后的视觉-语义编码网络；log似然损失函数Lc为：
Figure BDA0003492882660000138
在测试时，通过训练后的视觉-语义编码网络预测回归框bi在缺陷类别集D的类别，完成电网设备缺陷的定位与类型检测。
进一步，为提升模型检测能力，在训练时使用数据增强方法将不同类型图片进行组合。组合方式包括逐像素点融合、基于GridMask方法的擦除再填充或Mosaic数据增强方法。
具体的，对变压器及其附属设备影像与缺陷影像进行数据融合。以变压器金属锈蚀为例，将金属锈蚀特征拆分为不规则破裂、黄褐色斑点、锈蚀等特征值，并使用其他设备锈蚀、墙面掉漆脱落、地面裂纹等不同数据构建预训练数据集，进行模型训练，并生成对应的特征向量。最后，通过少量的实际变压器锈蚀影像进行模型微调与效果测试。
参见图3，一种电网设备可视检测系统，包括
图像采集单元1，用于采集待检测电网设备的图像；
检测单元2，用于将所述待检测电网设备的图像输入到训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络中，完成电网设备缺陷的定位与类型检测。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的电网设备可视检测方法。其中，所述存储器可能包含内存，例如高速随机存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器等；处理器、网络接口、存储器通过内部总线互相连接，该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等，总线可以分为地址总线、数据总线、控制总线等。存储器用于存放程序，具体地，程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述的电网设备可视检测方法。具体地，所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。
本发明基于无锚框网络的方向自适应电网设备可见光缺陷检测，并提出基于相似缺陷语义迁移的零样本学习方法，解决部分缺陷样本难以获取的问题。通过采用基于rot-HrNet包含方向预测网络分支的无锚框神经网络结构，通过电网设备缺陷零样本训练以及逐像素点融合、基于GridMask方法的擦除再填充或Mosaic数据增强方法，实现电网设备及缺陷的零样本学习与训练。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (14)

1.一种电网设备可视检测方法，其特征在于，包括以下步骤：
采集待检测电网设备的图像，并标注旋转回归框；
将所述标注旋转回归框的待检测电网设备的图像输入到训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络中，完成电网设备缺陷的定位与类型检测。
2.根据权利要求1所述的一种电网设备可视检测方法，其特征在于，所述训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络通过将缺陷类别集中图像数据采用逐像素点融合、基于GridMask方法的擦除再填充或Mosaic数据增强方法进行增强后，训练基于rot-HrNet包含方向预测网络分支的无锚框神经网络得到。
3.根据权利要求1所述的一种电网设备可视检测方法，其特征在于，将所述待检测电网设备的图像输入到训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络中，完成电网设备缺陷的定位与类型检测，包括以下步骤：
将所述待检测电网设备的图像映射到特征空间内，建立每个标签信息在缺陷类别集上的one-hot预测结果：
固定视觉-语义编码网络结构中参数，使用基于每个标签信息在缺陷类别集上的one-hot预测结果的log似然损失函数更新网络参数，得到训练后的视觉-语义编码网络；
通过训练后的视觉-语义编码网络预测回归框在缺陷类别集的类别，完成电网设备缺陷的定位与类型检测。
4.根据权利要求3所述的一种电网设备可视检测方法，其特征在于，基于每个标签信息在缺陷类别集上的one-hot预测结果的log似然损失函数Lc为：
Figure FDA0003492882650000011
式中，yi为网络在缺陷类别集合D上的one-hot预测结果，
Figure FDA0003492882650000012
为缺陷类别。
5.根据权利要求1所述的一种电网设备可视检测方法，其特征在于，基于rot-HrNet含方向预测网络分支的无锚框神经网络的损失函数L＝Lk+Loff_x+Loff_y+Lsize_w+Lsize_h+Langle；
其中，k为中心点预测损失，Loff_x为中心点横坐标偏移预测误差，Loff_y为中心点纵坐标偏移预测误差，Lsize_w为中心点宽偏移预测误差，Lsize_h为中心点高偏移预测误差，Langle为中心点角度偏移预测误差。
6.根据权利要求5所述的一种电网设备可视检测方法，其特征在于，中心点预测损失Lk通过下式计算得到：
Figure FDA0003492882650000021
其中，N为当前样本中的目标总数，α为超参数，
Figure FDA0003492882650000022
为预测框中心对应的整数部分坐标(px,py)处的置信度，px为预测框中心对应的整数部分横坐标，py为预测框中心对应的整数部分纵坐标；
Figure FDA0003492882650000023
为预测框中心对应的整数部分坐标(px,py)处的置信度真实值。
7.根据权利要求5所述的一种电网设备可视检测方法，其特征在于，中心点横坐标偏移预测误差Loff_x，中心点纵坐标偏移预测误差Loff_y，中心点宽偏移预测误差Lsize_w，中心点高偏移预测误差Lsize_h，中心点角度偏移预测误差Langle，通过下式计算得到：
Figure FDA0003492882650000024
Figure FDA0003492882650000025
Figure FDA0003492882650000026
Figure FDA0003492882650000027
Figure FDA0003492882650000028
其中，N为当前样本中的目标总数，p为当前样本的全部目标，Δx为预测框中心点偏移横坐标预测值，
Figure FDA0003492882650000031
为预测框中心点偏移纵坐标真实值，Δy为预测框中心点偏移纵坐标预测值，
Figure FDA0003492882650000032
为预测框中心点偏移纵坐标真实值，w为预测框中心点宽，
Figure FDA0003492882650000033
为预测框中心点横坐标真实值，h为预测框中心点高，
Figure FDA0003492882650000034
为预测框中心点横坐标真实值，θ为预测框中心点旋转角度，
Figure FDA0003492882650000035
为预测框中心点横坐标真实值。
8.一种电网设备可视检测系统，其特征在于，包括
图像采集单元，用于采集待检测电网设备的图像；
检测单元，用于将所述待检测电网设备的图像输入到训练后的基于rot-HrNet包含方向预测网络分支的无锚框神经网络中，完成电网设备缺陷的定位与类型检测。
9.根据权利要求8所述的一种电网设备可视检测系统，其特征在于，所述检测单元还用于，通过将缺陷类别集中图像数据采用逐像素点融合、基于GridMask方法的擦除再填充或Mosaic数据增强方法进行增强后，训练基于rot-HrNet包含方向预测网络分支的无锚框神经网络得到。
10.根据权利要求8所述的一种电网设备可视检测系统，其特征在于，所述检测单元还用于，检测单元具体用于，将所述待检测电网设备的图像映射到特征空间内，建立每个标签信息在缺陷类别集上的one-hot预测结果：
固定视觉-语义编码网络结构中参数，使用基于每个标签信息在缺陷类别集上的one-hot预测结果的log似然损失函数更新网络参数，得到训练后的视觉-语义编码网络；
通过训练后的视觉-语义编码网络预测回归框在缺陷类别集的类别，完成电网设备缺陷的定位与类型检测。
11.根据权利要求10所述的一种电网设备可视检测系统，其特征在于，所述基于每个标签信息在缺陷类别集上的one-hot预测结果的log似然损失函数Lc为：
Figure FDA0003492882650000036
式中，yi为网络在缺陷类别集合D上的one-hot预测结果，
Figure FDA0003492882650000041
为缺陷类别。
12.根据权利要求8所述的一种电网设备可视检测系统，其特征在于，所述基于rot-HrNet含方向预测网络分支的无锚框神经网络的损失函数L＝Lk+Loff_x+Loff_y+Lsize_w+Lsize_h+Langle；
其中，Lk为中心点预测损失，Loff_x为中心点横坐标偏移预测误差，Loff_y为中心点纵坐标偏移预测误差，Lsize_w为中心点宽偏移预测误差，Lsize_h为中心点高偏移预测误差，Langle为中心点角度偏移预测误差。
13.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-7中任意一项所述的电网设备可视检测方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-7中任意一项所述的电网设备可视检测方法。
CN202210103108.8A 2022-01-27 2022-01-27 一种电网设备可视检测方法、系统、设备和介质 Pending CN114494875A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210103108.8A CN114494875A (zh) 2022-01-27 2022-01-27 一种电网设备可视检测方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210103108.8A CN114494875A (zh) 2022-01-27 2022-01-27 一种电网设备可视检测方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN114494875A true CN114494875A (zh) 2022-05-13

Family

ID=81476961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210103108.8A Pending CN114494875A (zh) 2022-01-27 2022-01-27 一种电网设备可视检测方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN114494875A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187603A (zh) * 2022-09-13 2022-10-14 国网浙江省电力有限公司 一种基于深度神经网络的电力设备检测方法及装置
CN117333512A (zh) * 2023-10-17 2024-01-02 大连理工大学 基于检测框跟踪的航拍小目标跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187603A (zh) * 2022-09-13 2022-10-14 国网浙江省电力有限公司 一种基于深度神经网络的电力设备检测方法及装置
CN117333512A (zh) * 2023-10-17 2024-01-02 大连理工大学 基于检测框跟踪的航拍小目标跟踪方法

Similar Documents

Publication Publication Date Title
Zhai et al. Fault detection of insulator based on saliency and adaptive morphology
CN110827251B (zh) 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN114494875A (zh) 一种电网设备可视检测方法、系统、设备和介质
CN111444921A (zh) 划痕缺陷检测方法、装置、计算设备和存储介质
CN111046950B (zh) 一种图像处理方法、装置、存储介质和电子装置
CN106980816B (zh) 基于光学图像的绝缘子串自动识别方法
CN112819793A (zh) 一种集装箱残损识别方法、装置、设备和可读存取介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111126381A (zh) 一种基于r-dfpn算法的绝缘子倾斜定位与识别方法
CN114187505A (zh) 输电线路防振锤脱落的检测方法、装置、介质及终端设备
CN115797846A (zh) 一种风力发电叶片区块缺陷比对方法、装置及电子设备
CN114663687A (zh) 模型训练方法、目标识别方法、装置、设备及存储介质
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
CN117037132A (zh) 一种基于机器视觉的船舶水尺读数检测和识别方法
CN113705564B (zh) 一种指针式仪表识别读数方法
CN114359286A (zh) 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
Han et al. SSGD: A smartphone screen glass dataset for defect detection
CN116823872B (zh) 基于目标追踪和图像分割的风机巡检方法及系统
Bahrami et al. Optimized deep neural network architectures with anchor box optimization for shipping container corrosion inspection
CN113326734A (zh) 一种基于YOLOv5的旋转目标检测方法
CN108734706B (zh) 一种融合区域分布特性与边缘尺度角度信息的转子绕线图像检测方法
Gu et al. Segmentation and evaluation of crack image from aircraft fuel tank via atrous spatial pyramid fusion and hybrid attention network
CN116309407A (zh) 一种铁路接触网螺栓异常状态的检测方法
CN109636838A (zh) 一种基于遥感影像变化检测的燃气隐患分析方法及装置
Klusek et al. Supporting the Process of Sewer Pipes Inspection Using Machine Learning on Embedded Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination