CN113436184B - 基于改进孪生网络的电力设备图像缺陷判别方法及系统 - Google Patents
基于改进孪生网络的电力设备图像缺陷判别方法及系统 Download PDFInfo
- Publication number
- CN113436184B CN113436184B CN202110799838.1A CN202110799838A CN113436184B CN 113436184 B CN113436184 B CN 113436184B CN 202110799838 A CN202110799838 A CN 202110799838A CN 113436184 B CN113436184 B CN 113436184B
- Authority
- CN
- China
- Prior art keywords
- image
- power equipment
- equipment
- defect
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 238000013434 data augmentation Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 7
- 230000003416 augmentation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims description 2
- 238000004091 panning Methods 0.000 claims description 2
- 238000012850 discrimination method Methods 0.000 claims 6
- 238000010276 construction Methods 0.000 abstract 1
- 238000007689 inspection Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进孪生网络的电力设备图像缺陷判别方法，其步骤包括电力设备图像采集、数据清洗、数据增广、构建图像判别数据集、判别模型训练、实时推理和数据集更新与模型迭代。针对因图像训练样本收集难、缺陷特征不一致的设备缺陷类型进行了分析，构建了基于孪生网络结构的缺陷图像判别模型，提出了数据集更新与模型迭代优化策略，利用实时推理后的电力设备图像扩充判别数据库，提升了数据集数量的同时保证了数据集的质量；同时基于更新后的数据集定期重新训练模型，实现模型的迭代优化，设计的联合优化损失函数，综合考虑了类间可分性和类内紧凑性，提升了电力设备图像缺陷判别准确度的同时加快了模型训练收敛速度。
Description
技术领域
本发明涉及一种电力运检方法及系统，尤其涉及一种基于改进孪生网络的电力设备图像缺陷判别方法及系统。
背景技术
变电站、换流站、输电线路等大多地处偏僻、分散较广，日常巡视、表计抄录工作需要频繁往返现场，效率低下，因设备巡视不到位，未能及时发现设备缺陷及异常导致的停电事故时有发生。为提升电力设备巡视效率，机器人、人工智能等技术逐渐应用在电力运检工作中，机器人、高清摄像头和红外测温设备的联合巡视正逐步替代人工巡视，以提高电力设备巡视效率和实时性。
目前电力设备巡检过程中多基于单帧图像完成工作人员吸烟、呼吸器硅胶变色、表计表盘破损等问题的识别，采用的方法主要有以边界提取、区域填充为代表的等形态学图像处理方法和以YOLO、Faster RCNN为代表的图像识别方法。其中，形态学方法缺少多维度特征提取机制，易受复杂背景和环境因素干扰，电力设备运行场景背景复杂，电力设备缺陷影像在不同时间段所表现出的颜色、光照等方面都存在较大的差异，因此算法稳定性差、泛化能力低。以YOLO、Faster RCNN为代表的图像识别方法则建立在大量的训练样本基础上，考虑到电力运行场景复杂以及自然环境的干扰，要求每种缺陷类型的样本数量不低于一定量级。然而电力设备在实际运行中，存在大量的设备变形、移位、异物入侵等缺陷，此类缺陷样本收集难度大且缺陷特征不统一，如电容器鼓肚、膨胀器冲顶属于设备变形缺陷，属于发生情况少、样本难收集但应用价值大的缺陷，一旦发生亟需处理。手套、绝缘杆、外套、手机等作业工具或私人物品遗落现场属于异物入侵缺陷，物品类别不确定且存在多样性，缺少具有推理能力的共性特征；设备倾斜、刀闸开合位置不正确等缺陷图像训练样本收集难、缺陷特征不一致而无法利用目标检测等方法进行识别。
综上所述，电力设备缺陷检测方法基本采用的是基于目标检测来识别缺陷，针对样本量小或缺乏共性特征的缺陷难以准确识别，无法满足现阶段智能电网对变电设备安全稳定运行的要求。
发明内容
发明目的：本发明的目的是提供一种通过检测待判别图像与正常图像之间是否发生变化进而判断设备是否发生异常的方法及系统。
技术方案：本发明的一种基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，包括以下步骤：
(1)电力设备图像采集：用智能终端控制电力运行场景下的图像采集设备基于巡视要求采集重点设备于同一场景下不同时间的电力设备正常图像和电力设备缺陷图像；
(2)数据清洗：基于图像信息熵和结构相似度从步骤(1)所采集的图像中剔除携带信息量少或重复的图像，提升数据价值密度；
(3)数据增广：采用图像增广手段对步骤(2)中经过数据清洗的图像进行随机改变，作为训练样本加入图像判别数据集；
(4)构建图像判别数据集：将电力设备正常图像和电力设备缺陷图像进行匹配，一张电力设备正常图像匹配多张同一场景下的电力设备缺陷图像；针对匹配后的样本对图像进行标注并将图像与标注文件进行统一存储；
(5)判别模型训练：将电力设备正常图像和电力设备缺陷图像同时输入到孪生网络中，基于残差网络ResNet网络提取正常图像与缺陷图像的多尺度特征，结合二值交叉熵损失与MWP匹配损失设计损失函数，加快训练收敛速度；
(6)实时推理：针对现场设备采集到的电力设备正常图像和电力设备待判别图像，利用ResNet得到相应的图像特征，计算两类样本的距离进行相似度度量，根据相似度对两幅图像进行对比，判断两幅图像是否存在变化，检测待判别图像中的设备是否发生异常，显示结果的同时推送告警信息至运维端；
(7)数据集更新与模型迭代：针对步骤(6)中实时推理后的图像，若设备状态发生变化，则将该图像增加到步骤(4)构建的判别数据集中，实现数据集的扩充更新；基于更新后的数据集对模型进行迭代与优化。
图像采集设备包括巡检机器人、无人机和视频传感器。
图像增广手段包括翻转、裁剪、变化颜色、缩放和平移。
步骤(2)包括如下步骤：
(21)针对图像X，mi表示像素灰度表示,p(mi)为各灰度级出现的概率，利用图像信息熵H量化图像的平均信息，剔除分析价值低于阈值的图像：
所述阈值为数据集中图像信息熵均值的0.35倍；
(22)针对图像X和图像Y，从亮度、对比度和结构三个维度进行对比，若两幅图像完全一样，那么仅保留一张，进而删除采集数据中的重复图像：
SSIM(X,Y)＝[l(X,Y)]α·[c(X,Y)]β·[s(X,Y)]γ；
式中，l(X,Y)表示亮度相似性，c(X,Y)表示对比度相似性，s(X,Y)表示结构相似性，α、β、γ表示每个维度所占比重。
步骤(4)包括如下步骤：
(41)针对电力运行场景中不同的设备或场景，将其正常运行状态下的图像样本作为标准，并建立正常图像数据集；
(42)针对图像采集设备拍摄的实时图像，基于预置位名称与正常样本库进行匹配，同一张电力设备正常图像对应多张具有不同类型缺陷的电力设备缺陷图像；
(43)针对匹配后的样本对，利用labelImg对图像进行标注，生成VOC格式的样本集。
步骤(5)包括如下步骤：
(51)将匹配后的电力设备正常图像和电力设备缺陷图像成对输入，并基于ResNet网络将输入的图像转换为卷积特征表示；所用ResNet网络结构深度为101，包含5个卷积模块conv1，conv2，conv3，conv4，conv5和1个全连接层fc，利用卷积层产生特征映射P；
(52)将ResNet101得到的特征输入MWP匹配损失和二值交叉熵损失函数进行目标联合优化，利用随机梯度下降法训练求解，最小化来自同一类别的一对样本的损失函数值，最大化来自不同类别的一对样本的损失函数值，更新网络模型参数得到训练模型。
步骤(6)包括如下步骤：
(61)针对现场设备采集到的电力设备待判别图像，基于步骤(2)清洗后，利用预置点位与步骤(4)中构建的判别数据库中的电力设备正常图像进行匹配，得到电力设备正常图像和待判别图像样本对；
(62)将电力设备正常图像和待判别图像样本对分别输入至两个步骤(5)中训练的ResNet-101网络中，上述两个ResNet-101网络的权值共享，获得电力设备正常图像特征Pnormal和电力设备待判别图像特征Pidentify；
(63)通过两个特征向量的距离进行相似性度量；当图像样本对的特征向量之间距离小于距离度量的阈值时，则输入的待判别电力设备图像与正常图像属于同一类别，设备为正常状态；当距离大于距离度量的阈值时，表示输入的样本对不匹配，即设备有缺陷发生。
步骤(7)包括如下步骤：
(71)针对步骤(6)实时推理后的待判别图像，若判别电力设备图像发生变化，则将该图像增添至判别图像数据集，实时更新与扩充数据集；
(72)当数据增量达到原有数据集图像数量的三分之一时，基于更新后的数据集重新训练判别模型，实现模型的迭代与优化。
本发明还提供一种基于改进孪生网络的电力设备图像缺陷判别系统，包括智能终端、图像采集设备、数据存储设备、巡视主机、显示器，所述智能终端控制图像采集设备对重点设备进行图像拍摄与采集，数据统一传输至数据存储设备，巡视主机针对图像进行实时推理，并在显示器上实时展示推理结果。
有益效果：与现有技术相比，本发明具有如下显著优点：在样本数量较少的情况下模型效果好，准确率高，提升了数据集数量的同时保证了数据集的质量；实现模型的定期迭代优化，提升了电力设备图像缺陷判别准确度的同时加快了模型训练收敛速度。能够基于少量的样本实现电力设备缺陷的准确判别，解决了电力系统实际运行中存在的样本量小或缺乏共性特征的缺陷难识别的问题，为坚强智能电网安全稳定运行奠定了技术基础。
附图说明
图1是本发明的方法流程图；
图2是本发明的电力设备图像增强示意图；
图3是本发明的电力设备正常图像与缺陷图像标注方法示意图；
图4是本发明的改进孪生网络的电力设备图像判别模型示意图；
图5是本发明的ResNet-101残差结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
本发明提供的一种基于改进孪生网络的电力设备图像缺陷判别方法，能够通过检测待判别图像与正常图像之间是否发生变化进而判断设备是否发生异常，可以部署于变电站或者换流站等电力应用场景之下，具体包括以下步骤：
(1)电力设备图像采集
如图1所示，按照各变电站或换流站等电力系统的设备巡视要求，利用智能终端，如机器人搭载的工控机、无人机搭载的Jetson TX2芯片等，控制室内外巡检机器人、无人机、高清摄像头对重点设备进行图像拍摄与采集，要求包含同一场景下的不同时间的电力设备正常图像和设备缺陷图像，巡检主机针对采集的电力设备图像进行整合，存储在固定目录中，数据传输与存储按预置位和时间规则命名，便于后续样本管理。
(2)数据清洗
首先，电力设备运行场景复杂且存在自然环境干扰，比如强光反射等原因造成过曝，丢失细节甚至无法体现设备信息；其次，针对视频数据，将其按照一定时间间隔抽帧转换为图像进行分析，图像相似度和重复率高；为解决上述两个问题，本发明首先利用图像信息熵H量化图像的平均信息，剔除采集数据中心携带信息量少的图像，将图像看做一个二维信源，处于不同位置的像素取不同的灰度和颜色，像素灰度用mi表示，p(mi)为各灰度级出现的概率,假设各像素和各灰度是统计独立的，而且不考虑像素的几何位置，此时图像信息熵的本质就是香农信息熵：
剔除图像信息熵低于一定阈值的电力设备图像数据，提升数据价值密度。
其次，针对筛选后的图像，从亮度、对比度和结构三个维度进行对比，若图像X和图像Y完全一样，那么仅保留一张，进而删除采集数据中的重复图像：
SSIM(X,Y)＝[l(X,Y)]α·[c(X,Y)]β·[s(X,Y)]γ
其中l(X,Y)表示亮度相似性，c(X,Y)表示对比度相似性，s(X,Y)表示结构相似性。α、β、γ表示每个维度所占比重。若存在完全相同的电力设备正常图像或完全相同的电力设备缺陷图像，则只保留一张，确保数据库中图像的唯一性。
(3)数据增广
利用图像增广技术对清洗后的电力设备缺陷图像训练图像进行一系列随机改变从而产生相似但又不完全相同的训练样本，扩大训练数据集的规模的同时提高模型的泛化能力。图像增广手段包括：翻转、裁剪、变化颜色、缩放和平移；同一场景下的电力设备正常图像和电力设备缺陷图像需要同时进行相同变换，如图2所示，上列8张为电力设备正常图像及其变换后的结果，下列8张为同一场景下电力设备缺陷图像进行同一变换后的情况。
(4)构建判别图像数据集
针对清洗和增广后的电力设备图像，通过人工审核等方式，将其区分为电力设备正常图像和电力设备缺陷图像，将电力设备正常运行状态下的图像样本作为标准，并建立正常图像样本库，按照预置位名称进行样本管理；
电力设备缺陷图像按照预置位名称和时间进行命名管理，通过预置位与正常图像进行匹配预关联，同一张电力设备正常图像可能对应多张具有不同类型缺陷的或者多张不同时间拍摄的电力设备缺陷图像；针对匹配后的电力设备正常图像和缺陷图像，利用labelImg对图像进行标注，如图3所示，存在缺陷的图像标签为1，不存在缺陷的图像标签为0，标注文件为VOC格式，并将数据集按照4:1的比例划分为训练集和验证集。
(5)判别模型训练
判别模型如图4所示，首先基于ResNet-101网络实现电力设备图像的多尺度特征提取。ResNet-101采用的残差结构如图5所示，通过增加跳跃结构直接连接浅层网络和深层网络，提出了多尺度特征的同时避免了梯度弥散，残差单元可以表示为：
yl＝h(xl)+F(xl,Wl)
xl+1＝f(yl)
其中xl和xl+1分别表示第l个残差单元的输入和输出，F表示残差函数，W表示权重，h(xl)表示学习到的残差，f(yl)是激活函数，那么从浅层l到深层L的学习特征为：
ResNet-101网络结构中利用5个卷积模块{Conv1,Conv2,Conv3,Conv4,Conv5}进行特征提取，本发明中利用第Conv2到第Conv5共计4个卷积模块的残差输出作为特征图，记为{C2,C3,C4,C5}。针对每个卷积模块得到的特征图，进行卷积、下采样、上采样操作后，得到多尺度特征{P2,P3,P4,P5}。特征图样本经过连接融合后表示为o，利用分类损失函数进行具体类别的分类，本发明中电力设备是否发生异常，其本质上是个二分类问题，因此，交叉熵损失函数为：
其中y(n)表示标签向量，N为样本对个数，n表示第n个样本。
本发明引入了度量学习方法，构建基于孪生网络二元组损失的相似性度量模块，采用难例挖掘策略进行选择，迫使网络能够学习到足以区分类别间细节的同时，考虑了类内紧凑的问题，加快网络收敛速度，设计了基于加权完备二分图的损失函数：
上式中，若电力设备图像样本xi和xj相比较，未发生变化，则yij为1，相反则为0，Mij为自适应边权值，Tij则为最大权最佳匹配结果。
通过最小化损失函数更新整个网络的参数得到训练模型，训练损失包括交叉熵损失和匹配损失：
Loss＝λBCEL(y,o)+λMWPL(xi,xj:f)
其中λBCE和λMWP衡量两种损失在训练损失中所占比例。
训练阶段，将成对的电力设备图像输入孪生神经网络，正常图像标签为0，存在缺陷或异常的设备图像标签为1，结合二值交叉熵损失与MWP匹配损失设计的损失函数Loss，最小化来自同一类别的一对样本的损失函数值，最大化来自不同类别的一对样本的损失函数值，更新网络模型参数得到训练模型。
(6)实时推理
针对现场设备采集到的电力设备待判别图像，基于步骤2清洗后，利用预置点位与步骤4中构建的判别数据库中的电力设备正常图像进行匹配，得到电力设备正常图像和待判别图像样本对；将样本对分别输入到两个权值共享的ResNet-101网络中，获得两个特征向量，通过计算两个特征向量的距离进行相似性度量；当图像样本对的特征向量之间距离较小时，可判断输入的待判别电力设备图像与正常图像属于同一类别，设备未发生异常变化，当距离大于距离度量的阈值时，表示输入的样本对不匹配，此时表示设备有缺陷发生；
(7)数据集更新与模型迭代
针对步骤(6)中的实时推理后的图像，若推理出设备有缺陷发生，则将该图像存储至某一文件夹，累计至一定数量后，将图像进行人工审核，将真正有缺陷的电力设备图像增添至判别图像数据集，实现数据集的更新与扩充；基于更新后的数据集定期重新训练判别模型，实现模型迭代与优化。
Claims (9)
1.一种基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，包括以下步骤：
(1)电力设备图像采集：用智能终端控制电力运行场景下的图像采集设备基于巡视要求采集重点设备于同一场景下不同时间的电力设备正常图像和电力设备缺陷图像；
(2)数据清洗：基于图像信息熵和结构相似度从步骤(1)所采集的图像中剔除携带信息量少或重复的图像，提升数据价值密度；
(3)数据增广：采用图像增广手段对步骤(2)中经过数据清洗的图像进行随机改变，作为训练样本加入图像判别数据集；
(4)构建图像判别数据集：将电力设备正常图像和电力设备缺陷图像进行匹配，一张电力设备正常图像匹配多张同一场景下的电力设备缺陷图像；针对匹配后的样本对图像进行标注并将图像与标注文件进行统一存储；
(5)判别模型训练：将电力设备正常图像和电力设备缺陷图像同时输入到孪生网络中，基于残差网络ResNet网络提取正常图像与缺陷图像的多尺度特征，结合二值交叉熵损失与MWP匹配损失设计损失函数，加快训练收敛速度，其中建立损失函数如下式：
Loss＝λBCEL(y,o)+λMWPL(xi,xj:f)；
其中，引入度量学习方法，构建基于孪生网络二元组损失的相似性度量模块，采用难例挖掘策略进行选择，设计如下基于加权完备二分图的最大权完美匹配损失函数：
式中，L(y,o)表示交叉熵损失函数大小，其中，y表示标签向量、特征图样本经过连接融合后表示为o；L(xi,xj:f)表示MWP匹配损失函数大小，其中，xi、xj为电力设备图像样本，若电力设备图像样本xi和xj相比较，未发生变化，则yij为1，相反则为0；λBCE表示二值交叉熵损失在训练损失中所占比例；λMWP表示MWP匹配损失在训练损失中所占比例；Mij为自适应边权值，Tij为最大权最佳匹配结果；
(6)实时推理：针对现场设备采集到的电力设备正常图像和电力设备待判别图像，利用ResNet得到相应的图像特征，计算两类样本的距离进行相似度度量，根据相似度对两幅图像进行对比，判断两幅图像是否存在变化，检测待判别图像中的设备是否发生异常，显示结果的同时推送告警信息至运维端；
(7)数据集更新与模型迭代：针对步骤(6)中实时推理后的图像，若设备状态发生变化，则将该图像增加到步骤(4)构建的判别数据集中，实现数据集的扩充更新；基于更新后的数据集对模型进行迭代与优化。
2.根据权利要求1所述的基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，所述图像采集设备包括巡检机器人、无人机和视频传感器。
3.根据权利要求1所述的基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，所述图像增广手段包括翻转、裁剪、变化颜色、缩放和平移。
4.根据权利要求1所述的基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，所述步骤(2)包括如下步骤：
(21)针对图像X，mi表示像素灰度表示,p(mi)为各灰度级出现的概率，利用图像信息熵H量化图像的平均信息，剔除分析价值低于阈值的图像：
所述阈值为数据集中图像信息熵均值的0.35倍；
(22)针对图像X和图像Y，从亮度、对比度和结构三个维度进行对比，若两幅图像完全一样，那么仅保留一张，进而删除采集数据中的重复图像：
SSIM(X,Y)＝[l(X,Y)]α·[c(X,Y)]β·[s(X,Y)]γ；
式中，l(X,Y)表示亮度相似性，c(X,Y)表示对比度相似性，s(X,Y)表示结构相似性，α、β、γ表示每个维度所占比重。
5.根据权利要求1所述的基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，所述步骤(4)包括如下步骤：
(41)针对电力运行场景中不同的设备或场景，将其正常运行状态下的图像样本作为标准，并建立正常图像数据集；
(42)针对图像采集设备拍摄的实时图像，基于预置位名称与正常样本库进行匹配，同一张电力设备正常图像对应多张具有不同类型缺陷的电力设备缺陷图像；
(43)针对匹配后的样本对，利用labelImg对图像进行标注，生成VOC格式的样本集。
6.根据权利要求1所述的基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，所述步骤(5)包括如下步骤：
(51)将匹配后的电力设备正常图像和电力设备缺陷图像成对输入，并基于ResNet网络将输入的图像转换为卷积特征表示；所用ResNet网络结构深度为101，包含5个卷积模块conv1，conv2，conv3，conv4，conv5和1个全连接层fc，利用卷积层产生特征映射P；
(52)将ResNet101得到的特征输入MWP匹配损失和二值交叉熵损失函数进行目标联合优化，利用随机梯度下降法训练求解，最小化来自同一类别的一对样本的损失函数值，最大化来自不同类别的一对样本的损失函数值，更新网络模型参数得到训练模型。
7.根据权利要求1所述的基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，所述步骤(6)包括如下步骤：
(61)针对现场设备采集到的电力设备待判别图像，基于步骤(2)清洗后，利用预置点位与步骤(4)中构建的判别数据库中的电力设备正常图像进行匹配，得到电力设备正常图像和待判别图像样本对；
(62)将电力设备正常图像和待判别图像样本对分别输入至两个步骤(5)中训练的ResNet-101网络中，上述两个ResNet-101网络的权值共享，获得电力设备正常图像特征Pnormal和电力设备待判别图像特征Pidentify；
(63)通过两个特征向量的距离进行相似性度量；当图像样本对的特征向量之间距离小于距离度量的阈值时，则输入的待判别电力设备图像与正常图像属于同一类别，设备为正常状态；当距离大于距离度量的阈值时，表示输入的样本对不匹配，即设备有缺陷发生。
8.根据权利要求1所述的基于改进孪生网络的电力设备图像缺陷判别方法，其特征在于，所述步骤(7)包括如下步骤：
(71)针对步骤(6)实时推理后的待判别图像，若判别电力设备图像发生变化，则将该图像增添至判别图像数据集，实时更新与扩充数据集；
(72)当数据增量达到原有数据集图像数量的三分之一时，基于更新后的数据集重新训练判别模型，实现模型的迭代与优化。
9.一种基于改进孪生网络的电力设备图像缺陷判别系统，其特征在于，所述系统实现权利要求1-8其中任一项所述方法的步骤，所述系统包括智能终端、图像采集设备、数据存储设备、巡视主机、显示器，所述智能终端控制图像采集设备对重点设备进行图像拍摄与采集，数据统一传输至数据存储设备，巡视主机针对图像进行实时推理，并在显示器上实时展示推理结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110799838.1A CN113436184B (zh) | 2021-07-15 | 2021-07-15 | 基于改进孪生网络的电力设备图像缺陷判别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110799838.1A CN113436184B (zh) | 2021-07-15 | 2021-07-15 | 基于改进孪生网络的电力设备图像缺陷判别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113436184A CN113436184A (zh) | 2021-09-24 |
| CN113436184B true CN113436184B (zh) | 2024-05-24 |
Family
ID=77760539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110799838.1A Active CN113436184B (zh) | 2021-07-15 | 2021-07-15 | 基于改进孪生网络的电力设备图像缺陷判别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436184B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049507A (zh) * | 2021-11-19 | 2022-02-15 | 国网湖南省电力有限公司 | 基于孪生网络的配网线路绝缘子缺陷识别方法、设备及介质 |
| CN115659258B (zh) * | 2022-11-10 | 2024-04-30 | 国网山东省电力公司德州供电公司 | 一种基于多尺度图卷积孪生网络的配电网故障检测方法 |
| CN115984662B (zh) * | 2023-03-21 | 2023-08-04 | 广东省科技基础条件平台中心 | 一种多模态数据预训练及识别方法、装置、设备及介质 |
| CN116363536B (zh) * | 2023-05-31 | 2023-08-11 | 国网湖北省电力有限公司经济技术研究院 | 一种基于无人机巡查数据的电网基建设备缺陷归档方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136101A (zh) * | 2019-04-17 | 2019-08-16 | 杭州数据点金科技有限公司 | 一种基于孪生距离比对的轮胎x光病疵检测方法 |
| WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技（深圳）有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
| CN111179251A (zh) * | 2019-12-30 | 2020-05-19 | 上海交通大学 | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
| CN111401384A (zh) * | 2020-03-12 | 2020-07-10 | 安徽南瑞继远电网技术有限公司 | 一种变电设备缺陷图像匹配方法 |
| CN111400930A (zh) * | 2020-04-09 | 2020-07-10 | 武汉大学 | 基于虚实孪生空间的电力设备小样本故障诊断方法及系统 |
| CN112990335A (zh) * | 2021-03-31 | 2021-06-18 | 江苏方天电力技术有限公司 | 一种电网无人机巡检影像缺陷智能识别自学习训练方法、系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3809220B1 (en) * | 2019-10-14 | 2023-01-18 | Honda Research Institute Europe GmbH | Method and system for semi-supervised deep anomaly detection for large-scale industrial monitoring systems based on time-series data utilizing digital twin simulation data |
-
2021
- 2021-07-15 CN CN202110799838.1A patent/CN113436184B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技（深圳）有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
| CN110136101A (zh) * | 2019-04-17 | 2019-08-16 | 杭州数据点金科技有限公司 | 一种基于孪生距离比对的轮胎x光病疵检测方法 |
| CN111179251A (zh) * | 2019-12-30 | 2020-05-19 | 上海交通大学 | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
| CN111401384A (zh) * | 2020-03-12 | 2020-07-10 | 安徽南瑞继远电网技术有限公司 | 一种变电设备缺陷图像匹配方法 |
| CN111400930A (zh) * | 2020-04-09 | 2020-07-10 | 武汉大学 | 基于虚实孪生空间的电力设备小样本故障诊断方法及系统 |
| CN112990335A (zh) * | 2021-03-31 | 2021-06-18 | 江苏方天电力技术有限公司 | 一种电网无人机巡检影像缺陷智能识别自学习训练方法、系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多模态生物电信号人机交互技术研究;孙瀚;《中国博士学位论文全文数据库（信息科技辑）》;20210115;全文 * |
| 少量样本下基于孪生CNN的SAR目标识别;王博威;潘宗序;胡玉新;马闻;;雷达科学与技术(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113436184A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113436184B (zh) | 基于改进孪生网络的电力设备图像缺陷判别方法及系统 | |
| CN110827251B (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
| CN112990335B (zh) | 一种电网无人机巡检影像缺陷智能识别自学习训练方法、系统 | |
| CN108647655B (zh) | 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法 | |
| CN111179223A (zh) | 基于深度学习的工业自动化缺陷检测方法 | |
| CN113361326B (zh) | 一种基于计算机视觉目标检测的智慧电厂管控系统 | |
| CN110826577A (zh) | 一种基于目标跟踪的高压隔离开关状态跟踪识别方法 | |
| CN110599458A (zh) | 基于卷积神经网络的地下管网检测评估云系统 | |
| CN113327255A (zh) | 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法 | |
| CN110599459A (zh) | 基于深度学习的地下管网风险评估云系统 | |
| CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
| CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
| CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及系统 | |
| CN115830302A (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN110599460A (zh) | 基于混合卷积神经网络的地下管网检测评估云系统 | |
| CN117115498A (zh) | 用于识别气象图的方法和电子设备 | |
| CN113284103B (zh) | 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法 | |
| CN115631154A (zh) | 一种电力设备状态监控分析方法与系统 | |
| CN115937492A (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
| CN115147591A (zh) | 一种变电设备红外图像电压致热型缺陷诊断方法及系统 | |
| CN111402223B (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |