CN117315354B - 基于多判别器复合编码gan网络的绝缘子异常检测方法 - Google Patents

基于多判别器复合编码gan网络的绝缘子异常检测方法 Download PDF

Info

Publication number
CN117315354B
CN117315354B CN202311261240.2A CN202311261240A CN117315354B CN 117315354 B CN117315354 B CN 117315354B CN 202311261240 A CN202311261240 A CN 202311261240A CN 117315354 B CN117315354 B CN 117315354B
Authority
CN
China
Prior art keywords
image
insulator
coding
network
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311261240.2A
Other languages
English (en)
Other versions
CN117315354A (zh
Inventor
刘若鹏
徐贵力
董文德
马栎敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202311261240.2A priority Critical patent/CN117315354B/zh
Publication of CN117315354A publication Critical patent/CN117315354A/zh
Application granted granted Critical
Publication of CN117315354B publication Critical patent/CN117315354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于多判别器复合编码GAN网络的绝缘子异常检测方法，涉及供电技术领域，该方法基于无监督学习方法实现，通过构建并训练多判别器复合编码GAN网络得到图像重构模型，利用图像重构模型来基于重构正常图像，然后分析重构前后图像之间的差异实现绝缘子异常检测。该方法利用图像处理技术实现对绝缘子异常的自动化检测，构建的多判别器复合编码GAN网络采用VIT编码器和CNN编码器结合的复合编码结构，然后利用多个判别器进行多方面的判别训练，使得训练得到的图像重构模型能够更全面的提取绝缘子特征，输出更准确的重建图像，从而有更准确的异常检测结果。

Description

基于多判别器复合编码GAN网络的绝缘子异常检测方法
技术领域
本申请涉及供电技术领域，尤其是一种基于多判别器复合编码GAN网络的绝缘子异常检测方法。
背景技术
绝缘子是安装在不同电位的导体或导体与接地构件之间，能够耐受电压和机械应力作用的器件，是供电系统的重要组成设备，对变电站供电系统的电压起到保护作用。
但绝缘子套管长期在露天环境中运行，易受到污秽、风干、雨水等气候环境因素影响，导致绝缘子出现老化、掉瓷等破损现象，影响其工作性能，甚至会导致闪络、火灾等安全事故，影响供电系统安全有效的运行。
传统对绝缘子的异常检测一般由人工负责，人工检测方式存在效率低、准确率低等问题，另外在高危或极端环境下，人工的实时监测也具有很大的危险。
发明内容
本申请针对上述问题及技术需求，提出了一种基于多判别器复合编码GAN网络的绝缘子异常检测方法，本申请的技术方案如下：
一种基于多判别器复合编码GAN网络的绝缘子异常检测方法，该绝缘子异常检测方法包括：
构建多判别器复合编码GAN网络的网络结构，多判别器复合编码GAN网络包括生成器网络和判别器网络，生成器网络包括依次连接的复合编码器和解码器，复合编码器中的VIT编码器和CNN编码器分别对生成器网络的输入图像x编码后进行特征拼接得到复合编码z输入解码器；判别器网络包括第一判别器和第二判别器，第一判别器用于对生成器网络的输入图像x和输出图像进行分类判别得到对抗损失Ladv，第二判别器用于对VIT编码器的潜在编码z1和CNN编码器的潜在编码z2进行分类判别得到编码损失Lenc2；
构建训练数据集，训练数据集包括若干不存在异常的绝缘子样本图像，根据对抗损失Ladv、编码损失Lenc2以及生成器网络的输入图像x和输出图像之间的重建损失Lcon确定混合损失Loss，并利用训练数据集按照混合损失Loss对多判别器复合编码GAN网络进行模型训练，并提取完成模型训练的生成器网络作为图像重构模型；
获取包含绝缘子的初始图像，并利用图像重构模型对初始图像中的绝缘子进行异常检测。
其进一步的技术方案为，生成器网络还包括Senet模块，Senet模块对生成器网络的输入图像x进行图像处理，得到消除反光和增加对比度的输入图像x并分别输入VIT编码器和CNN编码器进行编码。
其进一步的技术方案为，在构建的多判别器复合编码GAN网络的网络结构中，生成器网络的输出端还依次连接附加Senet模块和附加复合编码器，附加Senet模块与生成器网络中的Senet模块相同，附加复合编码器与生成器网络中的复合编码器相同；
附加Senet模块对生成器网络的输出图像进行图像处理，得到消除反光和增加对比度的输出图像/>并分别输入附加复合编码器中的VIT编码器和CNN编码器进行编码，VIT编码器和CNN编码器进行编码后进行特征拼接得到复合编码/>则混合损失Loss还包括根据复合编码z和复合编码/>确定的编码损失Lenc1。
其进一步的技术方案为，重建损失Lcon用于表征生成器网络的输入图像x和输出图像之间的差异，输入图像x和输出图像/>之间的差异越小，重建损失Lcon越小；
对抗损失Ladv用于表征第一判别器对生成器网络的输入图像x的分类判别结果f(x)以及对输出图像的分类判别结果/>之间的差异，两个分类判别结果之间的差异越小，对抗损失Ladv越小；
编码损失Lenc1用于表征复合编码z和复合编码之间的差异，复合编码z和复合编码/>之间的差异越小，编码损失Lenc1越小；
编码损失Lenc2用于表征潜在编码z1和潜在编码z2之间的差异，潜在编码z1和潜在编码z2之间的差异越大、复合编码z的特征越丰富，编码损失Lenc2越小。
其进一步的技术方案为，各项损失的计算公式为：
其中，||||2表示计算L2范数，||||1表示计算L1范数。
其进一步的技术方案为，混合损失Loss＝αLcon+βLenc1+γLenc2+λLadv，权重β的取值远大于权重α、γ和λ的取值。
其进一步的技术方案为，利用图像重构模型对初始图像中的绝缘子进行异常检测包括：
对初始图像进行图像预处理，提取初始图像中绝缘子所在区域的图像得到待检测图像；
将待检测图像输入图像重构模型得到对应的重构图像；
对待检测图像及其对应的重构图像进行图像比对，输出图像比对结果作为检测到的异常区域。
其进一步的技术方案为，对初始图像进行图像预处理包括：
对初始图像进行图像分割，去除初始图像中的背景图像，提取绝缘子所在区域的图像得到绝缘子前景图像；
对绝缘子前景图像中的绝缘子进行图像校正得到待检测图像，待检测图像中的绝缘子完成倾斜校正且在待检测图像中的图像占比达到预定面积占比。
其进一步的技术方案为，对绝缘子前景图像中的绝缘子进行图像校正得到待检测图像包括：
利用基于YOLOv5的旋转框检测网络检测绝缘子前景图像中的绝缘子的旋转边界框，提取旋转边界框内的图像在水平状态下的图像得到待检测图像；基于YOLOv5的旋转框检测网络针对旋转目标进行角度回归和旋转框的定义，得到的旋转边界框具有预定的倾斜角度。
其进一步的技术方案为，对初始图像进行图像分割包括：
利用基于U-Net网络训练得到的背景分割网络对初始图像进行图像分割得到绝缘子前景图像。
本申请的有益技术效果是：
本申请公开了一种基于多判别器复合编码GAN网络的绝缘子异常检测方法，本申请的方法基于无监督学习方法实现，通过构建并训练多判别器复合编码GAN网络得到图像重构模型，利用图像重构模型来基于重构正常图像，然后分析重构前后图像之间的差异实现绝缘子异常检测。该方法利用图像处理技术实现对绝缘子异常的自动化检测，构建的多判别器复合编码GAN网络采用VIT编码器和CNN编码器结合的复合编码结构，然后利用多个判别器进行多方面的判别训练，使得训练得到的图像重构模型能够更全面的提取绝缘子特征，输出更准确的重建图像，从而有更准确的异常检测结果。
本申请构建还在生成器网络中引入Senet模块，先利用Senet模块进行图像处理后再利用复合编码器进行编码，Senet模块可以减弱图像反光和对比度带来的影响，使得该方法在实际复杂环境中的应用效果更好，鲁棒性更强。
该方法在实际检测时，对初始图像首先去除背景图像，然后进行倾斜校正，得到水平状态且图像占比达到预定面积占比的待检测图像再进行图像重建，采用的图像预处理方法有利于提高图像重建的准确性，从而能够得到更准确的异常检测结果。
附图说明
图1是本申请构建的多判别器复合编码GAN网络的网络结构图。
图2是本申请一个实施例的绝缘子异常检测方法的方法流程图。
图3是一个实例中对获取到的初始图像进行图像预处理以及得到异常检测结果的实例示意图。
具体实施方式
下面结合附图对本申请的具体实施方式做进一步说明。
本申请公开了一种基于多判别器复合编码GAN网络的绝缘子异常检测方法，该绝缘子异常检测方法基于图像处理技术来实现。目前基于图像处理技术的异常检测方法主要包括两大类别：
1、第一类基于传统方法实现，常见的比如基于模板匹配、基于统计模型、基于图像分解、基于频域分析、基于稀疏编码重构和基于分类面构建的异常检测方法。基于传统方法的异常检测方法主要适用于稳定、静止的环境，并且无法处理未知的异常情况或复杂多变的环境，尽管简单快速，但其精度较低且缺乏鲁棒性。
2、第二类基于深度学习方法实现，又可以进一步分为两个子类别。
(1)第一个子类别是基于带监督学习的异常检测方法。基于带监督学习的异常检测方法使用包含正常样本与异常样本的样本训练集进行训练，学习正常样本与异常样本的特征。但是样本训练集无法覆盖现实世界中的所有异常情况。因此，基于带监督学习的异常检测方法只能识别样本训练集中存在的异常特征，对于其他未知特征则无法有效应对，而在很多情况下，实际无法获取足够的异常样本，导致基于带监督学习的异常检测方法的准确度较低。
(2)第二个子类别是基于无监督或半监督学习的异常检测方法。基于无监督或半监督学习的异常检测方法不依赖于异常根本训练的方法，只需使用正常样本进行训练，仅学习正常样本的特征，然后通过距离度量、分类面构建和图像重构等方法即可区分出异常图像，其中图像重构是最常用的。
本申请的绝缘子异常检测方法在现有的基于图像处理技术的异常检测方法的大框架下展开，使用的是基于深度学习方法中的基于无监督或半监督学习的异常检测方法的思想，包括如下步骤：
构建多判别器复合编码GAN网络的网络结构。请参考图1所示的网络结构示意图，构建的多判别器复合编码GAN网络包括生成器网络和判别器网络：
生成器网络包括依次连接的复合编码器和解码器，复合编码器包括VIT编码器和CNN编码器。复合编码器中的VIT编码器和CNN编码器分别对生成器网络的输入图像x进行编码，VIT编码器对输入图像x进行编码得到潜在编码z1，CNN编码器对输入图像x进行编码得到潜在编码z2。潜在编码z1和潜在编码z2进行特征拼接得到复合编码z输入解码器。解码器用于对复合编码z解码得到生成器网络的输出图像
CNN编码器由多层卷积神经网络构成，在模型训练过程中，CNN编码器只能提取输入图像x的局部特征信息，会导致输出的潜在编码z2缺乏全局信息，这种缺陷可能会保留异常图像中的异常部分，会导致无论输入图像x是正常图像还是异常图像，生成器网络重建的图像都与输入图像高度相似，导致难以准确区分异常图像。
VIT编码器基于自注意力机制实现，在模型训练过程中，VIT编码器会将输入图像x分成多个图像块，再将多个图像块与整个输入图像x的信息进行融合与编码得到潜在编码z1。相比于CNN编码器，VIT编码器通过注意力机制和位置嵌入将图像中的目标图像块与图像全局联系到了一起，对全局上下文的联系有了显著增强，更适合捕捉输入图像x中的高级语义信息，强调输入图像x的整体性，可以弥补CNN编码器重建局部特征能力过强的问题。
然而，VIT编码器虽加强了全局高级语义信息的提取，却没有CNN编码器强大的局部特征提取能力，只使用VIT编码器会导致重建图像模糊、局部信息少等问题。因此本申请构建的生成器网络采用复合编码器，复合使用VIT编码器和CNN编码器进行编码，从而使得复合编码z能够综合输入图像x中的全局高级语义信息和局部特征信息，以使得得到更好的图像重建质量。
另外，传统的图像重建异常检测的研究大多基于mvtec等公开数据集，这些公开数据集均在稳定光照环境下拍摄，没有反光等问题。但是在绝缘子异常检测领域，由于绝缘子所在环境的复杂性，采集到的绝缘子的图像的反光和明暗等问题是不容忽视的，如果不对其进行考虑，生成器网络会将反光和明暗部分也当作缺陷消去从而产生重建误差。因此为了考虑反光和明暗带来的干扰，如图1所示，构建的多判别器复合编码GAN网络的网络结构中，生成器网络还包括Senet模块，Senet模块对生成器网络的输入图像x进行图像处理，得到消除反光和增加对比度的输入图像x并分别输入VIT编码器和CNN编码器进行编码，通过引入Senet模块可以减弱图像重构过程中图像反光和对比度带来的影响，提高重建准确度，继而提高异常检测准确性。
进一步的，构建的多判别器复合编码GAN网络，生成器网络的输出端还依次连接附加Senet模块和附加复合编码器，附加Senet模块与生成器网络中的Senet模块相同，附加复合编码器与生成器网络中的复合编码器相同，在此不再赘述。附加Senet模块对生成器网络的输出图像进行图像处理，得到消除反光和增加对比度的输出图像/>并分别输入附加复合编码器中的VIT编码器和CNN编码器进行编码，附加复合编码器中的VIT编码器对生成器网络的输出图像/>进行编码得到潜在编码/>附加复合编码器中的CNN编码器对生成器网络的输出图像/>进行编码得到潜在编码/>潜在编码/>和潜在编码/>进行特征拼接得到复合编码/>
另外，本申请构建的多判别器复合编码GAN网络中，判别器网络也改进优化为采用多判别器结构，判别器网络包括第一判别器和第二判别器，判别器是一个分类网络，用于对输入的两个图像进行分类判断。第一判别器用于对生成器网络的输入图像x和输出图像进行分类判别得到对抗损失Ladv。第二判别器用于对VIT编码器的潜在编码z1和CNN编码器的潜在编码z2进行分类判别得到编码损失Lenc2。
然后构建训练数据集，训练数据集包括若干不存在异常的绝缘子样本图像。由于本申请的方法属于基于无监督或半监督学习的异常检测方法，因此在训练时，只需使用正常的绝缘子样本图像即可，无需使用异常样本。
然后即可利用训练数据集基于构建的多判别器复合编码GAN网络的网络结构进行模型训练，在模型训练时，通过最小化混合损失Loss的方法进行模型训练。
本申请使用到的混合损失Loss包括第一判别器得到的对抗损失Ladv，第二判别器得到的编码损失Lenc2，以及生成器网络的输入图像x和输出图像之间的重建损失Lcon。在多判别器复合编码GAN网络还包括附加Senet模块和附加复合编码器的基础上，混合损失Loss还包括根据复合编码z和复合编码/>确定的编码损失Lenc1，请结合图1的信息流示意图：
(1)重建损失Lcon用于表征生成器网络的输入图像x和输出图像之间的差异。为了使得生成器网络可以重建生成更加真实的图像，需要在训练时不断计算输入图像x和输出图像/>之间的差异，输入图像x和输出图像/>之间的差异越小，说明生成器网络的重建能力越强，则对应得到的重建损失Lcon越小。
在一个实施例中，使用L1范数计算重建损失||||1表示计算L1范数。
(2)对抗损失Ladv用于表征第一判别器对生成器网络的输入图像x的分类判别结果f(x)以及对输出图像的分类判别结果/>之间的差异。当第一判别器被训练至无法分清输入图像x和输出图像/>时，说明生成器网络已经生成足够真实的图像，因此两个分类判别结果之间的差异越小，对抗损失Ladv越小。在一个实施例中，第一判别器使用交叉熵损失训练判别器，/>||||2表示计算L2范数。
(3)编码损失Lenc1用于表征复合编码z和复合编码之间的差异。两组复合编码越相近，说明它们映射的图像越相似，因此复合编码z和复合编码/>之间的差异越小，编码损失Lenc1越小。编码损失Lenc1的引入可以提升生成器网络在不同维度的生成能力。在一个实施例中，/>
(4)编码损失Lenc2用于表征潜在编码z1和潜在编码z2之间的差异。本申请的生成器网络采用复合编码器的结构来提取输入图像的更多特征信息，潜在编码z1和潜在编码z2之间的差异越大，图像拼接得到的复合编码z的特征越丰富，相应的编码损失Lenc2越小，从而可以在训练过程中有利于增大潜在编码z1和潜在编码z2之间的差异。在一个实施例中，
得到上述四项损失后，对这四项损失进行加权得到混合损失Loss＝αLcon+βLenc1+γLenc2+λLadv，α、γ、β和λ分别为权重。重建损失Leon针对输入图像与输出图像的相似度，编码损失Lenc1针对抽象空间中混合编码的相似度，编码损失Lenc2使得混合编码包含更全面的特征信息，这三项损失帮助生成更真实的图像，对抗损失Ladv通过训练判别器提升生成图像的能力。编码损失Lenc2用于增大潜在编码的差异，但过大的编码差异会影响生成图像的真实性，需要控制该损失的权重比例。所以在配置各项损失的权重时，权重β的取值远大于权重α、γ和λ的取值。在一个实施例中，权重β＝50，权重α＝γ＝λ＝1。
完成模型训练后，提取完成模型训练的生成器网络作为图像重构模型。呕在实际应用时，在获取包含绝缘子的初始图像后，利用图像重构模型对初始图像中的绝缘子进行异常检测。请参考图2所示的流程图，包括如下步骤：
首先获取包含绝缘子的初始图像，由于绝缘子的工作环境复杂，因此获取到的初始图像除了包含绝缘子之外，往往还包括绝缘子所在环境的背景图像，请参考图3所示的(a)。所以首先对初始图像进行图像预处理，提取初始图像中绝缘子所在区域的图像得到待检测图像，
对初始图像进行图像预处理包括两方面：
(1)首先对初始图像进行图像分割，去除初始图像中的背景图像，提取绝缘子所在区域的图像得到绝缘子前景图像。该步骤中，利用基于U-Net网络训练得到的背景分割网络对初始图像进行图像分割得到绝缘子前景图像。U-Net是一种U形状的网络结构，U-Net网络由一个编码器(下采样路径)和一个解码器(上采样路径)组成，使其具有对图像特征进行多尺度分析的能力。在训练阶段，U-Net网络通过比较预测的分割结果与真实分割标签之间的差异，使用像素级别的损失函数(如交叉熵损失函数)来进行优化。基于U-Net网络训练得到的背景分割网络即可用于对初始图像进行语义分割预测。
对初始图像进行图像分割可以将初始图像中的背景图像分割出来并去除，去除大部分无用信息，只保留绝缘子前景图像，请参考图3中的(b)所示，这也对接下来的图像重建有较大帮助。
(2)然后对绝缘子前景图像中的绝缘子进行图像校正得到待检测图像，待检测图像中的绝缘子完成倾斜校正且在待检测图像中的图像占比达到预定面积占比。
在实际应用时，绝缘子由于尺寸较小，且实际工作场景中姿态不确定，因此从初始图像中提取到的绝缘子前景图像可能图像占比较小且可能呈倾斜状态，如图3中的(b)所示。该步骤中，对绝缘子前景图像进行倾斜校正使其水平，并放大绝缘子前景图像的图像占比，有利于增强后续图像重建的重建质量。
在该步骤中，利用基于YOLOv5的旋转框检测网络检测绝缘子前景图像中的绝缘子的旋转边界框，提取旋转边界框内的图像在水平状态下的图像得到待检测图像。基于YOLOv5的旋转框检测网络针对旋转目标进行角度回归和旋转框的定义，得到的旋转边界框具有预定的倾斜角度。插混同的物体检测网络通常假设目标是水平的边界框，无法直接应对旋转目标的检测，通过引入旋转框的表示和角度回归分支，基于YOLOv5的旋转框检测网络可以更准确地预测绝缘子的位置和姿态。在图3的实例中，进一步得到的待检测图像如图(c)所示。
然后将待检测图像输入图像重构模型得到对应的重构图像，最终对待检测图像及其对应的重构图像进行图像比对，输出图像比对结果指示的待检测图像与重构图像的差异部分，即为检测到的异常区域。请参考图3的实例，将图(c)的待检测图像输入图像重构模型得到的重构图像如图3中的(d)所示，将图(c)的待检测图像和图(d)的重构图像进行图像比对，输出两者差异部分图像，作为检测到的绝缘子的异常区域，如图3中的(e)所示。
以上的仅是本申请的优选实施方式，本申请不限于以上实施例。可以理解，本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本申请的保护范围之内。

Claims (6)

1.一种基于多判别器复合编码GAN网络的绝缘子异常检测方法，其特征在于，所述绝缘子异常检测方法包括：
构建多判别器复合编码GAN网络的网络结构，所述多判别器复合编码GAN网络包括生成器网络和判别器网络，所述生成器网络包括依次连接的复合编码器和解码器，所述复合编码器中的VIT编码器和CNN编码器分别对生成器网络的输入图像编码后进行特征拼接得到复合编码/>输入所述解码器；所述判别器网络包括第一判别器和第二判别器，所述第一判别器用于对所述生成器网络的输入图像/>和输出图像/>进行分类判别得到对抗损失，所述第二判别器用于对VIT编码器的潜在编码/>和CNN编码器的潜在编码/>进行分类判别得到编码损失/>；
构建训练数据集，所述训练数据集包括若干不存在异常的绝缘子样本图像，根据对抗损失、编码损失/>以及所述生成器网络的输入图像/>和输出图像/>之间的重建损失/>确定混合损失/>，并利用所述训练数据集按照混合损失/>对多判别器复合编码GAN网络进行模型训练，并提取完成模型训练的生成器网络作为图像重构模型；
获取包含绝缘子的初始图像，并利用所述图像重构模型对所述初始图像中的绝缘子进行异常检测；
所述生成器网络还包括Senet模块，Senet模块对生成器网络的输入图像进行图像处理，得到消除反光和增加对比度的输入图像/>并分别输入VIT编码器和CNN编码器进行编码；
在构建的多判别器复合编码GAN网络的网络结构中，生成器网络的输出端还依次连接附加Senet模块和附加复合编码器，附加Senet模块与所述生成器网络中的Senet模块相同，附加复合编码器与所述生成器网络中的复合编码器相同；所述附加Senet模块对所述生成器网络的输出图像进行图像处理，得到消除反光和增加对比度的输出图像/>并分别输入所述附加复合编码器中的VIT编码器和CNN编码器进行编码，VIT编码器和CNN编码器进行编码后进行特征拼接得到复合编码/>；则所述混合损失/>还包括根据复合编码/>和复合编码/>确定的编码损失/>；
重建损失用于表征所述生成器网络的输入图像/>和输出图像/>之间的差异，输入图像/>和输出图像/>之间的差异越小，重建损失/>越小；对抗损失/>用于表征所述第一判别器对所述生成器网络的输入图像/>的分类判别结果/>以及对输出图像/>的分类判别结果/>之间的差异，两个分类判别结果之间的差异越小，对抗损失/>越小；编码损失/>用于表征复合编码/>和复合编码/>之间的差异，复合编码/>和复合编码/>之间的差异越小，编码损失/>越小；编码损失/>用于表征潜在编码/>和潜在编码/>之间的差异，潜在编码/>和潜在编码/>之间的差异越大、复合编码/>的特征越丰富，编码损失越小；
混合损失，权重/>的取值远大于权重/>、和/>的取值。
2.根据权利要求1所述的绝缘子异常检测方法，其特征在于，各项损失的计算公式为：
其中，表示计算L2范数，/>表示计算L1范数。
3.根据权利要求1所述的绝缘子异常检测方法，其特征在于，所述利用所述图像重构模型对所述初始图像中的绝缘子进行异常检测包括：
对所述初始图像进行图像预处理，提取所述初始图像中绝缘子所在区域的图像得到待检测图像；
将所述待检测图像输入所述图像重构模型得到对应的重构图像；
对所述待检测图像及其对应的重构图像进行图像比对，输出图像比对结果作为检测到的异常区域。
4.根据权利要求3所述的绝缘子异常检测方法，其特征在于，所述对所述初始图像进行图像预处理包括：
对所述初始图像进行图像分割，去除所述初始图像中的背景图像，提取绝缘子所在区域的图像得到绝缘子前景图像；
对所述绝缘子前景图像中的绝缘子进行图像校正得到所述待检测图像，所述待检测图像中的绝缘子完成倾斜校正且在所述待检测图像中的图像占比达到预定面积占比。
5.根据权利要求4所述的绝缘子异常检测方法，其特征在于，对所述绝缘子前景图像中的绝缘子进行图像校正得到所述待检测图像包括：
利用基于YOLOv5的旋转框检测网络检测所述绝缘子前景图像中的绝缘子的旋转边界框，提取所述旋转边界框内的图像在水平状态下的图像得到所述待检测图像；所述基于YOLOv5的旋转框检测网络针对旋转目标进行角度回归和旋转框的定义，得到的旋转边界框具有预定的倾斜角度。
6.根据权利要求4所述的绝缘子异常检测方法，其特征在于，所述对所述初始图像进行图像分割包括：
利用基于U-Net网络训练得到的背景分割网络对所述初始图像进行图像分割得到绝缘子前景图像。
CN202311261240.2A 2023-09-27 2023-09-27 基于多判别器复合编码gan网络的绝缘子异常检测方法 Active CN117315354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311261240.2A CN117315354B (zh) 2023-09-27 2023-09-27 基于多判别器复合编码gan网络的绝缘子异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311261240.2A CN117315354B (zh) 2023-09-27 2023-09-27 基于多判别器复合编码gan网络的绝缘子异常检测方法

Publications (2)

Publication Number Publication Date
CN117315354A CN117315354A (zh) 2023-12-29
CN117315354B true CN117315354B (zh) 2024-04-02

Family

ID=89287903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311261240.2A Active CN117315354B (zh) 2023-09-27 2023-09-27 基于多判别器复合编码gan网络的绝缘子异常检测方法

Country Status (1)

Country Link
CN (1) CN117315354B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN111507975A (zh) * 2020-04-23 2020-08-07 西南交通大学 一种牵引变电所户外绝缘子异常检测方法
CN112184654A (zh) * 2020-09-24 2021-01-05 上海电力大学 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
WO2021088101A1 (zh) * 2019-11-04 2021-05-14 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法
CN112884671A (zh) * 2021-02-26 2021-06-01 南京航空航天大学 一种基于无监督生成对抗网络的模糊图像复原方法
CN113658115A (zh) * 2021-07-30 2021-11-16 华南理工大学 一种基于深度卷积生成对抗网络的图像异常检测方法
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN114155237A (zh) * 2021-12-06 2022-03-08 深圳市医诺智能科技发展有限公司 一种基于无监督学习的医学图像异常检测方法及终端
CN114445510A (zh) * 2020-10-30 2022-05-06 武汉大学 一种图像优化方法、装置、电子设备和存储介质
KR20220130498A (ko) * 2021-03-18 2022-09-27 서강대학교산학협력단 딥뉴럴 네트워크 기반 이미지 아웃페인팅 방법 및 그 장치
CN115442613A (zh) * 2021-06-02 2022-12-06 四川大学 一种利用gan的基于帧间信息的噪声去除方法
CN116485934A (zh) * 2023-04-28 2023-07-25 长春理工大学重庆研究院 一种基于CNN和ViT的红外图像彩色化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239782B (zh) * 2021-05-11 2023-04-28 广西科学院 一种融合多尺度gan和标签学习的行人重识别系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021088101A1 (zh) * 2019-11-04 2021-05-14 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN111507975A (zh) * 2020-04-23 2020-08-07 西南交通大学 一种牵引变电所户外绝缘子异常检测方法
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN112184654A (zh) * 2020-09-24 2021-01-05 上海电力大学 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法
CN114445510A (zh) * 2020-10-30 2022-05-06 武汉大学 一种图像优化方法、装置、电子设备和存储介质
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112884671A (zh) * 2021-02-26 2021-06-01 南京航空航天大学 一种基于无监督生成对抗网络的模糊图像复原方法
KR20220130498A (ko) * 2021-03-18 2022-09-27 서강대학교산학협력단 딥뉴럴 네트워크 기반 이미지 아웃페인팅 방법 및 그 장치
CN115442613A (zh) * 2021-06-02 2022-12-06 四川大学 一种利用gan的基于帧间信息的噪声去除方法
CN113658115A (zh) * 2021-07-30 2021-11-16 华南理工大学 一种基于深度卷积生成对抗网络的图像异常检测方法
CN114155237A (zh) * 2021-12-06 2022-03-08 深圳市医诺智能科技发展有限公司 一种基于无监督学习的医学图像异常检测方法及终端
CN116485934A (zh) * 2023-04-28 2023-07-25 长春理工大学重庆研究院 一种基于CNN和ViT的红外图像彩色化方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Blind Deconvolution for Poissonian Blurred Image With Total Variation and L0-Norm Gradient Regularizations;Wende Dong , Shuyin Tao , Guili Xu , Yueting Chen;IEEE TRANSACTIONS ON IMAGE PROCESSING;20201124;第30卷;全文 *
LKAT-GAN: A GAN for Thermal Infrared Image Colorization Based on Large Kernel and AttentionUNet-Transformer;Youwei He , Xin Jin , Qian Jiang , Zien Cheng, Puming Wang, Wei Zhou;IEEE TRANSACTIONS ON CONSUMER ELECTRONICS;20230615;第69卷(第3期);全文 *
The design of the tracking system base on visual and Wireless Location Appliance;Yang Xu, Guili Xu, Chengsheng wang, Yuehua Cheng, Xu Li;Chinese Control And Decision Conference;20170717;全文 *
基于对抗自编码器的融合数据标签新奇检测研究;刘凤华;李正伟;刘小明;杨关;;中原工学院学报;20191225(06);全文 *
基于改进GRU 模型的直流充电桩故障预测;臧斌斌, 高 辉, 刘 建, 陈良亮;计算机系统应用;20221115;第32卷(第2期);全文 *
连接器表面裂纹检测方法研究;郁文玺，徐贵;激光与光电子学进展;20220717;第59卷(第14期);全文 *

Also Published As

Publication number Publication date
CN117315354A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN108009591B (zh) 一种基于深度学习的接触网关键部件识别方法
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN112766195B (zh) 一种电气化铁路弓网燃弧视觉检测方法
Noh et al. Unsupervised change detection based on image reconstruction loss
US20230360390A1 (en) Transmission line defect identification method based on saliency map and semantic-embedded feature pyramid
CN111639530B (zh) 一种输电线路的输电塔和绝缘子的检测和识别方法及系统
Huang et al. A multi-feature fusion-based deep learning for insulator image identification and fault detection
CN113221688B (zh) 一种刀闸状态识别方法、装置和存储介质
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN112465798B (zh) 一种基于生成对抗网络和记忆模块的异常检测方法
Wang et al. Semantic segmentation of transmission lines and their accessories based on UAV-taken images
CN111627007A (zh) 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN112861762B (zh) 基于生成对抗网络的铁路道口异常事件检测方法及系统
CN106355187A (zh) 视觉信息在电力设备监测中的应用
CN117315354B (zh) 基于多判别器复合编码gan网络的绝缘子异常检测方法
CN113159046A (zh) 无砟道床异物检测方法及装置
CN111563886B (zh) 基于非监督特征学习的隧道钢轨表面病害检测方法及装置
CN115456941A (zh) 新型电力绝缘子缺陷检测识别方法及系统
Zhang et al. Pyramid Masked Image Modeling for Transformer-Based Aerial Object Detection
CN112614094B (zh) 基于序列状态编码的绝缘子串异常定位识别方法
CN112183186A (zh) 一种基于生成对抗网络的绝缘子缺陷检测方法
CN114140446A (zh) 基于语义分割和目标检测的绝缘子缺陷检测方法
Iftikhar et al. Unsupervised detection of rail surface defects and rail-head anomalies using Auto-encoder
Wan et al. Fault detection of air-spring devices based on GANomaly and isolated forest algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant