CN116071352A - 一种电力安全工器具表面缺陷图像的生成方法 - Google Patents

一种电力安全工器具表面缺陷图像的生成方法 Download PDF

Info

Publication number
CN116071352A
CN116071352A CN202310200645.9A CN202310200645A CN116071352A CN 116071352 A CN116071352 A CN 116071352A CN 202310200645 A CN202310200645 A CN 202310200645A CN 116071352 A CN116071352 A CN 116071352A
Authority
CN
China
Prior art keywords
image
defect
representing
defect image
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310200645.9A
Other languages
English (en)
Inventor
骆忠强
何相杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202310200645.9A priority Critical patent/CN116071352A/zh
Publication of CN116071352A publication Critical patent/CN116071352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种电力安全工器具表面缺陷图像的生成方法，涉及图像生成技术领域，为解决原GAN网络在增强工器具表面缺陷图像数据集时生成缺陷图像质量差，多样性低下的问题。所述电力安全工器具表面缺陷的图像的生成方法包括：S1：获取电力安全工器具表面图像数据集；S2：对所述电力安全工器具表面图像数据集进行预处理，得到预处理后的数据集；S3：利用所述预处理后的数据集训练DG‑GAN网络，得到工器具表面缺陷图像；S4：将所述工器具表面缺陷图像传输至FID评分网络进行评分，得到评分结果；S5：根据所述评分结果得到数量充足的工器具表面缺陷图像数据集。

Description

一种电力安全工器具表面缺陷图像的生成方法
技术领域
本发明涉及图像生成技术领域，具体涉及一种电力安全工器具表面缺陷图像的生成方法。
背景技术
为了保障电力从业人员的生命安全和电力电网行业的正常运转，电力安全工器具的寿命管理、质量检测已成为不可或缺的一环，而电力安全工器具的缺陷检测就是其中的重中之重。现今绝大多数表面缺陷检测任务都是基于深度学习方法来开展的，并且取得了卓越的成果。使用各种基于深度学习方法的缺陷检测模型在训练中都需要大量的缺陷样本数据，否则训练时容易出现过拟合现象，模型在训练中有着较高的精度，但在测试集中精度低下，最终不能应用于实际缺陷检测中。然而，在实际生产中，采集足够数量的缺陷图像样本是极其困难的，甚至可能出现没有缺陷样本的情况，往往只能采集到少量的缺陷图像样本和大量的正常图像样本。数据集可能出现数据缺乏、数据类不平衡等问题。这会直接影响到后续的缺陷检测任务，缺陷图像样本的缺乏和类不平衡甚至会直接导致缺陷检测任务的失败。
由于生成对抗网络(GAN)卓越的生成能力，科研人员将其引入缺陷检测任务，生成缺陷图像增强缺陷图像数据集以缓解缺陷图像数据缺乏和类不平衡问题。现今，GAN网络及其各种变体在缺陷图像生成方面有着良好的表现。因此，选择GAN网络作为缺陷图像生成的基准网络，并针对实际问题进行改进。
原始的GAN网络虽然具有强大的生成能力，但在训练中容易出现模式崩溃的问题，并且训练也不稳定。GAN网络生成的缺陷图像质量和多样性都有所欠缺，FID评分较高，达不到增强缺陷图像数据集的效果。以生成绝缘隔板缺陷图像为例，使用GAN网络生成绝缘隔板缺陷图像时，存在着如下问题：生成的缺陷图像和真实的缺陷图像相比（把绝缘隔板缺陷图像看作是作为前景的缺陷和作为背景的绝缘隔板图像的组合），前景细节不够真实，边缘较为模糊，多样性低下，而且背景与真实缺陷图像的背景相比区别较大，总体和真实的绝缘隔板缺陷图像有着肉眼可视的差别，并且FID评分较高，说明生成的缺陷图像质量并不高，对缺陷检测任务的帮助不大。
发明内容
本发明的目的在于提供一种电力安全工器具表面缺陷图像的生成方法，以解决原GAN网络在增强工器具表面缺陷图像数据集时生成缺陷图像质量差，多样性低下的问题。
本发明解决上述技术问题的技术方案如下：
本发明提供一种电力安全工器具表面缺陷图像的生成方法，所述电力安全工器具表面缺陷图像的生成方法包括：
S1：获取电力安全工器具表面图像数据集；
S2：对所述电力安全工器具表面图像数据集进行预处理，得到预处理后的数据集；
S3：利用所述预处理后的数据集训练DG-GAN网络，得到工器具表面缺陷图像；
S4：将所述工器具表面缺陷图像传输至FID评分网络进行评分，得到评分结果；
S5：根据所述评分结果得到数量充足的工器具表面缺陷图像数据集。
可选择地，所述S1中，所述电力安全工器具表面图像数据集包括电力安全工器具表面缺陷图像子集和电力安全工器具表面无缺陷图像子集；其中，所述电力安全工器具表面缺陷图像子集中图像的数量远少于所述电力安全工器具表面无缺陷图像子集中图像的数量。
可选择地，所述S2包括：
S21：统一所述电力安全工器具表面缺陷图像子集和电力安全工器具表面无缺陷图像子集的分辨率和格式，得到统一后的电力安全工器具表面缺陷图像子集和统一后的电力安全工器具表面无缺陷图像子集；
S22：将所述统一后的电力安全工器具表面缺陷图像子集按照缺陷类别进行划分，得到划痕图像子数据集、坑点子图像数据集、烧蚀子图像数据集和电压击穿图像子数据集；
S23：将所述划痕图像子数据集、坑点子图像数据集、烧蚀子图像数据集、电压击穿图像子数据集和所述统一后的电力安全工器具表面无缺陷图像子集作为所述预处理后的数据集输出。
可选择地，所述S3包括：
S31：对所述预处理后的数据集进行无泄露数据增强操作，得到增强后的数据集；
S32：设置训练参数；
S33：在原始DG-GAN网络中加入自注意力模块和相关损失函数，得到DG-GAN网络；
S34：利用增强后的数据集对所述DG-GAN网络进行训练，得到工器具表面缺陷图像。
可选择地，所述S32中，所述训练参数包括初始学习率、学习率下降方法、迭代次数、梯度下降优化算法和动量参数。
可选择地，所述步骤S33中，所述自注意力模块包括原始特征映射子模块、第一1×1卷积层、第二1×1卷积层、第三1×1卷积层、Q运算层、K运算层、H运算层、注意力映射子模块、第四1×1卷积层和自注意力特征映射子模块；
所述原始特征映射子模块的输出作为所述第一1×1卷积层、所述第二1×1卷积层和所述第三1×1卷积层的输入，所述第一1×1卷积层的输出作为所述Q运算层的输入，所述第二1×1卷积层的输出作为所述K运算层的输入，所述第三1×1卷积层的输出作为所述H运算层的输入，所述Q运算层的输出和所述K运算层的输出矩阵相乘并软最大化后作为所述注意力映射子模块的输入，所述注意力映射子模块的输出和所述H运算层的输出矩阵相乘后作为所述第四1×1卷积层的输入，所述第四1×1卷积层的输出作为所述自注意力特征映射子模块的输入，所述自注意力特征映射子模块的输出作为所述自注意力模块的输出。
可选择地，所述自注意力模块的输出 Y为：
其中， X表示特征层的输入，表示辅助超参数， V表示自注意力层的输出且，表示位置 j的自注意层的输出，表示某一位置 i对位置 j的注意程度且，、、、分别表示运算后的输出，并且、、， W V ， W Q ， W K ， W O 分别表示1*1的可学习卷积核，用于改变特征层输入 X的通道数； H和 W分别表示输入输出高度和宽度；C1、C2和C3表示不同的通道数，表示位置 i的查询向量矩阵的转置，表示位置 j的键向量矩阵， N表示矩阵的数量，表示位置 i的值向量矩阵。
可选择地，所述步骤S33中，所述相关损失函数包括D2对抗性损失和循环一致性损失，所述相关损失函数包括D2对抗性损失和循环一致性损失，所述D2对抗性损失为：
其中，表示 G和的对抗性损失且， G表示第一生成器，表示分布函数的期望值，表示真实无缺陷图像样本的分布，表示真实缺陷图像样本的分布，表示第一生成器 G根据真实无缺陷图像 g生成的伪缺陷图像， g表示真实无缺陷图像，表示 b在判别器中的得分，表示 b在判别器中的得分， b表示真实缺陷图像，表示D2对抗性损失，表示第三判别器，表示第四判别器，用于控制相似性和多样性之间的相对重要性，表示 G和的对抗性损失且，表示生成的伪缺陷图像在判别器中的得分，表示生成的伪缺陷图像在判别器中的得分；
所述循环一致性损失包括：
其中，表示循环一致性损失，表示真实无缺陷图像和重建伪无缺陷图像之间的循环一致性损失，表示真实缺陷图像 b和重建伪缺陷图像之间的循环一致性损失，表示L1范数，表示第二生成器 F以第一生成器 G生成的伪缺陷图像为输入，生成的重建伪无缺陷图像；表示第一生成器 G以第二生成器 F生成的伪无缺陷图像为输入，生成的重建伪缺陷图像。
可选择地，所述DG-GAN网络包括第一生成器和第二生成器，
所述第一生成器根据真实无缺陷图像生成伪缺陷图像并将所述伪缺陷图像传输至所述第二生成器；
所述第二生成器根据真实缺陷图像生成伪无缺陷图像并将所述伪无缺陷图像传输至所述第一生成器；
所述第一生成器还用于根据所述伪无缺陷图像生成重建伪缺陷图像；
所述第二生成器还用于根据所述伪缺陷图像生成重建伪无缺陷图像。
可选择地，所述DG-GAN网络还包括第一判别器、第二判别器、第三判别器和第四判别器，所述第一判别器和所述第二判别器用于区分所述伪无缺陷图像和真实无缺陷图像，所述第三判别器和所述第四判别器用于区分所述伪缺陷图像和真实缺陷图像。
本发明具有以下有益效果：
1）本发明基于GAN网络生成模型，针对工器具表面缺陷，建立用于生成缺陷图像的DG-GAN网络。基于DG-GAN网络，智能训练绝缘隔板的表面缺陷数据集与正常图像数据集，再将网络性能达到最佳时的参数进行保存，最终生成足以以假乱真的绝缘隔板缺陷图像。该方法可以缓解缺陷检测时面临缺陷图像匮乏的难题，不仅适用于绝缘隔板缺陷图像生成，其他如钢铁制工器具等也可以应用此方法缓解缺陷数据缺乏的问题。DG-GAN对于各种缺陷检测任务都具有极大的促进意义，为保障电力作业人员的施工安全和电网的正常运行起到了积极作用。
2）本发明的缺陷图像生成模型集成了DG-GAN网络和自注意力机制等关键技术，能生成逼真的各类缺陷图像，有效的扩充增强各种工器具缺陷数据集，为进一步的缺陷检测任务的成功打下了坚实的基础，甚至对于缺陷检测模型的检测精度和鲁棒性的提升都有积极的意义，对保障电力作业人员的施工安全和电力电网的正常运行有着促进作用。
附图说明
图1为本发明电力安全工器具表面缺陷图像的生成方法的流程图；
图2为本发明自注意力模块的结构示意图；
图3为本发明DG-DAN网络的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明提供一种电力安全工器具表面缺陷图像的生成方法，参考图1所示，所述电力安全工器具表面缺陷图像的生成方法包括：
S1：获取电力安全工器具表面图像数据集；
本发明所述电力安全工器具表面图像数据集包括电力安全工器具表面缺陷图像子集和电力安全工器具表面无缺陷图像子集；其中，所述电力安全工器具表面缺陷图像子集中图像的数量远少于所述电力安全工器具表面无缺陷图像子集中图像的数量。
可选择地，电力安全工器具表面缺陷图像子集中图像可以是采集到的，也可以是人工制作的，本发明不做限制，该电力安全工器具表面缺陷图像子集包括的四种缺陷，分别为划痕、坑点、烧蚀和电压击穿，本发明同样不做限制，可以有任意数量的种类。
S2：对所述电力安全工器具表面图像数据集进行预处理，得到预处理后的数据集；
基于上述内容，本发明对电力安全工器具表面图像数据集进行预处理，具体包括：
S21：统一所述电力安全工器具表面缺陷图像子集和电力安全工器具表面无缺陷图像子集的分辨率和格式，得到统一后的电力安全工器具表面缺陷图像子集和统一后的电力安全工器具表面无缺陷图像子集；
本发明将两种图像子集中的图像均统一为1024×1024的分辨率，格式为.jpg，这样，能够便于进行网络训练。
S22：将所述统一后的电力安全工器具表面缺陷图像子集按照缺陷类别进行划分，得到划痕图像子数据集、坑点子图像数据集、烧蚀子图像数据集和电压击穿图像子数据集；
由于上述电力安全工器具表面缺陷图像子集包括四种缺陷，分别为划痕、坑点、烧蚀和电压击穿，因此，本发明将统一后的电力安全工器具表面缺陷图像子集按照缺陷类别进行划分，得到划痕图像子数据集、坑点子图像数据集、烧蚀子图像数据集和电压击穿图像子数据集。
S23：将所述划痕图像子数据集、坑点子图像数据集、烧蚀子图像数据集、电压击穿图像子数据集和所述统一后的电力安全工器具表面无缺陷图像子集作为所述预处理后的数据集输出。
S3：利用所述预处理后的数据集训练DG-GAN网络，得到工器具表面缺陷图像；
可选择地，步骤S3包括：
S31：对所述预处理后的数据集进行无泄露数据增强操作，得到增强后的数据集；
预处理后的数据集输入网络后，其中缺陷类数据和根据真实缺陷图像生成的无缺陷图像需要经过无泄漏数据增强，在其他时候，关闭该模块。其中使用到图像缩放、图像旋转和图像镜像这三种组合数据增强手段，可以把图像数量增加到原有的3至5倍。经过相关的对比实验，最终将 P的值设为0.7，此处 P表示使用数据增强的概率。设置图像保存函数，将增强后的真实缺陷图像保存到硬盘中，为后续FID评分做准备。
S32：设置训练参数；
这里的训练参数包括初始学习率及学习率下降方法，迭代次数，梯度下降优化算法，动量参数等。梯度下降优化算法中，主要选择动量随机梯度下降法(Stochasticgradientdecent with momentum, SGD-M)和Adam优化算法，动量随机梯度下降法为：
其中，表示的导数，表示上一轮的导数，表示动量参数，表示对求关于的导数，表示学习率，表示损失函数值，表示超参数权重和偏置。由于随机梯度下降法容易陷入局部最优值的局限性，研究先驱们引入了动量的思想，即保留上一次更新的梯度方向，在进行下一次的更新时，下一次的梯度方向将会结合上一次梯度方向进行参数更新，即动量梯度下降法。动量项γ的取值决定了保留上部分更新的方向信息，取值区间为[0, 1]，初始时可以取0.5，随着迭代逐渐增大。
Adam算法是动量梯度下降法和RMSprop算法的结合体，它不仅要保留历史梯度的指数衰减均值 v t ，还要保存一个指数衰减的历史平方梯度的平均值 s t ，另外针对初期迭代 v t 和 s t 趋向于零的问题，Adam算法还引入了偏差修正，以此在训练初期获得更好的统计，由上述生成的Adam算法更新规则如下：
其中，表示历史梯度的指数衰减平均值，和分别表示不同的动量系数，取默认值为0.9，为0.999，表示上一次历史梯度的指数衰减均值，表示对求关于导数，表示损失函数，表示历史平方梯度的平均值，表示上一次历史平方梯度的平均值，表示对的校正，表示对的校正，表示的t次幂，表示的t次幂，表示当前更新的参数，表示上一次的参数，表示学习率，表示为了维持数值稳定性而添加的常数。
S33：在原始DG-GAN网络中加入自注意力模块和相关损失函数，得到DG-GAN网络；
在DG-GAN网络中，在256×256、512×512和1024×1024分辨率的生成器和判别器的中间层加入自注意力模块，提升网络的特征信息提取能力，以提高生成缺陷图像的质量和多样性。
所述自注意力模块包括原始特征映射子模块、第一1×1卷积层、第二1×1卷积层、第三1×1卷积层、Q运算层、K运算层、H运算层、注意力映射子模块、第四1×1卷积层和自注意力特征映射子模块；
所述原始特征映射子模块的输出作为所述第一1×1卷积层、所述第二1×1卷积层和所述第三1×1卷积层的输入，所述第一1×1卷积层的输出作为所述Q运算层的输入，所述第二1×1卷积层的输出作为所述K运算层的输入，所述第三1×1卷积层的输出作为所述H运算层的输入，所述Q运算层的输出和所述K运算层的输出矩阵相乘并软最大化后作为所述注意力映射子模块的输入，所述注意力映射子模块的输出和所述H运算层的输出矩阵相乘后作为所述第四1×1卷积层的输入，所述第四1×1卷积层的输出作为所述自注意力特征映射子模块的输入，所述自注意力特征映射子模块的输出作为所述自注意力模块的输出。
自注意力模块的结构如图2所示，其输出 Y为：
其中， X表示特征层的输入，表示辅助超参数， V表示自注意力层的输出且，表示位置 j的自注意层的输出，表示某一位置 i对位置 j的注意程度且，、、、分别表示运算后的输出，并且、、， W V ， W Q ， W K ， W O 分别表示1*1的可学习卷积核，用于改变特征层输入 X的通道数； H和 W分别表示输入输出高度和宽度；C1、C2和C3表示不同的通道数，表示位置 i的查询向量矩阵的转置，表示位置 j的键向量矩阵， N表示矩阵的数量，表示位置 i的值向量矩阵。
本发明的自注意力模块的初始值为0，逐渐增大到1，使模型能够从简单的局部特征中学习，逐渐扩大的整体。
至于相关损失函数，本发明的相关损失函数包括D2对抗性损失和循环一致性损失， D2对抗性损失使DG-GAN能够生成高质量和高多样性的缺陷图像。循环一致性损失使得DG-GAN能够从少量的缺陷图像和大量的辅助无缺陷图像中生成缺陷图像。
由于DG-GAN网络需要生成具有高质量和高多样性的缺陷图像。但由于缺陷图像数量有限，多样性不足，不能覆盖缺陷的所有特征分布。为了解决这一问题，引入 D2对抗性损失，即在对抗损失的基础上添加多样性损失。具体地，GAN网络训练过程优化生成的图像分布 P g 来减少真实图像分布 P r 和生成图像分布 P g 之间的 JS散度 D JS (P r ||P g )，这已被经验证明更类似于反向KL散度 D KL (P g ||P data )，而不是KL散度 D KL (P r ||P g )。使用 D KL (P g ||P r )的生成模型生成的样本图像质量高，但多样性不足。为了解决多样性不足的问题，本发明添加了 D JS (P r | |P g )的对称 JS散度 D JS (P g ||P r )作为补充优化目标，这可能会产生不同的样本和一些无意义的样本 。D JS (P g ||P r )和 D JS (P r ||P g )被成对地用作生成器的优化，以平衡生成图像的多样性和图像质量。在原始GAN的基础上添加了两个判别器 D2 b 和 D2 g ，以增加生成的缺陷图像的多样性。与判别器 D1 b 和 D1 g 相比， D2 b 和 D2 g 对生成的图像给予更高的奖励，对真实图像的奖励更小（生成的图像的输出为1，真实图像的输出为0）。所述相关损失函数包括D2对抗性损失和循环一致性损失，所述D2对抗性损失为：
其中，表示 G和的对抗性损失且， G表示第一生成器，表示分布函数的期望值，表示真实无缺陷图像样本的分布，表示真实缺陷图像样本的分布，表示第一生成器 G根据真实无缺陷图像 g生成的伪缺陷图像， g表示真实无缺陷图像，表示 b在判别器中的得分，表示 b在判别器中的得分， b表示真实缺陷图像，表示D2对抗性损失，表示第三判别器，表示第四判别器，用于控制相似性和多样性之间的相对重要性，表示 G和的对抗性损失且，表示生成的伪缺陷图像在判别器中的得分，表示生成的伪缺陷图像在判别器中的得分。
由于真实缺陷图像的数量较少，而无缺陷图像的数量较大。此外，除了缺陷外，缺陷图像与无缺陷图像相似。因此，生成缺陷图像的最佳方法是基于无缺陷图像来生成缺陷，而不是直接生成缺陷图像，这遵循了缺陷生成过程的原则。生成模型通过学习少量的缺陷样本和大量的辅助无缺陷图像，可以学习到更深层、更全面的特征。为了实现由无缺陷图像生成缺陷图像，本发明还引入了循环一致性损失，所述循环一致性损失包括：
其中，表示循环一致性损失，表示真实无缺陷图像和重建伪无缺陷图像之间的循环一致性损失，表示真实缺陷图像 b和重建伪缺陷图像之间的循环一致性损失，表示L1范数，表示第二生成器 F以第一生成器 G生成的伪缺陷图像为输入，生成的重建伪无缺陷图像；表示第一生成器 G以第二生成器 F生成的伪无缺陷图像为输入，生成的重建伪缺陷图像。
S34：利用增强后的数据集对所述DG-GAN网络进行训练，得到绝缘隔板缺陷图像。
基于此，参考图3所示，本发明的DG-GAN网络包括：第一生成器 G和第二生成器 F，
所述第一生成器 G根据真实无缺陷图像 g生成伪缺陷图像并将所述伪缺陷图像传输至所述第二生成器 F；
所述第二生成器 F根据真实缺陷图像生成伪无缺陷图像并将所述伪无缺陷图像传输至所述第一生成器 G；
所述第一生成器 G还用于根据所述伪无缺陷图像生成重建伪缺陷图像；
所述第二生成器 F还用于根据所述伪缺陷图像生成重建伪无缺陷图像。
所述DG-GAN网络还包括第一判别器、第二判别器、第三判别器和第四判别器，所述第一判别器和所述第二判别器用于区分所述重建伪无缺陷图像和真实无缺陷图像 g，所述第三判别器和所述第四判别器用于区分所述重建伪缺陷图像和真实缺陷图像 b。
具体地，两个生成器的结构相同，四个判别器的结构相同，生成器和判别器的具体架构参考表1所示：
表1 生成器与判别器架构
生成器 激活函数 输出形状 判别器 激活函数 输出形状
潜在向量  4×4反卷积  3×3卷积 —LReLULReLU 512×1×1  512×4×4512×4×4 输入图像  自注意力机制  1×1卷积  3×3卷积3×3卷积  下采样 —  ReLULReLULReLULReLU— 3×1024×1024  3×1024×1024  16×1024×102416×1024×1024  32×1024×1024  32×512×512
上采样  3×3卷积  3×3卷积 —LReLULReLU 512×8×8  512×8×8512×8×8 自注意力机制  3×3卷积  3×3卷积  下采样 ReLULReLULReLU— 32×512×512  32×512×512  64×512×512  64×256×256
上采样  3×3卷积  3×3卷积 —LReLULReLU 512×16×16  512×16×16  512×16×16 自注意力机制  3×3卷积  3×3卷积  下采样 ReLULReLULReLU— 64×256×256  64×256×256  128×256×256  128×128×128
上采样  3×3卷积  3×3卷积 —LReLULReLU 512×32×32  512×32×32  512×32×32 3×3卷积  3×3卷积  下采样 LReLULReLU— 128×128×128  256×128×128  256×64×64
上采样  3×3卷积  3×3卷积 —LReLULReLU 512×64×64  256×64×64  256×64×64 3×3卷积  3×3卷积  下采样 LReLULReLU— 256×64×64  512×64×64  512×32×32
上采样  3×3卷积  3×3卷积 —LReLULReLU 256×128×128  128×128×128  128×128×128 3×3卷积  3×3卷积  下采样 LReLULReLU— 512×32×32  512×32×32  512×16×16
上采样  自注意力机制  3×3卷积  3×3卷积 —LReLULReLUReLU 128×256×256  128×256×256  64×256×256  64×256×256 3×3卷积  3×3卷积  下采样 LReLULReLU— 512×16×16  512×16×16  512×8×8
上采样  自注意力机制  3×3卷积  3×3卷积 —ReLULReLULReLU 64×512×512  64×512×512  32×512×512  32×512×512 3×3卷积  3×3卷积  下采样 LReLULReLU— 512×8×8  512×8×8512×4×4
上采样  自注意力机制  3×3卷积  3×3卷积  1×1卷积 —ReLULReLULReLULinear 32×1024×1024  32×1024×1024  16×1024×1024  16×1024×1024  1×1024×1024 小批量标准化  3×3卷积  4×4卷积  全连接 —LReLULReLULinear 513×4×4  512×4×4512×1×1  1×1×1
S4：将所述绝缘隔板缺陷图像传输至FID评分网络进行评分，得到评分结果；
具体包括：
把生成的缺陷图像与经过增强后的缺陷图像（即真实缺陷图像）分别保存到两个文件夹中；
将保存的两种缺陷图像送入FID评分网络，通过网络的评估，得到FID分数，判断生成缺陷图像是否接近真实缺陷图像，FID评分越低，生成缺陷图像越真实。
S5：根据所述评分结果得到数量充足的工器具表面缺陷图像数据集。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种电力安全工器具表面缺陷图像的生成方法，其特征在于，所述电力安全工器具表面缺陷图像的生成方法包括：
S1：获取电力安全工器具表面图像数据集；
S2：对所述电力安全工器具表面图像数据集进行预处理，得到预处理后的数据集；
S3：利用所述预处理后的数据集训练DG-GAN网络，得到工器具表面缺陷图像；
S4：将所述工器具表面缺陷图像传输至FID评分网络进行评分，得到评分结果；
S5：根据所述评分结果得到数量充足的工器具表面缺陷图像数据集。
2.根据权利要求1所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述S1中，所述电力安全工器具表面图像数据集包括电力安全工器具表面缺陷图像子集和电力安全工器具表面无缺陷图像子集；其中，所述电力安全工器具表面缺陷图像子集中图像的数量少于所述电力安全工器具表面无缺陷图像子集中图像的数量。
3.根据权利要求2所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述S2包括：
S21：统一所述电力安全工器具表面缺陷图像子集和电力安全工器具表面无缺陷图像子集的分辨率和格式，得到统一后的电力安全工器具表面缺陷图像子集和统一后的电力安全工器具表面无缺陷图像子集；
S22：将所述统一后的电力安全工器具表面缺陷图像子集按照缺陷类别进行划分，得到划痕图像子数据集、坑点子图像数据集、烧蚀子图像数据集和电压击穿图像子数据集；
S23：将所述划痕图像子数据集、坑点子图像数据集、烧蚀子图像数据集、电压击穿图像子数据集和所述统一后的电力安全工器具表面无缺陷图像子集作为所述预处理后的数据集输出。
4.根据权利要求1所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述S3包括：
S31：对所述预处理后的数据集进行无泄露数据增强操作，得到增强后的数据集；
S32：设置训练参数；
S33：在原始DG-GAN网络中加入自注意力模块和相关损失函数，得到DG-GAN网络；
S34：利用增强后的数据集对所述DG-GAN网络进行训练，得到工器具表面缺陷图像。
5.根据权利要求4所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述S32中，所述训练参数包括初始学习率、学习率下降方法、迭代次数、梯度下降优化算法和动量参数。
6.根据权利要求4所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述S33中，所述自注意力模块包括原始特征映射子模块、第一1×1卷积层、第二1×1卷积层、第三1×1卷积层、Q运算层、K运算层、H运算层、注意力映射子模块、第四1×1卷积层和自注意力特征映射子模块；
所述原始特征映射子模块的输出作为所述第一1×1卷积层、所述第二1×1卷积层和所述第三1×1卷积层的输入，所述第一1×1卷积层的输出作为所述Q运算层的输入，所述第二1×1卷积层的输出作为所述K运算层的输入，所述第三1×1卷积层的输出作为所述H运算层的输入，所述Q运算层的输出和所述K运算层的输出矩阵相乘并软最大化后作为所述注意力映射子模块的输入，所述注意力映射子模块的输出和所述H运算层的输出矩阵相乘后作为所述第四1×1卷积层的输入，所述第四1×1卷积层的输出作为所述自注意力特征映射子模块的输入，所述自注意力特征映射子模块的输出作为所述自注意力模块的输出。
7.根据权利要求4所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述自注意力模块的输出Y为：
其中，X表示特征层的输入，表示辅助超参数，V表示自注意力层的输出且，表示位置j的自注意层的输出，表示某一位置i对位置j的注意程度且，、、、分别表示运算后的输出，并且、、，W V ，W Q ，W K ，W O 分别表示1*1的可学习卷积核，用于改变特征层输入X的通道数；H和W分别表示输入输出高度和宽度；C1、C2和C3表示不同的通道数，表示位置i的查询向量矩阵的转置，表示位置j的键向量矩阵，N表示矩阵的数量，表示位置i的值向量矩阵。
8.根据权利要求4所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述S33中，所述相关损失函数包括D2对抗性损失和循环一致性损失，所述D2对抗性损失为：
其中，表示G和的对抗性损失且，G表示第一生成器，表示分布函数的期望值，表示真实无缺陷图像样本的分布，表示真实缺陷图像样本的分布，表示第一生成器G根据真实无缺陷图像g生成的伪缺陷图像，g表示真实无缺陷图像，表示b在判别器中的得分，表示b在判别器中的得分，b表示真实缺陷图像，表示D2对抗性损失，表示第三判别器，表示第四判别器，用于控制相似性和多样性之间的相对重要性，表示G和的对抗性损失且，表示生成的伪缺陷图像在判别器中的得分，表示生成的伪缺陷图像在判别器中的得分；
所述循环一致性损失包括：
其中，表示循环一致性损失，表示真实无缺陷图像和重建伪无缺陷图像之间的循环一致性损失，表示真实缺陷图像b和重建伪缺陷图像之间的循环一致性损失，表示L1范数，表示第二生成器F以第一生成器G生成的伪缺陷图像为输入，生成的重建伪无缺陷图像；表示第一生成器G以第二生成器F生成的伪无缺陷图像为输入，生成的重建伪缺陷图像。
9.根据权利要求1-8中任意一项所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述DG-GAN网络包括第一生成器和第二生成器，
所述第一生成器根据真实无缺陷图像生成伪缺陷图像并将所述伪缺陷图像传输至所述第二生成器；
所述第二生成器根据真实缺陷图像生成伪无缺陷图像并将所述伪无缺陷图像传输至所述第一生成器；
所述第一生成器还用于根据所述伪无缺陷图像生成重建伪缺陷图像；
所述第二生成器还用于根据所述伪缺陷图像生成重建伪无缺陷图像。
10.根据权利要求9所述的电力安全工器具表面缺陷图像的生成方法，其特征在于，所述DG-GAN网络还包括第一判别器、第二判别器、第三判别器和第四判别器，所述第一判别器和所述第二判别器用于区分所述伪无缺陷图像和真实无缺陷图像，所述第三判别器和所述第四判别器用于区分所述伪缺陷图像和真实缺陷图像。
CN202310200645.9A 2023-03-06 2023-03-06 一种电力安全工器具表面缺陷图像的生成方法 Pending CN116071352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310200645.9A CN116071352A (zh) 2023-03-06 2023-03-06 一种电力安全工器具表面缺陷图像的生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310200645.9A CN116071352A (zh) 2023-03-06 2023-03-06 一种电力安全工器具表面缺陷图像的生成方法

Publications (1)

Publication Number Publication Date
CN116071352A true CN116071352A (zh) 2023-05-05

Family

ID=86180326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310200645.9A Pending CN116071352A (zh) 2023-03-06 2023-03-06 一种电力安全工器具表面缺陷图像的生成方法

Country Status (1)

Country Link
CN (1) CN116071352A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663940A (zh) * 2023-08-01 2023-08-29 安徽博诺思信息科技有限公司 变电站安全工器具管理系统及管理方法
CN117197095A (zh) * 2023-09-14 2023-12-08 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429340A (zh) * 2020-03-25 2020-07-17 山东大学 一种基于自注意力机制的循环图像翻译方法
CN112668493A (zh) * 2020-12-30 2021-04-16 上海交通大学 基于gan和深度学习的换装行人再识别定位跟踪系统
CN113935977A (zh) * 2021-10-22 2022-01-14 河北工业大学 一种基于生成对抗网络的太阳能电池板缺陷生成方法
CN114022930A (zh) * 2021-10-28 2022-02-08 天津大学 一种人像证件照自动生成方法
CN114842284A (zh) * 2022-03-17 2022-08-02 兰州交通大学 一种基于注意力机制和dcgan的钢轨表面缺陷图像扩充方法
WO2022175717A1 (en) * 2021-02-18 2022-08-25 Intuitive Therapeutics Sa System and method for self-attentive image modality conversion and domain adaptation
CN115240195A (zh) * 2022-08-04 2022-10-25 成都泓睿科技有限责任公司 一种药瓶缺陷自动检测方法、装置及存储介质
CN115661062A (zh) * 2022-10-19 2023-01-31 浙大宁波理工学院 基于对抗生成网络的工业缺陷样本生成方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429340A (zh) * 2020-03-25 2020-07-17 山东大学 一种基于自注意力机制的循环图像翻译方法
CN112668493A (zh) * 2020-12-30 2021-04-16 上海交通大学 基于gan和深度学习的换装行人再识别定位跟踪系统
WO2022175717A1 (en) * 2021-02-18 2022-08-25 Intuitive Therapeutics Sa System and method for self-attentive image modality conversion and domain adaptation
CN113935977A (zh) * 2021-10-22 2022-01-14 河北工业大学 一种基于生成对抗网络的太阳能电池板缺陷生成方法
CN114022930A (zh) * 2021-10-28 2022-02-08 天津大学 一种人像证件照自动生成方法
CN114842284A (zh) * 2022-03-17 2022-08-02 兰州交通大学 一种基于注意力机制和dcgan的钢轨表面缺陷图像扩充方法
CN115240195A (zh) * 2022-08-04 2022-10-25 成都泓睿科技有限责任公司 一种药瓶缺陷自动检测方法、装置及存储介质
CN115661062A (zh) * 2022-10-19 2023-01-31 浙大宁波理工学院 基于对抗生成网络的工业缺陷样本生成方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANWEI LIU 等: "Four Discriminator Cycle-Consistent Adversarial Network for Improving Railway Defective Fastener Inspection", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》, vol. 23, no. 8, pages 10636 - 10645 *
申瑞彩: "基于集成学习的生成对抗网络及在图像生成中的应用", 《中国优秀硕士学位论文全文数据库》, no. 2021, pages 138 - 265 *
陆顺成 等: "一种基于改进 DCGAN的汽车冷凝器图像生成方法", 《微电子学与计算机》, vol. 39, no. 5, pages 71 - 77 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663940A (zh) * 2023-08-01 2023-08-29 安徽博诺思信息科技有限公司 变电站安全工器具管理系统及管理方法
CN116663940B (zh) * 2023-08-01 2023-10-20 安徽博诺思信息科技有限公司 变电站安全工器具管理系统及管理方法
CN117197095A (zh) * 2023-09-14 2023-12-08 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统
CN117197095B (zh) * 2023-09-14 2024-04-16 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统

Similar Documents

Publication Publication Date Title
US11581130B2 (en) Internal thermal fault diagnosis method of oil-immersed transformer based on deep convolutional neural network and image segmentation
Zhang et al. A fault diagnosis method for wind turbines gearbox based on adaptive loss weighted meta-ResNet under noisy labels
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN116071352A (zh) 一种电力安全工器具表面缺陷图像的生成方法
CN111650453B (zh) 基于加窗特征希尔伯特图像化的电力设备诊断方法及系统
CN110726898B (zh) 一种配电网故障类型识别方法
CN110287806A (zh) 一种基于改进ssd网络的交通标志识别方法
CN115546032B (zh) 一种基于特征融合与注意力机制的单帧图像超分辨率方法
CN113762265A (zh) 肺炎的分类分割方法及系统
CN112163106A (zh) 二阶相似感知的图像哈希码提取模型建立方法及其应用
CN115564194A (zh) 智能电网的计量异常诊断信息生成模型构建方法及系统
CN116562114A (zh) 一种基于图卷积神经网络的电力变压器故障诊断方法
CN105913451B (zh) 一种基于图模型的自然图像超像素分割方法
CN111462090A (zh) 一种多尺度图像目标检测方法
CN116701681B (zh) 一种用于语义分割的多查询网络
CN113837191A (zh) 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN108898157B (zh) 基于卷积神经网络的数值型数据的雷达图表示的分类方法
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN115661539A (zh) 一种嵌入不确定性信息的少样本图像识别方法
CN115331081A (zh) 图像目标检测方法与装置
CN115131556A (zh) 一种基于深度学习的图像实例分割方法
CN112149804B (zh) 一种新型卷积神经网络模型及应用
CN115239967A (zh) 一种基于Trans-CSN生成对抗网络的图像生成方法及装置
CN114596445A (zh) 一种提升采油机故障诊断精度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination