CN113570603A - 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统 - Google Patents

一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统 Download PDF

Info

Publication number
CN113570603A
CN113570603A CN202111127121.9A CN202111127121A CN113570603A CN 113570603 A CN113570603 A CN 113570603A CN 202111127121 A CN202111127121 A CN 202111127121A CN 113570603 A CN113570603 A CN 113570603A
Authority
CN
China
Prior art keywords
image
defect
cyclegan
normal
normal image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111127121.9A
Other languages
English (en)
Inventor
邵先军
齐冬莲
闫云凤
陈强
韩睿
刘黎
梅冰笑
王文浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Zhejiang University ZJU
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202111127121.9A priority Critical patent/CN113570603A/zh
Publication of CN113570603A publication Critical patent/CN113570603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统，属于接触网零部件缺陷图片处理技术领域。目前含有缺陷的接触网零部件图像非常少，远远不能满足模型训练时所需要的正负样本数量。本发明的一种基于CycleGAN的接触网零部件缺陷数据生成方法，构建CycleGAN模型，CycleGAN模型对少量的缺陷图片进行学习，获取缺陷图片的风格特征，然后将这些风格特征赋予正常图像，以形成新的缺陷图像。由于正常图片容易获得，并且数量巨大，因此利用CycleGAN模型可以轻松获得大批量的缺陷图像，方案简单，实用，切实可行；本发明能直接利用正常图片转换成缺陷图片，构思巧妙，打破现有的必须通过缺陷图像生成缺陷图像的技术偏见。

Description

一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统
技术领域
本发明涉及一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统，属于接触网零部件缺陷图片处理技术领域。
背景技术
接触网是沿高铁线路上空架设的向动车组供电的特殊形式的输电线路，高铁列车运行所仰赖的电流就是通过机车上端的接触网来输送的。其由接触悬挂、支持装置、定位装置、支柱与基础几部分组成。由于接触网无备用，且需承受高速列车受电弓的动态取流，所以其设备状态的好坏直接影响到行车。
高铁接触网通过接触导线给电力机车供电，其运营状态的实时监测是实现高铁安全可靠运行的关键环节。但是，目前含有缺陷的接触网零部件图像非常少，远远不能满足模型训练时所需要的正负样本数量，因此，如何实现接触网零部件缺陷图像的自动生成是缺陷智能识别的首要问题。
进一步，中国专利（公布号：CN110310261A）公开了一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法，通过构建基于两层卷积神经网络的接触网吊弦缺陷检测模型，来提取接触网吊弦的图像特征并对吊弦的缺陷进行分类，利用卷积算法的优势，不受图像中吊弦几何形状、遮挡等客观情况的干扰，相比传统的利用人工看图的检测方式，鲁棒性与效率更高。同时整理现有的接触网吊弦图像，采用图像标注工具标注出接触网吊弦的组成部件，再通过数据增广的方式进行数据扩充，建立第一训练样本集；整理训练好的YOLO-v3卷积神经网络模型的定位结果，采用图像标注工具标注出其中接触网吊弦的缺陷类型，再通过数据增广的方式进行数据扩充，建立第二训练样本集。
上述方案通过数据增广的方式扩展样本量，使样本集中每类样本量不少于40000张。但上述方案没有公开数据增广的具体方案，导致本领域技术人员依旧无法获取大批量缺陷样本，如果只是缺陷样本简单复制或打乱顺序，则只会影响缺陷检测模型训练精度以及模型识别的准确性。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种通过构建CycleGAN模型，能对少量的缺陷图片进行学习，获取缺陷图片的风格特征，然后将这些风格特征赋予正常图像，以形成新的缺陷图像；进而能将容易获得的并且数量巨大的正常图片直接转换成缺陷图片的基于CycleGAN的接触网零部件缺陷数据生成方法及系统。
为实现上述目的，本发明的技术方案为：
一种基于CycleGAN的接触网零部件缺陷数据生成方法，
包括以下步骤：
第一步, 采集接触网零部件样本图像，样本图像包括正常图像和缺陷图像；
第二步, 对第一步中的正常图像和缺陷图像分别进行图像缩放，形成正常图像域和缺陷图像域;
第三步,构建CycleGAN模型，并利用第二步中的正常图像域和缺陷图像域，对CycleGAN模型进行训练；
所述CycleGAN模型能获取缺陷图片的风格特征，并将所述风格特征赋予正常图像，以形成新的缺陷图像；
第四步，通过若干正常图像，并利用第三步中的CycleGAN模型，生成若干缺陷图像。
本发明充分考虑现有图像样本的特点：接触网零部件的正常图像容易获得，并且样本数量巨大；但接触网零部件的缺陷图像很少，很难获得大批量的样本，进而无法满足智能模型训练时所需要的正负样本数量。
为解决上述难点，本发明经过不断探索以及试验，构建CycleGAN模型（两个镜像对称的生成对抗网络模型），CycleGAN模型能对少量的缺陷图片进行学习，获取缺陷图片的风格特征，然后将这些风格特征赋予正常图像，以形成新的缺陷图像。
由于正常图片容易获得，并且数量巨大，因此利用CycleGAN模型可以轻松获得大批量的缺陷图像，方案简单，实用，切实可行；本发明能直接利用正常图片转换成缺陷图片，构思巧妙，打破现有的必须通过缺陷图像生成缺陷图像的技术偏见，进而能有效提高缺陷检测模型训练精度以及模型识别的准确性。
作为优选技术措施：
所述第一步中，接触网零部件样本图像至少包括U型抱箍图、绝缘子图、导电线图和管帽图；
所述U型抱箍图、绝缘子图、导电线图和管帽图分别包括正常图像、缺陷图像两种形态图。
作为优选技术措施：
所述第二步中，图像缩放方法如下：
采用双线性插值方法对样本图像中的正常图像和缺陷图像进行图像缩放，缩放后的图像尺寸为256×256；
所述双线性插值方法中插值点Z的计算方法如下：
S1，至少获知四个像素点的坐标，其包括像素点M11、像素点M21、像素点M12、像素点M22；
S2，在x轴方向上，根据S1中的四个已知像素点坐标，对像素点N1和像素点N2进行线性插值，其像素值计算公式如下：
Figure 243649DEST_PATH_IMAGE001
S3，在y轴方向，根据S2中两像素点的像素值，进行线性插值，得到插值点Z的像素值计算公式：
Figure 160789DEST_PATH_IMAGE002
S4，将S3中插值点Z的像素值，用四个已知像素点坐标进行表示，其具体的计算公式如下：
Figure 940526DEST_PATH_IMAGE003
其中，a1表示像素点M11的横向坐标值，a2表示像素点M21的横向坐标值，a表示插值点Z的横向坐标值，b1表示像素点M1l的纵向坐标值，b2表示像素点M2l的纵向坐标值，b表示插值点Z的纵向坐标值；
f(M11)表示像素点Ml1的像素值，f(M21)表示像素点M21的像素值，f(M12)表示像素点M12的像素值，f(M22)表示像素点M22的像素值，f(N1)表示点N1的像素值，f(N2)表示点N2的像素值。
如果选择一个坐标系统使得 f 的四个已知点坐标分别为 (0, 0)、(0, 1)、(1,0) 和 (1, 1)，那么插值公式就可以化简为：
Figure 148785DEST_PATH_IMAGE004
。
作为优选技术措施：
所述第三步中，CycleGAN模型构建方法如下：
步骤一，将正常图像域中的正常图像x输入到生成器G中，生成样本缺陷图像x'；
即，将来自正常图像域的图像转换到缺陷图像域中的图像;
同样，将缺陷图像域中的缺陷图像y输入到生成器F中，生成样本正常图像y'；
即，将来自缺陷图像域的图像转换到正常图像域中的图像;
步骤二，将步骤一中的样本缺陷图像x'和缺陷图像y同时输入到判别器D Y ,对样本缺陷图像x'和缺陷图像y相似程度进行判断，并计算缺陷图像的对抗损失；
同样，将样本正常图像y'和正常图像x同时输入到判别器D X ，对正常图像x和样本正常图像y'相似程度进行判断，并计算正常图像的对抗损失；
步骤三，当步骤二中的两个对抗损失都达到预设值时，停止CycleGAN模型的训练；
当缺陷图像的对抗损失达到预设值时，说明生成器G根据正常图像x生成的样本缺陷图像x'和缺陷图像y相同或相似；
当正常图像的对抗损失达到预期值时，说明生成器F根据缺陷图像y生成的样本正常图像y'和正常图像x相同或相似。
作为优选技术措施：
所述缺陷图像的对抗损失的计算公式为
Figure 963157DEST_PATH_IMAGE005
：
所述正常图像的对抗损失的计算公式为
Figure 785620DEST_PATH_IMAGE006
；
Figure 114970DEST_PATH_IMAGE007
；
其中，x, y分别代表正常图像域和缺陷图像域中的图像，
G代表将正常图像域映射到缺陷图像域的生成器，
F代表将缺陷图像域映射到正常图像域的生成器，
Figure 313870DEST_PATH_IMAGE008
表示输入x数据的分布，
Figure 982749DEST_PATH_IMAGE009
表示输入y数据的分布，
DX, DY分别代表正常图像域和缺陷图像域的判别器，用来判定输入图像的真假；
CycleGAN模型在训练过程中的优化目标是
Figure 976112DEST_PATH_IMAGE010
的计 算公式如下：
Figure 543491DEST_PATH_IMAGE011
其中，
Figure 280503DEST_PATH_IMAGE012
表示随机噪声的分布。
作为优选技术措施：
还包括：
步骤四，将步骤一中的样本缺陷图像x'输入到生成器F中，生成重建正常图像x''；
同样，将样本正常图像y'像输入到生成器G中，生成重建缺陷图像y''；
步骤五，将步骤四中的重建正常图像x''与正常图像x进行对比，计算正常图像的循环稳定性损失；
将重建缺陷图像y''与缺陷图像y进行对比，计算缺陷图像的循环稳定性损失；
所述循环稳定性损失，用来约束生成器生成的图像属性，使其按照预期的风格方向生成，并能避免模式崩溃。
作为优选技术措施：
所述循环稳定性损失的计算公式为
Figure 803888DEST_PATH_IMAGE013
，
Figure 296049DEST_PATH_IMAGE014
。
作为优选技术措施：
所述第三步中，训练和测试的方法如下：
正常图像域和缺陷图像域分别按照N:1的比例划分为训练集和测试集；
所述训练集至少包括训练trainA、训练trainB、训练trainC、测试testA。
作为优选技术措施：
将训练trainA、训练trainB、训练trainC送入CycleGAN模型中进行训练，使得CycleGAN模型能够准确生成缺陷图片；
将测试testA送入CycleGAN模型中进行评估；
所述2≤N≤6。
作为优选技术措施：
一种基于CycleGAN的接触网零部件缺陷数据生成系统，
其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的一种基于CycleGAN的接触网零部件缺陷数据生成方法。
本发明经过不断探索以及试验，构建CycleGAN模型，对少量的缺陷图片进行学习，获取缺陷图片的风格特征，然后将这些风格特征赋予正常图像，以形成新的缺陷图像。
由于正常图片容易获得，并且数量巨大，因此利用CycleGAN模型可以轻松获得大批量的缺陷图像，方案简单，实用，切实可行；本发明能直接利用正常图片转换成缺陷图片，构思巧妙，打破现有的必须通过缺陷图像生成缺陷图像的技术偏见。
与现有技术相比，本发明具有以下有益效果：
本发明经过不断探索以及试验，构建CycleGAN模型，通过CycleGAN模型对少量的缺陷图片进行学习，获取缺陷图片的风格特征，然后将这些风格特征赋予正常图像，以形成新的缺陷图像。
由于正常图片容易获得，并且数量巨大，因此利用CycleGAN模型可以轻松获得大批量的缺陷图像，方案简单，实用，切实可行；本发明能直接利用正常图片转换成缺陷图片，构思巧妙，打破现有的必须通过缺陷图像生成缺陷图像的技术偏见。
附图说明
图1为本发明CycleGAN模型的一种训练流程图；
图2为本发明CycleGAN模型的一种测试流程图；
图3为本发明CycleGAN模型的一种架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1、图2、图3所示，一种基于CycleGAN的接触网零部件缺陷数据生成方法，
包括以下步骤：
第一步, 采集接触网零部件样本图像，样本图像包括正常图像和缺陷图像；
第二步, 对第一步中的正常图像和缺陷图像分别进行图像缩放，形成正常图像域和缺陷图像域;
第三步,构建CycleGAN模型，并利用第二步中的正常图像域和缺陷图像域，对CycleGAN模型进行训练以及测试；所述CycleGAN模型能获取缺陷图片的风格特征，并将所述风格特征赋予正常图像，以形成新的缺陷图像；
第四步，通过若干正常图像，并利用第三步中的CycleGAN模型，生成若干缺陷图像。
本发明充分考虑现有图像样本的特点：接触网零部件的正常图像容易获得，并且样本数量巨大；但接触网零部件的缺陷图像很少，很难获得大批量的样本，进而无法满足智能模型训练时所需要的正负样本数量。
为解决上述难点，本发明经过不断探索以及试验，构建CycleGAN模型（两个镜像对称的生成对抗网络模型），CycleGAN模型对少量的缺陷图片进行学习，获取缺陷图片的风格特征，然后将这些风格特征赋予正常图像，以形成新的缺陷图像。
由于正常图片容易获得，并且数量巨大，因此利用CycleGAN模型可以轻松获得大批量的缺陷图像，方案简单，实用，切实可行；本发明能直接利用正常图片转换成缺陷图片，构思巧妙，打破现有的必须通过缺陷图像生成缺陷图像的技术偏见。
本发明一种最佳实施例：
一种基于CycleGAN的接触网零部件缺陷数据生成方法，具体包括以下步骤：
步骤1）通过车载摄像头拍摄采集接触网零部件样本图像，样本图像至少包括U型抱箍、绝缘子、导电线和管帽等四类图片，每一类都有正常图像和缺陷图像两种形态；
步骤2）将样本图像按照U型抱箍、绝缘子、导电线和管帽进行分类，构造四组图像数据集，针对图像数据集中的样本图像进行图像缩放，调整图像尺寸为256×256；
步骤3）将每一组图像数据集按照正常形态和缺陷形态进行分类，正常形态的样本图像记作A，缺陷形态的样本图像记作B；
步骤4）将每一组图像数据集按照4:1的比例区分训练集和测试集，即每一组图像数据集又分为4份，分别为trainA、trainB、trainC、testA，将trainA、trainB、trainC送入CycleGAN模型中进行训练，获得生成模型(该流程如图1所示)；
步骤5）将testA送入CycleGAN模型中进行测试，获得样本缺陷图像(该流程如图2所示)。
本发明解决了U型抱箍、绝缘子、导电线和管帽缺陷样本匮乏的问题，构建了U型抱箍、绝缘子、导电线和管帽数据集进行实验，实验验证了CycleGAN模型在接触网零部件缺陷数据生成任务中的有效性。
本发明获取接触网样本图像的一种具体实施例：
接触网样本图像是指巡逻车行走到接触网附近，摄像头朝向接触网设备，以接触网设备为目标物，水平正对目标物的水平左偏差30度视角和水平右偏差30度视角之间的范围内以及从上俯视偏差70度视角和从下仰视偏差70度视角之间的范围内采集获得的图像。
本发明图像缩放方法的一种具体实施例：
图像缩放方法采用双线性插值，所述双线性插值方法中插值点Z的计算方法如下：
S1，至少获知四个像素点的坐标，其包括像素点M11、像素点M21、像素点M12、像素点M22；
S2，在x轴方向上，根据S1中的四个已知像素点坐标，对像素点N1和像素点N2进行线性插值，其像素值计算公式如下：
Figure 537675DEST_PATH_IMAGE015
S3，在y轴方向，根据S2中两像素点的像素值，进行线性插值，得到插值点Z的像素值计算公式：
Figure 812799DEST_PATH_IMAGE016
S4，将S3中插值点Z的像素值，用四个已知像素点坐标进行表示，其具体的计算公式如下：
Figure 266389DEST_PATH_IMAGE017
其中，a1表示像素点M11的横向坐标值，a2表示像素点M21的横向坐标值，a表示插值点Z的横向坐标值，b1表示像素点M1l的纵向坐标值，b2表示像素点M2l的纵向坐标值，b表示插值点Z的纵向坐标值；
f(M11)表示像素点Ml1的像素值，f(M21)表示像素点M21的像素值，f(M12)表示像素点M12的像素值，f(M22)表示像素点M22的像素值，f(N1)表示点N1的像素值，f(N2)表示点N2的像素值。
如果选择一个坐标系统使得 f 的四个已知点坐标分别为 (0, 0)、(0, 1)、(1,0) 和 (1, 1)，那么插值公式就可以化简为：
Figure 601555DEST_PATH_IMAGE018
采用双线性插值方法对图像数据集中的样本图像进行图像缩放，调整图像尺寸为256×256。
本发明构建CycleGAN模型一种具体实施例：
CycleGAN模型架构如图3所示，x, y分别代表正常图像域和缺陷图像域中的图像，G代表将正常图像域映射到缺陷图像域的生成器，F代表将缺陷图像域映射到正常图像域的生成器，x', y' 分别代表两个生成器生成的另一个域的图像，x'', y'' 分别代表从另一个域重建回来的自己原来所属域的图像，DX, DY分别代表正常图像域和缺陷图像域的判别器，用来判定输入图像的真假。
GAN在训练过程中的优化目标是
Figure 330477DEST_PATH_IMAGE019
定义为：
Figure 471608DEST_PATH_IMAGE020
其中，
Figure 969586DEST_PATH_IMAGE021
表示输入数据的分布，
Figure 741233DEST_PATH_IMAGE022
表示随机噪声的分布。
CycleGAN的损失函数L分三部分：正常图像域映射到缺陷图像域的对抗损失
Figure 504921DEST_PATH_IMAGE023
、缺陷图像域映射到正常图像域的对抗损失
Figure 387426DEST_PATH_IMAGE024
和循环 稳定性损失
Figure 739910DEST_PATH_IMAGE025
，即
Figure 744775DEST_PATH_IMAGE026
其中，
Figure 182710DEST_PATH_IMAGE027
是超参数，用来调整对抗损失和循环稳定性损失的权重。
Figure 603327DEST_PATH_IMAGE028
和
Figure 888946DEST_PATH_IMAGE029
用来使生成器生成以假乱真的图像，定 义为：
Figure 2395DEST_PATH_IMAGE030
Figure 927626DEST_PATH_IMAGE031
用来约束生成器生成的图像属性，使其按照预期的风格方向生成，并 在一定程度上避免模式崩溃，定义为：
Figure 214251DEST_PATH_IMAGE032
。
应用本发明的一种具体实施例：
本发明构建的缺陷生成数据的分布信息如表1所示，采用表1中的训练集训练CycleGAN模型，测试集用来测试生成结果。
表 1 缺陷生成数据的分布信息
Figure 275747DEST_PATH_IMAGE034
根据实验可知，本发明的生成器能够较好地生成缺陷图像，同时像绝缘子、导电线这样缺陷部位不固定的零部件，生成缺陷的部位和验证集中图像的缺陷部位并不相同，而且生成的缺陷图像整体内容还是与正常图像保持较高的一致性，只是在适当位置生成了缺陷。以上表明，该种方法生成的缺陷数据具有较好的细节信息。
由此可见，本发明能够实现U型抱箍、绝缘子、导电线和管帽缺陷数据的生成，具有较高的鲁棒性，并且具有稳定性好，抗干扰能力强，通用性高等优点，能够应用于U型抱箍、绝缘子、导电线和管帽缺陷数据生成系统中。
应用本发明方法的一种系统实施例：
一种基于CycleGAN的接触网零部件缺陷数据生成系统，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的一种基于CycleGAN的接触网零部件缺陷数据生成方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
包括以下步骤：
第一步, 采集接触网零部件样本图像，样本图像包括正常图像和缺陷图像；
第二步, 对第一步中的正常图像和缺陷图像分别进行图像缩放，形成正常图像域和缺陷图像域;
第三步,构建CycleGAN模型,并利用第二步中的正常图像域和缺陷图像域，对CycleGAN模型进行训练；
所述CycleGAN模型能获取缺陷图片的风格特征，并将所述风格特征赋予正常图像，以形成新的缺陷图像；
第四步，通过若干正常图像，并利用第三步中的CycleGAN模型，生成若干缺陷图像。
2.如权利要求1所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
所述第一步中，接触网零部件样本图像至少包括U型抱箍图、绝缘子图、导电线图和管帽图；
所述U型抱箍图、绝缘子图、导电线图和管帽图分别包括正常图像、缺陷图像两种形态图。
3.如权利要求1所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
所述第二步中，图像缩放方法如下：
采用双线性插值方法对样本图像中的正常图像和缺陷图像进行图像缩放，缩放后的图像尺寸为256×256；
所述双线性插值方法中插值点Z的计算方法如下：
S1，至少获知四个像素点的坐标，其包括像素点M11、像素点M21、像素点M12、像素点M22；
S2，在x轴方向上，根据S1中的四个已知像素点坐标，对像素点N1和像素点N2进行线性插值，其像素值计算公式如下：
Figure 375926DEST_PATH_IMAGE001
Figure 199657DEST_PATH_IMAGE002
S3，在y轴方向，根据S2中两像素点的像素值，进行线性插值，得到插值点Z的像素值计算公式：
Figure 229930DEST_PATH_IMAGE003
S4，将S3中插值点Z的像素值，用四个已知像素点坐标进行表示，其具体的计算公式如下：
Figure 637646DEST_PATH_IMAGE004
其中，a1表示像素点M11的横向坐标值，a2表示像素点M21的横向坐标值，a表示插值点Z的横向坐标值，b1表示像素点M1l的纵向坐标值，b2表示像素点M2l的纵向坐标值，b表示插值点Z的纵向坐标值；
f(M11)表示像素点Ml1的像素值，f(M21)表示像素点M21的像素值，f(M12)表示像素点M12的像素值，f(M22)表示像素点M22的像素值，f(N1)表示点N1的像素值，f(N2)表示点N2的像素值。
4.如权利要求1所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
所述第三步中，CycleGAN模型构建方法如下：
步骤一，将正常图像域中的正常图像x输入到生成器G中，生成样本缺陷图像x'；
即，将来自正常图像域的图像转换到缺陷图像域中的图像;
同样，将缺陷图像域中的缺陷图像y输入到生成器F中，生成样本正常图像y'；
即，将来自缺陷图像域的图像转换到正常图像域中的图像;
步骤二，将步骤一中的样本缺陷图像x'和缺陷图像y同时输入到判别器D Y ,对样本缺陷图像x'和缺陷图像y相似程度进行判断，并计算缺陷图像的对抗损失；
同样，将样本正常图像y'和正常图像x同时输入到判别器D X ，对正常图像x和样本正常图像y'相似程度进行判断，并计算正常图像的对抗损失；
步骤三，当步骤二中的两个对抗损失都达到预设值时，停止CycleGAN模型的训练；
当缺陷图像的对抗损失达到预设值时，说明生成器G根据正常图像x生成的样本缺陷图像x'和缺陷图像y相同或相似；
当正常图像的对抗损失达到预期值时，说明生成器F根据缺陷图像y生成的样本正常图像y'和正常图像x相同或相似。
5.如权利要求4所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
所述缺陷图像的对抗损失的计算公式为
Figure 411567DEST_PATH_IMAGE005
；
所述正常图像的对抗损失的计算公式为
Figure 89804DEST_PATH_IMAGE006
；
Figure 290978DEST_PATH_IMAGE007
；
其中，x, y分别代表正常图像域和缺陷图像域中的图像，
G代表将正常图像域映射到缺陷图像域的生成器，
F代表将缺陷图像域映射到正常图像域的生成器，
Figure 185991DEST_PATH_IMAGE008
表示输入x数据的分布，
Figure 107810DEST_PATH_IMAGE009
表示输入y数据的分布，
DX, DY分别代表正常图像域和缺陷图像域的判别器，用来判定输入图像的真假；
CycleGAN模型在训练过程中的优化目标是
Figure 155401DEST_PATH_IMAGE010
的计算公 式如下：
Figure 511165DEST_PATH_IMAGE011
其中，
Figure 644206DEST_PATH_IMAGE012
表示随机噪声的分布。
6.如权利要求5所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
还包括：
步骤四，将步骤一中的样本缺陷图像x'输入到生成器F中，生成重建正常图像x''；
同样，将样本正常图像y'像输入到生成器G中，生成重建缺陷图像y''；
步骤五，将步骤四中的重建正常图像x''与正常图像x进行对比，计算正常图像的循环稳定性损失；
将重建缺陷图像y''与缺陷图像y进行对比，计算缺陷图像的循环稳定性损失；
所述循环稳定性损失，用来约束生成器生成的图像属性，使其按照预期的风格方向生成，并能避免模式崩溃。
7.如权利要求6所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
所述循环稳定性损失的计算公式为
Figure 510662DEST_PATH_IMAGE013
，
Figure 412759DEST_PATH_IMAGE014
。
8.如权利要求1-7任一所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
所述第三步中，训练和测试的方法如下：
正常图像域和缺陷图像域分别按照N:1的比例划分为训练集和测试集；
所述训练集至少包括训练trainA、训练trainB、训练trainC、测试testA。
9.如权利要求8所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法，其特征在于，
将训练trainA、训练trainB、训练trainC送入CycleGAN模型中进行训练，使得CycleGAN模型能够准确生成缺陷图片；
将测试testA送入CycleGAN模型中进行评估；
2≤N≤6。
10.一种基于CycleGAN的接触网零部件缺陷数据生成系统，其特征在于，
其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-9任一所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法。
CN202111127121.9A 2021-09-26 2021-09-26 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统 Pending CN113570603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111127121.9A CN113570603A (zh) 2021-09-26 2021-09-26 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111127121.9A CN113570603A (zh) 2021-09-26 2021-09-26 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统

Publications (1)

Publication Number Publication Date
CN113570603A true CN113570603A (zh) 2021-10-29

Family

ID=78174573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111127121.9A Pending CN113570603A (zh) 2021-09-26 2021-09-26 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统

Country Status (1)

Country Link
CN (1) CN113570603A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140662A (zh) * 2021-11-29 2022-03-04 广州中科智巡科技有限公司 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法
WO2023179055A1 (zh) * 2022-03-21 2023-09-28 华为云计算技术有限公司 一种偏见评估方法、装置、介质、程序产品及电子设备
WO2024007602A1 (zh) * 2022-07-06 2024-01-11 中国华能集团清洁能源技术研究院有限公司 一种用于生成光伏板缺陷图像的CycleGAN模型的训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114310A1 (en) * 2015-05-08 2018-04-26 Kla-Tencor Corporation Method and System for Defect Classification
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN112668623A (zh) * 2020-12-22 2021-04-16 中国铁道科学研究院集团有限公司 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置
CN112906769A (zh) * 2021-02-04 2021-06-04 国网河南省电力公司电力科学研究院 一种基于CycleGAN的输变电设备图像缺陷样本增广方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114310A1 (en) * 2015-05-08 2018-04-26 Kla-Tencor Corporation Method and System for Defect Classification
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN112668623A (zh) * 2020-12-22 2021-04-16 中国铁道科学研究院集团有限公司 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置
CN112906769A (zh) * 2021-02-04 2021-06-04 国网河南省电力公司电力科学研究院 一种基于CycleGAN的输变电设备图像缺陷样本增广方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GOODFELLOW: "Generative Adversarial Nets", 《2014 NEURAL INFORMATION PROCESSING SYSTEMS》 *
JUN-YAN ZHU: "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
佟喜峰: "《图像处理与识别技术应用与实践》", 30 April 2019 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140662A (zh) * 2021-11-29 2022-03-04 广州中科智巡科技有限公司 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法
WO2023179055A1 (zh) * 2022-03-21 2023-09-28 华为云计算技术有限公司 一种偏见评估方法、装置、介质、程序产品及电子设备
WO2024007602A1 (zh) * 2022-07-06 2024-01-11 中国华能集团清洁能源技术研究院有限公司 一种用于生成光伏板缺陷图像的CycleGAN模型的训练方法及装置

Similar Documents

Publication Publication Date Title
CN113570603A (zh) 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统
Rudolph et al. Same same but differnet: Semi-supervised defect detection with normalizing flows
Lyu et al. A generic anomaly detection of catenary support components based on generative adversarial networks
Zhang et al. InsuDet: A fault detection method for insulators of overhead transmission lines using convolutional neural networks
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
Liu et al. An automatic loose defect detection method for catenary bracing wire components using deep convolutional neural networks and image processing
Li et al. An end-to-end defect detection method for mobile phone light guide plate via multitask learning
Liao et al. Fusion of infrared-visible images in UE-IoT for fault point detection based on GAN
CN111275108A (zh) 基于生成对抗网络对局部放电数据进行样本扩展的方法
CN114881956A (zh) 基于霍夫变换的电池板栅线自适应提取方法及系统
Vater et al. Quality control and fault classification of laser welded hairpins in electrical motors
CN111124896B (zh) 一种主次峰值比计算算法的蜕变测试系统
Liu et al. Anomaly-GAN: A data augmentation method for train surface anomaly detection
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
Sun et al. Partial discharge pattern recognition of transformers based on the gray-level co-occurrence matrix of optimal parameters
Xing et al. Self-supervised guided segmentation framework for unsupervised anomaly detection
Yi et al. Insulator and defect detection model based on improved YOLO-S
CN114022586A (zh) 一种基于对抗生成网络的缺陷图像生成方法
Zhou et al. BV-Net: Bin-based Vector-predicted Network for tubular solder joint detection
Shen et al. A pantograph horn detection method based on deep learning network
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
Pardyl et al. Active visual exploration based on attention-map entropy
CN115953578A (zh) 一种裂缝语义分割模型推理结果的评估方法及装置
CN115356599A (zh) 一种多模态城市电网故障诊断方法及系统
Guo et al. A novel low-light catenary image enhancement approach for CSCs detection in high-speed railways

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination