CN112668623A - 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 - Google Patents
基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 Download PDFInfo
- Publication number
- CN112668623A CN112668623A CN202011529353.2A CN202011529353A CN112668623A CN 112668623 A CN112668623 A CN 112668623A CN 202011529353 A CN202011529353 A CN 202011529353A CN 112668623 A CN112668623 A CN 112668623A
- Authority
- CN
- China
- Prior art keywords
- sample image
- defect
- network
- pin
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 214
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 66
- 230000006870 function Effects 0.000 claims description 69
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 abstract description 32
- 230000000694 effects Effects 0.000 abstract description 24
- 238000012545 processing Methods 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000005520 cutting process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 239000000725 suspension Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置，其中该方法包括：采集双耳销钉样本图像，得到双耳销钉样本图像数据集；双耳销钉样本图像数据集包括正常样本图像及缺陷样本图像数据集；使用双耳销钉样本图像数据集训练CycleGAN模型，得到成对样本图像数据集；成对样本图像包括：正常样本图像及对应生成的缺陷样本图像；使用成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。本发明结合多种生成对抗网络模型特点，能通过处理正常样本有效地生成对应效果逼真的缺陷样本图像，为后续训练缺陷检测模型提供平衡且特征丰富的数据集，进而使得模型取得良好的训练效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在高速铁路接触网悬挂装置中，旋转双耳销钉是重要的紧固件。由于列车长期运行过程中的震动和冲击，可能造成接触网零部件的松动脱落，为列车的安全运行带来极大隐患，及时发现缺陷情况并采取排除措施显得尤为重要。传统的铁路轨道设备维护依赖于人工巡检，难以适应高速、精确和自动化检测的趋势。近些年，许多基于深度学习的缺陷检测方法被提出并投入实用，但这些方法往往对数据的要求较高，而在实际生产工作环境中，真实缺陷样本相比正常样本数量较少，在样本集严重不平衡的情况下，深度学习模型难以取得良好的训练效果。
传统的数据增强，如随机裁剪、旋转、翻转和局部变形等方法，只能简单增加样本数量，而不能增加缺陷样本特征的多样性。除了数据增强，也有通过对缺陷信息进行建模，提取定性视觉特征，直接在原始图像中添加缺陷信息的方法，但这类方法一般只适用于形态较为简单的缺陷特征，且生成图像不自然，难以在视觉效果上给出一个令人满意的结果。
发明内容
本发明实施例提供一种基于生成对抗网络的双耳销钉缺陷样本的生成方法，用以生成效果逼真的缺陷样本图像，该方法包括：
采集双耳销钉样本图像，得到双耳销钉样本图像数据集；所述双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；
使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集；所述成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；
使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。
本发明实施例还提供一种基于生成对抗网络的双耳销钉缺陷样本的生成装置，用以生成效果逼真的缺陷样本图像，该装置包括：
采集单元，用于采集双耳销钉样本图像，得到双耳销钉样本图像数据集；所述双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；
样本图像对生成单元，用于使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集；所述成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；
缺陷样本确定单元，用于使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于生成对抗网络的双耳销钉缺陷样本的生成方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于生成对抗网络的双耳销钉缺陷样本的生成方法的计算机程序。
本发明实施例中，基于生成对抗网络的双耳销钉缺陷样本的生成方案，与现有技术中真实缺陷样本相比正常样本数量少，以及传统的数据增强只能简单增加样本数量，而不能增加缺陷样本特征的多样性，导致在样本集严重不平衡的情况下，深度学习模型难以取得良好的训练效果的技术方案相比，通过：采集双耳销钉样本图像，得到双耳销钉样本图像数据集；双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；使用双耳销钉样本图像数据集训练CycleGAN模型，得到成对样本图像数据集；成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；使用成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本，实现了结合多种生成对抗网络模型特点，能通过处理正常样本有效地生成对应效果逼真的缺陷样本图像，为后续训练缺陷检测模型提供平衡且特征丰富的数据集，进而使得模型取得良好的训练效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中图像样本生成方法的原理示意图；
图2为本发明实施例中CycleGAN模型示意图；
图3为本发明实施例中Pix2Pix模型示意图；
图4为本发明实施例中采用的原始(采集的)正常样本图像示例；
图5为本发明实施例中采用的原始(采集的)缺陷样本图像示例；
图6为本发明实施例中使用CycleGAN模型训练后得到的缺陷样本图像示例；
图7为本发明实施例中使用Pix2Pix模型训练后得到的缺陷样本图像示例；
图8为本发明实施例中基于生成对抗网络的双耳销钉缺陷样本的生成方法的流程示意图；
图9为本发明实施例中基于生成对抗网络的双耳销钉缺陷样本的生成装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图8为本发明实施例中基于生成对抗网络的双耳销钉缺陷样本的生成方法的流程示意图，如图8所示，该方法包括如下步骤：
步骤101：采集双耳销钉样本图像，得到双耳销钉样本图像数据集；所述双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；
步骤102：使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集；所述成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；
步骤103：使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。
本发明实施例中，基于生成对抗网络的双耳销钉缺陷样本的生成方案，与现有技术中真实缺陷样本相比正常样本数量少，以及传统的数据增强只能简单增加样本数量，而不能增加缺陷样本特征的多样性，导致在样本集严重不平衡的情况下，深度学习模型难以取得良好的训练效果的技术方案相比，实现了结合多种生成对抗网络模型特点，能通过处理正常样本有效地生成对应效果逼真的缺陷样本图像，为后续训练缺陷检测模型提供平衡且特征丰富的数据集，进而使得模型取得良好的训练效果。
下面再结合附图1至图7，对本发明实施例涉及的各个步骤进行详细介绍。
一、首先，介绍上述步骤101。
采集高速铁路接触网悬挂装置中的旋转双耳销钉图像样本，制作图像数据集{X，Y}，其中X＝{x1,x2,…,xn}为正常样本集，Y＝{y1,y2,…,yk}为缺陷样本集。样本包括大量正常样本和少量缺陷样本。对缺陷样本图像进行随机裁剪、旋转、翻转和局部变形等操作，进行数据增强，具体地：
在一个实施例中，上述基于生成对抗网络的双耳销钉缺陷样本的生成方法还可以包括：对采集到的缺陷样本图像进行数据增强，得到数据增强后的缺陷样本图像，将数据增强后的缺陷样本图像加入到双耳销钉样本图像数据集中。
具体实施时，数据增强处理包括：对每一张缺陷样本图像，分别进行翻转(包括水平翻转和垂直翻转)、随机旋转(0～360度)、保留关键位置(销钉部位)的随机裁剪和缩放、销钉缺陷部位的移位、添加高斯噪声等操作，扩充缺陷样本数据集，进而将数据增强后的缺陷样本图像加入到双耳销钉样本图像数据集中，进一步有助于有效地生成效果逼真的缺陷样本图像，因此可以进一步有助于为后续训练缺陷检测模型提供更加平衡且特征丰富的数据集，进而使得模型取得更好的训练效果。
二、接着介绍上述步骤102。该步骤102训练无监督模型CycleGAN，生成成对图像样本。
在一个实施例中，使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集，可以包括：
使用双耳销钉样本图像数据集训练CycleGAN模型中的两个判别器，使第一判别器能判别输入的样本图像是否为正常样本图像，第二判别器能判别输入的样本图像是否为缺陷样本图像；
将正常样本图像输入CycleGAN模型中的第一生成器，得到第一生成器生成的缺陷样本图像，将第一生成器生成的缺陷样本图像与采集的缺陷样本图像分别输入至所述第二判别器，得到CycleGAN模型中的最小化第一损失函数及第一损失函数最小化时对应的生成的缺陷样本图像；
将损失函数最小化时对应的生成的缺陷样本图像输入CycleGAN模型中的第二生成器，得到CycleGAN模型中的最小化第二损失函数；
根据最小化第一损失函数和最小化第二损失函数，得到CycleGAN网络的总损失函数；
将CycleGAN网络的总损失函数最小化时对应的第一生成器作为CycleGAN网络最优生成器，根据CycleGAN网络最优生成器，得到CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像。
所述步骤102具体实现方法为：训练循环一致性生成对抗网络CycleGAN，生成成对的正常样本和对应的缺陷样本图像，训练过程包括以下子步骤：
S21、构建循环一致性生成对抗网络CycleGAN，包括两个生成器和两个判别器，使用输出图像与原图像间的L1距离作为循环一致性损失，计算公式如下公式(2)所示。其中：G代表将正常样本转换为缺陷样本的生成器，F代表将缺陷样本转换为正常样本的生成器，x代表(采集的)原始正常样本图像。通过步骤101得到的数据集预训练CycleGAN模型中的两个判别器(第一判别器和第二判别器)，使判别器DX(第一判别器)能判别输入图像是否为正常样本，判别器DY(第二判别器)能判别输入图像是否为缺陷样本；
在正常样本和扩充后的缺陷样本(数据增强后的缺陷样本)数据集中同时训练G、F，使得G和F能实现正常样本与缺陷样本之间的互转，即包括下面步骤S22-S24步骤：
S22、将正常样本图像x输入生成器G(第一生成器)，得到G生成的缺陷样本图像G(x)，将G(x)和真实缺陷样本(采集的缺陷样本图像)y分别输入判别器DY(第二判别器)得到相应打分值，这一训练过程的损失函数(第一损失函数)构造为：
S23、将S22中的G(x)输入生成器F(第二生成器)，得到F生成的正常样本图像F(G(x))，构造循环一致性损失函数(第二损失函数)为：
S24、由公式(1)和公式(2)可以得到CycleGAN网络的总损失函数为：
其中λc＝10为超参数。同时，CycleGAN还增加了反向训练的过程，也即，将缺陷样本y输入生成器F，得到F生成的正常样本F(y)，再将F(y)和真实正常样本x分别喂入判别器DX得到相应打分值。F(y)也将输入生成器G，得到G生成的缺陷样本图像G(F(y))，构造损失函数的方法相同,反向训练的过程进一步有助于有效地生成效果逼真的缺陷样本图像；
S25、由公式(3)指导网络进行训练，在生成器与判别器的相互对抗博弈中，网络通过梯度下降算法不断更新参数，进而达到最小化损失函数的目的。训练完成后，得到可将正常样本转为对应缺陷样本的生成器G，该生成器G为CycleGAN网络的最优生成器，根据该生成器G，得到CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像，即使用生成器G，对正常样本图像进行处理，生成对应的缺陷样本图像，构造初步的成对缺陷样本数据集。
具体实施时，上述得到成对样本图像数据集的实施方式进一步有助于有效地生成效果逼真的缺陷样本图像，因此可以进一步有助于为后续训练缺陷检测模型提供更加平衡且特征丰富的数据集，进而使得模型取得更好的训练效果。
在一个实施例中，所述第一损失函数可以为：
所述第二损失函数为：
所述CycleGAN网络的总损失函数为：
其中，G代表CycleGAN网络的第一生成器，F代表CycleGAN网络的第二生成器，x代表采集的正常样本图像，y代表采集的缺陷样本图像，G(x)为第一生成器生成的缺陷样本图像，DY代表CycleGAN网络的第二判别器，λc为超参数。
具体实施时，上述第一损失函数、第二损失函数和CycleGAN网络的总损失函数的具体体现形式进一步有助于有效地生成效果逼真的缺陷样本图像，因此可以进一步有助于为后续训练缺陷检测模型提供更加平衡且特征丰富的数据集，进而使得模型取得更好的训练效果。
三、接着介绍上述步骤103。该步骤103利用步骤102得到的数据，训练Pix2Pix网络模型，进一步提升缺陷图像生成效果。
在一个实施例中，使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本，可以包括：
将采集的正常样本图像输入Pix2Pix网络的图像生成器，得到Pix2Pix网络图像生成器生成的缺陷样本图像，将采集的正常样本图像与Pix2Pix网络图像生成器生成的缺陷样本图像组成第一样本图像对；
将CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像构成第二样本图像对；
利用所述第一样本图像对和第二样本图像对训练Pix2Pix网络，得到Pix2Pix网络损失函数最小时对应的图像生成器作为Pix2Pix网络最优生成器，根据Pix2Pix网络最优生成器，得到所述基于生成对抗网络模型的双耳销钉缺陷样本。
具体地，所述步骤103的具体实现方法为：利用步骤102得到的数据，训练Pix2Pix网络模型，具体训练过程如下：
构造Pix2Pix网络，包括一个图像生成器GP和一个图像判别器DP，网络训练过程的损失函数计算公式如下公式(6)所示，将正常样本x输入GP，得到GP生成的缺陷样本图像GP(x)，即将步骤102得到的成对样本图像输入网络进行训练，得到能将正常样本转换为对应缺陷样本的图像生成器GP，将原始正常样本图像x与GP(x)组成图像对(第一样本图像对)，同时将x与由步骤102得到的x对应的缺陷样本图像G(x)组成图像对(第二样本图像对)，分别输入判别器DP，得到相应打分值。训练过程中，GP和DP的目标函数分别为：
其中，x代表原始(采集的)正常样本，G(x)代表CycleGAN网络最优生成器对应的生成的缺陷样本图像(步骤102得到的)，GP为Pix2Pix网络的图像生成器，DP为Pix2Pix网络的图像判别器，GP(x)为Pix2Pix网络图像生成器生成的缺陷样本图像，λP＝100为超参数。
具体实施时，上述Pix2Pix网络的损失函数，以及GP和DP的目标函数的具体体现形式进一步有助于有效地生成效果逼真的缺陷样本图像，因此可以进一步有助于为后续训练缺陷检测模型提供更加平衡且特征丰富的数据集，进而使得模型取得更好的训练效果。
在生成器与判别器的相互对抗博弈中，网络通过梯度下降算法不断更新参数，进而达到最小化目标函数的目的。由于添加了GP(x)与G(x)之间的L1Loss，生成器网络更倾向于生成清晰的缺陷图像。使用图片生成器Gp，对数据集中的正常样本图像进行处理，生成效果逼真的缺陷样本图像，最终得到扩充的缺陷样本数据集。
下面再结合附图1至图7举一例子进行说明，以便于理解本发明如何实施。
本发明的目的在于克服现有技术的不足，提供一种基于多生成对抗网络模型的缺陷样本生成方法，显著提升缺陷图像的生成效果，为后续的缺陷检测、缺陷定位等工业任务提供更有效的训练数据样本。
本发明的目的是通过以下技术方案来实现的：基于生成对抗网络的双耳销钉缺陷样本图像生成方法，如图1所示，该方法包括以下步骤：
On中心型神经元和Off中心型神经元的动态感受野处理：使用动态感受野模型分别对输入的红外图像和可见光图像进行卷积滤波处理；具体实现方法为：使用动态感受野模型分别对输入的红外图像和可见光图像进行卷积滤波处理，具体方法为：
S1、即上述步骤101。采集双耳销钉图像样本，制作图像数据集，并对缺陷样本图像进行随机裁剪、旋转、翻转和局部变形等操作，进行数据增强，具体方法为：采集高速铁路接触网悬挂装置中的旋转双耳销钉图像，包括大量正常样本和少量缺陷样本。对每一张缺陷样本图像，分别进行翻转(包括水平翻转和垂直翻转)、随机旋转(0～360度)、保留关键位置(销钉部位)的随机裁剪和缩放、销钉缺陷部位的移位、添加高斯噪声等操作，扩充缺陷样本数据集。
S2、训练无监督模型CycleGAN，生成成对图像样本，如图2所示，即上述步骤102。
具体实现方法为：通过S1得到的数据集预训练模型中的两个判别器，使判别器DX能判别输入图像是否为正常样本，判别器DY能判别输入图像是否为缺陷样本。将正常样本图像x输入生成器G，得到G生成的缺陷样本图像G(x)，将G(x)和真实缺陷样本y分别输入判别器DY得到相应打分值，这一训练过程的损失函数构造为：
将G(x)输入生成器F，得到F生成的正常样本图像F(G(x))，构造循环一致性损失为：
由公式(1)和公式(2)可以得到CycleGAN网络的总损失函数为：
其中λc＝10为超参数。同时，CycleGAN还增加了反向训练的过程，也即，将缺陷样本y输入生成器F，得到F生成的正常样本F(y)，再将F(y)和真实正常样本x分别喂入判别器DX得到相应打分值。F(y)也将输入生成器G，得到G生成的缺陷样本图像G(F(y))，构造损失函数的方法相同。
由公式(3)指导网络进行训练，在生成器与判别器的相互对抗博弈中，网络通过梯度下降算法不断更新参数，进而达到最小化损失函数的目的。训练完成后，得到可将正常样本转为对应缺陷样本的生成器G。
S3、利用步骤S2得到的数据，如图3所示，训练Pix2Pix网络模型，进一步提升缺陷图像生成效果，即上述步骤103。
具体实现方法为：构造Pix2Pix网络，包括一个图像生成器GP和一个图像鉴别器DP，将正常样本x输入GP，得到GP生成的缺陷样本图像GP(x)，将原始正常样本图像x与GP(x)组成图像对，同时将x与由步骤S2得到的x对应的缺陷样本图像G(x)组成图像对，分别输入判别器DP，得到相应打分值。训练过程中，GP和DP的目标函数分别为：
在生成器与判别器的相互对抗博弈中，网络通过梯度下降算法不断更新参数，进而达到最小化目标函数的目的。如公式(4)所示，由于GP(x)与G(x)之间的L1距离作为损失添加到了生成器网络的目标函数中，因此生成器更倾向于生成清晰的缺陷图像。
本实施例在图像输入网络前会统一处理为大小256×256，所以网络可以接收任意大小的原始图像进行训练。原始正常样本图像与缺陷样本图像示例如图4、图5所示。训练CycleGAN模型，生成初步的多样性缺陷图像数据(CycleGAN模型对应的根据正常样本图像生成的缺陷样本图像)，部分示例如图6所示。利用Pix2Pix模型的强大生成能力，通过设计目标函数，引入L1距离约束，进一步提升网络生成效果，得到令人信服的缺陷样本图像(Pix2Pix网络模型对应的双耳销钉缺陷样本，即最终的基于生成对抗网络的双耳销钉缺陷样本)，部分示例如图7所示。通过这样一个简单实例，阐述了一种基于生成对抗网络的双耳销钉缺陷样本图像生成方法的全过程。
综上，本发明实施例提供的双耳销钉缺陷样本的生成方法的有益效果是：本发明的方法能够自动学习双耳销钉样本的缺陷特征，并通过处理正常样本得到对应缺陷样本图像，实现自动生成视觉效果良好的成对缺陷样本数据集。作为一种混合模型方法，本发明具有泛化性强、鲁棒性高的特点，可以为后续高价值的缺陷检测、定位和识别等工业任务提供更加有效的训练数据，有效解决数据集不平衡、不匹配的问题。
本发明实施例中还提供了一种基于生成对抗网络的双耳销钉缺陷样本的生成装置，如下面的实施例所述。由于该装置解决问题的原理与基于生成对抗网络的双耳销钉缺陷样本的生成方法相似，因此该装置的实施可以参见基于生成对抗网络的双耳销钉缺陷样本的生成方法的实施，重复之处不再赘述。
图9为本发明实施例中基于生成对抗网络的双耳销钉缺陷样本的生成装置的结构示意图，如图9所示，该装置包括：
采集单元01，用于采集双耳销钉样本图像，得到双耳销钉样本图像数据集；所述双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；
样本图像对生成单元02，用于使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集；所述成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；
缺陷样本确定单元03，用于使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。
在一个实施例中，所述样本图像对生成单元具体可以用于：
使用双耳销钉样本图像数据集训练CycleGAN模型中的两个判别器，使第一判别器能判别输入的样本图像是否为正常样本图像，第二判别器能判别输入的样本图像是否为缺陷样本图像；
将正常样本图像输入CycleGAN模型中的第一生成器，得到第一生成器生成的缺陷样本图像，将第一生成器生成的缺陷样本图像与采集的缺陷样本图像分别输入至所述第二判别器，得到CycleGAN模型中的最小化第一损失函数及第一损失函数最小化时对应的生成的缺陷样本图像；
将损失函数最小化时对应的生成的缺陷样本图像输入CycleGAN模型中的第二生成器，得到CycleGAN模型中的最小化第二损失函数；
根据最小化第一损失函数和最小化第二损失函数，得到CycleGAN网络的总损失函数；
将CycleGAN网络的总损失函数最小化时对应的第一生成器作为CycleGAN网络最优生成器，根据CycleGAN网络最优生成器，得到CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像。
在一个实施例中，所述缺陷样本确定单元具体用于：
将采集的正常样本图像输入Pix2Pix网络的图像生成器，得到Pix2Pix网络图像生成器生成的缺陷样本图像，将采集的正常样本图像与Pix2Pix网络图像生成器生成的缺陷样本图像组成第一样本图像对；
将CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像构成第二样本图像对；
利用所述第一样本图像对和第二样本图像对训练Pix2Pix网络，得到Pix2Pix网络损失函数最小时对应的图像生成器作为Pix2Pix网络最优生成器，根据Pix2Pix网络最优生成器，得到所述基于生成对抗网络模型的双耳销钉缺陷样本。
在一个实施例中，上述基于生成对抗网络的双耳销钉缺陷样本的生成装置还包括：
数据增强单元，用于对采集到的缺陷样本图像进行数据增强，得到数据增强后的缺陷样本图像，将数据增强后的缺陷样本图像加入到双耳销钉样本图像数据集中。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于生成对抗网络的双耳销钉缺陷样本的生成方法方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于生成对抗网络的双耳销钉缺陷样本的生成方法方法的计算机程序。
本发明实施例中，基于生成对抗网络的双耳销钉缺陷样本的生成方案，与现有技术中真实缺陷样本相比正常样本数量少，以及传统的数据增强只能简单增加样本数量，而不能增加缺陷样本特征的多样性，导致在样本集严重不平衡的情况下，深度学习模型难以取得良好的训练效果的技术方案相比，通过：采集双耳销钉样本图像，得到双耳销钉样本图像数据集；双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；使用双耳销钉样本图像数据集训练CycleGAN模型，得到成对样本图像数据集；成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；使用成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本，实现了结合多种生成对抗网络模型特点，能有效地生成效果逼真的缺陷样本图像，因此可以为后续训练缺陷检测模型提供平衡且特征丰富的数据集，进而使得模型取得良好的训练效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，包括：
采集双耳销钉样本图像，得到双耳销钉样本图像数据集；所述双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；
使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集；所述成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；
使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。
2.如权利要求1所述的基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集，包括：
使用双耳销钉样本图像数据集训练CycleGAN模型中的两个判别器，使第一判别器能判别输入的样本图像是否为正常样本图像，第二判别器能判别输入的样本图像是否为缺陷样本图像；
将正常样本图像输入CycleGAN模型中的第一生成器，得到第一生成器生成的缺陷样本图像，将第一生成器生成的缺陷样本图像与采集的缺陷样本图像分别输入至所述第二判别器，得到CycleGAN模型中的最小化第一损失函数及第一损失函数最小化时对应的生成的缺陷样本图像；
将损失函数最小化时对应的生成的缺陷样本图像输入CycleGAN模型中的第二生成器，得到CycleGAN模型中的最小化第二损失函数；
根据最小化第一损失函数和最小化第二损失函数，得到CycleGAN网络的总损失函数；
将CycleGAN网络的总损失函数最小化时对应的第一生成器作为CycleGAN网络最优生成器，根据CycleGAN网络最优生成器，得到CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像。
3.如权利要求2所述的基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，所述第一损失函数为：
所述第二损失函数为：
所述CycleGAN网络的总损失函数为：
其中，G代表CycleGAN网络的第一生成器，F代表CycleGAN网络的第二生成器，x代表采集的正常样本图像，y代表采集的缺陷样本图像，G(x)为第一生成器生成的缺陷样本图像，DY代表CycleGAN网络的第二判别器，λc为超参数。
4.如权利要求2所述的基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本，包括：
将采集的正常样本图像输入Pix2Pix网络的图像生成器，得到Pix2Pix网络图像生成器生成的缺陷样本图像，将采集的正常样本图像与Pix2Pix网络图像生成器生成的缺陷样本图像组成第一样本图像对；
将CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像构成第二样本图像对；
利用所述第一样本图像对和第二样本图像对训练Pix2Pix网络，得到Pix2Pix网络损失函数最小时对应的图像生成器作为Pix2Pix网络最优生成器，根据Pix2Pix网络最优生成器，得到所述基于生成对抗网络模型的双耳销钉缺陷样本。
5.如权利要求4所述的基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，Pix2Pix网络的损失函数为：
其中，x代表采集的正常样本，G(x)代表CycleGAN网络最优生成器对应的生成的缺陷样本图像，GP为Pix2Pix网络的图像生成器，DP为Pix2Pix网络的图像判别器，GP(x)为Pix2Pix网络图像生成器生成的缺陷样本图像，λP为超参数。
6.如权利要求1所述的基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，还包括：对采集到的缺陷样本图像进行数据增强，得到数据增强后的缺陷样本图像，将数据增强后的缺陷样本图像加入到双耳销钉样本图像数据集中。
7.一种基于生成对抗网络的双耳销钉缺陷样本的生成装置，其特征在于，包括：
采集单元，用于采集双耳销钉样本图像，得到双耳销钉样本图像数据集；所述双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；
样本图像对生成单元，用于使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集；所述成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；
缺陷样本确定单元，用于使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。
8.如权利要求7所述的基于生成对抗网络的双耳销钉缺陷样本的生成装置，其特征在于，所述样本图像对生成单元具体用于：
使用双耳销钉样本图像数据集训练CycleGAN模型中的两个判别器，使第一判别器能判别输入的样本图像是否为正常样本图像，第二判别器能判别输入的样本图像是否为缺陷样本图像；
将正常样本图像输入CycleGAN模型中的第一生成器，得到第一生成器生成的缺陷样本图像，将第一生成器生成的缺陷样本图像与采集的缺陷样本图像分别输入至所述第二判别器，得到CycleGAN模型中的最小化第一损失函数及第一损失函数最小化时对应的生成的缺陷样本图像；
将损失函数最小化时对应的生成的缺陷样本图像输入CycleGAN模型中的第二生成器，得到CycleGAN模型中的最小化第二损失函数；
根据最小化第一损失函数和最小化第二损失函数，得到CycleGAN网络的总损失函数；
将CycleGAN网络的总损失函数最小化时对应的第一生成器作为CycleGAN网络最优生成器，根据CycleGAN网络最优生成器，得到CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529353.2A CN112668623B (zh) | 2020-12-22 | 2020-12-22 | 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529353.2A CN112668623B (zh) | 2020-12-22 | 2020-12-22 | 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112668623A true CN112668623A (zh) | 2021-04-16 |
| CN112668623B CN112668623B (zh) | 2024-04-16 |
Family
ID=75407684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011529353.2A Active CN112668623B (zh) | 2020-12-22 | 2020-12-22 | 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112668623B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570603A (zh) * | 2021-09-26 | 2021-10-29 | 国网浙江省电力有限公司电力科学研究院 | 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统 |
| CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 |
| CN115346068A (zh) * | 2022-08-02 | 2022-11-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
| WO2024007602A1 (zh) * | 2022-07-06 | 2024-01-11 | 中国华能集团清洁能源技术研究院有限公司 | 一种用于生成光伏板缺陷图像的CycleGAN模型的训练方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| US20200111194A1 (en) * | 2018-10-08 | 2020-04-09 | Rensselaer Polytechnic Institute | Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle) |
| CN111340791A (zh) * | 2020-03-02 | 2020-06-26 | 浙江浙能技术研究院有限公司 | 一种基于gan改进算法的光伏组件无监督缺陷检测方法 |
| CN111612717A (zh) * | 2020-05-20 | 2020-09-01 | 上海杉达学院 | 一种基于对抗网络的水面图像去反光修复方法和装置 |
| CN111862065A (zh) * | 2020-07-28 | 2020-10-30 | 国电南瑞科技股份有限公司 | 基于多任务深度卷积神经网络的输电线路诊断方法和系统 |
-
2020
- 2020-12-22 CN CN202011529353.2A patent/CN112668623B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| US20200111194A1 (en) * | 2018-10-08 | 2020-04-09 | Rensselaer Polytechnic Institute | Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle) |
| CN111340791A (zh) * | 2020-03-02 | 2020-06-26 | 浙江浙能技术研究院有限公司 | 一种基于gan改进算法的光伏组件无监督缺陷检测方法 |
| CN111612717A (zh) * | 2020-05-20 | 2020-09-01 | 上海杉达学院 | 一种基于对抗网络的水面图像去反光修复方法和装置 |
| CN111862065A (zh) * | 2020-07-28 | 2020-10-30 | 国电南瑞科技股份有限公司 | 基于多任务深度卷积神经网络的输电线路诊断方法和系统 |
Non-Patent Citations (4)
| Title |
|---|
| 方志丹;林伟胜;范晟;马宇;高小伟;吴合风;: "基于层级识别模型的输电线路杆塔小金具缺陷识别方法", 电力信息与通信技术, no. 09 * |
| 王健;王凯;刘刚;周文青;周子凯;: "基于生成对抗网络和RetinaNet的销钉缺陷识别", 华南理工大学学报(自然科学版), no. 02 * |
| 高聪;林建辉;邓韬;杨见光;: "基于环形对称Gabor变换的接触网销钉检测研究", 机械制造与自动化, no. 02 * |
| 麦俊佳;曾懿辉;胡壮丽;冼世平;: "基于深度学习的输电线路航拍照片目标检测应用", 广东电力, no. 09 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570603A (zh) * | 2021-09-26 | 2021-10-29 | 国网浙江省电力有限公司电力科学研究院 | 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统 |
| CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 |
| WO2024007602A1 (zh) * | 2022-07-06 | 2024-01-11 | 中国华能集团清洁能源技术研究院有限公司 | 一种用于生成光伏板缺陷图像的CycleGAN模型的训练方法及装置 |
| CN115346068A (zh) * | 2022-08-02 | 2022-11-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112668623B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112668623B (zh) | 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 | |
| CN109003240B (zh) | 一种基于多尺度并行cnn的图像去噪方法 | |
| CN107016406A (zh) | 基于生成式对抗网络的病虫害图像生成方法 | |
| Jain et al. | Autoencoders for level generation, repair, and recognition | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN111860171B (zh) | 一种大规模遥感图像中不规则形状目标的检测方法及系统 | |
| CN108205659A (zh) | 人脸遮挡物去除及其模型构建的方法、设备及介质 | |
| CN107545245A (zh) | 一种年龄估计方法及设备 | |
| Kurin et al. | The atari grand challenge dataset | |
| CN109741328A (zh) | 一种基于生成式对抗网络的汽车表观质量检测方法 | |
| CN105930382A (zh) | 一种用2d图片搜索3d模型的方法 | |
| CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
| CN108665005A (zh) | 一种利用dcgan提高基于cnn图像识别性能的方法 | |
| Han et al. | A new method in wheel hub surface defect detection: Object detection algorithm based on deep learning | |
| CN113870371A (zh) | 基于生成对抗网络的图片颜色变换装置、方法和存储介质 | |
| CN110102051A (zh) | 游戏外挂的检测方法及装置 | |
| CN112949469A (zh) | 针对人脸篡改图像特点分布的图像识别方法、系统及设备 | |
| CN115661062A (zh) | 基于对抗生成网络的工业缺陷样本生成方法及系统 | |
| CN115358337A (zh) | 一种小样本故障诊断方法、装置及存储介质 | |
| Song et al. | Anomaly composition and decomposition network for accurate visual inspection of texture defects | |
| CN117275064A (zh) | 基于人脸时序信息的人脸视频深度伪造检测方法与装置 | |
| Yan et al. | An accurate saliency prediction method based on generative adversarial networks | |
| CN115830383A (zh) | 一种用于小样本条件下电机轴承故障诊断模型训练方法、装置 | |
| Fu et al. | Bearing surface defect detection based on improved convolutional neural network | |
| CN115880111A (zh) | 基于图像的虚拟仿真实训课堂教学管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |