CN114841992A - 基于循环生成对抗网络和结构相似性的缺陷检测方法 - Google Patents
基于循环生成对抗网络和结构相似性的缺陷检测方法 Download PDFInfo
- Publication number
- CN114841992A CN114841992A CN202210608742.7A CN202210608742A CN114841992A CN 114841992 A CN114841992 A CN 114841992A CN 202210608742 A CN202210608742 A CN 202210608742A CN 114841992 A CN114841992 A CN 114841992A
- Authority
- CN
- China
- Prior art keywords
- loss
- picture
- defect
- gan
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 125000004122 cyclic group Chemical group 0.000 title claims description 11
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000009467 reduction Effects 0.000 claims abstract description 5
- 230000008439 repair process Effects 0.000 claims abstract description 5
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 29
- 208000032538 Depersonalisation Diseases 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008485 antagonism Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/04—
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及一种基于循环生成对抗网络和结构相似性的缺陷检测方法，包括以下步骤：步骤S1:获取缺陷图片并预处理，作为训练数据集；步骤S2:构建CycleGAN模型，并基于训练数据集训练，得到一个将缺陷图片映射为无缺陷图片的模型；步骤S3:将待检测图片输入训练后的CycleGAN模型，使用结构相似性算法对比原图和修复图的差异，获取差异二值图；步骤S4:对差异二值图进行连通域降噪和形态学处理，原始图像存在缺陷，则该二值图中白色区域即为提取出的缺陷形状。本发明检测精度高、对复杂纹理表面鲁棒性高、能够准确检测细小缺陷等优势。
Description
技术领域
本发明涉及涉及机器视觉领域和工业生产领域，具体涉及一种基于循环生成对抗网络和结构相似性的缺陷检测方法。
背景技术
“目标检测”是计算机视觉(CV)领域的核心问题之一，它的任务是从给定图像或视频中定位所需寻找目标(物体)，并识别不同的目标，输出目标的类别。目标检测的应用场景非常广泛，其中被广为研究的是人脸检测、行人检测、车辆检测等。而缺陷检测是目标检测的一种具体应用，其待检测的目标为产品表面可能存在的缺陷。长期以来，工业缺陷检测依靠人工完成。但依靠人工来检测表面缺陷是费时、费力且带有强烈主观偏见的，其效率和准确率均得不到很好的保障。因而利用计算机来自动化缺陷检测一直是计算机视觉领域的一大研究热点。基于计算机视觉的缺陷检测的方法可以分为传统方法和深度学习方法方法。缺陷检测传统方法包括支持向量机、朴素贝叶斯、马尔可夫随机场等，而深度学习方法大多基于卷积神经网络(CNN)，如SSD、YOLO、FCN、U-Net等。相较于传统方法，基于卷积神经网络的缺陷检测算法在大多数场景下能够提取到更深层次的缺陷特征，因而往往优于传统方法。所以基于卷积神经网络的缺陷检测检测成为目前主流的目标检测算法，发挥了出色的性能。然而目前缺陷检测的深度学习方法仍具有一些不足：1.大部分需要带标注(图像级或像素级)的训练数据，而标注大量数据无疑也是费时费力且主观的；2.检测准确度不高或检测错误率过高，难以满足实际应用的要求。
由于工业表面缺陷检测仍主要靠人工完成，存在劳动强度大、效率低、受主观性影响大等问题，不能很好地满足工业生产的高效率和高精度需求，而大多数基于机器视觉的缺陷检测方法也存在需要人工标注大量训练数据、训练耗时长、对纹理杂乱的表面检测效果差的不足。
发明内容
有鉴于此，本发明的目的在于提供一种基于循环生成对抗网络和结构相似性的缺陷检测方法，检测精度高、对复杂纹理表面鲁棒性高、能够准确检测细小缺陷等优势。
为实现上述目的，本发明采用如下技术方案：
一种基于循环生成对抗网络和结构相似性的缺陷检测方法，包括以下步骤：
步骤S1：获取缺陷图片并预处理，作为训练数据集；
步骤S2：构建CycleGAN模型，并基于训练数据集训练，得到一个将缺陷图片映射为无缺陷图片的模型；
步骤S3：将待检测图片输入训练后的CycleGAN模型，使用结构相似性算法对比原图和修复图的差异，获取差异二值图；
步骤S4：对差异二值图进行连通域降噪和形态学处理，原始图像存在缺陷，则该二值图中白色区域即为提取出的缺陷形状。
进一步的，所述CycleGAN模型包括正-＞负生成器、负-＞正的生成器、正样本判别器和负样本判别器。
进一步的，所述生成器采用下采样+残差块+上采样的结构，并在输入图像下采样至256通道后加入两个Involution块，分别位于残差块的两端。
进一步的，所述判别器首先采用四个卷积块对输入图像下采样，4个卷积块的核尺寸均为4×4，输入图像经过四次卷积之后通道数增加至512，然后再经过一次卷积将通道数减少至1，最后使用全局平均池化压缩为1×1的标量，该标量取值范围为[0，1]，表示判别器对该输入图像为真实样本的置信度。
进一步的，所述CycleGAN模型损失函数包括对抗性LGAN、损失循环一致性损失Lcycle和同一性损失Lidentity。
进一步的，所述LGAN包括LGAN_G和LGAN_D，分别表示生成器G和判别器D的优化目标，均使用L2损失度量，如式(1)、(2)所示，
LGAN_G＝∑p∈P(Dn(Gp2n(p))-1)2+∑n∈N(Dp(Gn2p(n))-1)2 (1)
LGAN_D＝∑p∈P[(p-1)2+(Dn(Gp2n(p))-0)2]+∑n∈N[(n-1)2+(Dp(Gn2p(n))-0)2] (2)
其中0和1分别代表全0张量和全1张量。
进一步的，使用了一种损失函数替换策略，即在前k个epoch时使用SSIM损失实现Lcycle，而在之后的epoch种将损失函数替换为L1损失，以获得与原图相近光照和颜色细节：
进一步的，所述Lidentity采用与Lcycle同样的度量策略，即先用SSIM损失后用L1损失，于是同一性损失描述为：
于是生成器G和判别器D的损失函数分别为：
LG＝LGAN_G+αLcycle+βLidentity (5)
LD＝LGAN_D (6)
其中α和β为超参数。
进一步的，所述结构相似性算法，具体为：
定义三个对比函数：亮度对比函数l(x，y)、对比度对比函数c(x，y)、结构对比函数s(x，y)：
其中μx、σx、σxy分别表示x的均值、x的方差、x和y的协方差；
设C3＝C2/2，则SSIM指数函数表示为：
上述公式中，均值、方差和协方差的计算都在滑窗内的局部区域完成，并且逐像素的遍历整幅图片最后全局的SSIM得分为所有滑窗内局部区域得分的平均值。
本发明与现有技术相比具有以下有益效果：
本发明无需人工标注、模型收敛速度快、检测准确率高、在不同背景下鲁棒性强等特点，可以较大程度上提升缺陷检测的效率
附图说明
图1是本发明一实施例中训练阶段示意图；
图2是本发明一实施例中生成器G的示意图；
图3是本发明一实施例中判别器D的示意图；
图4是本发明一实施例中Involution的原理图；
图5是本发明一实施例中数据集；
图6是本发明一实施例中存放训练和测试数据集的文件夹结构；
图7是本发明一实施例中测试准确率和错误率随训练epoch变化趋势；
图8是本发明一实施例中模型训练50epoch时检测效果。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明提供一种基于循环生成对抗网络和结构相似性的缺陷检测方法，包括以下步骤：
步骤S1：获取缺陷图片并预处理，作为训练数据集；
步骤S2：构建CycleGAN模型，并基于训练数据集训练，得到一个将缺陷图片映射为无缺陷图片的模型；
步骤S3：将待检测图片输入训练后的CycleGAN模型，使用结构相似性算法对比原图和修复图的差异，获取差异二值图；
步骤S4：对差异二值图进行连通域降噪和形态学处理，原始图像存在缺陷，则该二值图中白色区域即为提取出的缺陷形状。
参考图1，为训练阶段示意图，在本实施例中，其中P和N分别为训练集中的正样本和负样本，P和N分别是原始样本P和N经过一次映射获得的假样本，
和
分别是
和
经过一次反向映射获得的假样本。Gp2n和分别为正-＞负和负-＞正的生成器，Dp和Dn分别为正样本判别器和负样本判别器。LGAN为对抗性损失，用以衡量生成的假样本与真实样本的差异。Lcycle为循环一致性损失，用以衡量真实样本依次经过两个生成器映射后获得的图像与原始图像的差异。Lidentity为同一性损失，用以降低将无缺陷样本错误检测为有缺陷样本的概率。
在本实施例中，生成器G采用经典的U-net结构，即下采样+残差块+上采样的结构，如图2所示。其中Involution算子(详见5)是CVPR2021中新提出的一种网络算子，其具有通道无关性、空间特异性两大特性(与卷积相反)，可以更好地适应不同空间位置提取不同的特征，且其在输入通道较大时可以有效减少网络参数量。由于在表面缺陷检测这一实际应用中图像的缺陷区域和非缺陷区域一般具有不一样的局部特征，因此本方法中生成器网络在输入图像下采样至256通道后加入两个Involution块，分别位于残差块的两端，Involution算子独特的空间特异性有助于更好地提取出缺陷特征，以提升生成器模型的性能。
在本实施例中，判别器D首先采用四个卷积块对输入图像下采样，4个卷积块的核尺寸均为4×4，如图3所示。输入图像经过四次卷积之后通道数增加至512，然后再经过一次卷积将通道数减少至1，最后使用全局平均池化压缩为1×1的标量，该标量取值范围为[0，1]，表示判别器对该输入图像为真实样本的置信度。
在本实施例中，CycleGAN模型损失函数包括对抗性LGAN、损失循环一致性损失Lcycle和同一性损失Lidentity。
LGAN在代码实现上分为LGAN_G和LGAN_D，分别表示生成器G和判别器D的优化目标，均使用L2损失度量，如式(1)、(2)所示，其中0和1分别代表全0张量和全1张量。生成器希望生成的假样本能够欺骗判别器，即输入假样本让判别器输出尽可能接近1，而判别器希望尽可能区分真实样本和生成器生成的假样本，因此对于真实样本判别器希望自己输出尽可能接近1，而对于假样本输出尽可能接近0。
LGAN_G＝∑p∈P(Dn(Gp2n(p))-1)2+∑n∈N(Dp(Gn2p(n))-1)2 (1)
LGAN_D＝∑p∈P[(p-1)2+(Dn(Gp2n(p))-0)2]+∑n∈N[(n-1)2+(Dp(Gn2p(n))-0)2] (2)
Lcycle为循环一致性损失，我们希望真实样本在依次经过一次正向映射和一次反向映射之后获得的样本与原样本尽可能一致，即Gn2p(Gp2n(p))≈p、Gp2n(Gn2p(n))≈n。
SSIM损失具有收敛速度快的优势，但单纯使用SSIM作为损失度量容易导致生成图片亮度的改变和颜色的偏差，这种偏差会引入不必要的噪声，对后续缺陷的检测和提取造成负面影响。本实施例中，使用了一种损失函数替换策略，即在前k个epoch时使用SSIM损失实现Lcycle，以获取较快的网络收敛速度。而在之后的epoch种将损失函数替换为L1损失，以获得与原图相近光照和颜色细节。其中k被经验性地设置为10。
除此之外，为了降低检测的错误率(将无缺陷样本检测为缺陷样本的概率)，本方法还使用了一项重要的损失函数Lidentity，即同一性损失。当无缺陷的正样本P被输入生成器Gn2p时，P无需进行任何改动，因此我们希望重建获得的样本P与P尽可能接近，以避免引入不必要的干扰噪声，造成错误检测。Lidentity采用与Lcycle同样的度量策略，即先用SSIM损失后用L1损失，于是同一性损失描述为：
于是生成器G和判别器D的损失函数分别为：
LG＝LGAN_G+αLcycle+βLidentity (5)
LD＝LGAN_D (6)
其中α和β为超参数。优选的，设置α＝10，β＝5。
在本实施例中，把与物体结构相关的亮度和对比度作为图像中结构信息的定义。为此，定义三个对比函数：亮度对比函数l(x，y)、对比度对比函数c(x，y)、结构对比函数s(x，y)。
其中μx、σx、σxy分别表示x的均值、x的方差、x和y的协方差。为简化形式，设C3＝C2/2，则SSIM指数函数表示为：
在图像质量评估之中，局部求SSIM指数的效果要好于全局。第一，图像的统计特征通常在空间中分布不均；第二，图像的失真情况在空间中也是变化的；第三，在正常视距内，人们只能将视线聚焦在图像的一个区域内，所以局部处理更符合人类视觉系统的特点；第四，局部质量检测能得到图片空间质量变化的映射矩阵，结果可服务到其他应用中。因而在上述公式中，均值、方差和协方差的计算都在滑窗内的局部区域完成，并且逐像素的遍历整幅图片。最后全局的SSIM得分为所有滑窗内局部区域得分的平均值。
对于SSIM在本缺陷检测方法中的应用来说，SSIM滑窗大小也是超参数之一，优选的，滑窗大小设置为9。
在本实施例中，在CVPR2021上，基于空间特异性和通道无关性的全新算子Involution被提出了。相比于传统的卷积，involution巧妙地将网络计算量分为kemelgeneration和Multiply-Add两部分进行计算，明显改善了传统CNN的参数量和计算量。
图4为Involution的原理图，与卷积核不同，Involution核H是基于单个像素的而不是其与相邻像素的关系，其形状取决于输入特征图X的尺寸，核生成函数根据特定像素生成内卷核，即→K×K×。于是核H定义为：
其中W1和W0代表线性变换，W0将1×1×C的特定像素的表示降维到1×1×C/r(r代表减少比率)，σ代表的是BN和非线性激活。W1将1×1×C/r变化为K×K×G，最后使用生成的内卷核对特定像素区域进行卷积操作。
对于表面缺陷检测，使用Involution算子可以满足在图像不同区域(缺陷区域和非缺陷区域)不同视觉能力的需求，使模型提取的缺陷轮廓更接近于真实缺陷轮廓，且有助于降低将与缺陷特征相似的非缺陷区域误检为缺陷的概率。
实施例1：
在本实施例中，计算机环境如下，CPU：Intel(R)Xeon(R)CPU E5-2620 v4@2.10GHz，GPU：GeForce GTX 1080Ti，Memory：128G，Python：3.6.13，Pytorch：1.7.1。
1、数据集制作
数据集来源于公用数据集DAGM2007中的Class6(图5中a、图5中b)和Class7(图5中c、图5中d)，DAGM2007是工业表面缺陷检测常用数据集，共有10个不同类别，每个类别分训练集和测试集，所有图片均为png格式的灰度图像，512×512像素。
在本实施例中，所有训练图片和测试图片在被输入模型前均被resize为256×256大小，并以0.5为均值和标准差进行数据标准化，以此加快模型的收敛速度。此外，训练图片还会进行随机裁剪和随机翻转，以提升模型的鲁棒性。
本方法所用数据集的大小如表1所示：
表1
存放训练和测试数据集的文件夹结构如图6所示：
定义训练超参数
在本方法中，需要使用一些调整一些超参数以获取较好的检测效果。经过大量对比实验，本方法中使用的一些主要超参数如下。学习率：0.0002，学习率衰减率：0.98，BatchSize：1，epoch：100，图像尺寸：256，ssim窗口大小：9。
本方法使用argparse模块来定义训练所需的超参数，argparse是python内置的标准命令行解析模块，它可以让用户直接从命令行中传入代码运行所需的参数，方便代码的调试。
3、模型训练
定义好各类超参数之后开始训练模型，训练命令如下：
python train.py--class_name Class6--ssimL1--involution--identity_loss--min_area 250
在训练最后部分的输出如下：
……
Epoch：95 finish.Dn loss：0.16，Dp loss：0.24，G loss：1.48，lr：0.000029
Epoch：96 finish.Dn loss：0.15，Dp loss：0.24，G loss：1.65，lr：0.000028
Epoch：97 finish.Dn loss：0.16，Dp loss：0.25，G loss：1.55，lr：0.000028
Epoch：98 finish.Dn loss：0.17，Dp loss：0.24，G loss：1.43，lr：0.000027
Epoch：99 finish.Dn loss：0.16，Dp loss：0.24，G loss：1.47，lr：0.000027
Epoch：100 finish.Dn loss：0.17，Dp loss：0.25，G loss：1.43，lr：0.000026
其中，Dn loss表示判别器Dn的损失，Dp loss表示判别器Dp的损失，G loss表示Gn2p和Gp2n的损失之和。G loss可以衡量真实图像和生成图像的相似程度，但并不是越低越好，因为过低的G loss可能导致模型对训练集的过拟合，反而降低模型在测试集上的表现。由输出可见，随着训练epoch的增加，生成器损失和判别器损失均没有发生较大的波动，这表明此时生成器和判别器已经达到平衡状态。
本方法的模型共训练迭代100次，用时约3小时。
4、模型测试
加载保存的模型进行测试，测试准确率和错误率随训练epoch变化趋势如图7所示；模型训练50epoch时检测效果如图8所示，其中(a)为测试图像、(b)为修复图像、(c)为提取的缺陷、(d)为标签。可以看到，本方法只需训练50-60个epoch(约1.5小时)就可以达到较好的图像修复和缺陷检测效果，较快的训练速度有利于快速地部署于实际应用场景。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (9)
1.一种基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，包括以下步骤：
步骤S1:获取缺陷图片并预处理，作为训练数据集；
步骤S2:构建CycleGAN模型，并基于训练数据集训练，得到一个将缺陷图片映射为无缺陷图片的模型；
步骤S3:将待检测图片输入训练后的CycleGAN模型，使用结构相似性算法对比原图和修复图的差异，获取差异二值图；
步骤S4:对差异二值图进行连通域降噪和形态学处理，原始图像存在缺陷，则该二值图中白色区域即为提取出的缺陷形状。
2.根据权利要求1所述的基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，所述CycleGAN模型包括正->负生成器、负->正的生成器、正样本判别器和负样本判别器。
3.根据权利要求2所述的基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，所述生成器采用下采样+残差块+上采样的结构，并在输入图像下采样至256通道后加入两个Involution块，分别位于残差块的两端。
4.根据权利要求2所述的基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，所述判别器首先采用四个卷积块对输入图像下采样，4个卷积块的核尺寸均为4×4，输入图像经过四次卷积之后通道数增加至512，然后再经过一次卷积将通道数减少至1，最后使用全局平均池化压缩为1×1的标量，该标量取值范围为[0,1]，表示判别器对该输入图像为真实样本的置信度。
5.根据权利要求2所述的基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，所述CycleGAN模型损失函数包括对抗性LGAN、损失循环一致性损失Lcycle和同一性损失Lidentity。
6.根据权利要求5所述的基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，所述LGAN包括LGAN_G和LGAN_D，分别表示生成器G和判别器D的优化目标，均使用L2损失度量，如式(1)、(2)所示，
LGAN_G＝∑p∈P(Dn(Gp2n(p))-1)2+∑n∈N(Dp(Gn2p(n))-1)2 (1)
LGAN_D＝∑p∈P[(p-1)2+(Dn(Gp2n(p))-0)2]+∑n∈N[(n-1)2+(Dp(Gn2p(n))-0)2] (2)
其中0和1分别代表全0张量和全1张量。
7.根据权利要求5所述的基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，使用了一种损失函数替换策略，即在前k个epoch时使用SSIM损失实现Lcycle，而在之后的epoch种将损失函数替换为L1损失，以获得与原图相近光照和颜色细节：
8.根据权利要求7所述的基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，所述Lidentity采用与Lcycle同样的度量策略，即先用SSIM损失后用L1损失，于是同一性损失描述为：
于是生成器G和判别器D的损失函数分别为：
LG＝LGAN_G+αLcycle+βLidentity (5)
LD＝LGAN_D (6)
其中α和β为超参数。
9.根据权利要求1所述的基于循环生成对抗网络和结构相似性的缺陷检测方法，其特征在于，所述结构相似性算法，具体为：
定义三个对比函数：亮度对比函数l(x,y)、对比度对比函数c(x,y)、结构对比函数s(x,y)：
其中μx、σx、σxy分别表示x的均值、x的方差、x和y的协方差；
设C3＝C2/2，则SSIM指数函数表示为：
上述公式中，均值、方差和协方差的计算都在滑窗内的局部区域完成，并且逐像素的遍历整幅图片最后全局的SSIM得分为所有滑窗内局部区域得分的平均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210608742.7A CN114841992A (zh) | 2022-05-31 | 2022-05-31 | 基于循环生成对抗网络和结构相似性的缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210608742.7A CN114841992A (zh) | 2022-05-31 | 2022-05-31 | 基于循环生成对抗网络和结构相似性的缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114841992A true CN114841992A (zh) | 2022-08-02 |
Family
ID=82572918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210608742.7A Pending CN114841992A (zh) | 2022-05-31 | 2022-05-31 | 基于循环生成对抗网络和结构相似性的缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114841992A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109755A (zh) * | 2023-01-04 | 2023-05-12 | 泰瑞数创科技(北京)股份有限公司 | 一种基于CycleGAN算法生成不同场景建筑物纹理的方法 |
| CN116664839A (zh) * | 2023-05-31 | 2023-08-29 | 博衍科技(珠海)有限公司 | 一种弱监督半监督缺陷感知分割方法、装置及电子设备 |
-
2022
- 2022-05-31 CN CN202210608742.7A patent/CN114841992A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109755A (zh) * | 2023-01-04 | 2023-05-12 | 泰瑞数创科技(北京)股份有限公司 | 一种基于CycleGAN算法生成不同场景建筑物纹理的方法 |
| CN116109755B (zh) * | 2023-01-04 | 2023-11-28 | 泰瑞数创科技(北京)股份有限公司 | 一种基于CycleGAN算法生成不同场景建筑物纹理的方法 |
| CN116664839A (zh) * | 2023-05-31 | 2023-08-29 | 博衍科技(珠海)有限公司 | 一种弱监督半监督缺陷感知分割方法、装置及电子设备 |
| CN116664839B (zh) * | 2023-05-31 | 2024-02-13 | 博衍科技(珠海)有限公司 | 一种弱监督半监督缺陷感知分割方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| WO2023077404A1 (zh) | 缺陷检测方法、装置和系统 | |
| CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN114841992A (zh) | 基于循环生成对抗网络和结构相似性的缺陷检测方法 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统 | |
| CN114037674B (zh) | 一种基于语义上下文的工业缺陷图像分割检测方法及装置 | |
| CN107644203B (zh) | 一种形状自适应分类的特征点检测方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN115829995A (zh) | 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统 | |
| CN116228686A (zh) | 一种基于轻量级网络的划痕缺陷检测方法、装置以及设备 | |
| CN116051820A (zh) | 基于多模板的单目标检测方法 | |
| CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
| CN113313179A (zh) | 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法 | |
| CN114140373A (zh) | 一种基于LabVIEW深度学习的开关缺陷检测方法 | |
| CN116188361A (zh) | 一种基于深度学习的铝型材表面缺陷分类方法及装置 | |
| CN116228795A (zh) | 一种基于弱监督学习的超高分辨率医学图像分割方法 | |
| CN115937095A (zh) | 融合图像处理算法和深度学习的印刷缺陷检测方法及系统 | |
| CN113763384A (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
| CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |