CN117197095B - 基于半监督生成对抗分割模型的表面缺陷检测方法和系统 - Google Patents
基于半监督生成对抗分割模型的表面缺陷检测方法和系统 Download PDFInfo
- Publication number
- CN117197095B CN117197095B CN202311182597.1A CN202311182597A CN117197095B CN 117197095 B CN117197095 B CN 117197095B CN 202311182597 A CN202311182597 A CN 202311182597A CN 117197095 B CN117197095 B CN 117197095B
- Authority
- CN
- China
- Prior art keywords
- data
- training
- model
- seg
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 75
- 230000011218 segmentation Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 13
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000009776 industrial production Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 101100409308 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) adv-1 gene Proteins 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于半监督生成对抗分割模型的表面缺陷检测方法和系统，所述方法具体包括以下步骤：构建SSGD‑Seg模型；所述SSGD‑Seg模型包括第一生成器G1和第二生成器G2，第一判别器D1和第二判别器D2；数据集准备及预处理；基于预处理后的数据训练SSGD‑Seg模型；采用训练后的所述SSGD‑Seg模型对待检测物品进行缺陷检测。本发明可以精准的检测到小且弱的表面缺陷，并大大降低人工与时间成本，为保障工业生产的正常进行和生产企业对产品的质量把控有着积极意义。
Description
技术领域
本发明属于及缺陷检测技术领域，具体涉及一种基于半监督生成对抗分割模型的表面缺陷检测方法和系统。
背景技术
随着科学技术的不断发展，我国已经成为世界最大的工业生产制造中心。而在各种产品的生产制造中，对产品表面进行缺陷检测已经是对产品质量把控的必要环节之一。其不仅影响着产品的质量分级和良品率把控，更进一步关系到产品流入市场后的用户口碑和生产企业的声誉等。现今的表面缺陷检测方法主要是基于深度学习的各种理论方法。从2012年发展至今，基于深度学习的表面缺陷检测方法已经取得了卓越的成果。现今主流的方法可以分为基于目标检测和图像语义分割，而根据学习方式又可以分为监督学习、半监督学习和无监督学习，三种方式的区别主要在于训练网络的数据集是全标注、部分标注和无标注。
现今基于监督方式的表面缺陷检测方法是最多的，但是在训练网络时需要全标注的数据集，数据集标注无疑会耗费大量的人力物力和时间成本。为了缓解这一问题，科研工作者提出了基于半监督学习的表面缺陷检测方法，其可以使用少量标注的训练数据训练神经网络就能实现较为卓越的缺陷检测性能。但基于半监督学习的表面缺陷检测方法依旧存在诸多问题。例如，由于标注数据少，网络的训练容易过拟合；网络针对小且弱的缺陷目标特征提取能力不足等问题。
发明内容
针对上述问题，本发明提出了一种基于半监督生成对抗分割模型的表面缺陷检测方法和系统，该方法基于生成对抗思想，使用改进的Unet3+作为模型的生成器，由卷积层、DDBAC模块和全局平均池化层组成模型的判别器，两种网络交替博弈训练，共同促进。
本发明的技术方案如下：
一种基于半监督生成对抗分割模型的表面缺陷检测方法，具体包括以下步骤：
构建SSGD-Seg模型；所述SSGD-Seg模型包括第一生成器G1和第二生成器G2，第一判别器D1和第二判别器D2；
数据集准备及预处理；
基于预处理后的数据训练SSGD-Seg模型；
采用训练后的所述SSGD-Seg模型对待检测物品进行缺陷检测。
进一步的，所述第一生成器G1和第二生成器G2均采用改进的Unet3+作为网络主体，所述第一生成器G1用于学习标记数据和未标记数据的特征，输出标记数据和未标记数据的分割置信映射，所述第二生成器G2从所述第一生成器G1中获得训练参数，只使用未标记数据进行训练，获得未标记数据的分割置信映射。
进一步的，所述第一判别器D1和第二判别器D2均由卷积层、DDBAC模块和全局平均池化层组成，所述第一判别器D1用于学习标记数据和未标记数据输出的分割置信映射之间的差异，所述第二判别器D2用于学习未标记数据中扰动数据和未扰动数据的区别。
进一步的，所述数据集准备及预处理具体为：
采集大量的表面缺陷图像，统一缺陷图像的分辨率和格式，构建缺陷图像数据集；
将所述缺陷图像数据集按照8:1:1的比例划分为训练集、验证集和测试集；
使用标注软件标注训练集中10％的缺陷图像。
进一步的，训练SSGD-Seg模型具体为：
将预处理后的数据集送入所述SSGD-Seg模型进行数据扩充并训练，设置训练参数，训练时每隔规定的训练次数及保存一次分割模型并进行验证；在训练完成后，选出训练中最佳的分割模型，然后用测试集进行测试。
进一步的，所述训练参数包括学习率，迭代次数和梯度下降优化算法。
进一步的，所述方法还采用了Dice系数、Jaccard index、像素准确率、Sensitivity、Specificity、分类准确率和查全率作为所述SSGD-Seg模型缺陷检测性能的评估指标。
本发明还提供一种基于半监督生成对抗分割模型的表面缺陷检测系统，所述系统包括
建模单元，用于构建SSGD-Seg模型；所述SSGD-Seg模型包括第一生成器G1和第二生成器G2，第一判别器D1和第二判别器D2；
数据处理单元，用于进行数据准备及预处理；
训练单元，用于基于预处理后的数据训练SSGD-Seg模型；
检测单元，用于采用训练后的所述SSGD-Seg模型对待检测物品进行缺陷检测。
本发明的技术效果：
本发明通过使用半监督学习方式，减少人工标注数据集的比例，仅需标注训练集的10％就可以达到卓越的检测效果，大大降低了人工与时间成本。
本发明提出的DDBAC模块大大缓解了网络训练过拟合与网络针对小且弱缺陷目标特征提取能力不足的问题。
本发明通过改进的Unet3+分割网络，给出准确的检测结果，包括缺陷的类别、缺陷在图像中的准确位置。
附图说明
附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
图1是本发明中的SSGD-Seg模型网络结构示意图；
图2是本发明中的SSGD-Seg模型的生成器(改进Unet3+)的网络结构示意图；
图3是本发明中的SSGD-Seg模型的判别器网络结构示意图；
图4是本发明中的DDBAC模块的网络结构示意图；
图5是本发明中的双注意力机制的网络结构示意图；
图6是本发明中的动态卷积与可变形卷积的网络结构示意图；
图7是本发明中的数据集结构示意图；
图8是本发明中的SSDG-Seg模型表面缺陷检测流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明实施例提供一种基于半监督生成对抗分割模型的表面缺陷检测方法，包括以下步骤：
S1构建SSGD-Seg模型；
SSGD-Seg模型包含两个子网络模块：一是作为生成器的改进Unet3+分割网络，二是由卷积层、DDBAC模块和全局平均池化层组成的判别器。SSGD-Seg模型的网络结构如图1所示。其中，模型包含两个生成器G1和G2，两个判别器D1和D2。G1和G2采用Unet3+作为网络主体，两者的结构完全相同，生成器的网络结构如图2所示。G1的作用是学习标记数据和未标记数据的特征，输出标记数据和未标记数据的分割置信映射，而G2的作用是从G1获得训练参数，只使用未标记数据进行训练，获得相应的置信映射，目的在于完全排除标记数据与为标记数据混合训练时产生的数据扰动。判别器D1和D2结构相同，但功能有所区别，判别器的网络结构如图3所示。判别器D1学习标记数据和未标记数据输出映射之间的差异。而判别器D2学习未标记数据中扰动数据和未扰动数据的区别。
由于在实际的表面缺陷检测任务中，科研人员使用深度学习方法时，往往需要在数据集标注上耗费大量的人力物力。因此，本发明提出基于生成对抗思想的半监督缺陷检测方法。生成器G1、G2分别从标记数据和未标记数据中学习特征映射以生成缺陷分割图像，而判别器D1、D2接受生成器的生成结果，把其与标记数据进行比较，输出一个概率，以促进生成器的生成性能。生成器与判别器同时训练，二者相互博弈，互相促进。当判别器的输出接近0.5时，即代表判别器已无法区分生成数据与标记数据，此时，网络可以得到最佳的缺陷分割结果。
为了缓解分割任务中常见的过拟合问题，本发明设计了DDBAC模块。DDBAC是基于动态和可变形卷积的双通道注意力机制模块。其网络结构如图4所示。该模块包含了像素注意力机制与信道注意力机制组成的双通道注意力机制和动态卷积与可变形卷积加权组成的动变卷积，其网络结构分别如图5和图6所示。本发明利用动态卷积和可变形卷积对每个样本自适应的调整一组参数，以便于更好的利用先验知识，同时可以降低网络过拟合的风险，提高网络的特征表示能力。此外，为了克服小目标分割中对比度低和边缘模糊的问题，本发明在DDBAC模块中增加了双通道注意机制，包括像素注意力和信道注意力机制。因此，卷积核的最终值是由双通道注意机制、动态卷积和可变形卷积共同决定的。
S2数据集准备及预处理：
1)通过相机或手机采集大量的表面缺陷图像，而后把缺陷图像的分辨率统一为1024×1024，格式统一为.jpg，放入文件夹并命名为JPEGImages。
2)把缺陷图像数据集按照8:1:1的比例划分为训练集、验证集和测试集。使用标注软件标注训练集中10％的缺陷图像(尽量保证每个类别的缺陷图像都标记到总量的10％左右)。把标记得到的.json文件转化为可用于图像分割的掩膜图像，格式为.png，分辨率为1024×1024，并放入命名为SegmentationClass的文件夹中。
3)把训练集、验证集和测试集中缺陷图像的名称提取为TXT格式文件，分别为：trainunlabel.txt、trainlabel.txt、val.txt和test.txt，并放入命名为voclist的文件夹，最终的数据集格式如图7所示。
S3训练SSGD-Seg模型：将准备好的数据集送入网络中进行训练，并设置训练参数如学习率，迭代次数，梯度下降优化算法等，完成后开始训练。训练时每隔规定的训练次数及保存一次分割模型并进行验证。在训练完成后，会得到训练中最佳的分割模型，然后用测试集进行测试。
步骤S3中，SSGD-Seg模型的训练、验证、测试包含以下步骤：首先设置训练参数如学习率，迭代次数，梯度下降优化算法等，然后将准备好的数据集送入网络中进行训练。获得训练结果，保存训练模型。每隔规定的训练次数保存一次训练模型，并进行验证。训练结束后，保存最佳的训练模型，然后进行测试，检验模型的缺陷检测性能。
1)数据扩充：在训练中，模型采取在线随机数据扩充，其中使用到图像缩放、图像旋转和图像镜像这三种组合数据扩充手段，可以把用于训练的缺陷图像数量增加到原有的3至5倍。
2)设置训练参数：本发明使用Adam优化算法对分割网络进行优化，初始学习率设置为0.001。判别器网络则采用动量为0.9的SGD算法进行优化，初始学习率设置为0.01，权值衰减为0.0001。
3)引入DDBAC模块：DDBAC模块的主要由双注意力机制、动态卷积和可变形卷积构成。
双注意力机制如图5所示。其包括像素注意模块和信道注意模块。像素注意模块的结构如图5所示。像素注意模块旨在建立特征像素之间相对于局部特征的空间相关性模型。初始，将局部特征映射A∈RC×H×W输入到具有批归一化和ReLU层的卷积层中，得到3个新的特征映射B、C和D({B,C,D∈RC×H×W})。这些新特征被重新构造为RC×N，其中N＝H×W为像素个数。随后，B将被转置并乘以C。空间注意映射S可以在一个由公式(1)定义的softmax层中计算。根据尺度参数α，原始特征图A∈RC×H×W，以及公式(2)给出的空间注意映射S的转置，可以得到最终输出E∈RC×H×W。
其中，Sji是第i个像素对第j个像素的影响，α是一个尺度参数，在训练过程中逐渐从0学习一个权值，N是像素的个数。此外，C为语义类别数，H、W分别为输入图像的高度和宽度。
与像素注意模块类似，通道注意模块试图捕获双通道映射中的远程通道依赖关系。图5展示了通道注意模块的内部结构。通道关注度与像素关注度的明显区别在于通道关注度矩阵的计算，改善特定语义的特征表示。更具体地说，通道注意映射X∈RC×C是直接由原始特征A∈RC×H×W计算而来的，没有经过卷积层，因此，式(1)、(2)可分别修改表示为式(3)、(4)。
其中xji表示第i个通道对第j个通道的影响，β在训练过程中逐渐从0学习一个权值，N表示像素个数。此外，C为语义类别数，H、W分别为输入图像的高度和宽度。
动态卷积与可变形卷积的结构如图6所示。关于动态卷积，与注意力机制不同的是，此处将权值分配给卷积核而不是特征映射。首先，通过全局平均池化层，将特征图x1变换为x2∈RC×1×1，则使用1×1卷积核降维，得到p∈RN×1×1，其中N为卷积核的个数，提前定义为超参数，其数量可以根据具体任务进行设置。将获得的系数p分别乘以N个卷积核，然后将N个卷积核的权重求和以生成动态卷积核。如此，可以通过动态聚合从N个卷积核中得到最具代表性的卷积核。卷积核的权值定义为：
其中，pi是p的第i个系数，0≤pi≤1，convi是第i个卷积核的权重。
关于可变形卷积，其结构如图6所示。可变形卷积是指在标准卷积操作中引入了一个偏移量offset，使得卷积核能够在训练过程中扩展到更大的范围，并且能够适应不同尺度、长宽比和旋转的变换。可变形卷积的采样方式和标准卷积的采样方式有所不同，采样点的位置会随着偏移量的变化而改变。通过对比标准卷积和可变形卷积，可以看到可变形卷积的采样位置更符合物体本身的形状和尺寸，而标准卷积的形式则不能做到这一点。因此，可变形卷积在一些特定的应用中能够提供更好的性能和效果。
4)SSDG-Seg模型损失：
本发明采用了监督损失Ls，consistency loss(Lsemi)和对抗性损失Ladv1，Ladv2。本发明通过交替训练实现生成对抗学习。首先，将缺陷图像输入到分割网络中，得到分割预测图；然后，将输出的特征映射和相应的原始缺陷图像输入到判别器网络中。判别器主要评价分割结果的质量，0表示分割结果质量差，1表示分割结果质量好。在分割网络G的训练中，鼓励分割网络对未标记数据产生高质量的分割结果xu，目的在于确保结果竟可能接近1。在判别器网络的训练过程中，鼓励判别器尽可能区分出不同的输入。因此，分割网络G和判别器D1、D2的优化目标函数定义如式(6)所示。
其中，θ表示待优化参数。交替训练分割网络与判别器网络。分割网络的目标函数LG(θ)定义如式(7)。
其中，Ls(g)表示监督损失，Ls(g)＝Lce(g)+Ldice(g)，Lce(g)是交叉熵损失，Ldice(g)是骰子损失。Lsemi(g)是MSELoss，Ladv1(g)和Ladv2(g)都是二元交叉熵损失。yi是对应于输入xi的标签，xu是经过扰动πi的未标记数据。πi表示随机高斯噪声。和/>分别表示标记数据和未标记数据的分割结果。/>是G2的预测结果，λ为加权系数。并且λ是一条高斯递增曲线，其中I代表训练次数。
在训练模型的早期，λ的之很小，网络的更新主要依赖于监督损失。因此，在模型训练的早期阶段，主要依靠标注数据进行训练。随着训练的进行，λ的值不断增加，网络可以获得可靠的分割结果，并对为标记数据生成分割结果。这是由于其他损失函数开始起作用。判别器尽力区分分割网络的输出。
判别器D1和D2的目标函数分别如式(8)和(9)所示。
其中xi、xema分别表示标记数据和无标记数据。
G2的参数是G1参数的EMA累积。G2保留了G1的历史信息，可以为无标记数据生成更高质量的分割结果。当前G2的参数θ′t定义如式(10)。
θ′t＝ηθ′t-1+(1-η)θt (10)
其中，参数θ′t-1是G2的历史累积。θt是G1的权重。η是平滑系数的超参数，其确定G1和G2之间的依赖关系。根据经验，当η＝0.999时，网络的性能最佳。
S4缺陷检测性能评估：将测试的部分缺陷图像获得的预测掩膜与真实标签送入评估网络，根据Dice系数(DI)、Jaccard index(JI)、像素准确率(Pixelwise Accuraccy,PA)、Sensitivity(SE)、Specificity(SP)、分类准确率(PR)和查全率(Recall)以确定缺陷检测的性能。上述七个指标的数值越高，说明模型的缺陷检测性能越好。
步骤S4中，SSDG-Seg模型采用了Dice系数(DI)、Jaccard index(JI)、像素准确率(Pixelwise Accuraccy,PA)、Sensitivity(SE)、Specificity(SP)、分类准确率(PR)和查全率(Recall,RE)作为模型缺陷检测性能的评估指标。DI、JI、PA、SE、SP、AC、RE七个指标的取值范围都是0～1。因此，DI、JI、PA、SE、SP、AC、RE七个指标的值越高，表明分割结果越好，模型的缺陷检测性能越优秀。上述七个评估指标的定义如式(11)到(17)所示。
其中，TP、TN、FP、FN分别表示真阳性、真阴性、假阳性和假阴性的数量。
综上所述，分割网络与判别网络通过博弈共同促进。当判别器不能区分分割结果与真值标签时，分割网络对标记数据、为标记数据和不同扰动下的数据具有较高的分割质量。这种生成对抗学习方法可以有效地利用未标记数据来提高预测伪标记的质量。
图8展示了SSGD-Seg模型的表面缺陷检测流程(以绝缘隔板表面缺陷图像数据集为例)。
本发明的有益效果如下：
针对现实表面缺陷检测任务中，神经网络的训练需要大量的标记数据，这需要耗费大量的人力物力成本。本发明提出了基于生成对抗模型的半监督缺陷检测方法，该方法只需标记10％的训练数据，通过训练就可以实现优秀的缺陷检测性能，这大大节省了人工成本。针对在训练中，网络容易出现过拟合并且小且弱的目标分割效果差的问题。本发明在网络中加入了DDBAC模块，通过引入双注意力机制、动态卷积和可变形卷积，大大缓解了网络过拟合的问题，提升了网络特征提取的能力，大大提升了小且弱目标缺陷的检测能力。最终，本发明提出的SSGD-Seg模型实现了半监督缺陷检测，大大节约了人工标注数据的成本，并且实现了卓越的缺陷检测性能。
本发明的半监督缺陷检测方法集成了深度学习、生成对抗思想、注意力机制和改进卷积等先进技术，使网络仅需少量标记数据和大量无标记数据就可以实现卓越的缺陷检测性能。改发明提出的DDBAC模块基于双注意力机制、动态卷积和可变形卷积，大大缓解了网络训练过拟合的问题，并提升了网络对小且弱缺陷目标的特征提取能力。SSDG-Seg模型可以应用于广泛的表面缺陷检测任务中，具有不俗的鲁棒性与泛华性。该发明为保障工业生产的正常进行和生产企业对产品的质量把控有着积极意义。
以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于半监督生成对抗分割模型的表面缺陷检测方法，其特征在于，具体包括以下步骤：
构建SSGD-Seg模型；所述SSGD-Seg模型包括第一生成器G1和第二生成器G2，第一判别器D1和第二判别器D2；
所述第一生成器G1和第二生成器G2均采用改进的Unet3+作为网络主体，所述第一生成器G1用于学习标记数据和未标记数据的特征，输出标记数据和未标记数据的分割置信映射，所述第二生成器G2从所述第一生成器G1中获得训练参数，只使用未标记数据进行训练，获得未标记数据的分割置信映射；
所述第一判别器D1和第二判别器D2均由卷积层、DDBAC模块和全局平均池化层组成，所述第一判别器D1用于学习标记数据和未标记数据输出的分割置信映射之间的差异，所述第二判别器D2用于学习未标记数据中扰动数据和未扰动数据的区别；
所述DDBAC模块由双通道注意力机制、动态卷积和可变形卷积构成；
所述双通道注意力机制由像素注意力模块和信道注意力模块组成；所述像素注意力模块用于建立特征像素之间相对于局部特征的空间相关性模型；所述信道注意力模块用于捕获双通道映射中的远程通道依赖关系；
数据集准备及预处理；
基于预处理后的数据训练SSGD-Seg模型；
采用训练后的所述SSGD-Seg模型对待检测物品进行缺陷检测。
2.根据权利要求1所述的基于半监督生成对抗分割模型的表面缺陷检测方法，其特征在于，所述数据集准备及预处理具体为：
采集大量的表面缺陷图像，统一缺陷图像的分辨率和格式，构建缺陷图像数据集；
将所述缺陷图像数据集按照8:1:1的比例划分为训练集、验证集和测试集；
使用标注软件标注训练集中10%的缺陷图像。
3.根据权利要求1所述的基于半监督生成对抗分割模型的表面缺陷检测方法，其特征在于，训练SSGD-Seg模型具体为：
将预处理后的数据集送入所述SSGD-Seg模型进行数据扩充并训练，设置训练参数，训练时每隔规定的训练次数即保存一次分割模型并进行验证；在训练完成后，选出训练中最佳的分割模型，然后用测试集进行测试。
4.根据权利要求3所述的基于半监督生成对抗分割模型的表面缺陷检测方法，其特征在于，
所述训练参数包括学习率，迭代次数和梯度下降优化算法。
5.根据权利要求1所述的基于半监督生成对抗分割模型的表面缺陷检测方法，其特征在于，所述方法采用了Dice系数、Jaccard index、像素准确率、Sensitivity、Specificity、分类准确率和查全率作为所述SSGD-Seg模型缺陷检测性能的评估指标。
6.一种基于半监督生成对抗分割模型的表面缺陷检测系统，其特征在于，所述系统包括：
建模单元，用于构建SSGD-Seg模型；所述SSGD-Seg模型包括第一生成器G1和第二生成器G2，第一判别器D1和第二判别器D2；
所述第一生成器G1和第二生成器G2均采用改进的Unet3+作为网络主体，所述第一生成器G1用于学习标记数据和未标记数据的特征，输出标记数据和未标记数据的分割置信映射，所述第二生成器G2从所述第一生成器G1中获得训练参数，只使用未标记数据进行训练，获得未标记数据的分割置信映射；
所述第一判别器D1和第二判别器D2均由卷积层、DDBAC模块和全局平均池化层组成，所述第一判别器D1用于学习标记数据和未标记数据输出的分割置信映射之间的差异，所述第二判别器D2用于学习未标记数据中扰动数据和未扰动数据的区别；
所述DDBAC模块由双通道注意力机制、动态卷积和可变形卷积构成；
所述双通道注意力机制由像素注意力模块和信道注意力模块组成；所述像素注意力模块用于建立特征像素之间相对于局部特征的空间相关性模型；所述信道注意力模块用于捕获双通道映射中的远程通道依赖关系；
数据处理单元，用于进行数据准备及预处理；
训练单元，用于基于预处理后的数据训练SSGD-Seg模型；
检测单元，用于采用训练后的所述SSGD-Seg模型对待检测物品进行缺陷检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311182597.1A CN117197095B (zh) | 2023-09-14 | 2023-09-14 | 基于半监督生成对抗分割模型的表面缺陷检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311182597.1A CN117197095B (zh) | 2023-09-14 | 2023-09-14 | 基于半监督生成对抗分割模型的表面缺陷检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197095A CN117197095A (zh) | 2023-12-08 |
| CN117197095B true CN117197095B (zh) | 2024-04-16 |
Family
ID=88986603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311182597.1A Active CN117197095B (zh) | 2023-09-14 | 2023-09-14 | 基于半监督生成对抗分割模型的表面缺陷检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197095B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340791A (zh) * | 2020-03-02 | 2020-06-26 | 浙江浙能技术研究院有限公司 | 一种基于gan改进算法的光伏组件无监督缺陷检测方法 |
| CN112950561A (zh) * | 2021-02-22 | 2021-06-11 | 中国地质大学（武汉） | 光纤端面缺陷检测方法、设备及存储介质 |
| CN113436169A (zh) * | 2021-06-25 | 2021-09-24 | 东北大学 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 |
| CN114049309A (zh) * | 2021-10-26 | 2022-02-15 | 广州大学 | 基于半监督网络的图像缺陷检测方法、装置和存储介质 |
| CN114998258A (zh) * | 2022-06-01 | 2022-09-02 | 北京邮电大学 | 一种基于重平衡的半监督产品表面缺陷检测方法及其系统 |
| CN115526864A (zh) * | 2022-09-30 | 2022-12-27 | 郑州轻工业大学 | 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 |
| CN116071352A (zh) * | 2023-03-06 | 2023-05-05 | 四川轻化工大学 | 一种电力安全工器具表面缺陷图像的生成方法 |
| US11645836B1 (en) * | 2022-06-30 | 2023-05-09 | Intuit Inc. | Adversarial detection using discriminator model of generative adversarial network architecture |
| CN116152209A (zh) * | 2023-02-27 | 2023-05-23 | 中国地质大学（武汉） | 一种耳机罩缺陷检测方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230154007A1 (en) * | 2021-11-15 | 2023-05-18 | Elekta Limited | Few-shot semantic image segmentation using dynamic convolution |
-
2023
- 2023-09-14 CN CN202311182597.1A patent/CN117197095B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340791A (zh) * | 2020-03-02 | 2020-06-26 | 浙江浙能技术研究院有限公司 | 一种基于gan改进算法的光伏组件无监督缺陷检测方法 |
| CN112950561A (zh) * | 2021-02-22 | 2021-06-11 | 中国地质大学（武汉） | 光纤端面缺陷检测方法、设备及存储介质 |
| CN113436169A (zh) * | 2021-06-25 | 2021-09-24 | 东北大学 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 |
| CN114049309A (zh) * | 2021-10-26 | 2022-02-15 | 广州大学 | 基于半监督网络的图像缺陷检测方法、装置和存储介质 |
| CN114998258A (zh) * | 2022-06-01 | 2022-09-02 | 北京邮电大学 | 一种基于重平衡的半监督产品表面缺陷检测方法及其系统 |
| US11645836B1 (en) * | 2022-06-30 | 2023-05-09 | Intuit Inc. | Adversarial detection using discriminator model of generative adversarial network architecture |
| CN115526864A (zh) * | 2022-09-30 | 2022-12-27 | 郑州轻工业大学 | 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 |
| CN116152209A (zh) * | 2023-02-27 | 2023-05-23 | 中国地质大学（武汉） | 一种耳机罩缺陷检测方法、装置、设备及存储介质 |
| CN116071352A (zh) * | 2023-03-06 | 2023-05-05 | 四川轻化工大学 | 一种电力安全工器具表面缺陷图像的生成方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于增强型超分辨率生成对抗网络的文物图像色彩重建;周小力等;《无线电工程》;20221228;第53卷(第01期);220-229 * |
| 表面缺陷检测的弱监督深度学习方法;吴启荣;《中国优秀硕士学位论文全文数据库》;20230615(第06期);I138-59 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197095A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108171209B (zh) | 一种基于卷积神经网络进行度量学习的人脸年龄估计方法 | |
| CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
| CN114092832A (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
| CN111783841A (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
| CN111738363A (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN110657984A (zh) | 一种基于强化胶囊网络的行星齿轮箱故障诊断方法 | |
| CN108877947A (zh) | 基于迭代均值聚类的深度样本学习方法 | |
| CN114708637A (zh) | 一种基于元学习的人脸动作单元检测方法 | |
| CN114266321A (zh) | 一种基于无约束先验信息模式的弱监督模糊聚类算法 | |
| CN114463340A (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
| CN114357372A (zh) | 一种基于多传感器数据驱动的飞机故障诊断模型生成方法 | |
| CN117197095B (zh) | 基于半监督生成对抗分割模型的表面缺陷检测方法和系统 | |
| CN112101659A (zh) | 一种基于堆叠去噪自编码器的复杂装备寿命预测方法 | |
| CN109934248B (zh) | 一种针对迁移学习的多模型随机生成与动态自适应组合方法 | |
| CN115064207B (zh) | 蛋白质亚细胞定位的空间蛋白质组学深度学习预测方法 | |
| CN114937154B (zh) | 一种基于递归解码器的显著性检测方法 | |
| CN115661539A (zh) | 一种嵌入不确定性信息的少样本图像识别方法 | |
| CN112348700B (zh) | 一种结合som聚类与ifou方程的线路容量预测方法 | |
| Hu et al. | Research on the fault identification method of oil pumping unit based on residual network | |
| CN108304546B (zh) | 一种基于内容相似度和Softmax分类器的医学图像检索方法 | |
| CN113344005A (zh) | 一种基于优化小尺度特征的图像边缘检测方法 | |
| Amalia et al. | The Application of Modified K-Nearest Neighbor Algorithm for Classification of Groundwater Quality Based on Image Processing and pH, TDS, and Temperature Sensors | |
| Wang | A new variable selection method for soft sensor based on deep learning | |
| Liu | Artificial Intelligence-based Image and Data Analysis in the Industrial Internet in Digital Economy Era | |
| Chen | Brain Tumor Prediction with LSTM Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |