CN113436169A - 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 - Google Patents
一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 Download PDFInfo
- Publication number
- CN113436169A CN113436169A CN202110711857.4A CN202110711857A CN113436169A CN 113436169 A CN113436169 A CN 113436169A CN 202110711857 A CN202110711857 A CN 202110711857A CN 113436169 A CN113436169 A CN 113436169A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- gnet
- semi
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 84
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 64
- 230000007547 defect Effects 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 41
- 230000007246 mechanism Effects 0.000 claims description 21
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 230000008014 freezing Effects 0.000 claims description 6
- 238000007710 freezing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012047 cause and effect analysis Methods 0.000 claims description 3
- 238000012043 cost effectiveness analysis Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 13
- 230000009467 reduction Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于半监督语义分割的工业设备表面裂纹检测方法及系统。本发明包括如下步骤：获取设备表面带裂纹的原始图片，进行像素级别的缺陷标注；将原始图片输入进深度卷积生成对抗网络进行训练，获得不带标签训练集；构建半监督语义分割网络SE‑Net，将带标签训练集和不带标签训练集输入进SE‑Net进行监督学习与无监督学习相结合的训练；生成器生成裂纹分割图像，鉴别器SE‑DNet对分割结果进行鉴别，判断输入属于标记图像还是SE‑GNet生成的图像；将待检测样本图像输入到训练好的SE‑GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。本发明在工业设备裂纹数据集不充足的情况下，显著提高了网络的拟合能力，减轻了人工标注工作量。
Description
技术领域
本发明涉及工业设备表面裂纹检测技术领域，尤其涉及一种基于半监督语义分割的工业设备表面裂纹检测方法及系统。
背景技术
工业设备表面一旦出现裂纹，将会直接影响设备运转的整体性能，进而引发各种安全隐患，所以工业设备的质量检测是工业生产中不容忽视的一个重要环节。通常情况下，工业设备的质量检测由人工培训来识别复杂的表面缺陷，然而，这种检测方式非常耗时、低效，严重制约了生产效率的提升，因此找到一种在保证检测结果准确率的基础上提升检测速度的方法就显得尤为重要。
目前深度学习方法已经成为计算机视觉领域最常用的方法，其中基于数字图像处理的语义分割技术由于具有人工成本低和检测结果稳定可靠等特点，被广泛地应用于缺陷检测领域，例如带钢的表面缺陷识别等。通过设计包含多个卷积层的卷积神经网络，网络可以处理具有复杂纹理特征的工件图像。将其代替传统计算机视觉算法作为系统的图像处理算法，系统的工件缺陷检测能力将得到极大地提高。
由于图像处理手段在工业设备中的限制，即深度学习技术依赖于大量的数据训练模型保证结果的精度，而目前工业领域能获取的裂纹样本数量有限就成为了一大问题；同时裂纹的小目标问题及检测模型的实时性问题，也是目前语义分割检测技术面临的挑战。
发明内容
根据上述提出的技术问题，而提供一种基于半监督语义分割的工业设备表面裂纹检测方法及系统。本发明提供一种基于半监督语义分割模型进行工业设备表面裂纹检测的方法，使用传统监督学习和无监督学习相结合的方式，在带标记数据集有限的情况下，使用自学习机制训练带masked交叉熵损失的分割网络，不仅能够克服小目标问题和实时性问题对工业设备裂纹检测的影响，而且还能够提高缺陷诊断精度。本发明采用的技术手段如下：
一种基于半监督语义分割的工业设备表面裂纹检测方法，包括如下步骤：
获取工业设备裂纹图像，获得原始数据集；
训练深度卷积生成对抗网络，利用训练好的生成器Aug-GNet生成高质量裂纹图像，获得扩增图像数据集；
将原始数据集和扩增图像数据集共同输入到半监督语义分割网络SE-Net，使用传统监督学习和无监督学习相结合的方式进行裂纹检测。
具体包括如下步骤：
步骤1、获取设备表面带裂纹的原始图片，进行像素级别的缺陷标注，获得带标签训练集；
步骤2、将原始图片输入进深度卷积生成对抗网络进行训练，所述深度卷积生成对抗网络包括生成器Aug-GNet和鉴别器Aug-DNet，利用训练好的生成器Aug-GNet生成预设数量的高质量裂纹图像，随机划分为训练样本和待检测样本，获得用以进行无监督学习的不带标签训练集；
步骤3、构建半监督语义分割网络SE-Net，将带标签训练集和不带标签训练集输入进SE-Net进行监督学习与无监督学习相结合的训练；基于GAN网络的生成对抗思想，生成器替换为语义分割缺陷检测模型SE-GNet，生成裂纹分割图像，鉴别器SE-DNet对分割结果进行鉴别，判断输入属于标记图像还是SE-GNet生成的图像；
步骤4、将待检测样本图像输入到训练好的SE-GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。
进一步地，所述步骤1中，通过工业相机采集设备表面带裂纹的原始图片，使用标注软件LabelMe对原始图片进行标注，形成相对应的PNG标注图像，并将原始图像与标注图像分别保存在目标文件夹的Image文件夹和Label文件夹。
进一步地，所述步骤2中，生成器Aug-GNet和鉴别器Aug-DNet部分分别引入注意力机制。
进一步地，Aug-GNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第四层和第五层反卷积层之间，捕获图像中存在的长距离空间关系；输入为100维随机噪声，反卷积步长为2，经过5层反卷积层后得到固定分辨率的裂纹图像；
Aug-DNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第一层和第二层卷积层之间，卷积步长为2，全0填充，输入大小为128*128*3的裂纹图像，经过最后的全连接层得到一维结果输出，结果为0对应图像来源为生成的扩增图像，结果为1对应真实裂纹图像。
进一步地，所述半监督语义分割网络SE-Net的训练采用交替训练的方式；
步骤31、首先冻结SE-GNet网络参数，训练鉴别器SE-DNet，输入为标签图像或者SE-GNet生成图像，SE-DNet网络仅包含卷积层，批归一化层及Leaky ReLu激活函数层，输出层采用sigmoid激活函数将输出结果范围限制在(0，1)之间，输出结果的特征图大小与SE-GNet最后一层的特征图尺寸相匹配，通道数为1；
将原始图像输入到SE-GNet得到缺陷分割生成图，然后输入到SE-DNet中，计算损失函数时标签为0；
SE-DNet的损失函数如公式(1)所示：
其中，X表示裂纹原图，Y表示标记图像，G(.)表示SE-GNet最后一层输出的分割图像，D(.)表示SE-DNet输出的置信图，y表示平衡权重，i表示图像像素点的位置，N表示图像的像素总数；
步骤32、训练完SE-DNet之后，冻结其网络参数，开始训练生成器SE-Gnet，SE-GNet分割网络采用CS-ESP轻量化模型作为基础网络；
SE-GNet生成网络输入带标签数据集进行监督学习，输出分割结果，调整标签图像尺寸与分割结果一一对应，以进行交叉损失函数的计算，其中监督学习方式损失函数分为以下两个部分：
Lseg-super＝LCE+Ladv，其中标签图像的交叉熵损失函数LCE的计算如公式(2)所示，
其中，N(G)为边网输出的总像素个数；YG,i表示one-hot编码对应的数值，1表示裂纹部分，0表示背景；G表示SE-GNet的边网输出；
SE-DNet输出的置信图对SE-GNet网络的反向传播损失函数Ladv的计算如公式(3)所示，
SE-GNet生成网络输入无标签数据集进行无监督学习方式，SE-GNet最后一层的输出结果进行softmax函数激活后，计算输出中各通道每一个像素位置上，取值最大的那个对应的通道值标为1，用以表示裂纹，另一通道对应数值为0，表示背景，SE-DNet网络输出的置信图作为监督信号反过来训练SE-GNet网络，与SE-GNet网络最后一层输出的结果进行交叉熵损失函数计算；
整个损失函数分为两部分，Lseg-semi＝Ladv+Lsemi，Lsemi如公式(4)所示，其中Tsemi表示自学习的阈值，当SE-DNet输出值大于设置的阈值时，I(.)判定为1，表示判断输入来源于标记图像，反之判别为0，表示来自于SE-GNet网络分割结果；当
c*＝argmaxcG(Xn)(h,w,c)时
其余值为0
本发明还公开一种基于半监督语义分割的工业设备表面裂纹检测系统，包括：
图像采集模块，用于获取设备表面带裂纹的原始图片；
缺陷标注模块，用于对原始图片进行缺陷标注，获得标签训练集；
训练数据集和测试数据集构建模块，用于通过深度卷积生成对抗网络生成预设数量的高质量裂纹图像，作为不带标签训练集；
半监督语义分割网络训练模块，用于通过标签训练集和不带标签训练集对半监督语义分割网络进行训练；
损失函数构建模块，用于结合监督学习和无监督学习构建损失函数；
裂纹检测模块，用于将待检测样本图像输入到训练好的SE-GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。
本发明设计的分割模型使用交替训练的方式，以GAN网络作为基础网络，先利用带标签图像和生成图像训练鉴别器，使得模型具有可以分辨输入图像来源的能力，接着训练生成器，即裂纹分割网络。使用传统监督学习和无监督学习相结合的方式，将分割网络中对未标记图像进行初始分割预测，通过判别网络对分割预测进行传递，得到一个置信图，最后将这个置信图作为监督信号，使用自学机制训练带masked交叉熵损失的分割网络。本发明利用轻量化模型作为半监督语义分割模型的基础网络，大幅度提升了模型的效率，同时引入注意力机制和多尺度损失函数的计算，在模型效率提升的基础上保证了分割精度。
与现有技术相比，本发明提出的半监督学习模型，在工业设备裂纹数据集不充足的情况下，显著提高了网络的拟合能力，减轻了人工标注工作量；网络框架使用轻量化模型作为分割网络，比传统的裂纹检测方法所需的参数量更少，在保证准确度的前提下极大提升模型的效率；分割模型中添加了注意力机制，可以改善轻量化模型在参数减少和FLOPs降低的同时引起的精度下降的现象；将标签图像进行尺度变换，与分割模型输出的各阶段特征图大小对应，通过采集不同网络层的输出特性图共同进行损失函数的计算，大幅度提升模型的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中半监督语义分割的工业设备表面裂纹检测方法结构示意图。
图2为本发明实施例中基于DCGAN网络进行数据集扩增的整体网络结构图。
图3为本发明实施例中基于DCGAN网络进行数据集扩增生成网络Aug-DNet结构图。
图4为本发明实施例中基于DCGAN网络进行数据集扩增判别网络Aug-GNet结构图。
图5为本发明实施例中基于DCGAN网络进行数据集扩增引入的注意力机制结构图。
图6为本发明实施例中基于半监督语义分割方法进行裂纹检测的生成式分割网络结构图SE-GNet。
图7为本发明实施例中改进的轻量化模型CS-ESP(channel and spatial-efficient spatial pyramid)网络结构图。
图8为本发明实施例中基于半监督语义分割模型进行监督学习训练SE-GNet示意图。
图9为本发明实施例中基于半监督语义分割模型进行无监督学习训练SE-GNet示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例公开了一种基于半监督语义分割的工业设备表面裂纹检测方法，包括如下步骤：
获取工业设备裂纹图像，获得原始数据集；
训练深度卷积生成对抗网络，利用训练好的生成器Aug-GNet生成高质量裂纹图像，获得扩增图像数据集；
将原始数据集和扩增图像数据集共同输入到半监督语义分割网络SE-Net，使用传统监督学习和无监督学习相结合的方式进行裂纹检测。
图1所示为本发明提供的一种基于半监督语义分割的工业设备表面裂纹检测方法结构示意图，具体包括如下步骤：
步骤1、获取设备表面带裂纹的原始图片，进行像素级别的缺陷标注，将原始裂纹图像及其对应的标注信息作为带标签训练集进行监督训练，获得带标签训练集；
具体地，通过工业相机采集设备表面带裂纹的原始图片，使用标注软件LabelMe对原始图片进行标注，形成相对应的PNG标注图像，并将原始图像与标注图像分别保存在目标文件夹的Image文件夹和Label文件夹。
步骤2、如图2所示，将原始图片输入进深度卷积生成对抗网络(DCGAN)进行训练，所述深度卷积生成对抗网络包括生成器Aug-GNet和鉴别器Aug-DNet(DCGAN网络有生成器Aug-GNet和判别器Aug-DNet两部分，生成器生成假图像然后判别器进行鉴别，随着训练的进行，生成器的假图像越接近真实样本，判别器也越难分辨真伪)，Aug-GNet和Aug-DNet分别如图3与图4所示。利用训练好的生成器Aug-GNet生成预设数量的高质量裂纹图像，随机划分为训练样本和待检测样本，获得用以进行无监督学习的不带标签训练集；
本实施例中，所述步骤2中，生成器Aug-GNet和鉴别器Aug-DNet部分分别引入注意力机制CA(Coordinate Attention)。如图5所示。将通道注意力分解为两个1维特征编码过程，分别沿2个空间方向聚合特征，一个空间方向捕获远程依赖关系，另一空间方向保留精确的位置信息，通过二者的互补关系增强关注对象的表示能力。
Aug-GNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第四层和第五层反卷积层之间，捕获图像中存在的长距离空间关系；输入为100维随机噪声，反卷积步长为2，经过5层反卷积层后得到固定分辨率的裂纹图像；
Aug-DNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第一层和第二层卷积层之间，卷积步长为2，全0填充，输入大小为128*128*3的裂纹图像，经过最后的全连接层得到一维结果输出，结果为0对应图像来源为生成的扩增图像，结果为1对应真实裂纹图像。
步骤3、构建半监督语义分割网络SE-Net，将带标签训练集和不带标签训练集输入进SE-Net进行监督学习与无监督学习相结合的训练；基于GAN网络的生成对抗思想，生成器替换为语义分割缺陷检测模型SE-GNet，生成裂纹分割图像，鉴别器SE-DNet对分割结果进行鉴别，判断输入属于标记图像还是SE-GNet生成的图像；
所述半监督语义分割网络SE-Net的训练采用交替训练的方式；
步骤31、首先冻结SE-GNet网络参数，训练鉴别器SE-DNet，输入为标签图像或者SE-GNet生成图像，SE-DNet网络仅包含卷积层，批归一化层及Leaky ReLu激活函数层，输出层采用sigmoid激活函数将输出结果范围限制在(0，1)之间，输出结果的特征图大小与SE-GNet最后一层的特征图尺寸相匹配，通道数为1；
当使用标签图像训练SE-DNet网络时，输出结果应尽可能接近1；将原始图像输入到SE-GNet得到缺陷分割生成图，然后输入到SE-DNet中，计算损失函数时标签为0；
SE-DNet的损失函数如公式(1)所示：
其中，X表示裂纹原图，Y表示标记图像，G(.)表示SE-GNet最后一层输出的分割图像，D(.)表示SE-DNet输出的置信图，y表示平衡权重，i表示图像像素点的位置，N表示图像的像素总数；
步骤32、如图6所示，训练完SE-DNet之后，冻结其网络参数，开始训练生成器SE-Gnet，SE-GNet分割网络采用CS-ESP(channel and spatial-efficient spatial pyramid)轻量化模型作为基础网络，每一层的1*1卷积操作使得特征图输出为2通道，确保可以鉴别裂缝和背景。引入空间注意力及通道注意力机制以改善轻量化模型在参数减少和FLOPs降低的同时引起的精度下降的现象，如图7所示为CS-ESP的具体结构图。；
SE-GNet生成网络输入带标签数据集进行监督学习，如图8所示，输出四种尺度的分割结果，调整标签图像尺寸与分割结果一一对应，以进行交叉损失函数的计算，其中监督学习方式损失函数分为以下两个部分：
Lseg-super＝LCE+Ladv，其中标签图像的交叉熵损失函数LCE的计算如公式(2)所示，
其中，N(G)为边网输出的总像素个数；YG,i表示one-hot编码对应的数值，1表示裂纹部分，0表示背景；G表示SE-GNet的边网输出；
SE-DNet输出的置信图对SE-GNet网络的反向传播损失函数Ladv的计算如公式(3)所示，
SE-GNet生成网络输入无标签数据集进行无监督学习方式，如图9所示，SE-GNet最后一层的输出结果进行softmax函数激活后，计算输出中各通道每一个像素位置上，取值最大的那个对应的通道值标为1，用以表示裂纹，另一通道对应数值为0，表示背景，SE-DNet网络输出的置信图作为监督信号反过来训练SE-GNet网络，与SE-GNet网络最后一层输出的结果进行交叉熵损失函数计算；
整个损失函数分为两部分，Lseg-semi＝Ladv+Lsemi，Lsemi如公式(4)所示，其中Tsemi表示自学习的阈值，当SE-DNet输出值大于设置的阈值时，I(.)判定为1，表示判断输入来源于标记图像，反之判别为0，表示来自于SE-GNet网络分割结果；当
c*＝argmaxcG(Xn)(h,w,c)时
其余值为0
步骤4、将待检测样本图像输入到训练好的SE-GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。
本发明还公开一种基于半监督语义分割的工业设备表面裂纹检测系统，包括：
图像采集模块，用于获取设备表面带裂纹的原始图片；
缺陷标注模块，用于对原始图片进行缺陷标注，获得标签训练集；
训练数据集和测试数据集构建模块，用于通过深度卷积生成对抗网络生成预设数量的高质量裂纹图像，作为不带标签训练集；
半监督语义分割网络训练模块，用于通过标签训练集和不带标签训练集对半监督语义分割网络进行训练；
损失函数构建模块，用于结合监督学习和无监督学习构建损失函数；
裂纹检测模块，用于将待检测样本图像输入到训练好的SE-GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于半监督语义分割的工业设备表面裂纹检测方法，包括如下步骤：
获取工业设备裂纹图像，获得原始数据集；
训练深度卷积生成对抗网络，利用训练好的生成器Aug-GNet生成高质量裂纹图像，获得扩增图像数据集；
将原始数据集和扩增图像数据集共同输入到半监督语义分割网络SE-Net，使用传统监督学习和无监督学习相结合的方式进行裂纹检测。
2.根据权利要求1所述的一种基于半监督语义分割的工业设备表面裂纹检测方法，其特征在于，具体包括如下步骤：
步骤1、获取设备表面带裂纹的原始图片，进行像素级别的缺陷标注，获得带标签训练集；
步骤2、将原始图片输入进深度卷积生成对抗网络进行训练，所述深度卷积生成对抗网络包括生成器Aug-GNet和鉴别器Aug-DNet，利用训练好的生成器Aug-GNet生成预设数量的高质量裂纹图像，随机划分为训练样本和待检测样本，获得用以进行无监督学习的不带标签训练集；
步骤3、构建半监督语义分割网络SE-Net，将带标签训练集和不带标签训练集输入进SE-Net进行监督学习与无监督学习相结合的训练；基于GAN网络的生成对抗思想，生成器替换为语义分割缺陷检测模型SE-GNet，生成裂纹分割图像，鉴别器SE-DNet对分割结果进行鉴别，判断输入属于标记图像还是SE-GNet生成的图像；
步骤4、将待检测样本图像输入到训练好的SE-GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。
3.根据权利要求2所述的基于半监督语义分割的工业设备表面裂纹检测方法，其特征在于，所述步骤1中，通过工业相机采集设备表面带裂纹的原始图片，使用标注软件LabelMe对原始图片进行标注，形成相对应的PNG标注图像，并将原始图像与标注图像分别保存在目标文件夹的Image文件夹和Label文件夹。
4.根据权利要求3所述的基于半监督语义分割的工业设备表面裂纹检测方法，所述步骤2中，生成器Aug-GNet和鉴别器Aug-DNet部分分别引入注意力机制。
5.根据权利要求4所述的基于半监督语义分割的工业设备表面裂纹检测方法，Aug-GNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第四层和第五层反卷积层之间，捕获图像中存在的长距离空间关系；输入为100维随机噪声，反卷积步长为2，经过5层反卷积层后得到固定分辨率的裂纹图像；
Aug-DNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第一层和第二层卷积层之间，卷积步长为2，全0填充，输入大小为128*128*3的裂纹图像，经过最后的全连接层得到一维结果输出，结果为0对应图像来源为生成的扩增图像，结果为1对应真实裂纹图像。
6.根据权利要求5所述的基于半监督语义分割的工业设备表面裂纹检测方法，所述半监督语义分割网络SE-Net的训练采用交替训练的方式；
步骤31、首先冻结SE-GNet网络参数，训练鉴别器SE-DNet，输入为标签图像或者SE-GNet生成图像，SE-DNet网络仅包含卷积层，批归一化层及Leaky ReLu激活函数层，输出层采用sigmoid激活函数将输出结果范围限制在(0，1)之间，输出结果的特征图大小与SE-GNet最后一层的特征图尺寸相匹配，通道数为1；
将原始图像输入到SE-GNet得到缺陷分割生成图，然后输入到SE-DNet中，计算损失函数时标签为0；
SE-DNet的损失函数如公式(1)所示：
其中，X表示裂纹原图，Y表示标记图像，G(.)表示SE-GNet最后一层输出的分割图像，D(.)表示SE-DNet输出的置信图，y表示平衡权重，i表示图像像素点的位置，N表示图像的像素总数；
步骤32、训练完SE-DNet之后，冻结其网络参数，开始训练生成器SE-Gnet，SE-GNet分割网络采用CS-ESP轻量化模型作为基础网络；
SE-GNet生成网络输入带标签数据集进行监督学习，输出分割结果，调整标签图像尺寸与分割结果一一对应，以进行交叉损失函数的计算，其中监督学习方式损失函数分为以下两个部分：
Lseg-super＝LCE+Ladv，其中标签图像的交叉熵损失函数LCE的计算如公式(2)所示，
其中，N(G)为边网输出的总像素个数；YG,i表示one-hot编码对应的数值，1表示裂纹部分，0表示背景；G表示SE-GNet的边网输出；
SE-DNet输出的置信图对SE-GNet网络的反向传播损失函数Ladv的计算如公式(3)所示，
SE-GNet生成网络输入无标签数据集进行无监督学习方式，SE-GNet最后一层的输出结果进行softmax函数激活后，计算输出中各通道每一个像素位置上，取值最大的那个对应的通道值标为1，用以表示裂纹，另一通道对应数值为0，表示背景，SE-DNet网络输出的置信图作为监督信号反过来训练SE-GNet网络，与SE-GNet网络最后一层输出的结果进行交叉熵损失函数计算；
整个损失函数分为两部分，Lseg-semi＝Ladv+Lsemi，Lsemi如公式(4)所示，其中Tsemi表示自学习的阈值，当SE-DNet输出值大于设置的阈值时，I(.)判定为1，表示判断输入来源于标记图像，反之判别为0，表示来自于SE-GNet网络分割结果；当
c*＝argmaxcG(Xn)(h,w,c)时
其余值为0
7.一种基于半监督语义分割的工业设备表面裂纹检测系统，其特征在于，包括：
图像采集模块，用于获取设备表面带裂纹的原始图片；
缺陷标注模块，用于对原始图片进行缺陷标注，获得标签训练集；
训练数据集和测试数据集构建模块，用于通过深度卷积生成对抗网络生成预设数量的高质量裂纹图像，作为不带标签训练集；
半监督语义分割网络训练模块，用于通过标签训练集和不带标签训练集对半监督语义分割网络进行训练；
损失函数构建模块，用于结合监督学习和无监督学习构建损失函数；
裂纹检测模块，用于将待检测样本图像输入到训练好的SE-GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110711857.4A CN113436169B (zh) | 2021-06-25 | 2021-06-25 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110711857.4A CN113436169B (zh) | 2021-06-25 | 2021-06-25 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113436169A true CN113436169A (zh) | 2021-09-24 |
| CN113436169B CN113436169B (zh) | 2023-12-19 |
Family
ID=77754575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110711857.4A Active CN113436169B (zh) | 2021-06-25 | 2021-06-25 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436169B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113947601A (zh) * | 2021-12-20 | 2022-01-18 | 武汉鑫国茂包装有限公司 | 基于半监督学习的塑料制品表面缺陷检测方法及系统 |
| CN113989585A (zh) * | 2021-10-13 | 2022-01-28 | 北京科技大学 | 一种基于多特征融合语义分割的中厚板表面缺陷检测方法 |
| CN114049309A (zh) * | 2021-10-26 | 2022-02-15 | 广州大学 | 基于半监督网络的图像缺陷检测方法、装置和存储介质 |
| CN114359269A (zh) * | 2022-03-09 | 2022-04-15 | 广东工业大学 | 基于神经网络的虚拟食品盒缺陷生成方法及系统 |
| CN114612468A (zh) * | 2022-05-09 | 2022-06-10 | 西南交通大学 | 一种基于正样本的设备外部缺陷检测方法 |
| CN114677346A (zh) * | 2022-03-21 | 2022-06-28 | 西安电子科技大学广州研究院 | 基于记忆信息的端到端的半监督图像表面缺陷的检测方法 |
| CN114897909A (zh) * | 2022-07-15 | 2022-08-12 | 四川大学 | 基于无监督学习的曲轴表面裂纹监测方法及系统 |
| CN115861252A (zh) * | 2022-12-14 | 2023-03-28 | 深圳技术大学 | 一种基于对抗学习策略的半监督医学图像器官分割方法 |
| CN116596930A (zh) * | 2023-07-18 | 2023-08-15 | 吉林大学 | 一种半监督多任务现实图像裂缝检测系统及方法 |
| CN117197095A (zh) * | 2023-09-14 | 2023-12-08 | 四川轻化工大学 | 基于半监督生成对抗分割模型的表面缺陷检测方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876780A (zh) * | 2018-06-26 | 2018-11-23 | 陕西师范大学 | 一种复杂背景下桥梁裂缝图像裂缝检测方法 |
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN109801292A (zh) * | 2018-12-11 | 2019-05-24 | 西南交通大学 | 一种基于生成对抗网络的沥青公路裂缝图像分割方法 |
| CN111080645A (zh) * | 2019-11-12 | 2020-04-28 | 中国矿业大学 | 基于生成式对抗网络的遥感图像半监督语义分割方法 |
| CN111223087A (zh) * | 2020-01-15 | 2020-06-02 | 东南大学 | 一种基于生成对抗网络的桥梁裂缝自动检测方法 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
-
2021
- 2021-06-25 CN CN202110711857.4A patent/CN113436169B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876780A (zh) * | 2018-06-26 | 2018-11-23 | 陕西师范大学 | 一种复杂背景下桥梁裂缝图像裂缝检测方法 |
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN109801292A (zh) * | 2018-12-11 | 2019-05-24 | 西南交通大学 | 一种基于生成对抗网络的沥青公路裂缝图像分割方法 |
| CN111080645A (zh) * | 2019-11-12 | 2020-04-28 | 中国矿业大学 | 基于生成式对抗网络的遥感图像半监督语义分割方法 |
| CN111223087A (zh) * | 2020-01-15 | 2020-06-02 | 东南大学 | 一种基于生成对抗网络的桥梁裂缝自动检测方法 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| GANG LI; JIAN WAN; SHUANHAI HE; QIANGWEI LIU; BIAO MA: "Semi-Supervised Semantic Segmentation Using Adversarial Learning for Pavement Crack Detection", IEEE ACCESS * |
| SEUNGBO SHIM; JIN KIM; GYE-CHUN CHO; SEONG-WON LEE: "Multiscale and Adversarial Learning-Based Semi-Supervised Semantic Segmentation Approach for Crack Detection in Concrete Structures", IEEE ACCESS * |
| YUHUAI PENG; XIANGPENG PAN; SHOUBIN WANG; CHENLU WANG; JING WANG; JINGJING WU: "An Aero-Engine RUL Prediction Method Based on VAE-GAN", 2021 IEEE 24TH INTERNATIONAL CONFERENCE ON COMPUTER SUPPORTED COOPERATIVE WORK IN DESIGN (CSCWD) * |
| 冉蓉;徐兴华;邱少华;崔小鹏;欧阳斌: "基于深度卷积神经网络的裂纹检测方法综述", 计算机工程与应用 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989585A (zh) * | 2021-10-13 | 2022-01-28 | 北京科技大学 | 一种基于多特征融合语义分割的中厚板表面缺陷检测方法 |
| CN113989585B (zh) * | 2021-10-13 | 2022-08-26 | 北京科技大学 | 一种基于多特征融合语义分割的中厚板表面缺陷检测方法 |
| CN114049309A (zh) * | 2021-10-26 | 2022-02-15 | 广州大学 | 基于半监督网络的图像缺陷检测方法、装置和存储介质 |
| CN113947601B (zh) * | 2021-12-20 | 2022-03-22 | 武汉鑫国茂包装有限公司 | 基于半监督学习的塑料制品表面缺陷检测方法及系统 |
| CN113947601A (zh) * | 2021-12-20 | 2022-01-18 | 武汉鑫国茂包装有限公司 | 基于半监督学习的塑料制品表面缺陷检测方法及系统 |
| CN114359269A (zh) * | 2022-03-09 | 2022-04-15 | 广东工业大学 | 基于神经网络的虚拟食品盒缺陷生成方法及系统 |
| CN114677346B (zh) * | 2022-03-21 | 2024-04-05 | 西安电子科技大学广州研究院 | 基于记忆信息的端到端的半监督图像表面缺陷的检测方法 |
| CN114677346A (zh) * | 2022-03-21 | 2022-06-28 | 西安电子科技大学广州研究院 | 基于记忆信息的端到端的半监督图像表面缺陷的检测方法 |
| CN114612468A (zh) * | 2022-05-09 | 2022-06-10 | 西南交通大学 | 一种基于正样本的设备外部缺陷检测方法 |
| CN114612468B (zh) * | 2022-05-09 | 2022-07-15 | 西南交通大学 | 一种基于正样本的设备外部缺陷检测方法 |
| CN114897909A (zh) * | 2022-07-15 | 2022-08-12 | 四川大学 | 基于无监督学习的曲轴表面裂纹监测方法及系统 |
| CN115861252B (zh) * | 2022-12-14 | 2023-09-22 | 深圳技术大学 | 一种基于对抗学习策略的半监督医学图像器官分割方法 |
| CN115861252A (zh) * | 2022-12-14 | 2023-03-28 | 深圳技术大学 | 一种基于对抗学习策略的半监督医学图像器官分割方法 |
| CN116596930A (zh) * | 2023-07-18 | 2023-08-15 | 吉林大学 | 一种半监督多任务现实图像裂缝检测系统及方法 |
| CN116596930B (zh) * | 2023-07-18 | 2023-09-22 | 吉林大学 | 一种半监督多任务现实图像裂缝检测系统及方法 |
| CN117197095A (zh) * | 2023-09-14 | 2023-12-08 | 四川轻化工大学 | 基于半监督生成对抗分割模型的表面缺陷检测方法和系统 |
| CN117197095B (zh) * | 2023-09-14 | 2024-04-16 | 四川轻化工大学 | 基于半监督生成对抗分割模型的表面缺陷检测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113436169B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113436169B (zh) | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN110648310B (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN110569843B (zh) | 一种矿井目标智能检测与识别方法 | |
| CN114266977B (zh) | 基于超分辨可选择网络的多auv的水下目标识别方法 | |
| CN112686833A (zh) | 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置 | |
| CN112766218B (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| CN110020658B (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
| CN111145222A (zh) | 一种结合烟雾运动趋势和纹理特征的火灾检测方法 | |
| CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
| CN113255590A (zh) | 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统 | |
| CN115131747A (zh) | 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN111539456A (zh) | 一种目标识别方法及设备 | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN112132839B (zh) | 一种基于深度卷积级联网络的多尺度快速人脸分割方法 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及系统 | |
| CN111950476A (zh) | 基于深度学习的复杂环境下河道船舶自动识别方法 | |
| CN115830309A (zh) | 基于Deeplabv3+的SGAN道路裂缝图像分割方法 | |
| CN117677969A (zh) | 一种缺陷检测的方法和装置 | |
| CN114241423A (zh) | 一种河道漂浮物智能检测方法及系统 | |
| Yang et al. | Road Damage Detection and Classification Based on Multi-Scale Contextual Features | |
| Guo et al. | An improved change detection algorithm for remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |