CN114119500A - 一种基于生成对抗网络的色织物缺陷区域的检测方法 - Google Patents

一种基于生成对抗网络的色织物缺陷区域的检测方法 Download PDF

Info

Publication number
CN114119500A
CN114119500A CN202111305800.0A CN202111305800A CN114119500A CN 114119500 A CN114119500 A CN 114119500A CN 202111305800 A CN202111305800 A CN 202111305800A CN 114119500 A CN114119500 A CN 114119500A
Authority
CN
China
Prior art keywords
image
size
output
feature
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111305800.0A
Other languages
English (en)
Inventor
张宏伟
乔冠华
苏泽斌
张蕾
景军锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202111305800.0A priority Critical patent/CN114119500A/zh
Publication of CN114119500A publication Critical patent/CN114119500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的色织物缺陷区域的检测方法，具体为：构建基于无监督学习的图像重构修复模型EFFGAN模型；构建包括无缺陷色织物图像的色织物无缺陷图像训练集，然后给无缺陷色织物图像叠加高斯噪声并送入构建的EFFGAN模型中进行训练，得到训练好的EFFGAN模型；将待检测的色织物图像输入到训练好的EFFGAN模型中输出对应的重构图像，再进行检测从而确定缺陷区域。本发明的一种基于生成对抗网络的色织物缺陷区域的检测方法，能够有效地对色织物图像进行重构修复，从而可以快速、准确地检测出色织物缺陷。

Description

一种基于生成对抗网络的色织物缺陷区域的检测方法
技术领域
本发明属于纺织品外观检测方法技术领域，涉及一种基于生成对抗网络的色织物缺陷区域的检测方法。
背景技术
色织物是采用染色纱线，结合组织结构、配色的变化及后整理工艺处理织制而成的织物。其花形美观，风格独特，品种繁多，在人们日常生活和工业应用中成为不可或缺的材料，拥有较高的附加值。但由于其生产流程较长，工艺复杂，在实际生产中常常会出现各种形态的缺陷。色织物在获得更加广泛的应用的同时，人们也对其质量提出了更高的要求，缺陷的产生会极大降低织物产品价值，对色织物生产企业的效益和形象产生重大影响。随着色织物的纹理种类越来越复杂，色织物缺陷的类型也逐渐増多，缺陷检测难度不断提升。原始的人工检测方法是由工人按照个人经验和评定标准对织物进行目视检测，寻找缺陷，这种方法检测速度低、漏检率高且成本较大，在各大纺织企业面临着高标准、严要求、低成本的巨大商业压力下，无法满足企业实时准确检测的要求。因此，迫切需要一种自动化检测方法来代替低精度且低效率的人工目测。
自动化缺陷检测方法中，用计算机视觉技术检测色织物缺陷成为国内外诸多学者的一个研究热点。传统的视觉纹理缺陷检测方法大多是利用人工设计提取每个纹理图像小块的特征来区分缺陷区域和无缺陷区域。这些方法的检测性能在很大程度上受限于每个纹理图像块人工设计提取的特征的识别能力。在简单纹理的织物缺陷检测方面都有一定的效果，但在复杂纹理和微小缺陷的色织物检测方面效果并不理想。因此，传统的纹理缺陷视觉检测方法无法同时对多种纹理类型进行良好的检测。近几年，随着深度学习领域的快速发展，深度神经网络也被广泛应用于色织物缺陷检测与分类。与传统的特征提取方法相比，深度神经网络可以提取到传统视觉方式难以提取到的深层抽象特征，因此，深度学习中的有监督学习方法因其强大的图像识别能力在织物缺陷检测中得到了广泛应用。但是，在实际生产中，对缺陷样本的标记过程繁杂，时间、人力成本较高，而且缺陷样本的数量远远小于正常样本，导致样本不平衡问题，给有监督色织物缺陷检测方法带来很多困难。针对上述问题，一些学者开始探索利用无监督的深度学习模型去实现色织物缺陷检测的方法。无监督方法的关键是能否有效地提取织物图像的纹理特征，从而有效地将测试样本重构为无缺陷图像。
Zhang等人提出了一种彩色图案织物缺陷检测算法，称为无监督去噪卷积自编码器(DCAE)，该算法通过对测试图像的残差图像及其重建图像进行处理，实现了对彩色图案织物缺陷的检测和定位，但这种方法只适用于背景纹理简单的面料。Mei等人提出了一种基于多尺度卷积去噪自编码器(MSCDAE)的缺陷检测框架，该方法结合图像金字塔层次结构和卷积去噪自编码器的思想来检测织物缺陷。然而，对于纹理复杂的彩色图案织物，这种方法容易出现过度检测。Zhang等人提出了一种基于传统的自动编码器和经典的U-Net的U形卷积去噪自编码模型(UDCAE)，但该模型仅在单一尺度上对织物图像进行编码和解码，因此，不可避免地会出现信息丢失的问题。Wei等人利用VAE模型并引入均值结构相似度(MSSIM)作为损失函数，实现了实时的织物缺陷检测。该方法适用于小分辨率简单纹理织物的缺陷检测场景，对不规则和复杂纹理织物无法进行有效重构，进而无法进行织物缺陷检测和定位。Hu等人提出了一种基于深度卷积生成对抗网络(DCGAN)的无监督织物缺陷检测模型，该模型通过构建待测图像的重构图，然后结合重构图像与原图的似然图进行残差分析，检测出缺陷区域，不过该方法适用于分辨率较小且背景纹理相似度较高的织物图像，对于高分辨率的复杂织物图像则难以获得有效检测结果。
上述无监督方法虽然不需要大量标记缺陷数据集，只需要将容易获取的无缺陷样本作为输入，但由于自编码器和变分自编码器结构过于简单，无法学习到复杂的纹理体征，因此在色织物上的检测效果不佳，而现有用于无监督织物缺陷检测的GAN模型也因为训练难度较大等问题，难以得到稳定的检测结果，不能解决生产过程中色织物缺陷检测的问题。
发明内容
本发明的目的是提供一种基于生成对抗网络的色织物缺陷区域的检测方法，能够有效地对色织物图像进行重构修复，从而可以快速、准确地检测出色织物缺陷。
本发明所采用的技术方案是，一种基于生成对抗网络的色织物缺陷区域的检测方法，具体按照如下步骤实施：
步骤1，构建基于无监督学习的图像重构修复模型EFFGAN模型，该模型由生成器G与判别器D两部分构成；
步骤2，构建包括无缺陷色织物图像的色织物无缺陷图像训练集，然后给无缺陷色织物图像叠加高斯噪声，将叠加噪声后的无缺陷色织物图像送入步骤1构建的EFFGAN模型中，生成器G对输入的图像通过编码与解码操作进行特征提取与恢复，判别器D不断调整梯度反馈给生成器G，指导生成器G的训练，当训练次数达到设定的迭代次数，得到训练好的EFFGAN模型；
步骤3，将待检测的色织物图像输入到步骤2训练好的EFFGAN模型中输出对应的重构图像，再进行检测从而确定缺陷区域。
本发明的特征还在于，
步骤1中生成器G的输入层和输出层均为三通道图像结构，生成器以特征金字塔结构FPN为特征提取器。
特征金字塔结构FPN包括自底向上依次连接的5个用于特征提取的骨干模块，分别记为C0、C1、C2、C3、C4、以及自顶向下依次连接的3个特征融合模块，分别记为A0、A1、A2，骨干模块C4、C3还分别通过横向连接部分后与特征融合模块A0连接，骨干模块C2、C1还分别通过横向连接部分后与A1、A2一一对应连接，三个特征融合模块的输出以及最上层骨干模块C4和最底层骨干模块C0分别经过横向连接后的输出经过通道串联操作得到特征图，然后特征图经过上采样处理得到重构图像。
骨干模块以EfficientNetV2网络的MBConv和Fused-MBConv结构组成，或者以MobileNetV2网络的Bottleneck residual block结构组成；
当采用EfficientNetV2网络时，自底向上依次连接的5个骨干模块具体为：C0部分包括依此连接的一个卷积核大小为3×3，步长为2的卷积层和两个卷积核大小为3×3，步长为1的Fused-MBConv模块；C1部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C2部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C3部分包括依此连接的六个卷积核大小为3×3，步长为2的MBConv模块；C4部分包括依此连接的五个卷积核大小为3×3，步长为1的MBConv模块；五个部分分别对应输出大小为128×128、64×64、32×32、16×16、8×8的特征图，且前一个骨干模块的输出作为后一个骨干模块的输入；
采用MobileNetV2网络时，自底向上依次连接的5个骨干模块具体为：C0部分包括依此连接的一个卷积核大小为3×3，步长为2的卷积层和一个卷积核大小为3×3，步长为1的卷积层以及一个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C1部分包括依此连接的两个卷积核大小为3×3，步长为2和步长为1的Bottleneck residualblock模块；C2部分包括依此连接的一个卷积核大小为3×3，步长为2的Bottleneckresidual block模块和两个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C3部分包括依此连接的一个卷积核大小为3×3，步长为2的MBConv模块和三个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C4部分包括依此连接的一个卷积核大小为3×3，步长为2的MBConv模块和四个卷积核大小为3×3，步长为1的Bottleneckresidual block模块；五个部分分别对应输出大小为128×128、64×64、32×32、16×16、8×8的特征图；且前一个骨干模块的输出作为后一个骨干模块的输入；
五个骨干模块之后的横向连接部分分别为：
骨干模块C0部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为128×128，通道数为64的特征图；
骨干模块C1部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为64×64，通道数为128的特征图；
骨干模块C2部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为32×32，通道数为128的特征图；
骨干模块C3部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为16×16，通道数为128的特征图；
骨干模块C4部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为8×8，通道数为128的特征图；
特征融合模块A0的操作具体为：
将骨干模块C4部分经过横向连接输出的8×8大小的特征图进行2倍上采样后与骨干模块C3部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
特征融合模块A1的操作具体为：
将特征融合模块A0输出的特征图经过2倍上采样后与骨干模块C2部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
特征融合模块A2的操作具体为：
将特征融合模块A1输出的特征图经过2倍上采样后与C3部分经过横向连接输出的16×16大小的特征图进行对应像素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
通道串联操作具体为：
将骨干模块C4经过横向连接部分输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层得到特征图输出；将经特征融合模块A0操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个4倍上采样层得到特征图输出；将经特征融合模块A1操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个6倍上采样层得到特征图输出；将经特征融合模块A2操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个8倍上采样层得到特征图输出；上述四个特征图输出均为输出的特征图大小均为64×64，通道数为128，然后将这四个相同大小的特征图进行通道串联操作，最终生成一个大小为64×64，通道数为256的特征图；
特征图经过上采样处理得到重构图像具体为：
将通道串联操作得到的特征图依次经过一个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层后与C0部分经过横向连接输出的特征图进行对应像素相加操作，然后经过依次连接的一个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层、两个卷积核大小为3×3，步长为1的卷积层、一个tanh激活层，最终恢复为原始图像的分辨率大小，得到重构图像。
生成器除了骨干模块的其他部分都使用了Instance Normalization作为标准化方式，激活函数为ReLU。
判别器D为Patch级别判别器，包括依次连接的三个卷积核大小为4×4，步长为2的卷积层将输入判别器D的图像尺寸压缩为32×32大小、通道数由3逐渐变为256，接着通过两层卷积核大小为4×4，步长为1的卷积层将特征通道数由256变为1，输出最终的判别结果，判别器D前四层卷积层后都接有LeakyRelu激活函数，第二层到第四层卷积层与其激活函数间各有一个Instance Normalization标准化。
步骤2中给无缺陷色织物图像叠加高斯噪声具体按照式(1)所示：
Figure BDA0003340065490000071
式中，X为无缺陷色织物图像，N(0,1)为服从均值为0，标准差为1的标准正态分布的高斯噪声，c为表示叠加噪声的比例，c为0.2，
Figure BDA0003340065490000072
为无缺陷色织物图像叠加噪声后的图像。
步骤2中EFFGAN模型的训练过程中的总损失函数如式(5)：
Ltotal＝0.5·Lx+0.01·Lcontent+0.01·Ladv (5)
其中，Lx为像素级损失，Lcontent为内容损失，Ladv为对抗损失；
像素级损失Lx、内容损失Lcontent、对抗损失Ladv分别如式(2)、(3)、(4)：
Figure BDA0003340065490000081
Figure BDA0003340065490000082
Figure BDA0003340065490000083
式中，X(i)为无缺陷色织物图像叠加噪声后的图像，
Figure BDA0003340065490000084
和
Figure BDA0003340065490000085
分别表示经过生成器和判别器处理之后得到结果，
Figure BDA0003340065490000086
为EFFGAN模型输出的色织物重构图，n为训练样本数量，
Figure BDA0003340065490000087
和
Figure BDA0003340065490000088
为训练过程中的权重和偏置；
Figure BDA0003340065490000089
是VGG19网络在ImageNet上预训练时，第i个最大池化层之前，第j次卷积激活后得到的特征图，W和H分别表示特征图的长和宽。
步骤2中的训练以最小化Ltotal为目标优化模型参数，使用Adam优化器，学习率为0.0001，设置训练最大迭代次数不小于色织物无缺陷图像训练集样本数目，得到训练好的EFFGAN模型。
步骤3中进行检测从而确定缺陷区域具体为：
步骤3.1，将待检测的色织物图像和其对应的重构图像均进行灰度化处理，具体操作如式(6)所示：
Xgray＝0.2125Xr+0.7154Xg+0.0721Xb (6)
式中：Xgray为待检测的色织物图像或其对应的重构图像灰度化后的图像；Xr、Xg、Xb分别为待检测的色织物图像或其对应的重构图像的RGB三个不同颜色通道下的像素值，灰度化后的图像像素值范围为0到255；
步骤3.2，待检测的色织物图像或其对应的重构图像灰度化后的图像采用3×3大小的高斯核进行滑窗卷积操作进行高斯滤波，得到滤波后的图像，具体操作如式(9)所示：
Figure BDA0003340065490000091
其中，
Figure BDA0003340065490000092
为待检测的色织物图像或对应的重构图像经高斯滤波后的图像，G(x,y)为高斯核函数，
Figure BDA0003340065490000093
(x,y)为待检测的色织物图像或重构图像灰度化图像的像素坐标，σx、σy分别为待检测的色织物图像或重构图像灰度化图像x轴、y轴方向的像素标准差；
步骤3.3，计算待检测的色织物图像与对应的重构图像经步骤3.2高斯滤波后图像的差值，得到残差图像，残差图像具体按照式(8)获得：
Figure BDA0003340065490000094
式中，Xres为残差图像，Xgray&Gaussian、
Figure BDA0003340065490000095
分别为待检测的色织物图像的经高斯滤波后的图像和重构图像经高斯滤波后的图像；
步骤3.4，将步骤3.3得到的残差图像利用自适应阈值的方法进行二值化操作，二值化操作如式(9)所示：
Figure BDA0003340065490000096
式中，f(p)为二值化后的值，p为残差图像的像素值，T为残差图像的自适应阈值，μ为残差图像的均值，σ为残差图像的标准差，γ为标准差的系数；
步骤3.5，将经过二值化后的残差图像进行闭运算处理，闭运算处理如式(10)所示：
Figure BDA0003340065490000101
式中，Xbinary为残差图像二值化后得到的二值图像，E为3×3的闭运算结构元素，
Figure BDA0003340065490000102
为图像膨胀操作，！为图像腐蚀操作，Xclosing为最终的检测结果图像；
步骤3.6，分析最终的检测结果图像中各个像素点的值，确定是否存在缺陷区域，若检测结果图像上无任何差异，即图像中的像素值全为0，则表示输入的色织物不存在缺陷；若检测结果图像上存在0和1两种像素值，则表示输入的色织物图像存在缺陷，并且缺陷区域为像素值为1的区域。
本发明的有益效果是：
本发明通过构建一种无监督色织物图像重构修复模型EFFGAN模型，利用已构建的数据库训练此模型，训练后的模型得到色织物图像重构修复能力，使得在检测待测色织物图像时，通过分析待测色织物原图与重构图像之间的残差图像，生成器将高效融合框架FPN与EfficientNetV2网络和MobileNetV2网络两种先进的轻量化骨干结合，构建出轻便的模型，提高检测效率，FPN结构将浅层卷积输出的包含更多位置和颜色信息的特征与深层卷积输出的包含丰富的语义信息的特征进行融合，避免了信息的丢失，使重构结果更真实，因此本发明能够快速、准确地检测出色织物的缺陷。
附图说明
图1是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中步骤3的流程示意图；
图2是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中EFFGAN模型生成器G的结构图；
图3是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中EFFGAN模型的MB Conv层、Fused-MB Conv层和Bottleneck residual block结构图；
图4是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中EFFGAN模型判别器D的结构图；
图5是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中实验样本中的部分无缺陷样本；
图6是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中实验样本中的部分缺陷样本；
图7是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中实验所用EFFGAN模型与DCGAN、DCAE、MSDCAE、UDCAE和VAE_L2SSIM模型的检测结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于生成对抗网络的色织物缺陷区域的检测方法，具体按照如下步骤实施：
步骤1，构建基于无监督学习的图像重构修复模型EFFGAN模型，该模型由生成器G与判别器D两部分构成；
如图2-3所示，生成器G的输入层和输出层均为三通道图像结构，生成器以特征金字塔结构FPN为特征提取器。
特征金字塔结构FPN包括自底向上依次连接的5个用于特征提取的骨干模块，分别记为C0、C1、C2、C3、C4、以及自顶向下依次连接的3个特征融合模块，分别记为A0、A1、A2，骨干模块C4、C3还分别通过横向连接部分后与特征融合模块A0连接，骨干模块C2、C1还分别通过横向连接部分后与A1、A2一一对应连接，三个特征融合模块的输出以及最上层骨干模块C4和最底层骨干模块C0分别经过横向连接后的输出经过通道串联操作得到特征图，然后特征图经过上采样处理得到重构图像。
骨干模块以EfficientNetV2网络的MBConv和Fused-MBConv结构组成，或者以MobileNetV2网络的Bottleneck residual block结构组成；
当采用EfficientNetV2网络时，自底向上依次连接的5个骨干模块具体为：C0部分包括依此连接的一个卷积核大小为3×3，步长为2的卷积层和两个卷积核大小为3×3，步长为1的Fused-MBConv模块；C1部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C2部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C3部分包括依此连接的六个卷积核大小为3×3，步长为2的MBConv模块；C4部分包括依此连接的五个卷积核大小为3×3，步长为1的MBConv模块；五个部分分别对应输出大小为128×128、64×64、32×32、16×16、8×8的特征图，且前一个骨干模块的输出作为后一个骨干模块的输入；
采用MobileNetV2网络时，自底向上依次连接的5个骨干模块具体为：C0部分包括依此连接的一个卷积核大小为3×3，步长为2的卷积层和一个卷积核大小为3×3，步长为1的卷积层以及一个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C1部分包括依此连接的两个卷积核大小为3×3，步长为2和步长为1的Bottleneck residualblock模块；C2部分包括依此连接的一个卷积核大小为3×3，步长为2的Bottleneckresidual block模块和两个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C3部分包括依此连接的一个卷积核大小为3×3，步长为2的MBConv模块和三个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C4部分包括依此连接的一个卷积核大小为3×3，步长为2的MBConv模块和四个卷积核大小为3×3，步长为1的Bottleneckresidual block模块；五个部分分别对应输出大小为128×128、64×64、32×32、16×16、8×8的特征图；且前一个骨干模块的输出作为后一个骨干模块的输入；
五个骨干模块之后的横向连接部分分别为：
骨干模块C0部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为128×128，通道数为64的特征图；
骨干模块C1部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为64×64，通道数为128的特征图；
骨干模块C2部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为32×32，通道数为128的特征图；
骨干模块C3部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为16×16，通道数为128的特征图；
骨干模块C4部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为8×8，通道数为128的特征图；
特征融合模块A0的操作具体为：
将骨干模块C4部分经过横向连接输出的8×8大小的特征图进行2倍上采样后与骨干模块C3部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
特征融合模块A1的操作具体为：
将特征融合模块A0输出的特征图经过2倍上采样后与骨干模块C2部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
特征融合模块A2的操作具体为：
将特征融合模块A1输出的特征图经过2倍上采样后与C3部分经过横向连接输出的16×16大小的特征图进行对应像素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
通道串联操作具体为：
将骨干模块C4经过横向连接部分输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层得到特征图输出；将经特征融合模块A0操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个4倍上采样层得到特征图输出；将经特征融合模块A1操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个6倍上采样层得到特征图输出；将经特征融合模块A2操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个8倍上采样层得到特征图输出；上述四个特征图输出均为输出的特征图大小均为64×64，通道数为128，然后将这四个相同大小的特征图进行通道串联操作，最终生成一个大小为64×64，通道数为256的特征图；
特征图经过上采样处理得到重构图像具体为：
将通道串联操作得到的特征图依次经过一个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层后与C0部分经过横向连接输出的特征图进行对应像素相加操作，然后经过依次连接的一个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层、两个卷积核大小为3×3，步长为1的卷积层、一个tanh激活层，最终恢复为原始图像的分辨率大小，得到重构图像。
生成器除了骨干模块的其他部分都使用了Instance Normalization作为标准化方式，激活函数为ReLU。
如图4所示，判别器D为Patch级别判别器，包括依次连接的三个卷积核大小为4×4，步长为2的卷积层将输入判别器D的图像尺寸压缩为32×32大小、通道数由3逐渐变为256，接着通过两层卷积核大小为4×4，步长为1的卷积层将特征通道数由256变为1，输出最终的判别结果，判别器D前四层卷积层后都接有LeakyRelu激活函数，第二层到第四层卷积层与其激活函数间各有一个Instance Normalization标准化；判别器的输入有两个部分：生成器输出的重构图和用于训练的未加噪声的无缺陷色织物原图；
判别器对比生成器生成的图像与原图之间的差距，将之间的差距通过对抗损失函数Ladv反馈给生成器。
步骤2，构建包括无缺陷色织物图像的色织物无缺陷图像训练集，然后给无缺陷色织物图像叠加高斯噪声，将叠加噪声后的无缺陷色织物图像送入步骤1构建的EFFGAN模型中，生成器G对输入的图像通过编码与解码操作进行特征提取与恢复，判别器D不断调整梯度反馈给生成器G，指导生成器G的训练，当训练次数达到设定的迭代次数，得到训练好的EFFGAN模型；
其中，给无缺陷色织物图像叠加高斯噪声具体按照式(1)所示：
Figure BDA0003340065490000151
式中，X为无缺陷色织物图像，N(0,1)为服从均值为0，标准差为1的标准正态分布的高斯噪声，c为表示叠加噪声的比例，c为0.2，
Figure BDA0003340065490000152
为无缺陷色织物图像叠加噪声后的图像。
EFFGAN模型的训练过程中的总损失函数如式(5)：
Ltotal＝0.5·Lx+0.01·Lcontent+0.01·Ladv (5)
其中，Lx为像素级损失，Lcontent为内容损失，Ladv为对抗损失；
像素级损失Lx、内容损失Lcontent、对抗损失Ladv分别如式(2)、(3)、(4)：
Figure BDA0003340065490000161
Figure BDA0003340065490000162
Figure BDA0003340065490000163
式中，X(i)为无缺陷色织物图像叠加噪声后的图像，
Figure BDA0003340065490000164
和
Figure BDA0003340065490000165
分别表示经过生成器和判别器处理之后得到结果，
Figure BDA0003340065490000166
为EFFGAN模型输出的色织物重构图，n为训练样本数量，
Figure BDA0003340065490000167
和
Figure BDA0003340065490000168
为训练过程中的权重和偏置；
Figure BDA0003340065490000169
是VGG19网络在ImageNet上预训练时，第i个最大池化层之前，第j次卷积激活后得到的特征图，W和H分别表示特征图的长和宽。
训练以最小化Ltotal为目标优化模型参数，使用Adam优化器，学习率为0.0001，设置训练最大迭代次数不小于色织物无缺陷图像训练集样本数目，得到训练好的EFFGAN模型。
步骤3，将待检测的色织物图像输入到步骤2训练好的EFFGAN模型中输出对应的重构图像，再进行检测从而确定缺陷区域，其流程如图1所示，具体为：
步骤3.1，将待检测的色织物图像和其对应的重构图像均进行灰度化处理，具体操作如式(6)所示：
Xgray＝0.2125Xr+0.7154Xg+0.0721Xb (6)
式中：Xgray为待检测的色织物图像或其对应的重构图像灰度化后的图像；Xr、Xg、Xb分别为待检测的色织物图像或其对应的重构图像的RGB三个不同颜色通道下的像素值，灰度化后的图像像素值范围为0到255；
步骤3.2，待检测的色织物图像或其对应的重构图像灰度化后的图像采用3×3大小的高斯核进行滑窗卷积操作进行高斯滤波，得到滤波后的图像，具体操作如式(9)所示：
Figure BDA0003340065490000171
其中，
Figure BDA0003340065490000172
为待检测的色织物图像或对应的重构图像经高斯滤波后的图像，G(x,y)为高斯核函数，
Figure BDA0003340065490000173
(x,y)为待检测的色织物图像或重构图像灰度化图像的像素坐标，σx、σy分别为待检测的色织物图像或重构图像灰度化图像x轴、y轴方向的像素标准差；
步骤3.3，计算待检测的色织物图像与对应的重构图像经步骤3.2高斯滤波后图像的差值，得到残差图像，残差图像具体按照式(8)获得：
Figure BDA0003340065490000174
式中，Xres为残差图像，Xgray&Gaussian、
Figure BDA0003340065490000175
分别为待检测的色织物图像的经高斯滤波后的图像和重构图像经高斯滤波后的图像；
步骤3.4，将步骤3.3得到的残差图像利用自适应阈值的方法进行二值化操作，二值化操作如式(9)所示：
Figure BDA0003340065490000176
式中，f(p)为二值化后的值，p为残差图像的像素值，T为残差图像的自适应阈值，μ为残差图像的均值，σ为残差图像的标准差，γ为标准差的系数，实验中选取γ＝3；
步骤3.5，将经过二值化后的残差图像进行闭运算处理，闭运算处理如式(10)所示：
Figure BDA0003340065490000181
式中，Xbinary为残差图像二值化后得到的二值图像，E为3×3的闭运算结构元素，
Figure BDA0003340065490000182
为图像膨胀操作，！为图像腐蚀操作，Xclosing为最终的检测结果图像；
步骤3.6，分析最终的检测结果图像中各个像素点的值，确定是否存在缺陷区域，若检测结果图像上无任何差异，即图像中的像素值全为0，则表示输入的色织物不存在缺陷；若检测结果图像上存在0和1两种像素值，则表示输入的色织物图像存在缺陷，并且缺陷区域为像素值为1的区域。
下面以具体实施例对本发明一种基于生成对抗网络的色织物缺陷区域的检测方法进行说明：
实验装置准备：本发明进行EFFGAN模型的建模、训练及缺陷检测实验的硬件配置如下：硬件环境为Intel(R)Core(TM)i7-6850K CPU@3.60GHz；GeForce RTX 3090(24G)GPU；内存128G。软件配置如下：操作系统为Ubuntu 18.04,CUDA11.2,cuDNN8.2.0，Python3.8.5，Pytorch1.7.0。
实验待检测样本：实验所用数据集来自广东溢达纺织有限公司，根据花型的复杂程度可分为三种类型：Simple Lattices(SL1～SL19)、Stripe Patterns(SP1～SP26)、Complex Lattices(CL1～CL21)，共包含66种不同花型的色织物样本。本文从三种类型的数据集中选取了十个不同花型的数据集进行训练和测试，分别为SL8、SL9、SL10、SL11、SP3、SP5、SP19、SP24、CL2、CL3。各数据集部分样本如附图5、6所示，其中，附图5为色织物部分无缺陷样本，附图6为色织物部分缺陷样本。
实验评价指标：对检测结果图像进行了定性、定量分析。定性分析为缺陷检测区域的直观图示。定量分析采用精确率(Precision，P)、召回率(Recall，R)、F1-measure(F1)、准确率(Accuracy，Acc)以及平均交并比(IoU)五种指标评价模型。其中，精确率、F1-measure、召回率、准确率、平均交并比的定义分别为式(11)、(12)、(13)、(14)、(15)所示：
Figure BDA0003340065490000191
Figure BDA0003340065490000192
Figure BDA0003340065490000193
Figure BDA0003340065490000194
Figure BDA0003340065490000195
式中，TP表示正样本预测为正，TN表示正样本预测为负，FP表示负样本预测为正，FN表示负样本预测为负。
实验过程：首先，建立一种无监督色织物重构修复模型EFFGAN模型；然后，利用无缺陷的色织物样本训练该模型，训练后的模型具有重构修复能力；最后，在检测待测色织物图像时，通过分析待测色织物原图与重构修复后的色织衬衫裁片图像之间的残差图像，实现快速检测色织物缺陷区域。
实验结果定性分析：本实验用无缺陷色织物图像对EFFGAN模型进行训练，训练好的EFFGAN模型拥有对色织物图像的重构修复能力。最后，计算待测色织物图像与重构图像的残差图像，通过残差分析检测并定位缺陷区域。为了更加直观地对比不同的无监督检测方法的检测结果，本申请提出的EFFGAN与五种无监督检测方法包括DCGAN、DCAE、MSDCAE、UDCAE和VAE_L2SSIM做了实验对比，实验结果如附图7所示，通过附图7可见，本申请EFFGAN模型能够在准确还原不同花型色织物图像的基础上，很好地修复色织物图像中的缺陷区域。通过与缺陷区域的Ground truth进行比较可以看出，本申请EFFGAN模型多种花型均有很好的检测结果。
实验结果定量分析：通过实验，列出EFFGAN模型针对十种色织物数据集的缺陷图像检测结果的精确率(P)、召回率(R)、F1-measure(F1)、准确率(Acc)和平均交并比(IoU)的对比，评价指标的数值越大表明检测结果越好，结果如表1所示：
表1五种评价指标下EFFGAN模型检测结果
Figure BDA0003340065490000201
实验总结：本发明实质属于是一种基于EFFGAN模型的无监督建模方法，通过计算待测织物图像与模型重构图像的残差，进行数学形态学分析，实现色织物的缺陷检测和定位。该方法使用无缺陷样本建立无监督EFFGAN模型，可以有效避开缺陷样本数量稀缺、标注大规模数据成本高、人工设计缺陷特征泛化能力差等实际问题。同时，本发明所提出的方法在检测精度上可满足色织物生产时的工艺要求，为色织物制造行业在缺陷检测工序上提供了一种易于工程实践的自动化缺陷检测方案。

Claims (10)

1.一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，具体按照如下步骤实施：
步骤1，构建基于无监督学习的图像重构修复模型EFFGAN模型，该模型由生成器G与判别器D两部分构成；
步骤2，构建包括无缺陷色织物图像的色织物无缺陷图像训练集，然后给无缺陷色织物图像叠加高斯噪声，将叠加噪声后的无缺陷色织物图像送入步骤1构建的EFFGAN模型中，生成器G对输入的图像通过编码与解码操作进行特征提取与恢复，判别器D不断调整梯度反馈给生成器G，指导生成器G的训练，当训练次数达到设定的迭代次数，得到训练好的EFFGAN模型；
步骤3，将待检测的色织物图像输入到步骤2训练好的EFFGAN模型中输出对应的重构图像，再进行检测从而确定缺陷区域。
2.根据权利要求1所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，所述步骤1中生成器G的输入层和输出层均为三通道图像结构，生成器以特征金字塔结构FPN为特征提取器。
3.根据权利要求2所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，所述特征金字塔结构FPN包括自底向上依次连接的5个用于特征提取的骨干模块，分别记为C0、C1、C2、C3、C4、以及自顶向下依次连接的3个特征融合模块，分别记为A0、A1、A2，所述骨干模块C4、C3还分别通过横向连接部分后与特征融合模块A0连接，所述骨干模块C2、C1还分别通过横向连接部分后与A1、A2一一对应连接，三个所述特征融合模块的输出以及最上层骨干模块C4和最底层骨干模块C0分别经过横向连接后的输出经过通道串联操作得到特征图，然后特征图经过上采样处理得到重构图像。
4.根据权利要求3所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，
所述骨干模块以EfficientNetV2网络的MBConv和Fused-MBConv结构组成，或者以MobileNetV2网络的Bottleneck residual block结构组成；
当采用EfficientNetV2网络时，自底向上依次连接的5个骨干模块具体为：C0部分包括依此连接的一个卷积核大小为3×3，步长为2的卷积层和两个卷积核大小为3×3，步长为1的Fused-MBConv模块；C1部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C2部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C3部分包括依此连接的六个卷积核大小为3×3，步长为2的MBConv模块；C4部分包括依此连接的五个卷积核大小为3×3，步长为1的MBConv模块；五个部分分别对应输出大小为128×128、64×64、32×32、16×16、8×8的特征图，且前一个骨干模块的输出作为后一个骨干模块的输入；
采用MobileNetV2网络时，自底向上依次连接的5个骨干模块具体为：C0部分包括依此连接的一个卷积核大小为3×3，步长为2的卷积层和一个卷积核大小为3×3，步长为1的卷积层以及一个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C1部分包括依此连接的两个卷积核大小为3×3，步长为2和步长为1的Bottleneck residual block模块；C2部分包括依此连接的一个卷积核大小为3×3，步长为2的Bottleneck residualblock模块和两个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C3部分包括依此连接的一个卷积核大小为3×3，步长为2的MBConv模块和三个卷积核大小为3×3，步长为1的Bottleneck residual block模块；C4部分包括依此连接的一个卷积核大小为3×3，步长为2的MBConv模块和四个卷积核大小为3×3，步长为1的Bottleneck residualblock模块；五个部分分别对应输出大小为128×128、64×64、32×32、16×16、8×8的特征图；且前一个骨干模块的输出作为后一个骨干模块的输入；
五个所述骨干模块之后的横向连接部分分别为：
所述骨干模块C0部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为128×128，通道数为64的特征图；
所述骨干模块C1部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为64×64，通道数为128的特征图；
所述骨干模块C2部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为32×32，通道数为128的特征图；
所述骨干模块C3部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为16×16，通道数为128的特征图；
所述骨干模块C4部分输出的特征图经过一个卷积核大小为1×1，步长为1的卷积层，输出大小为8×8，通道数为128的特征图；
所述特征融合模块A0的操作具体为：
将骨干模块C4部分经过横向连接输出的8×8大小的特征图进行2倍上采样后与骨干模块C3部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
所述特征融合模块A1的操作具体为：
将特征融合模块A0输出的特征图经过2倍上采样后与骨干模块C2部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
所述特征融合模块A2的操作具体为：
将特征融合模块A1输出的特征图经过2倍上采样后与C3部分经过横向连接输出的16×16大小的特征图进行对应像素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积层得到输出特征图；
通道串联操作具体为：
将骨干模块C4经过横向连接部分输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层得到特征图输出；将经特征融合模块A0操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个4倍上采样层得到特征图输出；将经特征融合模块A1操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个6倍上采样层得到特征图输出；将经特征融合模块A2操作输出的特征图依次经过两个卷积核大小为3×3，步长为1的卷积层、一个8倍上采样层得到特征图输出；上述四个特征图输出均为输出的特征图大小均为64×64，通道数为128，然后将这四个相同大小的特征图进行通道串联操作，最终生成一个大小为64×64，通道数为256的特征图；
特征图经过上采样处理得到重构图像具体为：
将通道串联操作得到的特征图依次经过一个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层后与C0部分经过横向连接输出的特征图进行对应像素相加操作，然后经过依次连接的一个卷积核大小为3×3，步长为1的卷积层、一个2倍上采样层、两个卷积核大小为3×3，步长为1的卷积层、一个tanh激活层，最终恢复为原始图像的分辨率大小，得到重构图像。
5.根据权利要求4所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，所述生成器除了骨干模块的其他部分都使用了Instance Normalization作为标准化方式，激活函数为ReLU。
6.根据权利要求5所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，所述判别器D为Patch级别判别器，包括依次连接的三个卷积核大小为4×4，步长为2的卷积层将输入判别器D的图像尺寸压缩为32×32大小、通道数由3逐渐变为256，接着通过两层卷积核大小为4×4，步长为1的卷积层将特征通道数由256变为1，输出最终的判别结果，所述判别器D前四层卷积层后都接有LeakyRelu激活函数，第二层到第四层卷积层与其激活函数间各有一个Instance Normalization标准化。
7.根据权利要求6所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，所述步骤2中给无缺陷色织物图像叠加高斯噪声具体按照式(1)所示：
Figure FDA0003340065480000051
式中，X为无缺陷色织物图像，N(0,1)为服从均值为0，标准差为1的标准正态分布的高斯噪声，c为表示叠加噪声的比例，c为0.2，
Figure FDA0003340065480000052
为无缺陷色织物图像叠加噪声后的图像。
8.根据权利要求7所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，所述步骤2中EFFGAN模型的训练过程中的总损失函数如式(5)：
Ltotal＝0.5·Lx+0.01·Lcontent+0.01·Ladv (5)
其中，Lx为像素级损失，Lcontent为内容损失，Ladv为对抗损失；
像素级损失Lx、内容损失Lcontent、对抗损失Ladv分别如式(2)、(3)、(4)：
Figure FDA0003340065480000061
Figure FDA0003340065480000062
Figure FDA0003340065480000063
式中，X(i)为无缺陷色织物图像叠加噪声后的图像，
Figure FDA0003340065480000064
和
Figure FDA0003340065480000065
分别表示经过生成器和判别器处理之后得到结果，
Figure FDA0003340065480000066
为EFFGAN模型输出的色织物重构图，n为训练样本数量，
Figure FDA0003340065480000067
和
Figure FDA0003340065480000068
为训练过程中的权重和偏置；
Figure FDA0003340065480000069
是VGG19网络在ImageNet上预训练时，第i个最大池化层之前，第j次卷积激活后得到的特征图，W和H分别表示特征图的长和宽。
9.根据权利要求8所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，所述步骤2中的训练以最小化Ltotal为目标优化模型参数，使用Adam优化器，学习率为0.0001，设置训练最大迭代次数不小于色织物无缺陷图像训练集样本数目，得到训练好的EFFGAN模型。
10.根据权利要求8所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特征在于，所述步骤3中进行检测从而确定缺陷区域具体为：
步骤3.1，将待检测的色织物图像和其对应的重构图像均进行灰度化处理，具体操作如式(6)所示：
Xgray＝0.2125Xr+0.7154Xg+0.0721Xb (6)
式中：Xgray为待检测的色织物图像或其对应的重构图像灰度化后的图像；Xr、Xg、Xb分别为待检测的色织物图像或其对应的重构图像的RGB三个不同颜色通道下的像素值，灰度化后的图像像素值范围为0到255；
步骤3.2，待检测的色织物图像或其对应的重构图像灰度化后的图像采用3×3大小的高斯核进行滑窗卷积操作进行高斯滤波，得到滤波后的图像，具体操作如式(9)所示：
Figure FDA0003340065480000071
其中，
Figure FDA0003340065480000072
为待检测的色织物图像或对应的重构图像经高斯滤波后的图像，G(x,y)为高斯核函数，
Figure FDA0003340065480000073
为待检测的色织物图像或重构图像灰度化图像的像素坐标，σx、σy分别为待检测的色织物图像或重构图像灰度化图像x轴、y轴方向的像素标准差；
步骤3.3，计算待检测的色织物图像与对应的重构图像经步骤3.2高斯滤波后图像的差值，得到残差图像，残差图像具体按照式(8)获得：
Figure FDA0003340065480000074
式中，Xres为残差图像，Xgray&Gaussian、
Figure FDA0003340065480000075
分别为待检测的色织物图像的经高斯滤波后的图像和重构图像经高斯滤波后的图像；
步骤3.4，将步骤3.3得到的残差图像利用自适应阈值的方法进行二值化操作，二值化操作如式(9)所示：
Figure FDA0003340065480000076
式中，f(p)为二值化后的值，p为残差图像的像素值，T为残差图像的自适应阈值，μ为残差图像的均值，σ为残差图像的标准差，γ为标准差的系数；
步骤3.5，将经过二值化后的残差图像进行闭运算处理，闭运算处理如式(10)所示：
Figure FDA0003340065480000077
式中，Xbinary为残差图像二值化后得到的二值图像，E为3×3的闭运算结构元素，
Figure FDA0003340065480000081
为图像膨胀操作，！为图像腐蚀操作，Xclosing为最终的检测结果图像；
步骤3.6，分析最终的检测结果图像中各个像素点的值，确定是否存在缺陷区域，若检测结果图像上无任何差异，即图像中的像素值全为0，则表示输入的色织物不存在缺陷；若检测结果图像上存在0和1两种像素值，则表示输入的色织物图像存在缺陷，并且缺陷区域为像素值为1的区域。
CN202111305800.0A 2021-11-05 2021-11-05 一种基于生成对抗网络的色织物缺陷区域的检测方法 Pending CN114119500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111305800.0A CN114119500A (zh) 2021-11-05 2021-11-05 一种基于生成对抗网络的色织物缺陷区域的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111305800.0A CN114119500A (zh) 2021-11-05 2021-11-05 一种基于生成对抗网络的色织物缺陷区域的检测方法

Publications (1)

Publication Number Publication Date
CN114119500A true CN114119500A (zh) 2022-03-01

Family

ID=80380882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111305800.0A Pending CN114119500A (zh) 2021-11-05 2021-11-05 一种基于生成对抗网络的色织物缺陷区域的检测方法

Country Status (1)

Country Link
CN (1) CN114119500A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565607A (zh) * 2022-04-01 2022-05-31 南通沐沐兴晨纺织品有限公司 基于神经网络的织物缺陷图像分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565607A (zh) * 2022-04-01 2022-05-31 南通沐沐兴晨纺织品有限公司 基于神经网络的织物缺陷图像分割方法

Similar Documents

Publication Publication Date Title
WO2023070911A1 (zh) 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
Huang et al. Fabric defect segmentation method based on deep learning
CN111402197B (zh) 一种针对色织物裁片缺陷区域的检测方法
WO2023050563A1 (zh) 一种基于自编码器的彩色纹理织物缺陷区域的检测方法
CN114549522A (zh) 基于目标检测的纺织品质量检测方法
CN109977790A (zh) 一种基于迁移学习的视频烟雾检测与识别方法
CN109741328A (zh) 一种基于生成式对抗网络的汽车表观质量检测方法
CN107833220A (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN111223093A (zh) 一种aoi缺陷检测方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
CN105654121A (zh) 一种基于深度学习的复杂提花织物缺陷检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN109615604A (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN111860143B (zh) 一种面向巡检机器人的火焰实时检测方法
CN110827260A (zh) 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法
CN114119502A (zh) 一种针对彩色纹理织物色差和污渍缺陷的检测方法
CN115205209A (zh) 一种基于弱监督学习的单色布匹瑕疵检测方法
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN113838040A (zh) 一种针对彩色纹理织物缺陷区域的检测方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
Dong et al. Fusing multilevel deep features for fabric defect detection based NTV-RPCA
CN114119500A (zh) 一种基于生成对抗网络的色织物缺陷区域的检测方法
CN113674225A (zh) 一种基于卷积神经网络的电力设备故障检测方法
Wen et al. Multi-scene citrus detection based on multi-task deep learning network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination