CN113902695A - 一种针对色织物裁片缺陷区域的检测方法 - Google Patents
一种针对色织物裁片缺陷区域的检测方法 Download PDFInfo
- Publication number
- CN113902695A CN113902695A CN202111150794.6A CN202111150794A CN113902695A CN 113902695 A CN113902695 A CN 113902695A CN 202111150794 A CN202111150794 A CN 202111150794A CN 113902695 A CN113902695 A CN 113902695A
- Authority
- CN
- China
- Prior art keywords
- image
- cut piece
- attention
- defect
- yarn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 239000004744 fabric Substances 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013139 quantization Methods 0.000 claims abstract description 34
- 230000002950 deficient Effects 0.000 claims abstract description 31
- 239000002759 woven fabric Substances 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 235000002566 Capsicum Nutrition 0.000 claims description 6
- 239000006002 Pepper Substances 0.000 claims description 6
- 241000722363 Piper Species 0.000 claims description 6
- 235000016761 Piper aduncum Nutrition 0.000 claims description 6
- 235000017804 Piper guineense Nutrition 0.000 claims description 6
- 235000008184 Piper nigrum Nutrition 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 150000003839 salts Chemical class 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004451 qualitative analysis Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009941 weaving Methods 0.000 description 2
- 101710083129 50S ribosomal protein L10, chloroplastic Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Treatment Of Fiber Materials (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种针对色织物裁片缺陷区域的检测方法，具体为：步骤1，构建注意力量子化变分自编码器模型；步骤2，将无缺陷色织衬衫裁片图像叠加噪声；步骤3，将叠加噪声之后的无缺陷色织衬衫裁片图像输入步骤1构建的注意力量子化变分自编码器模型中对模型训练，直到达到设定的迭代次数，得到训练好的注意力量子化变分自编码器模型；步骤4，将待检测的色织物裁片彩色图像输入至训练好的注意力量子化变分自编码器模型中输出对应的重构图像，再进行检测从而确定缺陷区域。本发明的一种针对色织物裁片缺陷区域的检测方法，解决了现有技术中存在的对复杂色织花型缺陷检测效果不佳的问题。
Description
技术领域
本发明属于色织物缺陷检测技术领域，涉及一种针对色织物裁片缺陷区域的检测方法。
背景技术
色织衬衫花型美观多样，近年来产销量与日俱增，已成为我国出口创汇的重要服装产品之一。在色织物生产过程中，由于织造设备故障、纱线问题等因素的影响，衬衫裁片外观不可避免的出现缺陷，如破洞、断头、双纱等问题。为了降低缺陷裁片对色织衬衫质量的影响，多数色织衬衫织造企业在衬衫裁片缝制工序之前，加入人工验片的工序，利用人眼进行检测并剔除有缺陷裁片。但受个人主观因素限制，人工检测方法效率低且准确率不稳定。因此，随着计算机视觉技术和图像处理技术的迅猛发展，利用计算机视觉技术辅助织物疵点自动检测的方法吸引了产业界和学术界的广泛关注。
传统的织物缺陷检测方法主要可分为4类：基于统计的方法，基于结构的方法，基于频谱的方法和基于模型的方法。然而，传统的视觉纹理缺陷检测方法大多是利用人工设计提取每个纹理图像小块的特征来区分缺陷区域和无缺陷区域，然而，这些方法的性能在很大程度上受限于每个纹理图像块人工设计提取的特征的识别能力。因此，传统的纹理缺陷视觉检测方法无法同时对多种纹理类型进行良好的检测。
近几年，随着深度学习领域的快速发展，深度神经网络也被广泛应用于织物缺陷检测与分类。与传统的特征提取方法相比，深度神经网络由数据驱动，不需要特定的领域知识，而且它可以提取到传统方式难以提取到的深层抽象特征。在众多深度神经网络中，有监督的网络模型，比如CNN、监督式 SAE和DNN等,在织物缺陷检测领域取得了显著的成果。但是，在实际的工业应用中，获取大量的标记缺陷样本来训练神经网络是非常困难的，因此，有监督深度模型在织物缺陷检测的应用中受到了很大的限制。
针对上述问题，一些学者开始探索利用无监督的深度模型去实现织物缺陷检测的方法。无监督的深度学习方法具有在训练阶段不需要缺陷样本，不需要人工手动标记缺陷区域等优点。目前，无监督深度学习的方法多是针对颜色、纹理单一的花型，对复杂色织花型缺陷检测效果不佳。
发明内容
本发明的目的是提供一种针对色织物裁片缺陷区域的检测方法，解决了现有技术中存在的对复杂色织花型缺陷检测效果不佳的问题。
本发明所采用的技术方案是，一种针对色织物裁片缺陷区域的检测方法，具体按照如下步骤实施：
步骤1，在量子化变分自编码器的模型内融入注意力机制构建注意力量子化变分自编码器模型；
步骤2，准备色织物裁片彩色图像数据集，对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声；
步骤3，将步骤2叠加噪声之后的无缺陷色织衬衫裁片图像输入步骤1 构建的注意力量子化变分自编码器模型中对模型训练，直到达到设定的迭代次数，得到训练好的注意力量子化变分自编码器模型；
步骤4，将待检测的色织物裁片彩色图像输入至训练好的注意力量子化变分自编码器模型中输出对应的重构图像，再进行检测从而确定缺陷区域。
本发明的特征还在于，
步骤1中的注意力量子化变分自编码器模型包括依次连接的编码器、潜在嵌入空间和解码器。
编码器包括依次连接的kernel_size为4，stride为2，padding为1的卷积层、注意力层、relu层、kernel_size为4，stride为2，padding为1的卷积层、注意力层、relu层、kernel_size＝3，stride＝1，padding＝1的卷积层、注意力层、两个残差块、relu层、kernel_size＝1，stride＝1，padding＝1的卷积层；
kernel_size为卷积核大小，stride为步长，padding为填充；
每个残差块包括依次连接的relu层、3x3的卷积层、reLu层、1x1的卷积层。
潜在空间的大小K为256，每个潜在嵌入向量的维度D为64。
解码器包括依次连接的kernel_size＝3、stride＝1、padding＝1的卷积层、注意力层、两个残差块、relu层、注意力层、kernel_size＝4、stride＝2、padding＝1 的反卷积层、relu层、注意力层、kernel_size＝4、stride＝2、padding＝1的反卷积层。
步骤2中对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声具体为：
为无缺陷图像添加椒盐噪声，具体操作步骤如式(1)所示：
式中：
为添加噪声后的无缺陷色织衬衫裁片图像；X为无缺陷色织衬衫裁片图像，s为椒盐噪声，信噪比p＝0.7。
步骤3具体为：
步骤3.1，将步骤2添加噪声后的无缺陷色织衬衫裁片图像输入步骤1 训练好的注意力量子化变分自编码器模型的编码器中，经过编码器编码后输出为ze(x)；
步骤3.2，通过最近邻查找计算潜在嵌入空间e中与步骤3.1的输出ze(x)最近的向量，定位到其对应的嵌入向量ek，最后，将ek输出作为嵌入空间e的输出zq(x)；
步骤3.3，将步骤2.2中的输出zq(x)送入解码器进行解码，重构出无缺陷图像；
步骤3.4，确定模型的整体损失函数Loss如式(2)所示：
其中，sg[·]表示不执行反向梯度传递，x表示叠加噪声后的无缺陷色织衬衫裁片图像，
表示重构图像，β的值为0.25；
在训练过程中，以最小化损失函数为目标，使用Adam优化器，学习率为0.003，训练最大迭代次数为15000次，得到训练好的注意力量子化变分自编码器模型。
步骤4具体按照如下步骤实施：
步骤4.1，将待测图像输入步骤3训练好的注意力量子化变分自编码器模型中，输出待测图像对应的重构图像；
步骤4.2，计算待测图像与其重构图像之间的残差，具体操作如式：
其中，X为输入待测图像，
为待测图像的重构图像，Xresidual为残差图像；
步骤4.3，对残差图像进行灰度化的过程如式(4)所示：
Xgray＝0.2125Xr+0.7154Xg+0.0721Xb (4)
式中：Xgray为灰度化后的图像；Xr、Xg、Xb分别为残差图像对应的RGB 三个不同颜色通道下的像素值；
步骤4.4，对灰度化后的图像进行高斯滤波操作，如式(5)所示：
Xgray&Gaussian＝Xgray*G(x,y) (5)
式中，Xgray&Gaussian为灰度化后的图像经过高斯滤波后的图像，Xgray为灰度化后的图像，*为滑窗卷积操作，G(x,y)为高斯核函数；
其中，
(x,y)为灰度化后的图像经过高斯滤波后的图像的像素坐标，σx、σy分别为灰度化后的图像经过高斯滤波后的图像x轴、y轴方向的像素标准差；
步骤4.5，对经过高斯滤波后的图像进行二值化，得到二值化图像；
步骤4.6，对步骤4.5得到的二值化图像进行腐蚀操作，腐蚀是去除物体的边界，具有细化或者收缩物体的作用得到最终检测结果图像；
步骤4.7，对步骤4.6得到的最终检测结果图像进行判断，图像中黑色像素为背景，白色像素块表示缺陷区域，若待测图像为无缺陷图像，最终检测结果图像会出现随机噪声，若待测图像为有缺陷图像，则最终检测结果图像会出现白色像素块。
本发明的有益效果是：
本发明针对现有方法对复杂色织花型缺陷检测效果不佳的问题，提出了一种注意力量子化变分自编码器的缺陷检测方法，将注意力机制融入 VQ-VAE模型，注意力机制会对重要的特征分配更多的权重，针对颜色和纹理较复杂的图像，使模型能重构出高质量的图像；在缺乏实际缺陷样本图像的情况下，使用正常样本进行模型训练，解决了实际生产中缺陷样本稀少的问题，能够对不同的色织花型进行训练和检测，并准确定位出缺陷区域，在后处理部分，算原图与其对应的重构图之间的残差，并进行灰度化、滤波、二值化、腐蚀等操作处理图像，最终准确的定位缺陷区域。
附图说明
图1是本发明一种针对色织物裁片缺陷区域的检测方法中注意力模型的网络结构图；
图2是本发明一种针对色织物裁片缺陷区域的检测方法中注意力量子化变分自编码器模型的训练过程结构示意图；
图3是本发明一种针对色织物裁片缺陷区域的检测方法中色织物裁片缺陷区域检测阶段的流程示意图；
图4是本发明一种针对色织物裁片缺陷区域的检测方法实施例中部分无缺陷样本；
图5是本发明一种针对色织物裁片缺陷区域的检测方法实施例中实验样本的部分缺陷样本；
图6是本发明一种针对色织物裁片缺陷区域的检测方法实施例中重构结果图；
图7是本发明一种针对色织物裁片缺陷区域的检测方法实施例中最终缺陷检测结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种针对色织物裁片缺陷区域的检测方法，具体按照如下步骤实施：
步骤1，在量子化变分自编码器的模型内融入注意力机制构建注意力量子化变分自编码器模型；注意力量子化变分自编码器模型包括依次连接的编码器、潜在嵌入空间和解码器。
如表1所示，编码器包括依次连接的kernel_size为4，stride为2，padding 为1的卷积层、注意力层、relu层、kernel_size为4，stride为2，padding为 1的卷积层、注意力层、relu层、kernel_size＝3，stride＝1，padding＝1的卷积层、注意力层、两个残差块、relu层、kernel_size＝1，stride＝1，padding＝1 的卷积层；kernel_size为卷积核大小，stride为步长，padding为填充；每个残差块包括依次连接的relu层、3x3的卷积层、reLu层、1x1的卷积层，编码器的输Ze(x)的尺寸为64x64x64；
表1编码器结构
潜在空间的大小K为256，每个潜在嵌入向量的维度D为64。
如表2所示，解码器包括依次连接的kernel_size＝3、stride＝1、padding＝1 的卷积层、注意力层、两个残差块、relu层、注意力层、kernel_size＝4、stride＝2、 padding＝1的反卷积层、relu层、注意力层、kernel_size＝4、stride＝2、padding＝1 的反卷积层；
表2解码器结构
| Layer | Output_size | Kernel_size | stride | padding |
| Conv5 | 64x64x128 | 3x3 | 1 | 1 |
| attention | 64x64x128 | - | - | - |
| residual | 64x64x128 | - | - | - |
| residual | 64x64x128 | - | - | - |
| relu | 64x64x128 | - | - | - |
| attention | 64x64x128 | - | - | - |
| Convtrans1 | 128x128x64 | 4x4 | 2 | 1 |
| Relu | 128x128x64 | - | - | - |
| attention | 128x128x64 | - | - | - |
| Convtrans2 | 256x256x3 | 4x4 | 2 | 1 |
注意力层即就是注意力模型，SKNet提出了一种动态选择机制，允许每个神经元根据输入信息的多个尺度自适应地调整其接受域的大小，其网络模型如图1所示，该网络主要分为三个部分，split，fuse，select。split操作分别进行两个分支卷积操作，卷积核大小分别为3x3和5x5。Fuse操作通过元素求和的方式融合这两个分支，再经过平均池化，经过全连接网络层，再经过 softmax层，相当于对feature map设置权重。Select操作将得到的两个权重特征块与分支feature map分别相乘，之后再融合，得到一个与原始输入结构相同的模块。该网络层主要是通过对特征再分配，输出一个结构相同，参数不同的结构，以实现注意力的功能。
步骤2，准备色织物裁片彩色图像数据集，对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声；其中，对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声具体为：
为无缺陷图像添加椒盐噪声，具体操作步骤如式(1)所示：
式中：
为添加噪声后的无缺陷色织衬衫裁片图像；X为无缺陷色织衬衫裁片图像，s为椒盐噪声，信噪比p＝0.7。
步骤3，将步骤2叠加噪声之后的无缺陷色织衬衫裁片图像输入步骤1 构建的注意力量子化变分自编码器模型中对模型训练，直到达到设定的迭代次数，得到训练好的注意力量子化变分自编码器模型；如图2所示，具体为：
步骤3.1，将步骤2添加噪声后的无缺陷色织衬衫裁片图像输入步骤1 训练好的注意力量子化变分自编码器模型的编码器中，经过编码器编码后输出为ze(x)；
步骤3.2，通过最近邻查找计算潜在嵌入空间e中与步骤3.1的输出ze(x)最近的向量，定位到其对应的嵌入向量ek，最后，将ek输出作为嵌入空间e的输出zq(x)；
步骤3.3，将步骤2.2中的输出zq(x)送入解码器进行解码，重构出无缺陷图像；
步骤3.4，确定模型的整体损失函数Loss如式(2)所示：
其中，sg[·]表示不执行反向梯度传递，x表示叠加噪声后的无缺陷色织衬衫裁片图像，
表示重构图像，β的值为0.25；
在训练过程中，以最小化损失函数为目标，使用Adam优化器，学习率为0.003，训练最大迭代次数为15000次，得到训练好的注意力量子化变分自编码器模型；
步骤4，将待检测的色织物裁片彩色图像输入至训练好的注意力量子化变分自编码器模型中输出对应的重构图像，再进行检测从而确定缺陷区域，如图3所示，具体按照如下步骤实施：
步骤4.1，将待测图像输入步骤3训练好的注意力量子化变分自编码器模型中，输出待测图像对应的重构图像；
步骤4.2，计算待测图像与其重构图像之间的残差，具体操作如式：
其中，X为输入待测图像，
待测图像的重构图像，Xresidual为残差图像；
步骤4.3，对残差图像进行灰度化的过程如式(4)所示：
Xgray＝0.2125Xr+0.7154Xg+0.0721Xb (4)
式中：Xgray为灰度化后的图像；Xr、Xg、Xb分别为残差图像对应的RGB 三个不同颜色通道下的像素值；
步骤4.4，对灰度化后的图像进行高斯滤波操作，如式(5)所示：
Xgray&Gaussian＝Xgray*G(x,y) (5)
式中，Xgray&Gaussian为灰度化后的图像经过高斯滤波后的图像，Xgray为灰度化后的图像，*为滑窗卷积操作，G(x,y)为高斯核函数；
其中，
(x,y)为灰度化后的图像经过高斯滤波后的图像的像素坐标，σx、σy分别为灰度化后的图像经过高斯滤波后的图像x轴、y轴方向的像素标准差；
步骤4.5，对经过高斯滤波后的图像进行二值化，得到二值化图像；
步骤4.6，对步骤4.5得到的二值化图像进行腐蚀操作，得到最终检测结果图像，腐蚀是去除物体的边界，具有细化或者收缩物体的作用；
步骤4.7，对步骤4.6得到的最终检测结果图像进行判断，图像中黑色像素为背景，白色像素块表示缺陷区域，若待测图像为无缺陷图像，最终检测结果图像会出现随机噪声，若待测图像为有缺陷图像，则最终检测结果图像会出现白色像素块。
实验装置准备：以北京联众集群公司的深度学习工作站(型号： LZ540-GR)，进行AVQVAE模型的建模、训练及缺陷检测实验。工作站硬件配置为：中央处理器为Intel(R)Core(TM)i7-6850K CPU；以NVIDIA GP102 为核心的GeForce GTX 1080Ti显卡；内存为32G。软件配置为：操作系统为Ubuntu 16.04.6LTS；Pytorch框架，具体版本为1.1.0。
实验待检测样本：用于缺陷检测的色织衬衫裁片来自广东溢达纺织有限公司制衣厂。这些裁片利用扫描仪进行图像采集，整理成分辨率为512*512*3 的样本。根据色织衬衫裁片的颜色和纹理特征，将其分为三类，分别命名为 Simple lattices(SL)、StripePatterns(SP)、Complex Lattices(CL)。本文选取了十二个色织衬衫裁片图像数据集，其中简单色织花型六类，分别为SL1、SL8、SL9、SL10、SL11、SL13，复杂色织花型六类，分别为CL1、CL2、 CL3、CL4、CL10、CL12。
实验评价指标：对检测结果图像进行了定性、定量分析。定性分析为缺陷检测区域的直观图示。定量分析中，重构结果采用峰值信噪比(PSNR) 和结构相似性(SSIM)两种指标评价模型。PSNR为图像信号所能到达的最大值与图像中噪声能量的比值，通常通过均方误差进行定义，均方误差的计算如式(7)。
式中：X为原图，
为其重构图，mse为原图与重构图之间的均方误差，H、 W分别为图像的高、宽。基于上述均方误差，PSNR定义如式(8)所示：
式中：PSNR为峰值信噪比，单位为dB分贝，n为图像像素的灰度阶数。PSNR 值越大，代表两张图像的误差失真越小，即重构去噪效果越好。
SSIM分别从亮度、对比度、结构三个方面度量原图与重构图之间的相似性，如式(9)所示。
式中：X为原图，
为其重构图，l、c、s分别表示亮度、对比度、结构三个方面的信息值。
通常，SSIM的取值范围在0到1之间，数值越大，两张图像相似度越高。
缺陷检测结果采用准确率(Precision，P)、召回率(Recall，R)、精确率(Accuracy，ACC)和平均交并比(IoU)四种指标评价模型。其中，准确率、召回率、精确率的定义分别为式(10)-(13)所示：
P＝TP/(TP+FP) (10)
R＝TP/(TP+FN) (11)
Acc＝(TP+TN)/(TP+TN+FP+FN) (12)
式中，TP表示真实缺陷区域被成功检出的像素个数；TN表示真实缺陷区域未被检出的像素个数；FP表示正常区域被错误检测为缺陷区域的像素个数； FN表示正常区域被成功检测为正常区域的像素个数。
实验结果定性分析：本实验用物缺陷色织衬衫裁片图像对AVQVAE模型进行训练，训练好的AVQVAE模型拥有对色织衬衫裁片图像的重构修复能力，重构结果如附图6所示。通过附图6可见，本申请AVQVAE模型具有较好的重构修复能力，能够准确还原不同花型色织衬衫裁片图像。最后，计算待测色织衬衫裁片图像与重构图像的残差，并进行一系列后处理操作，最终定位缺陷区域，部分结果如附图7所示。从附图7可见，AVQVAE模型能够准确定位出织物缺陷区域。
实验结果定量分析：为检测AVQVAE模型在12个数据集上的重构效果，计算了色织衬衫裁片原图及其重构图之间的PSNR、SSIM值，PSNR的值为 0至100之间，数据越大越好，SSIM的值为0至1之间，数据越大越好，如表3所示：
表3 AVQVAE模型在12个数据集上的重构结果
检测结果的准确率(P)、召回率(R)、和精确率(ACC)的对比，数值越大表明检测结果越好，实验结果如表4所示：
表4 AVQVAE模型在12个数据集上的缺陷检测结果
实验总结：本发明提出一种针对色织衬衫裁片缺陷检测方法，构建注意力量子化变分自编码器模型，通过计算待测织物图像与重构图像之间的残差，通过数学形态学分析，实现色织衬衫裁片的缺陷检测与定位。同时，该方法的计算效率和检测精度均能满足色织衬衫裁片的工程需求，为色织衬衫制衣行业的验片工艺提供一种易于工程化的缺陷自动检测方案。
Claims (8)
1.一种针对色织物裁片缺陷区域的检测方法，其特征在于，具体按照如下步骤实施：
步骤1，在量子化变分自编码器的模型内融入注意力机制构建注意力量子化变分自编码器模型；
步骤2，准备色织物裁片彩色图像数据集，对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声；
步骤3，将步骤2叠加噪声之后的无缺陷色织衬衫裁片图像输入步骤1构建的注意力量子化变分自编码器模型中对模型训练，直到达到设定的迭代次数，得到训练好的注意力量子化变分自编码器模型；
步骤4，将待检测的色织物裁片彩色图像输入至训练好的注意力量子化变分自编码器模型中输出对应的重构图像，再进行检测从而确定缺陷区域。
2.根据权利要求1所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤1中的注意力量子化变分自编码器模型包括依次连接的编码器、潜在嵌入空间和解码器。
3.根据权利要求2所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述编码器包括依次连接的kernel_size为4，stride为2，padding为1的卷积层、注意力层、relu层、kernel_size为4，stride为2，padding为1的卷积层、注意力层、relu层、kernel_size＝3，stride＝1，padding＝1的卷积层、注意力层、两个残差块、relu层、kernel_size＝1，stride＝1，padding＝1的卷积层；
所述kernel_size为卷积核大小，stride为步长，padding为填充；
每个所述残差块包括依次连接的relu层、3x3的卷积层、reLu层、1x1的卷积层。
4.根据权利要求3所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述潜在空间的大小K为256，每个潜在嵌入向量的维度D为64。
5.根据权利要求4所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述解码器包括依次连接的kernel_size＝3、stride＝1、padding＝1的卷积层、注意力层、两个残差块、relu层、注意力层、kernel_size＝4、stride＝2、padding＝1的反卷积层、relu层、注意力层、kernel_size＝4、stride＝2、padding＝1的反卷积层。
6.根据权利要求5所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤2中对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声具体为：
为无缺陷图像添加椒盐噪声，具体操作步骤如式(1)所示：
式中：
为添加噪声后的无缺陷色织衬衫裁片图像；X为无缺陷色织衬衫裁片图像，s为椒盐噪声，信噪比p＝0.7。
7.根据权利要求6所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤3具体为：
步骤3.1，将步骤2添加噪声后的无缺陷色织衬衫裁片图像输入步骤1训练好的注意力量子化变分自编码器模型的编码器中，经过编码器编码后输出为ze(x)；
步骤3.2，通过最近邻查找计算潜在嵌入空间e中与步骤3.1的输出ze(x)最近的向量，定位到其对应的嵌入向量ek，最后，将ek输出作为嵌入空间e的输出zq(x)；
步骤3.3，将步骤2.2中的输出zq(x)送入解码器进行解码，重构出无缺陷图像；
步骤3.4，确定模型的整体损失函数Loss如式(2)所示：
其中，sg[·]表示不执行反向梯度传递，x表示叠加噪声后的无缺陷色织衬衫裁片图像，
表示重构图像，β的值为0.25；
在训练过程中，以最小化损失函数为目标，使用Adam优化器，学习率为0.003，训练最大迭代次数为15000次，得到训练好的注意力量子化变分自编码器模型。
8.根据权利要求7所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤4具体按照如下步骤实施：
步骤4.1，将待测图像输入步骤3训练好的注意力量子化变分自编码器模型中，输出待测图像对应的重构图像；
步骤4.2，计算待测图像与其重构图像之间的残差，具体操作如式：
其中，X为输入待测图像，
为待测图像的重构图像，Xresidual为残差图像；
步骤4.3，对残差图像进行灰度化的过程如式(4)所示：
Xgray＝0.2125Xr+0.7154Xg+0.0721Xb (4)
式中：Xgray为灰度化后的图像；Xr、Xg、Xb分别为残差图像对应的RGB三个不同颜色通道下的像素值；
步骤4.4，对灰度化后的图像进行高斯滤波操作，如式(5)所示：
Xgray&Gaussian＝Xgray*G(x,y) (5)
式中，Xgray&Gaussian为灰度化后的图像经过高斯滤波后的图像，Xgray为灰度化后的图像，*为滑窗卷积操作，G(x,y)为高斯核函数；
其中，
(x,y)为灰度化后的图像经过高斯滤波后的图像的像素坐标，σx、σy分别为灰度化后的图像经过高斯滤波后的图像x轴、y轴方向的像素标准差；
步骤4.5，对经过高斯滤波后的图像进行二值化，得到二值化图像；
步骤4.6，对步骤4.5得到的二值化图像进行腐蚀操作，得到最终检测结果图像；
步骤4.7，对步骤4.6得到的最终检测结果图像进行判断，图像中黑色像素为背景，白色像素块表示缺陷区域，若待测图像为无缺陷图像，最终检测结果图像会出现随机噪声，若待测图像为有缺陷图像，则最终检测结果图像会出现白色像素块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111150794.6A CN113902695B (zh) | 2021-09-29 | 2021-09-29 | 一种针对色织物裁片缺陷区域的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111150794.6A CN113902695B (zh) | 2021-09-29 | 2021-09-29 | 一种针对色织物裁片缺陷区域的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902695A true CN113902695A (zh) | 2022-01-07 |
| CN113902695B CN113902695B (zh) | 2024-08-06 |
Family
ID=79189089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111150794.6A Active CN113902695B (zh) | 2021-09-29 | 2021-09-29 | 一种针对色织物裁片缺陷区域的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902695B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN111402197A (zh) * | 2020-02-09 | 2020-07-10 | 西安工程大学 | 一种针对色织物裁片缺陷区域的检测方法 |
| CN113171106A (zh) * | 2021-04-25 | 2021-07-27 | 安徽十锎信息科技有限公司 | 基于vq-vae2和深度神经网络方法的心电异常检测方法 |
| CN113450307A (zh) * | 2021-05-12 | 2021-09-28 | 西安电子科技大学 | 一种产品边缘缺陷检测方法 |
-
2021
- 2021-09-29 CN CN202111150794.6A patent/CN113902695B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN111402197A (zh) * | 2020-02-09 | 2020-07-10 | 西安工程大学 | 一种针对色织物裁片缺陷区域的检测方法 |
| CN113171106A (zh) * | 2021-04-25 | 2021-07-27 | 安徽十锎信息科技有限公司 | 基于vq-vae2和深度神经网络方法的心电异常检测方法 |
| CN113450307A (zh) * | 2021-05-12 | 2021-09-28 | 西安电子科技大学 | 一种产品边缘缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 景军锋;党永强;苏泽斌;李鹏飞;张宏伟;: "基于改进SAE网络的织物疵点检测算法", 电子测量与仪器学报, no. 08, 15 August 2017 (2017-08-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
| CN114841977B (zh) * | 2022-05-17 | 2023-04-25 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902695B (zh) | 2024-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023070911A1 (zh) | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 | |
| CN111402197B (zh) | 一种针对色织物裁片缺陷区域的检测方法 | |
| WO2023050563A1 (zh) | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 | |
| CN114549522A (zh) | 基于目标检测的纺织品质量检测方法 | |
| CN111223093A (zh) | 一种aoi缺陷检测方法 | |
| CN110796637A (zh) | 图像缺陷检测模型的训练、测试方法、装置及存储介质 | |
| CN105654121A (zh) | 一种基于深度学习的复杂提花织物缺陷检测方法 | |
| CN106530288A (zh) | 基于深度学习算法的织物疵点检测方法 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN114119502A (zh) | 一种针对彩色纹理织物色差和污渍缺陷的检测方法 | |
| Zhang et al. | Defect detection of yarn-dyed shirts based on denoising convolutional self-encoder | |
| CN114119500A (zh) | 一种基于生成对抗网络的色织物缺陷区域的检测方法 | |
| CN115205209A (zh) | 一种基于弱监督学习的单色布匹瑕疵检测方法 | |
| CN115170529A (zh) | 基于注意力机制的多尺度微小瑕疵检测方法 | |
| CN113989224A (zh) | 一种基于生成对抗网络的彩色纹理织物缺陷检测方法 | |
| CN113838040A (zh) | 一种针对彩色纹理织物缺陷区域的检测方法 | |
| CN116012310A (zh) | 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法 | |
| CN114972216A (zh) | 一种纹理表面缺陷检测模型的构建方法及其应用 | |
| Zhang et al. | Yarn-dyed fabric defect detection using u-shaped de-noising convolutional auto-encoder | |
| CN113902695B (zh) | 一种针对色织物裁片缺陷区域的检测方法 | |
| CN117078608B (zh) | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 | |
| CN108537266A (zh) | 一种深度卷积网络的织物纹理疵点分类方法 | |
| CN117237274A (zh) | 基于生成对抗网络的数码印花织物缺陷检测方法 | |
| CN115205210A (zh) | 一种基于深度自编码器的表面瑕疵检测方法 | |
| CN112508862B (zh) | 一种通过改进gan增强裂纹磁光图像的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |