CN111402197A - 一种针对色织物裁片缺陷区域的检测方法 - Google Patents
一种针对色织物裁片缺陷区域的检测方法 Download PDFInfo
- Publication number
- CN111402197A CN111402197A CN202010085913.3A CN202010085913A CN111402197A CN 111402197 A CN111402197 A CN 111402197A CN 202010085913 A CN202010085913 A CN 202010085913A CN 111402197 A CN111402197 A CN 111402197A
- Authority
- CN
- China
- Prior art keywords
- image
- formula
- defect
- cut piece
- yarn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 89
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 239000004744 fabric Substances 0.000 title claims abstract description 58
- 230000002950 deficient Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 27
- 239000002759 woven fabric Substances 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims description 20
- 150000001875 compounds Chemical class 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 230000008439 repair process Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004451 qualitative analysis Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Treatment Of Fiber Materials (AREA)
Abstract
本发明一种针对色织物裁片缺陷区域的检测方法，具体按照以下步骤实施：步骤1、每次随机选取待检测的色织物裁片彩色图像中的一张无缺陷图像，将该张无缺陷图像进行先叠加噪声，后输入至U型去噪卷积自编码模型中进行迭代处理，重复操作多次，直至U型去噪卷积自编码模型达到设定的迭代次数，得到训练好的U型去噪卷积自编码模型；步骤2、将所有待检测的色织物裁片彩色图像输入至训练好的U型去噪卷积自编码模型中输出各自对应的重构图像，再进行检测从而确定缺陷区域。本发明一种针对色织物裁片缺陷区域的检测方法，能够有效地对色织物图像重构修复，从而可以快速、准确地检测出色织物缺陷。
Description
技术领域
本发明属于色织物缺陷检测技术领域，具体涉及一种针对色织物裁片缺陷区域的检测方法。
背景技术
色织物花型美观大方，其花型一般由染色的纱线经纬交织而成，但由于色织物品质波动和生产过程中的不确定因素，色织物裁片外观不可避免地会出现缺陷，如破洞、断头、双纱等。为了提高色织物的品质、降低缺陷裁片对色织物产品的影响，经过裁剪工序加工的裁片在进入缝制工序前，需要进行严格检测。目前，色织物裁片的缺陷检测基本依赖人工目测，人工检测方法效率低、速度慢且准确率不稳定。因此，亟需一种高效率的机器视觉方法来解决人工目测存在的问题。
目前，基于机器视觉的织物缺陷检测技术已成为纺织行业的一个研究热点。针对纹理、花型相对固定的织物品种，研究人员设计了多种能够区分缺陷区域和织物背景图像特征的传统织物缺陷检测方法，可分为基于统计的、基于谱特征的、基于结构的、基于模型的、基于字典学习的和混合的检测方法。传统检测方法只能针对特定织物，人工设计精巧的检测算法来判别织物的特征以实现织物的缺陷检测，具有成本高且难以适用于新的色织物花型检测的缺点。而对于产量大且花型固定的织物品种，易于构建缺陷样本数量丰富、缺陷种类相对平衡的数据集，如果再对这些缺陷样本进行准确地人工标注，借助有监督机器学习的织物缺陷检测方法能够很好地实现织物缺陷的检测、分类，但在实际生产场景中，色织物花型品种随市场需求而变化，难以构建缺陷种类完备的织物数据库，更难以实现完备地人工标注，因此，基于有监督机器学习的织物缺陷检测方法难以适应于色织物的缺陷检测。而无监督机器学习的色织物缺陷检测方法由于不需要人工手动标记缺陷区域，已经引起了部分色织物缺陷检测研究人员的关注。无监督机器学习的织物缺陷检测模型可以有效利用实际生产中无缺陷样本容易获取的优势，以及不需要标注缺陷样本的巨大优点，通过去噪、重构得到待测样本的修复图像，再计算待测样本与其修复图像的残差图像，即可快速检测和定位色织物的缺陷区域。但是目前无监督机器学习的色织物缺陷检测方法较少，并且所借助的模型也不同，导致缺陷检测效果参差不齐。
发明内容
本发明的目的是提供一种针对色织物裁片缺陷区域的检测方法，能够有效地对色织物图像重构修复，从而可以快速、准确地检测出色织物缺陷。
本发明所采用的技术方案是：一种针对色织物裁片缺陷区域的检测方法，具体按照以下步骤实施：
步骤1、每次随机选取待检测的色织物裁片彩色图像中的一张无缺陷图像，将该张无缺陷图像进行先叠加噪声，后输入至U型去噪卷积自编码模型中进行迭代处理，重复操作多次，直至U型去噪卷积自编码模型达到设定的迭代次数，得到训练好的U型去噪卷积自编码模型；
步骤2、将所有待检测的色织物裁片彩色图像输入至训练好的U型去噪卷积自编码模型中输出各自对应的重构图像，再进行检测从而确定缺陷区域。
本发明的特点还在于，U型去噪卷积自编码模型的输入层和输出层均为三通道图像结构，隐藏层采用对称性卷积和反卷积网络组成的自编码器结构，U型去噪卷积自编码模型的卷积神经网络采用padding填充方式。
步骤1中叠加噪声的具体操作步骤如式(1)所示：
式中，X为无缺陷图像，N(0,1)为服从均值为0，标准差为1的标准正态分布的高斯噪声，
为叠加噪声后的无缺陷图像。
步骤1中迭代的具体操作包括如下步骤：
步骤1.1、对叠加噪声后的无缺陷图像进行压缩编码，压缩编码的具体操作如式(2)所示：
式中，W、b分别为U型去噪卷积自编码模型编码网络的权重和偏置，。为卷积编码操作，R(·)为修正线性单元激活函数，R(x)＝max(0,x)，z为压缩编码后的图像；
步骤1.3、对步骤1.2得到的压缩编码后的图像进行解码得到重构图像，解码操作的具体操作如式(3)所示：
式中，W′、b′分别为U型去噪卷积自编码模型解码网络的权重和偏置，·为卷积解码操作，
为一张重构图像；
步骤1.4、计算步骤1.3得到的重构图像和该重构图像对应的未叠加噪声的原图像之间的像素损失，具体操作如式(4)所示：
式中，
为重构图像，X(i)为重构图像对应的未叠加噪声的原图像，n为重构图像对应的未叠加噪声的原图像的个数，n等于1，
为迭代过程中生成的权重、偏置，JL1(·)为损失函数。
步骤1中的迭代次数大于待检测的色织物裁片彩色图像中的所有无缺陷图像的数量。
步骤2中检测的具体操作包括如下步骤：
步骤2.1、将彩色图像和其对应的重构图像均进行灰度化处理，灰度化处理的具体操作如式(5)所示：
式中，Xr、Xg、Xb分别为彩色图像或其对应的重构图像的RGB三个不同颜色通道的像素值，
为灰度化后的图像；
步骤2.2、将彩色图像灰度化后的图像、重构图像灰度化后的图像分别进行高斯滤波，具体操作如式(6)、式(7)所示：
Xgray+Gaussian＝Xgray*G(x,y) (6)
式中，Xgray为彩色图像灰度化后的图像，*为滑窗卷积操作，G(x,y)为高斯核函数，
(x,y)为彩色图像灰度化后的图像的像素坐标，σx、σy分别为彩色图像灰度化后的图像x轴、y轴方向的像素标准差，Xgray+Gaussian为彩色图像经过灰度化、高斯滤波后的图像；
式中，
为重构图像灰度化后的图像，
为重构图像经过灰度化、高斯滤波后的图像；
步骤2.3、计算步骤2.2得到的彩色图像经过灰度化、高斯滤波后的图像和重构图像经过灰度化、高斯滤波后得到的图像之间的残差图像，具体操作如式(8)所示：
式中，Xgray+Gaussian为彩色图像经过灰度化、高斯滤波后的图像，
为重构图像经过灰度化、高斯滤波后得到的图像，Xres为残差图像；
步骤2.4、将步骤2.3得到的残差图像进行二值化处理，具体操作如式(9)所示：
式中，μ为残差图像的均值，σ为残差图像的标准差，p为残差图像的像素值，T为二值化阈值；
步骤2.5、将经过二值化后的残差图像进行开运算处理得到检测结果图像，分析检测结果图像确定缺陷区域，若检测结果图像上显示的差异为随机噪声，则表示输入的彩色图像不存在缺陷，若检测结果图像上显示的差异为像素数值差异，则表示输入的彩色图像存在缺陷，并且缺陷区域为像素差异明显的区域，即图像像素值为1的区域。
步骤2.5中的开运算处理具体操作如式(10)所示：
式中，Xbinary为经过二值化后的残差图像，K为3×3的开运算结构元素，
为图像腐蚀操作，
为图像膨胀操作，Xopening为检测结果图像。
本发明一种针对色织物裁片缺陷区域的检测方法的有益效果是：本发明一种针对色织物裁片缺陷区域的检测方法通过构建色织物无缺陷样本数据库并建立一种无监督色织物重构修复模型即U型去噪卷积自编码器模型，利用已构建的数据库训练此模型，使训练后的模型得到一种色织物图像重构修复能力，并且图像重构修复效果优秀，使得在检测新的待测色织物图像时，通过分析待测色织物原图与重构修复后的色织物图像之间的残差图像，能够快速、准确地检测出色织物缺陷。
附图说明
图1是本发明一种针对色织物裁片缺陷区域的检测方法中用到的U型去噪卷积自编码器模型的结构图；
图2是本发明一种针对色织物裁片缺陷区域的检测方法中步骤1的流程示意图；
图3是本发明一种针对色织物裁片缺陷区域的检测方法中步骤2的流程示意图；
图4是本发明一种针对色织物裁片缺陷区域的检测方法中实验样本中的部分无缺陷样本；
图5是本发明一种针对色织物裁片缺陷区域的检测方法中实验样本中的部分缺陷样本；
图6是本发明一种针对色织物裁片缺陷区域的检测方法中实验所用UDCAE模型与MSCDAE模型进行检测的结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种针对色织物裁片缺陷区域的检测方法构建的U型去噪卷积自编码模型(UDCAE模型)结构如附图1所示，U型去噪卷积自编码模型主要由卷积层、最大池化层、反卷积层和网络拼接层组成，其中，每层卷积层后均采用了ReLU激活函数，保证了卷积神经网络提取色织物特征的有效性。此模型的输入层和输出层均为三通道图像结构，为重构模型的输入提供了前提条件；隐藏层采用对称性卷积和反卷积网络组成的自编码器结构，实现了无监督机器学习机制；模型训练阶段采用的损失函数是L1损失函数，由于自编码器的输出为最大程度地复现其输入，因此二者之间的差异越小效果越佳，而L1损失函数直接计算输入与输出差值的绝对值，使得模型训练时获得一个较真实且数值不至于过小的损失值，优化器能够更好地对训练参数进行迭代调整；U型去噪卷积自编码模型的卷积神经网络采用padding填充方式用于保证在短路跳接操作时网络层的输入、输出数据维度一致，无需经典Unet网络结构中的裁剪(crop)操作。
本发明一种针对色织物裁片缺陷区域的检测方法，包括两大步骤，步骤1为对U型去噪卷积自编码模型的训练阶段，步骤2为利用步骤1训练后的U型去噪卷积自编码模型进行缺陷区域确定的检测阶段，步骤1、步骤2具体如下：
步骤1、每次随机选取待检测的色织物裁片彩色图像中的一张无缺陷图像，将该张无缺陷图像进行先叠加噪声，后输入至U型去噪卷积自编码模型中进行迭代处理，重复操作多次，直至U型去噪卷积自编码模型达到设定的迭代次数，得到训练好的U型去噪卷积自编码模型；
步骤2、将所有待检测的色织物裁片彩色图像输入至训练好的U型去噪卷积自编码模型中输出各自对应的重构图像，再进行检测从而确定缺陷区域。
具体地，UDCAE模型训练时，模型输入为叠加了高斯噪声的无缺陷色织物裁片图像，输出为重构的色织物裁片图像。以逐渐降低输入图像和重构图像损失函数数值为目标，利用UDCAE模型中的Adam优化器迭代调整UDCAE模型的权重，直至达到设定的迭代次数，使得重构图像和输入图像的像素差异最小化为止，具体训练阶段步骤的流程如附图2所示，步骤1包括的叠加噪声的具体操作步骤如式(1)所示：
式中，X为无缺陷图像，N(0,1)为服从均值为0，标准差为1的标准正态分布的高斯噪声，
为叠加噪声后的无缺陷图像。
步骤1中迭代的具体操作包括如下步骤：
步骤1.1、对叠加噪声后的无缺陷图像进行压缩编码，压缩编码的具体操作如式(2)所示：
式中，W、b分别为U型去噪卷积自编码模型编码网络的权重和偏置，。为卷积编码操作，R(·)为修正线性单元激活函数，R(x)＝max(0,x)，z为压缩编码后的图像；
步骤1.3、对步骤1.2得到的压缩编码后的图像进行解码得到重构图像，解码操作的具体操作如式(3)所示：
式中，W′、b′分别为U型去噪卷积自编码模型解码网络的权重和偏置，·为卷积解码操作，
为一张重构图像；
步骤1.4、计算步骤1.3得到的重构图像和该重构图像对应的未叠加噪声的原图像之间的像素损失，具体操作如式(4)所示：
式中，
为重构图像，X(i)为重构图像对应的未叠加噪声的原图像，n为重构图像对应的未叠加噪声的原图像的个数，n等于1，
为迭代过程中生成的权重、偏置，JL1(·)为损失函数。
进一步地，步骤1中的迭代次数大于待检测的色织物裁片彩色图像中的所有无缺陷图像的数量，是为了保证色织物无缺陷样本数据库中的样本都能得到训练，训练阶段以最小化L1损失函数为目标，是为了在模型训练过程中的输出可以最大程度地复现输入。
具体地，步骤2的检测阶段步骤流程如附图3所示，具体操作包括如下步骤：
步骤2.1、将彩色图像和其对应的重构图像均进行灰度化处理，灰度化处理的具体操作如式(5)所示：
式中，Xr、Xg、Xb分别为彩色图像或其对应的重构图像的RGB三个不同颜色通道的像素值，
为灰度化后的图像；
步骤2.2、将彩色图像灰度化后的图像、重构图像灰度化后的图像分别进行高斯滤波，具体操作如式(6)、式(7)所示：
Xgray+Gaussian＝Xgray*G(x,y) (6)
式中，Xgray为彩色图像灰度化后的图像，*为滑窗卷积操作，G(x,y)为高斯核函数，
(x,y)为彩色图像灰度化后的图像的像素坐标，σx、σy分别为彩色图像灰度化后的图像x轴、y轴方向的像素标准差，Xgray+Gaussian为彩色图像经过灰度化、高斯滤波后的图像；
式中，
为重构图像灰度化后的图像，
为重构图像经过灰度化、高斯滤波后的图像；
步骤2.3、计算步骤2.2得到的彩色图像经过灰度化、高斯滤波后的图像和重构图像经过灰度化、高斯滤波后得到两图像之间的残差图像，具体操作如式(8)所示：
式中，Xgray+Gaussian为彩色图像经过灰度化、高斯滤波后的图像，
为重构图像经过灰度化、高斯滤波后得到的图像，Xres为残差图像；
步骤2.4、将步骤2.3得到的残差图像进行二值化处理，具体操作如式(9)所示：
式中，μ为残差图像的均值，σ为残差图像的标准差，p为残差图像的像素值，T为二值化阈值；
步骤2.5、将经过二值化后的残差图像进行开运算处理得到检测结果图像，分析检测结果图像确定缺陷区域，若检测结果图像上显示的差异为随机噪声，则表示输入的彩色图像不存在缺陷，若检测结果图像上显示的差异为像素数值差异，则表示输入的彩色图像存在缺陷，并且缺陷区域为像素差异明显的区域，即图像像素值为1的区域。
进一步地，步骤2.5中的开运算处理具体操作如式(10)所示：
式中，Xbinary为经过二值化后的残差图像，K为3×3的开运算结构元素，
为图像腐蚀操作，
为图像膨胀操作，Xopening为检测结果图像。
下面以具体实施例对本发明一种针对色织物裁片缺陷区域的检测方法进行说明：
实验装置准备：以北京联众集群公司的深度学习工作站(型号：LZ540-GR)，进行UDCAE模型的建模、训练及缺陷检测实验。工作站硬件配置为：中央处理器为Intel(R)Core(TM)i7-6850K CPU(1个物理CPU，12个逻辑CPU，每个CPU核数为6核，主频3.60GHz)；以NVIDIA GP102为核心的GeForce GTX 1080Ti显卡(双卡，每块显卡内存为11G)；内存为32G。软件配置为：操作系统为Ubuntu 16.04.6LTS；以Keras为前端，TensorFlow为后端的深度学习网络模型搭建框架，Keras和TensorFlow具体版本分别为2.1.3和1.12.0；软件编程环境为Anaconda。
实验待检测样本：实验所用色织物裁片为色织衬衫裁片，选自广东溢达纺织有限公司制衣厂，所有色织物裁片利用扫描仪进行图像采集，整理成分辨率为512*512*3的样本。根据色织衬衫裁片的花型，本实验构建了四个色织衬衫裁片图像数据集，分别命名为Data I，Data II，Data III，Data IV。各数据集部分样本如附图4、5所示，其中，附图4为色织衬衫裁片部分无缺陷样本，附图5为色织衬衫裁片部分缺陷样本。
实验评价指标：对检测结果图像进行了定性、定量分析。定性分析为缺陷检测区域的直观图示。定量分析采用平均单帧检测时间、准确率(Precision，P)、召回率(Recall，R)和精确率(Accuracy，ACC)四种指标评价模型。其中，准确率、召回率、精确率的定义分别为式(11)、(12)、(13)所示：
P＝TP/(TP+FP) (11)
R＝TP/(TP+FN) (12)
ACC＝(TP+TN)/(TP+TN+FP+FN) (13)
式中，TP表示真实缺陷区域被成功检出的像素个数；TN表示真实缺陷区域未被检出的像素个数；FP表示正常区域被错误检测为缺陷区域的像素个数；FN表示正常区域被成功检测为正常区域的像素个数。
实验过程：首先，构建色织衬衫裁片样本数据库，包含无缺陷样本和缺陷样本，其中无缺陷样本应用于模型的训练，检测阶段包含样本库中所有样本，而缺陷样本仅应用于模型的检测；其次，建立一种无监督色织物重构修复模型UDCAE模型，利用已构建的色织衬衫裁片无缺陷样本训练此模型，训练后的模型获得一种色织物重构修复能力；最后，在检测待测色织衬衫裁片图像时，通过分析待测色织衬衫裁片原图与重构修复后的色织衬衫裁片图像之间的残差图像，实现快速检测色织衬衫裁片缺陷区域。
实验结果定性分析：本实验用无缺陷色织衬衫裁片图像对UDCAE模型进行训练，训练好的UDCAE模型拥有对色织衬衫裁片图像的重构修复能力。最后，计算待测色织衬衫裁片图像与重构图像的残差图像，通过残差分析检测并定位缺陷区域。本实验将UDCAE模型与MSCDAE模型(Multi-scale Convolutional Denoising Autoencoder,)的重构、检测结果进行了对比，部分结果如附图6所示，通过附图6可见，本申请UDCAE模型能够在准确还原不同花型色织衬衫裁片图像的基础上，更好地修复色织衬衫裁片图像中的缺陷区域。通过直观对比，虽然MSCDAE模型和UDCAE模型都具备较好的重构修复能力，但UDCAE模型的修复能力相对更好。从附图6中Data II数据集三个缺陷样本的重构效果来看，UDCAE模型修复效果的确优于MSCDAE模型。
本申请提出的UDCAE模型，利用训练好的模型对色织衬衫裁片缺陷图像实施检测阶段步骤，进行缺陷检测实验。从附图6可看出，UDCAE模型准确地检出了Data I中第一个缺陷样本的缺陷区域，但MSCADE模型出现了过检。对于Data II三个缺陷样本，MSCADE模型均出现了严重漏检，而UDCAE模型的检测结果较准确。针对Data III的第三个缺陷样本，UDCAE模型准确地检测出了该裁片的两处缺陷区域，而MSCADE模型误判了一处较小的缺陷区域。针对Data IV的第二个缺陷样本，UDCAE模型再次比MSCADE模型更为准确地检测出了缺陷区域。因此，从定性分析角度，MSCDAE模型针对色织衬衫裁片缺陷图像的检测存在部分过检、漏检的现象，相比之下，UDCAE模型能够更精确地检测、定位缺陷区域，且检测结果与真实缺陷更接近。
实验结果定量分析：通过实验，列出MSCDAE和UDCAE两种模型针对四种花型色织衬衫裁片数据集的缺陷图像平均检测耗时的对比，如表1所示：
表1 MSCDAE和UDCAE模型平均检测时间对比(单位：秒)
通过表1，可知UDCAE模型的缺陷检测相对于MSCDAE模型耗时更少。
列出UDCAE模型和MSCDAE模型分别在Data I、Data II、Data III和Data IV四个数据集上检测结果的准确率(P)、召回率(R)和精确率(ACC)的对比，其中，准确率(P)、召回率(R)和精确率(ACC)的取值范围均为从0到1，数值越大表明检测结果越好，对比如表2所示：
表2 MSCDAE和UDCAE模型检测结果不同评价指标对比
通过表2可知，针对Data I、Data II、Data III三个数据集，UDCAE模型在准确率、召回率和精确率三项评价指标下均取得了比MSCDAE模型更高的分数。其中，采用MSCDAE模型训练并检测的Data II数据集，获得了较低的召回率分数，因为其检测结果存在大量漏检，而召回率对漏检惩罚较大。两种模型针对Data IV数据集：(1)准确率和召回率两项评价指标下，UDCAE模型虽未占绝对优势，但两个模型获得的评价指标分数数值相差不大，差距不超过2％；(2)UDCAE模型比MSCDAE模型的检测精确率高4％左右。由此可以得出，在准确率、召回率和精确率三项评价指标下，UDCAE模型比MSCDAE模型效果更好。
实验总结：本发明提出的一种针对色织物裁片缺陷区域的检测方法，实质属于是一种基于U型去噪卷积自编码器的无监督建模方法，通过计算待测织物图像与模型重构图像的残差，进行数学形态学分析，实现色织衬衫裁片的缺陷检测和定位。该方法使用无缺陷样本建立无监督U型去噪卷积自编码器模型，可以有效避开缺陷样本数量稀缺、缺陷种类不平衡、人工设计缺陷特征构造成本高且特征泛化能力差等实际问题。同时，该方法的计算效率和检测精度均能满足色织衬衫裁片的验片工艺需求，为色织衬衫制衣行业的验片工艺提供了一种易于工程化的缺陷自动检测方案。
Claims (7)
1.一种针对色织物裁片缺陷区域的检测方法，其特征在于，具体按照以下步骤实施：
步骤1、每次随机选取待检测的色织物裁片彩色图像中的一张无缺陷图像，将该张无缺陷图像进行先叠加噪声，后输入至U型去噪卷积自编码模型中进行迭代处理，重复操作多次，直至U型去噪卷积自编码模型达到设定的迭代次数，得到训练好的U型去噪卷积自编码模型；
步骤2、将所有待检测的色织物裁片彩色图像输入至训练好的U型去噪卷积自编码模型中输出各自对应的重构图像，再进行检测从而确定缺陷区域。
2.根据权利要求1所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述U型去噪卷积自编码模型的输入层和输出层均为三通道图像结构，隐藏层采用对称性卷积和反卷积网络组成的自编码器结构，U型去噪卷积自编码模型的卷积神经网络采用padding填充方式。
3.根据权利要求1所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤1中叠加噪声的具体操作步骤如式(1)所示：
式中，X为无缺陷图像，N(0,1)为服从均值为0，标准差为1的标准正态分布的高斯噪声，
为叠加噪声后的无缺陷图像。
4.根据权利要求1所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤1中迭代的具体操作包括如下步骤：
步骤1.1、对叠加噪声后的无缺陷图像进行压缩编码，所述压缩编码的具体操作如式(2)所示：
式中，W、b分别为U型去噪卷积自编码模型编码网络的权重和偏置，
为卷积编码操作，R(·)为修正线性单元激活函数，R(x)＝max(0,x)，z为压缩编码后的图像；
步骤1.3、对步骤1.2得到的压缩编码后的图像进行解码得到重构图像，所述解码操作的具体操作如式(3)所示：
式中，W′、b′分别为U型去噪卷积自编码模型解码网络的权重和偏置，·为卷积解码操作，
为一张重构图像；
步骤1.4、计算步骤1.3得到的重构图像和该重构图像对应的未叠加噪声的原图像之间的像素损失，具体操作如式(4)所示：
式中，
为重构图像，X(i)为重构图像对应的未叠加噪声的原图像，n为重构图像对应的未叠加噪声的原图像的个数，n等于1，
为迭代过程中生成的权重、偏置，JL1(·)为损失函数。
5.根据权利要求1所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤1中的迭代次数大于待检测的色织物裁片彩色图像中的所有无缺陷图像的数量。
6.根据权利要求1所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤2中检测的具体操作包括如下步骤：
步骤2.1、将所述彩色图像和其对应的重构图像均进行灰度化处理，所述灰度化处理的具体操作如式(5)所示：
式中，Xr、Xg、Xb分别为彩色图像或其对应的重构图像的RGB三个不同颜色通道的像素值，
为灰度化后的图像；
步骤2.2、将彩色图像灰度化后的图像、重构图像灰度化后的图像分别进行高斯滤波，具体操作如式(6)、式(7)所示：
Xgray+Gaussian＝Xgray*G(x,y) (6)
式中，Xgray为彩色图像灰度化后的图像，*为滑窗卷积操作，G(x,y)为高斯核函数，
(x,y)为彩色图像灰度化后的图像的像素坐标，σx、σy分别为彩色图像灰度化后的图像x轴、y轴方向的像素标准差，Xgray+Gaussian为彩色图像经过灰度化、高斯滤波后的图像；
式中，
为重构图像灰度化后的图像，
为重构图像经过灰度化、高斯滤波后的图像；
步骤2.3、计算步骤2.2得到的彩色图像经过灰度化、高斯滤波后的图像和重构图像经过灰度化、高斯滤波后得到的图像之间的残差图像，具体操作如式(8)所示：
式中，Xgray+Gaussian为彩色图像经过灰度化、高斯滤波后的图像，
为重构图像经过灰度化、高斯滤波后得到的图像，Xres为残差图像；
步骤2.4、将步骤2.3得到的残差图像进行二值化处理，具体操作如式(9)所示：
式中，μ为残差图像的均值，σ为残差图像的标准差，p为残差图像的像素值，T为二值化阈值；
步骤2.5、将经过二值化后的残差图像进行开运算处理得到检测结果图像，分析检测结果图像确定缺陷区域，若检测结果图像上显示的差异为随机噪声，则表示输入的彩色图像不存在缺陷，若检测结果图像上显示的差异为像素数值差异，则表示输入的彩色图像存在缺陷，并且缺陷区域为像素差异明显的区域，即图像像素值为1的区域。
7.根据权利要求6所述的一种针对色织物裁片缺陷区域的检测方法，其特征在于，所述步骤2.5中的开运算处理具体操作如式(10)所示：
式中，Xbinary为经过二值化后的残差图像，K为3×3的开运算结构元素，
为图像腐蚀操作，
为图像膨胀操作，Xopening为检测结果图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010085913.3A CN111402197B (zh) | 2020-02-09 | 2020-02-09 | 一种针对色织物裁片缺陷区域的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010085913.3A CN111402197B (zh) | 2020-02-09 | 2020-02-09 | 一种针对色织物裁片缺陷区域的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111402197A true CN111402197A (zh) | 2020-07-10 |
| CN111402197B CN111402197B (zh) | 2023-06-16 |
Family
ID=71434250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010085913.3A Active CN111402197B (zh) | 2020-02-09 | 2020-02-09 | 一种针对色织物裁片缺陷区域的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402197B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184693A (zh) * | 2020-10-13 | 2021-01-05 | 东北大学 | 一种射线工业底片焊缝缺陷智能检测方法 |
| CN112270651A (zh) * | 2020-10-15 | 2021-01-26 | 西安工程大学 | 一种基于多尺度判别生成对抗网络的图像修复方法 |
| CN113592830A (zh) * | 2021-08-04 | 2021-11-02 | 航天信息股份有限公司 | 一种图像缺陷检测方法、装置及存储介质 |
| CN113838040A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种针对彩色纹理织物缺陷区域的检测方法 |
| CN113838041A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| CN114005514A (zh) * | 2021-11-26 | 2022-02-01 | 杭州涿溪脑与智能研究所 | 医学影像诊断方法、系统及装置 |
| CN114022442A (zh) * | 2021-11-03 | 2022-02-08 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于无监督学习的织物疵点检测算法 |
| WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
| CN116883399A (zh) * | 2023-09-06 | 2023-10-13 | 内蒙古晶环电子材料有限公司 | 蓝宝石放肩阶段缺陷视觉检测方法、装置、系统和设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108333183A (zh) * | 2018-01-31 | 2018-07-27 | 西安工程大学 | 一种基于dcgan和dcnn的色织衬衫裁片缺陷检测方法 |
| CN109829903A (zh) * | 2019-01-28 | 2019-05-31 | 合肥工业大学 | 一种基于卷积去噪自编码器的芯片表面缺陷检测方法 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN110598711A (zh) * | 2019-08-31 | 2019-12-20 | 华南理工大学 | 一种结合分类任务的目标分割方法 |
-
2020
- 2020-02-09 CN CN202010085913.3A patent/CN111402197B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108333183A (zh) * | 2018-01-31 | 2018-07-27 | 西安工程大学 | 一种基于dcgan和dcnn的色织衬衫裁片缺陷检测方法 |
| CN109829903A (zh) * | 2019-01-28 | 2019-05-31 | 合肥工业大学 | 一种基于卷积去噪自编码器的芯片表面缺陷检测方法 |
| CN110598711A (zh) * | 2019-08-31 | 2019-12-20 | 华南理工大学 | 一种结合分类任务的目标分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| 张宏伟等: "基于去噪卷积自编码器的色织衬衫裁片缺陷检测", 《纺织高校基础科学学报》 * |
| 张宏伟等: "基于去噪卷积自编码器的色织衬衫裁片缺陷检测", 《纺织高校基础科学学报》, vol. 32, no. 2, 30 June 2019 (2019-06-30), pages 119 - 126 * |
| 景军锋;范晓婷;李鹏飞;洪良;: "应用深度卷积神经网络的色织物缺陷检测", 纺织学报, no. 02 * |
| 钟文煜;冯寿廷;: "改进型Unet:一种高效准确的视网膜血管分割方法", 光学技术, no. 06 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184693A (zh) * | 2020-10-13 | 2021-01-05 | 东北大学 | 一种射线工业底片焊缝缺陷智能检测方法 |
| CN112184693B (zh) * | 2020-10-13 | 2023-10-24 | 东北大学 | 一种射线工业底片焊缝缺陷智能检测方法 |
| CN112270651A (zh) * | 2020-10-15 | 2021-01-26 | 西安工程大学 | 一种基于多尺度判别生成对抗网络的图像修复方法 |
| CN112270651B (zh) * | 2020-10-15 | 2023-12-15 | 西安工程大学 | 一种基于多尺度判别生成对抗网络的图像修复方法 |
| CN113592830A (zh) * | 2021-08-04 | 2021-11-02 | 航天信息股份有限公司 | 一种图像缺陷检测方法、装置及存储介质 |
| CN113592830B (zh) * | 2021-08-04 | 2024-05-03 | 航天信息股份有限公司 | 一种图像缺陷检测方法、装置及存储介质 |
| CN113838041B (zh) * | 2021-09-29 | 2023-09-08 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| WO2023050563A1 (zh) * | 2021-09-29 | 2023-04-06 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| CN113838041A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| CN113838040A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种针对彩色纹理织物缺陷区域的检测方法 |
| WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
| CN114022442A (zh) * | 2021-11-03 | 2022-02-08 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于无监督学习的织物疵点检测算法 |
| CN114005514A (zh) * | 2021-11-26 | 2022-02-01 | 杭州涿溪脑与智能研究所 | 医学影像诊断方法、系统及装置 |
| CN116883399A (zh) * | 2023-09-06 | 2023-10-13 | 内蒙古晶环电子材料有限公司 | 蓝宝石放肩阶段缺陷视觉检测方法、装置、系统和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111402197B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402197A (zh) | 一种针对色织物裁片缺陷区域的检测方法 | |
| WO2023070911A1 (zh) | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 | |
| Huang et al. | Fabric defect segmentation method based on deep learning | |
| CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| WO2023050563A1 (zh) | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 | |
| CN114549522A (zh) | 基于目标检测的纺织品质量检测方法 | |
| CN111223093A (zh) | 一种aoi缺陷检测方法 | |
| CN107966444B (zh) | 基于模板的纺织品瑕疵检测方法 | |
| CN112837295A (zh) | 一种基于生成对抗网络的橡胶手套缺陷检测方法 | |
| Zhang et al. | Zju-leaper: A benchmark dataset for fabric defect detection and a comparative study | |
| CN111798409A (zh) | 一种基于深度学习的pcb缺陷数据生成方法 | |
| Zhang et al. | Defect detection of yarn-dyed shirts based on denoising convolutional self-encoder | |
| CN112102224A (zh) | 一种基于深度卷积神经网络的布匹疵点识别方法 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN113838040A (zh) | 一种针对彩色纹理织物缺陷区域的检测方法 | |
| CN110458809B (zh) | 一种基于亚像素边缘检测的纱线条干均匀度检测方法 | |
| CN115018790A (zh) | 一种基于异常检测的工件表面缺陷检测方法 | |
| Dong et al. | Fusing multilevel deep features for fabric defect detection based NTV-RPCA | |
| Zhang et al. | Yarn-dyed fabric defect detection using u-shaped de-noising convolutional auto-encoder | |
| CN109447968A (zh) | 图像区域生长算法的蜕变测试系统 | |
| CN111028207B (zh) | 基于即时-通用特征提取网络的纽扣瑕疵检测方法 | |
| CN114119500A (zh) | 一种基于生成对抗网络的色织物缺陷区域的检测方法 | |
| CN114022442B (zh) | 一种基于无监督学习的织物疵点检测算法 | |
| CN115345846A (zh) | 一种中低碳钢晶粒度智能评级方法及系统 | |
| CN113901947A (zh) | 一种小样本下的轮胎表面瑕疵智能识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230912 Address after: 710000 Room 626, Zhen'aifanxiang Lane, Beilin District, Xi'an City, Shaanxi Province Patentee after: Xi'an Yiruikang Information Technology Co.,Ltd. Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19 Patentee before: XI'AN POLYTECHNIC University |