CN113989228A - 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 - Google Patents
一种基于自注意力的彩色纹理织物缺陷区域的检测方法 Download PDFInfo
- Publication number
- CN113989228A CN113989228A CN202111257379.0A CN202111257379A CN113989228A CN 113989228 A CN113989228 A CN 113989228A CN 202111257379 A CN202111257379 A CN 202111257379A CN 113989228 A CN113989228 A CN 113989228A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- swin
- fabric
- color texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000004744 fabric Substances 0.000 title claims abstract description 167
- 230000007547 defect Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000002950 deficient Effects 0.000 claims description 33
- 210000002569 neuron Anatomy 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 10
- 150000001875 compounds Chemical class 0.000 claims description 9
- 238000011049 filling Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 239000000047 product Substances 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 239000012467 final product Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 101100333868 Homo sapiens EVA1A gene Proteins 0.000 description 2
- 102100031798 Protein eva-1 homolog A Human genes 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自注意力的彩色纹理织物缺陷区域的检测方法，具体为：建立包括彩色纹理无缺陷图像的彩色纹理织物数据集，对彩色纹理织物数据集中的彩色纹理无缺陷图像叠加噪声；构建基于Transformer的Swin‑Unet模型并训练得到训练好的模型；使用训练好的模型对待测彩色纹理织物图像进行重构，输出对应的重构图像，然后根据重构图像判断并定位缺陷区域。本发明的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，解决了现有技术中存在的由于卷积神经网络层次的加深往往导致模型的过拟合，进而导致缺陷区域的漏检或过检，从而无法有效地解决彩色纹理织物缺陷区域检测的问题。
Description
技术领域
本发明属于缺陷检测方法技术领域，涉及一种基于自注意力的彩色纹理织物缺陷区域的检测方法。
背景技术
彩色纹理织物花型美观多样，近年来销量与日剧增，其不仅被用于服装制造，也被用于工业产品。然而，在其生产过程中，由于不可抗拒的因素影响会导致织物表面存在缺陷。目前，大多企业采用人工目测的方法对其进行缺陷检测，但人工目测会受人眼疲劳程度的影响导致效率低漏检率高。因此，需要一种准确且快速的彩色纹理织物自动缺陷检测方法。
当前，基于机器视觉的织物缺陷检测技术受到了许多研究人员的广泛关注。根据缺陷检测方法的不同，可分为传统方法和深度学习方法。传统检测方法可分为基于空间的、基于频域的、基于模型的、基于学习的方法。传统检测方法只针对纹理简单的灰度织物布匹，无法对复杂花型取得良好的检测效果。由于卷积深网络具有强大的特征提取和特征融合的能力，深度学习方法逐渐成为研究热点，其中有监督的方法在特定的织物场景下取得了良好的检测效果，但依赖于大量的缺陷样本和人工标记的缺陷区域。由于小批量生产的彩色纹理织物缺陷样本稀缺且缺陷种类不平衡，难以构建缺陷种类完备的彩色纹理织物数据库。因此，深度学习中有监督的方法无法解决彩色纹理织物缺陷检测问题。深度学习中无监督的方法由于无需缺陷样本且不需人工标记受到了部分研究人员的关注。深度学习中无监督的彩色纹理织物缺陷检测方法主要利用输入待测图像与其对应的重构图像之间的差异进行缺陷的检测和定位。具体来说，它要求模型具有去除缺陷区域且保留正常区域的能力。但在实际情况中，由于卷积神经网络层次的加深往往导致模型的过拟合，进而导致缺陷区域的漏检或过检，从而无法有效地解决彩色纹理织物缺陷区域的检测问题。
发明内容
本发明的目的是提供一种基于自注意力的彩色纹理织物缺陷区域的检测方法，解决了现有技术中存在的由于卷积神经网络层次的加深往往导致模型的过拟合，进而导致缺陷区域的漏检或过检，从而无法有效地解决彩色纹理织物缺陷区域检测的问题。
本发明所采用的技术方案是，一种基于自注意力的彩色纹理织物缺陷区域的检测方法，具体按照如下步骤实施：
步骤1，建立包括彩色纹理无缺陷图像的彩色纹理织物数据集，对彩色纹理织物数据集中的彩色纹理无缺陷图像叠加噪声；
步骤2，构建基于Transformer的Swin-Unet模型；
步骤3，将步骤1叠加噪声的彩色纹理织物无缺陷图像输入到步骤2构建的基于Transformer的Swin-Unet模型中进行训练，得到训练好的基于 Transformer的Swin-Unet模型；
步骤4，使用步骤3训练好的基于Transformer的Swin-Unet模型对待测彩色纹理织物图像进行重构，输出对应的重构图像，然后根据重构图像判断并定位缺陷区域。
本发明的特征还在于，
步骤1具体为：
步骤1.1，建立彩色纹理织物数据集，彩色纹理织物数据包括彩色纹理织物无缺陷图像训练集和彩色纹理织物有缺陷图像测试集，彩色纹理织物数据集中的所有图像均整理成512×512×3大小的分辨率，图像格式均为.jpg；
步骤1.2，对步骤1.1中的彩色纹理织物无缺陷图像训练集中的彩色纹理织物无缺陷图像叠加噪声，如式(1)所示：
式中，X为彩色纹理织物无缺陷图像，N(0,0.1)表示服从均值为0、方差为0.1的标准正态分布的高斯噪声，
为叠加噪声后的彩色纹理织物无缺陷图像。步骤2中的基于Transformer的Swin-Unet模型具体为：
基于Transformer的Swin-Unet模型为一个基于Transformer的U型对称编码器-解码器结构，分别由编码器、瓶颈层、解码器依次连接组成，编码器的输入层为叠加噪声彩色纹理织物无缺陷图像，解码器的输出层为重构后的彩色纹理织物图像，编码器和解码器之间通过3个跳接层相互连接。
编码器由输入层、Patch Embedding层、3个Swin Transformer Block层和3个Patch Merging层连接组成，其中，Swin Transformer Block层和Patch Merging层交替相连，Patch Embedding层利用卷积核为4、步长为4、填充为0的卷积与Swin TransformerBlock层相连，Swin Transformer Block层利用自注意力层与Patch Merging层相连，PatchMerging层利用全连接层和通道归一化操作与Swin Transformer Block层相连，编码器的最后一个Patch Merging层与瓶颈层连接；
瓶颈层由2个Swin Transformer Block层依次连接组成，瓶颈层的两个SwinTransformer Block层分别利用通道归一化操作和全连接层连接编码器的输出层和解码器的输入层；
解码器由3个Patch Expanding层、3个Swin Transformer Block层、PatchProjection层、输出层连接组成，解码器的第一个Patch Expanding层与瓶颈层的第二个Swin Transformer Block层连接，其中，Patch Expanding层和Swin TransformerBlock层交替相连，Patch Expanding层利用全连接层和通道归一化操作与Swin TransformerBlock层相连，Swin Transformer Block层利用自注意力层与Patch Projection层连接，Patch Projection层利用卷积核为1、步长为1、填充为0的卷积与输出层相连；
编码器的3个Swin Transformer Block层与解码器的3个Swin TransformerBlock层一一对应连接。
Swin Transformer Block层由LayerNorm层、窗口多头自注意力层、移位窗口多头自注意力层、MLP层组成，LayerNorm层是通道归一化操作，窗口多头自注意力层和移位窗口多头自注意力层都由2个全连接层组成，并在全连接层后加入了激活函数Softmax，移位窗口多头自注意力层在激活函数 Softmax后加入了移位和切片操作，MLP层由2个全连接层组成，并在2个全连接层间加入了激活函数GELU，按照以下方式连接：
输入特征zl-1先经过LayerNorm层，再经过窗口多头自注意力层，接着经过相加操作得到
接着经过LayerNorm层、MLP层和相加操作得到zl，然后再经过LN层、移位窗口多头自注意力层和相加操作得到
最后经过LayerNorm层、MLP层和相加操作得到输出特征zl+1，过程如式(2)：
式中，LN()表示经过LayerNorm层处理输出，MLP()表示经过MLP 层处理输出，W-MSA()表示经过窗口多头自注意力层处理输出、SW-MSA ()表示经过移位窗口多头自注意力层处理输出，LayerNorm层为通道归一化操作。
窗口多头自注意力层和移位窗口多头自注意力层是在每个窗口中计算自注意力Attention(Q,K,V)，如式(3)：
式中，Q、K、V分别表示查询矩阵、键矩阵、值矩阵，d表示矩阵的维度，B表示偏置矩阵，SoftMax为激活函数。
编码器的第一个Swin Transformer Block层中MLP层神经元个数前者为 48、后者为192，编码器的第二个Swin Transformer Block层中MLP层神经元个数前者为96、后者为384，编码器的第三个Swin Transformer Block层中MLP层神经元个数前者为192、后者为768，瓶颈层的Swin Transformer Block层中MLP层神经元个数前者和后者分别都为384和1536，解码器的每个Swin Transformer Block层中MLP层神经元个数与编码器的MLP层中相对应的神经元个数相等。
步骤3具体为：
步骤3.1，将叠加噪声的彩色纹理织物无缺陷图像输入到步骤2构建的基于Transformer的Swin-Unet模型中得到重构图像；
步骤3.2，对步骤3.1得到的重构图像与其对应未叠加噪声的彩色纹理织物图像计算均方差损失，如式(4)：
式中，
为重构图像，X(i)为重构图像对应未叠加噪声的彩色纹理织物图像，n为未叠加噪声的彩色纹理织物图像的个数，LMSE为损失函数；
步骤3.3，以最小化LMSE为优化目标参数，采用AdamW优化器使损失函数达到最小，学习率为0.0001，设置最大迭代次数对图像进行训练，得到训练好的基于Transformer的Swin-Unet模型。
步骤4具体为：
步骤4.1，将待测彩色织物图像输入到步骤3训练好的基于Transformer 的Swin-Unet模型，得到对应的重构图像；
步骤4.2，将输入的待测彩色织物图像和其对应的重构图像分别进行灰度化，如式(5)：
XGray＝0.2125·Xr+0.7154·Xg+0.0721·Xb (5)
式中，XGray表示灰度化后的图像；Xr、Xg、Xb分别为待测彩色织物图像或对应的重构图像对应的RGB三个不同颜色通道下的像素值；
步骤4.3，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间对应像素点灰度值之差的绝对值，如式(6)：
式中，XGray为灰度化后的待测织物图像，
为灰度化后的待测织物图像对应的重构图像，XResidual为残差图像；
步骤4.4，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间的结构相似性，如式(7)：
式中，μX和
分别为待测织物图像和对应重构图像的平均值，σX和
分别为待测织物图像和对应重构图像的灰度标准差，
为待测织物图像和对应重构图像之间的协方差，C1和C2是防止分母为0的常数，
为从亮度、对比度和结构信息这三个方面衡量两幅图像之间的相似性，以给定的步长在图像平面上移动滑动窗口，对重叠区域取平均值，得到结构相似性图像XSSIM；
步骤4.5，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间梯度幅值相似性，如式(8)：
式中，XGMS为梯度幅值相似性，c为防止分母为0的常数，
和
分别为灰度化后的待测织物图像和灰度化后的重构图像对应的梯度幅值图像，梯度幅值图像定义如式(9)：
式中，
为卷积操作，XGray为灰度化后的待测织物图像，
为灰度化后的待测织物图像对应的重构图像，
和
分别为灰度化后的待测织物图像和灰度化后的重构图像对应的梯度幅值图像，hx和hy分别为 Prewitt滤波器在水平方向和垂直方向上的滤波；
步骤4.6，将步骤4.5得到的梯度幅值相似性图采用归一化操作，如式 (10)：
式中，
为梯度幅值相似性图中最小的像素值，
为最大的像素值，
为归一化后的梯度幅值相似性图；
步骤4.7，将步骤4.3得到的残差图像和步骤4.4得到的结构相似性图像以及步骤4.6得到的归一化后的梯度幅值相似性图像进行点乘融合，如式 (11)：
式中，XResidual为残差图像，XSSIM为结构相似性图像，
为归一化后的梯度幅值相似性图像，XFusion为乘法融合后的融合图像；
步骤4.8，将步骤4.7得到的融合图像加入高斯滤波，采用高斯卷积核对图像进行滑窗操作，得到滤波后的图像，如式(12)：
XFusion&Gaussian＝XFusion*G(x,y) (12)
式中，XFusion为融合图，XFusion&Gaussian为经过高斯滤波后的融合图像，*为滑窗卷积操作，G(x,y)为高斯核函数，如式(13)：
式中，(x,y)为融合图像的像素坐标，σx和σy分别为融合图像的x轴、y 轴方向的像素标准差；
步骤4.9，将步骤4.8得到的经过高斯滤波后的融合图像采用自适应阈值的方法确定阈值，并进行二值化处理得到二值图像，如式(14)：
式中，p为二值化图像的像素值，T为图像自适应阈值，μ和σ分别为经过高斯滤波后的融合图像的均值和方差，ε为方差的系数，若图像中某一点的像素值低于图像自适应阈值，像素值置为逻辑0，反之置为逻辑1；
步骤4.10，将经过步骤4.9得到的二值化图像进行闭运算操作得到最终检测结果图像，其中闭运算操作如式(15)：
式中，Xbinary为步骤4.9得到的二值化图像，E为3×3的闭运算结构元素，
为图像膨胀操作，！为图像腐蚀操作，XClosing为最终检测结果图像；
步骤4.11，将步骤4.10得到的最终检测结果图像来检测缺陷是否存在和定位缺陷区域，若最终检测结果图像存在像素值为255的白色区域，即可判定待检测的彩色纹理织物图像存在缺陷，缺陷区域为白色区域所在的位置。
步骤4.5中Prewitt滤波器大小为3×3，其在水平方向和垂直方向的滤波参数分别为
步骤4.7中的点乘融合为三个矩阵之间的逐元素相乘，步骤4.8中的高斯卷积核大小为3×3，步骤4.9中自适应阈值的方法中的参数ε根据经验设置为3.5。
本发明的有益效果是：
本发明在训练阶段无需缺陷样本和不需人工标记的情况下，所构建的模型能有效重构彩色纹理织物，通过计算待测彩色织物图像和对应重构图像之间的差异，并结合所提出的点乘融合、自适应阈值、闭运算操作的后处理方法，减少对缺陷区域漏检或过检。该方法的检测精度和速度能够满足彩色纹理织物生产检测的工艺要求，为实际服装行业提供了一种易于工程实践的自动缺陷检测方案。
附图说明
图1是本发明一种基于自注意力的彩色纹理织物缺陷区域的检测方法中彩色纹理织物训练集中的部分无缺陷样本图；
图2是本发明一种基于自注意力的彩色纹理织物缺陷区域的检测方法中彩色纹理织物测试集中的部分缺陷样本图；
图3是本发明一种基于自注意力的彩色纹理织物缺陷区域的检测方法中 Swin-Unet模型结构图；
图4是本发明一种基于自注意力的彩色纹理织物缺陷区域的检测方法中 SwinTransformer Block层的结构图；
图5是本发明一种基于自注意力的彩色纹理织物缺陷区域的检测方法中步骤3的流程示意图；
图6是本发明一种基于自注意力的彩色纹理织物缺陷区域的检测方法中步骤4的流程示意图；
图7是本发明一种基于自注意力的彩色纹理织物缺陷区域的检测方法中实验所用Swin-Unet模型与UDCAE模型进行检测的结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于自注意力的彩色纹理织物缺陷区域的检测方法，具体按照如下步骤实施：
步骤1，建立包括彩色纹理无缺陷图像的彩色纹理织物数据集，对彩色纹理织物数据集中的彩色纹理无缺陷图像叠加噪声；具体为：
步骤1.1，建立彩色纹理织物数据集，彩色纹理织物数据包括彩色纹理织物无缺陷图像训练集和彩色纹理织物有缺陷图像测试集如图1和图2所示，图1为彩色纹理织物训练集中的部分无缺陷图像，图2为彩色纹理织物测试集中的部分缺陷图像，彩色纹理织物数据集中的所有图像均整理成512 ×512×3大小的分辨率，图像格式为.jpg文件；数据集共准备了4种不同的彩色纹理织物无缺陷图像和有缺陷图像，分别为SP3、SP5、SP24和CL1；
步骤1.2，对步骤1.1中的彩色纹理织物无缺陷图像训练集中的彩色纹理织物无缺陷图像叠加噪声，如式(1)所示：
式中，X为彩色纹理织物无缺陷图像，N(0,0.1)表示服从均值为0、方差为0.1的标准正态分布的高斯噪声，
为叠加噪声后的彩色纹理织物无缺陷图像。
步骤2，构建基于Transformer的Swin-Unet模型，具体为：
如图3所示，基于Transformer的Swin-Unet模型为一个基于Transformer 的U型对称编码器-解码器结构，分别由编码器、瓶颈层、解码器依次连接组成，编码器的输入层为叠加噪声彩色纹理织物无缺陷图像，解码器的输出层为重构后的彩色纹理织物图像，编码器和解码器之间通过3个跳接层相互连接。
编码器由输入层、Patch Embedding层、3个Swin Transformer Block层和3个Patch Merging层连接组成，其中，Swin Transformer Block层和Patch Merging层交替相连，Patch Embedding层利用卷积核为4、步长为4、填充为0的卷积与Swin TransformerBlock层相连，Swin Transformer Block层利用自注意力层与Patch Merging层相连，PatchMerging层利用全连接层和通道归一化操作与Swin Transformer Block层相连，编码器的最后一个Patch Merging层与瓶颈层连接；
瓶颈层由2个Swin Transformer Block层依次连接组成，瓶颈层的两个 SwinTransformer Block层分别利用通道归一化操作和全连接层连接编码器的输出层和解码器的输入层；
解码器由3个Patch Expanding层、3个Swin Transformer Block层、PatchProjection层、输出层连接组成，解码器的第一个Patch Expanding层与瓶颈层的第二个Swin Transformer Block层连接，其中，Patch Expanding层和Swin Transformer Block层交替相连，Patch Expanding层利用全连接层和通道归一化操作与Swin TransformerBlock层相连，Swin Transformer Block层利用自注意力层与Patch Projection层连接，Patch Projection层利用卷积核为1、步长为1、填充为0的卷积与输出层相连；
编码器的3个Swin Transformer Block层与解码器的3个Swin TransformerBlock层一一对应连接。
Swin Transformer Block层是模型的基本单元，如图4所示，Swin TransformerBlock层由LayerNorm(LN)层、窗口多头自注意力层(W-MSA)、移位窗口多头自注意力层(SW-MSA)、MLP层组成，其中，LayerNorm层是通道归一化操作，W-MSA和SW-MSA层都由2个全连接层组成，并在全连接层后加入了激活函数Softmax，SW-MSA层在激活函数Softmax后加入了移位和切片操作，MLP层由2个全连接层组成，并在2个全连接层间加入了激活函数GELU：
输入特征zl-1先经过LayerNorm层，再经过窗口多头自注意力层，接着经过相加操作得到
接着经过LayerNorm层、MLP层和相加操作得到zl，然后再经过LN层、移位窗口多头自注意力层和相加操作得到
最后经过LayerNorm层、MLP层和相加操作得到输出特征zl+1，过程如式(2)：
式中，LN()表示经过LayerNorm层处理输出，MLP()表示经过MLP 层处理输出，W-MSA()表示经过窗口多头自注意力层处理输出、SW-MSA ()表示经过移位窗口多头自注意力层处理输出，LayerNorm层为通道归一化操作。
窗口多头自注意力层和移位窗口多头自注意力层是在每个窗口中计算自注意力Attention(Q,K,V)，如式(3)：
式中，Q、K、V分别表示查询矩阵、键矩阵、值矩阵，d表示矩阵的维度，B表示偏置矩阵，SoftMax为激活函数。
编码器的第一个Swin Transformer Block层中MLP层神经元个数前者为 48、后者为192，编码器的第二个Swin Transformer Block层中MLP层神经元个数前者为96、后者为384，编码器的第三个Swin Transformer Block层中MLP层神经元个数前者为192、后者为768，瓶颈层的Swin Transformer Block层中MLP层神经元个数前者和后者分别都为384和1536，解码器的每个Swin Transformer Block层中MLP层神经元个数与编码器的MLP层中相对应的神经元个数相等。
步骤3，如图5所示，将步骤1叠加噪声的彩色纹理织物无缺陷图像输入到步骤2构建的基于Transformer的Swin-Unet模型中进行训练，得到训练好的基于Transformer的Swin-Unet模型；具体为：
步骤3.1，将叠加噪声的彩色纹理织物无缺陷图像输入到步骤2构建的基于Transformer的Swin-Unet模型中得到重构图像；
步骤3.2，对步骤3.1得到的重构图像与其对应未叠加噪声的彩色纹理织物图像计算均方差损失，如式(4)：
式中，
为重构图像，X(i)为重构图像对应未叠加噪声的彩色纹理织物图像，n为未叠加噪声的彩色纹理织物图像的个数，LMSE为损失函数；
步骤3.3，以最小化LMSE为优化目标参数，采用AdamW优化器使损失函数达到最小，学习率为0.0001，设置最大迭代次数对图像进行训练，得到训练好的基于Transformer的Swin-Unet模型。
步骤4，如图6所示，使用步骤3训练好的基于Transformer的Swin-Unet 模型对待测彩色纹理织物图像进行重构，输出对应的重构图像，然后根据重构图像判断并定位缺陷区域，具体为：
步骤4.1，将待测彩色织物图像输入到步骤3训练好的基于Transformer 的Swin-Unet模型，得到对应的重构图像；
步骤4.2，将输入的待测彩色织物图像和其对应的重构图像分别进行灰度化，如式(5)：
XGray＝0.2125·Xr+0.7154·Xg+0.0721·Xb (5)
式中，XGray表示灰度化后的图像；Xr、Xg、Xb分别为待测彩色织物图像或对应的重构图像对应的RGB三个不同颜色通道下的像素值；
步骤4.3，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间对应像素点灰度值之差的绝对值，如式(6)：
式中，XGray为灰度化后的待测织物图像，
为灰度化后的待测织物图像对应的重构图像，XResidual为残差图像；
步骤4.4，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间的结构相似性，如式(7)：
式中，μX和
分别为待测织物图像和对应重构图像的平均值，σX和
分别为待测织物图像和对应重构图像的灰度标准差，
为待测织物图像和对应重构图像之间的协方差，C1和C2是防止分母为0的常数，
为从亮度、对比度和结构信息这三个方面衡量两幅图像之间的相似性，以给定的步长在图像平面上移动滑动窗口，对重叠区域取平均值，得到结构相似性图像XSSIM；
步骤4.5，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间梯度幅值相似性，如式(8)：
式中，XGMS为梯度幅值相似性，c为防止分母为0的常数，
和
分别为灰度化后的待测织物图像和灰度化后的重构图像对应的梯度幅值图像，梯度幅值图像定义如式(9)：
式中，
为卷积操作，XGray为灰度化后的待测织物图像，
为灰度化后的待测织物图像对应的重构图像，
和
分别为灰度化后的待测织物图像和灰度化后的重构图像对应的梯度幅值图像，hx和hy分别为 Prewitt滤波器在水平方向和垂直方向上的滤波；
步骤4.6，将步骤4.5得到的梯度幅值相似性图采用归一化操作，如式 (10)：
式中，
为梯度幅值相似性图中最小的像素值，
为最大的像素值，
为归一化后的梯度幅值相似性图；
步骤4.7，将步骤4.3得到的残差图像和步骤4.4得到的结构相似性图像以及步骤4.6得到的归一化后的梯度幅值相似性图像进行点乘融合，即就是三个矩阵之间的逐元素相乘，如式(11)：
式中，XResidual为残差图像，XSSIM为结构相似性图像，
为归一化后的梯度幅值相似性图像，XFusion为乘法融合后的融合图像；
步骤4.8，将步骤4.7得到的融合图像加入高斯滤波，采用高斯卷积核对图像进行滑窗操作，得到滤波后的图像，如式(12)：
XFusion&Gaussian＝XFusion*G(x,y) (12)
式中，XFusion为融合图，XFusion&Gaussian为经过高斯滤波后的融合图像，*为滑窗卷积操作，G(x,y)为高斯核函数，高斯卷积核大小为3×3，如式(13)：
式中，(x,y)为融合图像的像素坐标，σx和σy分别为融合图像的x轴、y 轴方向的像素标准差；
步骤4.9，将步骤4.8得到的经过高斯滤波后的融合图像采用自适应阈值的方法确定阈值，并进行二值化处理得到二值图像，如式(14)：
式中，p为二值化图像的像素值，T为图像自适应阈值，μ和σ分别为经过高斯滤波后的融合图像的均值和方差，ε为方差的系数，ε＝3.5，若图像中某一点的像素值低于图像自适应阈值，像素值置为逻辑0，反之置为逻辑1；
步骤4.10，将经过步骤4.9得到的二值化图像进行闭运算操作得到最终检测结果图像，其中闭运算操作如式(15)：
式中，Xbinary为步骤4.9得到的二值化图像，E为3×3的闭运算结构元素，
为图像膨胀操作，！为图像腐蚀操作，XClosing为最终检测结果图像；
步骤4.11，将步骤4.10得到的最终检测结果图像来检测缺陷是否存在和定位缺陷区域，若最终检测结果图像存在像素值为255的白色区域，即可判定待检测的彩色纹理织物图像存在缺陷，缺陷区域为白色区域所在的位置。
下面以具体实施例对本发明一种针对彩色纹理织物缺陷区域的检测方法进行说明：
实验装置准备：硬件环境配置为Intel(R)Core(TM)i7-6850K CPU；显卡为GeForceRTX 3090(24G)；内存128G。软件配置为：操作系统为Ubuntu 18.04.5LTS；深度学习框架为PyTorch1.7.1；环境基于Anaconda3和 Python3.6.2。
建立彩色纹理织物数据集：根据彩色织物图案的复杂程度，将其分为三类不同纹理的织物图像：简单格子(SL)、条形格子(SP)和复杂格子(CL)。实验准备了4种不同图案的彩色纹理织物数据集，分别为SP3、SP5、SP24 和CL1，每种数据集包含用于训练的无缺陷样本和用于测试的有缺陷样本，所有图像均整理成512×512×3大小的分辨率，附图1为彩色纹理织物训练集中的部分无缺陷图像，附图2为彩色纹理织物测试集中的部分缺陷图。
实验评价指标：采用像素级评价指标中的综合评价指标(F1-measure， F1)、平均交并比(IoU)作为评价指标。F1-measure可更加全面地评估检测性能，IoU表示检测到缺陷区域和真实缺陷区域的靠近程度，评价指标定义如式(15-16)：
式中，TP表示缺陷区域被成功检出的像素个数；FP表示无缺陷区域被误检为缺陷区域的像素个数；FN表示有缺陷区域未被检出的像素个数。
实验过程：首先，建立彩色纹理织物数据集，其中包括彩色纹理织物无缺陷图像训练集和有缺陷图像测试集；其次，构建一种基于Transformer的 Swin-Unet模型；接着，训练模型使模型具有重构正常样本并修复缺陷区域的能力；最后，对待测彩色纹理织物图像进行缺陷检测，通过计算待测彩色纹理织物图像和对应重构图像之间的差异，并结合提出的后处理方法，实现对缺陷区域的检测并定位。
实验结果定性分析：本申请提出的Swin-Unet模型与UDCAE模型的检测结果进行了定性对比，部分检测结果如图7所示；通过附图7可见， Swin-Unet模型能够准确地检测出4种数据集的缺陷区域，UDCAE模型虽然也能够检测出缺陷区域，但存在许多过检的情况，相比之下，Swin-Unet模型能够更精确地检测并定位缺陷区域，且检测结果更接近真实缺陷区域。
实验结果定量分析：本申请提出的Swin-Unet模型与UDCAE模型的检测结果在评价指标F1和IoU上进行了定量对比，F1和IoU的值越大表明检测结果越好，对比结果如表1所示。
表1 UDCAE和Swin-Unet模型检测结果不同评价指标对比
通过表1可知，在这四个数据集上，两个模型评价指标的数值相差均在5％以上，Swin-Unet模型在F1和IoU两项评价指标下均取得了比UDCAE 模型更高的值，UDCAE模型由于存在大量过检，导致F1和IoU的值较低。因此，在F1和IoU二项评价指标下，Swin-Unet模型比UDCAE模型效果更好。
实验总结：本发明提出的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，实质属于是一种基于Transformer的Swin-Unet的模型，在无需缺陷样本和不需人工标记的情况下，所构建的无监督模型能够有效重构正常样本并修复缺陷区域，通过计算待测彩色织物图像和对应重构图像之间的差异，并结合改进的后处理方法，实现对缺陷区域快速且准确地检测和定位。该方法无需大量人工标注的缺陷样本，可以有效避开缺陷样本数量稀缺、缺陷种类不平衡、人工构造特征成本高等实际问题。实验结果表明，该方法的检测精度和速度能够满足彩色纹理织物生产检测的工艺要求，为实际服装行业提供了一种易于工程实践的自动缺陷检测方案。
Claims (10)
1.一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，具体按照如下步骤实施：
步骤1，建立包括彩色纹理无缺陷图像的彩色纹理织物数据集，对彩色纹理织物数据集中的彩色纹理无缺陷图像叠加噪声；
步骤2，构建基于Transformer的Swin-Unet模型；
步骤3，将步骤1叠加噪声的彩色纹理织物无缺陷图像输入到步骤2构建的基于Transformer的Swin-Unet模型中进行训练，得到训练好的基于Transformer的Swin-Unet模型；
步骤4，使用步骤3训练好的基于Transformer的Swin-Unet模型对待测彩色纹理织物图像进行重构，输出对应的重构图像，然后根据重构图像判断并定位缺陷区域。
2.根据权利要求1所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述步骤1具体为：
步骤1.1，建立彩色纹理织物数据集，彩色纹理织物数据包括彩色纹理织物无缺陷图像训练集和彩色纹理织物有缺陷图像测试集，彩色纹理织物数据集中的所有图像均整理成512×512×3大小的分辨率，图像格式均为.jpg；
步骤1.2，对步骤1.1中的彩色纹理织物无缺陷图像训练集中的彩色纹理织物无缺陷图像叠加噪声，如式(1)所示：
式中，X为彩色纹理织物无缺陷图像，N(0,0.1)表示服从均值为0、方差为0.1的标准正态分布的高斯噪声，
为叠加噪声后的彩色纹理织物无缺陷图像。
3.根据权利要求2所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述步骤2中的基于Transformer的Swin-Unet模型具体为：
所述基于Transformer的Swin-Unet模型为一个基于Transformer的U型对称编码器-解码器结构，分别由编码器、瓶颈层、解码器依次连接组成，编码器的输入层为叠加噪声彩色纹理织物无缺陷图像，解码器的输出层为重构后的彩色纹理织物图像，编码器和解码器之间通过3个跳接层相互连接。
4.根据权利要求3所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述编码器由输入层、Patch Embedding层、3个Swin Transformer Block层和3个Patch Merging层连接组成，其中，Swin Transformer Block层和Patch Merging层交替相连，所述Patch Embedding层利用卷积核为4、步长为4、填充为0的卷积与SwinTransformer Block层相连，所述Swin Transformer Block层利用自注意力层与PatchMerging层相连，所述Patch Merging层利用全连接层和通道归一化操作与SwinTransformer Block层相连，编码器的最后一个所述Patch Merging层与所述瓶颈层连接；
所述瓶颈层由2个Swin Transformer Block层依次连接组成，瓶颈层的两个所述SwinTransformer Block层分别利用通道归一化操作和全连接层连接编码器的输出层和解码器的输入层；
所述解码器由3个Patch Expanding层、3个Swin Transformer Block层、PatchProjection层、输出层连接组成，解码器的第一个所述Patch Expanding层与所述瓶颈层的第二个所述Swin Transformer Block层连接，其中，Patch Expanding层和SwinTransformer Block层交替相连，所述Patch Expanding 层利用全连接层和通道归一化操作与Swin Transformer Block层相连，所述Swin Transformer Block层利用自注意力层与Patch Projection层连接，所述Patch Projection层利用卷积核为1、步长为1、填充为0的卷积与输出层相连；
所述编码器的3个Swin Transformer Block层与解码器的3个Swin TransformerBlock层一一对应连接。
5.根据权利要求4所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述Swin Transformer Block层由LayerNorm层、窗口多头自注意力层、移位窗口多头自注意力层、MLP层组成，所述LayerNorm层是通道归一化操作，所述窗口多头自注意力层和移位窗口多头自注意力层都由2个全连接层组成，并在全连接层后加入了激活函数Softmax，移位窗口多头自注意力层在激活函数Softmax后加入了移位和切片操作，所述MLP层由2个全连接层组成，并在2个全连接层间加入了激活函数GELU，按照以下方式连接：
输入特征zl-1先经过LayerNorm层，再经过窗口多头自注意力层，接着经过相加操作得到
接着经过LayerNorm层、MLP层和相加操作得到zl，然后再经过LN层、移位窗口多头自注意力层和相加操作得到
最后经过LayerNorm层、MLP层和相加操作得到输出特征zl+1，过程如式(2)：
式中，LN()表示经过LayerNorm层处理输出，MLP()表示经过MLP 层处理输出，W-MSA()表示经过窗口多头自注意力层处理输出、SW-MSA()表示经过移位窗口多头自注意力层处理输出，LayerNorm层为通道归一化操作。
6.根据权利要求5所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述窗口多头自注意力层和移位窗口多头自注意力层是在每个窗口中计算自注意力Attention(Q,K,V)，如式(3)：
式中，Q、K、V分别表示查询矩阵、键矩阵、值矩阵，d表示矩阵的维度，B表示偏置矩阵，SoftMax为激活函数。
7.根据权利要求6所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述编码器的第一个Swin Transformer Block层中MLP层神经元个数前者为48、后者为192，编码器的第二个Swin Transformer Block层中MLP层神经元个数前者为96、后者为384，编码器的第三个Swin Transformer Block层中MLP层神经元个数前者为192、后者为768，所述瓶颈层的Swin Transformer Block层中MLP层神经元个数前者和后者分别都为384和1536，所述解码器的每个Swin Transformer Block层中MLP层神经元个数与编码器的MLP层中相对应的神经元个数相等。
8.根据权利要求7所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述步骤3具体为：
步骤3.1，将叠加噪声的彩色纹理织物无缺陷图像输入到步骤2构建的基于Transformer的Swin-Unet模型中得到重构图像；
步骤3.2，对步骤3.1得到的重构图像与其对应未叠加噪声的彩色纹理织物图像计算均方差损失，如式(4)：
式中，
为重构图像，X(i)为重构图像对应未叠加噪声的彩色纹理织物图像，n为未叠加噪声的彩色纹理织物图像的个数，LMSE为损失函数；
步骤3.3，以最小化LMSE为优化目标参数，采用AdamW优化器使损失函数达到最小，学习率为0.0001，设置最大迭代次数对图像进行训练，得到训练好的基于Transformer的Swin-Unet模型。
9.根据权利要求8所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述步骤4具体为：
步骤4.1，将待测彩色织物图像输入到步骤3训练好的基于Transformer的Swin-Unet模型，得到对应的重构图像；
步骤4.2，将输入的待测彩色织物图像和其对应的重构图像分别进行灰度化，如式(5)：
XGray＝0.2125·Xr+0.7154·Xg+0.0721·Xb (5)
式中，XGray表示灰度化后的图像；Xr、Xg、Xb分别为待测彩色织物图像或对应的重构图像对应的RGB三个不同颜色通道下的像素值；
步骤4.3，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间对应像素点灰度值之差的绝对值，如式(6)：
式中，XGray为灰度化后的待测织物图像，
为灰度化后的待测织物图像对应的重构图像，XResidual为残差图像；
步骤4.4，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间的结构相似性，如式(7)：
式中，μX和
分别为待测织物图像和对应重构图像的平均值，σX和
分别为待测织物图像和对应重构图像的灰度标准差，
为待测织物图像和对应重构图像之间的协方差，C1和C2是防止分母为0的常数，
为从亮度、对比度和结构信息这三个方面衡量两幅图像之间的相似性，以给定的步长在图像平面上移动滑动窗口，对重叠区域取平均值，得到结构相似性图像XSSIM；
步骤4.5，计算步骤4.2中灰度化后的待测织物图像和对应的重构图像之间梯度幅值相似性，如式(8)：
式中，XGMS为梯度幅值相似性，c为防止分母为0的常数，
和
分别为灰度化后的待测织物图像和灰度化后的重构图像对应的梯度幅值图像，梯度幅值图像定义如式(9)：
式中，
为卷积操作，XGray为灰度化后的待测织物图像，
为灰度化后的待测织物图像对应的重构图像，
和
分别为灰度化后的待测织物图像和灰度化后的重构图像对应的梯度幅值图像，hx和hy分别为Prewitt滤波器在水平方向和垂直方向上的滤波；
步骤4.6，将步骤4.5得到的梯度幅值相似性图采用归一化操作，如式(10)：
式中，
为梯度幅值相似性图中最小的像素值，
为最大的像素值，
为归一化后的梯度幅值相似性图；
步骤4.7，将步骤4.3得到的残差图像和步骤4.4得到的结构相似性图像以及步骤4.6得到的归一化后的梯度幅值相似性图像进行点乘融合，如式(11)：
式中，XResidual为残差图像，XSSIM为结构相似性图像，
为归一化后的梯度幅值相似性图像，XFusion为乘法融合后的融合图像；
步骤4.8，将步骤4.7得到的融合图像加入高斯滤波，采用高斯卷积核对图像进行滑窗操作，得到滤波后的图像，如式(12)：
XFusion&Gaussian＝XFusion*G(x,y) (12)
式中，XFusion为融合图，XFusion&Gaussian为经过高斯滤波后的融合图像，*为滑窗卷积操作，G(x,y)为高斯核函数，如式(13)：
式中，(x,y)为融合图像的像素坐标，σx和σy分别为融合图像的x轴、y轴方向的像素标准差；
步骤4.9，将步骤4.8得到的经过高斯滤波后的融合图像采用自适应阈值的方法确定阈值，并进行二值化处理得到二值图像，如式(14)：
式中，p为二值化图像的像素值，T为图像自适应阈值，μ和σ分别为经过高斯滤波后的融合图像的均值和方差，ε为方差的系数，若图像中某一点的像素值低于图像自适应阈值，像素值置为逻辑0，反之置为逻辑1；
步骤4.10，将经过步骤4.9得到的二值化图像进行闭运算操作得到最终检测结果图像，其中闭运算操作如式(15)：
式中，Xbinary为步骤4.9得到的二值化图像，E为3×3的闭运算结构元素，
为图像膨胀操作，！为图像腐蚀操作，XClosing为最终检测结果图像；
步骤4.11，将步骤4.10得到的最终检测结果图像来检测缺陷是否存在和定位缺陷区域，若最终检测结果图像存在像素值为255的白色区域，即可判定待检测的彩色纹理织物图像存在缺陷，缺陷区域为白色区域所在的位置。
10.根据权利要求9所述的一种基于自注意力的彩色纹理织物缺陷区域的检测方法，其特征在于，所述步骤4.5中Prewitt滤波器大小为3×3，其在水平方向和垂直方向的滤波参数分别为
所述步骤4.7中的点乘融合为三个矩阵之间的逐元素相乘，所述步骤4.8中的高斯卷积核大小为3×3，所述步骤4.9中自适应阈值的方法中的参数ε根据经验设置为3.5。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111257379.0A CN113989228A (zh) | 2021-10-27 | 2021-10-27 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
| PCT/CN2021/139961 WO2023070911A1 (zh) | 2021-10-27 | 2021-12-21 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111257379.0A CN113989228A (zh) | 2021-10-27 | 2021-10-27 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989228A true CN113989228A (zh) | 2022-01-28 |
Family
ID=79742771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111257379.0A Withdrawn CN113989228A (zh) | 2021-10-27 | 2021-10-27 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113989228A (zh) |
| WO (1) | WO2023070911A1 (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494254A (zh) * | 2022-04-14 | 2022-05-13 | 科大智能物联技术股份有限公司 | 基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法、存储介质 |
| CN114820631A (zh) * | 2022-07-04 | 2022-07-29 | 南通中豪超纤制品有限公司 | 一种抗纹理干扰的面料缺陷检测方法 |
| CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
| CN115018750A (zh) * | 2022-08-08 | 2022-09-06 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、系统及介质 |
| CN115082490A (zh) * | 2022-08-23 | 2022-09-20 | 腾讯科技（深圳）有限公司 | 异常预测方法、异常预测模型的训练方法、装置及设备 |
| CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及系统 |
| CN116703885A (zh) * | 2023-06-30 | 2023-09-05 | 南京邮电大学 | 一种基于Swin Transformer的表面缺陷检测方法及系统 |
| GB2617555A (en) * | 2022-04-07 | 2023-10-18 | Milestone Systems As | Image processing method, apparatus, computer program and computer-readable data carrier |
| CN117974648A (zh) * | 2024-03-29 | 2024-05-03 | 中国机械总院集团江苏分院有限公司 | 一种织物瑕疵检测方法 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363441B (zh) * | 2023-05-31 | 2023-08-08 | 克拉玛依市百事达技术开发有限公司 | 具备标记功能的管道腐蚀检测系统 |
| CN116563279B (zh) * | 2023-07-07 | 2023-09-19 | 山东德源电力科技股份有限公司 | 基于计算机视觉的量测开关检测方法 |
| CN116630950A (zh) * | 2023-07-25 | 2023-08-22 | 济南大学 | 一种高精度识别轮辋焊缝的方法 |
| CN117078608B (zh) * | 2023-08-06 | 2024-01-26 | 武汉纺织大学 | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 |
| CN117133059B (zh) * | 2023-08-18 | 2024-03-01 | 北京科技大学 | 一种基于局部注意力机制的人脸活体检测方法及装置 |
| CN116823825B (zh) * | 2023-08-29 | 2023-12-05 | 山东海德尼克液压科技有限公司 | 一种阀门配件铸造缺陷智能识别方法 |
| CN116843685B (zh) * | 2023-08-31 | 2023-12-12 | 山东大学 | 一种基于图像检测的3d打印工件缺陷识别方法及系统 |
| CN116843689B (zh) * | 2023-09-01 | 2023-11-21 | 山东众成菌业股份有限公司 | 一种菌盖表面破损检测方法 |
| CN117094999B (zh) * | 2023-10-19 | 2023-12-22 | 南京航空航天大学 | 一种跨尺度缺陷检测方法 |
| CN117291922B (zh) * | 2023-11-27 | 2024-01-30 | 浙江日井泵业股份有限公司 | 一种不锈钢多级泵叶轮缺陷视觉检测方法 |
| CN117368122B (zh) * | 2023-12-07 | 2024-02-13 | 津泰(天津)医疗器械有限公司 | 一种基于比色卡的frd宫颈染色实时比对方法 |
| CN117372431B (zh) * | 2023-12-07 | 2024-02-20 | 青岛天仁微纳科技有限责任公司 | 一种纳米压印模具的图像检测方法 |
| CN117746045B (zh) * | 2024-02-08 | 2024-05-28 | 江西师范大学 | 一种Transformer和卷积融合的医学图像分割方法及系统 |
| CN117830299B (zh) * | 2024-03-04 | 2024-05-17 | 湖南南源新材料有限公司 | 一种无纺布表面缺陷检测方法及系统 |
| CN117934980B (zh) * | 2024-03-25 | 2024-05-31 | 山东山科数字经济研究院有限公司 | 基于注意力监督调整的玻璃容器缺陷检测方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3056498A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| CN109829903B (zh) * | 2019-01-28 | 2020-02-11 | 合肥工业大学 | 一种基于卷积去噪自编码器的芯片表面缺陷检测方法 |
| CN111402197B (zh) * | 2020-02-09 | 2023-06-16 | 西安工程大学 | 一种针对色织物裁片缺陷区域的检测方法 |
| CN111815601B (zh) * | 2020-07-03 | 2021-02-19 | 浙江大学 | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 |
| CN112381794B (zh) * | 2020-11-16 | 2022-05-31 | 哈尔滨理工大学 | 一种基于深度卷积生成网络的印刷缺陷检测方法 |
-
2021
- 2021-10-27 CN CN202111257379.0A patent/CN113989228A/zh not_active Withdrawn
- 2021-12-21 WO PCT/CN2021/139961 patent/WO2023070911A1/zh unknown
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2617555A (en) * | 2022-04-07 | 2023-10-18 | Milestone Systems As | Image processing method, apparatus, computer program and computer-readable data carrier |
| CN114494254A (zh) * | 2022-04-14 | 2022-05-13 | 科大智能物联技术股份有限公司 | 基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法、存储介质 |
| CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
| CN114820631A (zh) * | 2022-07-04 | 2022-07-29 | 南通中豪超纤制品有限公司 | 一种抗纹理干扰的面料缺陷检测方法 |
| CN115018750A (zh) * | 2022-08-08 | 2022-09-06 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、系统及介质 |
| CN115018750B (zh) * | 2022-08-08 | 2022-11-08 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、系统及介质 |
| CN115082490A (zh) * | 2022-08-23 | 2022-09-20 | 腾讯科技（深圳）有限公司 | 异常预测方法、异常预测模型的训练方法、装置及设备 |
| CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及系统 |
| CN116703885A (zh) * | 2023-06-30 | 2023-09-05 | 南京邮电大学 | 一种基于Swin Transformer的表面缺陷检测方法及系统 |
| CN117974648A (zh) * | 2024-03-29 | 2024-05-03 | 中国机械总院集团江苏分院有限公司 | 一种织物瑕疵检测方法 |
| CN117974648B (zh) * | 2024-03-29 | 2024-06-04 | 中国机械总院集团江苏分院有限公司 | 一种织物瑕疵检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023070911A1 (zh) | 2023-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113989228A (zh) | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 | |
| Huang et al. | Fabric defect segmentation method based on deep learning | |
| CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
| CN111383209B (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
| WO2023050563A1 (zh) | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 | |
| CN111047655B (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
| CN111223093A (zh) | 一种aoi缺陷检测方法 | |
| CN114549522A (zh) | 基于目标检测的纺织品质量检测方法 | |
| CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
| CN111402197B (zh) | 一种针对色织物裁片缺陷区域的检测方法 | |
| CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN112150460B (zh) | 检测方法、检测系统、设备和介质 | |
| CN107966444B (zh) | 基于模板的纺织品瑕疵检测方法 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN112329588A (zh) | 一种基于Faster R-CNN的管道故障检测方法 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN110781913B (zh) | 一种拉链布带缺陷检测方法 | |
| CN113505865A (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
| CN114119502A (zh) | 一种针对彩色纹理织物色差和污渍缺陷的检测方法 | |
| CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其系统 | |
| CN115018790A (zh) | 一种基于异常检测的工件表面缺陷检测方法 | |
| CN113838040A (zh) | 一种针对彩色纹理织物缺陷区域的检测方法 | |
| CN105787955A (zh) | 一种带钢缺陷的稀疏分割方法及其分割装置 | |
| CN116309493A (zh) | 一种用于纺织产品疵点检测的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220128 |
|
| WW01 | Invention patent application withdrawn after publication |