CN113838041B - 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 - Google Patents

一种基于自编码器的彩色纹理织物缺陷区域的检测方法 Download PDF

Info

Publication number
CN113838041B
CN113838041B CN202111153797.5A CN202111153797A CN113838041B CN 113838041 B CN113838041 B CN 113838041B CN 202111153797 A CN202111153797 A CN 202111153797A CN 113838041 B CN113838041 B CN 113838041B
Authority
CN
China
Prior art keywords
image
layer
level
color texture
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111153797.5A
Other languages
English (en)
Other versions
CN113838041A (zh
Inventor
张宏伟
张伟伟
黄媛媛
张蕾
景军锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202111153797.5A priority Critical patent/CN113838041B/zh
Priority to PCT/CN2021/135019 priority patent/WO2023050563A1/zh
Publication of CN113838041A publication Critical patent/CN113838041A/zh
Application granted granted Critical
Publication of CN113838041B publication Critical patent/CN113838041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自编码器的彩色纹理织物缺陷区域的检测方法，具体为：对彩色纹理织物数据集中的彩色纹理织物无缺陷图像叠加噪声；构建记忆引导的量子化变分自编码器二模型；使用叠加噪声的彩色纹理织物无缺陷图像对记忆引导的量子化变分自编码器二模型根据训练参数进行训练；利用训练好的量子化变分自编码器二模型对所有待检测的彩色纹理织物图像进行重构，输出各自对应的重构图像，然后进行检测以定位缺陷区域。本发明通过计算彩色纹理织物待测图像和对应的重构图像的残差，结合自适应阈值化和闭运算处理即可快速检测和定位织物缺陷，进而减少缺陷区域漏检或过检的情况。

Description

一种基于自编码器的彩色纹理织物缺陷区域的检测方法
技术领域
本发明属于缺陷检测方法技术领域，涉及一种基于自编码器的彩色纹理织物缺陷区域的检测方法。
背景技术
我国是织物生产大国，生产的彩色纹理织物不仅被用于制造服装，也被广泛地用于制造工业产品。然而，织物在工业生产过程中，由于机器波动，纱线问题等不稳定因素会导致织物表面产生缺陷。企业为提高产品质量，减少损失，在裁剪工序之后和缝制工序之前需要加入缺陷检测的工序。目前，彩色纹理织物缺陷检测主要依靠传统人工目测的方法，它能一定程度上筛除缺陷。但工人不可避免地会因长时间车间工作产生疲劳而发生误检和漏检。因人工目测准确率不可靠且效率低等问题，迫切需要一种准确且快速的自动彩色纹理织物缺陷检测方法。
近年来，随着机器视觉技术的快速发展，众多国内外相关学者做了研究。传统的基于机器视觉的检测方法多针对于白坯布和平纹斜纹等纹理相对简单且大批量生产的织物，不适用于花型复杂多样且小批量定制化生产的彩色纹理织物缺陷检测场景。因此，传统的基于机器视觉的特征提取的检测方法难以有效解决花型复杂多变的彩色纹理织物缺陷检测问题。深度学习可自动特征提取逐渐成为研究热点，深度学习中的有监督学习方法在织物缺陷检测中得到广泛应用。有监督的深度学习方法在特定的织物场景下取得了良好的效果，但是依赖大量的织物缺陷样本和手工标注的缺陷区域。由于彩色纹理织物缺陷样本稀缺且缺陷类型不平衡，获取大量的缺陷样本极其困难。因此，有监督的深度学习方法难以解决彩色纹理织物的缺陷检测问题。深度学习中的无监督的方法已受部分研究人员关注。由于无需大量手工标注的缺陷样本，有效利用实际生产中无缺陷样本容易获取的优势，使之减少了巨大的人力和人工标注时间成本的消耗。目前，无监督的彩色纹理织物缺陷检测算法较少，它们主要利用输入待测图片和其对应重构图片的差异实现进行缺陷的准确检测和定位。无监督方法的重要假设是经无缺陷的织物样本训练好的模型，当输入为织物缺陷样本时重构图像为对应的无缺陷图像。具体来说，它要求模型具有去除缺陷区域且保留非缺陷区域细节的能力。然而，这一假设在实践中并不总是成立。无监督方法的模型的结构若泛化能力太强则直接影响缺陷区域的去除和非缺陷区域细节的保留，导致缺陷区域漏检或过检，从而无法很好地解决彩色纹理织物缺陷区域的检测问题。
发明内容
本发明的目的是提供一种基于自编码器的彩色纹理织物缺陷区域的检测方法，通过计算彩色纹理织物待测图像和对应的重构图像的残差，结合自适应阈值化和闭运算处理即可快速检测和定位织物缺陷，进而减少缺陷区域漏检或过检的情况。
本发明所采用的技术方案是，一种基于自编码器的彩色纹理织物缺陷区域的检测方法，具体按照如下步骤：
步骤1，准备彩色纹理织物数据集，对彩色纹理织物数据集中的彩色纹理织物无缺陷图像叠加噪声；
步骤2，构建记忆引导的量子化变分自编码器二模型；
步骤3，将步骤1经过叠加噪声的彩色纹理织物数据集中的彩色纹理织物无缺陷图像输入步骤2建立的记忆引导的量子化变分自编码器二模型中，对记忆引导的量子化变分自编码器二模型根据训练参数进行训练；
步骤4，利用步骤3训练好的记忆引导的量子化变分自编码器二模型对所有待检测的彩色纹理织物图像进行重构，输出各自对应的重构图像，然后进行检测以定位缺陷区域。
本发明的特征还在于，
步骤1具体为：
步骤1.1，准备彩色纹理织物数据集，其中包括彩色纹理织物无缺陷图像训练集，彩色纹理织物无缺陷图像训练集中的图像为三通道彩色图像，图像为.jpg或.png格式文件；
步骤1.2，对步骤1.1中的彩色纹理织物无缺陷图像训练集中的彩色纹理织物无缺陷图像叠加噪声，具体操作步骤如式(1)所示：
式中，为彩色纹理织物无缺陷图像叠加噪声之后图像，Xi,j为保留彩色纹理织物无缺陷图像中位置为(i,j)处的像素，p是彩色纹理织物无缺陷图像受损坏的程度，p为0.3，s表示被叠加椒盐噪声的像素，s表示如式(2)所示：
步骤2中的记忆引导的量子化变分自编码器二模型为两级潜在空间对称结构，潜在空间使用记忆模块和量子化变分自编码器二的离散潜空间进行构建，记忆引导的量子化变分自编码器二模型包括五个部分，分别为低层级编码器、高层级编码器、低层级潜在空间及记忆模块、高层级潜在空间及记忆模块、解码器；按照以下方式连接：
低层级编码器的输入层为输入叠加噪声图像，低层级编码器的输出层通过K＝4、S＝2、P＝1的卷积Conv连接有高层级编码器，低层级编码器的输出层通过Copy1连接有特征融合层，高层级编码器的输出层连接有高层级潜在空间及高层级记忆模块，高层级潜在空间的输出层并列连接高层级残差块和特征层F_top_latent，高层级记忆模块连接F_top_latent，特征层F_top_latent通过K＝4、S＝2、P＝1的反卷积ConvTrans连接有特征层5，高层级残差块通过K＝1、S＝1、P＝0的卷积Conv与特征融合层相连，特征融合层通过K＝1,S＝1,P＝0的卷积Conv连接有特征层4，特征层4连接有低层级潜在空间及低层级记忆模块，低层级潜在空间及低层级记忆模与特征层5共同连接特征层F_bottom_latent，特征层F_bottom_latent通过K＝3、S＝1、P＝1的卷积Conv连接有解码器，解码器的输出层输出重构图像，其中，Conv表示卷积，K表示卷积核大小，S表示每次卷积的步长，P表示填充，高层级潜在空间的输出层与特征层F_top_latent利用Copy2相连，特征层5与特征层F_bottom_latent通过Copy3相连，Copy1、Copy2和Copy3均表示跳接。
低层级编码器由输入层、特征层1、特征层2和低层级残差块依次连接组成，其中输入层、特征层1、特征层2之间均利用K＝4、S＝2、P＝1的卷积Conv相连，每个卷积后都加入了激活函数ReLU，特征层2利用K＝3,S＝1,P＝1的卷积Conv与低层级残差块相连，低层级残差块分别通过K＝4、S＝2、P＝1的卷积Conv连接高层级编码器以及通过Copy1连接有特征融合层；
高层级编码器由特征层3、残差块、特征层F_top依次连接组成，其中，特征层3与残差块利用K＝3,S＝1,P＝1的卷积Conv相连，残差块与特征层4利用K＝1，S＝1,P＝0的卷积Conv相连，低层级残差块通过K＝4、S＝2、P＝1的卷积Conv连接特征层3，特征层F_top连接高层级潜在空间及高层级记忆模块；
解码器由解码器残差块、特征层6、输出层依次连接组成，其中，解码器残差块、特征层6、输出层间连接均采用K＝4，S＝2，P＝1的反卷积ConvTrans相连，解码器残差块与特征层F_bottom_latent连接。
高层级残差块、残差块、低层级残差块以及解码器残差块均由两个相同的残差结构组成，残差结构的输入层与残差结构的输出层通过跳接相连，其中，残差结构具体由依次连接的激活函数ReLU、卷积核大小为3，步长为2，填充为1的卷积、ReLU、卷积核大小为1，步长为1，填充为0的卷积所组成。
步骤3具体按照如下步骤实施：
步骤3.1，将叠加噪声后的彩色纹理织物无缺陷图像输入低层级编码器提取特征得到特征图Fbottom；
步骤3.2，对步骤3.1中得到Fbottom分别输入特征融合层和高层级编码器中，经高层级编码器提取特征得到特征图F_top，经过特征融合层、特征层4、低层级潜在空间及低层级记忆模块后经过特征层F_bottom_latent输出特征图F_bottom_latent；
步骤3.3，对步骤3.2中得到的F_top输入高层级潜在空间后经过特征层F_top_latent输出特征图F_top_latent；
步骤3.4，对步骤3.2和步骤3.2中得到特征图F_bottom_latent和F_top_latent输入解码器进行解码得到重构图像；
步骤3.5，计算损失函数Lvqvae2：对步骤3.4得到的重构图像和该重构图像对应的未叠加噪声的彩色纹理织物无缺陷图像计算像素级损失和潜在空间损失，具体操作步骤如式(3)所示：
式中：Lvqvae2为像素级损失和潜在空间的损失，x表示叠加噪声后的彩色纹理织物无缺陷图像，表示重构图像，β为0.25，Ze(x)表示编码器，sg[·]表示梯度截止操作，sg[e]表示对潜在空间进行梯度截止操作；
步骤3.6，以最小化Lvqvae2为目标优化模型参数，使用Adam优化器，学习率为0.003，设置训练最大迭代次数大于彩色纹理织物无缺陷图像训练集样本数目，得到训练好的记忆引导的量子化变分自编码器二模型。
步骤4具体为：
步骤4.1，将待检测的彩色纹理织物图像输入到经过步骤3训练好的记忆引导的量子化变分自编码器二模型中，得到对应的重构图像；
步骤4.2，对待检测的彩色纹理织物图像和对应的重构图像均进行灰度化处理，灰度化处理的具体操作如式(4)所示：
Xgray＝Xr*0.299+Xg*0.587+Xb*0.114 (4)
式中：Xgray表示灰度化后的图像，Xr、Xg、Xb分别为待检测的彩色纹理织物图像或对应的重构图像对应的RGB三个不同通道下的像素值，灰度化后的图像像素值范围为0到255；
步骤4.3，将经步骤4.2得到的待检测的彩色纹理织物图像和对应的重构图像的灰度化图像分别采用3×3大小的高斯核进行滑窗卷积操作进行高斯滤波，得到滤波后的图像，具体操作如式(5)和式(6)所示：
Xgray&Gaussian＝Xgray*G(x,y) (5)
式中，Xgray&Gaussian为待检测的彩色纹理织物图像的灰度化图像经过高斯滤波后的图像，Xgray为待检测的彩色纹理织物图像的灰度化图像，*为滑窗卷积操作，G(x,y)为高斯核函数；
式中，为重构图像的灰度化图像，/>为重构图像的灰度化图像经过高斯滤波后的图像；
其中，(x,y)为待检测的彩色纹理织物图像或重构图像的灰度化图像的像素坐标，σx、σy分别为待检测的彩色纹理织物图像或重构图像的灰度化图像x轴、y轴方向的像素标准差；
步骤4.4，计算待检测的彩色纹理织物图像的灰度化图像经过高斯滤波后的图像和重构图像的灰度化图像经过高斯滤波后的图像的残差图像，具体操作如式(7)所示：
式中，Xres为残差图像；
步骤4.5，将步骤4.4得到的残差图像采用自适应阈值的方法得到阈值，再进行二值化处理，具体操作如式(8)所示：
式中，p为二值化处理的图像的像素值，T为残差图像的自适应阈值，μ和σ分别为残差图像的均值和标准差，γ为标准差的系数，当残差图像中某一点的像素值小于计算的自适应阈值T时，像素值置为逻辑0，反之则置为逻辑1；
步骤4.6，将残差图像二值化后得到的二值图像进行闭运算处理得到最终的检测结果图像，其中闭运算处理的具体操作如式(9)所示：
式中，Xbinary为残差图像二值化后得到的二值图像，E为3×3的闭运算结构元素，为图像膨胀操作，！为图像腐蚀操作，Xclosing为最终的检测结果图像；
步骤4.7，通过最终的检测结果图像判断缺陷与否和定位缺陷，若最终的检测结果图像存在白色的区域，即可判定待检测的彩色纹理织物图像存在缺陷，同时缺陷区域为白色区域所在的位置。
本发明的有益效果是：
本发明在训练阶段不需要缺陷样本和缺陷标记的情况下，所构建的模型能有效重构彩色纹理织物的纹理花型，通过计算彩色纹理织物待测图像和对应的重构图像的残差，结合自适应阈值和闭运算处理相比于开运算可更准确地检测和定位织物缺陷，减少缺陷区域漏检或过检。该方法的检测精度和速度能够满足彩色纹理织物生产检测过程的要求，为彩色纹理织物制造行业的检测过程提供了一种易于工程实践的自动缺陷检测方案。
附图说明
图1是本发明一种基于自编码器的彩色纹理织物缺陷区域的检测方法中彩色纹理织物数据集中的部分无缺陷样本；
图2是本发明一种基于自编码器的彩色纹理织物缺陷区域的检测方法中彩色纹理织物数据集中的部分缺陷样本；
图3是本发明一种基于自编码器的彩色纹理织物缺陷区域的检测方法中的记忆引导的量子化变分自编码器二的结构图；
图4是本发明一种基于自编码器的彩色纹理织物缺陷区域的检测方法中的记忆模块的结构图；
图5是本发明一种基于自编码器的彩色纹理织物缺陷区域的检测方法中步骤4的流程示意图；
图6是本发明一种基于自编码器的彩色纹理织物缺陷区域的检测方法中实验所用的闭运算和开运算的检测结果对比图。
图7是本发明一种基于自编码器的彩色纹理织物缺陷区域的检测方法中实验所用MemGVQVAE2模型与DCGAN、DCAE、MSDCAE、UDCAE、VQVAE2模型的检测结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于自编码器的彩色纹理织物缺陷区域的检测方法，具体按照如下步骤：
步骤1，准备彩色纹理织物数据集，对彩色纹理织物数据集中的彩色纹理织物无缺陷图像叠加噪声；具体为：
步骤1.1，准备彩色纹理织物数据集，其中包括彩色纹理织物无缺陷图像训练集，彩色纹理织物无缺陷图像训练集中的图像为三通道彩色图像，图像为.jpg或.png格式文件；
步骤1.2，对步骤1.1中的彩色纹理织物无缺陷图像训练集中的彩色纹理织物无缺陷图像叠加噪声，具体操作步骤如式(1)所示：
式中，为彩色纹理织物无缺陷图像叠加噪声之后图像，Xi,j为保留彩色纹理织物无缺陷图像中位置为(i,j)处的像素，p是彩色纹理织物无缺陷图像受损坏的程度，p为0.3，s表示被叠加椒盐噪声的像素，s表示如式(2)所示：
步骤2，构建记忆引导的量子化变分自编码器二模型；记忆引导的量子化变分自编码器二模型为两级潜在空间对称结构，潜在空间使用记忆模块和量子化变分自编码器二的离散潜空间进行构建，对称结构包括低层级编码器和高层级编码器以及解码器，记忆引导的量子化变分自编码器二模型包括五个部分，分别为低层级编码器、高层级编码器、低层级潜在空间及记忆模块、高层级潜在空间及记忆模块、解码器；按照以下方式连接：
低层级编码器的输入层为输入叠加噪声图像，低层级编码器的输出层通过K＝4、S＝2、P＝1的卷积Conv连接有高层级编码器，低层级编码器的输出层通过Copy1连接有特征融合层，高层级编码器的输出层连接有高层级潜在空间及高层级记忆模块，高层级潜在空间的输出层并列连接高层级残差块和特征层F_top_latent，高层级记忆模块连接F_top_latent，特征层F_top_latent通过K＝4、S＝2、P＝1的反卷积ConvTrans连接有特征层5，高层级残差块通过K＝1、S＝1、P＝0的卷积Conv与特征融合层相连，特征融合层通过K＝1,S＝1,P＝0的卷积Conv连接有特征层4，特征层4连接有低层级潜在空间及低层级记忆模块，低层级潜在空间及低层级记忆模与特征层5共同连接特征层F_bottom_latent，特征层F_bottom_latent通过K＝3、S＝1、P＝1的卷积Conv连接有解码器，解码器的输出层输出重构图像，其中，Conv表示卷积，K表示卷积核大小，S表示每次卷积的步长，P表示填充，高层级潜在空间的输出层与特征层F_top_latent利用Copy2相连，特征层5与特征层F_bottom_latent通过Copy3相连，Copy1、Copy2和Copy3均表示跳接。
低层级编码器由输入层、特征层1、特征层2和低层级残差块依次连接组成，其中输入层、特征层1、特征层2之间均利用K＝4、S＝2、P＝1的卷积Conv相连，每个卷积后都加入了激活函数ReLU，特征层2利用K＝3,S＝1,P＝1的卷积Conv与低层级残差块相连，低层级残差块分别通过K＝4、S＝2、P＝1的卷积Conv连接高层级编码器以及通过Copy1连接有特征融合层；
高层级编码器由特征层3、残差块、特征层F_top依次连接组成，其中，特征层3与残差块利用K＝3,S＝1,P＝1的卷积Conv相连，残差块与特征层4利用K＝1，S＝1,P＝0的卷积Conv相连，低层级残差块通过K＝4、S＝2、P＝1的卷积Conv连接特征层3，特征层F_top连接高层级潜在空间及高层级记忆模块；
解码器由解码器残差块、特征层6、输出层依次连接组成，其中，解码器残差块、特征层6、输出层间连接均采用K＝4,S＝2,P＝1的反卷积ConvTrans相连，解码器残差块与特征层F_bottom_latent连接。
高层级残差块、残差块、低层级残差块以及解码器残差块均由两个相同的残差结构组成，残差结构的输入层与残差结构的输出层通过跳接相连，其中，残差结构具体由依次连接的激活函数ReLU、卷积核大小为3，步长为2，填充为1的卷积、ReLU、卷积核大小为1，步长为1，填充为0的卷积所组成。
步骤3，将步骤1经过叠加噪声的彩色纹理织物数据集中的彩色纹理织物无缺陷图像输入步骤2建立的记忆引导的量子化变分自编码器二模型中对记忆引导的量子化变分自编码器二模型根据训练参数进行训练；具体按照如下步骤实施：
步骤3.1，将叠加噪声后的彩色纹理织物无缺陷图像输入低层级编码器提取特征得到特征图Fbottom；
步骤3.2，对步骤3.1中得到Fbottom分别输入特征融合层和高层级编码器中，经高层级编码器提取特征得到特征图F_top，经过特征融合层、特征层4、低层级潜在空间及低层级记忆模块后经过特征层F_bottom_latent输出特征图F_bottom_latent；
步骤3.3，对步骤3.2中得到的F_top输入高层级潜在空间后经过特征层F_top_latent输出特征图F_top_latent；
步骤3.4，对步骤3.2和步骤3.2中得到特征图F_bottom_latent和F_top_latent输入解码器进行解码得到重构图像；
步骤3.5，计算损失函数Lvqvae2：对步骤3.4得到的重构图像和该重构图像对应的未叠加噪声的彩色纹理织物无缺陷图像计算像素级损失和潜在空间损失，具体操作步骤如式(3)所示：
式中：Lvqvae2为像素级损失和潜在空间的损失，x表示叠加噪声后的彩色纹理织物无缺陷图像，表示重构图像，β为0.25，Ze(x)表示编码器，sg[·]表示梯度截止操作，sg[e]表示对潜在空间进行梯度截止操作；
步骤3.6，以最小化Lvqvae2为目标优化模型参数，使用Adam优化器，学习率为0.003，设置训练最大迭代次数大于彩色纹理织物无缺陷图像训练集样本数目，得到训练好的记忆引导的量子化变分自编码器二模型。
步骤4，利用步骤3训练好的记忆引导的量子化变分自编码器二模型对所有待检测的彩色纹理织物图像进行重构，输出各自对应的重构图像，然后进行检测以定位缺陷区域，具体为：
步骤4.1，将待检测的彩色纹理织物图像输入到经过步骤3训练好的记忆引导的量子化变分自编码器二模型中，得到对应的重构图像；
步骤4.2，对待检测的彩色纹理织物图像和对应的重构图像均进行灰度化处理，灰度化处理的具体操作如式(4)所示：
Xgray＝Xr*0.299+Xg*0.587+Xb*0.114 (4)
式中：Xgray表示灰度化后的图像，Xr、Xg、Xb分别为待检测的彩色纹理织物图像或对应的重构图像对应的RGB三个不同通道下的像素值，灰度化后的图像像素值范围为0到255；
步骤4.3，将经步骤4.2得到的待检测的彩色纹理织物图像和对应的重构图像的灰度化图像分别采用3×3大小的高斯核进行滑窗卷积操作进行高斯滤波，得到滤波后的图像，具体操作如式(5)和式(6)所示：
Xgray&Gaussian＝Xgray*G(x,y) (5)
式中，Xgray&Gaussian为待检测的彩色纹理织物图像的灰度化图像经过高斯滤波后的图像，Xgray为待检测的彩色纹理织物图像的灰度化图像，*为滑窗卷积操作，G(x,y)为高斯核函数；
式中，为重构图像的灰度化图像，/>为重构图像的灰度化图像经过高斯滤波后的图像；
其中，(x,y)为待检测的彩色纹理织物图像或重构图像的灰度化图像的像素坐标，σx、σy分别为待检测的彩色纹理织物图像或重构图像的灰度化图像x轴、y轴方向的像素标准差；
步骤4.4，计算待检测的彩色纹理织物图像的灰度化图像经过高斯滤波后的图像和重构图像的灰度化图像经过高斯滤波后的图像的残差图像，具体操作如式(7)所示：
式中，Xres为残差图像；
步骤4.5，将步骤4.4得到的残差图像采用自适应阈值的方法得到阈值，再进行二值化处理，具体操作如式(8)所示：
式中，p为二值化处理的图像的像素值，T为残差图像的自适应阈值，μ和σ分别为残差图像的均值和标准差，γ为标准差的系数，当残差图像中某一点的像素值小于计算的自适应阈值T时，像素值置为逻辑0，反之则置为逻辑1；
步骤4.6，将残差图像二值化后得到的二值图像进行闭运算处理得到最终的检测结果图像，其中闭运算处理的具体操作如式(9)所示：
式中，Xbinary为残差图像二值化后得到的二值图像，E为3×3的闭运算结构元素，为图像膨胀操作，！为图像腐蚀操作，Xclosing为最终的检测结果图像；
步骤4.7，通过最终的检测结果图像判断缺陷与否和定位缺陷，若最终的检测结果图像存在白色的区域，即可判定待检测的彩色纹理织物图像存在缺陷，同时缺陷区域为白色区域所在的位置。
实施例：
一种基于自编码器的彩色纹理织物缺陷区域的检测方法，具体按照如下步骤：
步骤1，准备彩色纹理织物数据集，对彩色纹理织物数据集中的彩色纹理织物无缺陷图像叠加噪声；具体为：
步骤1.1，准备彩色纹理织物数据集，其中包括彩色纹理织物无缺陷图像训练集和彩色纹理织物缺陷图像测试集，如图1所示，图1为彩色纹理织物无缺陷图像训练集部分图像，图2为彩色纹理织物缺陷图像测试集中的部分图像，彩色纹理织物无缺陷图像训练集和彩色纹理织物缺陷图像测试集中的图像均为三通道彩色图像，图像为.jpg或.png格式文件；数据集共准备了10种不同的彩色纹理织物无缺陷图像和彩色纹理织物缺陷图像分别为SL1，SL10，SL13，SL16，SP3，SP5，SP19，SP24，CL1和CL2；
步骤1.2，对步骤1.1中的彩色纹理织物无缺陷图像训练集中的彩色纹理织物无缺陷图像叠加噪声，具体操作步骤如式(1)所示：
式中，为彩色纹理织物无缺陷图像叠加噪声之后图像，Xi,j为保留彩色纹理织物无缺陷图像中位置为(i,j)处的像素，p是彩色纹理织物无缺陷图像受损坏的程度，p为0.3，s表示被叠加椒盐噪声的像素，s表示如式(2)所示：
步骤2，如图3所示，构建记忆引导的量子化变分自编码器二模型；记忆引导的量子化变分自编码器二模型为两级潜在空间对称结构，潜在空间使用记忆模块和量子化变分自编码器二的离散潜空间进行构建，对称结构包括低层级编码器和高层级编码器以及解码器，具体为：
包括低层级编码器，低层级编码器的输入层为输入叠加噪声图像，低层级编码器的输出层通过K＝4、S＝2、P＝1的卷积Conv连接有高层级编码器，低层级编码器的输出层通过Copy1连接有特征融合层，高层级编码器的输出层连接有高层级潜在空间及高层级记忆模块，高层级潜在空间的输出层并列连接高层级残差块和特征层F_top_latent，高层级记忆模块连接F_top_latent，特征层F_top_latent通过K＝4、S＝2、P＝1的反卷积ConvTrans连接有特征层5，高层级残差块通过K＝1、S＝1、P＝0的卷积Conv与特征融合层相连，特征融合层通过K＝1,S＝1,P＝0的卷积Conv连接有特征层4，特征层4连接有低层级潜在空间及低层级记忆模块，低层级潜在空间及低层级记忆模与特征层5共同连接特征层F_bottom_latent，特征层F_bottom_latent通过K＝3、S＝1、P＝1的卷积Conv连接有解码器，解码器的输出层输出重构图像，其中，Conv表示卷积，K表示卷积核大小，S表示每次卷积的步长，P表示填充，高层级潜在空间的输出层与特征层F_top_latent利用Copy2相连，特征层5与特征层F_bottom_latent通过Copy3相连，Copy1、Copy2和Copy3均表示跳接。
低层级编码器由输入层、特征层1、特征层2和低层级残差块依次连接组成，其中输入层、特征层1、特征层2之间均利用K＝4、S＝2、P＝1的卷积Conv相连，每个卷积后都加入了激活函数ReLU，特征层2利用K＝3,S＝1,P＝1的卷积Conv与低层级残差块相连，低层级残差块分别通过K＝4、S＝2、P＝1的卷积Conv连接高层级编码器以及通过Copy1连接有特征融合层；
高层级编码器由特征层3、残差块、特征层F_top依次连接组成，其中，特征层3与残差块利用K＝3,S＝1,P＝1的卷积Conv相连，残差块与特征层4利用K＝1，S＝1,P＝0的卷积Conv相连，低层级残差块通过K＝4、S＝2、P＝1的卷积Conv连接特征层3，特征层F_top连接高层级潜在空间及高层级记忆模块；
解码器由解码器残差块、特征层6、输出层依次连接组成，其中，解码器残差块、特征层6、输出层间连接均采用K＝4,S＝2,P＝1的反卷积ConvTrans相连，解码器残差块与特征层F_bottom_latent连接。
记忆模块如附图4所示，记忆模块具体为查询序列的K个序列和存储序列的M项组成，其中K＝H*W，M＝10；查询序列和存储项间通过更新和读取两种方式以寻找相似序列随后进行输出，得到新的特征层；
高层级残差块、残差块、低层级残差块以及解码器残差块均由两个相同的残差结构组成，残差结构的输入层与残差结构的输出层通过跳接相连，其中，残差结构具体由依次连接的激活函数ReLU、卷积核大小为3，步长为2，填充为1的卷积、ReLU、卷积核大小为1，步长为1，填充为0的卷积所组成。
步骤3，将步骤1经过叠加噪声的彩色纹理织物数据集中的彩色纹理织物无缺陷图像输入步骤2建立的记忆引导的量子化变分自编码器二模型中对记忆引导的量子化变分自编码器二模型根据训练参数进行训练；具体按照如下步骤实施：
步骤3.1，将叠加噪声后的彩色纹理织物无缺陷图像输入低层级编码器提取特征得到特征图Fbottom；
步骤3.2，对步骤3.1中得到Fbottom分别输入特征融合层和高层级编码器中，经高层级编码器提取特征得到特征图F_top，经过特征融合层、特征层4、低层级潜在空间及低层级记忆模块后经过特征层F_bottom_latent输出特征图F_bottom_latent；
步骤3.3，对步骤3.2中得到的F_top输入高层级潜在空间后经过特征层F_top_latent输出特征图F_top_latent；
步骤3.4，对步骤3.2和步骤3.2中得到特征图F_bottom_latent和F_top_latent输入解码器进行解码得到重构图像；
步骤3.5，计算损失函数Lvqvae2：
对步骤3.4得到的重构图像和该重构图像对应的未叠加噪声的彩色纹理织物无缺陷图像计算像素级损失和潜在空间损失，具体操作步骤如式(3)所示：
式中：Lvqvae2为像素级损失和潜在空间的损失，x表示叠加噪声后的彩色纹理织物无缺陷图像，表示重构图像，β为0.25，Ze(x)表示编码器，sg[·]表示梯度截止操作，sg[e]表示对潜在空间进行梯度截止操作；
步骤3.6，以最小化Lvqvae2为目标优化网络参数，通过Adam优化器以更新模型参数，学习率为0.003，设置训练最大迭代次数大于彩色纹理织物无缺陷图像训练集样本数目，得到训练好的记忆引导的量子化变分自编码器二模型。
步骤4，如图5所示，利用步骤3训练好的量子化变分自编码器二模型对所有待检测的彩色纹理织物图像进行重构，输出各自对应的重构图像，然后进行检测以定位缺陷区域，具体为：
步骤4.1，将待检测的彩色纹理织物图像输入到经过步骤3训练好的记忆引导的量子化变分自编码器二模型中，得到对应的重构图像；
步骤4.2，对待检测的彩色纹理织物图像和对应的重构图像均进行灰度化处理，灰度化处理的具体操作如式(4)所示：
Xgray＝Xr*0.299+Xg*0.587+Xb*0.114 (4)
式中：Xgray表示灰度化后的图像，Xr、Xg、Xb分别为待检测的彩色纹理织物图像或对应的重构图像对应的RGB三个不同通道下的像素值，灰度化后的图像像素值范围为0到255；
步骤4.3，将经步骤4.2得到的待检测的彩色纹理织物图像和对应的重构图像的灰度化图像分别采用3×3大小的高斯核进行滑窗卷积操作进行高斯滤波，得到滤波后的图像，具体操作如式(5)和式(6)所示：
Xgray&Gaussian＝Xgray*G(x,y) (5)
式中，Xgray&Gaussian为待检测的彩色纹理织物图像的灰度化图像经过高斯滤波后的图像，Xgray为待检测的彩色纹理织物图像的灰度化图像，*为滑窗卷积操作，G(x,y)为高斯核函数；
式中，为重构图像的灰度化图像，/>为重构图像的灰度化图像经过高斯滤波后的图像；其中，/>(x,y)为待检测的彩色纹理织物图像或重构图像的灰度化图像的像素坐标，σx、σy分别为待检测的彩色纹理织物图像或重构图像的灰度化图像x轴、y轴方向的像素标准差；
步骤4.4，计算待检测的彩色纹理织物图像的灰度化图像经过高斯滤波后的图像和重构图像的灰度化图像经过高斯滤波后的图像的残差图像，具体操作如式(7)所示：
式中，Xres为残差图像；
步骤4.5，将步骤4.4得到的残差图像采用自适应阈值的方法得到阈值，再进行二值化处理，具体操作如式(8)所示：
式中，p为二值化处理的图像的像素值，T为残差图像的自适应阈值，μ和σ分别为残差图像的均值和标准差，γ为标准差的系数，当残差图像中某一点的像素值小于计算的自适应阈值T时，像素值置为逻辑0，反之则置为逻辑1；
步骤4.6，将残差图像二值化后得到的二值图像进行闭运算处理得到最终的检测结果图像，其中闭运算处理的具体操作如式(9)所示：
式中，Xbinary为残差图像二值化后得到的二值图像，E为3×3的闭运算结构元素，为图像膨胀操作，！为图像腐蚀操作，Xclosing为最终的检测结果图像；
步骤4.7，通过最终的检测结果图像判断缺陷与否和定位缺陷，若最终的检测结果图像存在白色的区域，即可判定待检测的彩色纹理织物图像存在缺陷，同时缺陷区域为白色区域所在的位置。
本发明的方法中构建的记忆引导的量子化变分自编码器二模型可以根据图像输入大小，适当增加卷积层数；例如输入图像为512，可以在输入层和输出层多加一层卷积核大小为4*4，步长为2的卷积。
本发明中的潜在空间大小可以根据输入图像数据的复杂性和大小进行调整，例如记忆模块的M＝10可改为M＝20，K＝512可设置为1024等。
本发明中ReLU激活函数可以选择为Leak ReLU，Sigmoid，ELU，RReLU来进行替换，尝试不同激活函数，得到更好地非线性拟合，从而获得更好的训练效果。
试验验证：
实验装置准备：在离线训练和在线检测时所依赖的硬件和软件环境的详细配置如下：硬件环境为Intel(R)Core(TM)i7-6850K CPU@3.60GHz；GeForce RTX 3090(24G)GPU；内存128G。软件配置为：操作系统为Ubuntu18.04,CUDA11.2,cuDNN8.2.0，Python3.6.2，Pytorch1.7.1。
准备彩色纹理织物数据集：根据织物图案的复杂程度分为三类，简单格子(SimpleLattices，SL)、条纹图案(Stripe Patterns，SP)和复杂格子(Complex Lattices，CL)；实验采用的数据集共准备了10种不同的彩色纹理织物无缺陷图像和彩色纹理织物缺陷图像分别为SL1，SL10，SL13，SL16，SP3，SP5，SP19，SP24，CL1和CL2，SL的织物图案主要由颜色相同的小条纹组成，SP织物图案主要由不同颜色的大条纹依次排列组成，CL主要由各种颜色的条纹纵横交错组成。数据集中图像分辨率均为512*512*3的三通道RGB图像；准备数据集，其中包含彩色纹理织物无缺陷图像训练集和用于验证的彩色纹理织物缺陷图像，附图1为彩色纹理织物无缺陷图像训练集部分图像，附图2为用于验证的彩色纹理织物缺陷部分图像。
实验评价指标：采用像素级的评价指标有准确率(Precision，P)、召回率(Recall，R)、综合评价指标(F1-measure,F1)。这些评价指标的定义如式(10-12)：
式中，TP表示有缺陷区域被成功检出的像素个数；TN表示有缺陷区域未被检出的像素个数；FP表示无缺陷区域被错误检测为缺陷区域的像素个数；FN表示无缺陷区域被成功检测为无缺陷区域的像素个数。P和R的值越高说明缺陷检测方法越好，然而，P和R的值存在相互矛盾的情况。F1-measure则平衡了指标P和R；通常，F1-measure可更加全面地评估检测性能。另外，有时我们更加关注缺陷是否被检测到而不是缺陷像素检测的准确性。利用平均交并比(IoU)作为评价指标，它将缺陷分类为已检测或未检测，定义如式(13)：
式中，IoU表示真实缺陷区域和检测到缺陷区域的交集区域与并集区域的比率，它表示检测到缺陷区域和真实缺陷区域的靠近程度。
实验过程：首先，准备彩色纹理织物图像数据集，其中包含彩色纹理织物无缺陷图像训练集和用于验证的彩色纹理织物缺陷图像，其中无缺陷图像训练集应用于模型的训练，检测阶段使用用于验证的彩色纹理织物缺陷图像；其次，构建一种记忆力引导的量子化变分自编码器二(MemGVQVAE2)模型通过离线训练，使模型具有记忆正常样本特征从而修复缺陷的能力；在缺陷检测时，输入为256×256的待测图像，输出是对应的去除缺陷的重构图像；如果待测图像中存在缺陷，待测图像与对应的重构图像经残差计算后，则存在易于区分的像素区域；相反，则不存在易于区分的像素区域；因此，可以通过对残差图像进行残差分析与数学形态学处理即可准确检测和定位缺陷区域。
实验细节：在线检测大致分为两个过程分别为图像重构和后处理操作；模型训练完成后，输入待测彩色纹理织物图片得到对应的重构图像，这仅仅是在线检测的一个重要步骤；与此同时，为了精确地检测和定位缺陷，还需要结合合适的后处理操作；后处理操作主要包括图像灰度化，高斯滤波，计算图像残差，阈值分割和数学形态学处理。合适的阈值分割阈值参数和数学形态学的操作尤为重要；为了更直观地对比开运算操作和闭运算操作在各自取得最优阈值的检测结果，附图6展示了在SL1数据集上的部分检测结果；其中，选取了SL1数据集上典型的大缺陷，小缺陷和不明显的细长缺陷。无论是开运算操作还是闭运算操作都可检测出大缺陷和小缺陷，而针对不明显的细长缺陷，使用闭运算操作的检测结果更接近真实缺陷区域。通过附图6发现闭运算对缺陷更加敏感；因此，使用闭运算和其对应的最优阈值时即γ为标准差的系数选取3.5时进行缺陷检测。
实验结果定性分析：为了更加直观地对比不同的无监督检测方法的检测结果，本申请提出的MemGVQVAE2与六种无监督检测方法包括VAE-L2SSIM，DCGAN，DCAE，MSDCAE，UDCAE，VQVAE2做了实验对比，部分检测结果如附图7所示；通过附图7可见，VAE-L2SSIM和DCGAN无法有效检测和定位彩色纹理织物缺陷区域；MemGVQVAE2模型，可以精确检测6种花型的缺陷如SL1，SL10，SL16，SP5，CL1，CL2。因此，MemGVQVAE2相较于其他模型可适应更多的花型并准确地检测出缺陷。另外，在MemGVQVAE2也存在与真实缺陷区域有轻微差距的花型如SL13，SP3，SP19，SP24。但是，无论是缺陷区域漏检或过检的情况，本申请提出的MemGVQVAE2比其他模型有更少的漏检或过检。总之，MemGVQVAE2从直观上来讲，检测结果优于其他模型。
实验结果定量分析：更加客观准确地衡量本申请提出的MemGVQVAE2的检测性能，表2列出了综合评价指标(F1)和平均交并比(IoU)的值，分别与六种无监督检测方法包括VAE-L2SSIM，DCGAN，DCAE，MSDCAE，UDCAE，VQVAE2在SL1、SP5、CL1花型上做了定量对比；上述指标的数值越大检测表明检测结果越好。
表2两种评价指标下七种模型的检测结果定量分析和对比
通过表2可知，本申请提出的MemGVQVAE2计算两个指标F1和IoU的平均值相较于其他模型都有绝对优势，仅在SL1花型低于DCAE。
通过实验，缺陷检测方法不仅仅需要考虑检测的准确性，还需要考虑模型实际工业应用的效率；为了公正地评价模型的运行效率，实验中统一采用迭代次数15000次且实验平台保持一致；表3列出了不同模型在十种数据集的平均训练和测试时间：
表3七种模型在十种数据集上平均训练和测试时间对比
检测模型 训练时间(h) 检测时间(s)
VAE-L2SSIM 0.70 0.1146
DCGAN 2.64 0.2414
DCAE 0.26 0.1146
MSDCAE 0.85 0.1232
UDCAE 0.78 0.1231
VQVAE2 0.65 0.1270
MemGVQVAE2 0.77 0.1297
本申请提出的MemGVQVAE2的检测时间无显著增加。彩色纹理织物缺陷检测实时性要求不高，MemGVQVAE2满足实际的检测效率要求。
实验总结：本发明提出的一种基于自编码器的彩色纹理织物缺陷区域的检测方法，实质属于构建了一种记忆引导的量子化变分自编码器二的模型，该方法的具体流程如下：首先，采用无缺陷样本叠加椒盐噪声构建训练集，离线训练使模型具有去除缺陷区域的能力。然后，在线检测时计算待测彩色纹理织物和其对应重构图像之间的残差，并对残差图像进行阈值分割。最后，对阈值分割后的图像采用闭运算处理即可准确检测和定位缺陷区域。该方法无需大量手工标注的缺陷样本，有效利用实际生产中无缺陷样本容易获取的优势，减少了巨大的人力和人工标注时间成本的消耗。实验结果表明，该方法的检测精度和速度能够满足彩色纹理织物生产检测过程的要求，为彩色纹理织物制造行业的检测过程提供了一种易于工程实践的自动缺陷检测方案。

Claims (5)

1.一种基于自编码器的彩色纹理织物缺陷区域的检测方法，其特征在于，具体按照如下步骤：
步骤1，准备彩色纹理织物数据集，对彩色纹理织物数据集中的彩色纹理织物无缺陷图像叠加噪声；
步骤2，构建记忆引导的量子化变分自编码器二模型；
所述步骤2中的记忆引导的量子化变分自编码器二模型为两级潜在空间对称结构，所述潜在空间使用记忆模块和量子化变分自编码器二的离散潜空间进行构建，所述对称结构包括低层级编码器和高层级编码器以及解码器，记忆引导的量子化变分自编码器二模型包括五个部分，分别为低层级编码器、高层级编码器、低层级潜在空间及记忆模块、高层级潜在空间及记忆模块、解码器；按照以下方式连接：
所述低层级编码器的输入层为输入叠加噪声图像，所述低层级编码器的输出层通过K＝4、S＝2、P＝1的卷积Conv连接有高层级编码器，所述低层级编码器的输出层通过Copy1连接有特征融合层，所述高层级编码器的输出层连接有高层级潜在空间及高层级记忆模块，所述高层级潜在空间的输出层并列连接高层级残差块和特征层F_top_latent，所述高层级记忆模块连接所述F_top_latent，所述特征层F_top_latent通过K＝4、S＝2、P＝1的反卷积ConvTrans连接有特征层5，所述高层级残差块通过K＝1、S＝1、P＝0的卷积Conv与特征融合层相连，特征融合层通过K＝1,S＝1,P＝0的卷积Conv连接有特征层4，特征层4连接有低层级潜在空间及低层级记忆模块，低层级潜在空间及低层级记忆模与特征层5共同连接特征层F_bottom_latent，特征层F_bottom_latent通过K＝3、S＝1、P＝1的卷积Conv连接有解码器，所述解码器的输出层输出重构图像，其中，Conv表示卷积，K表示卷积核大小，S表示每次卷积的步长，P表示填充，所述高层级潜在空间的输出层与特征层F_top_latent利用Copy2相连，所述特征层5与特征层F_bottom_latent通过Copy3相连，所述Copy1、Copy2和Copy3均表示跳接；
步骤3，将步骤1经过叠加噪声的彩色纹理织物数据集中的彩色纹理织物无缺陷图像输入步骤2建立的记忆引导的量子化变分自编码器二模型中对记忆引导的量子化变分自编码器二模型根据训练参数进行训练；
步骤4，利用步骤3训练好的记忆引导的量子化变分自编码器二模型对所有待检测的彩色纹理织物图像进行重构，输出各自对应的重构图像，然后进行检测以定位缺陷区域；
所述步骤4具体为：
步骤4.1，将待检测的彩色纹理织物图像输入到经过步骤3训练好的记忆引导的量子化变分自编码器二模型中，得到对应的重构图像；
步骤4.2，对待检测的彩色纹理织物图像和对应的重构图像均进行灰度化处理，所述灰度化处理的具体操作如式(4)所示：
Xgray＝Xr×0.299+Xg×0.587+Xb×0.114 (4)
式中：Xgray表示灰度化后的图像，Xr、Xg、Xb分别为待检测的彩色纹理织物图像或对应的重构图像对应的RGB三个不同通道下的像素值，灰度化后的图像像素值范围为0到255；
步骤4.3，将经步骤4.2得到的待检测的彩色纹理织物图像和对应的重构图像的灰度化图像分别采用3×3大小的高斯核进行滑窗卷积操作进行高斯滤波，得到滤波后的图像，具体操作如式(5)和式(6)所示：
Xgray&Gaussian＝Xgray*G(x,y) (5)
式中，Xgray&Gaussian为待检测的彩色纹理织物图像的灰度化图像经过高斯滤波后的图像，Xgray为待检测的彩色纹理织物图像的灰度化图像，*为滑窗卷积操作，G(x,y)为高斯核函数；
式中，为重构图像的灰度化图像，/>为重构图像的灰度化图像经过高斯滤波后的图像；
其中，(x,y)为待检测的彩色纹理织物图像或重构图像的灰度化图像的像素坐标，σx、σy分别为待检测的彩色纹理织物图像或重构图像的灰度化图像x轴、y轴方向的像素标准差；
步骤4.4，计算待检测的彩色纹理织物图像的灰度化图像经过高斯滤波后的图像和重构图像的灰度化图像经过高斯滤波后的图像的残差图像，具体操作如式(7)所示：
式中，Xres为残差图像；
步骤4.5，将步骤4.4得到的残差图像采用自适应阈值的方法得到阈值，再进行二值化处理，具体操作如式(8)所示：
式中，p为二值化处理的图像的像素值，T为残差图像的自适应阈值，μ和σ分别为残差图像的均值和标准差，γ为标准差的系数，当残差图像中某一点的像素值小于计算的自适应阈值T时，像素值置为逻辑0，反之则置为逻辑1；
步骤4.6，将残差图像二值化后得到的二值图像进行闭运算处理得到最终的检测结果图像，其中闭运算处理的具体操作如式(9)所示：
式中，Xbinary为残差图像二值化后得到的二值图像，E为3×3的闭运算结构元素，为图像膨胀操作，！为图像腐蚀操作，Xclosing为最终的检测结果图像；
步骤4.7，通过最终的检测结果图像判断缺陷与否和定位缺陷，若最终的检测结果图像存在白色的区域，即可判定待检测的彩色纹理织物图像存在缺陷，同时缺陷区域为白色区域所在的位置。
2.根据权利要求1所述的一种基于自编码器的彩色纹理织物缺陷区域的检测方法，其特征在于，所述步骤1具体为：
步骤1.1，准备彩色纹理织物数据集，其中包括彩色纹理织物无缺陷图像训练集，所述彩色纹理织物无缺陷图像训练集中的图像为三通道彩色图像，图像为.jpg或.png格式文件；
步骤1.2，对步骤1.1中的彩色纹理织物无缺陷图像训练集中的彩色纹理织物无缺陷图像叠加噪声，具体操作步骤如式(1)所示：
式中，为彩色纹理织物无缺陷图像叠加噪声之后图像，Xi,j为保留彩色纹理织物无缺陷图像中位置为(i,j)处的像素，p是彩色纹理织物无缺陷图像受损坏的程度，p为0.3，s表示被叠加椒盐噪声的像素，s表示如式(2)所示：
3.根据权利要求1所述的一种基于自编码器的彩色纹理织物缺陷区域的检测方法，其特征在于，
所述低层级编码器由输入层、特征层1、特征层2和低层级残差块依次连接组成，其中输入层、特征层1、特征层2之间均利用K＝4、S＝2、P＝1的卷积Conv相连，每个所述卷积后都加入了激活函数ReLU，所述特征层2利用K＝3,S＝1,P＝1的卷积Conv与低层级残差块相连，所述低层级残差块分别通过K＝4、S＝2、P＝1的卷积Conv连接高层级编码器以及通过Copy1连接有特征融合层；
所述高层级编码器由特征层3、残差块、特征层F_top依次连接组成，其中，特征层3与残差块利用K＝3,S＝1,P＝1的卷积Conv相连，残差块与特征层4利用K＝1，S＝1,P＝0的卷积Conv相连，所述低层级残差块通过K＝4、S＝2、P＝1的卷积Conv连接特征层3，所述特征层F_top连接所述高层级潜在空间及高层级记忆模块；
所述解码器由解码器残差块、特征层6、输出层依次连接组成，其中，解码器残差块、特征层6、输出层间连接均采用K＝4,S＝2,P＝1的反卷积ConvTrans相连，所述解码器残差块与特征层F_bottom_latent连接。
4.根据权利要求3所述的一种基于自编码器的彩色纹理织物缺陷区域的检测方法，其特征在于，所述高层级残差块、残差块、低层级残差块以及解码器残差块均由两个相同的残差结构组成，残差结构的输入层与残差结构的输出层通过跳接相连，其中，残差结构具体由依次连接的激活函数ReLU、卷积核大小为3，步长为2，填充为1的卷积、ReLU、卷积核大小为1，步长为1，填充为0的卷积所组成。
5.根据权利要求3所述的一种基于自编码器的彩色纹理织物缺陷区域的检测方法，其特征在于，所述步骤3具体按照如下步骤实施：
步骤3.1，将叠加噪声后的彩色纹理织物无缺陷图像输入低层级编码器提取特征得到特征图Fbottom；
步骤3.2，对步骤3.1中得到Fbottom分别输入特征融合层和高层级编码器中，经高层级编码器提取特征得到特征图F_top，经过特征融合层、特征层4、低层级潜在空间及低层级记忆模块后经过特征层F_bottom_latent输出特征图F_bottom_latent；
步骤3.3，对步骤3.2中得到的F_top输入高层级潜在空间后经过特征层F_top_latent输出特征图F_top_latent；
步骤3.4，对步骤3.2和步骤3.2中得到特征图F_bottom_latent和F_top_latent输入解码器进行解码得到重构图像；
步骤3.5，计算损失函数Lvqvae2：对步骤3.4得到的重构图像和该重构图像对应的未叠加噪声的彩色纹理织物无缺陷图像计算像素级损失和潜在空间损失，具体操作步骤如式(3)所示：
式中：Lvqvae2为像素级损失和潜在空间的损失，x表示叠加噪声后的彩色纹理织物无缺陷图像，表示重构图像，β为0.25，Ze(x)表示编码器，sg[·]表示梯度截止操作，sg[e]表示对潜在空间进行梯度截止操作；
步骤3.6，以最小化Lvqvae2为目标优化模型参数，使用Adam优化器，学习率为0.003，设置训练最大迭代次数大于彩色纹理织物无缺陷图像训练集样本数目，得到训练好的记忆引导的量子化变分自编码器二模型。
CN202111153797.5A 2021-09-29 2021-09-29 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 Active CN113838041B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111153797.5A CN113838041B (zh) 2021-09-29 2021-09-29 一种基于自编码器的彩色纹理织物缺陷区域的检测方法
PCT/CN2021/135019 WO2023050563A1 (zh) 2021-09-29 2021-12-02 一种基于自编码器的彩色纹理织物缺陷区域的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111153797.5A CN113838041B (zh) 2021-09-29 2021-09-29 一种基于自编码器的彩色纹理织物缺陷区域的检测方法

Publications (2)

Publication Number Publication Date
CN113838041A CN113838041A (zh) 2021-12-24
CN113838041B true CN113838041B (zh) 2023-09-08

Family

ID=78967485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111153797.5A Active CN113838041B (zh) 2021-09-29 2021-09-29 一种基于自编码器的彩色纹理织物缺陷区域的检测方法

Country Status (2)

Country Link
CN (1) CN113838041B (zh)
WO (1) WO2023050563A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170227B (zh) * 2022-02-11 2022-05-31 北京阿丘科技有限公司 产品表面缺陷检测方法、装置、设备及存储介质
CN114565607B (zh) * 2022-04-01 2024-06-04 汕头市鼎泰丰实业有限公司 基于神经网络的织物缺陷图像分割方法
CN115187266B (zh) * 2022-06-29 2023-08-25 山东大学 基于记忆力变分自编码模型的信用卡欺诈检测方法及系统
CN114897909B (zh) * 2022-07-15 2022-09-20 四川大学 基于无监督学习的曲轴表面裂纹监测方法及系统
CN116434347B (zh) * 2023-06-12 2023-10-13 中山大学 一种基于掩码图自编码器的骨架序列识别方法及系统
CN116843689B (zh) * 2023-09-01 2023-11-21 山东众成菌业股份有限公司 一种菌盖表面破损检测方法
CN116883399A (zh) * 2023-09-06 2023-10-13 内蒙古晶环电子材料有限公司 蓝宝石放肩阶段缺陷视觉检测方法、装置、系统和设备
CN117649387B (zh) * 2023-11-30 2024-06-25 中科海拓(无锡)科技有限公司 一种适用于带有表面复杂纹理物体的缺陷检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829903A (zh) * 2019-01-28 2019-05-31 合肥工业大学 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
CN110969606A (zh) * 2019-11-29 2020-04-07 华中科技大学 一种纹理表面缺陷检测方法及系统
CN111402197A (zh) * 2020-02-09 2020-07-10 西安工程大学 一种针对色织物裁片缺陷区域的检测方法
CN112037166A (zh) * 2020-07-10 2020-12-04 武汉迈格驷友科技有限公司 一种表面缺陷检测方法及检测装置
CN113053336A (zh) * 2021-03-17 2021-06-29 平安科技（深圳）有限公司 音乐作品的生成方法、装置、设备及存储介质
CN113171106A (zh) * 2021-04-25 2021-07-27 安徽十锎信息科技有限公司 基于vq-vae2和深度神经网络方法的心电异常检测方法
CN113177587A (zh) * 2021-04-27 2021-07-27 西安电子科技大学 基于主动学习和变分自编码器的广义零样本目标分类方法
CN113344903A (zh) * 2021-06-25 2021-09-03 江南大学 一种基于变分自编码器的玻璃瑕疵检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
CN110057832A (zh) * 2019-04-24 2019-07-26 拓卡奔马机电科技有限公司 一种铺布机上的布料瑕疵检测控制系统
US11164042B2 (en) * 2020-01-14 2021-11-02 Microsoft Technology Licensing, Llc Classifying audio scene using synthetic image features
US20210227223A1 (en) * 2020-01-21 2021-07-22 General Electric Company System and methods for artificial intelligence explainability via symbolic generative modeling

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829903A (zh) * 2019-01-28 2019-05-31 合肥工业大学 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
CN110969606A (zh) * 2019-11-29 2020-04-07 华中科技大学 一种纹理表面缺陷检测方法及系统
CN111402197A (zh) * 2020-02-09 2020-07-10 西安工程大学 一种针对色织物裁片缺陷区域的检测方法
CN112037166A (zh) * 2020-07-10 2020-12-04 武汉迈格驷友科技有限公司 一种表面缺陷检测方法及检测装置
CN113053336A (zh) * 2021-03-17 2021-06-29 平安科技（深圳）有限公司 音乐作品的生成方法、装置、设备及存储介质
CN113171106A (zh) * 2021-04-25 2021-07-27 安徽十锎信息科技有限公司 基于vq-vae2和深度神经网络方法的心电异常检测方法
CN113177587A (zh) * 2021-04-27 2021-07-27 西安电子科技大学 基于主动学习和变分自编码器的广义零样本目标分类方法
CN113344903A (zh) * 2021-06-25 2021-09-03 江南大学 一种基于变分自编码器的玻璃瑕疵检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhang, Hongwei, et al. ."Colour‐patterned fabric‐defect detection using unsupervised and memorial defect‐free features" .《Coloration Technology》.2022,第138卷(第6期),第602-620页. *

Also Published As

Publication number Publication date
WO2023050563A1 (zh) 2023-04-06
CN113838041A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN113838041B (zh) 一种基于自编码器的彩色纹理织物缺陷区域的检测方法
WO2023070911A1 (zh) 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN112329588B (zh) 一种基于Faster R-CNN的管道故障检测方法
CN111402197B (zh) 一种针对色织物裁片缺陷区域的检测方法
CN114549522A (zh) 基于目标检测的纺织品质量检测方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN112150460B (zh) 检测方法、检测系统、设备和介质
CN107966444B (zh) 基于模板的纺织品瑕疵检测方法
CN113989224A (zh) 一种基于生成对抗网络的彩色纹理织物缺陷检测方法
CN113239930A (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN114119502A (zh) 一种针对彩色纹理织物色差和污渍缺陷的检测方法
CN113344903A (zh) 一种基于变分自编码器的玻璃瑕疵检测方法
CN112381790A (zh) 一种基于深度自编码的异常图像检测方法
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
CN113838040A (zh) 一种针对彩色纹理织物缺陷区域的检测方法
CN117011298B (zh) 一种基于重构图像融合的织物表面疵点位置判别方法
CN112505049B (zh) 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
CN113902695B (zh) 一种针对色织物裁片缺陷区域的检测方法
CN117237274A (zh) 基于生成对抗网络的数码印花织物缺陷检测方法
CN116228682A (zh) 一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法
Amin et al. Industrial product defect detection using custom u-net
CN115170504A (zh) 一种基于机器视觉的密封圈缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant