CN105654121B - 一种基于深度学习的复杂提花织物缺陷检测方法 - Google Patents
一种基于深度学习的复杂提花织物缺陷检测方法 Download PDFInfo
- Publication number
- CN105654121B CN105654121B CN201510998532.3A CN201510998532A CN105654121B CN 105654121 B CN105654121 B CN 105654121B CN 201510998532 A CN201510998532 A CN 201510998532A CN 105654121 B CN105654121 B CN 105654121B
- Authority
- CN
- China
- Prior art keywords
- pixel
- training
- probability
- defect areas
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007547 defect Effects 0.000 title claims abstract description 119
- 239000004744 fabric Substances 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title abstract description 44
- 238000007689 inspection Methods 0.000 title abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 91
- 238000012360 testing method Methods 0.000 claims abstract description 68
- 238000009826 distribution Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 235000013350 formula milk Nutrition 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 2
- 230000004807 localization Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009940 knitting Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于深度学习的复杂提花织物缺陷检测方法。该方法主要包括：训练SDA网络，训练后的SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系；将待测图像的模式数据输入到训练好的SDA网络中的像素分类器，该像素分类器输出所述待测图像中的每个像素属于瑕疵区域的概率向量，通过设定变换关系式将所述概率向量投影到目标图像获得概率分布图；根据概率分布图获取待测图像中的瑕疵区域。本发明实施例提出一种基于深度学习的瑕疵识别与定位方法，通过构建基于深度学习的像素分类器将瑕疵检测任务转化为像素分类，对图像是适应能力好，精度高，可以有效地对复杂提花织物的缺陷进行检测。
Description
技术领域
本发明涉及视觉检测领域，尤其涉及一种基于深度学习的复杂提花织物缺陷检测方法。
背景技术
瑕疵检测是织物质量控制的关键因素，传统瑕疵检测依靠人眼进行，人眼容易疲劳会导致效率低下和漏检率较高。因此，随着机器视觉的发展出现了一种新的检测方法。在过去的二十年中，许多学者针对布匹瑕疵图像进行了深入研究，研究对象可分为两大类：平纹织物和带有图案的织物。目前的大多数研究成果是针对平纹这些具有简单纹理结构的织物，这些检测方法可以分为6类：基于统计的方法、基于谱分析的方法、基于模型的方法、基于学习的方法、基于结构的方法和混合方法。基于谱分析的方法包括傅立叶变换、小波变换、Gabor滤波器等方法。傅立叶变换的全局性质难以对瑕疵区域准确定位，小波变换虽然具有良好的局部时频特性，但是该方法对面状等灰度变化平坦的瑕疵却难以检测。Gabor滤波器适用于模拟人类眼睛的生物特征，但是Gabor滤波器需要进行多尺度、多方向滤波，这意味着计算复杂，难以满足实时性的要求。
图案织物的瑕疵检测比平纹织物复杂的多。2005年Ngan提出基于小波低频分解分量的二值化方法，用于检测带有图案织物的瑕疵，但这种方法只适用于分析图案排列非常规则的织物。后来，在对17种墙纸图案分析的基础上，Ngan等提出基于基本图案的适应性更广的检测方法，该方法首先提取出织物中的基本图案，然后根据参考图像与待检测图像对应的基本图案之间的能量与方差曲线做出判断，确定出瑕疵位置。但是该方法对具有复杂提花图案的经编织物的瑕疵检测并不适用。
发明内容
本发明的实施例提供了一种基于深度学习的复杂提花织物缺陷检测方法，以实现有效地对复杂提花织物的缺陷进行检测。
为了实现上述目的，本发明采取了如下技术方案。
一种基于深度学习的复杂提花织物缺陷的检测方法，包括：
训练SDA网络，训练后的SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系；
将待测图像的模式数据输入到训练好的SDA网络中的像素分类器，该像素分类器输出所述待测图像中的每个像素属于瑕疵区域的概率向量，通过设定变换关系式将所述概率向量投影到目标图像获得概率分布图；
根据所述概率分布图获取所述待测图像中的瑕疵区域。
优选地，所述的训练SDA网络，训练后的SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系，包括：
SDA网络的训练包括2个阶段：预训练阶段和微调阶段，在预训练阶段，SDA网络包括3层DA，选取patch样本置为0的样本数据，采用贪婪算法利用DA逐层训练所述patch样本置为0的样本数据中的每个编码，将上一层DA训练后得到的SDA网络特征输入到下一层的DA训练中，得到训练后的SDA网络；
在微调阶段，选取带标签的样本数据，利用训练后的SDA网络和所述带标签的样本数据初始化网络参数，把训练得到的权值作为SDA网络的权值w1、w2、w3和w4的初始值，得到softmax分类器，使用所述softmax分类器对所述训练后的SDA网络进行微调，得到像素分类器，所述像素分类器的输出是像素属于瑕疵区域的概率，输出0表示该像素不属于瑕疵区域，输出1表示该像素属于瑕疵区域。
优选地，所述的将待测图像的模式数据输入到训练好的SDA网络中的像素分类器，该像素分类器输出所述待测图像中的每个像素属于瑕疵区域的概率向量，包括：
训练好的SDA网络中的像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系为：
f(qi)＝pi
qi表示第i个像素的模式数据，pi表示第i个像素属于瑕疵区域的概率；
将待测图像中的每个像素输入到所述映射关系中，得到待测图像中的每个像素属于瑕疵区域的概率，将所有像素属于瑕疵区域的概率组成概率向量P＝[p1，p2，...，pn]。
优选地，所述的通过设定变换关系式将所述概率向量投影到目标图像获得概率分布图，包括：
通过下面的变换公式把所述概率向量投影到目标图像，获得所述待测图像的概率分布图M：
Mij＝255×Pi*W+j
W是目标图像的宽度，i是像素的标识，Pi表示像素i属于瑕疵区域的概率，P是一维向量，概率分布图M为二维图，i，j分别是二维图的行与列。
优选地，所述的根据所述概率分布图获取所述待测图像中的瑕疵区域，包括：
对所述待测图像的概率分布图M进行二值化和形态学滤波，得到所述待测图像中的瑕疵区域。
一种基于深度学习的复杂提花织物缺陷的检测装置，包括：
SDA网络训练装置，用于训练SDA网络，训练后的SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系；
概率向量获取模块，用于将待测图像的模式数据输入到训练好的SDA网络中的像素分类器，该像素分类器输出所述待测图像中的每个像素属于瑕疵区域的概率向量；
概率分布图获取模块，用于通过设定变换关系式将所述概率向量投影到目标图像获得概率分布图；
瑕疵区域确定模块，用于根据所述概率分布图获取所述待测图像中的瑕疵区域。
优选地，所述的SDA网络训练装置，具体用于SDA网络的训练包括2个阶段：预训练阶段和微调阶段，在预训练阶段，SDA网络包括3层DA，选取patch样本置为0的样本数据，采用贪婪算法利用DA逐层训练所述patch样本置为0的样本数据中的每个编码，将上一层DA训练后得到的SDA网络特征输入到下一层的DA训练中，得到训练后的SDA网络；
在微调阶段，选取带标签的样本数据，利用训练后的SDA网络和所述带标签的样本数据初始化网络参数，把训练得到的权值作为SDA网络的权值w1、w2、w3和w4的初始值，得到softmax分类器，使用所述softmax分类器对所述训练后的SDA网络进行微调，得到像素分类器，所述像素分类器的输出是像素属于瑕疵区域的概率，输出0表示该像素不属于瑕疵区域，输出1表示该像素属于瑕疵区域。
优选地，所述的概率向量获取模块，具体用于训练好的SDA网络中的像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系为：
f(qi)＝pi
qi表示第i个像素的模式数据，pi表示第i个像素属于瑕疵区域的概率；
将待测图像中的每个像素输入到所述映射关系中，得到待测图像中的每个像素属于瑕疵区域的概率，将所有像素属于瑕疵区域的概率组成概率向量P＝[p1，p2，...，pn]。
优选地，所述的概率分布图获取模块，用于通过下面的变换公式把所述概率向量投影到目标图像，获得所述待测图像的概率分布图M：
Mij＝255×Pi*W+j
W是目标图像的宽度，i是像素的标识，Pi表示像素i属于瑕疵区域的概率，P是一维向量，概率分布图M为二维图，i，j分别是二维图的行与列。
优选地，所述的瑕疵区域确定模块，具体用于对所述待测图像的概率分布图M进行二值化和形态学滤波，得到所述待测图像中的瑕疵区域。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例针对柔软易变形的具有复杂图案的经编织物，提出一种基于深度学习的瑕疵识别与定位方法，通过构建基于深度学习的像素分类器将瑕疵检测任务转化为像素分类，该方法对参考图像没有要求，鲁棒性好，对图像是适应能力好，精度高，可以有效地对复杂提花织物的缺陷进行检测。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供了一种基于深度学习的复杂提花织物缺陷检测方法的处理流程图；
图2是本发明实施例一提供的一种SDA网络的预训练阶段的处理过程示意图；
图3是本发明实施例一提供的一种SDA网络的微调阶段的处理过程示意图；
图4是本发明实施例一提供的一种SDA的结构示意图；
图5是本发明实施例一提供的一种训练图片(a)、训练画面的实际表面底纹(b)、测试图片(c)、测试画面的实际表面底纹(d)、概率图(e)和试验结果(f)示意图；
图6是本发明实施例一提供的另一种训练图片(a)、训练画面的实际表面底纹(b)、测试图片(c)、测试画面的实际表面底纹(d)、概率图(e)和试验结果(f)示意图；
图7是本发明实施例二提供的一种基于深度学习的复杂提花织物缺陷的检测装置的具体结构图，SDA网络训练装置71，概率向量获取模块72，概率分布图获取模块73，瑕疵区域确定模块74。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
实施例一
本发明实施例利用深度网络强大的学习能力学习复杂图案的内部特征，利用深度网络构建一个像素分类器，给出每个像素属于瑕疵区域的概率，得到用来表示像素是否属于瑕疵的概率图，最后对概率图进行阈值分割和形态学滤波，得到瑕疵位置。
本发明实施例提供了一种基于深度学习的复杂提花织物缺陷检测方法，该方法的研究对象是经编织机生产的面料，经编是最具发展潜力的纺织工艺之一。经编织物的特点是柔软、易变形，包括平纹、蕾丝和贾卡等种类。复杂提花织物的检测是非常困难的，其难点体现在以下几个方面：第一，织物易变形，再加上镜头畸变的影响，造成每个基本图案的尺度和角度有差异。第二，织物在机器上移动，所以在相邻的图案中的图案图像传感器捕获的帧不能准确对齐。第三，光照不均匀引起的亮度差异。本方法重点研究复杂不规则图案的瑕疵检测问题。鉴于没有理想的参考图像可用，我们摒弃了基于整张图片的检测方法，而是构建一个像素分类器。每个像素要么属于瑕疵区域，要么属于非瑕疵区域，因此瑕疵检测问题就被转化为像素分类问题。
本发明实施例提供了一种基于深度学习的复杂提花织物缺陷检测方法的处理流程如图1所示，包括如下的处理步骤：
步骤1、预先训练好SDA网络，SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系。
本发明实施例中的像素分类器是利用堆栈去噪自编码器实现的，SDA(StackedDenoising Autoencoders，堆栈去噪自编码器)网络是深度学习网络的一种常见结构。我们把包含瑕疵的训练数据集作为样本输入到SDA网络，对SDA网络进行训练，使得SDA网络学习中心像素点与其上下文之间的映射关系。训练完成后SDA网络就可以作为像素分类器使用了。
SDA网络的训练包括2个阶段：预训练阶段和微调阶段，预训练阶段的处理过程如图2所示，在预训练阶段，SDA网络包括3层DA(Denoising Autoencoders，去噪自编码器)，选取patch样本置为0的样本数据，采用贪婪算法利用DA逐层训练所述patch样本置为0的样本数据中的每个编码，将上一层DA训练后得到的SDA网络特征输入到下一层的DA训练中，得到训练后的SDA网络，并把预训练得到的权值作为SDA网络的权值w1、w2、w3和w4的初始值。关于w1～w4可参看图2，这四组权值是相邻两层网络的连接权值，通过预训练阶段的无监督学习进行训练，训练算法是误差反向传播算法(Error back-propagation)。
微调阶段的处理过程如图3所示，在微调阶段，选取带标签的样本数据，利用训练后的SDA网络和所述带标签的样本数据初始化网络参数，把预训练得到的权值作为SDA网络的权值w1、w2、w3和w4的初始值，得到softmax分类器，使用所述softmax分类器对所述训练后的SDA网络进行微调，得到像素分类器，所述像素分类器的输出是像素属于瑕疵区域的概率，输出0表示该像素不属于瑕疵区域，输出1表示该像素属于瑕疵区域。
对于复杂的不规则图案瑕疵检测，一个像素是否属于瑕疵区域是与它周围相关的，同一值的像素在不同的上下文中的性质可能是不一样的。我们将像素的上下文定义为该像素的模式数据，也就是说像素的图案矢量被定义为以像素值大小为中心的矩形区域(w+1)*(h+1)，w是矩形的宽，h是矩形的高。训练好的SDA网络中的像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系为：
f(qi)＝pi 公式1
qi表示第i个像素的模式数据，pi表示第i个像素属于瑕疵区域的概率。
本发明实施例提供的一种训练好的SDA网络的结构示意图如图4所示，图4中仅画出编码部分。输入层神经元数目是(w+1)*(h+1)，其余3个隐藏层中的神经元的数目分别是600，200和100，输出层的神经元数目是2。
步骤2、将待测图像中的每个像素的模式数据输入到训练好的SDA网络中，SDA网络中的像素分类器根据公式1所示的映射关系中，得到待测图像中的每个像素属于瑕疵区域的概率，将所有像素属于瑕疵区域的概率组成概率向量P＝[p1，p2，...，pn]。
步骤3、通过设定变换关系式将概率向量投影到目标图像获得概率分布图。
通过下面的变换公式把所述概率向量投影到目标图像，获得所述待测图像的概率分布图M：
Mij＝255×Pi*W+j 公式2
W是目标图像的宽度，i是像素的标识，P是一维向量，概率分布图M为二维图，i，j分别是二维图的行与列。ij表示概率分布图对应原图的空间坐标，i*w+j是一个整体
步骤4、最后，根据所述概率分布图获取所述待测图像中的瑕疵区域。通过对待测图像的的概率图进行二值化分割和滤波操作，就可以定位待测图像中的瑕疵区域。
实验结果与讨论
为了评估本方法的结果，我们测试了二组不同的样本图像。测试代码在MATLAB环境下完成，版本为R2012b。除了主观评价外，我们还定义假检出率(FDR)、漏检出率(MDR)和误检率(EDR)来衡量算法的检测效果。FDR是非瑕疵像素被识别为瑕疵像素的比例，MDR是瑕疵像素被漏检的比例，EDR是总的检测错误率，即FDR与MDR之和。
实验一：在实验1中，训练图片如图5a所示。在训练样本中有许多瑕疵区域，他们的位置被标记在如图5b，被称为“实际表面底纹(ground_truth)”，将被用来微调阶段训练softmax分类器标记。在图5b中，“1”代表白色像素的值，表示缺陷区域，“0”代表黑色像素的值，表示无缺陷区。在数据制备过程中，要计算图像中每个像素的图案矢量。我们选择W＝20，H＝20进行实验，模式向量是21x21矩形像素的中心。因此有403200x441样本训练集。为了有效地利用边界数据，图像基于轮廓数据延长w/2列和h/2线。图5c显示测试图片。图5d是标记的图像，即实际表面底纹图，5e显示像素分类器产生的概率图，经过二值化和形态学滤波显示最终结果如图5f。统计FDR，MDR and EDR的像素列于表1。错误像素的数目仅为所有像素的0.59％。
表1.实验1检测率
实验2：实验2的模式是最复杂的，我们还没有发现任何对这种模式的研究应用。深度网络通过构建像素分类器，创造性地解决了这个问题。训练程序与实验1相同。训练图片和被标记的图片如图6a和图6b所示。图6c是测试图片。图6e是像素分类器产生的概率图，经过二值化和形态学滤波显示最终结果如图6f。对比检测结果图6f和标记的测试图片图6d，没有丢失和错误检测，但是在右下角的瑕疵面积要小得多。表2列出了统计FDR，MDR andEDR的像素。检测到的像素点的数目只有0.37％的所有像素，这证明了像素分类的精度是相当高的。
表2.试验2的检测率
计算时间：
深度网络的训练是相当耗费时间的。然而，训练过程是离线的。一旦训练完成，检测过程耗时非常低。这2个实验的计算时间见表3。训练和测试代码是通过MATLAB语言实现的，所有的深度网络训练100次。
表3.实验的计算时间
实施例二
该实施例提供了一种基于深度学习的复杂提花织物缺陷的检测装置，该装置的具体结构如图7所示，包括：
SDA网络训练装置71，用于训练SDA网络，训练后的SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系；
概率向量获取模块72，用于将待测图像的模式数据输入到训练好的SDA网络中的像素分类器，该像素分类器输出所述待测图像中的每个像素属于瑕疵区域的概率向量；
概率分布图获取模块73，用于通过设定变换关系式将所述概率向量投影到目标图像获得概率分布图；
瑕疵区域确定模块74，用于根据所述概率分布图获取所述待测图像中的瑕疵区域。
进一步地，所述的SDA网络训练装置71，具体用于SDA网络的训练包括2个阶段：预训练阶段和微调阶段，在预训练阶段，SDA网络包括3层DA，选取patch样本置为0的样本数据，采用贪婪算法利用DA逐层训练所述patch样本置为0的样本数据中的每个编码，将上一层DA训练后得到的SDA网络特征输入到下一层的DA训练中，得到训练后的SDA网络；
在微调阶段，选取带标签的样本数据，利用训练后的SDA网络和所述带标签的样本数据初始化网络参数，把训练得到的权值作为SDA网络的权值w1、w2、w3和w4的初始值，得到softmax分类器，使用所述softmax分类器对所述训练后的SDA网络进行微调，得到像素分类器，所述像素分类器的输出是像素属于瑕疵区域的概率，输出0表示该像素不属于瑕疵区域，输出1表示该像素属于瑕疵区域。
进一步地，所述的概率向量获取模块72，具体用于训练好的SDA网络中的像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系为：
f(qi)＝pi
qi表示第i个像素的模式数据，pi表示第i个像素属于瑕疵区域的概率；
将待测图像中的每个像素输入到所述映射关系中，得到待测图像中的每个像素属于瑕疵区域的概率，将所有像素属于瑕疵区域的概率组成概率向量P＝[p1，p2，...，pn]。
进一步地，所述的概率分布图获取模块73，用于通过下面的变换公式把所述概率向量投影到目标图像，获得所述待测图像的概率分布图M：
Mij＝255×Pi*W+j
W是目标图像的宽度，i是像素的标识，pi表示像素i属于瑕疵区域的概率。
进一步地，所述的瑕疵区域确定模块74，具体用于对所述待测图像的概率分布图M进行二值化和形态学滤波，得到所述待测图像中的瑕疵区域。
用本发明实施例的装置进行基于深度学习的复杂提花织物缺陷的检测的具体过程与前述方法实施例类似，此处不再赘述。
综上所述，本发明实施例针对柔软易变形的具有复杂图案的经编织物，提出一种基于深度学习的瑕疵识别与定位方法，通过构建基于深度学习的像素分类器将瑕疵检测任务转化为像素分类，该方法对参考图像没有要求，鲁棒性好，对图像是适应能力好，精度高，可以有效地对复杂提花织物的缺陷进行检测。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于深度学习的复杂提花织物缺陷的检测方法，其特征在于，包括：
训练SDA网络，训练后的SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系；
将待测图像的模式数据输入到训练好的SDA网络中的像素分类器，该像素分类器输出所述待测图像中的每个像素属于瑕疵区域的概率向量，通过设定变换关系式将所述概率向量投影到目标图像获得概率分布图；
根据所述概率分布图获取所述待测图像中的瑕疵区域；
所述的训练SDA网络，训练后的SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系，包括：
SDA网络的训练包括2个阶段：预训练阶段和微调阶段，在预训练阶段，SDA网络包括3层DA，选取patch样本置为0的样本数据，采用贪婪算法利用DA逐层训练所述patch样本置为0的样本数据中的每个编码，将上一层DA训练后得到的SDA网络特征输入到下一层的DA训练中，得到训练后的SDA网络；
在微调阶段，选取带标签的样本数据，利用训练后的SDA网络和所述带标签的样本数据初始化网络参数，把训练得到的权值作为SDA网络的权值w1、w2、w3和w4的初始值，得到softmax分类器，使用所述softmax分类器对所述训练后的SDA网络进行微调，得到像素分类器，所述像素分类器的输出是像素属于瑕疵区域的概率，输出0表示该像素不属于瑕疵区域，输出1表示该像素属于瑕疵区域；
所述的将待测图像的模式数据输入到训练好的SDA网络中的像素分类器，该像素分类器输出所述待测图像中的每个像素属于瑕疵区域的概率向量，包括：
训练好的SDA网络中的像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系为：
f(qi)＝pi
qi表示第i个像素的模式数据，pi表示第i个像素属于瑕疵区域的概率；
将待测图像中的每个像素输入到所述映射关系中，得到待测图像中的每个像素属于瑕疵区域的概率，将所有像素属于瑕疵区域的概率组成概率向量P＝[p1,p2,...,pn]；
所述的通过设定变换关系式将所述概率向量投影到目标图像获得概率分布图，包括：
通过下面的变换公式把所述概率向量投影到目标图像，获得所述待测图像的概率分布图M：
Mxy＝255×Px*w+y
w是目标图像的宽度，P是一维向量，概率分布图M为二维图，x,y分别是概率分布图的行与列，表示概率分布图对应原图的空间坐标，x*w+y整体作为像素的标识，Px*w+y表示像素x*w+y属于瑕疵区域的概率。
2.根据权利要求1所述的基于深度学习的复杂提花织物缺陷的检测方法，其特征在于，所述的根据所述概率分布图获取所述待测图像中的瑕疵区域，包括：
对所述待测图像的概率分布图M进行二值化和形态学滤波，得到所述待测图像中的瑕疵区域。
3.一种基于深度学习的复杂提花织物缺陷的检测装置，其特征在于，包括：
SDA网络训练装置，用于训练SDA网络，训练后的SDA网络包括像素分类器，该像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系；
概率向量获取模块，用于将待测图像的模式数据输入到训练好的SDA网络中的像素分类器，该像素分类器输出所述待测图像中的每个像素属于瑕疵区域的概率向量；
概率分布图获取模块，用于通过设定变换关系式将所述概率向量投影到目标图像获得概率分布图；
瑕疵区域确定模块，用于根据所述概率分布图获取所述待测图像中的瑕疵区域；
所述的SDA网络训练装置，具体用于SDA网络的训练包括2个阶段：预训练阶段和微调阶段，在预训练阶段，SDA网络包括3层DA，选取patch样本置为0的样本数据，采用贪婪算法利用DA逐层训练所述patch样本置为0的样本数据中的每个编码，将上一层DA训练后得到的SDA网络特征输入到下一层的DA训练中，得到训练后的SDA网络；
在微调阶段，选取带标签的样本数据，利用训练后的SDA网络和所述带标签的样本数据初始化网络参数，把训练得到的权值作为SDA网络的权值w1、w2、w3和w4的初始值，得到softmax分类器，使用所述softmax分类器对所述训练后的SDA网络进行微调，得到像素分类器，所述像素分类器的输出是像素属于瑕疵区域的概率，输出0表示该像素不属于瑕疵区域，输出1表示该像素属于瑕疵区域；
所述的概率向量获取模块，具体用于训练好的SDA网络中的像素分类器中包括像素的模式数据和像素属于瑕疵区域之间的映射关系为：
f(qi)＝pi
qi表示第i个像素的模式数据，pi表示第i个像素属于瑕疵区域的概率；
将待测图像中的每个像素输入到所述映射关系中，得到待测图像中的每个像素属于瑕疵区域的概率，将所有像素属于瑕疵区域的概率组成概率向量P＝[p1,p2,...,pn]；
所述的概率分布图获取模块，用于通过下面的变换公式把所述概率向量投影到目标图像，获得所述待测图像的概率分布图M：
Mxy＝255×Px*w+y
w是目标图像的宽度，P是一维向量，概率分布图M为二维图，x,y分别是概率分布图的行与列，表示概率分布图对应原图的空间坐标，x*w+y整体作为像素的标识，Px*w+y表示像素x*w+y属于瑕疵区域的概率。
4.根据权利要求3所述的基于深度学习的复杂提花织物缺陷的检测装置，其特征在于：
所述的瑕疵区域确定模块，具体用于对所述待测图像的概率分布图M进行二值化和形态学滤波，得到所述待测图像中的瑕疵区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510998532.3A CN105654121B (zh) | 2016-04-11 | 2016-04-11 | 一种基于深度学习的复杂提花织物缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510998532.3A CN105654121B (zh) | 2016-04-11 | 2016-04-11 | 一种基于深度学习的复杂提花织物缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105654121A CN105654121A (zh) | 2016-06-08 |
| CN105654121B true CN105654121B (zh) | 2019-11-19 |
Family
ID=56477957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510998532.3A Expired - Fee Related CN105654121B (zh) | 2016-04-11 | 2016-04-11 | 一种基于深度学习的复杂提花织物缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105654121B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106295245B (zh) * | 2016-07-27 | 2019-08-30 | 广州麦仑信息科技有限公司 | 基于Caffe的堆栈降噪自编码基因信息特征提取的方法 |
| CN108629360A (zh) * | 2017-03-23 | 2018-10-09 | 天津工业大学 | 一种基于深度学习的针织物基本组织结构自动识别方法 |
| CN107220649A (zh) * | 2017-05-27 | 2017-09-29 | 江苏理工学院 | 一种素色布匹缺陷检测和分类方法 |
| CN107292885A (zh) * | 2017-08-08 | 2017-10-24 | 广东工业大学 | 一种基于自动编码器的产品缺陷分类识别方法及装置 |
| CN107463965B (zh) * | 2017-08-16 | 2024-03-26 | 湖州易有科技有限公司 | 基于深度学习的面料属性图片采集和识别方法及识别系统 |
| CN108986065B (zh) * | 2018-04-19 | 2021-11-23 | 三明学院 | 一种经编织物瑕疵融合滤波检测方法、装置、设备和存储介质 |
| CN110619619A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 一种缺陷检测方法、装置及电子设备 |
| US11315231B2 (en) * | 2018-06-08 | 2022-04-26 | Industrial Technology Research Institute | Industrial image inspection method and system and computer readable recording medium |
| CN109003271A (zh) * | 2018-07-25 | 2018-12-14 | 江苏拙术智能制造有限公司 | 一种基于深度学习yolo算法的线束连接器排线质量检测方法 |
| CN111145163B (zh) * | 2019-12-30 | 2021-04-02 | 深圳市中钞科信金融科技有限公司 | 一种纸张褶皱缺陷检测方法及装置 |
| CN111275700A (zh) * | 2020-02-19 | 2020-06-12 | 凌云光技术集团有限责任公司 | 基于深度学习的端子缺陷检测方法及系统 |
| CN111681229B (zh) * | 2020-06-10 | 2023-04-18 | 创新奇智(上海)科技有限公司 | 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置 |
| CN114398818B (zh) * | 2021-06-02 | 2024-05-24 | 中科维卡(苏州)自动化科技有限公司 | 基于深度学习的纺织提花检测方法及系统 |
| CN113743445B (zh) * | 2021-07-15 | 2024-06-04 | 上海朋熙半导体有限公司 | 目标对象识别方法、装置、计算机设备和存储介质 |
| CN113657382B (zh) * | 2021-08-24 | 2024-03-01 | 凌云光技术股份有限公司 | 一种目标检测任务中最佳检测模型的选取方法及装置 |
| CN114882253A (zh) * | 2022-06-08 | 2022-08-09 | 杭州电子科技大学 | 一种基于对比学习和自注意力机制的面料织法匹配方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101866427A (zh) * | 2010-07-06 | 2010-10-20 | 西安电子科技大学 | 织物瑕疵检测与分类方法 |
| CN102081045A (zh) * | 2010-03-24 | 2011-06-01 | 上海海事大学 | 一种基于激光电视全息技术的结构损伤识别方法 |
| CN103745234A (zh) * | 2014-01-23 | 2014-04-23 | 东北大学 | 一种带钢表面缺陷的特征提取与分类方法 |
-
2016
- 2016-04-11 CN CN201510998532.3A patent/CN105654121B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081045A (zh) * | 2010-03-24 | 2011-06-01 | 上海海事大学 | 一种基于激光电视全息技术的结构损伤识别方法 |
| CN101866427A (zh) * | 2010-07-06 | 2010-10-20 | 西安电子科技大学 | 织物瑕疵检测与分类方法 |
| CN103745234A (zh) * | 2014-01-23 | 2014-04-23 | 东北大学 | 一种带钢表面缺陷的特征提取与分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105654121A (zh) | 2016-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105654121B (zh) | 一种基于深度学习的复杂提花织物缺陷检测方法 | |
| Mei et al. | An unsupervised-learning-based approach for automated defect inspection on textured surfaces | |
| CN105608479B (zh) | 结合深度数据的异常行为检测方法及系统 | |
| CN107123111B (zh) | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 | |
| CN108596046A (zh) | 一种基于深度学习的细胞检测计数方法及系统 | |
| CN105335725B (zh) | 一种基于特征融合的步态识别身份认证方法 | |
| CN103324944B (zh) | 一种基于svm和稀疏表示的假指纹检测方法 | |
| CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
| CN109064461A (zh) | 一种基于深度学习网络的钢轨表面缺陷检测方法 | |
| CN107909566A (zh) | 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法 | |
| CN109409190A (zh) | 基于梯度直方图和Canny边缘检测器的行人检测方法 | |
| CN104200478B (zh) | 一种基于稀疏表示的低分辨率触摸屏图像缺陷检测方法 | |
| CN106127221B (zh) | 基于极化-纹理特征与dpl的极化sar图像分类方法 | |
| CN109543688A (zh) | 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法 | |
| CN106951669A (zh) | 一种基于视觉认知的滚动轴承变工况故障诊断方法 | |
| CN106485288A (zh) | 一种色织物组织的自动识别方法 | |
| CN109461163A (zh) | 一种用于磁共振标准水模的边缘检测提取算法 | |
| CN108764134A (zh) | 一种适用于巡检机器人的多类型仪表自动定位与识别方法 | |
| CN106340000A (zh) | 骨龄评估方法 | |
| CN108492298A (zh) | 基于生成对抗网络的多光谱图像变化检测方法 | |
| CN106157308A (zh) | 矩形目标物检测方法 | |
| CN110400293A (zh) | 一种基于深度森林分类的无参考图像质量评价方法 | |
| CN103455826B (zh) | 基于快速鲁棒性特征的高效匹配核人体检测方法 | |
| CN109472790A (zh) | 一种机械零件缺陷检测方法及系统 | |
| CN113240018B (zh) | 一种基于误差反向传播算法的手绘图形分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200403 Address after: 100041 No.5, jinyuanzhuang Road, Shijingshan District, Beijing Patentee after: North China University of Technology Address before: 100041 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5 Patentee before: Li Yundong |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191119 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |