CN106996935A - 一种多层次模型布匹疵点检测方法和系统 - Google Patents

一种多层次模型布匹疵点检测方法和系统 Download PDF

Info

Publication number
CN106996935A
CN106996935A CN201710107169.0A CN201710107169A CN106996935A CN 106996935 A CN106996935 A CN 106996935A CN 201710107169 A CN201710107169 A CN 201710107169A CN 106996935 A CN106996935 A CN 106996935A
Authority
CN
China
Prior art keywords
image
model
defect
fabricnet
glcm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710107169.0A
Other languages
English (en)
Other versions
CN106996935B (zh
Inventor
孙志刚
万东
肖力
王卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710107169.0A priority Critical patent/CN106996935B/zh
Publication of CN106996935A publication Critical patent/CN106996935A/zh
Application granted granted Critical
Publication of CN106996935B publication Critical patent/CN106996935B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种多层次模型布匹疵点检测方法和系统，其中方法的实现包括：建立预分类模型Model1、卷积神经网络模型FabricNet和终分类模型Model2；采集布匹图像，对其分割得到ROI图像，计算ROI图像的GLCM的特征值组成特征向量V1；将V1输入Model1判断ROI图像是否为疵点图像，若为疵点图像则将疵点图像输入FabricNet，得到纹理特征向量V2；若不是疵点图像则得到了ROI图像的判别结果；将V2输入Model2，得出疵点图像的疵点分类判别结果；最终得到布匹图像的疵点检测结果。由于本发明使用了Model1、FabricNet和Model2这3个模型，提高了布匹疵点检测的准确率和实时性，满足工业生产需求。

Description

一种多层次模型布匹疵点检测方法和系统
技术领域
本发明属于模式识别技术领域，具体涉及一种多层次模型布匹疵点检测方法和系统。
背景技术
在纺织工业生产中，纺织品的检测是一道重要的工序，它决定了产品的质量，因此，疵点检测是生产工序中绝不可忽视的环节。然而，传统的的布匹疵点检测仍然是通过人工视觉来评定，人工长时间的检验不仅会影响产品质量的客观评定，还受限于检验人员的熟练程度。随着布匹的生产速度的提高以及对产品质量要求的提高，人工检验存在很大的弊端，包括检测速度慢、检测率低和稳定性差等，这使得人工检验越来越不适应工业生产的需求，因此，迫切需求生产过程中实现自动、精准、快速检测疵点的方法。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种多层次模型布匹疵点检测方法和系统，其目的在于解决布匹生产过程中人工检验疵点效率低，而现有基于机器视觉的检测方法准确率低、时效性低等问题。
为实现上述目的，按照本发明的一个方面，提供了一种多层次模型布匹疵点检测方法，包括以下步骤：
(1)预先训练预分类模型Model1、卷积神经网络模型FabricNet和终分类模型Model2；
(2)采集布匹图像，对其分割得到ROI图像，计算ROI图像的GLCM 的特征值组成特征向量V1；
(3)将V1输入Model1判断ROI图像是否为疵点图像，若为疵点图像则进行步骤(4)，若不是疵点图像则得到了ROI图像的判别结果，ROI图像为正常图像；
(4)将疵点图像输入FabricNet，得到卷积层Fc7层输出向量作为疵点图像的纹理特征向量V2；
(5)将V2输入Model2，得出疵点图像的疵点分类判别结果；最终得到布匹图像的疵点检测结果。
进一步的，Model1的具体训练方式为：
选取含有疵点的图像和不含疵点的图像组合为学习集L1，其中将L1按照第一预设比例分为训练集L11和验证集L12；计算L11中图像的GLCM的特征值组成特征向量V11，将V11输入第一分类器进行训练；计算L12中图像的GLCM 的特征值组成特征向量V12，将V12输入第一分类器测试预分类的准确率，得到预分类准确率大于等于第二预设值的Model1。
进一步的，FabricNet的具体训练方式为：
选取含有疵点的图像和不含疵点的图像组合为学习集L2，其中将L2按照第三预设比例分为训练集L21和验证集L22；对L21采用N折交叉验证法进行训练，用L22测试再分类的准确率，得到再分类准确率大于等于第四预设值的FabricNet。
进一步的，Model2的具体训练方式为：
选取含有疵点的图像和不含疵点的图像组合为学习集L3，L3按照第五预设值分为训练集L31和验证集L32；将L31输入FabricNet得到特征向量V21，将V21输入第一分类器进行训练，计算L32中图像的GLCM的特征值组成特征向量V22，将V22输入第一分类器进行测试，得到终分类准确率大于等于第六预设值的终分类模型Model2。
进一步的，第一分类器为支持向量机、Softmax分类器、贝叶斯分类器、决策树分类器和K近邻分类器中的任意一种。
更进一步的，第一分类器为支持向量机。
进一步的，图像的GLCM的特征值是图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩。
按照本发明的另一方面，提供了一种多层次模型布匹疵点检测系统，包括以下模块：
建立多层次模型模块，用于预先训练预分类模型Model1、卷积神经网络模型FabricNet和终分类模型Model2；
特征向量模块，用于对布匹图像分割得到ROI图像，计算ROI图像的 GLCM的特征值组成特征向量V1；
预分类模块，用于将V1输入Model1判断ROI图像是否为疵点图像，若为疵点图像则执行卷积神经网络模块，若不是疵点图像则得到了ROI图像的判别结果，ROI图像为正常图像；
卷积神经网络模块，将疵点图像输入FabricNet，得到卷积层Fc7层输出向量作为疵点图像的纹理特征向量V2；
终分类模块，用于将V2输入Model2，得出疵点图像的疵点分类判别结果；得到布匹图像的疵点检测结果。
更进一步的，图像的GLCM的特征值是图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于本发明在布匹图像的疵点检测的过程中使用了3个模型：预分类模型、卷积神经网络模型FabricNet和终分类模型，提高了布匹疵点检测的准确率和实时性，满足工业生产需求，具体而言，具有以下优点：
1、利用预分类模型Model1，对布匹图像分割后的ROI图像进行预分类过滤掉大部分无疵点正常布匹，减小后面模型的负担，预分类模型Model1保证了布匹疵点检测的时效性；
2、利用卷积神经网络模型FabricNet，借助FabricNet提取图像的深层特征，用于图像的精确分类，准确率非常高，FabricNet保证了布匹疵点检测的准确率；
3、利用终分类模型Model2，该模型分类准确率非常高，Model2利用 FabricNet提取的特征对图像精确分类，FabricNet计算量大，耗时较多，但是它提取出图像中的深层特征非常有效，用于分类得到的准确率非常高，由于布匹图像经过预分类模型已经筛选出大量的不含疵点的图像，实际输入 FabricNet的图像并不多，因此，时效性得到保证，Model2保证了布匹疵点检测的准确率。
附图说明
图1是一种多层次模型布匹疵点检测方法的流程图；
图2是布匹图像的分割原理示意图；
图3是ROI图像的纹理分块示意图；
图4是ROI图像计算GLCM时GPU端的线程分布图；
图5是ROI图像计算GLCM的特征值时GPU端的线程分布图；
图6(a)是孔洞疵点布匹图像；
图6(b)是油渍疵点布匹图像；
图6(c)是异物疵点布匹图像；
图6(d)是折痕疵点布匹图像；
图6(e)是正常布匹图像；
图7是卷积神经网络模型FabricNet的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明提出了一种多层次模型布匹疵点检测方法，包括：
(1)预先训练预分类模型Model1、卷积神经网络模型FabricNet和终分类模型Model2；包括：
(1-1)选取含有疵点的图像和不含疵点的图像组合为学习集L1，将L1 按照第一预设比例分为训练集L11和验证集L12；计算L11中图像的GLCM的特征值组成特征向量V11，将V11输入第一分类器进行训练；计算L12中图像的 GLCM的特征值组成特征向量V12，将V12输入第一分类器测试预分类的准确率，得到预分类准确率大于等于第二预设值的Model1。
第一分类器为支持向量机、Softmax分类器、贝叶斯分类器、决策树分类器和K近邻分类器中的任意一种。
其中第一分类器为支持向量机时分类效果最好。
具体实施方式为：选取3000张尺寸227×227的样本图像作为学习集L1，其中正常布匹1000张，疵点图像2000张，包括孔洞、异物、油渍和折痕疵点图像各500张。L1按照4∶1分为训练集L11和验证集L12；计算L11图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩，得到的特征向量V11输入支持向量机(SVM)二分类模型进行训练，迭代一定步数后，计算L12图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩，得到的特征向量V12输入支持向量机(SVM)二分类模型进行测试，若测试正确率达不到要求，则继续训练，最终得到对疵点图像分类准确率为97.17％，正常图像分类准确率为91.50％的预分类模型Model1。
(1-2)选取大量包含孔洞、油渍、异物和折痕等C类疵点的布匹图像以及不含疵点的正常布匹图像作为学习集L2时，由于L2中样本图像用于训练卷积神经网络模型FabricNet，为了避免网络过拟合，L2中图像数量需求比较大，将L1中的图像通过旋转、平移、灰度值改变、增加噪声等方式扩充K倍，扩充后的图像集作为L2。其中将L2按照第三预设比例分为训练集L21和验证集L22；对L21采用N折交叉验证法进行训练，将L2平均分为N份，轮流将其中N-1份作为训练数据，1份作为测试数据。每次训练完毕后测试后得到相应的正确率，N次结果的正确率的平均值作为分类准确率，得到再分类准确率大于等于第四预设值的FabricNet。
具体实施方式为：设计用于对布匹图像5分类的卷积神经网络FabricNet；FabricNet结构在经典结构CaffeNet的基础上做fine-tuning，最后一层分类层神经元数目为5，实现对正常布匹图像以及孔洞、油渍、异物和折痕4类疵点图像的分类。完整的FabricNet结构由5个卷积层和2个全连接层组成。将已有的3000张227×227的图像样本，经过旋转、平移、灰度值改变、增加噪声等方式扩充样本10倍，得到30000张图像作为学习集L2，其中正常布匹图像10000张，孔洞、异物、油渍和折痕疵点图像各5000张。利用 L2采用5(N＝5)折交叉验证法训练FabricNet，最后得到的FabricNet的分类准确率分别为97.08％。
其中，5折交叉验证法具体为：
将L2平均分为5份，轮流将其中4份作为训练图像，余下1份作为测试图像。每次适应训练图像训练完毕后，使用测试图像进行测试，得到相应的正确率，5次结果的正确率的平均值作为分类准确率，当分类准确率达到97.08％，停止训练。
(1-3)选取C类含有疵点的图像和1类不含疵点的图像组合为学习集 L3，L3按照第五预设值分为训练集L31和验证集L32；将L31输入FabricNet得到特征向量V21，将V21输入第一分类器进行训练，计算L32中图像的GLCM的特征值组成特征向量V22，将V22输入第一分类器进行测试，得到终分类准确率大于等于第五预设值的终分类模型Model2。
第一分类器为支持向量机、Softmax分类器、贝叶斯分类器、决策树分类器和K近邻分类器中的任意一种。
其中第一分类器为支持向量机时，初分类模型、卷积神经网络模型和终分类模型的组合分类效率最高。
具体实施方式为：选取经过样本扩种的30000张图像中3000张图像作为学习集L3，其中，正常图像、孔洞疵点图像、异物疵点图像、油渍疵点图像和折痕疵点图像各600张。L3按照5∶1分为训练集L31和验证集L32；利用L31通过FabricNet得到最后一个卷基层Fc7层输出作为特征向量V21，输入 SVM 5分类模型训练，迭代一定步数后，使用L32经过步骤二得到的特征向量V22输入支持向量机(SVM)5分类模型进行测试，若测试正确率达不到要求，则继续训练，最终得到对正常图像、孔洞疵点图像、油渍疵点图像、异物疵点图像和折痕疵点图像分类准确率分别为99.6％、99.2％、99.8％、99.2％和99.8％的终分类模型Model2。
(2)利用工业相机获取分辨率为2048×2048的布匹图像P1，对其进行分割得到若干张ROI图像PROI1、VROI2……PROIn；
分割的原因在于：工业相机采集的布匹图像分辨率很大，但是后面设计的卷积神经网络接收的图像输入尺寸是固定的，且不能太大，因为卷积神经网络对于大尺寸图像的计算量非常大，耗时很多。大尺寸的布匹图像直接被送至卷积神经网络耗时过多，因此，需要对图像进行分割。分割的实现采用滑动窗口的思想，滑动过程中，布匹图像在窗口下的部分作为分割得到的ROI图像，选择滑动步长小于窗口长度是为了减小分割位置刚好处于小疵点位置造成分割后的疵点过小的可能性。图2为布匹图像的分割原理示意图，设工业相机获取布匹图像的尺寸为W×W，FabricNet接收输入图像的尺寸为S×S，使用大小为S×S的窗口从布匹图像左上角以t为步长滑动，该窗口由左上角滑到右下角的过程中，每次横向滑动至布匹图像最右端和纵向滑动至布匹图像最下端时，步长变为t′，布匹图像在各窗口下的图像作为该布匹图像的所有ROI图像。横向滑动至布匹图像最右端和纵向滑动至布匹图像最下端时，步长改变是为了保证布匹图像分割完全。其中t＜S，中的R代表分割后得到的各ROI图像的编号，每一行总共可以得到的ROI图像个数那么第2行得到的第1个分割图像的编号是最后一行得到的最后一个分割图像的编号是其中且R∈Z。
其中，分割的具体方法为：
布匹图像分辨率为2048x2048，使用大小为227×227的窗口从布匹图像左上角以114为步长滑动，该窗口由左上角滑到右下角的过程中，每次横向滑动至布匹图像最右端和纵向滑动至布匹图像最下端时，步长变为111，布匹图像在各窗口下的图像作为该布匹图像的所有ROI图像。横向滑动至布匹图像最右端和纵向滑动至布匹图像最下端时，步长改变是为了保证布匹图像分割完全。
计算每张ROI图像的GLCM的特征值组成特征向量，首先计算每张ROI 图像的GLCM，然后计算每个GLCM的特征值，例如计算第一张ROI图像的特征向量V1，在GPU端基于CUDA计算图像0°、45°、90°和135°方向的4 个灰度共生矩阵(GLCM)，然后计算每个GLCM各自的能量Asm、熵Ent、对比度con和逆差矩ind这4个特征值组成16维特征向量V1；其中 V1＝{Asmn°，Entn°，conn°，indn°}，n＝0，45，90或135。
如图3所示，ROI图像的分辨率为S×S，划分纹理块大小为M×M，则图像被划分为个纹理块，S％M表示S除以M所得到的余数。
如图4所示，在GPU端计算图像GLCM时，GPU端采用二维的线程格grid 和线程块Block进行任务划分，将ROI图像划分为二维的纹理块，GPU的每个Block处理一个纹理块，一共有个Block，每个Block内线程 Thread分布为M×M，Block内的每个线程负责1个像素，Block(x，y)是线程块的坐标，Thread(m，n)是线程位于对应线程块的坐标。
其中，在GPU端计算图像GLCM及其各特征值时，具体为：
划分纹理块大小为32×32(M＝32)，则图像被划分为8×8个纹理块，对应 GPU中8×8个block，每个block内线程分布为32×32，既然Block内的thread 是二维划分的，那么内部的thread就应该有2个方向上的索引(就是2个方向的坐标)，threadIdx.x代表线程的x方向上的索引，可以理解为横坐标，threadIdx.y代表线程的y方向上的索引，可以理解为纵坐标，对于 blockIdx.x＝7的block内仅threadIdx.x＜3对应的线程工作，对于blockIdx.y＝7的 block内仅threadIdx.y＜3工作。计算得到4个方向的灰度共生矩阵： GLCM0°、GLCM45°、GLCM90°和GLCM135°；计算4个GLCM的能量Asm、熵Ent、对比度con和逆差矩ind 4种特征值时， 其中P(i，j)代表某个方向的GLCM；计算4种特征值时，如图5所示，GPU采用1 维的grid和block，即256个block，其中每个block中256个thread，每个线程负责一项，对于能量、熵、对比度和逆差矩，每个线程分别负责对应归一化后的P(i，j)2、-P(i，j)·lg P(i，j)、(i-j)2·P(i，j)和通过2 次规约求和，得到4种特征值，4个方向的GLCM各自的4种特征值组成16 维特征向量V1。
(3)将V1输入Model1判断ROI图像是否为疵点图像，若为疵点图像则进行步骤(4)，若不是疵点图像则得到了ROI图像的判别结果，ROI图像为正常图像。
本发明的4类疵点图像分别为，如图6(a)所示的孔洞疵点布匹图像、如图6(b)所示的油渍疵点布匹图像、如图6(c)所示的异物疵点布匹图像、如图6(d)所示的折痕疵点布匹图像以及如图6(e)所示的正常布匹图像，4类疵点图像中每一类疵点图像的数量相等。
(4)将疵点图像输入FabricNet，得到卷积层Fc7层输出向量作为疵点图像的纹理特征向量V2。
FabricNet结构在经典结构CaffeNet的基础上做fine-tuning，最后一层分类层神经元数目为5，实现对正常布匹图像以及孔洞、油渍、异物和折痕 4类疵点图像的分类。完整的FabricNet结构如图7，由5个卷积层和2个全连接层组成。
(5)将V2输入Model2，得出疵点图像的疵点分类判别结果。若布匹图像中还有ROI图像的判别结果没有得到，则继续执行步骤(2)，若布匹图像中所有ROI图像的判别结果均得到，则得到布匹图像的疵点检测结果，所述布匹图像的疵点检测结束。
其中，该组ROI图像所含疵点总和即为该单张布匹图像所含疵点数目，根据判别结果为某种疵点的图像对应的ROI编号也可得到该疵点的位置。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多层次模型布匹疵点检测方法，其特征在于，包括以下步骤：
(1)预先训练预分类模型Model1、卷积神经网络模型FabricNet和终分类模型Model2；
(2)采集布匹图像，对其分割得到ROI图像，计算ROI图像的GLCM的特征值组成特征向量V1；
(3)将V1输入Model1判断ROI图像是否为疵点图像，若为疵点图像则进行步骤(4)，若不是疵点图像则得到了ROI图像的判别结果，ROI图像为正常图像；
(4)将疵点图像输入FabricNet，得到卷积层Fc7层输出向量作为疵点图像的纹理特征向量V2；
(5)将V2输入Model2，得出疵点图像的疵点分类判别结果；最终得到布匹图像的疵点检测结果。
2.如权利要求1所述的一种多层次模型布匹疵点检测方法，其特征在于，所述Model1的具体训练方式为：
选取含有疵点的图像和不含疵点的图像组合为学习集L1，其中将L1按照第一预设比例分为训练集L11和验证集L12；计算L11中图像的GLCM的特征值组成特征向量V11，将V11输入第一分类器进行训练；计算L12中图像的GLCM的特征值组成特征向量V12，将V12输入第一分类器测试预分类的准确率，得到预分类准确率大于等于第二预设值的Model1。
3.如权利要求2所述的一种多层次模型布匹疵点检测方法，其特征在于，所述FabricNet的具体训练方式为：
选取含有疵点的图像和不含疵点的图像组合为学习集L2，其中将L2按照第三预设比例分为训练集L21和验证集L22；对L21采用N折交叉验证法进行训练，用L22测试再分类的准确率，得到再分类准确率大于等于第四预设值的FabricNet。
4.如权利要求3所述的一种多层次模型布匹疵点检测方法，其特征在于，所述Model2的具体训练方式为：
选取含有疵点的图像和不含疵点的图像组合为学习集L3，L3按照第五预设值分为训练集L31和验证集L32；将L31输入FabricNet得到特征向量V21，将V21输入第一分类器进行训练，计算L32中图像的GLCM的特征值组成特征向量V22，将V22输入第一分类器进行测试，得到终分类准确率大于等于第六预设值的终分类模型Model2。
5.如权利要求2或4所述的一种多层次模型布匹疵点检测方法，其特征在于，所述第一分类器为支持向量机、Softmax分类器、贝叶斯分类器、决策树分类器和K近邻分类器中的任意一种。
6.如权利要求5所述的一种多层次模型布匹疵点检测方法，其特征在于，所述第一分类器为支持向量机。
7.如权利要求1所述的一种多层次模型布匹疵点检测方法，其特征在于，所述图像的GLCM的特征值是图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩。
8.一种多层次模型布匹疵点检测系统，其特征在于，包括以下模块：
建立多层次模型模块，用于预先训练预分类模型Model1、卷积神经网络模型FabricNet和终分类模型Model2；
特征向量模块，用于对布匹图像分割得到ROI图像，计算ROI图像的GLCM的特征值组成特征向量V1；
预分类模块，用于将V1输入Model1判断ROI图像是否为疵点图像，若为疵点图像则执行卷积神经网络模块，若不是疵点图像则得到了ROI图像的判别结果，ROI图像为正常图像；
卷积神经网络模块，将疵点图像输入FabricNet，得到卷积层Fc7层输出向量作为疵点图像的纹理特征向量V2；
终分类模块，用于将V2输入Model2，得出疵点图像的疵点分类判别结果；得到布匹图像的疵点检测结果。
9.如权利要求8所述的一种多层次模型布匹疵点检测系统，其特征在于，所述图像的GLCM的特征值是图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩。
CN201710107169.0A 2017-02-27 2017-02-27 一种多层次模型布匹疵点检测方法和系统 Expired - Fee Related CN106996935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710107169.0A CN106996935B (zh) 2017-02-27 2017-02-27 一种多层次模型布匹疵点检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710107169.0A CN106996935B (zh) 2017-02-27 2017-02-27 一种多层次模型布匹疵点检测方法和系统

Publications (2)

Publication Number Publication Date
CN106996935A true CN106996935A (zh) 2017-08-01
CN106996935B CN106996935B (zh) 2019-06-18

Family

ID=59431344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710107169.0A Expired - Fee Related CN106996935B (zh) 2017-02-27 2017-02-27 一种多层次模型布匹疵点检测方法和系统

Country Status (1)

Country Link
CN (1) CN106996935B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622277A (zh) * 2017-08-28 2018-01-23 广东工业大学 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
CN108416774A (zh) * 2018-03-08 2018-08-17 中山大学 一种基于细粒度神经网络的织物种类识别方法
CN109035248A (zh) * 2018-09-05 2018-12-18 深圳灵图慧视科技有限公司 疵点检测方法、装置、终端设备、服务器和存储介质
CN109187579A (zh) * 2018-09-05 2019-01-11 深圳灵图慧视科技有限公司 织物疵点检测方法及装置、计算机设备及计算机可读介质
CN109215022A (zh) * 2018-09-05 2019-01-15 深圳灵图慧视科技有限公司 验布方法、装置、终端设备、服务器、存储介质和系统
CN109300117A (zh) * 2018-09-05 2019-02-01 深圳灵图慧视科技有限公司 神经网络系统、电子设备和机器可读介质
CN109325940A (zh) * 2018-09-05 2019-02-12 深圳灵图慧视科技有限公司 织物检测方法及装置、计算机设备和计算机可读介质
CN109325941A (zh) * 2018-09-05 2019-02-12 深圳灵图慧视科技有限公司 表面属性检测方法及装置、计算机设备及计算机可读介质
CN110580698A (zh) * 2018-08-01 2019-12-17 浙江师范大学 一种利用分层梯度方向直方图和支持向量机的布匹疵点检测方法
CN111028250A (zh) * 2019-12-27 2020-04-17 创新奇智(广州)科技有限公司 一种实时智能验布方法及系统
CN111062934A (zh) * 2019-12-25 2020-04-24 陈金选 一种织物图像缺陷实时检测方法
CN111340783A (zh) * 2020-02-27 2020-06-26 创新奇智(广州)科技有限公司 一种实时布匹缺陷检测方法
CN111402225A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种布匹折叠误检疵点判别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1948603A (zh) * 2006-11-10 2007-04-18 苏州大学 一种识别机织物疵点的方法
CN101866427A (zh) * 2010-07-06 2010-10-20 西安电子科技大学 织物瑕疵检测与分类方法
CN102879401A (zh) * 2012-09-07 2013-01-16 西安工程大学 基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法
CN104268505A (zh) * 2014-09-12 2015-01-07 河海大学常州校区 基于机器视觉的布匹疵点自动检测识别装置及方法
CN104751147A (zh) * 2015-04-16 2015-07-01 成都汇智远景科技有限公司 一种图像识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1948603A (zh) * 2006-11-10 2007-04-18 苏州大学 一种识别机织物疵点的方法
CN101866427A (zh) * 2010-07-06 2010-10-20 西安电子科技大学 织物瑕疵检测与分类方法
CN102879401A (zh) * 2012-09-07 2013-01-16 西安工程大学 基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法
CN104268505A (zh) * 2014-09-12 2015-01-07 河海大学常州校区 基于机器视觉的布匹疵点自动检测识别装置及方法
CN104751147A (zh) * 2015-04-16 2015-07-01 成都汇智远景科技有限公司 一种图像识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZIGUANG SUN ET AL: "Fabric defect detection based on textured characteristics using wavelet transform", 《PROC.OF SPIE》 *
刘海平: "基于机器视觉的无纺布疵点在线检测系统研究", 《万方数据库》 *
吕坤等: "一种基于改进的BP 神经网络算法的布匹瑕疵分类器", 《微电子学与计算机》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622277A (zh) * 2017-08-28 2018-01-23 广东工业大学 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
CN107622277B (zh) * 2017-08-28 2020-09-22 广东工业大学 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
CN108416774A (zh) * 2018-03-08 2018-08-17 中山大学 一种基于细粒度神经网络的织物种类识别方法
CN110580698A (zh) * 2018-08-01 2019-12-17 浙江师范大学 一种利用分层梯度方向直方图和支持向量机的布匹疵点检测方法
CN109215022A (zh) * 2018-09-05 2019-01-15 深圳灵图慧视科技有限公司 验布方法、装置、终端设备、服务器、存储介质和系统
CN109300117A (zh) * 2018-09-05 2019-02-01 深圳灵图慧视科技有限公司 神经网络系统、电子设备和机器可读介质
CN109325940A (zh) * 2018-09-05 2019-02-12 深圳灵图慧视科技有限公司 织物检测方法及装置、计算机设备和计算机可读介质
CN109325941A (zh) * 2018-09-05 2019-02-12 深圳灵图慧视科技有限公司 表面属性检测方法及装置、计算机设备及计算机可读介质
CN109187579A (zh) * 2018-09-05 2019-01-11 深圳灵图慧视科技有限公司 织物疵点检测方法及装置、计算机设备及计算机可读介质
CN109035248A (zh) * 2018-09-05 2018-12-18 深圳灵图慧视科技有限公司 疵点检测方法、装置、终端设备、服务器和存储介质
CN111062934A (zh) * 2019-12-25 2020-04-24 陈金选 一种织物图像缺陷实时检测方法
CN111062934B (zh) * 2019-12-25 2023-10-13 陈金选 一种织物图像缺陷实时检测方法
CN111028250A (zh) * 2019-12-27 2020-04-17 创新奇智(广州)科技有限公司 一种实时智能验布方法及系统
CN111340783A (zh) * 2020-02-27 2020-06-26 创新奇智(广州)科技有限公司 一种实时布匹缺陷检测方法
CN111402225A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种布匹折叠误检疵点判别方法
CN111402225B (zh) * 2020-03-13 2023-05-26 浙江工业大学 一种布匹折叠误检疵点判别方法

Also Published As

Publication number Publication date
CN106996935B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN106996935B (zh) 一种多层次模型布匹疵点检测方法和系统
CN111179229B (zh) 一种基于深度学习的工业ct缺陷检测方法
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN109711474A (zh) 一种基于深度学习的铝材表面缺陷检测算法
CN108520114A (zh) 一种纺织布疵点检测模型及其训练方法和应用
CN104102919B (zh) 一种有效防止卷积神经网络过拟合的图像分类方法
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
CN104156734B (zh) 一种基于随机蕨分类器的全自主在线学习方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN113408423B (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN107064170A (zh) 一种检测手机外壳轮廓度缺陷方法
CN109214308A (zh) 一种基于焦点损失函数的交通异常图片识别方法
CN109509187A (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN107688786A (zh) 一种基于级联卷积神经网络的人脸检测方法
CN108346144A (zh) 基于计算机视觉的桥梁裂缝自动监测与识别方法
CN108596203A (zh) 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN106650823A (zh) 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
CN110490858A (zh) 一种基于深度学习的织物缺陷像素级分类方法
CN113409314A (zh) 高空钢结构腐蚀的无人机视觉检测与评价方法及系统
CN110245695A (zh) 一种基于卷积神经网络的tbm岩渣大小等级识别方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN102621154B (zh) 基于改进差分盒多重分形算法的布匹疵点在线自动检测方法
CN107507168A (zh) 一种用于岩体节理裂隙模型检验的迹线图相似度判别方法
CN108932471A (zh) 一种车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190618