CN111553898A - 一种基于卷积神经网络的面料疵点检测方法 - Google Patents

一种基于卷积神经网络的面料疵点检测方法 Download PDF

Info

Publication number
CN111553898A
CN111553898A CN202010345964.5A CN202010345964A CN111553898A CN 111553898 A CN111553898 A CN 111553898A CN 202010345964 A CN202010345964 A CN 202010345964A CN 111553898 A CN111553898 A CN 111553898A
Authority
CN
China
Prior art keywords
fabric
defect
detection
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010345964.5A
Other languages
English (en)
Inventor
陈广锋
唐云卿
王军舟
周敏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202010345964.5A priority Critical patent/CN111553898A/zh
Publication of CN111553898A publication Critical patent/CN111553898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于卷积神经网络的面料疵点检测方法，主要针对传统面料疵点检测方法受光照影响较大且检测效率低的问题。本方法首先将面料疵点数据分为训练集与测试集，采用高斯滤波、光照均衡化和随机调整图像亮度相结合的图像处理方法对数据集进行预处理，提高了面料疵点检测模型对光照的抗干扰能力，再利用聚类算法获得模型训练时需要的面料疵点候选框尺寸，在此基础上设计针对面料疵点检测的卷积神经网络，提高了对面料疵点的特征提取能力，通过设计损失函数并对设计的卷积神经网络进行训练获得面料疵点检测模型，并利用模型对面料疵点进行检测。本发明能够实现对面料疵点的快速检测并且具有很高的检测精度，且检测性能受光照的影响较小。

Description

一种基于卷积神经网络的面料疵点检测方法
技术领域
本发明涉及一种基于卷积神经网络的面料疵点检测方法，属于面料疵点检测领域。
背景技术
面料疵点的检测是面料生产中非常重要的一环，在生产中面料疵点产生后，如果不能及时进行处理，会导致大量废布的产生，造成经济损失。现如今面料疵点的检测方法主要有两种：第一种基于传机器视觉的检测方法，主要包括基于频域、基于统计和基于学习的检测方法，基于频域、基于统计的方法一定程度上解放了人力，但其抗干扰能力和识别分类能力较弱；第二类是基于深度学习的检测方法，但并没有考虑光照变化对于检测效果的影响。
赵志勇在《基于深度学习的布匹缺陷识别与检测研究》中提出了一种改进的Faster R-CNN检测算法，通过分类器获得图像对应的类别，在采用对应Faster R-CNN模型进行检测以获得疵点的种类与位置。但由于Faster R-CNN的两阶段检测模式，其检测速度相对较慢且并没有考虑光照的影响。
发明内容
本发明要解决的技术问题是目前面料疵点检测方法速度相对较慢且没有考虑光照影响的问题。
为了解决上述技术问题，本发明的技术方案是提供了一种基于卷积神经网络的面料疵点检测方法，其特征在于，包括以下步骤：
步骤1、设计针对面料疵点检测的卷积神经网络结构，所述的网络结构由两部分组成，包括面料疵点特征提取网络和面料疵点定位网络端对端的结构特点提高了模型的检测速度；
步骤2、设计损失函数用于神经网络的训练，损失函数由四部分组成，分别是含有疵点的置信度的损失值，疵点坐标位置的损失值，疵点边界框尺寸的损失值以及疵点类别的损失值；
步骤3、确定需要检测的面料种类，其疵点种类和尺寸具有多样性；
步骤4、构建待检测面料的疵点数据集，并按照7:3的比例划分训练集和测试集；
步骤5、通过聚类算法获得8个面料疵点边界框的候选尺寸，用于神经网络训练时面料疵点边界框尺寸的回归；
步骤6、将训练集与测试集的面料疵点图均进行图像预处理，以减小光照以及噪声对于检测效果的影响；
步骤7、利用构建的训练集中的面料疵点样本，设定初始学习率并采用自适应学习率算法，并采用Adam方法对网络进行训练，以缩小模型预测的面料疵点的种类、位置和尺寸与实际疵点之间的误差，进而获得面料疵点的检测模型，并利用构建的测试集对模型的性能进行评估；对不满足要求的面料疵点检测模型进行分析并调整图像预处理和模型训练中的参数；对于满足要求的模型可用于步骤8中的检测；
步骤8、将待检测的面料疵点图片进行图像预处理，再送入面料疵点检测模型中，获得检测结果。
由于采用了上述的技术方案，本法发明与现有技术相比，具有以下的优点和积极效果：本发明采用深度学习的方法进行了面料疵点的检测提高了检测的效率以及对光照的抗干扰性本发明优点在于。
附图说明
图1是本发明的面料疵点检测方法流程图；
图2是本发明针对面料疵点检测的卷积神经网络结构图；
图3是本发明实施例中疵点检测时采集的待检测面料疵点图片图例；
图4是本发明实施例中待检测图片经图像处理后的结果图例；
图5是本发明实施例中面料疵点检测结果图例。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
请参考图1，本发明提供了一种技术方案：一种基于卷积神经网络的面料疵点检测方法，包含以下步骤：
步骤1、设计针对面料疵点检测的卷积神经网络结构，如图2所示，网络结构由两部分组成，包括面料疵点特征提取网络和面料疵点定位网络，其端对端的结构特点提高了模型的检测速度。其中特征提取网络共有23层，第2、4、8、12、18层为最大池化层，其余均为采用leaky ReLU激活函数的卷积层并对每个卷积层进行了批归一化处理；面料疵点定位网络有两个输出，将特征提取网络第23层的输出通过1个卷积层获得第一个输出，其中卷积层均采用leaky ReLU激活函数并做批归一化处理，通过对特征提取网络第23层输出上采样并与第11层的输出进行融合，再通过1层卷积层获得第二个输出，其中卷积层均采用leaky ReLU激活函数并做批归一化处理。
步骤2、设计损失函数用于神经网络的训练，损失函数由四部分组成，分别是含有疵点的置信度的损失值，疵点坐标位置的损失值，疵点边界框尺寸的损失值以及疵点类别的损失值，具体公式如下：
Loss＝Lossconf+Lossxy+Losswh+Lossclass
式中，疵点置信度损失值Lossconf的表达式为：
Figure BDA0002470176790000031
疵点坐标位置的损失值Lossxy的表达式为：
Figure BDA0002470176790000032
疵点边界框尺寸的损失值Losswh的表达式为：
Figure BDA0002470176790000033
疵点种类的损失值Lossclass的表达式为：
Figure BDA0002470176790000034
上式中，Loss为检测模型的损失函数，Ci表示置信度实际值，
Figure BDA0002470176790000035
表示预测值，S2表示网格单元的数目，B表示每个网格单元预测的边界框的数目，x和y表示预测的疵点坐标，而
Figure BDA0002470176790000036
和
Figure BDA0002470176790000037
表示从训练数据中得到的实际坐标。
Figure BDA0002470176790000038
的定义为：若
Figure BDA0002470176790000039
为1，表示第i个网格单元中存在目标，第j个边界框预测值对于该预测有效；若
Figure BDA0002470176790000041
为0，则表示第i个网格单元中不存在目标。λcoord为一个权重常数，用于提升模型的稳定性，λcoord取值为5。其中λnoobj为另一权重常数，用于提高模型稳定性，λnoobj取值为0.5。w和h表示疵点边界框宽度和高度的预测值，
Figure BDA0002470176790000042
和
Figure BDA0002470176790000043
表示边界框宽度和高度的实际值。p表示预测的类别的得分，
Figure BDA0002470176790000044
表示实际的类别得分。c表示检测目标的种类。
步骤3、确定需要检测的面料种类，其疵点种类和尺寸具有多样性；
步骤4、构建待检测面料的疵点数据集，再将数据集按照7∶3的比例划分为训练集和测试集，并对训练集数据进行标注，训练集用于模型训练，测试集用于对训练好的模型的检测性能进行评估。
步骤5、利用训练集中标注好的面料疵点数据采用k-means++聚类算法获得8个面料疵点候选框尺寸，用于训练面料疵点位置与尺寸的检测能力。
步骤6、将训练集与测试集的面料疵点图均进行图像预处理，以减小光照以及噪声对于检测效果的影响。首先对图像进行高斯滤波来去除图像中的噪声，再将图像由RGB空间转换为YPbPr空间，提取出亮度通道Y进行自适应直方图均衡化，再将处理过的亮度通道与PbPr通道合成并转换到RGB空间，以实现图像的光照均衡化，最后对图片进行随机亮度处理。
步骤7、利用构建的训练集中的面料疵点样本，设定初始学习率并采用自适应学习率算法，并采用Adam方法对网络进行训练，以缩小模型预测的面料疵点的种类、位置和尺寸与实际疵点之间的误差，进而获得面料疵点的检测模型，并利用构建的测试集对模型的性能进行评估。对于不满足要求的面料疵点检测模型，应进行分析与调整，适当调整图像预处理和网络模型训练时的参数；对于满足要求的面料疵点检测模型可用与步骤8中的检测。
步骤8、将待检测的面料疵点图片进行高斯滤波来去除图像中的噪声，再将图像由RGB空间转换为YPbPr空间，提取出亮度通道Y进行自适应直方图均衡化，再将处理过的亮度通道与PbPr通道合成并转换到RGB空间，以实现图像的光照均衡化，最后将如图4所示的处理后的图片送入面料疵点检测模型中，获得如图5所示的检测结果。

Claims (1)

1.一种基于卷积神经网络的面料疵点检测方法，其特征在于，包括以下步骤：
步骤1、设计针对面料疵点检测的卷积神经网络结构，所述的网络结构由两部分组成，包括面料疵点特征提取网络和面料疵点定位网络端对端的结构特点提高了模型的检测速度；
步骤2、设计损失函数用于神经网络的训练，损失函数由四部分组成，分别是含有疵点的置信度的损失值，疵点坐标位置的损失值，疵点边界框尺寸的损失值以及疵点类别的损失值；
步骤3、确定需要检测的面料种类，其疵点种类和尺寸具有多样性；
步骤4、构建待检测面料的疵点数据集，并按照7:3的比例划分训练集和测试集；
步骤5、通过聚类算法获得8个面料疵点边界框的候选尺寸，用于神经网络训练时面料疵点边界框尺寸的回归；
步骤6、将训练集与测试集的面料疵点图均进行图像预处理，以减小光照以及噪声对于检测效果的影响；
步骤7、利用构建的训练集中的面料疵点样本，设定初始学习率并采用自适应学习率算法，并采用Adam方法对网络进行训练，以缩小模型预测的面料疵点的种类、位置和尺寸与实际疵点之间的误差，进而获得面料疵点的检测模型，并利用构建的测试集对模型的性能进行评估；对不满足要求的面料疵点检测模型进行分析并调整图像预处理和模型训练中的参数；对于满足要求的模型可用于步骤8中的检测；
步骤8、将待检测的面料疵点图片进行图像预处理，再送入面料疵点检测模型中，获得检测结果。
CN202010345964.5A 2020-04-27 2020-04-27 一种基于卷积神经网络的面料疵点检测方法 Pending CN111553898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010345964.5A CN111553898A (zh) 2020-04-27 2020-04-27 一种基于卷积神经网络的面料疵点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010345964.5A CN111553898A (zh) 2020-04-27 2020-04-27 一种基于卷积神经网络的面料疵点检测方法

Publications (1)

Publication Number Publication Date
CN111553898A true CN111553898A (zh) 2020-08-18

Family

ID=72003148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010345964.5A Pending CN111553898A (zh) 2020-04-27 2020-04-27 一种基于卷积神经网络的面料疵点检测方法

Country Status (1)

Country Link
CN (1) CN111553898A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270722A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN113066075A (zh) * 2021-04-10 2021-07-02 河南大学 一种多图像融合的牛仔布瑕疵检测方法及装置
CN113935995A (zh) * 2021-12-16 2022-01-14 成都数之联科技有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质
CN114757900A (zh) * 2022-03-31 2022-07-15 启东新朋莱纺织科技有限公司 基于人工智能的纺织品缺陷类型识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520114A (zh) * 2018-03-21 2018-09-11 华中科技大学 一种纺织布疵点检测模型及其训练方法和应用
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置
CN110930387A (zh) * 2019-11-21 2020-03-27 中原工学院 基于深度可分离卷积神经网络的织物疵点检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520114A (zh) * 2018-03-21 2018-09-11 华中科技大学 一种纺织布疵点检测模型及其训练方法和应用
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN110930387A (zh) * 2019-11-21 2020-03-27 中原工学院 基于深度可分离卷积神经网络的织物疵点检测方法
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭龙源 等: "基于YOLOv3 的磁瓦表面缺陷检测算法", 《成都工业学院学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270722A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN112270722B (zh) * 2020-10-26 2024-05-17 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN113066075A (zh) * 2021-04-10 2021-07-02 河南大学 一种多图像融合的牛仔布瑕疵检测方法及装置
CN113066075B (zh) * 2021-04-10 2022-11-01 河南大学 一种多图像融合的牛仔布瑕疵检测方法及装置
CN113935995A (zh) * 2021-12-16 2022-01-14 成都数之联科技有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质
CN114757900A (zh) * 2022-03-31 2022-07-15 启东新朋莱纺织科技有限公司 基于人工智能的纺织品缺陷类型识别方法

Similar Documents

Publication Publication Date Title
CN111553898A (zh) 一种基于卷积神经网络的面料疵点检测方法
CN110349126B (zh) 一种基于卷积神经网络带标记的钢板表面缺陷检测方法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN107292882B (zh) 一种基于Meanshift自适应电气设备故障检测方法
CN110097053B (zh) 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法
CN101996405B (zh) 一种快速的玻璃图像缺陷检测及分类方法及其装置
CN108961235A (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109376792A (zh) 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN111179262B (zh) 一种结合形状属性的电力巡检图像金具检测方法
CN111753828A (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN113205063A (zh) 一种输电导线缺陷的视觉识别及定位方法
CN116485785B (zh) 一种太阳能电池片的表面缺陷检测方法
CN112651404A (zh) 一种基于无锚框检测器的绿色果实高效分割方法及系统
CN106157323A (zh) 一种动态分块阈值和块搜索结合的绝缘子分割提取方法
Ni et al. An improved Faster R-CNN for defect recognition of key components of transmission line
CN111639579B (zh) 一种基于红外图像的电力变压器套管智能油位识别方法
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN113076920B (zh) 一种基于非对称域对抗自适应模型的智能故障诊断方法
CN109359604B (zh) 面向巡检机器人的阴影干扰下仪表识别方法
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN117746077A (zh) 一种芯片缺陷的检测方法、装置、设备和存储介质
CN111179239A (zh) 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法
CN112381794B (zh) 一种基于深度卷积生成网络的印刷缺陷检测方法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200818