CN112802016A - 基于深度学习的实时布匹缺陷检测方法及系统 - Google Patents

基于深度学习的实时布匹缺陷检测方法及系统 Download PDF

Info

Publication number
CN112802016A
CN112802016A CN202110334060.7A CN202110334060A CN112802016A CN 112802016 A CN112802016 A CN 112802016A CN 202110334060 A CN202110334060 A CN 202110334060A CN 112802016 A CN112802016 A CN 112802016A
Authority
CN
China
Prior art keywords
cloth
real
defect
image
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110334060.7A
Other languages
English (en)
Other versions
CN112802016B (zh
Inventor
张勇
颜庚潇
赵东宁
廉德亮
梁长垠
曾庆好
何钦煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110334060.7A priority Critical patent/CN112802016B/zh
Publication of CN112802016A publication Critical patent/CN112802016A/zh
Application granted granted Critical
Publication of CN112802016B publication Critical patent/CN112802016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于深度学习的实时布匹缺陷检测方法及系统，所述方法包括：步骤1：采集不同种类布匹缺陷图像，构建缺陷数据集；步骤2：先进行数据扩充，再使用生成对抗网络进行数据扩充；步骤3：对扩充后的缺陷数据集进行标注处理；步骤4：构建深度学习目标检测网络进行布匹缺陷检测；步骤5：训练布匹缺陷检测网络；步骤6：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。本发明能够省去人工设计特征，提高缺陷检测系统鲁棒性，且大幅提升检测性能，并且能够解放人力，进一步提高纺织业智能化程度。

Description

基于深度学习的实时布匹缺陷检测方法及系统
技术领域
本发明涉及布匹缺陷检测技术领域，尤其涉及一种基于深度学习的实时布匹缺陷检测方法及系统。
背景技术
在布匹生产中，布匹的质量是重中之重，不仅和人们的生活息息相关，还直接影响到产业发展，攸关企业生命。目前在纺织服装生产企业主要通过专业的布匹检验人员站在验布设备前，通过肉眼发现布面疵点再进行疵点的标记或者记录。但依靠人工验布存在很多问题——缺陷检出率低、招工难且人员成本高，并且验布员注意力无法持续维持，验布速度较慢，若验布时间过长，验布工会产生疲劳，检测效率就会大打折扣，很不稳定。因此利用计算机来帮助人类进行缺陷检测已经是大势所趋，人们将布匹图拍下来输入到计算机中，让计算机根据一些图像处理算法来进行缺陷检测，然而，传统图像处理一般都需要针对不同的场景来手工设计特征，因此鲁棒性不够，往往换一种场景，效果就会变差，检测速度也不理想，并且布匹缺陷种类往往较多，很难进行手工设计缺陷特征。
依靠深度学习进行缺陷检测能取得较好的检测效果，但其需要大量的数据样本作为基础，如果数据量不够，往往效果不是很理想，而在实际生产中，带缺陷的数据样本往往较少，无法给深度模型带来很好效果。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于深度学习的实时布匹缺陷检测方法及系统，以实现在保证检测精度的同时尽可能提高检测速度，提高自动布匹缺陷检测机器的工作效率以解放人力，提升纺织业的智能化程度。
为了解决上述技术问题，本发明实施例提出了一种基于深度学习的实时布匹缺陷检测方法，包括：
步骤1：采集不同种类布匹缺陷图像，构建缺陷数据集；
步骤2：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
步骤3：对扩充后的缺陷数据集进行标注处理；
步骤4：构建深度学习目标检测网络进行布匹缺陷检测；
步骤5：训练布匹缺陷检测网络；
步骤6：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
进一步地，步骤1中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
进一步地，步骤2中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))，生成对抗网络的优化公式为：
Figure BDA0002996552880000021
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure BDA0002996552880000022
表示期望，
Figure BDA0002996552880000023
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure BDA0002996552880000024
表示生成器G生成图像能够骗过判别器的期望。
进一步地，步骤4中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure BDA0002996552880000025
其中xi表示输入，yi表示输出，ai是(1,+∞)区间内的固定参数。
进一步地，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure BDA0002996552880000026
Figure BDA0002996552880000031
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi,yi,wi,hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure BDA0002996552880000032
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure BDA0002996552880000033
否则该值为0，
Figure BDA0002996552880000034
表示第i个网格的第j个anchor box不负责预测该目标的概率，与
Figure BDA0002996552880000035
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure BDA0002996552880000036
表示预测的类别置信度。
相应地，本发明实施例还提供了一种基于深度学习的实时布匹缺陷检测系统，包括：
采集模块：采集不同种类布匹缺陷图像，构建缺陷数据集；
扩充模块：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
标注模块：对扩充后的缺陷数据集进行标注处理；
构建模块：构建深度学习目标检测网络进行布匹缺陷检测；
训练模块：训练布匹缺陷检测网络；
检测模块：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
进一步地，采集模块中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
进一步地，扩充模块中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))，生成对抗网络的优化公式为：
Figure BDA0002996552880000037
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure BDA0002996552880000041
表示期望，
Figure BDA0002996552880000042
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure BDA0002996552880000043
表示生成器G生成图像能够骗过判别器的期望。
进一步地，构建模块中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure BDA0002996552880000044
其中xi表示输入，yi表示输出，ai是(1,+∞)区间内的固定参数。
进一步地，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure BDA0002996552880000045
Figure BDA0002996552880000046
Figure BDA0002996552880000047
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi,yi,wi,hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure BDA0002996552880000048
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure BDA0002996552880000049
否则该值为0，
Figure BDA00029965528800000410
表示第i个网格的第j个anchor box不负责预测该目标的概率，与
Figure BDA00029965528800000411
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure BDA00029965528800000412
表示预测的类别置信度。
本发明的有益效果为：
本发明使用深度学习的技术，针对缺陷样本过少的问题，使用生成对抗网络得到大量近似真实缺陷的图像数据，以达到数据扩充的目的，从而提升模型性能，并且选择检测速度和检测精度均较高的深度学习目标检测网络来进行缺陷检测，能够有效实现布匹缺陷实时检测的目的，与传统图像处理技术相比，能够省去人工设计特征，提高缺陷检测系统鲁棒性，且大幅提升检测性能，并且能够解放人力，进一步提高纺织业智能化程度。
附图说明
图1是本发明实施例的基于深度学习的实时布匹缺陷检测方法的流程图。
图2是本发明实施例基于生成对抗网络进行数据集扩充的原理图。
图3是本发明实施例基于深度学习目标检测算法的原理图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例的基于深度学习的实时布匹缺陷检测方法首先利用生成对抗网络来生成需要的缺陷数据，然后再利用深度学习目标检测网络进行训练，训练得到最优模型之后将其保存，在测试时将模型文件加载进网络，此时输入一张布匹图像，本发明实施例的基于深度学习的实时布匹缺陷检测系统就能自动通过模型推断出结果。
请参照图1～图3，本发明实施例的基于深度学习的实时布匹缺陷检测方法，包括：
步骤1：建立布匹图像数据采集环境，采集不同种类布匹缺陷图像，构建缺陷数据集；
步骤2：先对缺陷数据集的图像进行常规数据扩充，即对图像进行平移、旋转等操作，获得一定数量的新数据，再使用生成对抗网络对缺陷数据集进行数据扩充；
步骤3：对扩充后的缺陷数据集进行标注处理；
步骤4：构建深度学习目标检测网络进行布匹缺陷检测；
步骤5：训练布匹缺陷检测网络；
步骤6：利用工业摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
在步骤1中，建立布匹图像数据采集环境，采集不同种类布匹缺陷的数据集。在本实施方式中，通过构建自动抓拍图像系统来建立布匹图像数据采集环境，所构建的自动抓拍图像系统包括硬件模块有：布匹传送带、工业高速摄像机、一台计算机，将摄像机置于定点传送带的上方，传送带以匀速传送布匹，高速摄像机快速抓取布匹图像，并将其输出保存在计算机中。其中，摄像机抓取的图像为完整高清图像且图像高度和宽度应为512的倍数。缺陷类别包括正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓及其他。
在步骤2中，首先进行常规数据扩充，如平移、旋转、对称、缩放、裁剪、填充、左右翻转、颜色变换等操作，然后利用生成对抗网络对缺陷数据集进行数据扩充。第一步的数据扩充是为了之后训练生成对抗网络时有较多真实数据，以取得更好效果。然后使用生成对抗网络进行进一步的数据扩充，生成对抗网络由生成器G和判别器D组成，生成器G采用U-Net的网络架构，输入为512*512*3的图像，分别表示图像的高度、宽度和通道数，网络的左半部分可以看作是编码器，将图像的特征进行提取，右半部分则是解码器，将图像还原成512*512*3大小且带有缺陷的图像，以达到缺陷图像生成的目的。判别器D采用多层ResNet的网络结构，输入一张512*512*3的图像，输出一个0～1之间的数值，该数值表示输入图像是否真实的概率。经过对抗训练之后，生成对抗网络会达到一种平衡状态，此时生成器G生成的缺陷图像近似真实缺陷图像，D(G(z))≈0.5,从而达到了缺陷数据扩充的目的，优化公式为：
Figure BDA0002996552880000061
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像。D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure BDA0002996552880000062
表示期望，
Figure BDA0002996552880000063
表示判别器D判别样本是不是从pdata(x)中取出来的期望，
Figure BDA0002996552880000064
表示生成器G生成图像能够骗过判别器的期望，对该公式而言，minGmaxDV(D,G)，即对于判别器D来说要尽量使公式最大化，即判断能力强，而对生成器G来说要尽量是公式小，即使得生成的数据接近真实样本。具体如图2所示。
在步骤3中，对扩充后的缺陷数据集进行标注处理。标签文件按照VOC格式建立，标签类别则为缺陷种类，包括正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓及其他。
在步骤4中，构建深度学习目标检测网络进行布匹缺陷检测。具体为使用YOLOv3进行目标检测，该网络的backbone为Darknet-53，是由一些3*3的卷积层、1*1的卷积层和一些残差块构成。YOLOv3有三个不同特征尺度的输出，分别是13*13*m，26*26*m，52*52*m，其中m表示每个格子有多少个值，比如使用VOC数据集训练，目标检测种类为20，YOLOv3中每个cell有3个box，每个box有(x,y,w,h,confidence)5个基本参数，分别表示目标的坐标和置信度，所以此时m＝3*(5+20)＝75。YOLOv3在类别预测的代价函数上用逻辑回归层来对每个类别做二分类，主要用到sigmoid函数，该函数将输出约束在0～1的范围中，若该值大于0.5，这表示属于该类，因此一个框就可预测多个类别，其具体公式如下：
Figure BDA0002996552880000071
其中，z表示输入，σ(z)表示输出。
YOLOv3中使用Leaky ReLU作为激活函数，其表达式为：
Figure BDA0002996552880000072
其中xi表示输入，yi表示输出，ai是(1,+∞)区间内的固定参数。
使用batch normalization作为正则化。
在YOLOv3中，整体loss分为位置坐标loss、置信度loss以及类别loss三部分。
Figure BDA0002996552880000073
Figure BDA0002996552880000074
Figure BDA0002996552880000075
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi,yi,wi,hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure BDA0002996552880000081
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure BDA0002996552880000082
否则该值为0，
Figure BDA0002996552880000083
表示第i个网格的第j个anchor box不负责预测该目标的概率，与
Figure BDA0002996552880000084
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure BDA0002996552880000085
表示预测的类别置信度，包括包含目标的可能性以及边界框的准确度(与真实框的IOU)。其具体网络架构请参考图3。
在步骤5中，训练布匹缺陷检测网络。将步骤3中得到的数据集按照7：3的比例划分训练集和测试集，通过反向传播约束步骤4中的总loss，使其尽可能小，在训练集和测试集上分别评估训练模型优劣，最后不断调整训练参数得到最优模型。
在步骤6中，将步骤S5中得到的最优模型参数文件加载进模型中，利用工业摄像机对布匹在传送带上进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中，使用性能较好的GPU如2080Ti来进行运算，能够达到实时检测的效果，从而能够实时判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
本发明实施例的基于深度学习的实时布匹缺陷检测系统包括：
采集模块：采集不同种类布匹缺陷图像，构建缺陷数据集；
扩充模块：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
标注模块：对扩充后的缺陷数据集进行标注处理(标签文件按照VOC格式建立，标签类别则为缺陷种类，包括正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓及其他)；
构建模块：构建深度学习目标检测网络进行布匹缺陷检测；
训练模块：训练布匹缺陷检测网络；
检测模块：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
作为一种实施方式，采集模块中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
作为一种实施方式，扩充模块中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))。生成器G采用U-Net的网络架构，输入为512*512*3的图像，分别表示图像的高度、宽度和通道数，网络的左半部分可以看作是编码器，将图像的特征进行提取，右半部分则是解码器，将图像还原成512*512*3大小且带有缺陷的图像，以达到缺陷图像生成的目的。判别器D采用多层ResNet的网络结构，输入一张512*512*3的图像，输出一个0～1之间的数值，该数值表示输入图像是否真实的概率。经过对抗训练之后，生成对抗网络会达到一种平衡状态，此时生成器G生成的缺陷图像近似真实缺陷图像，D(G(z))≈0.5,从而达到了缺陷数据扩充的目的，生成对抗网络的优化公式为：
Figure BDA0002996552880000091
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure BDA0002996552880000092
表示期望，
Figure BDA0002996552880000093
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure BDA0002996552880000094
表示生成器G生成图像能够骗过判别器的期望。对该公式而言，minGmaxDV(D,G)，即对于判别器D来说要尽量使公式最大化，即判断能力强，而对生成器G来说要尽量是公式小，即使得生成的数据接近真实样本，具体如图2所示。
作为一种实施方式，构建模块中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure BDA0002996552880000095
其中xi表示输入，yi表示输出，ai是(1,+∞)区间内的固定参数。
作为一种实施方式，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure BDA0002996552880000096
Figure BDA0002996552880000101
Figure BDA0002996552880000102
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi,yi,wi,hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure BDA0002996552880000103
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure BDA0002996552880000104
否则该值为0，
Figure BDA0002996552880000105
表示第i个网格的第j个anchor box不负责预测该目标的概率，与
Figure BDA0002996552880000106
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure BDA0002996552880000107
表示预测的类别置信度。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (10)

1.一种基于深度学习的实时布匹缺陷检测方法，其特征在于，包括：
步骤1：采集不同种类布匹缺陷图像，构建缺陷数据集；
步骤2：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
步骤3：对扩充后的缺陷数据集进行标注处理；
步骤4：构建深度学习目标检测网络进行布匹缺陷检测；
步骤5：训练布匹缺陷检测网络；
步骤6：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
2.如权利要求1所述的基于深度学习的实时布匹缺陷检测方法，其特征在于，步骤1中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
3.如权利要求1所述的基于深度学习的实时布匹缺陷检测方法，其特征在于，步骤2中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))，生成对抗网络的优化公式为：
Figure FDA0002996552870000011
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure FDA0002996552870000012
表示期望，
Figure FDA0002996552870000013
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure FDA0002996552870000014
表示生成器G生成图像能够骗过判别器的期望。
4.如权利要求1所述的基于深度学习的实时布匹缺陷检测方法，其特征在于，步骤4中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure FDA0002996552870000021
其中xi表示输入，yi表示输出，ai是(1，+∞)区间内的固定参数。
5.如权利要求4所述的基于深度学习的实时布匹缺陷检测方法，其特征在于，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure FDA0002996552870000022
Figure FDA0002996552870000023
Figure FDA0002996552870000024
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi，yi，wi，hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure FDA0002996552870000025
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure FDA0002996552870000026
否则该值为0，
Figure FDA0002996552870000027
表示第i个网格的第j个anchorbox不负责预测该目标的概率，与
Figure FDA0002996552870000028
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure FDA0002996552870000029
表示预测的类别置信度。
6.一种基于深度学习的实时布匹缺陷检测系统，其特征在于，包括：
采集模块：采集不同种类布匹缺陷图像，构建缺陷数据集；
扩充模块：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
标注模块：对扩充后的缺陷数据集进行标注处理；
构建模块：构建深度学习目标检测网络进行布匹缺陷检测；
训练模块：训练布匹缺陷检测网络；
检测模块：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
7.如权利要求6所述的基于深度学习的实时布匹缺陷检测系统，其特征在于，采集模块中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
8.如权利要求6所述的基于深度学习的实时布匹缺陷检测系统，其特征在于，扩充模块中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))，生成对抗网络的优化公式为：
Figure FDA0002996552870000031
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure FDA0002996552870000032
表示期望，
Figure FDA0002996552870000033
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure FDA0002996552870000034
表示生成器G生成图像能够骗过判别器的期望。
9.如权利要求6所述的基于深度学习的实时布匹缺陷检测系统，其特征在于，构建模块中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure FDA0002996552870000035
其中xi表示输入，yi表示输出，ai是(1，+∞)区间内的固定参数。
10.如权利要求9所述的基于深度学习的实时布匹缺陷检测系统，其特征在于，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure FDA0002996552870000036
Figure FDA0002996552870000037
Figure FDA0002996552870000038
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi，yi，wi，hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure FDA0002996552870000041
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure FDA0002996552870000042
否则该值为0，
Figure FDA0002996552870000043
表示第i个网格的第j个anchorbox不负责预测该目标的概率，与
Figure FDA0002996552870000044
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure FDA0002996552870000045
表示预测的类别置信度。
CN202110334060.7A 2021-03-29 2021-03-29 基于深度学习的实时布匹缺陷检测方法及系统 Active CN112802016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334060.7A CN112802016B (zh) 2021-03-29 2021-03-29 基于深度学习的实时布匹缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334060.7A CN112802016B (zh) 2021-03-29 2021-03-29 基于深度学习的实时布匹缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN112802016A true CN112802016A (zh) 2021-05-14
CN112802016B CN112802016B (zh) 2023-08-08

Family

ID=75815934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334060.7A Active CN112802016B (zh) 2021-03-29 2021-03-29 基于深度学习的实时布匹缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN112802016B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298190A (zh) * 2021-07-05 2021-08-24 四川大学 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法
CN113686878A (zh) * 2021-09-03 2021-11-23 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN114119607A (zh) * 2022-01-20 2022-03-01 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN114332084A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于深度学习的pcb表面缺陷检测方法
CN114398818A (zh) * 2021-06-02 2022-04-26 江苏盛邦纺织品有限公司 基于深度学习的纺织提花检测方法及系统
CN114973335A (zh) * 2022-07-29 2022-08-30 深圳叮当科技技术有限公司 基于深度学习的工地安全行为监测方法、装置及电子设备
CN116484259A (zh) * 2023-04-28 2023-07-25 北京建筑大学 一种城市管网缺陷位置定位分析方法和系统
CN117011289A (zh) * 2023-09-27 2023-11-07 广州中浩控制技术有限公司 用于软胶囊生产的质量检验、系统、介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110930470A (zh) * 2019-11-18 2020-03-27 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的布匹缺陷图像生成方法
CN111028204A (zh) * 2019-11-19 2020-04-17 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
CN111862059A (zh) * 2020-07-25 2020-10-30 苏州臻识信息科技有限公司 一种基于深度学习多层特征融合的布匹缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110930470A (zh) * 2019-11-18 2020-03-27 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的布匹缺陷图像生成方法
CN111028204A (zh) * 2019-11-19 2020-04-17 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
CN111862059A (zh) * 2020-07-25 2020-10-30 苏州臻识信息科技有限公司 一种基于深度学习多层特征融合的布匹缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岳慧慧;白瑞林;: "基于改进YOLOv3的木结缺陷检测方法研究", 自动化仪表, no. 03 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法
CN114398818A (zh) * 2021-06-02 2022-04-26 江苏盛邦纺织品有限公司 基于深度学习的纺织提花检测方法及系统
CN114398818B (zh) * 2021-06-02 2024-05-24 中科维卡(苏州)自动化科技有限公司 基于深度学习的纺织提花检测方法及系统
CN113298190A (zh) * 2021-07-05 2021-08-24 四川大学 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法
CN113686878A (zh) * 2021-09-03 2021-11-23 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN113686878B (zh) * 2021-09-03 2024-02-09 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN114119607A (zh) * 2022-01-20 2022-03-01 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN114332084A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于深度学习的pcb表面缺陷检测方法
CN114973335A (zh) * 2022-07-29 2022-08-30 深圳叮当科技技术有限公司 基于深度学习的工地安全行为监测方法、装置及电子设备
CN116484259A (zh) * 2023-04-28 2023-07-25 北京建筑大学 一种城市管网缺陷位置定位分析方法和系统
CN117011289A (zh) * 2023-09-27 2023-11-07 广州中浩控制技术有限公司 用于软胶囊生产的质量检验、系统、介质及计算机设备

Also Published As

Publication number Publication date
CN112802016B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN112802016A (zh) 基于深度学习的实时布匹缺陷检测方法及系统
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
CN111080622A (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN102221559A (zh) 基于机器视觉的织物疵点在线自动检测方法及其装置
JP2021190716A5 (zh)
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
CN110490842A (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN113487570A (zh) 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN115170475A (zh) 一种基于深度学习方法的无纺布缺陷检测方法
CN114972342B (zh) 一种变速箱齿轮表面缺陷检测方法
CN111951218A (zh) 一种混合深度学习模型的口红质检系统
CN114972225A (zh) 一种基于深度学习的两阶段光伏板缺陷检测方法
CN115908344A (zh) 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法
Li et al. Electronic product surface defect detection based on a MSSD network
CN114972246A (zh) 一种基于深度学习的模切产品表面缺陷检测方法
Luo et al. A lightweight detector based on attention mechanism for fabric defect detection
CN112381794B (zh) 一种基于深度卷积生成网络的印刷缺陷检测方法
CN117115171B (zh) 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法
CN117523573A (zh) 基于多阶段视觉检测融合故障预警的水表读数方法、系统
CN116958073A (zh) 基于注意力特征金字塔机制的小样本钢材缺陷检测方法
CN111709429A (zh) 一种基于卷积神经网络的机织物结构参数识别方法
CN116309457A (zh) 一种织物瑕疵检测模型及训练方法、织物瑕疵检测方法
CN112927222B (zh) 一种基于混合改进Faster R-CNN实现多种类光伏阵列热斑检测方法
CN111291769B (zh) 一种高铁接触网异物检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant