CN112270722B - 一种基于深度神经网络的数码印花织物缺陷检测方法 - Google Patents
一种基于深度神经网络的数码印花织物缺陷检测方法 Download PDFInfo
- Publication number
- CN112270722B CN112270722B CN202011155761.6A CN202011155761A CN112270722B CN 112270722 B CN112270722 B CN 112270722B CN 202011155761 A CN202011155761 A CN 202011155761A CN 112270722 B CN112270722 B CN 112270722B
- Authority
- CN
- China
- Prior art keywords
- loss function
- digital printing
- defect
- neural network
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 124
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 239000004744 fabric Substances 0.000 title claims abstract description 75
- 238000007639 printing Methods 0.000 title claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 239000004753 textile Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度神经网络的数码印花织物缺陷检测方法，具体按照以下步骤实施：步骤1、采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像；建立神经网络；步骤2、利用步骤1获得的彩色数码印花织物缺陷图像，进行目标信息的提取和标定，建立数码印花织物缺陷样本数据集，得到训练集、验证集和测试集；步骤3、利用步骤1建立的神经网络和ImageNet数据集的训练集建立损失函数，利用损失函数训练神经网络，得到预训练模型，利用步骤2得到的训练集和验证集对预训练模型进行调整和验证；步骤4、利用步骤2得到的测试集对模型进行评价。本发明公开的一种基于深度神经网络的数码印花织物缺陷检测方法能够实现数码印花缺陷的实时准确检测。
Description
技术领域
本发明属于纺织品疵点检测方法技术领域，涉及一种基于深度神经网络的数码印花织物缺陷检测方法。
背景技术
纺织品是人们生活中必不可少的产品，印花工艺是提升纺织品附加值的关键工序。数码印花作为一种新型的印花技术，将印花图像输入至计算机，利用计算机分色处理后，由专用RIP软件转换为数字点阵信息，控制孔径精度达微米级的喷头在织物上进行固定方向的喷印，形成预期高精度印花图案。因此，数码印花会由于喷孔堵塞、电机步进偏差、喷墨气压不稳定、喷头出墨、调试不均匀、设备压布不平整等故障，使印花产品出现PASS道、漏墨、喷墨不均以及布匹褶皱等缺陷，从而使产品的销售价格在其原价格的基础上降低45％～65％。因此，为确保数码印花织物产品的质量，缺陷检测是纺织品生产中质量控制的核心部分。
在一系列基于印花织物检测算法的基础上，数码印花织物缺陷检测方法主要分为两种，一种是基于传统图像处理的方法、一种基于深度神经网络的目标检测方法。传统的印花织物缺陷检测方法存在检测速度低、准确性差的缺点，并且其检测对象主要集中于白坯布、净色布、电子布以及纹理单一的色织物，针对图案丰富、色彩鲜明的印花产品，目前没有较为成熟的检测方法；基于此背景，基于深度神经网络的目标检测方法在数码印花织物缺陷检测领域中广泛应用。
发明内容
本发明的目的是提供一种基于深度神经网络的数码印花织物缺陷检测方法，能够实现数码印花缺陷的实时准确检测。
本发明所采用的技术方案是，一种基于深度神经网络的数码印花织物缺陷检测方法，具体按照以下步骤实施：
步骤1、采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像；建立神经网络；
步骤2、利用步骤1获得的彩色数码印花织物缺陷图像，进行目标信息的提取和标定，建立数码印花织物缺陷样本数据集，得到训练集、验证集和测试集；
步骤3、利用步骤1建立的神经网络和ImageNet数据集的训练集建立损失函数，利用损失函数训练神经网络，得到预训练模型，利用步骤2得到的训练集和验证集对预训练模型进行调整和验证；
步骤4、利用步骤2得到的测试集对模型进行评价。
本发明的特点还在于：
步骤1中采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像具体按照以下实施：利用扫描仪获取数码印花织物缺陷图像，运用局部均值法调整图像分辨率为416×416。包含PASS道、漏墨、布匹褶皱以及喷墨不均4类缺陷，每类缺陷800张，共3200张样本图像，并将图像统一命名为######.jpg格式。
步骤1中的建立神经网络具体按照以下实施：神经网络的构成具体如下：
1)建立CSPDarkNet53特征提取网络的子模块，CSPDarkNet53特征提取网络的子模块是在原DarkNet53子模块的基础上加上Cross Stage Partial，使其在保持网络结构轻量化的同时，增强其语义信息表达能力，子模块可对输入特征图进行2倍下采样，连续堆叠5个子模块，分别得到对输入图像进行8倍、16倍、32倍下采样的特征图作为特征融合网络的输入信息；
2)采用空间金字塔池化对经1)提取的特征图进行特征融合，使其输出特征图的像素点对于输入图像拥有较大的感受野，使其每个像素点都能够实现对于目标的检测，同时增加了每个像素点的语义信息，提高模型对于不同尺度目标的检测能力；
3)路径聚合网络旨在通过自底向上的路径增强顶层特征图的位置信息，缩短了低层与顶层特征之间的信息路径，通过自顶向下和自底向上的双向特征融合路径，使顶层的强语义信息与底层的强位置信息充分融合，提高了数码印花缺陷检测算法对于不同尺寸目标的检测能力；
4)利用分层预测的思想实现对于大、中、小目标的分层检测，使得顶层更关注于大目标的检测，底层更关注于小目标的检测。
步骤2具体按照以下实施：使用LabelImg标注工具对步骤1获得的彩色数码印花织物缺陷图像的印花缺陷信息进行标记，标记内容主要有输入缺陷标签，同时手动框选缺陷生成以图像左上角位置为基准的坐标信息，以及图像尺寸、存储路径的信息，并将标记信息生成的######.xml格式文件与######.jpg格式文件对应；从每类缺陷中随机选取600张作为训练样本，50张作为验证样本，150张作为测试样本。
步骤3具体按照以下实施：模型训练采用Python语言，Pytorch深度学习框架、第三方函数库Anaconda3.4.1完成。首先在ImageNet数据集上预训练网络模型，保存预训练的模型参数并使用我们的数据集对模型进行调整，作为数码印花缺陷检测算法的权重参数。反向传播过程中采用动量随机梯度下降算法更新网络的权值和偏置参数，经过53个epoch迭代得到最优的数码印花缺陷检测模型。
步骤3中建立损失函数具体按照以下实施：
1)置信度损失函数：
置信度损失函数缓解了单阶段目标检测中正负样本比例严重失衡和小目标缺陷难以检测的问题，权衡了难分、易分样本与正负样本(即织物有无缺陷)数量、大小织物缺陷(织物缺陷尺寸占输入图像尺寸的比率)目标数量的关系，公式(1)为置信度损失函数；
Lobj＝-αylog(y′)(1-y′)2(1-β)-(1-α)(1-y)log(1-y′)(y′)2 (1)
上式中，y为锚包含目标的真实值、y′为其对应的预测值、参数α用来调整正负样本的比例、β为真实框面积占输入图像面积的比例；
2)类别损失函数：
类别损失函数增加了小目标缺陷的权重，权衡了大目标和小目标在损失函数所占的比例，使其更关注于小目标的检测，公式(2)为类别损失函数；
Lcls＝-ylog(y′)(1-β)-(1-y)log(1-y′) (2)
上式中，y为锚包含目标类别的真实值、y′为其对应的预测值、β为真实框面积占输入图像面积的比例；
3)边界框回归损失函数：
边界框回归损失函数同时考虑了预测框和目标框重叠区域、中心点距离、长宽比的关系并权衡了大小缺陷目标对边界框的回归影响，提高了小目标边界框的回归能力，公式(3)为边界框回归损失函数；
上式中，p表示预测框和真实框中心点的欧式距离、c表示预测框和真实框的最小外接矩形的对角线距离、α是用于做trade-off的参数，u是用来衡量长宽比一致性的参数，λ为真实框面积占输入图像面积的比例；
4)总损失函数：
总损失函数为置信度损失函数、类别损失函数和边界框回归损失函数三者的叠加，公式(4)为总损失函数；
Lsum＝εLobj+φLcls+γLCIoU (4)
上式中，ε、φ和γ用来平衡置信度损失、类别损失和边界框回归损失三者占总损失的比例。
步骤4具体按照以下实施：为了评估数码印花缺陷检测模型针对不同缺陷类型的检测性能，选取AP指标来评价模型对于每类缺陷的检测精度，mAP指标来综合评价模型对于各类缺陷的检测精度，完成数码印花织物缺陷检测模型的评价。
本发明的有益效果是：本发明一种基于深度神经网络的数码印花织物缺陷检测方法，能够实现数码印花缺陷的实时准确检测。本方法继承了Yolov4目标检测算法的核心结构，其保持了Yolov4目标检测算法速度快、精度高的性能；本方法首先在ImageNet数据集上预训练网络模型，保存预训练的模型参数并使用我们的数据集对模型进行调整，作为数码印花缺陷检测算法的权重参数；本方法的损失函数充分考虑了难分、易分样本与正负样本(即织物有无缺陷)数量、大小织物缺陷(织物缺陷占输入图像尺寸的比率)目标数量的关系，提高了模型对于小目标缺陷(PASS道、漏墨、布匹褶皱)的检测精度。
附图说明
图1是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的流程图；
图2是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的CSPDarkNet53特征提取网络的子模块结构示意图；
图3是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的空间金字塔的网络结构示意图；
图4是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的路径聚合网路的结构示意图；
图5是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的实验结果示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于深度神经网络的数码印花织物缺陷检测方法，如图1所示，具体按照以下步骤实施：
步骤1、采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像；建立神经网络；
步骤1中采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像具体按照以下实施：利用扫描仪获取数码印花织物缺陷图像，运用局部均值法调整图像分辨率为416×416。包含PASS道、漏墨、布匹褶皱以及喷墨不均4类缺陷，每类缺陷800张，共3200张样本图像，并将图像统一命名为######.jpg格式。
步骤1中的建立神经网络具体按照以下实施：神经网络的构成具体如下：
1)建立CSPDarkNet53特征提取网络的子模块，如图2所示，CSPDarkNet53特征提取网络的子模块是在原DarkNet53子模块的基础上加上Cross Stage Partial，使其在保持网络结构轻量化的同时，增强其语义信息表达能力，子模块可对输入特征图进行2倍下采样，连续堆叠5个子模块，分别得到对输入图像进行8倍、16倍、32倍下采样的特征图作为特征融合网络的输入信息；
2)采用空间金字塔池化对经1)提取的特征图进行特征融合，如图3所示，使其输出特征图的像素点对于输入图像拥有较大的感受野，使其每个像素点都能够实现对于目标的检测，同时增加了每个像素点的语义信息，提高模型对于不同尺度目标的检测能力；
3)路径聚合网络旨在通过自底向上的路径增强顶层特征图的位置信息，缩短了低层与顶层特征之间的信息路径，通过自顶向下和自底向上的双向特征融合路径，使顶层的强语义信息与底层的强位置信息充分融合，提高了数码印花缺陷检测算法对于不同尺寸目标的检测能力，如图4所示；
4)利用分层预测的思想实现对于大、中、小目标的分层检测，使得顶层更关注于大目标的检测，底层更关注于小目标的检测。
步骤2、利用步骤1获得的彩色数码印花织物缺陷图像，进行目标信息的提取和标定，建立数码印花织物缺陷样本数据集，得到训练集、验证集和测试集；
步骤2具体按照以下实施：使用LabelImg标注工具对步骤1获得的彩色数码印花织物缺陷图像的印花缺陷信息进行标记，标记内容主要有输入缺陷标签，同时手动框选缺陷生成以图像左上角位置为基准的坐标信息，以及图像尺寸、存储路径的信息，并将标记信息生成的######.xml格式文件与######.jpg格式文件对应；从每类缺陷中随机选取600张作为训练样本，50张作为验证样本，150张作为测试样本。
步骤3、利用步骤1建立的神经网络和ImageNet数据集的训练集建立损失函数，利用损失函数训练神经网络，得到预训练模型，利用步骤2得到的训练集和验证集对预训练模型进行调整和验证；
步骤3具体按照以下实施：模型训练采用Python语言，Pytorch深度学习框架、第三方函数库Anaconda3.4.1完成。首先在ImageNet数据集上预训练网络模型，保存预训练的模型参数并使用我们的数据集对模型进行调整，作为数码印花缺陷检测算法的权重参数。反向传播过程中采用动量随机梯度下降算法更新网络的权值和偏置参数，经过53个epoch迭代得到最优的数码印花缺陷检测模型。
步骤3中建立损失函数具体按照以下实施：
1)置信度损失函数：
置信度损失函数缓解了单阶段目标检测中正负样本比例严重失衡和小目标缺陷难以检测的问题，权衡了难分、易分样本与正负样本(即织物有无缺陷)数量、大小织物缺陷(织物缺陷尺寸占输入图像尺寸的比率)目标数量的关系，公式(1)为置信度损失函数；
Lobj＝-αylog(y′)(1-y′)2(1-β)-(1-α)(1-y)log(1-y′)(y′)2 (1)
上式中，y为锚包含目标的真实值、y′为其对应的预测值、参数α用来调整正负样本的比例、β为真实框面积占输入图像面积的比例；
2)类别损失函数：
类别损失函数增加了小目标缺陷的权重，权衡了大目标和小目标在损失函数所占的比例，使其更关注于小目标的检测，公式(2)为类别损失函数；
Lcls＝-ylog(y′)(1-β)-(1-y)log(1-y′) (2)
上式中，y为锚包含目标类别的真实值、y′为其对应的预测值、β为真实框面积占输入图像面积的比例；
3)边界框回归损失函数：
边界框回归损失函数同时考虑了预测框和目标框重叠区域、中心点距离、长宽比的关系并权衡了大小缺陷目标对边界框的回归影响，提高了小目标边界框的回归能力，公式(3)为边界框回归损失函数；
上式中，p表示预测框和真实框中心点的欧式距离、c表示预测框和真实框的最小外接矩形的对角线距离、α是用于做trade-off的参数，u是用来衡量长宽比一致性的参数，λ为真实框面积占输入图像面积的比例；
4)总损失函数：
总损失函数为置信度损失函数、类别损失函数和边界框回归损失函数三者的叠加，公式(4)为总损失函数；
Lsum＝εLobj+φLcls+γLCIoU (4)
上式中，ε、φ和γ用来平衡置信度损失、类别损失和边界框回归损失三者占总损失的比例。
步骤4、利用步骤2得到的测试集对模型进行评价。
步骤4具体按照以下实施：为了评估数码印花缺陷检测模型针对不同缺陷类型的检测性能，选取AP指标来评价模型对于每类缺陷的检测精度，mAP指标来综合评价模型对于各类缺陷的检测精度，完成数码印花织物缺陷检测模型的评价，实验结果如图5所示。
本发明一种基于深度神经网络的数码印花织物缺陷检测方法，输入图像尺寸大小为416×416，经过一系列卷积层和池化层，分别得到尺寸为13×13、26×26、52×52的特征图用于缺陷种类的预测和边界框的回归。下面以尺寸13×13的特征图为例，首先把输入图像等分为13×13个网格，特征图上的每个pixel则负责预测对应位置的缺陷，其中每个pixel预测3个边界框，每个边界框有9个分量，分别是物体的中心位置(x,y)和它的高(h)和宽(w)，以及置信度和类别数量(喷墨不均、PASS道、漏墨、布匹褶皱)。最后，使用非极大值抑制算法优化目标位置，进一步优化数码印花缺陷检测性能。实验结果表明，相较以往的目标检测算法，本发明基于深度神经网络的数码印花缺陷检测算法能够实现数码印花缺陷的实时准确检测，具有一定的实际使用价值。
Claims (4)
1.一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，具体按照以下步骤实施：
步骤1、采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像；建立神经网络；
建立神经网络体按照以下实施：神经网络的构成具体如下：
1)建立CSPDarkNet53特征提取网络的子模块，CSPDarkNet53特征提取网络的子模块是在原DarkNet53子模块的基础上加上Cross Stage Partial，使其在保持网络结构轻量化的同时，增强其语义信息表达能力，子模块可对输入特征图进行2倍下采样，连续堆叠5个子模块，分别得到对输入图像进行8倍、16倍、32倍下采样的特征图作为特征融合网络的输入信息；
2)采用空间金字塔池化对经1)提取的特征图进行特征融合，使其输出特征图的像素点对于输入图像拥有感受野，使其每个像素点都能够实现对于目标的检测，同时增加了每个像素点的语义信息，提高模型对于不同尺度目标的检测能力；
3)路径聚合网络旨在通过自底向上的路径增强顶层特征图的位置信息，缩短了低层与顶层特征之间的信息路径，通过自顶向下和自底向上的双向特征融合路径，使顶层的强语义信息与底层的强位置信息充分融合，提高了数码印花缺陷检测算法对于不同尺寸目标的检测能力；
4)利用分层预测的思想实现对于大、中、小目标的分层检测，使得顶层更关注于大目标的检测，底层更关注于小目标的检测；
步骤2、利用步骤1获得的彩色数码印花织物缺陷图像，进行目标信息的提取和标定，建立数码印花织物缺陷样本数据集，得到训练集、验证集和测试集；
步骤3、利用步骤1建立的神经网络和ImageNet数据集的训练集建立损失函数，利用损失函数训练神经网络，得到预训练模型，利用步骤2得到的训练集和验证集对预训练模型进行调整和验证；
模型训练采用Python语言，Pytorch深度学习框架、第三方函数库Anaconda3.4.1完成；首先在ImageNet数据集上预训练网络模型，保存预训练的模型参数并使用我们的数据集对模型进行调整，作为数码印花缺陷检测算法的权重参数；反向传播过程中采用动量随机梯度下降算法更新网络的权值和偏置参数，经过53个epoch迭代得到最优的数码印花缺陷检测模型；
步骤3中建立损失函数具体按照以下实施：
1)置信度损失函数：
置信度损失函数缓解了单阶段目标检测中正负样本比例严重失衡和小目标缺陷难以检测的问题，权衡了难分、易分样本与正负样本数量、大小织物缺陷的目标数量的关系，其中，正负样本数量表示织物有无缺陷数量，即正样本表示织物无缺陷的数量，负样本表示织物有缺陷的数量；大小织物缺陷表示织物缺陷尺寸占输入图像尺寸的比率，公式(1)为置信度损失函数；
Lobj＝-δylog(y′)(1-y′)2(1-β)-(1-δ)(1-y)log(1-y′)(y′)2 (1)
上式中，y为锚包含目标的真实值、y′为其对应的预测值、参数δ用来调整织物有无缺陷的比例、β为真实框面积占输入图像面积的比例；
2)类别损失函数：
类别损失函数增加了小目标缺陷的权重，权衡了大目标和小目标在损失函数所占的比例，使其更关注于小目标的检测，公式(2)为类别损失函数；
Lcls＝-ylog(y′)(1-β)-(1-y)log(1-y′) (2)
上式中，y为锚包含目标类别的真实值、y′为其对应的预测值、β为真实框面积占输入图像面积的比例；
3)边界框回归损失函数：
边界框回归损失函数同时考虑了预测框和目标框重叠区域、中心点距离、长宽比的关系并权衡了大小缺陷目标对边界框的回归影响，提高了小目标边界框的回归能力，公式(3)为边界框回归损失函数；
上式中，p表示预测框和真实框中心点的欧式距离、Iou表示预测框和真实框的交并比，b表示预测框的中心点，bgt表示真实框的中心点，wgt表示真实框的宽度，hgt表示真实框的高度，w表示预测框的宽度，h表示预测框的宽度、c表示预测框和真实框的最小外接矩形的对角线距离、α是用于做trade-off的参数，u是用来衡量长宽比一致性的参数，β为真实框面积占输入图像面积的比例；
4)总损失函数：
总损失函数为置信度损失函数、类别损失函数和边界框回归损失函数三者的叠加，公式(4)为总损失函数；
Lsum＝εLobj+φLcls+γLCIoU (4)
上式中，ε、φ和γ用来平衡置信度损失、类别损失和边界框回归损失三者占总损失的比例；
步骤4、利用步骤2得到的测试集对模型进行评价。
2.根据权利要求1所述的一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，所述步骤1中集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像具体按照以下实施：利用扫描仪获取数码印花织物缺陷图像，运用局部均值法调整图像分辨率为416×416；包含PASS道、漏墨、布匹褶皱以及喷墨不均4类缺陷，每类缺陷800张，共3200张样本图像，并将图像统一命名为######.jpg格式。
3.根据权利要求1所述的一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，所述步骤2具体按照以下实施：使用LabelImg标注工具对步骤1获得的彩色数码印花织物缺陷图像的印花缺陷信息进行标记，标记内容主要有输入缺陷标签，同时手动框选缺陷生成以图像左上角位置为基准的坐标信息，以及图像尺寸、存储路径的信息，并将标记信息生成的######.xml格式文件与######.jpg格式文件对应；从每类缺陷中随机选取600张作为训练样本，50张作为验证样本，150张作为测试样本。
4.根据权利要求1所述的一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，所述步骤4具体按照以下实施：为了评估数码印花缺陷检测模型针对不同缺陷类型的检测性能，选取AP指标来评价模型对于每类缺陷的检测精度，mAP指标来综合评价模型对于各类缺陷的检测精度，完成数码印花织物缺陷检测模型的评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011155761.6A CN112270722B (zh) | 2020-10-26 | 2020-10-26 | 一种基于深度神经网络的数码印花织物缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011155761.6A CN112270722B (zh) | 2020-10-26 | 2020-10-26 | 一种基于深度神经网络的数码印花织物缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112270722A CN112270722A (zh) | 2021-01-26 |
| CN112270722B true CN112270722B (zh) | 2024-05-17 |
Family
ID=74341424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011155761.6A Active CN112270722B (zh) | 2020-10-26 | 2020-10-26 | 一种基于深度神经网络的数码印花织物缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270722B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907529A (zh) * | 2021-02-09 | 2021-06-04 | 南京航空航天大学 | 一种基于图像的编织预制体缺陷检测方法及装置 |
| CN112906794A (zh) * | 2021-02-22 | 2021-06-04 | 珠海格力电器股份有限公司 | 一种目标检测方法、装置、存储介质及终端 |
| CN113192040B (zh) * | 2021-05-10 | 2023-09-22 | 浙江理工大学 | 一种基于YOLO v4改进算法的织物瑕疵检测方法 |
| CN113313694A (zh) * | 2021-06-05 | 2021-08-27 | 西北工业大学 | 一种基于轻量型卷积神经网络的表面缺陷快速检测方法 |
| CN113377356B (zh) * | 2021-06-11 | 2022-11-15 | 四川大学 | 一种用户界面原型代码的生成方法、装置、设备及介质 |
| CN113313706B (zh) * | 2021-06-28 | 2022-04-15 | 安徽南瑞继远电网技术有限公司 | 基于检测参考点偏移分析的电力设备缺陷图像检测方法 |
| CN113538392B (zh) * | 2021-07-26 | 2022-11-11 | 长江存储科技有限责任公司 | 晶圆的检测方法、设备及存储介质 |
| CN113516650B (zh) * | 2021-07-30 | 2023-08-25 | 深圳康微视觉技术有限公司 | 基于深度学习的电路板塞孔缺陷检测方法及装置 |
| CN114519803A (zh) * | 2022-01-24 | 2022-05-20 | 东莞理工学院 | 一种基于迁移学习的小样本目标识别方法 |
| CN114397306B (zh) * | 2022-03-25 | 2022-07-29 | 南方电网数字电网研究院有限公司 | 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法 |
| CN118195995A (zh) * | 2023-12-05 | 2024-06-14 | 钛玛科（北京）工业科技有限公司 | 图像异常检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316295A (zh) * | 2017-07-02 | 2017-11-03 | 苏州大学 | 一种基于深度神经网络的织物瑕疵检测方法 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN109886359A (zh) * | 2019-03-25 | 2019-06-14 | 西安电子科技大学 | 基于卷积神经网络的小目标检测方法及检测模型 |
| CN110930387A (zh) * | 2019-11-21 | 2020-03-27 | 中原工学院 | 基于深度可分离卷积神经网络的织物疵点检测方法 |
| CN111127383A (zh) * | 2019-03-15 | 2020-05-08 | 杭州电子科技大学 | 一种数码印花在线缺陷检测系统及其实现方法 |
| CN111292305A (zh) * | 2020-01-22 | 2020-06-16 | 重庆大学 | 一种改进型yolo-v3的金属加工表面缺陷检测方法 |
| CN111462051A (zh) * | 2020-03-14 | 2020-07-28 | 华中科技大学 | 一种基于深度神经网络的布匹疵点检测方法和系统 |
| CN111553898A (zh) * | 2020-04-27 | 2020-08-18 | 东华大学 | 一种基于卷积神经网络的面料疵点检测方法 |
-
2020
- 2020-10-26 CN CN202011155761.6A patent/CN112270722B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316295A (zh) * | 2017-07-02 | 2017-11-03 | 苏州大学 | 一种基于深度神经网络的织物瑕疵检测方法 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN111127383A (zh) * | 2019-03-15 | 2020-05-08 | 杭州电子科技大学 | 一种数码印花在线缺陷检测系统及其实现方法 |
| CN109886359A (zh) * | 2019-03-25 | 2019-06-14 | 西安电子科技大学 | 基于卷积神经网络的小目标检测方法及检测模型 |
| CN110930387A (zh) * | 2019-11-21 | 2020-03-27 | 中原工学院 | 基于深度可分离卷积神经网络的织物疵点检测方法 |
| CN111292305A (zh) * | 2020-01-22 | 2020-06-16 | 重庆大学 | 一种改进型yolo-v3的金属加工表面缺陷检测方法 |
| CN111462051A (zh) * | 2020-03-14 | 2020-07-28 | 华中科技大学 | 一种基于深度神经网络的布匹疵点检测方法和系统 |
| CN111553898A (zh) * | 2020-04-27 | 2020-08-18 | 东华大学 | 一种基于卷积神经网络的面料疵点检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| 基于SSD的织物瑕疵检测的研究;张丽瑶;王志鹏;徐功平;;电子设计工程(06);全文 * |
| 基于卷积神经网络的织物表面缺陷分类方法;景军锋;刘娆;;测控技术(09);全文 * |
| 基于深度学习优化YOLOV3算法的芳纶带检测算法研究;杨建伟;涂兴子;梅峰漳;李亚宁;范鑫杰;;中国矿业;20200415(04);全文 * |
| 基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统;金侠挺;王耀南;张辉;刘理;钟杭;贺振东;;自动化学报(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112270722A (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112270722B (zh) | 一种基于深度神经网络的数码印花织物缺陷检测方法 | |
| CN109446992A (zh) | 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备 | |
| CN108009509A (zh) | 车辆目标检测方法 | |
| CN111986125B (zh) | 一种用于多目标任务实例分割的方法 | |
| CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN108830285A (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
| CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
| CN107609638A (zh) | 一种基于线性解码器和插值采样优化卷积神经网络的方法 | |
| CN110287806A (zh) | 一种基于改进ssd网络的交通标志识别方法 | |
| CN109919934A (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
| CN110045015A (zh) | 一种基于深度学习的混凝土结构内部缺陷检测方法 | |
| CN108665005A (zh) | 一种利用dcgan提高基于cnn图像识别性能的方法 | |
| CN114549507B (zh) | 改进Scaled-YOLOv4的织物瑕疵检测方法 | |
| CN109360190A (zh) | 基于图像超像素融合的建筑损毁检测方法及装置 | |
| CN115049619B (zh) | 一种针对复杂场景的高效瑕疵检测方法 | |
| CN113496480A (zh) | 一种焊缝图像缺陷的检测方法 | |
| CN117474863A (zh) | 一种压缩多头自注意力神经网络的芯片表面缺陷检测方法 | |
| CN115661628A (zh) | 一种基于改进YOLOv5S模型的鱼类检测方法 | |
| CN117078614A (zh) | 一种基于改进yolox的竹条表面缺陷检测方法 | |
| CN109558803A (zh) | 基于卷积神经网络与np准则的sar目标鉴别方法 | |
| CN117372332A (zh) | 一种基于改进YOLOv7模型的织物瑕疵检测方法 | |
| CN114972780A (zh) | 一种基于改进YOLOv5的轻量化目标检测网络 | |
| CN109284752A (zh) | 一种车辆的快速检测方法 | |
| CN115206455B (zh) | 基于深度神经网络的稀土元素组分含量预测方法及系统 | |
| CN113469984B (zh) | 一种基于yolo结构的显示面板外观检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |