CN112270722A - 一种基于深度神经网络的数码印花织物缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的数码印花织物缺陷检测方法，具体按照以下步骤实施：步骤1、采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像；建立神经网络；步骤2、利用步骤1获得的彩色数码印花织物缺陷图像，进行目标信息的提取和标定，建立数码印花织物缺陷样本数据集，得到训练集、验证集和测试集；步骤3、利用步骤1建立的神经网络和ImageNet数据集的训练集建立损失函数，利用损失函数训练神经网络，得到预训练模型，利用步骤2得到的训练集和验证集对预训练模型进行调整和验证；步骤4、利用步骤2得到的测试集对模型进行评价。本发明公开的一种基于深度神经网络的数码印花织物缺陷检测方法能够实现数码印花缺陷的实时准确检测。

Description

一种基于深度神经网络的数码印花织物缺陷检测方法

技术领域

本发明属于纺织品疵点检测方法技术领域，涉及一种基于深度神经网络的数码印花织物缺陷检测方法。

背景技术

纺织品是人们生活中必不可少的产品，印花工艺是提升纺织品附加值的关键工序。数码印花作为一种新型的印花技术，将印花图像输入至计算机，利用计算机分色处理后，由专用RIP软件转换为数字点阵信息，控制孔径精度达微米级的喷头在织物上进行固定方向的喷印，形成预期高精度印花图案。因此，数码印花会由于喷孔堵塞、电机步进偏差、喷墨气压不稳定、喷头出墨、调试不均匀、设备压布不平整等故障，使印花产品出现PASS道、漏墨、喷墨不均以及布匹褶皱等缺陷，从而使产品的销售价格在其原价格的基础上降低45％～65％。因此，为确保数码印花织物产品的质量，缺陷检测是纺织品生产中质量控制的核心部分。

在一系列基于印花织物检测算法的基础上，数码印花织物缺陷检测方法主要分为两种，一种是基于传统图像处理的方法、一种基于深度神经网络的目标检测方法。传统的印花织物缺陷检测方法存在检测速度低、准确性差的缺点，并且其检测对象主要集中于白坯布、净色布、电子布以及纹理单一的色织物，针对图案丰富、色彩鲜明的印花产品，目前没有较为成熟的检测方法；基于此背景，基于深度神经网络的目标检测方法在数码印花织物缺陷检测领域中广泛应用。

发明内容

本发明的目的是提供一种基于深度神经网络的数码印花织物缺陷检测方法，能够实现数码印花缺陷的实时准确检测。

本发明所采用的技术方案是，一种基于深度神经网络的数码印花织物缺陷检测方法，具体按照以下步骤实施：

步骤1、采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像；建立神经网络；

步骤2、利用步骤1获得的彩色数码印花织物缺陷图像，进行目标信息的提取和标定，建立数码印花织物缺陷样本数据集，得到训练集、验证集和测试集；

步骤3、利用步骤1建立的神经网络和ImageNet数据集的训练集建立损失函数，利用损失函数训练神经网络，得到预训练模型，利用步骤2得到的训练集和验证集对预训练模型进行调整和验证；

步骤4、利用步骤2得到的测试集对模型进行评价。

本发明的特点还在于：

步骤1中采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像具体按照以下实施：利用扫描仪获取数码印花织物缺陷图像，运用局部均值法调整图像分辨率为416×416。包含PASS道、漏墨、布匹褶皱以及喷墨不均4类缺陷，每类缺陷800张，共3200张样本图像，并将图像统一命名为######.jpg格式。

步骤1中的建立神经网络具体按照以下实施：神经网络的构成具体如下：

1)建立CSPDarkNet53特征提取网络的子模块，CSPDarkNet53特征提取网络的子模块是在原DarkNet53子模块的基础上加上Cross Stage Partial，使其在保持网络结构轻量化的同时，增强其语义信息表达能力，子模块可对输入特征图进行2倍下采样，连续堆叠5个子模块，分别得到对输入图像进行8倍、16倍、32倍下采样的特征图作为特征融合网络的输入信息；

2)采用空间金字塔池化对经1)提取的特征图进行特征融合，使其输出特征图的像素点对于输入图像拥有较大的感受野，使其每个像素点都能够实现对于目标的检测，同时增加了每个像素点的语义信息，提高模型对于不同尺度目标的检测能力；

3)路径聚合网络旨在通过自底向上的路径增强顶层特征图的位置信息，缩短了低层与顶层特征之间的信息路径，通过自顶向下和自底向上的双向特征融合路径，使顶层的强语义信息与底层的强位置信息充分融合，提高了数码印花缺陷检测算法对于不同尺寸目标的检测能力；

4)利用分层预测的思想实现对于大、中、小目标的分层检测，使得顶层更关注于大目标的检测，底层更关注于小目标的检测。

步骤2具体按照以下实施：使用LabelImg标注工具对步骤1获得的彩色数码印花织物缺陷图像的印花缺陷信息进行标记，标记内容主要有输入缺陷标签，同时手动框选缺陷生成以图像左上角位置为基准的坐标信息，以及图像尺寸、存储路径的信息，并将标记信息生成的######.xml格式文件与######.jpg格式文件对应；从每类缺陷中随机选取600张作为训练样本，50张作为验证样本，150张作为测试样本。

步骤3具体按照以下实施：模型训练采用Python语言，Pytorch深度学习框架、第三方函数库Anaconda3.4.1完成。首先在ImageNet数据集上预训练网络模型，保存预训练的模型参数并使用我们的数据集对模型进行调整，作为数码印花缺陷检测算法的权重参数。反向传播过程中采用动量随机梯度下降算法更新网络的权值和偏置参数，经过53个epoch迭代得到最优的数码印花缺陷检测模型。

步骤3中建立损失函数具体按照以下实施：

1)置信度损失函数：

置信度损失函数缓解了单阶段目标检测中正负样本比例严重失衡和小目标缺陷难以检测的问题，权衡了难分、易分样本与正负样本(即织物有无缺陷)数量、大小织物缺陷(织物缺陷尺寸占输入图像尺寸的比率)目标数量的关系，公式(1)为置信度损失函数；

L_obj＝-αylog(y′)(1-y′)²(1-β)-(1-α)(1-y)log(1-y′)(y′)² (1)

上式中，y为锚包含目标的真实值、y′为其对应的预测值、参数α用来调整正负样本的比例、β为真实框面积占输入图像面积的比例；

2)类别损失函数：

类别损失函数增加了小目标缺陷的权重，权衡了大目标和小目标在损失函数所占的比例，使其更关注于小目标的检测，公式(2)为类别损失函数；

L_cls＝-ylog(y′)(1-β)-(1-y)log(1-y′) (2)

上式中，y为锚包含目标类别的真实值、y′为其对应的预测值、β为真实框面积占输入图像面积的比例；

3)边界框回归损失函数：

边界框回归损失函数同时考虑了预测框和目标框重叠区域、中心点距离、长宽比的关系并权衡了大小缺陷目标对边界框的回归影响，提高了小目标边界框的回归能力，公式(3)为边界框回归损失函数；

上式中，

p表示预测框和真实框中心点的欧式距离、c表示预测框和真实框的最小外接矩形的对角线距离、α是用于做trade-off的参数，u是用来衡量长宽比一致性的参数，λ为真实框面积占输入图像面积的比例；

4)总损失函数：

总损失函数为置信度损失函数、类别损失函数和边界框回归损失函数三者的叠加，公式(4)为总损失函数；

L_sum＝εL_obj+φL_cls+γL_CIoU (4)

上式中，ε、φ和γ用来平衡置信度损失、类别损失和边界框回归损失三者占总损失的比例。

步骤4具体按照以下实施：为了评估数码印花缺陷检测模型针对不同缺陷类型的检测性能，选取AP指标来评价模型对于每类缺陷的检测精度，mAP指标来综合评价模型对于各类缺陷的检测精度，完成数码印花织物缺陷检测模型的评价。

本发明的有益效果是：本发明一种基于深度神经网络的数码印花织物缺陷检测方法，能够实现数码印花缺陷的实时准确检测。本方法继承了Yolov4目标检测算法的核心结构，其保持了Yolov4目标检测算法速度快、精度高的性能；本方法首先在ImageNet数据集上预训练网络模型，保存预训练的模型参数并使用我们的数据集对模型进行调整，作为数码印花缺陷检测算法的权重参数；本方法的损失函数充分考虑了难分、易分样本与正负样本(即织物有无缺陷)数量、大小织物缺陷(织物缺陷占输入图像尺寸的比率)目标数量的关系，提高了模型对于小目标缺陷(PASS道、漏墨、布匹褶皱)的检测精度。

附图说明

图1是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的流程图；

图2是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的CSPDarkNet53特征提取网络的子模块结构示意图；

图3是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的空间金字塔的网络结构示意图；

图4是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的路径聚合网路的结构示意图；

图5是本发明一种基于深度神经网络的数码印花织物缺陷检测方法的实验结果示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于深度神经网络的数码印花织物缺陷检测方法，如图1所示，具体按照以下步骤实施：

步骤1、采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像；建立神经网络；

步骤1中采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像具体按照以下实施：利用扫描仪获取数码印花织物缺陷图像，运用局部均值法调整图像分辨率为416×416。包含PASS道、漏墨、布匹褶皱以及喷墨不均4类缺陷，每类缺陷800张，共3200张样本图像，并将图像统一命名为######.jpg格式。

步骤1中的建立神经网络具体按照以下实施：神经网络的构成具体如下：

1)建立CSPDarkNet53特征提取网络的子模块，如图2所示，CSPDarkNet53特征提取网络的子模块是在原DarkNet53子模块的基础上加上Cross Stage Partial，使其在保持网络结构轻量化的同时，增强其语义信息表达能力，子模块可对输入特征图进行2倍下采样，连续堆叠5个子模块，分别得到对输入图像进行8倍、16倍、32倍下采样的特征图作为特征融合网络的输入信息；

2)采用空间金字塔池化对经1)提取的特征图进行特征融合，如图3所示，使其输出特征图的像素点对于输入图像拥有较大的感受野，使其每个像素点都能够实现对于目标的检测，同时增加了每个像素点的语义信息，提高模型对于不同尺度目标的检测能力；

3)路径聚合网络旨在通过自底向上的路径增强顶层特征图的位置信息，缩短了低层与顶层特征之间的信息路径，通过自顶向下和自底向上的双向特征融合路径，使顶层的强语义信息与底层的强位置信息充分融合，提高了数码印花缺陷检测算法对于不同尺寸目标的检测能力，如图4所示；

4)利用分层预测的思想实现对于大、中、小目标的分层检测，使得顶层更关注于大目标的检测，底层更关注于小目标的检测。

步骤2、利用步骤1获得的彩色数码印花织物缺陷图像，进行目标信息的提取和标定，建立数码印花织物缺陷样本数据集，得到训练集、验证集和测试集；

步骤2具体按照以下实施：使用LabelImg标注工具对步骤1获得的彩色数码印花织物缺陷图像的印花缺陷信息进行标记，标记内容主要有输入缺陷标签，同时手动框选缺陷生成以图像左上角位置为基准的坐标信息，以及图像尺寸、存储路径的信息，并将标记信息生成的######.xml格式文件与######.jpg格式文件对应；从每类缺陷中随机选取600张作为训练样本，50张作为验证样本，150张作为测试样本。

步骤3、利用步骤1建立的神经网络和ImageNet数据集的训练集建立损失函数，利用损失函数训练神经网络，得到预训练模型，利用步骤2得到的训练集和验证集对预训练模型进行调整和验证；

步骤3具体按照以下实施：模型训练采用Python语言，Pytorch深度学习框架、第三方函数库Anaconda3.4.1完成。首先在ImageNet数据集上预训练网络模型，保存预训练的模型参数并使用我们的数据集对模型进行调整，作为数码印花缺陷检测算法的权重参数。反向传播过程中采用动量随机梯度下降算法更新网络的权值和偏置参数，经过53个epoch迭代得到最优的数码印花缺陷检测模型。

步骤3中建立损失函数具体按照以下实施：

1)置信度损失函数：

置信度损失函数缓解了单阶段目标检测中正负样本比例严重失衡和小目标缺陷难以检测的问题，权衡了难分、易分样本与正负样本(即织物有无缺陷)数量、大小织物缺陷(织物缺陷尺寸占输入图像尺寸的比率)目标数量的关系，公式(1)为置信度损失函数；

L_obj＝-αylog(y′)(1-y′)²(1-β)-(1-α)(1-y)log(1-y′)(y′)² (1)

上式中，y为锚包含目标的真实值、y′为其对应的预测值、参数α用来调整正负样本的比例、β为真实框面积占输入图像面积的比例；

2)类别损失函数：

类别损失函数增加了小目标缺陷的权重，权衡了大目标和小目标在损失函数所占的比例，使其更关注于小目标的检测，公式(2)为类别损失函数；

L_cls＝-ylog(y′)(1-β)-(1-y)log(1-y′) (2)

上式中，y为锚包含目标类别的真实值、y′为其对应的预测值、β为真实框面积占输入图像面积的比例；

3)边界框回归损失函数：

边界框回归损失函数同时考虑了预测框和目标框重叠区域、中心点距离、长宽比的关系并权衡了大小缺陷目标对边界框的回归影响，提高了小目标边界框的回归能力，公式(3)为边界框回归损失函数；

上式中，

p表示预测框和真实框中心点的欧式距离、c表示预测框和真实框的最小外接矩形的对角线距离、α是用于做trade-off的参数，u是用来衡量长宽比一致性的参数，λ为真实框面积占输入图像面积的比例；

4)总损失函数：

总损失函数为置信度损失函数、类别损失函数和边界框回归损失函数三者的叠加，公式(4)为总损失函数；

L_sum＝εL_obj+φL_cls+γL_CIoU (4)

上式中，ε、φ和γ用来平衡置信度损失、类别损失和边界框回归损失三者占总损失的比例。

步骤4、利用步骤2得到的测试集对模型进行评价。

步骤4具体按照以下实施：为了评估数码印花缺陷检测模型针对不同缺陷类型的检测性能，选取AP指标来评价模型对于每类缺陷的检测精度，mAP指标来综合评价模型对于各类缺陷的检测精度，完成数码印花织物缺陷检测模型的评价，实验结果如图5所示。

本发明一种基于深度神经网络的数码印花织物缺陷检测方法，输入图像尺寸大小为416×416，经过一系列卷积层和池化层，分别得到尺寸为13×13、26×26、52×52的特征图用于缺陷种类的预测和边界框的回归。下面以尺寸13×13的特征图为例，首先把输入图像等分为13×13个网格，特征图上的每个pixel则负责预测对应位置的缺陷，其中每个pixel预测3个边界框，每个边界框有9个分量，分别是物体的中心位置(x,y)和它的高(h)和宽(w)，以及置信度和类别数量(喷墨不均、PASS道、漏墨、布匹褶皱)。最后，使用非极大值抑制算法优化目标位置，进一步优化数码印花缺陷检测性能。实验结果表明，相较以往的目标检测算法，本发明基于深度神经网络的数码印花缺陷检测算法能够实现数码印花缺陷的实时准确检测，具有一定的实际使用价值。

Claims (6)

1.一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，具体按照以下步骤实施：

步骤1、采集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像；建立神经网络；

步骤2、利用步骤1获得的彩色数码印花织物缺陷图像，进行目标信息的提取和标定，建立数码印花织物缺陷样本数据集，得到训练集、验证集和测试集；

步骤3、利用步骤1建立的神经网络和ImageNet数据集的训练集建立损失函数，利用损失函数训练神经网络，得到预训练模型，利用步骤2得到的训练集和验证集对预训练模型进行调整和验证；

步骤4、利用步骤2得到的测试集对模型进行评价。

2.根据权利要求1所述的一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，所述步骤1中集分辨率为416×416大小的RGB彩色数码印花织物缺陷图像具体按照以下实施：利用扫描仪获取数码印花织物缺陷图像，运用局部均值法调整图像分辨率为416×416；包含PASS道、漏墨、布匹褶皱以及喷墨不均4类缺陷，每类缺陷800张，共3200张样本图像，并将图像统一命名为######.jpg格式。

3.根据权利要求1所述的一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，所述步骤1中的建立神经网络体按照以下实施：神经网络的构成具体如下：

1)建立CSPDarkNet53特征提取网络的子模块，CSPDarkNet53特征提取网络的子模块是在原DarkNet53子模块的基础上加上Cross Stage Partial，使其在保持网络结构轻量化的同时，增强其语义信息表达能力，子模块可对输入特征图进行2倍下采样，连续堆叠5个子模块，分别得到对输入图像进行8倍、16倍、32倍下采样的特征图作为特征融合网络的输入信息；

2)采用空间金字塔池化对经1)提取的特征图进行特征融合，使其输出特征图的像素点对于输入图像拥有较大的感受野，使其每个像素点都能够实现对于目标的检测，同时增加了每个像素点的语义信息，提高模型对于不同尺度目标的检测能力；

3)路径聚合网络旨在通过自底向上的路径增强顶层特征图的位置信息，缩短了低层与顶层特征之间的信息路径，通过自顶向下和自底向上的双向特征融合路径，使顶层的强语义信息与底层的强位置信息充分融合，提高了数码印花缺陷检测算法对于不同尺寸目标的检测能力；

4)利用分层预测的思想实现对于大、中、小目标的分层检测，使得顶层更关注于大目标的检测，底层更关注于小目标的检测。

4.根据权利要求1所述的一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，所述步骤2具体按照以下实施：使用LabelImg标注工具对步骤1获得的彩色数码印花织物缺陷图像的印花缺陷信息进行标记，标记内容主要有输入缺陷标签，同时手动框选缺陷生成以图像左上角位置为基准的坐标信息，以及图像尺寸、存储路径的信息，并将标记信息生成的######.xml格式文件与######.jpg格式文件对应；从每类缺陷中随机选取600张作为训练样本，50张作为验证样本，150张作为测试样本。

5.根据权利要求1所述的一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，所述步骤3具体按照以下实施：模型训练采用Python语言，Pytorch深度学习框架、第三方函数库Anaconda3.4.1完成。首先在ImageNet数据集上预训练网络模型，保存预训练的模型参数并使用我们的数据集对模型进行调整，作为数码印花缺陷检测算法的权重参数；反向传播过程中采用动量随机梯度下降算法更新网络的权值和偏置参数，经过53个epoch迭代得到最优的数码印花缺陷检测模型。

步骤3中建立损失函数具体按照以下实施：

1)置信度损失函数：

置信度损失函数缓解了单阶段目标检测中正负样本比例严重失衡和小目标缺陷难以检测的问题，权衡了难分、易分样本与正负样本(即织物有无缺陷)数量、大小织物缺陷(织物缺陷尺寸占输入图像尺寸的比率)目标数量的关系，公式(1)为置信度损失函数；

L_obj＝-αylog(y′)(1-y′)²(1-β)-(1-α)(1-y)log(1-y′)(y′)² (1)

上式中，y为锚包含目标的真实值、y′为其对应的预测值、参数α用来调整正负样本的比例、β为真实框面积占输入图像面积的比例；

2)类别损失函数：

类别损失函数增加了小目标缺陷的权重，权衡了大目标和小目标在损失函数所占的比例，使其更关注于小目标的检测，公式(2)为类别损失函数；

L_cls＝-ylog(y′)(1-β)-(1-y)log(1-y′) (2)

上式中，y为锚包含目标类别的真实值、y′为其对应的预测值、β为真实框面积占输入图像面积的比例；

3)边界框回归损失函数：

边界框回归损失函数同时考虑了预测框和目标框重叠区域、中心点距离、长宽比的关系并权衡了大小缺陷目标对边界框的回归影响，提高了小目标边界框的回归能力，公式(3)为边界框回归损失函数；

上式中，

p表示预测框和真实框中心点的欧式距离、c表示预测框和真实框的最小外接矩形的对角线距离、α是用于做trade-off的参数，u是用来衡量长宽比一致性的参数，λ为真实框面积占输入图像面积的比例；

4)总损失函数：

总损失函数为置信度损失函数、类别损失函数和边界框回归损失函数三者的叠加，公式(4)为总损失函数；

L_sum＝εL_obj+φL_cls+γL_CIoU (4)

上式中，ε、φ和γ用来平衡置信度损失、类别损失和边界框回归损失三者占总损失的比例。

6.根据权利要求1所述的一种基于深度神经网络的数码印花织物缺陷检测方法，其特征在于，所述步骤4具体按照以下实施：为了评估数码印花缺陷检测模型针对不同缺陷类型的检测性能，选取AP指标来评价模型对于每类缺陷的检测精度，mAP指标来综合评价模型对于各类缺陷的检测精度，完成数码印花织物缺陷检测模型的评价。

Images