CN115601610A - 一种基于改进EfficientDet模型的织物瑕疵检测方法 - Google Patents

Abstract

本发明涉及一种基于改进EfficientDet模型的织物瑕疵检测方法，包括如下步骤：采集织物数据集，对疵点进行标注；数据增强；增强数据集按预设比例划分为训练集、验证集、测试集；载入预训练模型，得到加强特征图；每个加强特征图独立地输入到分类/回归网络并进行候选框的调整；网络计算出分类和回归损失，并根据网络整体损失对整个网络模型参数进行更新；通过参数更新后的改进EfficientDet模型在验证集上计算验证集损失，根据验证集损失曲线考量该模型的泛化性能；经过预先设立的P轮Epoch训练迭代，得到最终的改进EfficientDet网络模型；载入训练模型，实现瑕疵的定位与分类。本发明通过适配织物图像特性，解决织物瑕疵检测任务中疵点多尺度、空间位置任意分布等检测难点问题。

Description

一种基于改进EfficientDet模型的织物瑕疵检测方法

【技术领域】

本发明涉及一种织物瑕疵检测方法，具体涉及一种基于改进EfficientDet模型的织物瑕疵检测方法，属于纺织品后整理与目标检测技术领域。

【背景技术】

织物是人们在日常生活中广泛使用的材料，由纺织纤维制成。纺织纤维由天然纤维如亚麻或羊毛等制成，或尼龙、人造纤维等化学纤维制成。织物瑕疵是指在工业化生产制造过程中织物表面出现的瑕疵缺陷。这些织物瑕疵主要由机器故障、纱线问题、不良加工、过度拉伸等问题引起的。严重的瑕疵问题会导致织物产品的滞销和经济损失，而织物瑕疵的检测是一个旨在识别和定位这些瑕疵的质量控制过程。

在以往的检测方法中，人工检测是确保织物质量的主要手段。人工检测的方法虽然可以做到即时纠正一些错误，但是易受人工自身工作和外部环境的影响，如果疲劳会导致不可避免的人为错误，使得漏检率和误检率提高、检测速度变慢等，并且人工检测通常不会检测到较为微小的瑕疵。目前人工检测的成功率仅为60％-75％。因此，使用高效和稳定的计算机视觉来代替低效的人工视觉，实现织物瑕疵的自动化实时检测，具有重要的经济效益和现实意义。

卷积神经网络(CNN)由多层卷积层和池化层重复堆叠而成，具有良好的并行处理、特征提取以及泛化能力。随着CNN的兴起和GPU算力的发展，基于深度学习的方法越来越受研究者们的关注，大量的目标检测模型被应用于视觉任务中。其中两阶anchor-based检测器包括R-CNN系列、TSD等，一阶anchor-based检测器包括YOLO系列、RetinaNet和SSD等。然而，现有的基于深度学习的方法侧重于自然场景而不是纺织业图像，两者在目标特征属性(比如颜色、纹理结构、组成、尺寸与空间位置分布等)上存在较大差异，因此现有的这些CNN模型的精度和速度并不能很好地满足织物瑕疵实时检测任务需求。

因此，为解决上述问题，确有必要提供一种基于改进EfficientDet模型的织物瑕疵检测方法，以克服现有技术中的所述缺陷。

【发明内容】

为解决上述问题，本发明的目的在于提供一种基于改进EfficientDet模型的织物瑕疵检测方法，其通过适配织物图像特性，解决织物瑕疵检测任务中疵点多尺度(尤其是长宽比极度不平衡和微小尺寸)、空间位置任意分布等检测难点问题，提高织物的检测精度和检测速度。

为实现上述目的，本发明采取的技术方案为：一种基于改进EfficientDet模型的织物瑕疵检测方法，其包括如下工艺步骤：

1)，使用工业相机采集织物数据集，对图像疵点进行标注，以获得瑕疵类别标签；

2)，对织物数据集和对应的类别标签进行数据增强，满足网络模型训练的样本数量要求；

3)，将样本增强数据集按预设比例划分为训练集、验证集、测试集；

4)，载入预训练模型，预设好模型训练的Batch_size，任意选取训练集中一个批次张图片输入至模型中；选取每张图片在主干网络EfficientNet中N个特定阶层的有效特征图，经过通道变换后传入到特征金字塔网络进行多尺度信息整合得到N个对应阶层的加强特征图；

5)，每个加强特征图均独立地输入到分类/回归网络并进行候选框的调整；

6)，网络根据加强特征图、调整后的候选框与相应真实框差异计算出分类和回归损失，并根据网络整体损失对整个网络模型参数进行更新；

7)，通过参数更新后的改进EfficientDet模型在验证集上计算验证集损失，根据验证集损失曲线考量该模型的泛化性能；

8)，经过预先设立的P轮Epoch训练迭代，即重复P次步骤4)～7)后，网络总损失曲线收敛，训练结束，得到最终的改进EfficientDet网络模型；

9)，载入步骤8)得到的训练模型，遍历测试集文件夹中所有图片进行预测，依据非极大值抑制原则进行候选框筛选，然后从所有调整后的测试集候选框中根据置信度比较得到最终预测框，实现瑕疵的定位与分类。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法进一步为：所述步骤1)中，使用LabelImg软件中最小外接矩形框对每张照片疵点进行分类别标定，得到类别标签XML文件；所述XML文件记录的信息包括图像的尺寸、瑕疵的类别、边界框的空间坐标位置等。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法进一步为：所述步骤2)中，数据增强手段包括图像翻转、旋转、裁剪、亮度变化、对比度变化、增加噪声。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法进一步为：所述步骤3)中，(训练集+验证集)：测试集的样本比例为9：1；其中训练集：验证集的样本比例为9：1；此时会生成train.txt、val.txt、test.txt文件来记录各自的划分后的图像名称列表；然后根据train.txt、val.txt生成2007_train.txt、2007_val.txt。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法进一步为：所述步骤4)具体包括如下过程：

4-1)，以EfficientDet-d0作为基础模型，并载入该模型预训练权重；每张图片首先输入至主干网络进行初步的特征提取，得到5个不同阶层(P3、P4、P5、P6、P7)的有效特征图；所述主干网络由不同层数的MBConv结构块和末端的并行膨胀注意力模块PDAM堆叠而成；其中每一阶层MBConv结构块代表主干网络的一个Stage；

4-2)，将主干网络提取到的5个不同阶层(P3、P4、P5、P6、P7)的特征图进行卷积操作实现通道统一后，输入到B-BiFPN特征金字塔网络中，不同网络层之间以上/下采样的方式进行特征融合，得到5个不同尺度(分辨率分别为64×64、32×32、16×16、8×8、4×4)的精细化的加强特征图。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法进一步为：所述步骤4-1)中，搭建并行膨胀注意力模块PDAM具体包括以下步骤：

4-1-1)，模块嵌入在主干网络P6层之后，取代原先的降采样层，其输出作为后续加强特征融合网络P7层的输入；

4-1-2)，模块包括1个1×1的卷积层分支以及3个空洞率分别为ar＝1，2，4的3×3卷积层分支，不同空洞率的并行分支进行卷积与级联运算；每个子特征图有着相同的通道维数，进行通道堆叠后得到一个完整的预处理特征图；

4-1-3)，将步骤4-1-2)得到的预处理特征图进行Softmax操作，得到多尺度通道的重新校准权重W_i；每个子特征图与对应权重做相乘运算并进行通道堆叠即可获得最终完整的精细化输出。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法进一步为：所述步骤4-2)中，搭建B-BiFPN特征金字塔网络具体包括以下步骤：

4-2-1)，在保留原先BiFPN双向信息流的基础上，选择性摘除高层的融合节点，即摘除下采样的P6、P7层输出节点与其同层的短接融合路径。

4-2-2)，将捕获的PDAM精细化特征图进行跨层上采样，使得特征图更改到16×16分辨率后连接到P3-td1节点，扩展一个路径聚合分支。

4-2-3)，将低层(P3，P4，P5)的输出反馈回输入节点，实现特征图的像素级叠加；融合后的5层多尺度特征图馈送到分类/回归网络。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法进一步为：所述步骤5)具体为：将步骤4-2)得到的5个不同尺度的精细化加强特征图分别独立地传输至分类子网络和回归子网络中；分类子网络采用3次64通道的卷积和1次num_priors×num_classes的卷积，预测该特征层每一个预测框对应的种类；回归子网络采用3次64通道的卷积和1次num_priors×4的卷积，预测该特征层上每一个先验框的变化情况。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法进一步为：所述步骤6)具体为：分类子网络损失采用Focal Loss，回归子网络损失采用Alpha-GIoU Loss；网络模型根据类别置信度信息、边界框置信度信息对训练集候选框进行调整，然后与相应真实框GT进行比较，计算出分类和回归损失，并加权求和得到网络总损失，之后更新模型权值文件，文件尾缀为.pth。

本发明的基于改进EfficientDet模型的织物瑕疵检测方法还为：使用目标检测常见评价指标对步骤9)中的瑕疵检测结果进行分析，考量网络模型的检测性能。

与现有技术相比，本发明具有如下有益效果：

1.本发明对EfficientDet算法进行改进，在主干网络末端设计了并行膨胀注意力模块PDAM，有效聚合图像全局特征信息，进一步地捕获多尺度的上下文信息，提高模型对多尺度目标的适应能力；在特征金字塔网络部分设计了有偏差B-BiFPN结构，适配织物图像特性，以有偏差方式进行特征融合，使网络在表征语义信息和纹理细节方面更具有竞争力，在一定程度上减小模型复杂度的同时，并不会降低模型的检测精度。

2.本发明通过引入Alpha-GIoU Loss，提高边界框的回归精度以及加速模型收敛，泛化性能强，对于无图案织物、规则图案织物和复杂的不规则图案织物以及简单的素色图案织物均能适用；鲁棒性强，通过足够量的样本训练后，能较好地克服工厂实际生产条件下光照亮度、尘埃污渍等外部环境的干扰。

【附图说明】

图1是本发明的基于改进EfficientDet模型的织物瑕疵检测方法的流程图。

图2是本发明的网络框架示意图。

图3是本发明的步骤4-1)中的并行膨胀注意力模块PDAM的结构示意图。

图4是本发明的步骤4-2)中的B-BiFPN特征金字塔网络的结构示意图。

图5是DGAM2007织物数据集的瑕疵检测效果图。

图6是使用本发明的改进EfficientDet模型对DGAM2007数据集的检测性能评估图。

【具体实施方式】

请参阅说明书附图1至附图6所示，本发明为一种基于改进EfficientDet模型的织物瑕疵检测方法，其包括如下工艺步骤：

1)，使用工业相机采集织物数据集，对图像疵点进行标注，以获得瑕疵类别标签。具体的说，使用LabelImg软件中最小外接矩形框对每张照片疵点进行分类别标定，得到类别标签XML文件。所述XML文件记录的信息包括图像的尺寸、瑕疵的类别、边界框的空间坐标位置等信息。

2)，对织物数据集和对应的类别标签进行数据增强，满足网络模型训练的样本数量要求。

所述数据增强手段包括图像翻转、旋转、裁剪、亮度变化、对比度变化、增加噪声，通过数据增强手来进行预处理扩充数据集，将源图像500张(每种类别50张)扩充至6000张用于后续模型训练。

3)，将样本增强数据集按预设比例划分为训练集、验证集、测试集。其中，(训练集+验证集)：测试集的样本比例为9：1；其中训练集：验证集的样本比例为9：1；此时会生成train.txt、val.txt、test.txt文件来记录各自的划分后的图像名称列表。然后根据train.txt、val.txt生成2007_train.txt、2007_val.txt，里面记录着被划分图像的文件路径、真实框标注信息及类别信息。

4)，载入预训练模型，预设好模型训练的Batch_size，任意选取训练集中一个批次张图片输入至模型中；选取每张图片在主干网络EfficientNet中N个特定阶层的有效特征图，经过通道变换后传入到特征金字塔网络进行多尺度信息整合得到N个对应阶层的加强特征图。

具体的说，本步骤的具体过程如下：

4-1)，以EfficientDet-d0作为基础模型，并载入该模型预训练权重；每张图片首先输入至主干网络进行初步的特征提取，得到5个不同阶层(P3、P4、P5、P6、P7)的有效特征图。所述主干网络由不同层数的MBConv结构块和末端的并行膨胀注意力模块PDAM堆叠而成；其中每一阶层MBConv结构块代表主干网络的一个Stage。

其中，搭建并行膨胀注意力模块PDAM的具体步骤如下：

4-1-1)，模块嵌入在主干网络P6层之后，取代原先的降采样层，其输出作为后续加强特征融合网络P7层的输入。

4-1-2)，模块包括1个1×1的卷积层分支以及3个空洞率分别为ar＝1，2，4的3×3卷积层分支，不同空洞率的并行分支进行卷积与级联运算；每个子特征图有着相同的通道维数，进行通道堆叠后得到一个完整的预处理特征图。

4-1-3)，将步骤4-1-2)得到的预处理特征图进行Softmax操作，得到多尺度通道的重新校准权重W_i；每个子特征图与对应权重做相乘运算并进行通道堆叠即可获得最终完整的精细化输出。

4-2)，将主干网络提取到的5个不同阶层(P3、P4、P5、P6、P7)的特征图进行卷积操作实现通道统一后，输入到B-BiFPN特征金字塔网络中，不同网络层之间以上/下采样的方式进行特征融合，得到5个不同尺度(分辨率分别为64×64、32×32、16×16、8×8、4×4)的精细化的加强特征图。

其中，搭建B-BiFPN特征金字塔网络具体步骤如下：

4-2-1)，在保留原先BiFPN双向信息流的基础上，选择性摘除高层的融合节点，即摘除下采样的P6、P7层输出节点与其同层的短接融合路径。

4-2-2)，将捕获的PDAM精细化特征图进行跨层上采样，使得特征图更改到16×16分辨率后连接到P3-td1节点，扩展一个路径聚合分支。

4-2-3)，将低层(P3，P4，P5)的输出反馈回输入节点，实现特征图的像素级叠加，注意这次的融合节点无卷积运算。融合后的5层多尺度特征图馈送到分类/回归网络。

5)，每个加强特征图均独立地输入到分类/回归网络并进行候选框的调整。具体的说，将步骤4-2)得到的5个不同尺度的精细化加强特征图分别独立地传输至分类子网络和回归子网络中；分类子网络采用3次64通道的卷积和1次num_priors×num_classes的卷积，预测该特征层每一个预测框对应的种类；回归子网络采用3次64通道的卷积和1次num_priors×4的卷积，预测该特征层上每一个先验框的变化情况。

6)，网络根据加强特征图、调整后的候选框与相应真实框差异计算出分类和回归损失，并根据网络整体损失对整个网络模型参数进行更新。

具体的说，分类子网络损失采用Focal Loss，回归子网络损失采用Alpha-GIoULoss；网络模型根据类别置信度信息、边界框置信度信息对训练集候选框进行调整，然后与相应真实框GT进行比较，计算出分类和回归损失，并加权求和得到网络总损失，之后更新模型权值文件，文件尾缀为.pth。

7)，通过参数更新后的改进EfficientDet模型在验证集上计算验证集损失，根据验证集损失曲线考量该模型的泛化性能。

8)，经过预先设立的P轮Epoch训练迭代，即重复P次步骤4)～7)后，网络总损失曲线收敛，训练结束，得到最终的改进EfficientDet网络模型；

9)，载入步骤8)得到的训练模型，遍历测试集文件夹中所有图片进行预测，依据非极大值抑制原则进行候选框筛选，然后从所有调整后的测试集候选框中根据置信度比较得到最终预测框，实现瑕疵的定位与分类。

如需考量网络模型的检测性能，可使用目标检测常见评价指标对步骤9)中的瑕疵检测结果进行分析。本实施例选用公开的DGAM2007织物数据集(图5所示)进行测试，其包含10种织物疵点类别。根据真实框和模型的预测框计算出对应每个类别的准确率(Precision)、召回率(Recall)和表征整个数据集的指标平均精度mAP(mean AveragePrecison)，对模型进行系统的评价。实验结果如图6所示。可以看出，本发明能够满足多类别的织物检测任务精度要求。

综上所述，本发明的基于改进EfficientDet模型的织物瑕疵检测方法以轻量级网络EfficientDet-d0作为基础检测模型，从特征提取网络、特征金字塔网络和预测网络这三个主要组件进行改进。首先在主干网络的尾部设计了一个并行膨胀注意力模块，来替换原先的降采样层，有效聚合图像全局特征信息，在局部和全局通道注意力之间获得更好的信息交互，捕获丰富的上下文信息；然后在加强特征网络部分设计了B-BiFPN结构，适配织物图像特性，以有偏差方式进行特征融合，使网络在表征语义信息和纹理细节方面更具有竞争力；最后引用了当下新颖的边界框损失Alpha-GIoU Loss，进一步提高边界框的回归精度以及加速模型收敛。

以上的具体实施方式仅为本创作的较佳实施例，并不用以限制本创作，凡在本创作的精神及原则之内所做的任何修改、等同替换、改进等，均应包含在本创作的保护范围之内。

Claims (10)

1.一种基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：包括如下工艺步骤：

1)，使用工业相机采集织物数据集，对图像疵点进行标注，以获得瑕疵类别标签；

2)，对织物数据集和对应的类别标签进行数据增强，满足网络模型训练的样本数量要求；

3)，将样本增强数据集按预设比例划分为训练集、验证集、测试集；

4)，载入预训练模型，预设好模型训练的Batch_size，任意选取训练集中一个批次张图片输入至模型中；选取每张图片在主干网络EfficientNet中N个特定阶层的有效特征图，经过通道变换后传入到特征金字塔网络进行多尺度信息整合得到N个对应阶层的加强特征图；

5)，每个加强特征图均独立地输入到分类/回归网络并进行候选框的调整；

6)，网络根据加强特征图图、调整后的候选框与相应真实框差异计算出分类和回归损失，并根据网络整体损失对整个网络模型参数进行更新；

7)，通过参数更新后的改进EfficientDet模型在验证集上计算验证集损失，根据验证集损失曲线考量该模型的泛化性能；

8)，经过预先设立的P轮Epoch训练迭代，即重复P次步骤4)～7)后，网络总损失曲线收敛，训练结束，得到最终的改进EfficientDet网络模型；

9)，载入步骤8)得到的训练模型，遍历测试集文件夹中所有图片进行预测，依据非极大值抑制原则进行候选框筛选，然后从所有调整后的测试集候选框中根据置信度比较得到最终预测框，实现瑕疵的定位与分类。

2.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：所述步骤1)中，使用LabelImg软件中最小外接矩形框对每张照片疵点进行分类别标定，得到类别标签XML文件；所述XML文件记录的信息包括图像的尺寸、瑕疵的类别、边界框的空间坐标位置等。

3.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：所述步骤2)中，数据增强手段包括图像翻转、旋转、裁剪、亮度变化、对比度变化、增加噪声。

4.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：所述步骤3)中，(训练集+验证集)：测试集的样本比例为9：1；其中训练集：验证集的样本比例为9：1；此时会生成train.txt、val.txt、test.txt文件来记录各自的划分后的图像名称列表；然后根据train.txt、val.txt生成2007_train.txt、2007_val.txt。

5.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：所述步骤4)具体包括如下过程：

4-1)，以EfficientDet-d0作为基础模型，并载入该模型预训练权重；每张图片首先输入至主干网络进行初步的特征提取，得到5个不同阶层(P3、P4、P5、P6、P7)的有效特征图；所述主干网络由不同层数的MBConv结构块和末端的并行膨胀注意力模块PDAM堆叠而成；其中每一阶层MBConv结构块代表主干网络的一个Stage；

4-2)，将主干网络提取到的5个不同阶层(P3、P4、P5、P6、P7)的特征图进行卷积操作实现通道统一后，输入到B-BiFPN特征金字塔网络中，不同网络层之间以上/下采样的方式进行特征融合，得到5个不同尺度(分辨率分别为64×64、32×32、16×16、8×8、4×4)的精细化的加强特征图。

6.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：所述步骤4-1)中，搭建并行膨胀注意力模块PDAM具体包括以下步骤：

4-1-1)，模块嵌入在主干网络P6层之后，取代原先的降采样层，其输出作为后续加强特征融合网络P7层的输入；

4-1-2)，模块包括1个1×1的卷积层分支以及3个空洞率分别为ar＝1，2，4的3×3卷积层分支，不同空洞率的并行分支进行卷积与级联运算；每个子特征图有着相同的通道维数，进行通道堆叠后得到一个完整的预处理特征图；

4-1-3)，将步骤4-1-2)得到的预处理特征图进行Softmax操作，得到多尺度通道的重新校准权重W_i；每个子特征图与对应权重做相乘运算并进行通道堆叠即可获得最终完整的精细化输出。

7.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：所述步骤4-2)中，搭建B-BiFPN特征金字塔网络具体包括以下步骤：

4-2-1)，在保留原先BiFPN双向信息流的基础上，选择性摘除高层的融合节点，即摘除下采样的P6、P7层输出节点与其同层的短接融合路径；

4-2-2)，将捕获的PDAM精细化特征图进行跨层上采样，使得特征图更改到16×16分辨率后连接到P3-td1节点，扩展一个路径聚合分支；

4-2-3)，将低层(P3，P4，P5)的输出反馈回输入节点，实现特征图的像素级叠加；融合后的5层多尺度特征图馈送到分类/回归网络。

8.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：所述步骤5)具体为：将步骤4-2)得到的5个不同尺度的精细化加强特征图分别独立地传输至分类子网络和回归子网络中；分类子网络采用3次64通道的卷积和1次num_priors×num_classes的卷积，预测该特征层每一个预测框对应的种类；回归子网络采用3次64通道的卷积和1次num_priors×4的卷积，预测该特征层上每一个先验框的变化情况。

9.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：所述步骤6)具体为：分类子网络损失采用FocalLoss，回归子网络损失采用Alpha-GIoULoss；网络模型根据类别置信度信息、边界框置信度信息对训练集候选框进行调整，然后与相应真实框GT进行比较，计算出分类和回归损失，并加权求和得到网络总损失，之后更新模型权值文件，文件尾缀为.pth。

10.如权利要求1所述的基于改进EfficientDet模型的织物瑕疵检测方法，其特征在于：使用目标检测常见评价指标对步骤9)中的瑕疵检测结果进行分析，考量网络模型的检测性能。

Images