CN115205274A - 一种基于轻量化级联网络的布匹瑕疵检测方法 - Google Patents

Abstract

本发明公开了一种基于轻量化级联网络的布匹瑕疵检测方法。包括构造适用于布匹缺陷检测的YOLOv5s‑GSBiFPN轻量化检测模型。在主干网络特征提取阶段，设计了全新的双路注意力CSPGhostSE结构，并通过堆叠多层CSPGhostSE结构提取深层特征。在特征融合阶段使用了三层堆叠的加权双向金字塔BiFPN结构，充分融合多尺度特征。其次针对检测缺陷特征不明显样本易出现误检的问题，提出了检测+分类的级联网络架构，对预测框进一步进行是否为瑕疵的二分类判断过滤误检。本发明设计的轻量化级联检测模型显著提升了小目标和困难样本检出能力，误检较少且模型较小，易于实现低性能设备端部署。

Description

一种基于轻量化级联网络的布匹瑕疵检测方法

技术领域

本发明涉及计算机视觉的缺陷检测技术领域，具体涉及一种基于轻量化级联网络的布匹瑕疵检测方法。

背景技术

基于计算机视觉的布匹瑕疵检测系统通常采用拍摄布匹图像的方式，实现对布匹质量的监控。传统的布匹缺陷检测常使用图像处理的方式，将布匹图像中的纹理，边缘等特征提取出来，再用合适的算法处理这些特征进而有效的识别布匹缺陷。传统方式往往需要手动来设计特征提取器，这种方法在特定场景下非常有效，但泛化能力较弱，不能适应场景的变化。随着深度学习的发展，基于卷积神经网络(CNN)的缺陷检测方法展现出了其强大的特征提取能力，可以从大量的布匹图像样本中自动学习缺陷的特征表示，在检测准确率，实时性和广泛适应性方面已经远超传统方法。基于深度学习的方法有着更加强大的性能，但这类方法需要强大的算力和储存搭建神经网络模型的推理环境，在算法实际落地部署使用中，受限与当前硬件条件的制约，不能很好的展示出优势。同时针对较小缺陷目标和困难样本的检出率较低，在缺陷特征不明显的缺陷样本上误检较为严重。

发明内容

本发明的目的是为了克服现有技术的不足，提供了一种基于轻量化级联网络的布匹瑕疵检测方法。首先，针对构建布匹缺陷数据集时，某些特定类别的布匹缺陷样本数量较少，难以获取的情况，提出了一种数据增强方法。从已有含缺陷的样本图像中截取缺陷区域，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷样本，扩充了数据集。其次，针对当前布匹缺陷检测模型，在小目标、困难样本中检出能力弱的问题和网络参数量多、模型较大难以实现在性能较低设备端部署的问题，提出了YOLOv5s-GSBiFPN轻量化布匹瑕疵检测算法。设计了全新的双路注意力CSPGhostSE结构，作为主干网络核心特征提取模块，并与SPPF模块，共同组成新的特征提取网络。在特征融合阶段使用了三层堆叠的加权双向金字塔BiFPN结构，根据不同分辨率特征对网络最后输出贡献度的不同做了加权区分，充分融合多尺度特征后，输入到3个检测头中分别检测大中小尺度的缺陷目标。显著提升了小目标和困难样本检出能力，大幅缩减了参数量和模型尺寸，易于实现在低性能设备端的部署。最后，针对缺陷特征不明显样本易出现误检的问题，提出了检测+分类的级联网络架构。在检测网络之后增加了一个二级分类网络，对检测模型输出的预测框进一步进行是否为瑕疵的二分类判断，对检测结果进行过滤，大幅降低了误检率。

一种基于轻量化级联网络的布匹瑕疵检测方法，采用的技术方案包括以下步骤：

步骤1：使用工业相机和LED照明设备构建照明良好，成像稳定的拍摄环境，采集布匹图像；所述拍摄环境，采用正面照明的方式，将相机与光源放置在同一侧，与待验布匹保持平行。

步骤2：采集包含不同缺陷的瑕疵布匹图像，并对布匹图像进行数据增强，扩充数据集样本数，平衡不同类别的缺陷样本数量；所述数据增强方法是从已有含缺陷的样本图像中截取缺陷区域，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷样本，扩充数据集。

进一步地，采用分段标注策略对布匹图像的缺陷区域进行标注，使标注矩形框贴合缺陷区域；包含缺陷的样本标注完成后，按照1:1比例添加不含缺陷的布匹图像作为负样本；然后将所有样本以8:2比例，划分为训练集与测试集，构建布匹缺陷数据集。

步骤3：构造YOLOv5s-GSBiFPN轻量化布匹瑕疵检测模型；在主干网络中引入了轻量级GhostConv幻影卷积结构，并将SE注意力模块嵌入到CSP核心特征提取网络当中，组成全新的双路注意力CSPGhostSE结构。并通过堆叠多层CSPGhostSE结构提取深层特征，然后将特征输入SPPF模块中映射到固定维度。GhostConv幻影卷积、CSPGhostSE结构与最后加入的SPPF结构共同组成新的特征提取网络。在特征融合阶段使用三层堆叠的加权双向金字塔BiFPN结构，根据不同分辨率特征对网络最后输出贡献度的不同做了加权区分，充分融合多尺度特征并输入到3个检测头中分别检测大中小尺度的缺陷目标。

所述双路注意力CSPGhostSE结构，利用轻量化网络GhostNet中的GhostConv幻影卷积替换原普通卷积，并借鉴CSP结构思想，构建出CSPGhost结构，减少网络计算量和参数量的同时，增加了梯度计算路径，避免网络在反向传播时重复计算梯度信息，显著提升网络的学习能力。

进一步地，针对以轻量化网络取代普通卷积时，参数量下降会对检测网络精度造成负面影响的问题，将SE注意力模块嵌入到了GhosBottleneck核心结构中，使网络更好的将注意力集中到重要特征上面，提高困难样本特征捕获能力，从而提升模型的整体性能，弥补参数量减少对检测精度带来的下降。

所述双路注意力CSPGhostSE结构包含两条支路，每条支路均由GhostConv幻影卷积、SE注意力模块和CBS模块组成。支路1包含依次连接的CBS模块、堆叠多层步长为1的GhostBottleneck结构和一个步长为2的GhostBottleneck结构；支路二包含依次连接的CBS模块和一个步长为2的GhostBottleneck结构。两条支路输出特征通过Concat操作进行合并，经批归一化层和激活函数后输入到下层网络中。

所述CBS模块包含卷积核大小为1*1的Conv2d卷积层、批归一化BN层以及激活函数SiLU层。输入特征经由1*1的Conv2d卷积层进行变换，卷积核数量设定为输入特征图的1/2，调节输出特征通道数。

所述步长为1的GhostBottleneck结构，包含两层结构。上层为依次连接的两个GhostConv幻影卷积和SE注意力模块；下层为短连接结构，直接映射原输入特征；通过相加的方式融合两层特征。所述步长为2的GhostBottleneck结构在上层两个GhostConv幻影卷积中间增加了一个步长为2的深度卷积DWConv层，SE注意力模块位于DWConv层之后，具有1/2的降采样作用。

其中，所述GhostConv幻影卷积结构，包含卷积层和深度卷积层。输入特征先经过一个卷积核大小为3*3的卷积层，后分为两路，其中一路使用深度卷积，对基础卷积产生的特征图进行线性变换，生成另一半Ghost卷积；另一路为短连接结构，输出本身特征；随后通过Concat操作将两部分得到的特征图按通道拼接到一起。

进一步地，在布匹缺陷检测网络中的Neck阶段，使用BiFPN加权双向金字塔结构替换原PAN结构，在多尺度特征融合中，根据不同分辨率特征对网络最后输出贡献度不同做了加权区分，促进多尺度特征的高效融合。

所述BiFPN中提出了一种基于权重的多尺度快速融合方式，定义公式如下：

式中，o为融合特征输出，w_i为可学习权重，∈为一个极小数值，避免分母为0，I_i为第i个输入特征。

首先对权重进行了归一化，保证每个权重取值在0到1之间。

所述多尺度特征的融合，均采用深度可分离卷积进行融合，并且卷积之后，依次连接了BN层和非线性激活层。中间层特征P，其公式定义为：

式中

为当前层中间特征，

为当前层输入特征，

为下一层输入特征，Conv为卷积操作，Resize为采样操作。

下一层特征

经过Resize操作，再乘以权重w₂与当前层特征进行融合。当前层的输出公式定义为：

式中

为当前层输出特征，

为上一层输出特征。

上一层输出特征

经过Resize操作并乘以对应权重w′₃与当前层特征进行融合。

步骤4：优化损失函数，采用焦点损失函数Focal Loss计算分类损失，定义为：

式中，y为真实样本标签，y′是经过激活函数的输出；γ为影响因子，用于减少易分类样本权重，增加困难样本和错分类样本权重；α为平衡因子，用于平衡正负样本数量不均衡时，两种类别权重；log为对数函数；γ＝2，α＝0.25为最佳取值。

步骤5：组建二分类数据集，构造二级分类网络；所述二分类数据集，均来自布匹缺陷数据集，通过裁剪的方式获取，不细分缺陷类别，只包括含缺陷样本和非缺陷样本两种类别，简化分类问题。

所述含缺陷样本，根据原标注框信息，在宽度和高度上拓展2个像素，超出原始图片宽高时不做拓展，对原图进行裁剪获得；所述非缺陷样本，是根据已有缺陷区域的平均尺寸，在不含缺陷的布匹图像中随机裁剪获得。

所述二级分类网络，采用ResNet18分类模型结构，输入图片大小为56*56，最后输出的特征图通道数为512。

步骤6：训练改进的轻量布匹瑕疵检测模型和二分类模型；设置训练超参数：batchsize、anchor锚框大小、训练迭代轮次、初始学习率、目标类别的数量和随机进行mosaic数据增强的概率等。

训练迭代至模型损失曲线接近于0且趋于平缓时，停止训练，获得最优模型。

步骤7：构建检测加分类的级联网络架构；所述检测加分类的级联网络架构，由一级检测网络和二级分类网络构成；一级检测网络负责定位和分类布匹图像中的缺陷，输出预测框，二级分类网络，对检测网络输出的预测框区域进一步进行是否包含缺陷的二分类判断，过滤误检，只对分类网络判定为含缺陷的预测结果进行输出；

步骤8：将待测布匹图像输入到级联网络模型中，进行缺陷检测，输出布匹缺陷的检测结果和缺陷目标位置信息。

优选地，步骤2中布匹缺陷图像包含：涤纶、棉布、绸缎和灰布材质布料。总共包含三类缺陷：重/断经、断纬、模糊纬；每张图像中包含一类或多个类别的缺陷。

优选地，步骤2中所述数据增强方法，为人工针对某一类数量较少缺陷类别进行增强。将特定类别缺陷区域从原图上截取，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷图像，扩充数据集。

优选地，步骤3中GhostConv幻影卷积包含两个部分：基础卷积部分(PrimaryConvolution)和线性变换廉价操作(Cheap Operation)。

所述Primary Convolution由普通组成，使用少量卷积，卷积核数量缩减为原来的一半，使得特征图的通道数减少一半，相应参数量也减少一半；

所述Cheap Operation由固定滤波器大小的卷积结构组成，采用深度卷积实现，时对基础卷积产生的特征图进行线性变换，生成另一半Ghost特征图。最后，将两部分得到的特征图按照通道拼接到一起。

优选地，步骤3中，SE模块添加位置，在步长为1的GhostBottleneck结构中位于两个GhostConv幻影卷积之后，在步长为2的GhostBottleneck结构中位于DWConv之后，赋予重要的通道更大的权重。

优选地，步骤3中BiFPN Layer堆叠了三层，实现更高层信息的融合，BiFPN中均使用的是深度可分离卷积进行融合，并且卷积之后附带了BN层和非线性激活层。

优选地，步骤6中，所述超参数设置：训练迭代轮次epoch为300，一次训练载入的样本数量batchsize为64，初始学习率lr0为0.01。anchor设置，分别为[36,20,10,114,119,13]，[26,154,18,422,159,47]，[401,30,35,471,431,72]。

优选地，模型性能评价指标包含mAP，Top1准确率(Top-1)，计算量(GFLOPs)，参数量(Parameters)，模型大小(Size)、模型推理速度(Speed)以及模型检测速度(FPS)。

本发明的有益效果：

本发明针对构建布匹缺陷数据集时，某些特定类别的布匹缺陷数量较少，难以获取的情况，提出了一种数据增强方法。将特定类别缺陷区域从原图上截取，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷样本，加入到数据集中。

其次，针对当前布匹缺陷检测模型，在小目标及困难样本检出能力较弱的问题和网络参数量多模型较大，难以实现在性能较低设备端部署的问题，提出了YOLOv5s-GSBiFPN轻量化布匹瑕疵检测算法。在主干网络中引入了轻量级GhostConv幻影卷积结构，并将SE注意力模块嵌入到CSP核心特征提取网络当中，设计了全新的双路注意力CSPGhostSE结构。并通过堆叠多层CSPGhostSE结构提取深层特征，然后将特征输入SPPF模块中映射到固定维度。在特征融合阶段使用了三层堆叠的加权双向金字塔BiFPN结构，充分融合多尺度特征并输入到3个检测头中分别检测大中小尺度的缺陷目标。显著提升了小目标和困难样本检出能力，大幅缩减了参数量和模型尺寸，易于实现在较低性能设备端的部署。

最后，针对检测缺陷特征不明显样本易出现误检的问题，提出了检测+分类的级联网络架构。在检测网络之后增加了一个二级分类网络，对检测模型输出的预测框进一步进行是否为瑕疵的二分类判断，对检测结果进行过滤，大幅降低了误检率。

附图说明

图1为本发明实施例中提出的轻量化级联网络布匹瑕疵检测方法的整体流程示意图。

图2为本发明实施例中轻量化布匹瑕疵检测YOLOv5s-GSBiFPN网络结构图。

图3为本发明实施例中设计的双路注意力CSPGhostSE核心结构图。

图4为本发明实施例中提出的YOLOv5s-GSBiFPN与原YOLOv5s算法，训练loss变化图。

图5为本发明实施例中提出的YOLOv5s-GSBiFPN与原YOLOv5s算法训练过程中mAP指标变化曲线图。

图6为本发明在含缺陷布匹图像中的检测结果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

对于本领域的技术人员来说，附图中某些公知内容可能省略是可以理解的。

为使本发明的目的、技术方案和优势更加清楚，下面结合附图对本发明做进一步详细描述：

本发明将目前最新的目标检测研究成果应用到了布匹瑕疵检测任务当中，根据企业的多样化部署需求，设计出了适用于多平台多场景部署的轻量化检测算法。

作为一种可实施方式，如图1所示，一种基于轻量化级联网络的布匹瑕疵检测方法，包含以下几个环节：

使用工业相机和LED照明设备构建照明良好，成像稳定的拍摄环境，采集布匹图像；所述拍摄环境，采用正面照明的方式，将相机与光源放置在同一侧，与待验布匹保持平行。

采集包含不同缺陷的瑕疵布匹图像，并对布匹图像进行数据增强，扩充数据集样本数，平衡不同类别的缺陷样本数量。所述数据增强，将特定类别缺陷区域从原图上截取，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷样本，扩充数据集。

进一步地，对含缺陷的布匹图像进行标注。布匹瑕疵区域大小，尺寸多变，多以极端长宽比的形式出现，在图像中表现为一种细长的状态。除此之外，还存在缺陷区域为非垂直非水平的倾斜状态瑕疵。采用分段标注的策略，最大程度使标注矩形框贴合缺陷区域，减少背景信息的干扰，突出缺陷特征。

完成缺陷图像标注后，按照1:1比例添加不含缺陷的布匹图像作为负样本；然后将所有样本以8:2比例，划分为训练集与测试集，构建布匹缺陷数据集；

构造YOLOv5s-GSBiFPN轻量化布匹瑕疵检测模型；在主干网络中引入了轻量级GhostConv幻影卷积结构，并将SE注意力模块嵌入到CSP核心特征提取网络当中，组成全新的双路注意力CSPGhostSE结构；并通过堆叠多层CSPGhostSE结构提取深层特征，然后将特征输入SPPF模块中映射到固定维度。GhostConv幻影卷积、CSPGhostSE结构与最后加入的SPPF结构共同组成新的特征提取网络。在特征融合阶段使用三层堆叠的加权双向金字塔BiFPN结构，充分融合多尺度特征并输入到3个检测头中分别检测大中小尺度的缺陷目标。

优化损失函数，采用焦点损失函数Focal Loss计算分类损失，定义为：

式中，y为真实样本标签，y′是经过激活函数的输出；γ为影响因子，用于减少易分类样本权重，增加困难样本和错分类样本权重；α为平衡因子，用于平衡正负样本数量不均衡时，两种类别权重；log为对数函数；γ＝2，α＝0.25为最佳取值。

组建二分类数据集，构造基于ResNet18的二级分类网络，输入图片大小为56*56，最后输出的特征图通道数为512。

所述二级分类器训练数据，均来自布匹缺陷数据集，通过裁剪的方式获取，不细分缺陷类别，只包括含缺陷样本和非缺陷样本，不再细致考虑缺陷的类别，简化分类问题。

所述含缺陷样本，是根据原标注框信息，在宽度和高度上拓展2个像素，超出原始图片宽高时不做拓展，对原图进行裁剪获得；所述非缺陷样本，是根据缺陷区域的平均尺寸，在不含缺陷的布匹图像中随机裁剪获得。

训练改进的轻量布匹瑕疵检测模型和二分类模型；训练迭代至模型损失曲线接近于0且趋于平缓时，停止训练，获得最优模型；

进一步地，在检测网络之后增加了二级分类器对检测网络输出的预测框，进一步进行分类过滤，只对分类器判断为缺陷类别的预测框进行输出。配合检测网络，最大程度减少模型误检。

将待测布匹图像输入到级联网络模型中，进行缺陷检测，输出布匹缺陷的检测结果和缺陷目标位置信息。

作为一种可实施方式，如图2所示，本发明实施例提供一种基于YOLOv5s算法改进的轻量化布匹缺陷检测模型YOLOv5s-GSBiFPN。该模型针对当前布匹缺陷检测模型，在小目标及困难样本检出能力较弱的问题和网络参数量多模型较大，难以实现在性能较低平台部署的问题。从轻量化网络结构和提升小目标、困难样本检出能力，两个方面对YOLOv5s算法进行了改进。

在主干网络特征提取阶段，利用轻量化网络GhostConv幻影卷积替换原普通卷积，并借鉴CSPNet中CSP结构思想，构建了CSPGhost结构，减少网络计算量和参数量的同时，增加了梯度计算路径，避免网络在反向传播时重复计算梯度信息，提升网络的学习能力。

进一步地，针对以轻量化网络取代普通卷积时，参数量下降会对检测网络精度造成负面影响的问题，将SE注意力模块嵌入到了CSPGhost核心结构中，使网络更好的将注意力集中到重要特征上面，增强困难样本特征捕获能力，从而提升模型的整体性能，弥补参数量减少对检测精度带来的下降。

作为一种可实施方式，所述双路注意力CSPGhostSE结构，如图3所示，包含两条支路，每条支路均由GhostConv幻影卷积、SE注意力模块和CBS模块组成；支路1包含依次连接的CBS模块、堆叠多层步长为1的GhostBottleneck结构和一个步长为2的GhostBottleneck结构；支路2包含依次连接的CBS模块和一个步长为2的GhostBottleneck结构；两条支路输出特征通过Concat操作进行合并，经批归一化层和激活函数后输入到下层网络中。

所述CSPGhostSE结构，输入特征都先经CBS模块进行特征划分。CBS模块包括Conv2d层卷积核大小为1*1、批归一化BN层以及激活函数SiLU层，其中Conv2d层卷积核数量为输入特征通道的一半。此处未按照原CSPNet中将输入特征按通道划分成两个部分，而是用两路的CBS模块中1*1Conv2d卷积将输入特征进行变换，通过控制卷积核数量调节了输出通道数，与通道减半的方式达到了同样的效果，并且进一步提高了特征的重用性。

所述SE注意力模块添加位置位于GhostBottleneck结构中，步长为1的GhostBottleneck结构同样包括两层结构，上层为依次连接的两个GhostConv幻影卷积和SE注意力模块，下层为短连接结构，输出本身特征，二者通过相加方式融合两层特征。步长为2的GhostBottleneck结构在上层两个GhostConv幻影卷积中间增加了一个步长为2的深度卷积DWConv层，SE注意力模块位于DWConv层之后，具有1/2的降采样作用。

所述GhostConv幻影卷积结构，首先使用普通卷积产生基础特征，也叫本征特征图。然后对卷积得到基础特征按通道逐个进行线性变换操作来产生ghost特征。GhostConv幻影卷积结构中的线性变换实际并没有采用平移、旋转、仿射变换和小波变换等线性操作，而是由采用卷积来实现的。卷积结构本身就可以涵盖许多的线性运算，比如平滑、模糊等。特殊线性操作需要预先的设置参数阈值等等，而卷积结构可以随着网络的训练，自动的调整权值参数，效果更好。通过使用深度卷积DWConv，对基础特征图逐通道进行线性变换，生成另一半ghost特征图。最后将基础特征和ghost特征进行拼接。涉及的公式有：

Y′＝X*f′

公式中X为输入特征，f′∈R^c×k×k×m为滤波器，这里为了简便舍去了偏置项，Y′为普通卷积产生的基础特征；y′_i是Y′中第i个原始特征图；Φ_i，j是第j个线性运算用于生成第j个幻影特征图y_ij。

进一步地，BiFPN结构由堆叠三层的BiFPN Layer组成。BiFPN可以作为一个网络结构块进行堆叠，实现更高层信息的融合。

所述BiFPN在PAN结构的基础上删除只有一个输入的节点，只有一个输入的节点没有产生特征融合，对于融合不同特征网络的输出贡献不大。删除单一输入的节点还可以减少计算量，简化网络。其次，在BiFPN结构中额外添加了一个跳跃连接，尽可能融合很多的信息。涉及的公式有：

其中，o为融合特征输出，w_i为可学习权重，∈为一个极小数值，避免分母为0，I_i为第i个输入特征；

为当前层中间特征，

为当前层输入特征，

为下一层输入特征，Resize为采样操作，控制特征维度，Conv为卷积操作；

为当前层输出特征，

为上一层输出特征。

结构图中CSPGhostSE_3，下划线后数字为模块堆叠个数。SPP模块具体包括：CBS模块，四个不同大小的最大值池化层Maxpool和Concat操作。

所述四个不同大小Maxpool，滤波器大小分别为13*13、9*9、5*5、1*1，步长均为2。

输出有三个检测头分别对应，大、中、小三个不同尺度特征图。

具体实施例：

实验数据来源均由工业相机在实际的纺织企业生产车间采集得到。数据构建过程中，瑕疵布匹样本相对难以获得，故一部分缺陷样本取自验布员工在以往的工作中筛选出的残次品，经过相机重新拍照获得；数量较少的瑕疵类图像，是根据实际生产环境下瑕疵产生原因，人为进行制造后拍摄得到。

布匹缺陷图像包含：涤纶、棉布、绸缎和灰布材质布料。总共包含三类缺陷：重/断经、断纬、模糊纬。每张图像中包含一类或多个类别的缺陷。

通过相机采集到的含缺陷的布匹图像，原始分辨率大小为4096×2048，为了方便标注和训练，对原图进行了固定尺寸裁剪，得到512×512的大小的图像，共计21193张。并按照8:2的划分比例，划分为训练集16953张(包括3672张无标注信息负样本)，测试集4240张。

软硬件配置如表1：

表1软硬件配置

实验超参数设置如表2所示：

表2实验超参数

anchor设置，分别为[36,20,10,114,119,13]，[26,154,18,422,159,47]，[401,30,35,471,431,72]。

作为一种可实施方式，如图4所示，改进的核心YOLOv5s-GSBiFPN检测网络，其回归框预测损失、分类损失和置信度损失不同loss都处于稳步下降，最终趋于收敛。测试阶段前50个epoch变动幅度较大，但总体处于下降趋势，在150个epoch过后趋于稳定。

实验评价指标主要使用mAP，Top1准确率(Top-1)，计算量(GFLOPs)，参数量(Parameters)，模型大小(Size)和模型推理速度(Speed)作为评价指标。

进一步地，在测试集上针对改进模型效果进行比较，结果如表3所示：

表3 YOLOv5及改进模型效果比较

表3根据评价指标，给出了实验结果。各项指标中除mAP和Top-1指标数值越高表示效果越好外，其余指标均是越低越好，加粗的数值表示最优数值。从表3可以发现，使用轻量化网络GhostNet、融合SE层的CSP结构以及BiFPN双向加权金字塔结构三者的结合取得了不逊于卷积的特征提取能力，在提高检测精度同时，大大减少参数量与计算量。在mAP指标上YOLOv5s-GSBiFPN较原模型提高了1.8％，在Top-1准确率指标上提高了3.5％。

综合来看，改进后的算法在检测精度和检测速度上具有较明显优势。

作为一种可实施方式，如图5所示，核心检测网络mAP值变化曲线可以看出，改进模型YOLOv5s-GSBiFPN的mAP值随着迭代次数的增加，处于稳步上升的状态。在迭代150个epoch后，改进模型的mAP值逐渐高于原模型，迭代250个epoch后明显高于原模型，验证了改进策略的有效性。

进一步地，将检测模型与分类模型进行级联进行了测试，分析模型误检漏检情况。实验数据样本数为4240张(包含正负样本)，其中无缺陷负样本数为484张，含缺陷的图片3756张。实验统计了不同模型的误检数量、漏检数量、识别率以及模型检测速度FPS。实验以图片为单位，有缺陷检出则视为正检，不再细分一张图片中是否包含多个不同缺陷。结果如表4所示：

表4模型检测比较结果

所述级联网络结构中一级检测网络对布匹图片进行检测，实现对图片中的缺陷进行检测和定位；二级分类器，对检测网络输出的检测框进一步进行分类判断，配合检测网络过滤掉误检，只对分类器判断为缺陷的预测结果进行输出。采用检测+分类的级联网络策略后，在4240张测试图片上，进一步将改进模型的误检数从261张降到了192张。缺陷识别率明显提升，最终在4240张测试图片上获得了92.1％的识别率和71帧每秒的检测速度。

最后需要说明的是，尽管在本申请的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本申请的专利保护范围。凡是基于本申请的实质理念，利用本申请说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本申请的专利保护范围之内。

Claims (3)

1.一种基于轻量化级联网络的布匹瑕疵检测方法，其特征在于，该方法包括下列步骤：

1)使用工业相机和LED照明设备构建照明良好，成像稳定的拍摄环境，采集布匹图像；所述拍摄环境，采用正面照明的方式，将相机与光源放置在同一侧，与待验布匹保持平行；

2)采集包含不同缺陷的瑕疵布匹图像，并对布匹图像进行数据增强，扩充数据集样本数，平衡不同类别的缺陷样本数量；采用分段标注策略对布匹图像的缺陷区域进行标注，使标注矩形框贴合缺陷区域；包含缺陷的样本标注完成后，按照1:1比例添加不含缺陷的布匹图像作为负样本；然后将所有样本以8:2比例，划分为训练集与测试集，构建布匹缺陷数据集；

3)构造YOLOv5s-GSBiFPN轻量化布匹瑕疵检测模型；构建双路注意力CSPGhostSE结构作为主干网络的核心特征提取模块；并通过堆叠多层CSPGhostSE结构提取深层特征，然后将特征输入SPPF模块中映射到固定维度；

在特征融合阶段使用三层堆叠的加权双向金字塔BiFPN结构，充分融合多尺度特征并输入到3个检测头中分别检测大中小尺度的缺陷目标；

4)优化损失函数，采用焦点损失函数Focal Loss计算分类损失；

5)组建二分类数据集，构造二级分类网络；所述二分类数据集，均来自布匹缺陷数据集，通过裁剪的方式获取，不细分缺陷类别，只包括含缺陷样本和非缺陷样本两种类别；所述含缺陷样本，是根据原标注框信息，在宽度和高度上拓展2个像素，超出原始图片宽高时不做拓展，对原图进行裁剪获得；所述非缺陷样本，是根据已有缺陷区域的平均尺寸，在不含缺陷的布匹图像中随机裁剪获得；所述二级分类网络，采用ResNet18分类模型结构；

6)训练改进的轻量布匹瑕疵检测模型和二分类模型；训练迭代至模型损失曲线接近于0且趋于平缓时，停止训练，获得最优模型；

7)构建检测加分类的级联网络架构；所述检测加分类的级联网络架构，由一级检测网络和二级分类网络构成；一级检测网络负责定位和分类布匹图像中的缺陷，输出预测框，二级分类网络，负责对检测网络输出的预测框区域，进一步进行是否包含缺陷的二分类判断，对检测结果进行过滤；

8)将待测布匹图像输入到级联网络模型中，进行缺陷检测，输出布匹缺陷的检测结果和缺陷目标位置信息。

2.根据权利要求1所述一种基于轻量化级联网络的布匹瑕疵检测方法，其特征在于，步骤2)中所述数据增强包括：

将特定类别的缺陷区域从原图上截取，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷样本，扩充数据集；

使用马赛克数据增强方法，随机读取四张图片，进行随机缩放处理后拼接到一起，并处理合并标签信息；然后对拼接后的图片做随机水平翻转增强和仿射变换操作，不做颜色空间变换。

3.根据权利要求1所述一种基于轻量化级联网络的布匹瑕疵检测方法，其特征在于，步骤3)中构造YOLOv5s-GSBiFPN轻量化布匹瑕疵检测模型，详细步骤包含：

3.1)构建双路注意力CSPGhostSE结构；所述双路注意力CSPGhostSE结构包含两条支路，每条支路均由GhostConv幻影卷积、SE注意力模块和CBS模块组成；支路1包含依次连接的CBS模块、堆叠多层步长为1的GhostBottleneck结构和一个步长为2的GhostBottleneck结构；支路二包含依次连接的CBS模块和一个步长为2的GhostBottleneck结构；两条支路输出特征通过Concat操作进行合并，经批归一化层和激活函数后输入到下层网络中；

所述CBS模块包含卷积核大小为1*1的Conv2d卷积层、批归一化BN层以及激活函数SiLU层；输入特征经由1*1的Conv2d卷积层进行变换，卷积核数量设定为输入特征图的1/2，调节输出特征通道数；

所述步长为1的GhostBottleneck结构，包含两层结构；上层为依次连接的两个GhostConv幻影卷积和SE注意力模块；下层为短连接结构，直接映射原输入特征；通过相加的方式融合两层特征；所述步长为2的GhostBottleneck结构在上层两个GhostConv幻影卷积中间增加了一个步长为2的深度卷积DWConv层，SE注意力模块位于DWConv层之后；

所述GhostConv幻影卷积，首先使用普通卷积产生基础特征，然后对卷积得到基础特征使用深度卷积，对基础特征图逐通道进行线性变换，生成另一半ghost特征图，最后将基础特征和ghost特征图进行拼接；

3.2)在特征融合阶段使用三层堆叠的加权双向金字塔BiFPN结构替换原PAN结构，在多尺度特征融合中，根据不同分辨率特征对网络最后输出贡献度不同做加权区分，融合多尺度特征，融合公式定义为：

其中，o为融合特征输出，w_i为可学习权重，∈为一个极小数值，避免分母为0，I_i为第i个输入特征；

为当前层中间特征，

为当前层输入特征，

为下一层输入特征，Resize为采样操作，控制特征维度，Conv为卷积操作；

为当前层输出特征，

为上一层输出特征。

Images