CN114170161A - 一种烟支外观缺陷检测方法及系统 - Google Patents

一种烟支外观缺陷检测方法及系统 Download PDF

Info

Publication number
CN114170161A
CN114170161A CN202111414530.7A CN202111414530A CN114170161A CN 114170161 A CN114170161 A CN 114170161A CN 202111414530 A CN202111414530 A CN 202111414530A CN 114170161 A CN114170161 A CN 114170161A
Authority
CN
China
Prior art keywords
cigarette appearance
cigarette
defect detection
appearance image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111414530.7A
Other languages
English (en)
Inventor
袁国武
刘鸿瑜
刘建成
瞿睿
周浩
吴昊
普园媛
杨泽榆
华宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202111414530.7A priority Critical patent/CN114170161A/zh
Publication of CN114170161A publication Critical patent/CN114170161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种烟支外观缺陷检测方法及系统。该方法包括获取烟支外观图像数据集；利用烟支外观图像数据集中的训练集训练改进后的YOLOv5s网络，确定烟支外观缺陷检测模型；改进后的YOLOv5s网络中的骨干网络层引入通道注意力机制；改进后的YOLOv5s网络的激活函数为Swish函数；改进后的YOLOv5s网络的损失函数为DIoU函数；烟支外观缺陷检测模型以烟支外观图像为输入，以烟支外观图像的类型为输出；利用烟支外观图像数据集中的验证集验证烟支外观缺陷检测模型；利用验证后的烟支外观缺陷检测模型对烟支外观图像数据集中的测试集进行测试。本发明能够实现高检测精度和高检测速度，进而更好地服务于烟支自动化生产线。

Description

一种烟支外观缺陷检测方法及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种烟支外观缺陷检测方法及系 统。
背景技术
中国烟草产业产量一直位居世界第一，2020年，中国烟草行业利税总额 达到了1.28万亿，上缴财政总额达到了1.2万亿，可以说，烟草是中国的支柱 产业之一。而云南烟草占据全国烟草总量的一半左右，烟草产业对于云南的发 展起着至关重要的作用。卷烟是烟草公司生产的最主要产品，在卷烟自动化生 产过程中，难免会产生一些烟支外观缺陷。在以前的生产流水线上，仅靠人工 去分辨缺陷。而目前的自动生产流水线上烟支的生产速度达到了200支/秒， 靠人工去分辨缺陷已经不太现实，因此，迫切需要自动化的烟支外观检测和分 类技术。
外观缺陷检测有传统的图像处理检测和机器学习检测两大类，近年来快速 发展的深度学习方法是机器学习中的一类。在深度学习中，外观缺陷检测属于 目标检测的范畴，目标检测算法主要有FasterR-CNN、SSD、YOLO等，这些 方法在很多目标检测领域都有着广泛的应用，取得了大量科研成果。Wang W 等将数据增强技术应用于FasterR-CNN网络，在道路表面损坏图像检测中精 准率和召回率的调和平均值达到了62.55％。吴则举等在FasterR-CNN里面引 入在线难例挖掘(OHEM)算法，在轮胎外观缺陷检测中的准确率达到了95.7％；LiY等在SSD的基础上提出了一种基于MobileNet-SSD的表面缺陷检 测方法，用来检测罐装密封容器表面缺陷，召回率达到了89.42％；TianY等 将YOLOv3网络和DenseNet网络有效地结合起来，应用于果实外观形状检测， 以此来监测作物生长和营养状况，实验的精准率和召回率的调和平均值达到了 81.7％；何国忠等将注意力机制加入到YOLOv4网络，用来对电路板外观缺陷 进行检测，平均检测精度达到了91.40％。
由于烟支自动化生产线速度快，传统的人工检测分类和现有的一些深度学 习检测分类模型无法满足烟支的高检测精度和分类精确率。
发明内容
本发明的目的是提供一种烟支外观缺陷检测方法及系统，能够实现高检测 精度和高检测速度，进而更好地服务于烟支自动化生产线。
为实现上述目的，本发明提供了如下方案：
一种烟支外观缺陷检测方法，包括：
获取烟支外观图像数据集；所述烟支外观图像数据集包括不同类型的烟支 外观图像；烟支外观图像的类型包括：正常、斑点、褶皱、错牙以及无滤嘴；
利用所述烟支外观图像数据集中的训练集训练改进后的YOLOv5s网络， 确定烟支外观缺陷检测模型；所述改进后的YOLOv5s网络中的骨干网络层引 入通道注意力机制；所述改进后的YOLOv5s网络的激活函数为Swish函数； 所述改进后的YOLOv5s网络的损失函数为DIoU函数；所述烟支外观缺陷检 测模型以烟支外观图像为输入，以烟支外观图像的类型为输出；
利用所述烟支外观图像数据集中的验证集验证所述烟支外观缺陷检测模 型；
利用验证后的所述烟支外观缺陷检测模型对所述烟支外观图像数据集中 的测试集进行测试。
可选地，所述获取烟支外观图像数据集，具体包括：
利用烟支生产流水线上的拍摄设备采集烟支外观图像；
采用LabelImg工具对烟支外观图像进行类型以及缺陷位置的标注。
可选地，所述获取烟支外观图像数据集，之后还包括：
对所述烟支外观图像数据集进行数据增强；所述数据增强包括：随机中心 旋转、新样本合成、高斯噪声添加以及Mosaic数据增强。
可选地，所述利用所述烟支外观图像数据集中的训练集训练改进后的 YOLOv5s网络，确定烟支外观缺陷检测模型，之前还包括：
将所述烟支外观图像数据集划分为训练集、测试集以及验证集；训练集、 测试集以及验证集的比例为6:2:2。
可选地，所述利用所述烟支外观图像数据集中的训练集训练改进后的 YOLOv5s网络，确定烟支外观缺陷检测模型，具体包括：
利用引入通道注意力机制的骨干网络层进行特征提取，并对提取的特征进 行特征融合，输出特征图；
将先验框分配在所述特征图上生成训练集候选框，并进行调整，采用DIoU 函数计算改进后的YOLOv5s网络的整体损失，对改进后的YOLOv5s网络参 数进行更新。
一种烟支外观缺陷检测系统，包括：
烟支外观图像数据集获取模块，用于获取烟支外观图像数据集；所述烟支 外观图像数据集包括不同类型的烟支外观图像；烟支外观图像的类型包括：正 常、斑点、褶皱、错牙以及无滤嘴；
烟支外观缺陷检测模型确定模块，用于利用所述烟支外观图像数据集中的 训练集训练改进后的YOLOv5s网络，确定烟支外观缺陷检测模型；所述改进 后的YOLOv5s网络中的骨干网络层引入通道注意力机制；所述改进后的 YOLOv5s网络的激活函数为Swish函数；所述改进后的YOLOv5s网络的损失 函数为DIoU函数；所述烟支外观缺陷检测模型以烟支外观图像为输入，以烟 支外观图像的类型为输出；
烟支外观缺陷检测模型验证模块，用于利用所述烟支外观图像数据集中的 验证集验证所述烟支外观缺陷检测模型；
烟支外观缺陷检测模型测试模块，用于利用验证后的所述烟支外观缺陷检 测模型对所述烟支外观图像数据集中的测试集进行测试。
可选地，所述烟支外观图像数据集获取模块具体包括：
烟支外观图像采集单元，用于利用烟支生产流水线上的拍摄设备采集烟支 外观图像；
烟支外观图像标注单元，用于采用LabelImg工具对烟支外观图像进行类 型以及缺陷位置的标注。
可选地，还包括：
数据增强模块，用于对所述烟支外观图像数据集进行数据增强；所述数据 增强包括：随机中心旋转、新样本合成、高斯噪声添加以及Mosaic数据增强。
可选地，还包括：
数据集划分模块，用于将所述烟支外观图像数据集划分为训练集、测试集 以及验证集；训练集、测试集以及验证集的比例为6:2:2。
可选地，所述烟支外观缺陷检测模型确定模块具体包括：
特征图输出单元，用于利用引入通道注意力机制的骨干网络层进行特征提 取，并对提取的特征进行特征融合，输出特征图；
参数更新单元，用于将先验框分配在所述特征图上生成训练集候选框，并 进行调整，采用DIoU函数计算改进后的YOLOv5s网络的整体损失，对改进 后的YOLOv5s网络参数进行更新。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种烟支外观缺陷检测方法及系统，将改进的深度学习模 型YOLOv5s应用于烟支外观缺陷检测，烟支外观图片数据集输入网络，然后 融入注意力机制，并改进模型激活函数和损失函数，相较于传统的人工检测分 类和现有的一些深度学习检测分类模型来说，该发明在取得了更高的准确率、 召回率和平均检测精度的同时，也具有更快的检测速度，能满足当前流水生产 线上200支/s的检测需要。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性 的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种烟支外观缺陷检测方法流程示意图；
图2为本发明所提供的一种烟支外观缺陷检测方法的步骤图；
图3为烟支外观类型图；
图4为YOLOv5s模型原理图；
图5为烟支外观缺陷检测技术处理流程图；
图6为烟支外观数据集分布图；
图7为烟支标注示例图；
图8为通道注意力机制SE-Net原理图；
图9为Swish激活函数图像；
图10为改进的YOLOv5s网络结构图；
图11为不同模型训练过程损失函数曲线对比图；
图12为改进的YOLOv5s网络实验结果图；
图13为不同网络检测结果对比图(a为原数据；b为标注数据；c为Faster R-CNN；d为SSD；e为YOLOv5s；f为改进的YOLOv5s)
图14为本发明所提供的一种烟支外观缺陷检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种烟支外观缺陷检测方法及系统，能够实现高检测 精度和高检测速度，进而更好地服务于烟支自动化生产线。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种烟支外观缺陷检测方法流程示意图；图5为烟 支外观缺陷检测技术处理流程图，如图1和图5所示，本发明所提供的一种烟 支外观缺陷检测方法，其特征在于，包括：
S101，获取烟支外观图像数据集；所述烟支外观图像数据集包括不同类型 的烟支外观图像；烟支外观图像的类型包括：正常、斑点、褶皱、错牙以及无 滤嘴；
烟支外观缺陷分为以下四类：斑点(Dotted)、褶皱(Folds)、错牙(unTooth)、 无滤嘴(unFilter)。斑点指在烟支外表上有大小不一的黑点、污点等，主要由 烟棒纸印刷不合格或者后期受到染色形成；褶皱主要指烟支上有一些像皱纹样 的形状，主要由生产机器在用滤嘴纸卷过滤嘴或用烟棒纸卷烟丝造成；错牙指 烟支的包装纸在卷烟丝的过程中没有对齐，主要是由生产机器造成；无滤嘴主 要由生产机器出现问题无法包装过滤纸造成。具体烟支外观缺陷图像见图3。
S101具体包括：
利用烟支生产流水线上的拍摄设备采集烟支外观图像；在烟支生产流水线 上有用于烟支外观图像采集的高速摄像机，能清晰捕捉到烟支图像信息。
采用LabelImg工具对烟支外观图像进行类型以及缺陷位置的标注。对正 常、斑点、褶皱、错牙、无滤嘴五种类别的烟支外观数据集使用labelImg工具 对缺陷的位置和类别进行了标注，生成对应的xml文件。其中，标注示例如图 7。
为了增强后续网络训练的泛化能力，S101之后还包括：
对所述烟支外观图像数据集进行数据增强；所述数据增强包括：随机中心 旋转、新样本合成、高斯噪声添加以及Mosaic数据增强。
具体的数据增强过程如下：
随机中心旋转。将原始图像随机选取一半的图片来进行随机中心旋转，即 将图像按照中心点不变的原则，随机旋转一个角度。得到图像中心点坐标的公 式为：
Figure BDA0003375408840000061
其中，图像的左上角坐标为(left,top)，右下角坐标为(right,bottom)。图像中心点为(xcenter,ycenter)。图像上任意一点绕其中心逆时针旋转任意角度后，新的坐 标位置的计算公式为：
Figure BDA0003375408840000071
其中，(X0,Y0)为图像上某一点旋转前的坐标，θ为旋转的角度，(X1,Y1)为图 像上某一点旋转后的坐标。
合成新样本。采用SMOTE方法，通过人工合成新样本来处理样本不平衡 的问题。在我们的烟支外观缺陷数据集中，有一些样本较之其他样本较少，导 致样本数据极不平衡，影响分类器的分类效果。因此采取SMOTE方法来平衡 样本数量。SMOTE是基于插值的方法，它可以为小样本类合成新样本，具体 步骤为：
(i).首先定义好特征空间，将每个样本对应到特征空间上的某一点，根据 样本不平衡比例确定好一个采样倍率N，这样可以确定采样的趟数。
(ii).对每一个小样本(x,y)，根据欧氏距离找出K个最邻近样本，从中随机 选取一个样本点(Xn,Yn)。在特征空间中样本点与最邻近样本点的连线段上随机 选取一点满足以下公式：
(Xnew,Ynew)＝(x,y)+rand(0,1)×((Xn-x),(Yn-y))；
则这个点即为新样本点(Xnew,Ynew)。
(iii).重复以上步骤，直到大、小样本数量平衡。
高斯噪声。对原始图像和进行过上述数据增强的图像，随机选取部分图片 复制一份来做高斯噪声。高斯噪声对图像的每一个像素都有一个符合同一高斯 分布的加性噪声，具体加性高斯公式如下：
G(x,y)＝f(x,y)+n(x,y)；
其中G(x,y)是被添加高斯噪声后的图像，f(x,y)是原图像，n(x,y)是高斯加性 噪声。
经过上述数据增强方式后，得到的图片数量是8000张，各种类型图片情 况如图6。YOLOv5s使用Mosaic数据对烟支外观图像数据集进行数据增强， 所述的Mosaic数据增强是对于数据集中任意4张图片，通过随机缩放、随机 裁减、随机排布的方式进行拼接。
S102，定烟支外观缺陷检测模型；所述改进后的YOLOv5s网络中的骨干 网络层引入通道注意力机制；所述改进后的YOLOv5s网络的激活函数为Swish 函数；所述改进后的YOLOv5s网络的损失函数为DIoU函数；所述烟支外观 缺陷检测模型以烟支外观图像为输入，以烟支外观图像的类型为输出；
通道注意力机制根据重要程度给各个通道分配不同的权重。为了进一步提 高网络的表达能力，也为了更好的获取烟支外观缺陷特征，我们在网络的CSP 模块嵌入SE-Net，研究特征图的各个通道之间的相关性，增强对通道信息的 敏感程度。SE-Net结构主要包含全局平均池化层、全连接层、激活函数层。
首先，对输入大小为w*h*n的特征图进行全局平均池化操作得到1*1*n 大小的特征图；其次，在全连接层对1*1*n大小的特征图做非线性变换得到权 重；scale层则将权重分别乘到输入特征图的对应通道特征上再输出，得到包 含通道注意力的特征图。本文将SE-Net加在Backbone模块的三个CSP结构 后面，从而保证不同特征经过SE-Layer层之后让更重要的特征能够有更高的 权重，使模型有更好的检测和特征提取能力。
Swish激活函数使得在一些环境下ReLU函数被替换成为了可能。我们通 过实验，验证了Swish函数在本文数据集上面的有效性。原始YOLOv5s网络 中采用的是Leaky ReLU函数，本文用Swish函数进行改进。一方面，由于本 文采用的模型较深，Swish函数非常适合于深层次网络，且其具有的无上界有 下界、平滑、非单调的特性，在本文模型性能提升中发挥了有利影响。另一方 面，烟支外观缺陷数据集有很多不规则的缺陷，使用Swish函数，能够更好地 对这些不规则的缺陷特征进行类别区分。
Swish函数的公式如下：
Figure BDA0003375408840000081
损失函数的选择对模型收敛效果有着很大的影响，本文在改进的 YOLOv5s模型中采用DIoU作为损失函数。DIoU将目标框与预测框中心点之 间的距离、重叠率以及尺度都考虑进去，使得目标框的回归变得更加稳定。在 实验中，相比于GIoU和CIoU，DIoU更关注预测框和真实框中心点的位置， 更适合于我们的烟支外观缺陷数据集。DIoU函数：
Figure BDA0003375408840000091
其中，b，bgt分别代表预测框和真实框的中心点，ρ代表的是两个中心点 之间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的 对角线距离，IoU函数的计算公式如下：
Figure BDA0003375408840000092
其中Bgt代表真实框，B代表预测框。
改进后的YOLOv5s网络将目标检测任务重新定义为一个单一的回归预测 问题。首先对输入图像进行自适应缩放和数据增强，使图像标准化，丰富数据 集。然后采用Focus对图像进行切片，经过CSP Darknet53和SE-Net来提取图 像多尺度的特征进行学习和对不同特征相应地赋值权重，再经SPP池化模块 对图像进行特征分离，用FPN+PAN结构从不同的主干层对不同的检测层进行 特征融合。最后通过处理网络预测结果并对图像特征进行预测，生成目标边界 框和预测类别概率。
用于烟支外观缺陷检测的改进后的YOLOv5s网络结构见图4。在Input 端，首先进行数据增强，有效扩增烟支数据集，使各种缺陷数据集间达到平衡； 然后在Backbone模块添加注意力机制，使得烟支外观图像中重要的特征有了 更高的权重；然后用Swish函数替换Leaky-ReLU，增加了网络对某一缺陷类 别中特殊形状缺陷的烟支的识别分类能力；再使用DIoU作为损失函数，让网 络更加关注烟支外观缺陷这种占比很小的缺陷，从而能够更好地对模型进行优 化，使实验效果提升。
S102之前还包括：
将所述烟支外观图像数据集划分为训练集、测试集以及验证集；训练集、 测试集以及验证集的比例为6:2:2。
S102具体包括：
利用引入通道注意力机制的骨干网络层进行特征提取，并对提取的特征进 行特征融合，输出特征图；
将先验框分配在所述特征图上生成训练集候选框，并进行调整，采用DIoU 函数计算改进后的YOLOv5s网络的整体损失，对改进后的YOLOv5s网络参 数进行更新。
S103，利用所述烟支外观图像数据集中的验证集验证所述烟支外观缺陷检 测模型；
S104，利用验证后的所述烟支外观缺陷检测模型对所述烟支外观图像数据 集中的测试集进行测试。
基于本发明，以下为具体检测的步骤，并如图2所示，其具体步骤包括：
步骤S1：采用专业拍摄设备采集烟支外观图像。
步骤S2：采用LabelImg工具对烟支外观图像进行位置和缺陷类型的标注。
步骤S3：为了增强后续网络训练的泛化能力，对采集的烟支外观图像数 据集进行数据增强，丰富图像，平衡缺陷类型。
步骤S4：训练集、测试集、验证集的比例为6:2:2。并生成train.txt、val.txt、test.txt文件来保存对应的图片名列表和其中的标签位置及类别信息，所述生成 文件格式按行来对每张图片进行划分，以train.txt文件为例，其中每行依次保 存着被划分为训练集的图片的路径、该图片内所有的标注框位置信息 (x1,y1,x2,y2)及类别信息。
步骤S5：将训练集中的图片输入至YOLOv5s主干网络，提取有效特征， 并对有效特征进行特征融合，输出特征图。将网络定义好的先验框分配在特征 图上生成训练集候选框，并进行调整，计算网络整体损失，对YOLOv5s网络 参数进行更新。
在步骤S5中，本发明采用的YOLOv5s模型如图10。将训练集输入到优 化后的YOLOv5s网络模型中进行训练时，包括如下步骤：在Input端，把数 据增强后的图片采用自适应缩放机制缩放和填补黑边到合适尺寸输入网络，锚 框计算也采用自适应的计算机制，每次训练时网络都自适应计算其最佳锚框； 然后经由网络的主干部分Backbone，采用Focus对图像进行切片，经过CSP Darknet53提取图像多尺度的特征进行学习。接着使用FPN(特征金字塔网络) 和PAN(路径聚合网络)结构从不同的主干层对不同的检测层进行特征融合， 最后通过处理网络预测结果并对图像特征进行预测，得到预测框位置信息以及 其对应的类别概率、置信度。再剔除掉置信度小于设定阈值对应的预测框，得 到置信度比较高的预测框。
将SE-Net加在Backbone模块的三个CSP结构后面，保证不同特征经过 SE-Layer层之后让更重要的特征能够有更高的权重，使模型有更好的检测和特 征提取能力，所述注意力机制结构图见图8。
原始YOLOv5s网络中采用的激活函数是Leaky ReLU函数，本发明用 Swish函数进行改进。一方面，由于Swish函数非常适合于深层次网络，且其 具有的无上界有下界、平滑、非单调的特性，在本模型性能提升中发挥了有利 影响。另一方面，烟支外观缺陷数据集有很多不规则的缺陷，使用Swish函数， 能够更好地对这些不规则的缺陷特征进行类别区分。
损失函数的选择对模型收敛效果有着很大的影响，本文在改进的 YOLOv5s模型中采用DIoU作为损失函数。DIoU将目标框与预测框中心点之 间的距离、重叠率以及尺度都考虑进去，使得目标框的回归变得更加稳定。在 实验中，相比于GIoU和CIoU，DIoU更关注预测框和真实框中心点的位置， 更适合于烟支外观缺陷数据集。
步骤S6：对参数优化更新后的网络在验证集上计算验证集损失，计算模 型的性能衡量值(精确率、召回率、mAP和平均检测时间)。重复步骤4，迭 代，更新性能衡量值，直至计算得到的网络整体损失收敛，覆盖保存为 YOLOv5s网络模型。
实验对学习率、权重大小及训练轮次等参数进行相应的调整，最终的参数 设置如下：批处理大小(batch size)设置为32，学习率(lr)设为0.01，训练 次数(epoch)设置为200次。
步骤S6中，将验证集输入到已改进的YOLO目标检测模型中，对检测模 型进行评估，最终得到最优的烟支外观缺陷检测模型，主要评估参数为Precision(精确率)、Recall(召回率)、mAP(平均检测精度)和mSpeed(平 均检测时间)。
Precision(P)和Recall(R)的计算公式为：
Figure BDA0003375408840000121
Figure BDA0003375408840000122
其中TP为预测为某一类别实际也为这一类别的数量，FN为预测不为某一 类别实际为这一类别的数量。FP为预测为某一类别实际却不为这一类别的数 量。
由上述P值和R值可以得到一条精确率-召回率(P-R)曲线，曲线与坐标 轴围成的面积即AP值，计算公式为：
Figure BDA0003375408840000123
mAP即将所有类别的AP值求平均，计算公式为：
Figure BDA0003375408840000124
其中n是类别数，APi是第i类类别的AP值。
平均检测时间mSpeed是检测出所有图片所需的时间的平均，包括图像预 处理、PyTorchFP16推理、后处理和非极大值抑制(NMS)处理时间。
步骤S7：将测试集中所有图片输入至训练后的网络模型进行预测，获取 测试集特征图，生成测试集候选框，利用非极大值抑制从所有调整后的测试集 候选框中选出最终预测框。
步骤S8：将预测框映射至测试集原图上，实现在测试集原图上缺陷的定 位。
发明的有益效果是：采用YOLOv5s进行烟支外观缺陷检测，相较于传统 的缺陷检测方法和现在较主流的其他目标检测方法，取得了较为理想的检测准 确率的同时，兼顾检测速度，能满足当前流水生产线上200支/s的检测需要。 具体来看：
数据集增强方法有效。对于烟支外观缺陷数据集，除了应用YOLOv5s的 Mosaic方法，还采用了随机中心旋转、合成新样本和高斯噪声的数据增强技 术
特征提取更强。在YOLOv5s网络的骨干网络层(Backbone)引入通道注 意力机制(SE-Net)，提升了特征图不同通道之间目标信息的相关性表述，提 高了网络的表达能力，可更好的获取烟支外观缺陷特征。
优化激活函数，用Swish函数替代Leaky ReLU。Swish函数具有平滑、非 单调的特性，提升网络的分类能力。
优化损失函数，将原网络的GIoU改用DIoU，DIoU弥补了GIoU的模型 收敛速度问题，而相较于将真实框和预测框的形状不一致考虑进来的CIoU， DIoU更关注预测框和真实框中心点的位置，让网络更加关注烟支外观缺陷这 种占比很小的缺陷，更适合于烟支外观缺陷数据集。
具体来看，通过与一些常见的目标检测方法在我们烟支外观缺陷数据集上 的实现相比较，进一步验证了本发明改进模型在烟支外观检测应用上的有效 性。如图11所示，在训练过程中，随着epoch数的增加，与其他方法相比， 能够更快地收敛，且收敛之后损失函数值最小，说明改进的YOLOv5s网络训 练效果优于其他的网络。在本发明关注的指标上的对比如下表：
表1
Figure BDA0003375408840000131
其中，mAP@0.5指IoU为0.5时所有类别的平均AP。mAP@0.5:0.95指 在不同IoU(0.5-0.95，步长0.05)上的所有类别的平均AP。
表1数据表明，改进的YOLOv5s相比于原先的YOLOv5s，精确率高出了 4.1％，召回率高出了4.5％，平均检测精度(mAP@0.5)高出了3.3％，平均检 测精度(mAP@0.5:0.95)高出了3.8％，而平均检测速度只增加了0.1ms/支。 另一方面，本文采用的YOLOv5s方法，是YOLOv5系列中最轻量的，容易在 工业生产中完成部署，而且由于YOLOv5s架构检测时间非常快，能更好满足 未来工业上生产上200支/秒的检测要求，在实际的烟支生产应用场景中，也 能更加适合于自动化烟支外观缺陷检测。
图12为本发明应用结果的一个展示示例，图13为在不同算法的检测 结果展示示例，其中，图13.a表示原数据，图13.b表示标注的数据，图 13.c-f表示采用FasterR-CNN、SSD、YOLOv5s和改进的YOLOv5s方法 的结果。可见，本发明在烟支外观数据集上的检测置信度高，漏检少，分 类效果好，在不同缺陷下的表现比较稳定，达到了我们的预期。
图14为本发明所提供的一种烟支外观缺陷检测系统结构示意图，如图14 所示，本发明所提供的一种烟支外观缺陷检测系统，包括：
烟支外观图像数据集获取模块1401，用于获取烟支外观图像数据集；所 述烟支外观图像数据集包括不同类型的烟支外观图像；烟支外观图像的类型包 括：正常、斑点、褶皱、错牙以及无滤嘴；
烟支外观缺陷检测模型确定模块1402，用于利用所述烟支外观图像数据 集中的训练集训练改进后的YOLOv5s网络，确定烟支外观缺陷检测模型；所 述改进后的YOLOv5s网络中的骨干网络层引入通道注意力机制；所述改进后 的YOLOv5s网络的激活函数为Swish函数；所述改进后的YOLOv5s网络的 损失函数为DIoU函数；所述烟支外观缺陷检测模型以烟支外观图像为输入， 以烟支外观图像的类型为输出；
烟支外观缺陷检测模型验证模块1403，用于利用所述烟支外观图像数据 集中的验证集验证所述烟支外观缺陷检测模型；
烟支外观缺陷检测模型测试模块1404，用于利用验证后的所述烟支外观 缺陷检测模型对所述烟支外观图像数据集中的测试集进行测试。
所述烟支外观图像数据集获取模块1401具体包括：
烟支外观图像采集单元，用于利用烟支生产流水线上的拍摄设备采集烟支 外观图像；
烟支外观图像标注单元，用于采用LabelImg工具对烟支外观图像进行类 型以及缺陷位置的标注。
本发明所提供的一种烟支外观缺陷检测系统，还包括：
数据增强模块，用于对所述烟支外观图像数据集进行数据增强；所述数据 增强包括：随机中心旋转、新样本合成、高斯噪声添加以及Mosaic数据增强。
本发明所提供的一种烟支外观缺陷检测系统，还包括：
数据集划分模块，用于将所述烟支外观图像数据集划分为训练集、测试集 以及验证集；训练集、测试集以及验证集的比例为6:2:2。
所述烟支外观缺陷检测模型确定模块1402具体包括：
特征图输出单元，用于利用引入通道注意力机制的骨干网络层进行特征提 取，并对提取的特征进行特征融合，输出特征图；
参数更新单元，用于将先验框分配在所述特征图上生成训练集候选框，并 进行调整，采用DIoU函数计算改进后的YOLOv5s网络的整体损失，对改进 后的YOLOv5s网络参数进行更新。
本发明为了更好地利用采集到的图像，也为了增强模型的泛化能力，本发 明的一大侧重点在于改进数据增强的方法。以往的学者在烟支外观缺陷检测的 数据增强上用的方法较单一，效果也并非很理想，本发明则综合了多个方法， 构成我们的数据增强模块。数据增强处理流程上，经过了随机中心旋转、合成 新样本、高斯噪声和Mosaic四张图片随机拼接的方法，才得到能够输入模型 的数据集。实验结果表明，本发明的数据增强具有有效性，对模型的检测精度 也产生了有益影响。
本发明提出了一套可有效部署于烟支自动化生产流水线的烟支外观图像 缺陷检测方法。具体步骤包括：采用工业相机设备采集烟支外观图像；采用 LabelImg工具对烟支外观图像进行位置和缺陷类型的标注；对采集的烟支外 观图像数据集进行数据增强，丰富图像，平衡缺陷类型；将所述增强后的数据 集划分为训练集、测试集和验证集；将训练集中的图片输入至YOLOv5s主干 网络，提取有效特征，并对有效特征进行特征融合，在特征图上生成训练集候 选框，并进行调整,对网络参数进行更新；在验证集上计算验证集损失，计算模型的性能衡量值(精确率、召回率、mAP和平均检测时间)，迭代更新性能 衡量值，直至计算得到的网络整体损失收敛，覆盖保存为YOLOv5s网络模型； 将测试集中所有图片输入至训练后的网络模型进行预测，生成测试集候选框， 从所有测试集候选框中选出最终预测框；将预测框映射至测试集原图上，实现 测试集原图上缺陷的定位。其中，对网络模型的一些改进具体包括：(i) YOLOv5s网络的骨干网络层(Backbone)引入通道注意力机制(SE-Net)，提 升了特征图不同通道之间目标信息的相关性表述；(ii)优化激活函数，用Swish函数替代Leaky ReLU。Swish函数具有平滑、非单调的特性，这有利于提升 网络的分类能力；(iii)优化损失函数，本文将原网络的GIoU改用DIoU，DIoU 弥补了GIoU的模型收敛速度问题，而相较于将真实框和预测框的形状不一致 考虑进来的CIoU，DIoU更关注预测框和真实框中心点的位置，这能够更好的 对小目标进行检测，比较适合烟支外观缺陷数据集。
本发明提出的改进YOLOv5s网络模型在烟支外观缺陷检测应用中表现出 较好的精确率、平均检测精度和召回率，同时在平均检测时间上也能够达到当 下生产流水线的检测需要。特别地，由于本模型比较轻量，平均表现较为稳定， 易于在工业上进行部署，有望实现较大规模的应用。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于 实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较 简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施 例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的 一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变 之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种烟支外观缺陷检测方法，其特征在于，包括：
获取烟支外观图像数据集；所述烟支外观图像数据集包括不同类型的烟支外观图像；烟支外观图像的类型包括：正常、斑点、褶皱、错牙以及无滤嘴；
利用所述烟支外观图像数据集中的训练集训练改进后的YOLOv5s网络，确定烟支外观缺陷检测模型；所述改进后的YOLOv5s网络中的骨干网络层引入通道注意力机制；所述改进后的YOLOv5s网络的激活函数为Swish函数；所述改进后的YOLOv5s网络的损失函数为DIoU函数；所述烟支外观缺陷检测模型以烟支外观图像为输入，以烟支外观图像的类型为输出；
利用所述烟支外观图像数据集中的验证集验证所述烟支外观缺陷检测模型；
利用验证后的所述烟支外观缺陷检测模型对所述烟支外观图像数据集中的测试集进行测试。
2.根据权利要求1所述的一种烟支外观缺陷检测方法，其特征在于，所述获取烟支外观图像数据集，具体包括：
利用烟支生产流水线上的拍摄设备采集烟支外观图像；
采用LabelImg工具对烟支外观图像进行类型以及缺陷位置的标注。
3.根据权利要求1所述的一种烟支外观缺陷检测方法，其特征在于，所述获取烟支外观图像数据集，之后还包括：
对所述烟支外观图像数据集进行数据增强；所述数据增强包括：随机中心旋转、新样本合成、高斯噪声添加以及Mosaic数据增强。
4.根据权利要求1所述的一种烟支外观缺陷检测方法，其特征在于，所述利用所述烟支外观图像数据集中的训练集训练改进后的YOLOv5s网络，确定烟支外观缺陷检测模型，之前还包括：
将所述烟支外观图像数据集划分为训练集、测试集以及验证集；训练集、测试集以及验证集的比例为6:2:2。
5.根据权利要求1所述的一种烟支外观缺陷检测方法，其特征在于，所述利用所述烟支外观图像数据集中的训练集训练改进后的YOLOv5s网络，确定烟支外观缺陷检测模型，具体包括：
利用引入通道注意力机制的骨干网络层进行特征提取，并对提取的特征进行特征融合，输出特征图；
将先验框分配在所述特征图上生成训练集候选框，并进行调整，采用DIoU函数计算改进后的YOLOv5s网络的整体损失，对改进后的YOLOv5s网络参数进行更新。
6.一种烟支外观缺陷检测系统，其特征在于，包括：
烟支外观图像数据集获取模块，用于获取烟支外观图像数据集；所述烟支外观图像数据集包括不同类型的烟支外观图像；烟支外观图像的类型包括：正常、斑点、褶皱、错牙以及无滤嘴；
烟支外观缺陷检测模型确定模块，用于利用所述烟支外观图像数据集中的训练集训练改进后的YOLOv5s网络，确定烟支外观缺陷检测模型；所述改进后的YOLOv5s网络中的骨干网络层引入通道注意力机制；所述改进后的YOLOv5s网络的激活函数为Swish函数；所述改进后的YOLOv5s网络的损失函数为DIoU函数；所述烟支外观缺陷检测模型以烟支外观图像为输入，以烟支外观图像的类型为输出；
烟支外观缺陷检测模型验证模块，用于利用所述烟支外观图像数据集中的验证集验证所述烟支外观缺陷检测模型；
烟支外观缺陷检测模型测试模块，用于利用验证后的所述烟支外观缺陷检测模型对所述烟支外观图像数据集中的测试集进行测试。
7.根据权利要求6所述的一种烟支外观缺陷检测系统，其特征在于，所述烟支外观图像数据集获取模块具体包括：
烟支外观图像采集单元，用于利用烟支生产流水线上的拍摄设备采集烟支外观图像；
烟支外观图像标注单元，用于采用LabelImg工具对烟支外观图像进行类型以及缺陷位置的标注。
8.根据权利要求6所述的一种烟支外观缺陷检测系统，其特征在于，还包括：
数据增强模块，用于对所述烟支外观图像数据集进行数据增强；所述数据增强包括：随机中心旋转、新样本合成、高斯噪声添加以及Mosaic数据增强。
9.根据权利要求6所述的一种烟支外观缺陷检测系统，其特征在于，还包括：
数据集划分模块，用于将所述烟支外观图像数据集划分为训练集、测试集以及验证集；训练集、测试集以及验证集的比例为6:2:2。
10.根据权利要求6所述的一种烟支外观缺陷检测系统，其特征在于，所述烟支外观缺陷检测模型确定模块具体包括：
特征图输出单元，用于利用引入通道注意力机制的骨干网络层进行特征提取，并对提取的特征进行特征融合，输出特征图；
参数更新单元，用于将先验框分配在所述特征图上生成训练集候选框，并进行调整，采用DIoU函数计算改进后的YOLOv5s网络的整体损失，对改进后的YOLOv5s网络参数进行更新。
CN202111414530.7A 2021-11-25 2021-11-25 一种烟支外观缺陷检测方法及系统 Pending CN114170161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111414530.7A CN114170161A (zh) 2021-11-25 2021-11-25 一种烟支外观缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111414530.7A CN114170161A (zh) 2021-11-25 2021-11-25 一种烟支外观缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN114170161A true CN114170161A (zh) 2022-03-11

Family

ID=80480905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111414530.7A Pending CN114170161A (zh) 2021-11-25 2021-11-25 一种烟支外观缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN114170161A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529546A (zh) * 2022-04-24 2022-05-24 科大天工智能装备技术（天津）有限公司 一种屋面板缺陷检测方法和系统
CN114677362A (zh) * 2022-04-08 2022-06-28 四川大学 基于改进YOLOv5的表面缺陷检测方法
CN114882410A (zh) * 2022-05-11 2022-08-09 华东交通大学 基于改进定位损失函数的隧道顶灯故障检测方法及系统
CN115937991A (zh) * 2023-03-03 2023-04-07 深圳华付技术股份有限公司 人体摔倒识别方法、装置、计算机设备及存储介质
CN115984593A (zh) * 2023-03-20 2023-04-18 武汉大学 烟支滤棒缺陷检测方法、装置、设备及存储介质
CN116091500A (zh) * 2023-04-07 2023-05-09 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质
CN116681644A (zh) * 2023-02-03 2023-09-01 红云红河烟草(集团)有限责任公司 基于变分贝叶斯推理的烟支外观缺陷检测方法
WO2023173798A1 (zh) * 2022-03-14 2023-09-21 中国电子科技集团公司第三十八研究所 基于小样本学习的浮空器主缆绳表面缺陷检测方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173798A1 (zh) * 2022-03-14 2023-09-21 中国电子科技集团公司第三十八研究所 基于小样本学习的浮空器主缆绳表面缺陷检测方法及系统
CN114677362B (zh) * 2022-04-08 2023-09-12 四川大学 基于改进YOLOv5的表面缺陷检测方法
CN114677362A (zh) * 2022-04-08 2022-06-28 四川大学 基于改进YOLOv5的表面缺陷检测方法
CN114529546A (zh) * 2022-04-24 2022-05-24 科大天工智能装备技术（天津）有限公司 一种屋面板缺陷检测方法和系统
CN114882410A (zh) * 2022-05-11 2022-08-09 华东交通大学 基于改进定位损失函数的隧道顶灯故障检测方法及系统
US11908120B2 (en) 2022-05-11 2024-02-20 East China Jiaotong University Fault detection method and system for tunnel dome lights based on improved localization loss function
CN114882410B (zh) * 2022-05-11 2023-09-12 华东交通大学 基于改进定位损失函数的隧道顶灯故障检测方法及系统
CN116681644B (zh) * 2023-02-03 2024-01-12 红云红河烟草(集团)有限责任公司 基于变分贝叶斯推理的烟支外观缺陷检测方法
CN116681644A (zh) * 2023-02-03 2023-09-01 红云红河烟草(集团)有限责任公司 基于变分贝叶斯推理的烟支外观缺陷检测方法
CN115937991A (zh) * 2023-03-03 2023-04-07 深圳华付技术股份有限公司 人体摔倒识别方法、装置、计算机设备及存储介质
CN115984593B (zh) * 2023-03-20 2023-05-16 武汉大学 烟支滤棒缺陷检测方法、装置、设备及存储介质
CN115984593A (zh) * 2023-03-20 2023-04-18 武汉大学 烟支滤棒缺陷检测方法、装置、设备及存储介质
CN116091500A (zh) * 2023-04-07 2023-05-09 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN114170161A (zh) 一种烟支外观缺陷检测方法及系统
Pham et al. Road damage detection and classification with detectron2 and faster r-cnn
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN109711288B (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN108520219A (zh) 一种卷积神经网络特征融合的多尺度快速人脸检测方法
CN104156734B (zh) 一种基于随机蕨分类器的全自主在线学习方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN109767418A (zh) 检査装置、数据生成装置、数据生成方法及存储介质
CN115731164A (zh) 基于改进YOLOv7的绝缘子缺陷检测方法
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN109800770A (zh) 一种实时目标检测的方法、系统及装置
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN111242144B (zh) 电网设备异常的检测方法和装置
CN112802016A (zh) 基于深度学习的实时布匹缺陷检测方法及系统
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN108961358A (zh) 一种获得样本图片的方法、装置及电子设备
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN115861170A (zh) 基于改进yolo v4算法的表面缺陷检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
Roslan et al. Real-time plastic surface defect detection using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination