CN112883797A - 一种基于Yolo V3模型的烟丝杂物检测方法 - Google Patents

Abstract

本发明提供一种基于Yolo V3模型的烟丝杂物检测方法，包括：建立Yolo V3模型，并采用工业相机对烟丝进行拍摄得到烟丝图像。对所述烟丝图像进行数据处理，采集并处理烟丝生产过程中产生的杂物图像，使用两种图像进行增强处理后形成烟丝杂物训练数据集。对所述烟丝杂物训练数据集进行K‑Means值聚类计算，以获得新的anchor box值，将新的anchorbox值替换原始Yolo v3模型中的数据集参数。通过所述烟丝杂物训练数据集对Yolo V3模型进行训练得到改进后的Yolo V3模型，使用改进后的YoloV3模型对所述烟丝图像进行杂物目标检测。本发明能提高烟丝杂物检测的准确性和工作效率，提高卷烟的生产质量。

Description

一种基于Yolo V3模型的烟丝杂物检测方法

技术领域

本发明涉及卷烟生产管理技术领域，尤其涉及一种基于Yolo V3模型的烟丝杂物检测方法。

背景技术

香烟在生产过程中烟丝中往往不可避免的会混有运输过程中的纸或者塑料包装碎屑，影响香烟的品质，因此需要对生产线上的烟丝进行杂质检测。人工挑选全凭人眼寻找烟丝中的杂质异物，受个体主观意识影响，且费时费力，长时间工作容易造成视觉疲劳，无法保证工作效率。传统的机器视觉方法检测香烟杂质时受烟丝间隙阴影影响较大，其纸屑与烟丝颜色十分相近，检测准确率有待提高。

当前深度学习技术已经广泛应用于机器视觉检测领域，但深度学习技术在烟丝杂物检测应用方面国内目前尚无较好的应用案例。因此，如何使用深度学习技术在烟丝图像中对杂物目标进行检测，提高目标识别的准确率和效率，具有重要的意义。

发明内容

本发明提供一种基于Yolo V3模型的烟丝杂物检测方法，解决现有烟丝中杂物检测存在检测效率低和准确率不高的问题，能提高烟丝杂物检测的准确性和工作效率，提高卷烟的生产质量。

为实现以下目的，本发明提供以下技术方案：

一种基于Yolo V3模型的烟丝杂物检测方法，包括：

建立Yolo V3模型，并采用工业相机对烟丝进行拍摄得到烟丝图像；

采集并处理烟丝生产过程中产生的杂物图像，并对所述烟丝图像和所述杂物图像进行数据处理后形成烟丝杂物训练数据集；

对所述烟丝杂物训练数据集进行K-Means值聚类计算，以获得新的 anchor box值，将新的anchor box值替换原始Yolo v3模型中的数据集参数；

通过所述烟丝杂物训练数据集对Yolo V3模型进行训练得到改进后的 Yolo V3模型，使用改进后的Yolo V3模型对所述烟丝图像进行杂物目标检测。

优选的，还包括：

以Focal Loss损失函数替换原Yolo V3模型中的二分交叉熵损失函数，使修改后的损失函数为：

式中，λ_coord、λ_noobj分别表示坐标损失权重和不包含目标的置信度损失权重，S为网格划分的横或纵向个数，B为该网格具有的Bounding Box个数，

表示第i个网格第j个Bounding Box是否负责某个对象的检测，

表示网络输出相对于Anchor Box的坐标、宽高偏移量及预测框置信度和类别概率预测，

表示真实目标框坐标、宽高、置信度和类别概率预测。

优选的，所述对所述烟丝图像和所述杂物图像进行数据处理，包括：

对所述烟丝图像进行图像裁剪、缩放、翻转、移位、旋转、亮度调整和拉伸；

通过图像分割算法、图像增强算法或图像融合算法对所述烟丝图像与杂物图像进行融合处理，以得到烟丝杂物训练图像。

优选的，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：

将每个所述烟丝图像进行分切成多张切分图像，并使每张切分图像按设定分辨率进行显示，以增加小目标杂物的检测精度；

在切分后采用多线程处理图像，使切分图像共步完成数据处理。

优选的，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：

建立杂物图像集，通过所述杂物图像集判断所述烟丝图像中是否存在杂物，如果是，则对烟丝图像中的杂物进行边框标记和边框坐标得取。

优选的，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：根据所述边框坐标计算得到边框的宽高数据，其中，所述边框的高等于所述边框的右下角横坐标与左上角横坐标之差，所述边框的宽等于所述边框的右下角纵坐标与左上角纵坐标之差。

优选的，所述对所述烟丝杂物训练数据集进行K-Means值聚类计算，包括：

初始化anchor box的值，通过从数据集中得到的所有所述边框的高宽值，并随机选取多个高宽值作为anchor boxes的初始值；

计算每个边框与每个anchor box的iou值，产生多个宽和高组合的 anchorboxes；

计算每一个所述边框对于每个anchor box的误差d(n,k)，通过比较每个所述边框对于每个anchor box的误差大小{d(i,1)，d(i,2)，…,d(i,k)}，选取最小误差的那个anchor box进行分类。

本发明提供一种基于Yolo V3模型的烟丝杂物检测方法，通过在烟丝图像中的杂物边框的宽高数据形成烟丝杂物训练数据集，以对YoloV3模型进行训练，进而使用改进后的Yolo V3模型对所述烟丝图像进行杂物目标检测。解决现有烟丝中杂物检测存在检测效率低和准确率不高的问题，能提高烟丝杂物检测的准确性和工作效率，提高卷烟的生产质量。

附图说明

为了更清楚地说明本发明的具体实施例，下面将对实施例中所需要使用的附图作简单地介绍。

图1是本发明提供的一种基于Yolo V3模型的烟丝杂物检测方法示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

针对当前对烟丝中杂物检测存在效率低和准确度不高的问题，本发明提供一种基于Yolo V3模型的烟丝杂物检测方法，解决现有烟丝中杂物检测存在检测效率低和准确率不高的问题，能提高烟丝杂物检测的准确性和工作效率，提高卷烟的生产质量。

如图1所示，一种基于Yolo V3模型的烟丝杂物检测方法，包括：

S1：建立Yolo V3模型，并采用工业相机对烟丝进行拍摄得到烟丝图像。

S2：采集并处理烟丝生产过程中产生的杂物图像，并对所述烟丝图像和所述杂物图像进行数据处理后形成烟丝杂物训练数据集。

S3：对所述烟丝杂物训练数据集进行K-Means值聚类计算，以获得新的anchor box值，将新的anchor box值替换原始Yolo v3模型中的数据集参数。

S4：通过所述烟丝杂物训练数据集对Yolo V3模型进行训练得到改进后的Yolo V3模型，使用改进后的Yolo V3模型对所述烟丝图像进行杂物目标检测。

其中，所述对所述烟丝图像和所述杂物图像进行数据处理，包括：对所述烟丝图像进行图像裁剪、缩放、翻转、移位、旋转、亮度调整和拉伸；通过图像分割算法、图像增强算法或图像融合算法对所述烟丝图像与杂物图像进行融合处理，以得到烟丝杂物训练图像。

进一步，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：将每个所述烟丝图像进行分切成多张切分图像，并使每张切分图像按设定分辨率进行显示，以增加小目标杂物的检测精度；在切分后采用多线程处理图像，使切分图像共步完成数据处理。

在实际应用中，检测过程中使用高像素工业相机拍摄运动烟丝图片后，将待检测图片进行切分成6张或4张待检测图像，切分后使用多线程处理方式同步完成切分图像的检测，因为检测图像被切分为原图像的1/6或1/4 大小，在检测的过程中，所有的检测图像进入检测模型后期大小会被更改为416*416大小的图片，因此相当于把原图像放大了6倍或4倍进行检测，增加小目标杂物的检测精度。

更进一步，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：建立杂物图像集，通过所述杂物图像集判断所述烟丝图像中是否存在杂物，如果是，则对烟丝图像中的杂物进行边框标记和边框坐标得取。

再进一步，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：根据所述边框坐标计算得到边框的宽高数据，其中，所述边框的高等于所述边框的右下角横坐标与左上角横坐标之差，所述边框的宽等于所述边框的右下角纵坐标与左上角纵坐标之差。

所述对所述烟丝杂物训练数据集进行K-Means值聚类计算，包括：初始化anchorbox的值，通过从数据集中得到的所有所述边框的高宽值，并随机选取多个高宽值作为anchor boxes的初始值。计算每个边框与每个 anchor box的iou值，产生多个宽和高组合的anchor boxes。计算每一个所述边框对于每个anchor box的误差d(n,k)，通过比较每个所述边框对于每个anchor box的误差大小{d(i,1)，d(i,2)，…,d(i,k)}，选取最小误差的那个anchor box进行分类。

具体地，对深度学习领域应用较为广泛的yolov3检测模型的开展研究后，对实际生产过程中经常出现和可能出现的烟丝杂物进行统计收集、汇总。通过工业相机拍摄烟丝图像，对烟丝图像进行数据处理后进行杂物确认，以得到烟丝杂物训练数据集，可使用VOC训练集格式制作烟丝杂物检测训练数据集。由于yolo v3算法中默认的anchor box尺寸是基于voc数据集，使用k-means聚类算法获得的，数据集中的训练和检测目标与VOC 数据集中的目标大小、形状等完全不同，因此使用通用的anchor box尺寸会对最终训练模型的准确度产生影响，这时需要生成对应的anchor box尺寸，替代默认值，为烟丝杂物视像检测系统的精准检测提供了可靠的保障。

在一实施例中具体的实现步骤如下：

第一步：由于我们要进行聚类的是待检测目标(杂物)的边框(bounding box)，所以在第一步我们需要将数据集中所有杂物的边框(bounding box) 坐标提取出来，也许一张图有一个矩形框，也许有多个，但是我们需要无区别的将所有图片的所有矩形框提取出来，放在一起。

第二步：数据处理获得所有训练数据bounding boxes的宽高数据。给的训练数据往往是其bounding box的4个坐标，但是我们后续需要聚类分析的是bounding box的宽高大小，所以我们需要将坐标数据转换为框的宽高大小。

第三步：初始化9个anchor box的值，通过从数据集中得到的所有的 boundingboxes值中随机选取9个值作为9个anchor boxes的初始值。

第四步：计算每个bounding box与每个anchor box的iou值。使用如所示的方法引入IOU区域并使用k-means聚类算法，对所有的bounding box 值进行聚类分析，产生9个宽、高组合的anchor boxes。

IOU区域计算方法如下公式所示：

IOU＝(x*y)/(a*b+c*d-x*y)，式中：x为：min_w_matrix；y为：min_h_matrix；

a为：box_w_matrix；b为：box_h_matrix；c为：cluster_w_matrix；d为： cluster_h_matrix，定义距离参数D为：D＝1-IOU。

第五步：分类操作。经过前一步的计算可以的到每一个bounding box 对于每个anchor box的误差d(n,k)，我们通过比较每个bounding box其对于每个anchor box的误差大小{d(i,1)，d(i,2)，…,d(i,k)},选取最小误差的那个anchor box，将这个bounding box分类给它，对于每个bounding box 都做这个操作，最后记录下来每个anchor box有哪些bounding box属于它。

第六步：anchor box更新。经过上一步，我们就知道每一个anchor box 都有哪些bounding box属于它，然后对于每个anchor box中的那些bounding box，我们再求这些bounding box的宽高中值大小，将其作为该anchor box 新的尺寸。

第七步：重复操作第四步到第六步，直到在第五步中发现对于全部 bounding box其所属的anchor box类与之前所属的anchor box类完全一样。得到新的符合烟丝杂物样本数据集的9个anchor box类。

在一实施例中使用K-means优化Anchor Box前后检测效果对比如表1 所示，表1中对烟丝杂物图像数据集进行聚类分析，经过使用K-Means聚类算法迭代后选取的对应Anchor Box的宽高分别为(2，7)、(6，19)、 (8，28)、(16，19)、(17，24)、(34，98)、(38，167)、(132、 154)、(156，246)。表1展示了聚类方法优化前后，在烟丝杂物图像数据集上AnchorBox的差异和检测结果对比。从表1中可以看出，使用优化后的聚类算法得到的Anchor Box对目标检测效果有明显的提升，测试环境为：win10操作系统，CPU型号：intel8700k；GPU型号：NVIDIA GTX2080S检测速度比原YOLO V3提高了0.6帧/s，检测平均精度提高了 2.7个百分点，达到92.1％。

表1

该方法还包括：

S6：以Focal Loss损失函数替换原Yolo V3模型中的二分交叉熵损失函数，使修改后的损失函数为：

式中，λ_coord、λ_noobj分别表示坐标损失权重和不包含目标的置信度损失权重，S为网格划分的横或纵向个数，B为该网格具有的Bounding Box个数，

表示第i个网格第j个Bounding Box是否负责某个对象的检测，

表示网络输出相对于Anchor Box的坐标、宽高偏移量及预测框置信度和类别概率预测，

表示真实目标框坐标、宽高、置信度和类别概率预测。

在实际应用中，使用Focal loss损失函数代替yolov3模型中的二分交叉熵损失函数，解决使用yolov3模型在烟丝杂物检测过程中因样本类别不均衡问题带来的部分目标检测不准确问题。在一实施例中，以Focal Loss损失函数代替了原YOLO V3算法中的预测框定位平方和损失函数、置信度交叉熵损失函数及类别概率交叉熵损失函数。如表2所示，使用改进后的损失函数代替原 YOLO V3中的损失函数，Anchor Box大小选用表1中原YOLO V3方法得到的数值。表2展示了使用不同的损失函数，在烟丝杂物数据集上目标检测结果对比。从表2中可以看出，使用改进损失函数的YOLO V3算法在烟丝杂物数据集上目标检测的平均精度有明显的提高，检测平均精度达到93.2％，较原YOLOV3提高了1.1个百分点，且检测速度达到38.5帧/s。

表2

可见，本发明提供一种基于Yolo V3模型的烟丝杂物检测方法，通过在烟丝图像中的杂物边框的宽高数据形成烟丝杂物训练数据集，以对 YoloV3模型进行训练，进而使用改进后的Yolo V3模型对所述烟丝图像进行杂物目标检测。解决现有烟丝中杂物检测存在检测效率低和准确率不高的问题，能提高烟丝杂物检测的准确性和工作效率，提高卷烟的生产质量。

以上依据图示所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (7)

1.一种基于Yolo V3模型的烟丝杂物检测方法，其特征在于，包括：

建立Yolo V3模型，并采用工业相机对烟丝进行拍摄得到烟丝图像；

采集并处理烟丝生产过程中产生的杂物图像，并对所述烟丝图像和所述杂物图像进行数据处理后形成烟丝杂物训练数据集；

对所述烟丝杂物训练数据集进行K-Means值聚类计算，以获得新的anchor box值，将新的anchor box值替换原始Yolo v3模型中的数据集参数；

通过所述烟丝杂物训练数据集对Yolo V3模型进行训练得到改进后的Yolo V3模型，使用改进后的Yolo V3模型对所述烟丝图像进行杂物目标检测。

2.根据权利要求1所述的基于Yolo V3模型的烟丝杂物检测方法，其特征在于，还包括：

以Focal Loss损失函数替换原Yolo V3模型中的二分交叉熵损失函数，使修改后的损失函数为：

式中，λ_coord、λ_noobj分别表示坐标损失权重和不包含目标的置信度损失权重，S为网格划分的横或纵向个数，B为该网格具有的Bounding Box个数，

表示第i个网格第j个Bounding Box是否负责某个对象的检测，

表示网络输出相对于Anchor Box的坐标、宽高偏移量及预测框置信度和类别概率预测，

表示真实目标框坐标、宽高、置信度和类别概率预测。

3.根据权利要求2所述的基于Yolo V3模型的烟丝杂物检测方法，其特征在于，所述对所述烟丝图像和所述杂物图像进行数据处理，包括：

对所述烟丝图像进行图像裁剪、缩放、翻转、移位、旋转、亮度调整和拉伸；

通过图像分割算法、图像增强算法或图像融合算法对所述烟丝图像与杂物图像进行融合处理，以得到烟丝杂物训练图像。

4.根据权利要求3所述的基于Yolo V3模型的烟丝杂物检测方法，其特征在于，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：

将每个所述烟丝图像进行分切成多张切分图像，并使每张切分图像按设定分辨率进行显示，以增加小目标杂物的检测精度；

在切分后采用多线程处理图像，使切分图像共步完成数据处理。

5.根据权利要求4所述的基于Yolo V3模型的烟丝杂物检测方法，其特征在于，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：

建立杂物图像集，通过所述杂物图像集判断所述烟丝图像中是否存在杂物，如果是，则对烟丝图像中的杂物进行边框标记和边框坐标得取。

6.根据权利要求5所述的基于Yolo V3模型的烟丝杂物检测方法，其特征在于，所述对所述烟丝图像和所述杂物图像进行数据处理，还包括：根据所述边框坐标计算得到边框的宽高数据，其中，所述边框的高等于所述边框的右下角横坐标与左上角横坐标之差，所述边框的宽等于所述边框的右下角纵坐标与左上角纵坐标之差。

7.根据权利要求5所述的基于Yolo V3模型的烟丝杂物检测方法，其特征在于，所述对所述烟丝杂物训练数据集进行K-Means值聚类计算，包括：

初始化anchor box的值，通过从数据集中得到的所有所述边框的高宽值，并随机选取多个高宽值作为anchor boxes的初始值；

计算每个边框与每个anchor box的iou值，产生多个宽和高组合的anchor boxes；

计算每一个所述边框对于每个anchor box的误差d(n,k)，通过比较每个所述边框对于每个anchor box的误差大小{d(i,1)，d(i,2)，…,d(i,k)}，选取最小误差的那个anchorbox进行分类。

Images