CN115908833A - 一种基于改进YOLOv3的轻量级垃圾检测方法 - Google Patents

Abstract

本发明涉及一种基于改进YOLOv3的轻量级垃圾检测方法，属于计算机视觉领域。该检测方法包括：获取数据集并进行处理；构建MobileNetv2轻量级主干网络替换YOLOv3中Darknet53原始主干网络；用新主干网络融合改进ECA注意力机制进行特征提取；对提取到的特征图进行多尺度特征融合；将融合后的特征图送入检测头预测输出，与目标信息送入损失函数迭代训练模型；将模型训练保存的最优权重加载于模型中，对待检测图像进行验证输出。本发明实现了实时垃圾检测，模型参数量少，检测速度快，降低了部署嵌入式设备所需的性能要求。

Description

一种基于改进YOLOv3的轻量级垃圾检测方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于改进YOLOv3的轻量级垃圾检测方法。

背景技术

我国是垃圾制造大国，每天产生的垃圾数以千万，但是在垃圾处理方面仍然存在着分类，回收效率低的问题。如果能够采用计算机技术配合自动化设备替代人力，将极大的提升垃圾处理各个环节的效率，而其中关键是有一个良好的垃圾识别与检测算法能够垃圾进行感知。

近年来随着人工智能技术快速发展，目标检测作为深度学习计算机视觉领域的一个分支也取得一些突破性成果。随着技术突破，目标检测被广泛应用于人脸识别，医疗和自动驾驶等多个领域。对于垃圾分类，利用目标检测技术确定垃圾位置和识别垃圾种类，可以帮助人们快速分类垃圾。目前目标检测技术主要包括两大类：一类是以Faster-RCNN为代表的两阶段检测算法，此类算法检测精度高，但是检测速度慢；另一类是以SSD，YOLO为代表的一阶段检测算法，此类算法检测速度快，但是检测精度没有两阶段检测算法高。

虽然现阶段垃圾检测技术已经有了很大的进步，但是任然存在一些问题。对于垃圾检测场景，目标检测算法更多的需要部署在算力加速有限的嵌入式设备中，这对于设备的算力和内存来说都是一个挑战。且现有的许多方法体积大、检测速度较慢，无法兼顾准确性和实时性的需求，具体的相关专利文献如《基于神经网络的厨余垃圾检测方法》(申请公布号CN115205521A)、《基于深度学习的垃圾检测系统及方法》(申请公布号CN115240134A)等，此类方法存在网络参数量大，检测速度慢等问题。

发明内容

为了克服上述技术的不足，本发明提供了一种基于改进YOLOv3的轻量级垃圾检测方法，有效降低模型的参数量，在保证检测精度的同时提升模型的目标检测速度。

本发明采用的技术方案是：

一种基于改进YOLOv3的轻量级垃圾检测方法，包括以下步骤：

步骤1，获取垃圾图像，并对垃圾图像进行数据增强，然后将数据增强后的垃圾图像按比例7：3组成训练集和验证集，分别用于初始改进YOLOv3模型的训练和验证；

步骤2，构建MobileNetv2轻量级网络替换传统YOLOv3模型中的Darknet53原始主干网络，得到初始改进YOLOv3模型的主干网络，所述MobileNetv2轻量级网络的具体构建步骤如下：

步骤2.1，利用逐通道卷积和逐点卷积搭建倒残差结构A，具体的：

所述逐通道卷积为卷积核大小为3×3、步长为1或2、分组数等于输出通道数的卷积，所述逐点卷积为卷积核大小为1×1、步长为1、分组数为1的卷积；所述倒残差结构A由依次排列的第一个逐点卷积、逐通道卷积、第一个批标准化层、激活函数ReLU层、第二个逐点卷积、第二个批标准化层组成，当逐通道卷积步长为2时，第二个批标准化层的输出为倒残差结构A的输出，当逐通道卷积步长为1时，第二个批标准化层的输出和第一个逐点卷积的输入之和为倒残差结构A的输出；

步骤2.2，在步骤2.1搭建的倒残差结构A中插入改进的ECA注意力机制，插入位置为激活函数ReLU层与第二个逐点卷积之间；

将含有步长为2的逐通道卷积、且插入改进的ECA注意力机制的倒残差结构记为倒残差结构B，将含有步长为1的逐通道卷积、且插入改进的ECA注意力机制的倒残差结构记为倒残差结构C；

步骤2.3，利用倒残差结构B、倒残差结构C和中卷积构建完成MobileNetv2轻量级网络，所述中卷积为卷积核大小为3×3、步长为2、输出通道为32的卷积；

步骤3，通过MobileNetv2轻量级网络对训练集中的垃圾图像进行特征提取，得到特征图M4和特征图M5；

步骤4，对步骤3中得到的特征图M4和特征图M5进行多尺度特征融合，得到特征图P5和特征图P4，具体的：将特征图M5经过两次卷积核大小为3×3、步长为1的卷积，得到特征图P5；将特征图M5经过上采样后再与特征图M4在通道上相加，得到特征图P4；

步骤5，将步骤4中生成的特征图P4和特征图P5分别送入检测头进行预测边界框信息提取，然后将预测边界框信息与目标标签信息送入损失函数迭代训练初始改进YOLOv3模型，并保存最优权重；

所述预测边界框信息包括特征图的预测边界框位置坐标，边界框宽高和边界框所属类别信息；

所述目标标签信息包括特征图的真实边界框位置坐标，边界框宽高和边界框所属类别信息；

步骤6，将步骤5保存的最优权重加载于初始改进YOLOv3模型得到性能最优的改进YOLOv3模型，并将该性能最优的改进YOLOv3模型定义为最终改进YOLOv3模型；

步骤7，将验证集中的垃圾图像送入最终改进YOLOv3模型中进行验证，获取最终检测结果。

优选地，步骤1所述垃圾图像包含华为比赛公开垃圾数据集中的垃圾图像和使用手机拍摄的垃圾图像；所述数据增强是指对垃圾图像的角度、饱和度和曝光度进行调整，其数据增强方法有裁剪、平移、亮度增强、加入高斯噪声、旋转和镜像，调整完成后的垃圾图像的像素为416×416。

优选地，步骤2所述改进的ECA注意力机制的结构包括顺序连接的全局平均池化层和一维卷积层，在一维卷积层后分离为二个通道，记全局平均池化层输入的特征图为特征图γ，两个通道分别输出的特征图为特征图α和特征图β，特征图α、特征图β、特征图γ的高度、宽度、通道数分别相乘后输出[H×W×C]的特征图F，该特征图F即为经过改进的ECA注意力机制的输出，其中，H、W、C分别为特征图F的高度、宽度和通道数。

优选地，步骤7所述将验证集中的垃圾图像送入最终改进YOLOv3模型中进行验证的具体方式为：将验证集中的垃圾图像送入训练好的最终改进YOLOv3模型中，输出二组特征图像，尺寸分别为[13，13，256]和[16，16，512]，再经过检测头输出预测检测框信息，利用非极大值抑制操作去除冗余的检测框，生成最终检测结果；

其中，[]中的三个数值分别为特征图的高度、宽度和通道数。

优选地，利用倒残差结构B、倒残差结构C和中卷积构建完成MobileNetv2轻量级网络的具体步骤如下：

S1，使用中卷积进行下采样；

S2，使用倒残差结构B进行下采样，然后再经过1组倒残差结构C；

S3，使用倒残差结构B进行下采样，然后再经过2组倒残差结构C；

S4，使用倒残差结构B进行下采样，然后再经过3组倒残差结构C；

S5，经过3组倒残差结构C；

S6，使用倒残差结构B进行下采样，然后经过3组倒残差结构C。

与现有技术相比，本发明的有益效果主要表现在：

(1)本发明使用轻量级网络MobileNetv2代替原始Darknet53作为主干网络，显著减少了模型的参数量，提高了算法的检测速度。

(2)本发明将改进的ECA注意力机制融入主干网络，改进的ECA注意力机制对输入特征图中的每一通道分配两个权重，分别代表特征图水平，垂直方向的权重，增强MobileNetv2主干网络特征提取能力，在增加较小参数量的情况下显著提高模型精度。

(3)本发明针对实际嵌入式设备有限算力和内存的情况，提出一种基于改进YOLOv3的轻量级垃圾检测方法，模型在保证精度的条件下，有较小的参数量且检测速度快，可以更好的部署嵌入式设备。

附图说明

图1为本发明基于改进YOLOv3的轻量级垃圾检测方法的流程图；

图2为本发明实施例中倒残差结构的结构图；

图3为本发明改进ECA注意力机制的结构图。

具体实施方式

下面将结合附图对本发明的实施做进一步的描述。

图1是本发明实施例中基于改进YOLOv3的轻量级垃圾检测方法的流程图，由图1可见，本发明检测方法，包括以下步骤：

步骤1，获取垃圾图像，并对垃圾图像进行数据增强，然后将数据增强后的垃圾图像按比例7∶3组成训练集和验证集，分别用于初始改进YOLOv3模型的训练和验证。

在本实施例中，所述垃圾图像包含华为比赛公开垃圾数据集中的垃圾图像和使用手机拍摄的垃圾图像；所述数据增强是指对垃圾图像的角度、饱和度和曝光度进行调整，其数据增强方法有裁剪、平移、亮度增强、加入高斯噪声、旋转和镜像，调整完成后的垃圾图像的像素为416×416。

步骤2，构建MobileNetv2轻量级网络替换传统YOLOv3模型中的Darknet53原始主干网络，得到初始改进YOLOv3模型的主干网络，所述MobileNetv2轻量级网络的具体构建步骤如下：

步骤2.1，利用逐通道卷积和逐点卷积搭建倒残差结构A，具体的：

所述逐通道卷积为卷积核大小为3×3、步长为1或2、分组数等于输出通道数的卷积，所述逐点卷积为卷积核大小为1×1、步长为1、分组数为1的卷积；所述倒残差结构A由依次排列的第一个逐点卷积、逐通道卷积、第一个批标准化层、激活函数ReLU层、第二个逐点卷积、第二个批标准化层组成，当逐通道卷积步长为2时，第二个批标准化层的输出为倒残差结构A的输出，当逐通道卷积步长为1时，第二个批标准化层的输出和第一个逐点卷积的输入之和为倒残差结构A的输出。

图2为本发明实施例中倒残差结构的结构图。

步骤2.2，在步骤2.1搭建的倒残差结构A中插入改进的ECA注意力机制，插入位置为激活函数ReLU层与第二个逐点卷积之间。

在本发明实施例中，所述改进的ECA注意力机制的结构包括顺序连接的全局平均池化层和一维卷积层，在一维卷积层后分离为二个通道，记全局平均池化层输入的特征图为特征图γ，两个通道分别输出的特征图为特征图α和特征图β，特征图α、特征图β、特征图γ的高度、宽度、通道数分别相乘后输出[H×W×C]的特征图F，该特征图F即为经过改进的ECA注意力机制的输出，其中，H、W、C分别为特征图F的高度、宽度和通道数。

图3为本发明改进ECA注意力机制的结构图。

将含有步长为2的逐通道卷积、且插入改进的ECA注意力机制的倒残差结构记为倒残差结构B，将含有步长为1的逐通道卷积、且插入改进的ECA注意力机制的倒残差结构记为倒残差结构C。

步骤2.3，利用倒残差结构B、倒残差结构C和中卷积构建完成MobileNetv2轻量级网络，所述中卷积为卷积核大小为3×3、步长为2、输出通道为32的卷积。

在本发明实施例中，具体步骤如下：

S1，使用中卷积进行下采样；

S2，使用倒残差结构B进行下采样，然后再经过1组倒残差结构C；

S3，使用倒残差结构B进行下采样，然后再经过2组倒残差结构C；

S4，使用倒残差结构B进行下采样，然后再经过3组倒残差结构C；

S5，经过3组倒残差结构C；

S6，使用倒残差结构B进行下采样，然后经过3组倒残差结构C。

步骤3，通过步骤2构建完成的MobileNetv2轻量级网络对训练集中的垃圾图像进行特征提取，得到特征图M4和特征图M5。

在本发明实施例中，所述通过步骤2构建完成的MobileNetv2轻量级网络对训练集中的垃圾图像进行特征提取的具体步骤如下：

将训练集中的垃圾图像输入S1进行特征提取，输出特征图M1：特征图M1经过S2进行特征提取，输出特征图M2；特征图M2经过S3进行特征提取，输出特征图M3；特征图M3经过S4进行特征提取，输出特征图M4；特征图M4经过S5、S6进行特征提取，输出特征图M5。

步骤4，对步骤3中得到的特征图M4和特征图M5进行多尺度特征融合，得到特征图P5和特征图P4，具体的：将特征图M5经过两次卷积核大小为3×3、步长为1的卷积，得到特征图P5；将特征图M5经过上采样后再与特征图M4在通道上相加，得到特征图P4。

步骤5，将步骤4中生成的特征图P4和特征图P5分别送入检测头进行预测边界框信息提取，然后将预测边界框信息与目标标签信息送入损失函数迭代训练初始改进YOLOv3模型，并保存最优权重。

所述预测边界框信息包括特征图的预测边界框位置坐标，边界框宽高和边界框所属类别信息；

所述目标标签信息包括特征图的真实边界框位置坐标，边界框宽高和边界框所属类别信息。

步骤6，将步骤5保存的最优权重加载于初始改进YOLOv3模型得到性能最优的改进YOLOv3模型，并将该性能最优的改进YOLOv3模型定义为最终改进YOLOv3模型。

步骤7，将验证集中的垃圾图像送入最终改进YOLOv3模型中进行验证，获取最终检测结果。

在本发明实施例中，所述将验证集中的垃圾图像送入最终改进YOLOv3模型中进行验证的具体方式为：将验证集中的垃圾图像送入训练好的最终改进YOLOv3模型中，输出二组特征图像，尺寸分别为[13，13，256]和[16，16，512]，再经过检测头输出预测检测框信息，利用非极大值抑制操作去除冗余的检测框，生成最终检测结果。

其中，[]中的三个数值分别为特征图的高度、宽度和通道数。

在本发明实例中，步骤5所述损失函数Loss的表达式如下：

Loss＝λ₁Loss_cls+λ₂Loss_obj+λ₃Loss_loc

其中，λ₁是分类平衡系数，λ₂是置信度平衡系数，λ₃是定位平衡系数，Loss_cls为分类损失，Loss_obj为置信度损失，Loss_loc为定位损失。

分类损失Loss_cls为交叉熵损失函数，其表达式如下：

其中，S是网格的数量，B是每个网格产生的边界框的数量；

表示第j个边界框是否负责预测第i个网格中的目标物体，如果该边界框负责预测目标，则

等于1，否则，

等于0；

是网格i中第j个边界框类别c的预测概率，

是真实概率，classes是垃圾图像中垃圾所属的类别。

置信度损失Loss_obj为二进制交叉熵损失函数，表达式如下：

其中，λ_noobj是预测框没有预测目标时损失函数中置信度误差的权重，

是网格i中第j个边界框的预测置信度，

是实际置信度。

定位损失Loss_loc为CIoU损失函数，其表达式如下：

其中，IoU为重叠率，计算的是预测框(pred)与真实框(gt)之间的重叠率，ρ²(b，b^st)为预测框和真实框的中心点之间的欧氏距离，b表示预测框中心，b^st表示真实框中心，c表示能同时包含预测框和真实框的最小封闭区域的对角线距离；α和v的设置旨在惩罚长宽比，α是一个正的权衡参数，v用来衡量长宽比的一致性；IoU、α和v的表达式如下：

其中，Area_pred是预测框的面积，Area_gt是真实框的面积，w^gt是真实框的宽度，h^gt是真实框的高度，w是预测框的宽度，h是预测框的高度。

为了验证本发明的效果，将本发明的改进YOLOv3模型和传统YOLOv3模型及本发明的改进YOLOv3模型去掉改进的ECA注意力机制的检测结果进行了比较，具体数据见表1。

通过对比结果可知，本方法在保证检测精度的同时，大大减少了模型参数量，提高了模型检测速度，改进的ECA注意力机制在牺牲较小的参数量和检测速度的情况下，显著提高了检测精度。

Claims (5)

1.一种基于改进YOLOv3的轻量级垃圾检测方法，其特征在于，包括以下步骤：

步骤1，获取垃圾图像，并对垃圾图像进行数据增强，然后将数据增强后的垃圾图像按比例7∶3组成训练集和验证集，分别用于初始改进YOLOv3模型的训练和验证；

步骤2，构建MobileNetv2轻量级网络替换传统YOLOv3模型中的Darknet53原始主干网络，得到初始改进YOLOv3模型的主干网络，所述MobileNetv2轻量级网络的具体构建步骤如下：

步骤2.1，利用逐通道卷积和逐点卷积搭建倒残差结构A，具体的：

所述逐通道卷积为卷积核大小为3×3、步长为1或2、分组数等于输出通道数的卷积，所述逐点卷积为卷积核大小为1×1、步长为1、分组数为1的卷积；所述倒残差结构A由依次排列的第一个逐点卷积、逐通道卷积、第一个批标准化层、激活函数ReLU层、第二个逐点卷积、第二个批标准化层组成，当逐通道卷积步长为2时，第二个批标准化层的输出为倒残差结构A的输出，当逐通道卷积步长为1时，第二个批标准化层的输出和第一个逐点卷积的输入之和为倒残差结构A的输出；

步骤2.2，在步骤2.1搭建的倒残差结构A中插入改进的ECA注意力机制，插入位置为激活函数ReLU层与第二个逐点卷积之间；

将含有步长为2的逐通道卷积、且插入改进的ECA注意力机制的倒残差结构记为倒残差结构B，将含有步长为1的逐通道卷积、且插入改进的ECA注意力机制的倒残差结构记为倒残差结构C；

步骤2.3，利用倒残差结构B、倒残差结构C和中卷积构建完成MobileNetv2轻量级网络，所述中卷积为卷积核大小为3×3、步长为2、输出通道为32的卷积；

步骤3，通过MobileNetv2轻量级网络对训练集中的垃圾图像进行特征提取，得到特征图M4和特征图M5；

步骤4，对步骤3中得到的特征图M4和特征图M5进行多尺度特征融合，得到特征图P5和特征图P4，具体的：将特征图M5经过两次卷积核大小为3×3、步长为1的卷积，得到特征图P5；将特征图M5经过上采样后再与特征图M4在通道上相加，得到特征图P4；

步骤5，将步骤4中生成的特征图P4和特征图P5分别送入检测头进行预测边界框信息提取，然后将预测边界框信息与目标标签信息送入损失函数迭代训练初始改进YOLOv3模型，并保存最优权重；

所述预测边界框信息包括特征图的预测边界框位置坐标，边界框宽高和边界框所属类别信息；

所述目标标签信息包括特征图的真实边界框位置坐标，边界框宽高和边界框所属类别信息；

步骤6，将步骤5保存的最优权重加载于初始改进YOLOv3模型得到性能最优的改进YOLOv3模型，并将该性能最优的改进YOLOv3模型定义为最终改进YOLOv3模型；

步骤7，将验证集中的垃圾图像送入最终改进YOLOv3模型中进行验证，获取最终检测结果。

2.根据权利要求1所述的基于改进YOLOv3的轻量级垃圾检测方法，其特征在于，步骤1所述垃圾图像包含华为比赛公开垃圾数据集中的垃圾图像和使用手机拍摄的垃圾图像；所述数据增强是指对垃圾图像的角度、饱和度和曝光度进行调整，其数据增强方法有裁剪、平移、亮度增强、加入高斯噪声、旋转和镜像，调整完成后的垃圾图像的像素为416×416。

3.根据权利要求1所述的基于改进YOLOv3的轻量级垃圾检测方法，其特征在于，步骤2所述改进的ECA注意力机制的结构包括顺序连接的全局平均池化层和一维卷积层，在一维卷积层后分离为二个通道，记全局平均池化层输入的特征图为特征图γ，两个通道分别输出的特征图为特征图α和特征图β，特征图α、特征图β、特征图γ的高度、宽度、通道数分别相乘后输出[H×W×C]的特征图

该特征图

即为经过改进的ECA注意力机制的输出，其中，H、W、C分别为特征图

的高度、宽度和通道数。

4.根据权利要求1所述的基于改进YOLOv3的轻量级垃圾检测方法，其特征在于，步骤7所述将验证集中的垃圾图像送入最终改进YOLOv3模型中进行验证的具体方式为：将验证集中的垃圾图像送入训练好的最终改进YOLOv3模型中，输出二组特征图像，尺寸分别为[13，13，256]和[16，16，512]，再经过检测头输出预测检测框信息，利用非极大值抑制操作去除冗余的检测框，生成最终检测结果；

其中，[]中的三个数值分别为特征图的高度、宽度和通道数。

5.根据权利要求1所述的基于改进YOLOv3的轻量级垃圾检测方法，其特征在于，步骤2所述利用倒残差结构B、倒残差结构C和中卷积构建完成MobileNetv2轻量级网络的具体步骤如下：

S1，使用中卷积进行下采样；

S2，使用倒残差结构B进行下采样，然后再经过1组倒残差结构C；

S3，使用倒残差结构B进行下采样，然后再经过2组倒残差结构C；

S4，使用倒残差结构B进行下采样，然后再经过3组倒残差结构C；

S5，经过3组倒残差结构C；

S6，使用倒残差结构B进行下采样，然后经过3组倒残差结构C。

Images