CN112241679A - 一种垃圾自动分类的方法 - Google Patents

Abstract

本发明公开了一种垃圾自动分类的方法，包括以下步骤：图像采集；图像预处理；建立和训练垃圾自动分类Attention‑ResNext网络，并将训练好的垃圾自动分类Attention‑ResNext网络模型保存；将图像预处理后的112*112*3的张量输入至S03训练好的垃圾自动分类Attention‑ResNext网络中，分辨出图片中的垃圾属于纸盒、玻璃、金属、塑料、废品还是纸张的各类的概率，取最高值者为识别结果，根据识别的结果，上位机指令垃圾分类机械手抓取识别的垃圾并放入对应的垃圾收集腔室中，实现垃圾分类的自动化。

Description

一种垃圾自动分类的方法

技术领域

本发明涉及垃圾分类领域，特别涉及深度学习的一种垃圾自动分类的方法。

背景技术

目前，垃圾分类工作大部分依赖于人工分类，既耗费大量时间精力还可能效率不高，如 果使用计算机视觉结合卷积神经网络模型实现垃圾的自动分类，便可以大幅度提高分类速度 和准确率，从而减少人工成本。近年来，深度学习卷积神经网络在计算机视觉上取得巨大突 破，一些优化算法(SGD、Adam等)、激活函数(ReLU、Sigmoid等)以及训练过程可视 化技术(CAM、Grad-CAM等)的应用，使得卷积神经网络实现垃圾自动分类的效率明显提高，同时还可以降低人工成本，节约时间。

近日市场上也有出现过针对垃圾分类而设计分类算法模型，但没有完善的充足的数据集 训练模型达到较高的准确率，也缺少配合垃圾分类识别算法而设计的垃圾分类网络模型，从 而导致现有的垃圾分类基本使用人工手段。由于深度学习中图片识别领域最有效的模型是卷 积神经网络，但仅仅通过加深网络并不能够提高分类性能，因此本发明提出采用聚合残差卷 积网络进行垃圾图片的自动识别。该方法可以大大减少人工成本，提高准确率。

针对此问题，垃圾自动分类算法借助我们收集标注且经过数据增强策略扩充的垃圾分类 数据集，和经过可视化分析设计的聚合残差卷积分类算法模型，可以配合我们的垃圾分类分 拣装置进行快速分类，用户只需要将没有分类过的垃圾倒入分类装置，分类装置就会自动将 所有垃圾进行分类。该方法极大地方便了人们的生活，也避免了一些人工失误。

发明内容

本发明要解决的技术问题是提供一种垃圾自动分类的方法。

为解决上述技术问题，本发明提供一种垃圾自动分类的方法，包括以下步骤：

S01、图像采集

在垃圾分类装置的流水线上方设置垃圾图像采集装置，分别对每个垃圾进行图像采集， 然后将采集到的垃圾图像传到上位机进行处理；

S02、图像预处理

在上位机中，将S01采集的每个垃圾图像依次进行以下操作：

S0201、将垃圾图像放缩到尺寸为112*112像素且包含垃圾的图片；

S0202、将PIL.Image或者NumPy数据类型图片转换成形状为(C,H,W)的Tensor格式，再归 一化到[0,1]之间，再通过调整均值mean和方差std的值进一步将[0，1]的张量归一化到[-1,1] 上；

S03、建立和训练垃圾自动分类Attention-ResNext网络，并将训练好的垃圾自动分类 Attention-ResNext网络模型保存；

S04、垃圾分类识别并输出分类结果

将S02图像预处理后的112*112*3的张量输入至S03训练好的垃圾自动分类Attention-ResNext网络中，分辨出图片中的垃圾属于纸盒、玻璃、金属、塑料、废品还是纸张 的各类的概率，取最高值者为识别结果，根据识别的结果，上位机指令垃圾分类机械手抓取 识别的垃圾并放入对应的垃圾收集腔室中，实现垃圾分类的自动化。

作为一种垃圾自动分类的方法的改进，所述步骤S03建立和训练自动分类Attention-ResNext网络的步骤包括：

S0301、垃圾自动分类Attention-ResNext网络

基于ResNext-101网络模型建立垃圾自动分类Attention-ResNext：第一层为一个卷积核大 小为7*7卷积层Conv1，第二层为最大值池化Max Pooling，采用ReLU函数为非线性激活函数； 然后，依次为三轮聚合残差卷积结构ResNext，分别为Layer1、Layer2和Layer3，基数均为32， 通道数分别设为n＝3、n＝4和n＝12，然后进入注意力机制CBAM1；再经过一轮为Layer4的聚合 残差卷积结构ResNext，Layer4的通道数设为n＝5，基数仍为32；再经过注意力机制CBAM2； 最后，经过平均池化层Avg Pool后输入全连接层fc进行计算被识别目标的分类概率，分类概率 计算采用Softmax分类器，输出为属于纸盒、玻璃、金属、塑料、废品、纸张各类的概率；

S0302、训练垃圾自动分类Attention-ResNext网络

1)、数据集设置：

从网上下载数据集为TrashNet，分别包括纸盒、玻璃、金属、塑料、废品和纸张六大类， 共有2527张图片，背景均为白色，尺寸均为512x384像素；

在上位机中，对数据集的图片先随机剪裁出尺寸为112*112像素的图片；然后对裁剪出的 112*112像素的图片进行对比度增强、颜色增强、竖直翻转、旋转20°的数据增强策略操作， 对应地得到对比度增强的图片、颜色增强的图片、竖直翻转的图片、旋转20°的图片，数据 集由原本的2527张图扩充为12635张，并对每张图片设置对应的标签；随机挑选10828张图片 作为训练集，挑选的图片均匀分布于包含垃圾的图片、不包含垃圾的图片和包含部分垃圾的 图片，剩余的1807张图片作为测试集；

2)、训练和测试：

将训练集经过步骤S0202图像预处理后作为垃圾自动分类Attention-ResNext网络的输入， 采用随机梯度下降SGD作为垃圾自动分类Attention-ResNext网络的优化算法，使用动态学习率 MultiSepLR，初始学习率α＝0.001，动态梯度gamma＝0.2，共训练200个时期epoch，学习率在 epoch＝[60,120,160]时改变；同时，采用交叉熵损失函数进行随机梯度下降SGD的优化，批尺 寸batch_size设置为128，共进行200轮，每一轮均包括训练和测试二个过程；

每一轮训练垃圾自动分类Attention-ResNext网络计算获得的属于纸盒、玻璃、金属、塑料、 废品、纸张各类的概率，结果输入到优化算法随机梯度下降SGD，用最小二乘法计算损失函 数，进行反向传播不断迭代从而优化网络权重；

在每轮的训练完成后，输入一批测试集：与所设置的标签一致的为识别正确，准确率的 定义为本轮被正确识别的图片占本轮所有的测试图片的比例；当输出的垃圾分类的识别准确 率较低时，利用梯度类激活映射Grad-CAM可视化技术将网络模型关注的部分以热力图的形式 标记出来以调整结构的不足；

如此经过200轮的训练和测试，将训练好的垃圾自动分类Attention-ResNext网络模型保存。

本发明的技术优势主要体现在：

1.本发明一种垃圾自动分类的方法，通过实验对比得出的最佳数据增强策略对前期采集 的图片进行预处理，采用改进的聚合残差模型和注意力机制的垃圾自动分类Attention-ResNext 网络模型，使得垃圾分类可以实现智能识别自动分类，增强对模型的识别能力，解决了现有 的垃圾分类采用人工分类，效率低，人工成本较高等问题；

2.本发明一种垃圾自动分类的方法，采用改进的聚合残差模型，通过SGD反向迭代优化 模型，同时使用可视化技术提高机器学习的效率，使得垃圾自动分类Attention-ResNext网络模 型的准确率达到实际使用需求。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明一种垃圾自动分类的方法的流程示意图；

图2为图1中垃圾自动分类Attention-ResNext网络的结构示意图；

图3为图1中训练垃圾自动分类Attention-ResNext网络的流程示意图；

图4为图2中聚合残差卷积结构ResNext的结构示意图；

图5为图2中注意力机制CBAM的结构示意图；

图6为ResNext50和ResNext101对数据集图片进行一般性扩充后分别进行垃圾分类识别 的准确率统计图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1、一种垃圾自动分类的方法，如图1所示，图1中虚线路径为网络建立、训练过程，实线路径为在线生产过程，所述的垃圾自动分类算法包括以下步骤：

S01、图像采集

在垃圾分类装置的流水线上方设置垃圾图像采集装置，分别对每个垃圾进行图像采集， 然后将采集到的垃圾图像传到上位机进行处理。

S02、图像预处理

在上位机中，将S01采集的每个垃圾图像依次进行以下操作：

S0201、将图像放缩到尺寸为112*112像素且包含垃圾的图片；

S0202、将PIL.Image或者NumPy数据类型图片转换成形状为(C,H,W)的Tensor格式， 将其归一化到[0,1]之间，再通过调整均值mean和方差std的值进一步将[0，1]的张量归一化 到[-1,1]上；

图像经过预处理后，输出为112*112*3的张量作为垃圾自动分类Attention-ResNext网络的 输入。

S03、建立并训练垃圾自动分类Attention-ResNext网络

S0301、垃圾自动分类Attention-ResNext网络

基于ResNext-101网络模型建立垃圾自动分类Attention-ResNext，如图2所示，垃圾自动 分类Attention-ResNext网络的结构如下：第一层为一个卷积核大小为7*7卷积层Conv1，第 二层为池化层，用以提炼特征获得特征图，池化层为最大值池化Max Pooling，采用ReLU函 数为非线性激活函数用以提高鲁棒性，防止过拟合；然后，将经过池化层获得的特征图经过 三轮聚合残差卷积结构ResNext，分别为Layer1、Layer2和Layer3，其基数均为32，通道数 分别设为n＝3、n＝4和n＝12，然后进入注意力机制CBAM(图2中标识为CBAM1)获得更 加精确的权重分布；再经过一轮为Layer4的聚合残差卷积结构ResNext，Layer4的通道数设 为n＝5，基数仍为32；再经过注意力机制CBAM(图2中标识为CBAM2)输出最终的特征图，使得模型的注意力不会分散在无目标的地方，网络训练效率大大提升；获得的最终的特征图经过平均池化层Avg Pool后输入全连接层fc进行计算目标被识别目标的分类概率，分类 概率计算采用Softmax分类器，输出为属于纸盒、玻璃、金属、塑料、废品、纸张各类的概率；

聚合残差卷积结构ResNext结合了网络堆叠的思想和拆分-转换-合并的策略，用一种平行 堆叠相同拓扑结构的blocks代替原来深度残差网络ResNet的三层卷积的block，通过增加基 数(Cardinality)将神经网络的通道拆分，在不增加参数复杂度的情况下提高准确率；深度残 差网络ResNet是典型的残差结构，其基本结构如图4(a)所示，当基数为32，也就有32个 残差函数时，每个残差函数包括三层，第一层和最后一层标注的是通道数和通道宽度，中间 层标注有卷积核大小，最后将其累加求和送入ReLu激活函数中，其结构如图4(b)所示； 而聚合残差卷积结构ResNext采用的是与其等价的结构，如图4(c)，采用的是分组卷积 Grouped Convolutions，同样是32个group，每个group的输入输出channels均为4，最后把 channels合并，可以有效地减少计算量；

注意力机制CBAM(Convolutional Block Attention Module)，如图5，包括通道注意力模 块(channel attention module)和空间注意力模块(spatial attentionmodule)，用以提高网络 识别图片中目标的区域，降低模型权重注意力分散的可能性；

注意力机制CBAM中的通道注意力模块(channel attention module)，输入是一个H× W×C的特征F，分别进行一个空间的全局平均池化AvgPool(F)和最大池化MaxPool(F)得到两个1×1×C的通道描述，再将它们分别送入一个两层的神经网络(Shared MLP)，第一层神经元个数为C/r，激活函数为ReLU，第二层神经元个数为C，再将经过神经网络得到的两个特征相加后，经过一个Sigmoid激活函数得到权重系数M_c，通道注意力模块(channelattention module)计算过程如下：

M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

其中

分别为平均池化和最大值池化操作，MLP为多层神经网络操作，W₀后使 用了ReLU作为非线性激活函数，W₀∈R^C/r×C，W₁∈R^C×C/r，

将权重系数M_c和原来的特征F相乘即可得到缩放后的新特征，即通道注意力模块(channel attention module)输出的H×W×C的新特征F’为：

空间注意力模块(spatial attention module)用来关注哪里的特征是有意义的，将通道注意 力模块(channel attention module)的输出的H×W×C的新特征F’分别进行平均池化AvgPool (F’)和最大池化MaxPoo(F’)得到两个H×W×1的特征，并将这两个特征按通道拼接 在一起，经过一个7×7的卷积层，激活函数为Sigmoid，得到权重系数Ms，空间注意力模 块(spatial attention module)的计算过程为：

M_s(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)]))

其中，f^7×7表示7*7的卷积层；

将权重系数Ms和通道注意力模块(channel attention module)输出的H×W×C的特征F’ 相乘即可得到缩放后的新特征，即空间注意力模块(spatial attention module)输出的特征F” 为：

S0302、训练垃圾自动分类Attention-ResNext网络

训练环境均为Windows10操作系统，搭建Pytorch深度学习框架，编程环境基于Python， 服务器CPU i7 9700K，显卡GPU GTX 1080Ti，运行内存16G，训练过程如图3；

1、数据集设置：

从网上下载数据集为TrashNet，分别包括纸盒、玻璃、金属、塑料、废品和纸张六大类， 共有2527张图片，背景均为白色，尺寸均为512x384像素；

在上位机中，对数据集的图片先随机剪裁出尺寸为112*112像素的图片，由于数据集的 图片原有尺寸为均为512x384像素，因此裁剪出的112*112像素的图片为包含垃圾的图片、 不包含垃圾的图片和包含部分垃圾的图片之一，从而保证样本的多样性，提高训练的准确率；

数据集中的各类垃圾图片的数量并不充分需对其进行扩充，对裁剪出的112*112像素的 图片进行一般性扩充，包括对图片做对比度增强、亮度增强、竖直翻转、旋转20°、灰度图、 颜色增强、随机颜色的操作，将图片扩充后的数据集分别放入现有经典卷积神经网络 ResNext50和ResNext101模型，分别进行垃圾分类识别后统计垃圾识别的准确率，统计结果 如图6：与扩充前的对比结果显示对图片进行亮度增强、灰度以及颜色随机操作对结果没有 明显的正影响，甚至存在负影响，因此，选择先对图片进行对比度增强、颜色增强、竖直翻 转、旋转20°的数据增强策略操作，对应地得到对比度增强的图片、颜色增强的图片、竖直 翻转的图片、旋转20°的图片，从而使数据集的数量扩增为原来的五倍；

数据集由原本的2527张图扩充为12635张并对每张图片设置对应的标签，随机挑选10828 张图片作为训练集，挑选的图片尽可能均匀分布于包含垃圾的图片、不包含垃圾的图片和包 含部分垃圾的图片，剩余的1807张图片作为测试集；

2、训练和测试：

将训练集再经过步骤S0202图像预处理后作为垃圾自动分类Attention-ResNext网络的输 入，采用随机梯度下降(SGD)作为垃圾自动分类Attention-ResNext网络的优化算法，使用 动态学习率(MultiSepLR)，初始学习率α＝0.001，动态梯度gamma＝0.2，共训练200个时 期(epoch)，学习率在epoch＝[60,120,160]时改变；同时，采用交叉熵损失函数进行随机梯 度下降(SGD)的优化，批尺寸(batch_size)设置为128，共进行200轮，每一轮均包括训 练和测试二个过程，如图3；

每一轮训练垃圾自动分类Attention-ResNext网络计算获得的属于纸盒、玻璃、金属、塑 料、废品、纸张各类的概率，每一轮计算获得的结果输入到优化算法随机梯度下降(SGD)， 用最小二乘法计算损失函数，进行反向传播不断迭代从而优化网络权重；

在每轮的训练完成后，输入一批测试集，用于测试该轮的识别准确率：与所设置的标签 一致的为识别正确，准确率的定义为本轮被正确识别的图片占本轮所有的测试图片的比例； 当输出的垃圾分类的识别准确率较低时(例如低于90％)，可以利用梯度类激活映射 (Grad-CAM)可视化技术将网络模型关注的部分以热力图的形式标记出来以调整结构的不足； 如此经过200轮的训练和测试，准确率结果如图6，最后的40轮的准确率平均值为97.32％， 其中最高准确率为98.23％；

最后，将训练好的垃圾自动分类Attention-ResNext网络模型保存。

S04、垃圾分类识别并输出分类结果

将S02图像预处理后的112*112*3的张量输入至S03训练好的垃圾自动分类Attention-ResNext网络中，分辨出图片中的垃圾属于纸盒、玻璃、金属、塑料、废品还是纸张各类的概率，取最高值者为识别结果，根据识别的结果，上位机指令垃圾分类机械手将所识别的垃圾放入对应的垃圾收集腔室中，从而完成垃圾识别、分类并收集的过程，实现垃圾分类的自动化。

需指出的是，上述上位机对机械手控制和机械手为现有技术，在此不对其实现原理和结 构进行详细描述。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不 限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导 出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (2)

1.一种垃圾自动分类的方法，其特征在于包括以下步骤：

S01、图像采集

在垃圾分类装置的流水线上方设置垃圾图像采集装置，分别对垃圾进行图像采集，然后将采集到的垃圾图像传到上位机进行处理；

S02、图像预处理

在上位机中，将S01采集的每个垃圾图像依次进行以下操作：

S0201、将垃圾图像放缩到尺寸为112*112像素且包含垃圾的图片；

S0202、将PIL.Image或者NumPy数据类型图片转换成形状为(C,H,W)的Tensor格式，再归一化到[0,1]之间，再通过调整均值mean和方差std的值进一步将[0，1]的张量归一化到[-1,1]上；

S03、建立和训练垃圾自动分类Attention-ResNext网络，并将训练好的垃圾自动分类Attention-ResNext网络模型保存；

S04、垃圾分类识别并输出分类结果

将S02图像预处理后的112*112*3的张量输入至S03训练好的垃圾自动分类Attention-ResNext网络中，分辨出图片中的垃圾属于纸盒、玻璃、金属、塑料、废品还是纸张的各类的概率，取最高值者为识别结果，根据识别的结果，上位机指令垃圾分类机械手抓取识别的垃圾并放入对应的垃圾收集腔室中，实现垃圾分类的自动化。

2.根据权利要求1所述的一种垃圾自动分类的方法，所述步骤S03建立和训练自动分类Attention-ResNext网络的步骤包括：

S0301、垃圾自动分类Attention-ResNext网络

基于ResNext-101网络模型建立垃圾自动分类Attention-ResNext：第一层为一个卷积核大小为7*7卷积层Conv1，第二层为最大值池化Max Pooling，采用ReLU函数为非线性激活函数；然后，依次为三轮聚合残差卷积结构ResNext，分别为Layer1、Layer2和Layer3，基数均为32，通道数分别设为n＝3、n＝4和n＝12，然后进入注意力机制CBAM1；再经过一轮为Layer4的聚合残差卷积结构ResNext，Layer4的通道数设为n＝5，基数仍为32；再经过注意力机制CBAM2；最后，经过平均池化层Avg Pool后输入全连接层fc进行计算被识别目标的分类概率，分类概率计算采用Softmax分类器，输出为属于纸盒、玻璃、金属、塑料、废品、纸张各类的概率；

S0302、训练垃圾自动分类Attention-ResNext网络

1)、数据集设置：

从网上下载数据集为TrashNet，分别包括纸盒、玻璃、金属、塑料、废品和纸张六大类，共有2527张图片，背景均为白色，尺寸均为512x384像素；

在上位机中，对数据集的图片先随机剪裁出尺寸为112*112像素的图片；然后对裁剪出的112*112像素的图片进行对比度增强、颜色增强、竖直翻转、旋转20°的数据增强策略操作，对应地得到对比度增强的图片、颜色增强的图片、竖直翻转的图片、旋转20°的图片，数据集由原本的2527张图扩充为12635张并对每张图片设置对应的标签；随机挑选10828张图片作为训练集，挑选的图片均匀分布于包含垃圾的图片、不包含垃圾的图片和包含部分垃圾的图片，剩余的1807张图片作为测试集；

2)、训练和测试：

将训练集经过步骤S0202图像预处理后作为垃圾自动分类Attention-ResNext网络的输入，采用随机梯度下降SGD作为垃圾自动分类Attention-ResNext网络的优化算法，使用动态学习率MultiSepLR，初始学习率α＝0.001，动态梯度gamma＝0.2，共训练200个时期epoch，学习率在epoch＝[60,120,160]时改变；同时，采用交叉熵损失函数进行随机梯度下降SGD的优化，批尺寸batch_size设置为128，共进行200轮，每一轮均包括训练和测试二个过程；

每一轮训练垃圾自动分类Attention-ResNext网络计算获得的属于纸盒、玻璃、金属、塑料、废品、纸张各类的概率，结果输入到优化算法随机梯度下降SGD，用最小二乘法计算损失函数，进行反向传播不断迭代从而优化网络权重；

在每轮的训练完成后，输入一批测试集：与所设置的标签一致的为识别正确，准确率的定义为本轮被正确识别的图片占本轮所有的测试图片的比例；当输出的垃圾分类的识别准确率较低时，利用梯度类激活映射Grad-CAM可视化技术将网络模型关注的部分以热力图的形式标记出来以调整结构的不足；

如此经过200轮的训练和测试，将训练好的垃圾自动分类Attention-ResNext网络模型保存。

Images