CN112241679B - 一种垃圾自动分类的方法 - Google Patents

一种垃圾自动分类的方法 Download PDF

Info

Publication number
CN112241679B
CN112241679B CN202010957800.8A CN202010957800A CN112241679B CN 112241679 B CN112241679 B CN 112241679B CN 202010957800 A CN202010957800 A CN 202010957800A CN 112241679 B CN112241679 B CN 112241679B
Authority
CN
China
Prior art keywords
garbage
pictures
classification
attention
resnext
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010957800.8A
Other languages
English (en)
Other versions
CN112241679A (zh
Inventor
郑雯
任佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202010957800.8A priority Critical patent/CN112241679B/zh
Publication of CN112241679A publication Critical patent/CN112241679A/zh
Application granted granted Critical
Publication of CN112241679B publication Critical patent/CN112241679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种垃圾自动分类的方法，包括以下步骤：图像采集；图像预处理；建立和训练垃圾自动分类Attention‑ResNext网络，并将训练好的垃圾自动分类Attention‑ResNext网络模型保存；将图像预处理后的112*112*3的张量输入至S03训练好的垃圾自动分类Attention‑ResNext网络中，分辨出图片中的垃圾属于纸盒、玻璃、金属、塑料、废品还是纸张的各类的概率，取最高值者为识别结果，根据识别的结果，上位机指令垃圾分类机械手抓取识别的垃圾并放入对应的垃圾收集腔室中，实现垃圾分类的自动化。

Description

一种垃圾自动分类的方法
技术领域
本发明涉及垃圾分类领域，特别涉及深度学习的一种垃圾自动分类的方法。
背景技术
目前，垃圾分类工作大部分依赖于人工分类，既耗费大量时间精力还可能效率不高，如 果使用计算机视觉结合卷积神经网络模型实现垃圾的自动分类，便可以大幅度提高分类速度 和准确率，从而减少人工成本。近年来，深度学习卷积神经网络在计算机视觉上取得巨大突破，一些优化算法(SGD、Adam等)、激活函数(ReLU、Sigmoid等)以及训练过程可视 化技术(CAM、Grad-CAM等)的应用，使得卷积神经网络实现垃圾自动分类的效率明显提高，同时还可以降低人工成本，节约时间。
近日市场上也有出现过针对垃圾分类而设计分类算法模型，但没有完善的充足的数据集 训练模型达到较高的准确率，也缺少配合垃圾分类识别算法而设计的垃圾分类网络模型，从 而导致现有的垃圾分类基本使用人工手段。由于深度学习中图片识别领域最有效的模型是卷积神经网络，但仅仅通过加深网络并不能够提高分类性能，因此本发明提出采用聚合残差卷 积网络进行垃圾图片的自动识别。该方法可以大大减少人工成本，提高准确率。
针对此问题，垃圾自动分类算法借助我们收集标注且经过数据增强策略扩充的垃圾分类 数据集，和经过可视化分析设计的聚合残差卷积分类算法模型，可以配合我们的垃圾分类分 拣装置进行快速分类，用户只需要将没有分类过的垃圾倒入分类装置，分类装置就会自动将所有垃圾进行分类。该方法极大地方便了人们的生活，也避免了一些人工失误。
发明内容
本发明要解决的技术问题是提供一种垃圾自动分类的方法。
为解决上述技术问题，本发明提供一种垃圾自动分类的方法，包括以下步骤：
S01、图像采集
在垃圾分类装置的流水线上方设置垃圾图像采集装置，分别对每个垃圾进行图像采集， 然后将采集到的垃圾图像传到上位机进行处理；
S02、图像预处理
在上位机中，将S01采集的每个垃圾图像依次进行以下操作：
S0201、将垃圾图像放缩到尺寸为112*112像素且包含垃圾的图片；
S0202、将PIL.Image或者NumPy数据类型图片转换成形状为(C,H,W)的Tensor格式，再归 一化到[0,1]之间，再通过调整均值mean和方差std的值进一步将[0，1]的张量归一化到[-1,1] 上；
S03、建立和训练垃圾自动分类Attention-ResNext网络，并将训练好的垃圾自动分类 Attention-ResNext网络模型保存；
S04、垃圾分类识别并输出分类结果
将S02图像预处理后的112*112*3的张量输入至S03训练好的垃圾自动分类Attention-ResNext网络中，分辨出图片中的垃圾属于纸盒、玻璃、金属、塑料、废品还是纸张 的各类的概率，取最高值者为识别结果，根据识别的结果，上位机指令垃圾分类机械手抓取 识别的垃圾并放入对应的垃圾收集腔室中，实现垃圾分类的自动化。
作为一种垃圾自动分类的方法的改进，所述步骤S03建立和训练自动分类Attention-ResNext网络的步骤包括：
S0301、垃圾自动分类Attention-ResNext网络
基于ResNext-101网络模型建立垃圾自动分类Attention-ResNext：第一层为一个卷积核大 小为7*7卷积层Conv1，第二层为最大值池化Max Pooling，采用ReLU函数为非线性激活函数； 然后，依次为三轮聚合残差卷积结构ResNext，分别为Layer1、Layer2和Layer3，基数均为32， 通道数分别设为n＝3、n＝4和n＝12，然后进入注意力机制CBAM1；再经过一轮为Layer4的聚合 残差卷积结构ResNext，Layer4的通道数设为n＝5，基数仍为32；再经过注意力机制CBAM2； 最后，经过平均池化层Avg Pool后输入全连接层fc进行计算被识别目标的分类概率，分类概率 计算采用Softmax分类器，输出为属于纸盒、玻璃、金属、塑料、废品、纸张各类的概率；
S0302、训练垃圾自动分类Attention-ResNext网络
1)、数据集设置：
从网上下载数据集为TrashNet，分别包括纸盒、玻璃、金属、塑料、废品和纸张六大类， 共有2527张图片，背景均为白色，尺寸均为512x384像素；
在上位机中，对数据集的图片先随机剪裁出尺寸为112*112像素的图片；然后对裁剪出的 112*112像素的图片进行对比度增强、颜色增强、竖直翻转、旋转20°的数据增强策略操作， 对应地得到对比度增强的图片、颜色增强的图片、竖直翻转的图片、旋转20°的图片，数据 集由原本的2527张图扩充为12635张，并对每张图片设置对应的标签；随机挑选10828张图片 作为训练集，挑选的图片均匀分布于包含垃圾的图片、不包含垃圾的图片和包含部分垃圾的 图片，剩余的1807张图片作为测试集；
2)、训练和测试：
将训练集经过步骤S0202图像预处理后作为垃圾自动分类Attention-ResNext网络的输入， 采用随机梯度下降SGD作为垃圾自动分类Attention-ResNext网络的优化算法，使用动态学习率 MultiSepLR，初始学习率α＝0.001，动态梯度gamma＝0.2，共训练200个时期epoch，学习率在 epoch＝[60,120,160]时改变；同时，采用交叉熵损失函数进行随机梯度下降SGD的优化，批尺 寸batch_size设置为128，共进行200轮，每一轮均包括训练和测试二个过程；
每一轮训练垃圾自动分类Attention-ResNext网络计算获得的属于纸盒、玻璃、金属、塑料、 废品、纸张各类的概率，结果输入到优化算法随机梯度下降SGD，用最小二乘法计算损失函 数，进行反向传播不断迭代从而优化网络权重；
在每轮的训练完成后，输入一批测试集：与所设置的标签一致的为识别正确，准确率的 定义为本轮被正确识别的图片占本轮所有的测试图片的比例；当输出的垃圾分类的识别准确 率较低时，利用梯度类激活映射Grad-CAM可视化技术将网络模型关注的部分以热力图的形式标记出来以调整结构的不足；
如此经过200轮的训练和测试，将训练好的垃圾自动分类Attention-ResNext网络模型保存。
本发明的技术优势主要体现在：
1.本发明一种垃圾自动分类的方法，通过实验对比得出的最佳数据增强策略对前期采集 的图片进行预处理，采用改进的聚合残差模型和注意力机制的垃圾自动分类Attention-ResNext 网络模型，使得垃圾分类可以实现智能识别自动分类，增强对模型的识别能力，解决了现有的垃圾分类采用人工分类，效率低，人工成本较高等问题；
2.本发明一种垃圾自动分类的方法，采用改进的聚合残差模型，通过SGD反向迭代优化 模型，同时使用可视化技术提高机器学习的效率，使得垃圾自动分类Attention-ResNext网络模型的准确率达到实际使用需求。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明一种垃圾自动分类的方法的流程示意图；
图2为图1中垃圾自动分类Attention-ResNext网络的结构示意图；
图3为图1中训练垃圾自动分类Attention-ResNext网络的流程示意图；
图4为图2中聚合残差卷积结构ResNext的结构示意图；
图5为图2中注意力机制CBAM的结构示意图；
图6为ResNext50和ResNext101对数据集图片进行一般性扩充后分别进行垃圾分类识别 的准确率统计图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1、一种垃圾自动分类的方法，如图1所示，图1中虚线路径为网络建立、训练过程，实线路径为在线生产过程，所述的垃圾自动分类算法包括以下步骤：
S01、图像采集
在垃圾分类装置的流水线上方设置垃圾图像采集装置，分别对每个垃圾进行图像采集， 然后将采集到的垃圾图像传到上位机进行处理。
S02、图像预处理
在上位机中，将S01采集的每个垃圾图像依次进行以下操作：
S0201、将图像放缩到尺寸为112*112像素且包含垃圾的图片；
S0202、将PIL.Image或者NumPy数据类型图片转换成形状为(C,H,W)的Tensor格式， 将其归一化到[0,1]之间，再通过调整均值mean和方差std的值进一步将[0，1]的张量归一化 到[-1,1]上；
图像经过预处理后，输出为112*112*3的张量作为垃圾自动分类Attention-ResNext网络的 输入。
S03、建立并训练垃圾自动分类Attention-ResNext网络
S0301、垃圾自动分类Attention-ResNext网络
基于ResNext-101网络模型建立垃圾自动分类Attention-ResNext，如图2所示，垃圾自动 分类Attention-ResNext网络的结构如下：第一层为一个卷积核大小为7*7卷积层Conv1，第 二层为池化层，用以提炼特征获得特征图，池化层为最大值池化Max Pooling，采用ReLU函 数为非线性激活函数用以提高鲁棒性，防止过拟合；然后，将经过池化层获得的特征图经过 三轮聚合残差卷积结构ResNext，分别为Layer1、Layer2和Layer3，其基数均为32，通道数 分别设为n＝3、n＝4和n＝12，然后进入注意力机制CBAM(图2中标识为CBAM1)获得更 加精确的权重分布；再经过一轮为Layer4的聚合残差卷积结构ResNext，Layer4的通道数设 为n＝5，基数仍为32；再经过注意力机制CBAM(图2中标识为CBAM2)输出最终的特征图，使得模型的注意力不会分散在无目标的地方，网络训练效率大大提升；获得的最终的特征图经过平均池化层Avg Pool后输入全连接层fc进行计算目标被识别目标的分类概率，分类概率计算采用Softmax分类器，输出为属于纸盒、玻璃、金属、塑料、废品、纸张各类的概率；
聚合残差卷积结构ResNext结合了网络堆叠的思想和拆分-转换-合并的策略，用一种平行 堆叠相同拓扑结构的blocks代替原来深度残差网络ResNet的三层卷积的block，通过增加基 数(Cardinality)将神经网络的通道拆分，在不增加参数复杂度的情况下提高准确率；深度残 差网络ResNet是典型的残差结构，其基本结构如图4(a)所示，当基数为32，也就有32个 残差函数时，每个残差函数包括三层，第一层和最后一层标注的是通道数和通道宽度，中间层标注有卷积核大小，最后将其累加求和送入ReLu激活函数中，其结构如图4(b)所示； 而聚合残差卷积结构ResNext采用的是与其等价的结构，如图4(c)，采用的是分组卷积 Grouped Convolutions，同样是32个group，每个group的输入输出channels均为4，最后把 channels合并，可以有效地减少计算量；
注意力机制CBAM(Convolutional Block Attention Module)，如图5，包括通道注意力模 块(channel attention module)和空间注意力模块(spatial attentionmodule)，用以提高网络 识别图片中目标的区域，降低模型权重注意力分散的可能性；
注意力机制CBAM中的通道注意力模块(channel attention module)，输入是一个H× W×C的特征F，分别进行一个空间的全局平均池化AvgPool(F)和最大池化MaxPool(F)得到两个1×1×C的通道描述，再将它们分别送入一个两层的神经网络(Shared MLP)，第一层神经元个数为C/r，激活函数为ReLU，第二层神经元个数为C，再将经过神经网络得到的两个特征相加后，经过一个Sigmoid激活函数得到权重系数Mc，通道注意力模块(channelattention module)计算过程如下：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中分别为平均池化和最大值池化操作，MLP为多层神经网络操作，W0后使 用了ReLU作为非线性激活函数，W0∈RC/r×C，W1∈RC×C/r，
将权重系数Mc和原来的特征F相乘即可得到缩放后的新特征，即通道注意力模块(channel attention module)输出的H×W×C的新特征F’为：
空间注意力模块(spatial attention module)用来关注哪里的特征是有意义的，将通道注意 力模块(channel attention module)的输出的H×W×C的新特征F’分别进行平均池化AvgPool (F’)和最大池化MaxPoo(F’)得到两个H×W×1的特征，并将这两个特征按通道拼接在一起，经过一个7×7的卷积层，激活函数为Sigmoid，得到权重系数Ms，空间注意力模 块(spatial attention module)的计算过程为：
Ms(F)＝σ(f7×7([AvgPool(F)；MaxPool(F)]))
其中，f7×7表示7*7的卷积层；
将权重系数Ms和通道注意力模块(channel attention module)输出的H×W×C的特征F’ 相乘即可得到缩放后的新特征，即空间注意力模块(spatial attention module)输出的特征F” 为：
S0302、训练垃圾自动分类Attention-ResNext网络
训练环境均为Windows10操作系统，搭建Pytorch深度学习框架，编程环境基于Python， 服务器CPU i7 9700K，显卡GPU GTX 1080Ti，运行内存16G，训练过程如图3；
1、数据集设置：
从网上下载数据集为TrashNet，分别包括纸盒、玻璃、金属、塑料、废品和纸张六大类， 共有2527张图片，背景均为白色，尺寸均为512x384像素；
在上位机中，对数据集的图片先随机剪裁出尺寸为112*112像素的图片，由于数据集的 图片原有尺寸为均为512x384像素，因此裁剪出的112*112像素的图片为包含垃圾的图片、 不包含垃圾的图片和包含部分垃圾的图片之一，从而保证样本的多样性，提高训练的准确率；
数据集中的各类垃圾图片的数量并不充分需对其进行扩充，对裁剪出的112*112像素的 图片进行一般性扩充，包括对图片做对比度增强、亮度增强、竖直翻转、旋转20°、灰度图、 颜色增强、随机颜色的操作，将图片扩充后的数据集分别放入现有经典卷积神经网络 ResNext50和ResNext101模型，分别进行垃圾分类识别后统计垃圾识别的准确率，统计结果 如图6：与扩充前的对比结果显示对图片进行亮度增强、灰度以及颜色随机操作对结果没有 明显的正影响，甚至存在负影响，因此，选择先对图片进行对比度增强、颜色增强、竖直翻转、旋转20°的数据增强策略操作，对应地得到对比度增强的图片、颜色增强的图片、竖直 翻转的图片、旋转20°的图片，从而使数据集的数量扩增为原来的五倍；
数据集由原本的2527张图扩充为12635张并对每张图片设置对应的标签，随机挑选10828 张图片作为训练集，挑选的图片尽可能均匀分布于包含垃圾的图片、不包含垃圾的图片和包 含部分垃圾的图片，剩余的1807张图片作为测试集；
2、训练和测试：
将训练集再经过步骤S0202图像预处理后作为垃圾自动分类Attention-ResNext网络的输 入，采用随机梯度下降(SGD)作为垃圾自动分类Attention-ResNext网络的优化算法，使用 动态学习率(MultiSepLR)，初始学习率α＝0.001，动态梯度gamma＝0.2，共训练200个时 期(epoch)，学习率在epoch＝[60,120,160]时改变；同时，采用交叉熵损失函数进行随机梯 度下降(SGD)的优化，批尺寸(batch_size)设置为128，共进行200轮，每一轮均包括训 练和测试二个过程，如图3；
每一轮训练垃圾自动分类Attention-ResNext网络计算获得的属于纸盒、玻璃、金属、塑 料、废品、纸张各类的概率，每一轮计算获得的结果输入到优化算法随机梯度下降(SGD)， 用最小二乘法计算损失函数，进行反向传播不断迭代从而优化网络权重；
在每轮的训练完成后，输入一批测试集，用于测试该轮的识别准确率：与所设置的标签 一致的为识别正确，准确率的定义为本轮被正确识别的图片占本轮所有的测试图片的比例； 当输出的垃圾分类的识别准确率较低时(例如低于90％)，可以利用梯度类激活映射(Grad-CAM)可视化技术将网络模型关注的部分以热力图的形式标记出来以调整结构的不足； 如此经过200轮的训练和测试，准确率结果如图6，最后的40轮的准确率平均值为97.32％， 其中最高准确率为98.23％；
最后，将训练好的垃圾自动分类Attention-ResNext网络模型保存。
S04、垃圾分类识别并输出分类结果
将S02图像预处理后的112*112*3的张量输入至S03训练好的垃圾自动分类Attention-ResNext网络中，分辨出图片中的垃圾属于纸盒、玻璃、金属、塑料、废品还是纸张各类的概率，取最高值者为识别结果，根据识别的结果，上位机指令垃圾分类机械手将所识别的垃圾放入对应的垃圾收集腔室中，从而完成垃圾识别、分类并收集的过程，实现垃圾分类的自动化。
需指出的是，上述上位机对机械手控制和机械手为现有技术，在此不对其实现原理和结 构进行详细描述。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不 限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导 出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (2)

1.一种垃圾自动分类的方法，其特征在于包括以下步骤：
S01、图像采集
在垃圾分类装置的流水线上方设置垃圾图像采集装置，分别对垃圾进行图像采集，然后将采集到的垃圾图像传到上位机进行处理；
S02、图像预处理
在上位机中，将S01采集的每个垃圾图像依次进行以下操作：
S0201、将垃圾图像放缩到尺寸为112*112像素且包含垃圾的图片；
S0202、将PIL.Image或者NumPy数据类型图片转换成形状为(C,H,W)的Tensor格式，再归一化到[0,1]之间，再通过调整均值mean和方差std的值进一步将[0，1]的张量归一化到[-1,1]上；
S03、建立和训练垃圾自动分类Attention-ResNext网络，并将训练好的垃圾自动分类Attention-ResNext网络模型保存；包括：
S0301、垃圾自动分类Attention-ResNext网络
基于ResNext-101网络模型建立垃圾自动分类Attention-ResNext：第一层为一个卷积核大小为7*7卷积层Conv1，第二层为最大值池化Max Pooling，采用ReLU函数为非线性激活函数；然后，依次为三轮聚合残差卷积结构ResNext，分别为Layer1、Layer2和Layer3，基数均为32，通道数分别设为n＝3、n＝4和n＝12，然后进入注意力机制CBAM1；再经过一轮为Layer4的聚合残差卷积结构ResNext，Layer4的通道数设为n＝5，基数仍为32；再经过注意力机制CBAM2；最后，经过平均池化层Avg Pool后输入全连接层fc进行计算被识别目标的分类概率，分类概率计算采用Softmax分类器，输出为属于纸盒、玻璃、金属、塑料、废品、纸张各类的概率；
S0302、训练垃圾自动分类Attention-ResNext网络
1)、数据集设置：
从网上下载数据集为TrashNet，分别包括纸盒、玻璃、金属、塑料、废品和纸张六大类，共有2527张图片，背景均为白色，尺寸均为512x384像素；
在上位机中，对数据集的图片先随机剪裁出尺寸为112*112像素的图片；然后对裁剪出的112*112像素的图片进行对比度增强、颜色增强、竖直翻转、旋转20°的数据增强策略操作，对应地得到对比度增强的图片、颜色增强的图片、竖直翻转的图片、旋转20°的图片，数据集由原本的2527张图扩充为12635张并对每张图片设置对应的标签；随机挑选10828张图片作为训练集，挑选的图片均匀分布于包含垃圾的图片、不包含垃圾的图片和包含部分垃圾的图片，剩余的1807张图片作为测试集；
2)、训练和测试：
将训练集经过步骤S0202图像预处理后作为垃圾自动分类Attention-ResNext网络的输入，采用随机梯度下降SGD作为垃圾自动分类Attention-ResNext网络的优化算法，使用动态学习率MultiSepLR，初始学习率α＝0.001，动态梯度gamma＝0.2，共训练200个时期epoch，学习率在epoch＝[60,120,160]时改变；同时，采用交叉熵损失函数进行随机梯度下降SGD的优化，批尺寸batch_size设置为128，共进行200轮，每一轮均包括训练和测试二个过程；
每一轮训练垃圾自动分类Attention-ResNext网络计算获得的属于纸盒、玻璃、金属、塑料、废品、纸张各类的概率，结果输入到优化算法随机梯度下降SGD，用最小二乘法计算损失函数，进行反向传播不断迭代从而优化网络权重；
在每轮的训练完成后，输入一批测试集：与所设置的标签一致的为识别正确，准确率的定义为本轮被正确识别的图片占本轮所有的测试图片的比例；当输出的垃圾分类的识别准确率较低时，利用梯度类激活映射Grad-CAM可视化技术将网络模型关注的部分以热力图的形式标记出来以调整结构的不足；
如此经过200轮的训练和测试，将训练好的垃圾自动分类Attention-ResNext网络模型保存；
S04、垃圾分类识别并输出分类结果
将S02图像预处理后的112*112*3的张量输入至S03训练好的垃圾自动分类Attention-ResNext网络中，分辨出图片中的垃圾属于纸盒、玻璃、金属、塑料、废品还是纸张的各类的概率，取最高值者为识别结果，根据识别的结果，上位机指令垃圾分类机械手抓取识别的垃圾并放入对应的垃圾收集腔室中，实现垃圾分类的自动化。
2.根据权利要求1所述的一种垃圾自动分类的方法，其特征在于：
步骤S0301中：
注意力机制CBAM，包括通道注意力模块和空间注意力模块，用以提高网络识别图片中目标的区域，降低模型权重注意力分散的可能性；
注意力机制CBAM中的通道注意力模块，输入是一个H×W×C的特征F，分别进行一个空间的全局平均池化AvgPool(F)和最大池化MaxPool(F)得到两个1×1×C的通道描述，再将它们分别送入一个两层的神经网络，第一层神经元个数为C/r，激活函数为ReLU，第二层神经元个数为C，再将经过神经网络得到的两个特征相加后，经过一个Sigmoid激活函数得到权重系数Mc，通道注意力模块计算过程如下：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中分别为平均池化和最大值池化操作，MLP为多层神经网络操作，W0后使用了ReLU作为非线性激活函数，W0∈RC/r×C，W1∈RC×C/r，
将权重系数Mc和原来的特征F相乘即可得到缩放后的新特征，即通道注意力模块输出的H×W×C的新特征F’为：
空间注意力模块用来关注哪里的特征是有意义的，将通道注意力模块的输出的H×W×C的新特征F’分别进行平均池化AvgPool(F’)和最大池化MaxPool(F’)得到两个H×W×1的特征，并将这两个特征按通道拼接在一起，经过一个7×7的卷积层，激活函数为Sigmoid，得到权重系数Ms，空间注意力模块的计算过程为：
Ms(F’)＝σ(f7×7([AvgPool(F)；MaxPool(F)]))
其中，f7×7表示7*7的卷积层；
将权重系数Ms和通道注意力模块输出的H×W×C的特征F’相乘即可得到缩放后的新特征，即空间注意力模块输出的特征F”为：
CN202010957800.8A 2020-09-14 2020-09-14 一种垃圾自动分类的方法 Active CN112241679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010957800.8A CN112241679B (zh) 2020-09-14 2020-09-14 一种垃圾自动分类的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010957800.8A CN112241679B (zh) 2020-09-14 2020-09-14 一种垃圾自动分类的方法

Publications (2)

Publication Number Publication Date
CN112241679A CN112241679A (zh) 2021-01-19
CN112241679B true CN112241679B (zh) 2024-02-20

Family

ID=74170823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010957800.8A Active CN112241679B (zh) 2020-09-14 2020-09-14 一种垃圾自动分类的方法

Country Status (1)

Country Link
CN (1) CN112241679B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884033B (zh) * 2021-02-06 2021-10-22 浙江净禾智慧科技有限公司 一种基于卷积神经网络的生活垃圾分类检测方法
CN113066081B (zh) * 2021-04-15 2023-07-18 哈尔滨理工大学 一种基于三维mri图像的乳腺肿瘤分子亚型检测方法
CN113158956B (zh) * 2021-04-30 2024-06-14 杭州电子科技大学 一种基于改进型yolov5网络的垃圾检测与识别方法
CN113450401A (zh) * 2021-07-19 2021-09-28 北京航空航天大学杭州创新研究院 垃圾桶满溢度确定方法、装置、设备及垃圾桶
CN113627558A (zh) * 2021-08-19 2021-11-09 中国海洋大学 鱼类图像识别方法、系统及设备
CN113569817B (zh) * 2021-09-23 2021-12-21 山东建筑大学 基于图像区域定位机制的驾驶人注意力分散检测方法
CN114429573A (zh) * 2022-01-10 2022-05-03 华侨大学 一种基于数据增强的生活垃圾数据集生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679572A (zh) * 2017-09-29 2018-02-09 深圳大学 一种图像判别方法、存储设备及移动终端
CN110503635A (zh) * 2019-07-30 2019-11-26 浙江工业大学 一种基于异构数据融合网络的手骨x光片骨龄评估方法
CN110626662A (zh) * 2019-10-12 2019-12-31 张颢宸 一种基于图像识别的垃圾自分类方法及设备
CN110924340A (zh) * 2019-11-25 2020-03-27 武汉思睿博特自动化系统有限公司 一种用于智能捡垃圾的移动机器人系统与实现方法
CN111056183A (zh) * 2019-11-29 2020-04-24 华东师范大学 一种基于zynq的实时智能垃圾自分类系统
CN111104898A (zh) * 2019-12-18 2020-05-05 武汉大学 基于目标语义和注意力机制的图像场景分类方法及装置
CN111274999A (zh) * 2020-02-17 2020-06-12 北京迈格威科技有限公司 数据处理、图像处理方法、装置及电子设备
CN111291799A (zh) * 2020-01-21 2020-06-16 青梧桐有限责任公司 房间窗户分类模型构建方法、房间窗户分类方法及系统
CN111646045A (zh) * 2020-07-08 2020-09-11 湖南理工学院 一种用于垃圾智能识别自动分类的四分类垃圾桶

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361225B2 (en) * 2018-12-18 2022-06-14 Microsoft Technology Licensing, Llc Neural network architecture for attention based efficient model adaptation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679572A (zh) * 2017-09-29 2018-02-09 深圳大学 一种图像判别方法、存储设备及移动终端
CN110503635A (zh) * 2019-07-30 2019-11-26 浙江工业大学 一种基于异构数据融合网络的手骨x光片骨龄评估方法
CN110626662A (zh) * 2019-10-12 2019-12-31 张颢宸 一种基于图像识别的垃圾自分类方法及设备
CN110924340A (zh) * 2019-11-25 2020-03-27 武汉思睿博特自动化系统有限公司 一种用于智能捡垃圾的移动机器人系统与实现方法
CN111056183A (zh) * 2019-11-29 2020-04-24 华东师范大学 一种基于zynq的实时智能垃圾自分类系统
CN111104898A (zh) * 2019-12-18 2020-05-05 武汉大学 基于目标语义和注意力机制的图像场景分类方法及装置
CN111291799A (zh) * 2020-01-21 2020-06-16 青梧桐有限责任公司 房间窗户分类模型构建方法、房间窗户分类方法及系统
CN111274999A (zh) * 2020-02-17 2020-06-12 北京迈格威科技有限公司 数据处理、图像处理方法、装置及电子设备
CN111646045A (zh) * 2020-07-08 2020-09-11 湖南理工学院 一种用于垃圾智能识别自动分类的四分类垃圾桶

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Functional Link Neural Network for Predicting Crystallization Temperature of Ammonium Chloride in Air Cooler System;Jin Haozhe，Gu Yong，Ren Jia，Wu Xiangyao， Quan Jianxun， Xu Linfengyi;《Simulation and Optimization》;全文 *
基于卷积神经网络的垃圾图像分类算法;董子源;韩卫光;;计算机系统应用(第08期);全文 *
基于多注意力机制的深度神经网络故障诊断算法;王翔;任佳;;浙江理工大学学报(自然科学版)(第02期);全文 *

Also Published As

Publication number Publication date
CN112241679A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112241679B (zh) 一种垃圾自动分类的方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN111008618B (zh) 一种自注意力深度学习端到端的行人再识别方法
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN112529090B (zh) 一种基于改进YOLOv3的小目标检测方法
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
CN107516103A (zh) 一种影像分类方法和系统
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知系统
CN112836651B (zh) 基于动态融合机制的手势图像特征提取方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN112308825A (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN114663769B (zh) 一种基于YOLO v5的水果识别方法
CN114266757A (zh) 一种基于多尺度融合注意力机制的糖尿病性视网膜病变分级方法
Luan et al. Sunflower seed sorting based on convolutional neural network
CN113537173B (zh) 一种基于面部补丁映射的人脸图像真伪识别方法
CN117036243A (zh) 刨花板表面缺陷检测的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant