CN112620165B - 垃圾分类方法 - Google Patents

垃圾分类方法 Download PDF

Info

Publication number
CN112620165B
CN112620165B CN202011461877.2A CN202011461877A CN112620165B CN 112620165 B CN112620165 B CN 112620165B CN 202011461877 A CN202011461877 A CN 202011461877A CN 112620165 B CN112620165 B CN 112620165B
Authority
CN
China
Prior art keywords
garbage
image
model
training
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011461877.2A
Other languages
English (en)
Other versions
CN112620165A (zh
Inventor
杨杰
陈智超
康庄
黄经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Science and Technology
Original Assignee
Jiangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Science and Technology filed Critical Jiangxi University of Science and Technology
Priority to CN202011461877.2A priority Critical patent/CN112620165B/zh
Publication of CN112620165A publication Critical patent/CN112620165A/zh
Application granted granted Critical
Publication of CN112620165B publication Critical patent/CN112620165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/38—Collecting or arranging articles in groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Abstract

本发明提供一种垃圾分类方法，该方法基于人工智能图像识别技术，进行设计自动垃圾分类方法，以应用于垃圾分类智能设备等产品。本发明采用深度学习技术设计了基于残差神经网络的特征提取器，使垃圾图像分类模型在可接受的时间内，网络深度能够更深，实现高精度的垃圾种类判别。本发明的方法训练更简单、精度更高。发明的方法将人工智能领域应用到垃圾分类识别方法中，在识别精度和识别速度上达到了很好的效果。本发明的方法可应用于垃圾分类分拣，便于垃圾分类回收利用，减少环境污染，实现资源的再利用。

Description

垃圾分类方法
技术领域
本发明涉及垃圾分类技术，具体而言涉及一种垃圾分类方法。
背景技术
随着社会的进步，人们的生活水平和质量逐渐提高，能够消费的东西也日益增多，因此产生的垃圾也越来越多，垃圾主要采用填埋和焚烧等办法进行处理。为了有效地减少垃圾的处理量，减缓对地球资源的消耗，可以对垃圾中可回收的垃圾进行分类回收再利用。分类的目的是提高垃圾的资源价值和经济价值，力争物尽其用。随着对垃圾回收分类的要求变得越来越严格，需要对日常生活垃圾进行准确分类，可回收垃圾的分类回收方法主要包括人工拣选、风选等，其人工成本高、处理速度慢、效率低。
现有方法中，对垃圾进行分类识别，效率低下；利用高光谱技术进行分拣检测精度高、分类效果好，但抗环境干扰能力差；采用支持向量机算法进行分类，识别精度低，数据需求量大。
因此，目前需要一种精度高、速度快、分类过程快捷高效的垃圾分类方法来解决上述问题。
发明内容
本发明针对现有技术的不足，提供一种垃圾分类方法，可应用于垃圾分类设备、垃圾分类软件等智能化产品，以促进资源的高效回收。
为了实现上述目的，本发明第一方面提供一种垃圾分类方法，该方法包括：
S1、采集生活垃圾图像，形成生活垃圾图像数据集；
S2、将步骤S1中的数据集送入深度卷积神经网络中进行模型的训练，形成垃圾图像分类模型；在垃圾图像分类模型的训练过程中，垃圾图像分类模型训练完一个epoch后，就进行模型验证；训练完毕后使用测试集测试垃圾图像分类模型；
S3、读取图像采集设备的视频帧图像，将该帧图像传输到步骤S2中训练好的垃圾图像分类模型中；所述视频帧作为垃圾图像分类模型的输入层，进行神经网络计算，在垃圾图像分类模型的输出层得到所述视频帧的类别ID及其概率值；
S4、设定垃圾类别的对应关系，实现垃圾的自动分类。
优选地，所述生活垃圾图像数据集中的生活垃圾图像来源为网络照片和现实生活照片、公共数据集，数据集中的生活垃圾图像采用图像增强技术进行随机扩充。
优选地，所述图像增强技术包括随机翻转、随机亮度和随机裁剪。
优选地，根据所选的垃圾图像分类模型，将所有生活垃圾图像缩放到统一大小。
优选地，步骤S2中，数据集被划分为训练集、验证集和测试集；训练集用于网络的自主学习，验证集用于验证模型是否存在过拟合现象；测试集用于测试模型的最终精度。
优选地，所述垃圾图像分类模型训练过程包含优化技巧；所述优化技巧包含余弦退火学习率、迁移学习。
优选地，步骤S2中，所述垃圾图像分类模型还包含损失函数，所述损失函数为交叉熵损失函数，所述交叉熵损失函数分为p(x)和q(x)，p(x)代表数据的真实编码，q(x)代表经过softmax输出后的预测结果，交叉熵损失函数如下：
Figure BDA0002829574150000021
优选地，所述余弦退火学习率的规则为：
Figure BDA0002829574150000031
表达式中：i是训练次数的索引值，
Figure BDA0002829574150000032
和
Figure BDA0002829574150000033
分别表示学习率的最大值和最小值，定义了学习率的范围，Tcur表示当前执行的epoch数，Ti是设定训练的epoch总数。
优选地，步骤S3中，所述类别ID由数据集中所包含的生活垃圾类别确定。
优选地，所述垃圾图像分类模型的算法模型为Inception v3算法模型、SVM算法模型、VGG算法模型、ResNet-50算法模型中的一种。
优选地，所述垃圾图像分类模型的算法模型为ResNet-50算法模型中的一种。
优选地，所述垃圾图像分类模型训练过程中还包含使用硬件进行加速训练。
优选地，所述硬件包含GPU、TPU、英特尔神经计算棒中的一种或者多种。
本发明第二方面提供一种垃圾分类方法，该方法包括在基于人工智能的自动垃圾分选装置中进行，该装置包括：
垃圾给料主体(10)及收集装置(20)，所述垃圾给料主体(10)包括传动机构(101)、图像采集器(103)及感应传感器(104)，所述传动机构(101)表面两侧均设置有感应传感器(104)，所述感应传感器(104)后侧设置有第一支架(102)，所述第一支架(102)的顶部设置有图像采集器(103)；
所述收集装置(20)用于接收所述垃圾给料主体(10)的分类垃圾，所述收集装置(20)包括设有固定支架(202)的底座(201)及围绕所述底座(201)上的固定支架(202)设置的收集箱体(207)，所述固定支架(202)配置有执行电机(208)、传动连接杆(203)、旋转杆(204)及分类挡板(205)，所述执行电机(208)驱动传动连接杆(203)、旋转杆(204)及分类挡板(205)旋转配合实现分类垃圾投入对应收集箱体(207)内；
该方法包括以下步骤：
a、将垃圾通过上料装置间隔投递到传动机构(101)上；垃圾经过传动机构(101)两侧的感应传感器(104)触发图像采集器(103)进行图像采集；形成生活垃圾图像数据集；
b、将步骤a中的数据集送入深度卷积神经网络中进行模型的训练，生成垃圾图像分类模型；在垃圾图像分类模型的训练过程中，垃圾图像分类模型训练完一个epoch后，就进行模型验证；训练完毕后使用测试集测试垃圾图像分类模型；
c、读取图像采集器(103)的视频帧图像，将该帧图像传输到步骤S2中训练好的垃圾图像分类模型中；所述视频帧作为垃圾图像分类模型的输入，进行神经网络计算，在垃圾图像分类模型的输出层得到所述视频帧的类别ID及其概率值；
d、再根据所述收集箱体(207)标识不同种类垃圾的位置，根据垃圾类别ID的对应关系，以此确定所述执行电机(208)的转动策略，实现垃圾的自动分类。
本发明提供的垃圾分类方法，基于人工智能图像识别技术，进行设计自动垃圾分类算法，能够应用于垃圾分类设备、垃圾分类软件等智能化产品。
本发明提供的垃圾分类方法，使垃圾图像分类模型在可接受的时间内，网络深度能够更深，实现高精度的垃圾种类判别，使本发明基于人工智能的自动垃圾分类方法运作速度快，能做到及时响应，保证了算法的实时性和准确性。
本发明将人工智能领域的最新进展应用到垃圾分类领域中，在识别精度和识别速度上都有很好的效果，本发明的垃圾分类方法应用于垃圾分类设备、垃圾分类软件等智能化产品，便于生活垃圾分类回收，减少环境污染，实现资源的再利用。
附图说明
图1为本发明一种优选实施方式提供的采用ResNet-50算法模型的网络结构图；
图2为本发明一种优选实施方式提供自动垃圾分类方法的流程图；
图3为本发明利用ResNet-50物体识别方法所进行测试的识别结果图；
图4为本发明的自动垃圾分类方法中所使用的图像增强技术效果图；
图5为本发明的自动垃圾分类方法优化技巧中所用到的余弦退火学习率策略对应的学习率规律曲线图；
图6为本发明基于人工智能的自动垃圾分选装置；
图7为本发明中收集装置的机械结构示意图。
附图标记说明
10、垃圾给料主体 101、传动机构
102、第一支架 103、图像采集器
104、感应传感器 20、收集装置
201、底座 202、固定支架
203、传动连接杆 204、旋转杆
205、分类挡板 207、收集箱体
208、执行电机 301、驱动电机
302、控制器
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种垃圾分类方法，该方法包括：
S1、采集生活垃圾图像，形成生活垃圾图像数据集；
S2、将步骤S1中的数据集中的数据样本进行one-hot编码，送入深度卷积神经网络中进行模型的训练，形成生活垃圾图像分类模型；在垃圾图像分类模型的训练过程中，垃圾图像分类模型训练完一个epoch后，就进行模型验证；训练完毕后使用测试集测试垃圾图像分类模型；
S3、读取图像采集设备的视频帧图像，将该帧图像传输到步骤S2中训练好的垃圾图像分类模型中；所述视频帧作为垃圾图像分类模型的输入层，进行神经网络计算，在垃圾图像分类模型的输出层得到所述视频帧的类别ID及其概率值；
S4、设定垃圾类别的对应关系，实现垃圾的自动分类。
根据本发明，优选地，所述生活垃圾图像数据集中的生活垃圾图像来源为网络照片、现实生活照片和其他数据集中截取获得的生活垃圾图片。
根据本发明，优选地，数据集中的生活垃圾图像采用图像增强技术进行随机扩充，扩充数据集中的样本数量。
根据本发明，优选地，利用图像增强技术扩展训练图像，加强识别的抗干扰能力；更优选地，所述图像增强技术包括随机翻转、随机亮度和随机裁剪；图4为本发明的自动垃圾分类方法中所使用的图像增强技术效果图。
根据本发明，为了高精度和快速识别图像，所述深度卷积神经垃圾图像分类模型的算法模型为Inception v3算法模型、SVM算法模型、VGG算法模型、ResNet算法模型中的一种；优选为，ResNet算法模型，包含ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152等算法模型；前述ResNet算法模型采用恒等映射的思想，网络如果不需要更深的深度,可以走恒等映射的道路,而将残差映射置为0,从而不强迫数据经过很深的网络，加快了梯度的传播效率；更优选为ResNet-50算法模型，ResNet-50算法模型识别精度高并且耗时较少，保证了算法的实时性和准确性，更加适合本发明自动垃圾分类方法。
根据本发明的一种优选实施方式，基于深度学习技术架构开发一种自动垃圾分类方法，图1为本发明所采用的ResNet-50算法网络结构图，采用残差连接的思路加强梯度传播效率。
根据本发明一种优选实施方式，图2为本发明提供的自动垃圾分类方法流程图，采用的ResNet-50算法模型作为垃圾图像分类模型，该方法包括以下步骤：
S1、采集生活垃圾图像，形成生活垃圾图像数据集；
S2、将步骤S1中的数据集中的数据样本进行one-hot编码，送入到深度卷积神经网络ResNet-50中进行模型的训练，形成生活垃圾图像分类模型；在垃圾图像分类模型的训练过程中，垃圾图像分类模型训练完一个epoch后，就进行模型验证；训练完毕后使用测试集测试垃圾图像分类模型；
S3、读取图像采集设备的视频帧图像，将该帧图像传输到步骤S2中训练好的垃圾图像分类模型中；所述视频帧作为垃圾图像分类模型的输入层，进行神经网络计算，在垃圾图像分类模型的输出层得到所述视频帧的类别ID及其概率值；
S4、设定垃圾类别的对应关系，实现垃圾的自动分类。
根据本发明的一种优选实施方式，根据所选的ResNet-50垃圾图像分类模型，将所有生活垃圾图像缩放到统一大小，例如图像大小为224×224像素，ResNet有4次下采样，每次采样步长为2，刚好可以得到整数尺寸。
根据本发明，优选地，步骤S2中，数据集被划分为训练集、验证集和测试集；训练集用于网络的自主学习，验证集用于验证模型是否存在过拟合现象；测试集用于测试模型的最终精度。
根据本发明的，步骤S2中，为了约束训练网络，优化神经网络参数，所述垃圾图像分类模型还包含损失函数，优选地，所述损失函数为交叉熵损失函数，所述交叉熵损失函数分为p(x)和q(x)，p(x)代表数据的真实编码，q(x)代表经过softmax输出后的预测结果，交叉熵损失函数如下：
Figure BDA0002829574150000081
所述交叉熵损失函数交叉熵越小，预测值和真实值的概率的分布就越接近，利用该损失函数约束训练网络,有助于优化神经网络的参数。
根据本发明，所述垃圾图像分类模型训练过程，学习率过小会导致网络优化速度缓慢，学习率过大则会导致网络在极优值附近摆动，导致网络不能收敛。根据本发明的一种优选实施方式，本发明采用余弦退火算法对学习率进行动态调整。余弦退火学习率的规则如下：
Figure BDA0002829574150000082
表达式中：i是训练次数的索引值，
Figure BDA0002829574150000083
和
Figure BDA0002829574150000084
分别表示学习率的最大值和最小值，定义了学习率的范围，Tcur表示当前执行的epoch数，Ti是设定训练的epoch总数。余弦函数中，随着x的增加余弦值先缓慢下降，然后加速下降，之后再缓慢下降。这种下降模式非常适合学习率的下降，其学习率随训练轮数的变化呈周期性变化，使得模型跳出当前的局部最优解，进而寻找优于当前的解，实现模型精度的提升。如图5所示，本发明余弦退火学习率策略对应的学习率规律曲线图。采用前述技术方案，可以使得训练准确度得到提高，同时加强模型的泛化性能。
根据本发明的一种优选实施方式，所述垃圾图像分类模型训练过程，还包含的优化策略是迁移学习。所述迁移学习过程为：
a、下载官方给出的ResNet-50在ImageNet中的训练模型，并删除其末尾的全局平均池化层和全连接层；
b、将处理的模型进行保存，并且冻结当前模型所有网络层参数；
c、在当前模型末端添加全局平均池化层和全连接层，设置这两层网络参数可训练，并将具有分类效果的全连接层的节点数设置为垃圾种类数。
本发明的垃圾图像分类问题的数据规模属于小规模(训练样本在10k以下)，预先加载模型在大数据集上训练好的权重，即迁移学习，可以使得训练准确度得到提高，同时加强模型的泛化性能。
根据本发明，优选地，步骤S3中，所述类别ID由数据集中所包含的生活垃圾类别确定，从而实现根据实际需求设定垃圾类别的对应关系，进而实现垃圾的自动分类。
根据本发明，优选地，所述垃圾图像分类模型训练过程中还包含使用硬件进行加速训练，提高垃圾图像分类模型的训练速度；更优选地，所述硬件包含GPU、TPU、英特尔神经计算棒中的一种或多种。
本发明第二方面提供一种垃圾分类方法，该方法包括在基于人工智能的自动垃圾分选装置中进行，包括以下步骤：
a、将垃圾通过上料装置间隔投递到传动机构101上；垃圾经过传动机构101两侧的感应传感器104触发图像采集器103进行图像采集；形成生活垃圾图像数据集；
b、将步骤a中的数据集送入深度卷积神经网络中进行模型的训练，生成垃圾图像分类模型；在垃圾图像分类模型的训练过程中，垃圾图像分类模型训练完一个epoch后，就进行模型验证；训练完毕后使用测试集测试垃圾图像分类模型；
c、读取图像采集器103的视频帧图像，将该帧图像传输到步骤b中训练好的垃圾图像分类模型中；所述视频帧作为垃圾图像分类模型的输入，进行神经网络计算，在垃圾图像分类模型的输出层得到所述视频帧的类别ID及其概率值；
d、再根据所述收集箱体207标识不同种类垃圾的位置，根据垃圾类别ID的对应关系，以此确定所述执行电机208的转动策略，实现垃圾的自动分类。
本发明在训练好数据库后，将生成的模型文件调用，应用ResNet-50算法进行垃圾图片检测测试，分别对书本、塑料瓶、毛巾、碎玻璃、纸盒、橘子皮、香蕉皮、纸团、灯泡、电池、包装袋、树叶、金属块、塑料袋等多种垃圾进行了测试，具体识别图如图3所示，左上角白色字有物体的种类和对应的置信度，可以看出，识别效果良好，能很好的满足精度需求。
本发明第三方面提供一种基于人工智能的自动垃圾分选装置，其中，图6为本发明基于人工智能的自动垃圾分选装置；图7为本发明中收集装置的机械结构示意图。
根据图6和图7所示，垃圾给料主体10及收集装置20，所述垃圾给料主体10包括传动机构101、图像采集器103及感应传感器104，所述传动机构101表面两侧均设置有感应传感器104，所述感应传感器104后侧设置有第一支架102，所述第一支架102的顶部设置有图像采集器103；
所述收集装置20用于接收所述垃圾给料主体10的分类垃圾，所述收集装置20包括设有固定支架202的底座201及围绕所述底座201上的固定支架202设置的收集箱体207，所述固定支架202配置有执行电机208、传动连接杆203、旋转杆204及分类挡板205，所述执行电机208驱动传动连接杆203、旋转杆204及分类挡板205旋转配合实现分类垃圾投入对应收集箱体207内。
本发明提供一种基于人工智能的自动垃圾分选装置，包括：垃圾给料主体10及收集装置20，所述垃圾给料主体10包括传动机构101、图像采集器103及感应传感器104，所述传动机构101表面两侧均设置有感应传感器104，所述感应传感器104后侧设置有第一支架102，所述第一支架102的顶部设置有图像采集器103；
所述收集装置20用于接收所述垃圾给料主体10的分类垃圾，所述收集装置20包括设有固定支架202的底座201及围绕所述底座201上的固定支架202设置的收集箱体207，所述固定支架202配置有执行电机208、传动连接杆203、旋转杆204及分类挡板205，所述执行电机208驱动传动连接杆203、旋转杆204及分类挡板205旋转配合实现分类垃圾投入对应收集箱体207内。
具体地，将垃圾间隔倒入到所述传动机构101上，通过所述感应传感器104感知垃圾进入所述图像采集器103的识别区域对垃圾进行识别处理，在针对垃圾进行识别处理后落入所述分类挡板205上，通过所述执行电机208对所述传动连接杆203、所述旋转杆204和所述分类挡板205的旋转配合，将垃圾投放至相对应的所述收集箱体207内，进行快速有效的垃圾分类，能够有效的对生活垃圾进行分类回收，减少环境污染，实现资源的再利用。
具体地可以理解为，垃圾在投放至所述传动机构101时，垃圾经过上料设备对垃圾进行震动或干燥处理，使垃圾能够在进行设备投入传动机构上是能够保持相对的个体，不会粘稠在一起使所述图像采集器103对垃圾识别能力增强，有效的提高垃圾的识别成功率，减少识别错误率，所述执行电机208安装的传动连接杆203能够进行升降及对所述分类挡板205进行角度调节。
根据本发明的一种优选的实施方式，所述传动机构101内设置有驱动电机301和控制器303，所述驱动电机301通过延长线连接所述控制器303，所述控制器302连接至所述图像采集器103，所述驱动电机301用于驱动所述传动机构101。
根据本发明的一种优选的实施方式，所述控制器302包括：图像接收单元303，用于获取所述图像采集器103所采集的图像；图像处理单元304，用于处理所述图像采集器103所采集的图像，识别该图像中物体的种类；第一控制单元305，用于控制所述传动机构101的转动及处理所述图像处理单元304识别后的指令，所述第一控制单元305设定识别结果的存储变量，用于存储图像的历史识别数据。
具体地可以理解为，所述控制器302内设置有图像接收单元303、图像处理单元304及第一控制单元305，在所述图像接收单元303和图像处理单元304识别出垃圾图像信息后，通过所述第一控制单元305针对垃圾进行分类处理。
根据本发明的一种优选的实施方式，所述执行电机208设置有第二控制单元206，所述第一控制单元305的处理信息的发送信号至所述第二控制单元206，用于所述图像采集器103识别垃圾种类后驱动所述分类挡板205到指定方向。
根据本发明的一种优选的实施方式，所述收集箱体207为多个体积相同的箱体，所述第二控制单元206内存储有对应所述收集箱体207位置信息。
根据本发明的一种优选的实施方式，所述控制器302包含垃圾图像分类模型，所述垃圾图像分类模型包含以下学习过程：
a、采集生活垃圾图像，形成生活垃圾图像数据集；
b、将步骤a中的数据集送入神经网络中进行模型的训练，形成生活垃圾图像识别模型；在网络模型的训练过程中，网络模型训练完一个epoch后，就进行一次模型验证；训练完毕后使用测试集测试网络模型。
根据本发明的一种优选的实施方式，所述垃圾图像分类模型的算法模型为Inception v3算法模型、SVM算法模型、VGG算法模型、ResNet-50算法模型中的一种。
根据本发明的一种优选的实施方式，所述感应传感器104为具备障碍物感应的传感器，所述感应传感器104为光电传感器、超声波等距传感器中的一种。
本发明还提供一种垃圾分选的方法，所述垃圾分选的方法在上述基于人工智能的自动垃圾分选装置中进行；
S1、将垃圾间隔投递到传动机构101上；
S2、垃圾经过所述传动机构101两侧的感应传感器103触发图像采集器104进行图像采集；
S3、根据S1上料间隔时间和S2所述感应传感器104的感应时间，计算出所述传动机构101上送料到所述分类挡板205上的时间，再根据所述收集箱体207标识不同种类垃圾的位置，设置所述分类挡板205最优转角计算，以此确定所述执行电机208的转动策略，设定垃圾类别的对应关系，实现垃圾的自动分类。
实施例1
如图5所示，垃圾经过设备初步筛选后按间隔投入至所述传送机构101上，垃圾通过所述传送机构101的传送，通过所述感应传感器104的区域，在所述感应传感器104感应物体经过后，通过控制器302发送电信号至所述图像采集器103对所述传送机构101上的垃圾进行图像识别分类并归一化，按所述图像处理单元的垃圾识别的种类，所述第一控制单元305发送相应的指令使所述第二控制单元206选择识别垃圾种类的旋转策略，通过所述执行电机208的执行，使垃圾在到达所述分类挡板205后能够有效的投入至相对应的收集箱体207内，在投递完成之后所述分类挡板205回归原位进行下一次旋转投递。
以上结合附图和实施例详细描述了本发明的优选实施方式，但是，本发明并不限于此。在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，包括各个具体技术特征以任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。但这些简单变型和组合同样应当视为本发明所公开的内容，均属于本发明的保护范围。

Claims (9)

1.一种垃圾分类方法，其特征在于，该方法包括垃圾分选装置中进行，该装置包括：
垃圾给料主体(10)及收集装置(20)，所述垃圾给料主体(10)包括传动机构(101)、图像采集器(103)及感应传感器(104)，所述传动机构(101)表面两侧均设置有感应传感器(104)，所述感应传感器(104)后侧设置有第一支架(102)，所述第一支架(102)的顶部设置有图像采集器(103)；
所述收集装置(20)用于接收所述垃圾给料主体(10)的分类垃圾，所述收集装置(20)包括设有固定支架(202)的底座(201)及围绕所述底座(201)上的固定支架(202)设置的收集箱体(207)，所述固定支架(202)配置有执行电机(208)、传动连接杆(203)、旋转杆(204)及分类挡板(205)，所述执行电机(208)驱动传动连接杆(203)、旋转杆(204)及分类挡板(205)旋转配合实现分类垃圾投入对应收集箱体(207)内；
该方法包括以下步骤：
a、将垃圾通过上料装置间隔投递到传动机构(101)上；垃圾经过传动机构(101)两侧的感应传感器(104)触发图像采集器(103)进行图像采集；形成生活垃圾图像数据集；
b、将步骤a中的数据集送入深度卷积神经网络中进行模型的训练，生成垃圾图像分类模型；在垃圾图像分类模型的训练过程中，垃圾图像分类模型训练完一个epoch后，就进行模型验证；训练完毕后使用测试集测试垃圾图像分类模型；
c、读取图像采集器(103)的视频帧图像，将该帧图像传输到步骤b中训练好的垃圾图像分类模型中；所述视频帧作为垃圾图像分类模型的输入，进行神经网络计算，在垃圾图像分类模型的输出层得到所述视频帧的类别ID及其概率值；
d、再根据所述收集箱体(207)标识不同种类垃圾的位置，根据垃圾类别ID的对应关系，以此确定所述执行电机(208)的转动策略，实现垃圾的自动分类。
2.根据权利要求1所述的方法，其中，
所述生活垃圾图像数据集中的生活垃圾图像来源为网络照片和现实生活照片、公共数据集，数据集中的生活垃圾图像采用图像增强技术进行随机扩充；
所述图像增强技术包括随机翻转、随机亮度和随机裁剪。
3.根据权利要求1或2所述的方法，其中，根据所选的垃圾图像分类模型，将所有生活垃圾图像缩放到统一大小。
4.根据权利要求1所述的方法，其中，步骤b中，所述数据集被划分为训练集、验证集和测试集；训练集用于网络的自主学习，验证集用于验证模型是否存在过拟合现象；测试集用于测试模型的最终精度。
5.根据权利要求1所述的方法，其中，所述垃圾图像分类模型训练过程包含优化技巧；所述优化技巧包含余弦退火学习率、迁移学习。
6.根据权利要求1所述的方法，其中，步骤b中，所述垃圾图像分类模型还包含损失函数，所述损失函数为交叉熵损失函数，所述交叉熵损失函数分为p(x)和q(x)，p(x)代表数据的真实编码，q(x)代表经过softmax输出后的预测结果，交叉熵损失函数为：
Figure FDA0003691168250000031
7.根据权利要求1所述的方法，其中，步骤c中，所述类别ID由数据集中所包含的生活垃圾类别确定。
8.根据权利要求1所述的方法，其中，
所述垃圾图像分类模型的算法模型为Inception v3算法模型、SVM算法模型、VGG算法模型、ResNet-50算法模型中的一种；和/或
所述垃圾图像分类模型训练过程中还包含使用硬件进行加速训练；所述硬件包含GPU、TPU、英特尔神经计算棒中的一种或者多种。
9.根据权利要求5所述的方法，其中，所述余弦退火学习率的规则为：
Figure FDA0003691168250000032
表达式中：i是训练次数的索引值，
Figure FDA0003691168250000033
和
Figure FDA0003691168250000034
分别表示学习率的最大值和最小值，定义了学习率的范围，Tcur表示当前执行的epoch数，Ti是设定训练的epoch总数。
CN202011461877.2A 2020-12-11 2020-12-11 垃圾分类方法 Active CN112620165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011461877.2A CN112620165B (zh) 2020-12-11 2020-12-11 垃圾分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011461877.2A CN112620165B (zh) 2020-12-11 2020-12-11 垃圾分类方法

Publications (2)

Publication Number Publication Date
CN112620165A CN112620165A (zh) 2021-04-09
CN112620165B true CN112620165B (zh) 2022-09-13

Family

ID=75312326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011461877.2A Active CN112620165B (zh) 2020-12-11 2020-12-11 垃圾分类方法

Country Status (1)

Country Link
CN (1) CN112620165B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111792A (zh) * 2021-04-16 2021-07-13 东莞市均谊视觉科技有限公司 一种基于迁移学习的饮料瓶回收视觉检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106733647A (zh) * 2016-11-29 2017-05-31 广西大学 一种垃圾自动分选装置
CN110605723A (zh) * 2019-05-20 2019-12-24 江西理工大学 一种高度集成模块化设计的分布式系统嵌入式机器人
CN111301886A (zh) * 2020-02-25 2020-06-19 天津工业大学 基于rbf神经网络的垃圾分类回收系统及控制方法
CN111332651A (zh) * 2020-03-16 2020-06-26 河海大学常州校区 一种基于深度学习的光电感应垃圾桶
CN211033861U (zh) * 2018-08-03 2020-07-17 杨宇轩 垃圾自动分类装置
CN111634572A (zh) * 2020-06-24 2020-09-08 沈阳大学 护士站专用智能分类医疗垃圾装置
CN111959990A (zh) * 2020-08-20 2020-11-20 常州工学院 一种垃圾分类处理装置
CN111974704A (zh) * 2020-08-14 2020-11-24 东北大学秦皇岛分校 基于计算机视觉的垃圾分类检测系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056102A1 (en) * 2017-09-19 2019-03-28 Intuitive Robotics, Inc. SYSTEMS AND METHODS FOR DETECTION AND RECOGNITION OF WASTE ARTICLES
CN110606298A (zh) * 2018-06-14 2019-12-24 宁波大学 一种监控及回收整体系统设计垃圾桶
TWI726229B (zh) * 2018-08-13 2021-05-01 國立陽明交通大學 基於深度學習及電腦視覺技術之垃圾分類系統及方法
US20200082167A1 (en) * 2018-09-07 2020-03-12 Ben Shalom System and method for trash-detection and management
CN110598800A (zh) * 2019-09-23 2019-12-20 山东浪潮人工智能研究院有限公司 一种基于人工智能的垃圾分类识别方法
CN110929693A (zh) * 2019-12-12 2020-03-27 海南自贸区南点创客科技有限公司 智能垃圾分类方法及系统
CN110844410A (zh) * 2019-12-17 2020-02-28 清华苏州环境创新研究院 一种智能垃圾箱
CN111517034A (zh) * 2020-05-09 2020-08-11 安徽工程大学 一种自动分类垃圾桶及其分类方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106733647A (zh) * 2016-11-29 2017-05-31 广西大学 一种垃圾自动分选装置
CN211033861U (zh) * 2018-08-03 2020-07-17 杨宇轩 垃圾自动分类装置
CN110605723A (zh) * 2019-05-20 2019-12-24 江西理工大学 一种高度集成模块化设计的分布式系统嵌入式机器人
CN111301886A (zh) * 2020-02-25 2020-06-19 天津工业大学 基于rbf神经网络的垃圾分类回收系统及控制方法
CN111332651A (zh) * 2020-03-16 2020-06-26 河海大学常州校区 一种基于深度学习的光电感应垃圾桶
CN111634572A (zh) * 2020-06-24 2020-09-08 沈阳大学 护士站专用智能分类医疗垃圾装置
CN111974704A (zh) * 2020-08-14 2020-11-24 东北大学秦皇岛分校 基于计算机视觉的垃圾分类检测系统及方法
CN111959990A (zh) * 2020-08-20 2020-11-20 常州工学院 一种垃圾分类处理装置

Also Published As

Publication number Publication date
CN112620165A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Rabano et al. Common garbage classification using mobilenet
CN110210635A (zh) 一种能识别废弃物的智能分类回收系统
Yang et al. WasNet: a neural network-based garbage collection management system
CN106874954A (zh) 一种信息获取的方法以及相关装置
CN110116415A (zh) 一种基于深度学习的瓶罐类垃圾识别分类机器人
CN108182455A (zh) 一种垃圾图像智能分类的方法、装置及智能垃圾桶
CN112591333A (zh) 基于人工智能的自动垃圾分类装置及方法
Hasan et al. Smart waste management and classification system for smart cities using deep learning
CN101604322B (zh) 一种决策级文本自动分类融合方法
CN111186656A (zh) 一种目标垃圾分类方法及智能垃圾桶
Zhang et al. A multi-label waste detection model based on transfer learning
Gyawali et al. Comparative analysis of multiple deep CNN models for waste classification
CN110589282A (zh) 基于机器学习的智能垃圾分类方法和垃圾自动分拣装置
CN110937280B (zh) 一种基于视听结合的智能垃圾分类回收方法和终端
CN109034020A (zh) 一种基于物联网与深度学习的社区风险监测和防范方法
US11335086B2 (en) Methods and electronic devices for automated waste management
CN110119747A (zh) 一种基于x射线图像的煤矸识别方法
CN112733936A (zh) 一种基于图像识别的可回收垃圾分类方法
Sunny et al. Design of a convolutional neural network based smart waste disposal system
CN112707058B (zh) 一种厨余垃圾规范动作的检测方法、系统、装置及介质
CN110738131A (zh) 基于深度学习神经网络的垃圾分类管理方法及装置
CN110516625A (zh) 一种垃圾识别分类的方法、系统、终端及存储介质
CN112620165B (zh) 垃圾分类方法
Mookkaiah et al. Design and development of smart Internet of Things–based solid waste management system using computer vision
Sirawattananon et al. Designing of IoT-based smart waste sorting system with image-based deep learning applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant