CN114082661A - 一种基于深度学习的可回收物分选系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的可回收物分选系统及方法，包含交互模块，用于与用户进行人机交互；输送分选模块，将投放的回收物料输送并按照识别结果进行分选回收；图像识别模块，通过深度学习对回收物料的品类进行识别并确定其品类信息；称重模块，测量可回收物的重量；回收返现模块，根据可回收物的品类和重量信息计算可回收物价格信息，并根据价格信息计算返现金额。本发明可以实现小区端的自动分类，用户使用方便、便捷，可在一定程度上减轻小区垃圾收运困难、收运效果差等现象，同时通过AI识别技术，能够智能识别可回收物的品类信息，无需用户进行人工分类，提高分选识别精度。

Description

一种基于深度学习的可回收物分选系统及方法

技术领域

本发明涉及一种可回收物分选系统及方法，特别是一种基于深度学习的可回收物分选系统及方法，属于可回收物智能分选领域。

背景技术

随着我国经济的快速发展，城市化进程逐步加快，人民生活水平日益提高。为了满足人民日益增长的生活需求，各种多元化的商品及生活用品纷涌而至。随之而来的是日益增多的生活垃圾，对环境造成了极大的压力，垃圾分类已成为我国需要解决的迫在眉睫的问题。近年来，我国正加速推进生活垃圾分类工作，但是分类结果不容乐观，究其原因，是由于居民端缺乏垃圾分类专业知识，导致分类效果差强人意。

目前，我国生活垃圾主要分为4种(可回收、厨余、有害及其他垃圾)，其中可回收垃圾最具回收价值，然而如何对其进行分类回收、达到资源高效利用是重之难点。目前主流市场上缺乏一种高效的可回收物分选装置，无需居民人工去分类识别，减少人工分选带来的误差，并且居民可以通过分类回收达到盈利的目的，提高居民垃圾分类的积极性。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的可回收物分选系统及方法，提高可回收物的回收利用率并提高居民垃圾分类积极性。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于深度学习的可回收物分选系统，其特征在于：包含

交互模块，用于与用户进行人机交互；

输送分选模块，将投放的回收物料输送并按照识别结果进行分选回收；

图像识别模块，通过深度学习对回收物料的品类进行识别并确定其品类信息；

称重模块，测量可回收物的重量；

回收返现模块，根据可回收物的品类和重量信息计算可回收物价格信息，并根据价格信息计算返现金额。

进一步地，所述交互模块采用触摸屏，触摸屏安装在可回收物分选系统的投放口旁运行人机交互界面，用于用户登录验证、投放提示、回收物料品类信息、称重结果和返现金额计算结果的展示。

进一步地，所述输送分选模块包含皮带机、若干个料框和拨料机构，皮带机一端设置在可回收物分选系统的投料口位置，若干个料框分别设置在皮带机的两侧或另一端端部，位于皮带机两侧的料框均设置有一组拨料机构，拨料机构由拨料板和舵机构成，拨料板倾斜于皮带机的输送方向设置且若干个料框的拨料板之间互不干涉，拨料板一端设置在舵机上由舵机驱动旋转。

进一步地，所述称重模块设置在料框与拨料机构之间，称重模块由称重传感器和小型皮带输送机构成，小型皮带输送机垂直于皮带机设置并且小型皮带输送机设置在称重传感器上侧。

进一步地，所述输送分选模块还包含挡料板机构、第一拨料支架和第二拨料支架，第一拨料支架和第二拨料支架倾斜于皮带机输送方向设置，第一拨料支架一端固定在皮带机一侧，第二拨料支架一端固定在皮带机另一侧，第一拨料支架和第二拨料支架的另一端位于皮带机中心位置且第一拨料支架和第二拨料支架沿皮带机输送方向位置错开。

进一步地，所述挡料板机构包含挡料板、挡料支架和升降驱动机构，挡料板沿竖直方向滑动设置在挡料支架内，挡料板下侧由升降驱动机构驱动。

进一步地，所述图像识别模块包含RGB相机、相机光源和相机支架，RGB相机通过相机支架固定在皮带机上方，相机光源设置在RGB相机侧边并固定在相机支架上。

一种基于深度学习的可回收物分选方法，其特征在于包含以下步骤：

采集用户登录信息并验证；

将用户投放的回收物料输送至图像识别模块对回收物料进行图像识别，判断回收物料的品类信息；

输送分选模块根据识别的回收物料的品类信息将回收物料进行分类输送至相应的料框内；

回收物料进入相应料框时经过称重模块采集回收物料的重量信息，根据可回收物的品类和重量信息计算可回收物价格信息；

用户结束回收物料投放，根据投放物料的数量及其价格信息计算返现金额。

进一步地，所述图像识别模块的图像识别方法具体为：

运用RGB相机采集投放物料的照片信息；

将获得的投放物料的照片信息的图片数据自适应调整大小至416mm×416mm，并将图片数据输入至YOLO v4算法模型，进入特征提取网络CSPDarknet53得到特征图；

经过特征提取网络CSPDarknet53后，在特征提取的最后一层，通过SPP层中的5*5、9*9、13*13的卷积和池化层将分别得到的结果进行合并得到固定长度的输出特征；

得到投放物料的图片特征信息后，向前传播经过路径聚合网络PANet，PANet融合了自底向上和自顶向下的两条特征路径，减少了大目标和小目标的丢失；

图片经过YOLOv4目标检测模型后输出预测候选框，在模型中选用CIOU计算损失，CIOU公式如下：

LOSS_CIOU＝1-IOU+(ρ²*(b，b^gt)/c²)+αv

其中(ρ²*(b，b^gt)是预测框和真实框的中心点的欧式距离，c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；上述公式中的α展开公式和v展开公式如下：

α＝v/(1-IOU+v)

v＝(4/π²)*(arctan(w^gt/h^gt)-arctan(w/h))²

当目标物料存在重叠现象，首先运用YOLOv4目标检测模型生成模型预测框，然后采用NMS算法得到最终的目标物料坐标；NMS算法按照得分从高到低对预测框进行排序，选择分数最高的检测框与其他框作比较，NMS的流程如下：

式中，S_i代表了每个边框得分，M代表当前得分最高的框，b_i表示剩余框的某个框，N_t为设定的NMS阈值，IOU为两个识别框的重合面积比例；

通过NMS算法后得到了最终目标物在图中的点坐标；

根据得到的投放物料的品类信息，分别将各物料按照预先设置的可回收物料品类表格进行归类，如果目标物料不属于可回收物，则将其计入到不可回收物料表格。

进一步地，所述输送分选模块的控制流程具体为：

将获得的投放物料品类信息以及投放物料目标中心点位position0发送至控制系统中，控制系统对投放物料品类信息以及投放物料目标中心点位position0进行实时分析；

在皮带机滚轴上同轴接入编码器，编码器脉冲信号线接入工控机数据采集卡，脉冲信号转化成皮带机的转动距离，控制系统根据皮带机上的编码器信号换算得到目标物料的实时位置position1，计算公式如下：

其中，position1表示目标物料实时位置，position0表示目标物中心点位；

当投放物料运动到对应种类的料框口时，开启拨料板，让投放物料传输到对应的称重模块上；

物料称重完成后，称重模块的称重传感器通过Socket通讯返回重量数据值到控制系统，软件界面进行实时显示分选结果。

本发明与现有技术相比，具有以下优点和效果：

1、本发明基于YOLOv4目标检测模型，通过AI识别技术，能够智能识别可回收物的品类信息，无需用户进行人工分类，提高分选识别精度；

2、使用本发明后，识别可回收物种类多样，基本覆盖市面上所有需要回收的物料，用户无需担忧因回收物品种类稀少造成的无法回收的现象；

3、使用本发明，用户可以将需要回收的物品投递到回收装置中，该分选回收装置根据回收物料的品类信息及称重结果进行返现计算，进而提现到用户账户，增加用户收入；

4、本发明可以实现小区端的自动分类，用户使用方便、便捷，可在一定程度上减轻小区垃圾收运困难、收运效果差等现象。

附图说明

图1是本发明的基于深度学习的可回收物分选的示意图。

图2是本发明的基于深度学习的可回收物分选的内部示意图。

具体实施方式

为了详细阐述本发明为达到预定技术目的而所采取的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例，并且，在不付出创造性劳动的前提下，本发明的实施例中的技术手段或技术特征可以替换，下面将参考附图并结合实施例来详细说明本发明。

如图1和图2所示，本发明的一种基于深度学习的可回收物分选系统，包含

交互模块，用于与用户进行人机交互；交互模块采用触摸屏1，触摸屏安装在可回收物分选系统的投放口旁运行人机交互界面，用于用户登录验证、投放提示、回收物料品类信息、称重结果和返现金额计算结果的展示。触摸屏2采用Beijer公司的QTERM-A7坚固性触摸面板。

输送分选模块，将投放的回收物料输送并按照识别结果进行分选回收；输送分选模块包含皮带机2、若干个料框3和拨料机构4，皮带机2一端设置在可回收物分选系统的投料口位置，若干个料框3分别设置在皮带机2的两侧或另一端端部，位于皮带机2两侧的料框3均设置有一组拨料机构4，拨料机构4由拨料板和舵机构成，拨料板倾斜于皮带机2的输送方向设置且若干个料框3的拨料板之间互不干涉，拨料板一端设置在舵机上由舵机驱动旋转。

输送分选模块还包含挡料板机构、第一拨料支架5和第二拨料支架6，第一拨料支架5和第二拨料支架6倾斜于皮带机2输送方向设置，第一拨料支架5一端固定在皮带机一侧，第二拨料支架6一端固定在皮带机2另一侧，第一拨料支架5和第二拨料支架6的另一端位于皮带机2中心位置且第一拨料支架5和第二拨料支架6沿皮带机2输送方向位置错开。挡料板机构包含挡料板7、挡料支架8和升降驱动机构9，挡料板7沿竖直方向滑动设置在挡料支架8内，挡料板7下侧由升降驱动机构9驱动。升降驱动机构采用丝杆机构、线性驱动机构或者电动推杆。

图像识别模块，通过深度学习对回收物料的品类进行识别并确定其品类信息；图像识别模块包含RGB相机10、相机光源11和相机支架12，RGB相机10通过相机支架12固定在皮带机2上方，相机光源11设置在RGB相机10侧边并固定在相机支架12上。RGB相机10采用海康MV-CA050-10GM/GC相机，分辨率为2448*2048。相机光源11为平面光源，长宽分别为30.5cm*19cm，功率为150w。

称重模块，测量可回收物的重量；称重模块设置在料框3与拨料机构4之间，称重模块由称重传感器和小型皮带输送机构成，小型皮带输送机垂直于皮带机设置并且小型皮带输送机设置在称重传感器上侧。称重传感器尺寸为245*112*86.5mm，最小称重10g。

回收返现模块，根据可回收物的品类和重量信息计算可回收物价格信息，并根据价格信息计算返现金额。回收返现金额计算公式如下：

A＝B*T

其中，A表示回收返现金额；B表示各品类物料的回收价格信息；T表示回收物料的重量信息。

当用户通过触摸屏点击投递按钮，投料口打开，投放物料通过皮带机2传输至图像识别区域，RGB相机拍摄该物料照片，通过YOLOv4目标检测模型判断物料品类。当前端图像识别装置识别出物料类别后，该物料传输至该物料分选区域，分选挡料板下降，物料滑入小型皮带输送机，称重模块对物料进行称重，称重完成后，滑入料框。不断重复上述操作，直至本次投递的物料全部分选完毕。所有指令全部由工控机进行调节和控制，工控机采用研华工控机，型号为IPC-610L。

一种基于深度学习的可回收物分选方法，其特征在于包含以下步骤：

采集用户登录信息并验证；用户在触摸屏点击微信/支付宝账户登录，获取登录二维码，手机APP扫码登录，若验证成功则继续下一步，否则跳转至初始界面；

输送模块将投递的物料通过皮带机传输至图像识别区域，进行图像识别和分类，将用户投放的回收物料输送至图像识别模块对回收物料进行图像识别，判断回收物料的品类信息；

输送分选模块根据识别的回收物料的品类信息将回收物料进行分类输送至相应的料框内，如果不是可回收物则传送至弃置物料框；

回收物料进入相应料框时经过称重模块采集回收物料的重量信息，根据可回收物的品类和重量信息计算可回收物价格信息；

用户结束回收物料投放，根据投放物料的数量及其价格信息计算返现金额。系统得到所述可回收物料的品类、重量信息后，结合系统设置的各可回收品类的回收价格信息，计算出本次投放的总计返现金额；

触摸屏显示本次投递的汇总信息，并将返现金额发送至登录账户，结束本次投放。

图像识别模块的图像识别方法具体为：

运用RGB相机采集投放物料的照片信息；

将获得的投放物料的照片信息的图片数据自适应调整大小至416mm×416mm，并将图片数据输入至YOLO v4算法模型，进入特征提取网络CSPDarknet53得到特征图；

经过特征提取网络CSPDarknet53后，在特征提取的最后一层，通过SPP层中的5*5、9*9、13*13的卷积和池化层将分别得到的结果进行合并得到固定长度的输出特征；

得到投放物料的图片特征信息后，向前传播经过路径聚合网络PANet，PANet融合了自底向上和自顶向下的两条特征路径，减少了大目标和小目标的丢失；

图片经过YOLOv4目标检测模型后输出预测候选框，在模型中选用CIOU计算损失，CIOU公式如下：

LOSS_CIOU＝1-IOU+(ρ²*(b，b^gt)/c²)+αv

其中(ρ²*(b，b^gt)是预测框和真实框的中心点的欧式距离，c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；上述公式中的α展开公式和v展开公式如下：

α＝v/(1-IOU+v)

v＝(4/π²)*(arctan(w^gt/h^gt)-arctan(w/h))²

当目标物料存在重叠现象，首先运用YOLOv4目标检测模型生成模型预测框，然后采用NMS算法得到最终的目标物料坐标；NMS算法按照得分从高到低对预测框进行排序，选择分数最高的检测框与其他框作比较，NMS的流程如下：

式中，S_i代表了每个边框得分，M代表当前得分最高的框，b_i表示剩余框的某个框，N_t为设定的NMS阈值，IOU为两个识别框的重合面积比例；

通过NMS算法后得到了最终目标物在图中的点坐标；

根据得到的投放物料的品类信息，分别将各物料按照预先设置的可回收物料品类表格进行归类，如果目标物料不属于可回收物，则将其计入到不可回收物料表格。可回收物的品类包含易拉罐(铝罐、铁罐)、各类塑料(PET、PP、PVC、HDPE、LDPE、PE、ABS、PS)、纸板、衣服、玻璃、木材等。

输送分选模块的控制流程具体为：

将获得的投放物料品类信息以及投放物料目标中心点位position0发送至控制系统中，控制系统对投放物料品类信息以及投放物料目标中心点位position0进行实时分析；

在皮带机滚轴上同轴接入编码器，编码器脉冲信号线接入工控机数据采集卡，脉冲信号转化成皮带机的转动距离，控制系统根据皮带机上的编码器信号换算得到目标物料的实时位置position1，计算公式如下：

其中，position1表示目标物料实时位置，position0表示目标物中心点位；

当投放物料运动到对应种类的料框口时，开启拨料板，让投放物料传输到对应的称重模块上；

物料称重完成后，称重模块的称重传感器通过Socket通讯返回重量数据值到控制系统，软件界面进行实时显示分选结果。

本发明与现有技术相比，具有以下优点和效果：

1、本发明基于YOLOv4目标检测模型，通过AI识别技术，能够智能识别可回收物的品类信息，无需用户进行人工分类，提高分选识别精度；

2、使用本发明后，识别可回收物种类多样，基本覆盖市面上所有需要回收的物料，用户无需担忧因回收物品种类稀少造成的无法回收的现象；

3、使用本发明，用户可以将需要回收的物品投递到回收装置中，该分选回收装置根据回收物料的品类信息及称重结果进行返现计算，进而提现到用户账户，增加用户收入；

4、本发明可以实现小区端的自动分类，用户使用方便、便捷，可在一定程度上减轻小区垃圾收运困难、收运效果差等现象。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种基于深度学习的可回收物分选系统，其特征在于：包含交互模块，用于与用户进行人机交互；

输送分选模块，将投放的回收物料输送并按照识别结果进行分选回收；

图像识别模块，通过深度学习对回收物料的品类进行识别并确定其品类信息；

称重模块，测量可回收物的重量；

回收返现模块，根据可回收物的品类和重量信息计算可回收物价格信息，并根据价格信息计算返现金额。

2.根据权利要求1所述的一种基于深度学习的可回收物分选系统，其特征在于：所述交互模块采用触摸屏，触摸屏安装在可回收物分选系统的投放口旁运行人机交互界面，用于用户登录验证、投放提示、回收物料品类信息、称重结果和返现金额计算结果的展示。

3.根据权利要求1所述的一种基于深度学习的可回收物分选系统，其特征在于：所述输送分选模块包含皮带机、若干个料框和拨料机构，皮带机一端设置在可回收物分选系统的投料口位置，若干个料框分别设置在皮带机的两侧或另一端端部，位于皮带机两侧的料框均设置有一组拨料机构，拨料机构由拨料板和舵机构成，拨料板倾斜于皮带机的输送方向设置且若干个料框的拨料板之间互不干涉，拨料板一端设置在舵机上由舵机驱动旋转。

4.根据权利要求3所述的一种基于深度学习的可回收物分选系统，其特征在于：所述称重模块设置在料框与拨料机构之间，称重模块由称重传感器和小型皮带输送机构成，小型皮带输送机垂直于皮带机设置并且小型皮带输送机设置在称重传感器上侧。

5.根据权利要求3所述的一种基于深度学习的可回收物分选系统，其特征在于：所述输送分选模块还包含挡料板机构、第一拨料支架和第二拨料支架，第一拨料支架和第二拨料支架倾斜于皮带机输送方向设置，第一拨料支架一端固定在皮带机一侧，第二拨料支架一端固定在皮带机另一侧，第一拨料支架和第二拨料支架的另一端位于皮带机中心位置且第一拨料支架和第二拨料支架沿皮带机输送方向位置错开。

6.根据权利要求5所述的一种基于深度学习的可回收物分选系统，其特征在于：所述挡料板机构包含挡料板、挡料支架和升降驱动机构，挡料板沿竖直方向滑动设置在挡料支架内，挡料板下侧由升降驱动机构驱动。

7.根据权利要求1所述的一种基于深度学习的可回收物分选系统，其特征在于：所述图像识别模块包含RGB相机、相机光源和相机支架，RGB相机通过相机支架固定在皮带机上方，相机光源设置在RGB相机侧边并固定在相机支架上。

8.一种基于深度学习的可回收物分选方法，其特征在于包含以下步骤：

采集用户登录信息并验证；

将用户投放的回收物料输送至图像识别模块对回收物料进行图像识别，判断回收物料的品类信息；

输送分选模块根据识别的回收物料的品类信息将回收物料进行分类输送至相应的料框内；

回收物料进入相应料框时经过称重模块采集回收物料的重量信息，根据可回收物的品类和重量信息计算可回收物价格信息；

用户结束回收物料投放，根据投放物料的数量及其价格信息计算返现金额。

9.根据权利要求8所述的一种基于深度学习的可回收物分选方法，其特征在于：所述图像识别模块的图像识别方法具体为：

运用RGB相机采集投放物料的照片信息；

将获得的投放物料的照片信息的图片数据自适应调整大小至416mm×416mm，并将图片数据输入至YOLO v4算法模型，进入特征提取网络CSPDarknet53得到特征图；

经过特征提取网络CSPDarknet53后，在特征提取的最后一层，通过SPP层中的5*5、9*9、13*13的卷积和池化层将分别得到的结果进行合并得到固定长度的输出特征；

得到投放物料的图片特征信息后，向前传播经过路径聚合网络PANet，PANet融合了自底向上和自顶向下的两条特征路径，减少了大目标和小目标的丢失；

图片经过YOLOv4目标检测模型后输出预测候选框，在模型中选用CIOU计算损失，CIOU公式如下：

LOSS_CIOU＝1-IOU+(ρ²*(b，b^gt)/c²)+αv

其中(ρ²*(b，b^gt)是预测框和真实框的中心点的欧式距离，c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；上述公式中的α展开公式和v展开公式如下：

α＝v/(1-IOU+v)

v＝(4/π²)*(arctan(w^gt/h^gt)-arctan(w/h))²

当目标物料存在重叠现象，首先运用YOLOv4目标检测模型生成模型预测框，然后采用NMS算法得到最终的目标物料坐标；NMS算法按照得分从高到低对预测框进行排序，选择分数最高的检测框与其他框作比较，NMS的流程如下：

式中，S_i代表了每个边框得分，M代表当前得分最高的框，b_i表示剩余框的某个框，N_t为设定的NMS阈值，IOU为两个识别框的重合面积比例；

通过NMS算法后得到了最终目标物在图中的点坐标；

根据得到的投放物料的品类信息，分别将各物料按照预先设置的可回收物料品类表格进行归类，如果目标物料不属于可回收物，则将其计入到不可回收物料表格。

10.根据权利要求8所述的一种基于深度学习的可回收物分选方法，其特征在于：所述输送分选模块的控制流程具体为：

将获得的投放物料品类信息以及投放物料目标中心点位position0发送至控制系统中，控制系统对投放物料品类信息以及投放物料目标中心点位position0进行实时分析；

在皮带机滚轴上同轴接入编码器，编码器脉冲信号线接入工控机数据采集卡，脉冲信号转化成皮带机的转动距离，控制系统根据皮带机上的编码器信号换算得到目标物料的实时位置position1，计算公式如下：

其中，position1表示目标物料实时位置，position0表示目标物中心点位；

当投放物料运动到对应种类的料框口时，开启拨料板，让投放物料传输到对应的称重模块上；

物料称重完成后，称重模块的称重传感器通过Socket通讯返回重量数据值到控制系统，软件界面进行实时显示分选结果。

Images