CN211100232U

CN211100232U - 基于视觉及深度学习的垃圾分选系统

Info

Publication number: CN211100232U
Application number: CN201922099346.2U
Authority: CN
Inventors: 袁靖; 周翔; 张标; 刘康
Original assignee: Suzhou Jono Environment Engineering Co ltd
Current assignee: Suzhou Jianuo Environmental Technology Co.,Ltd.
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2020-07-28
Anticipated expiration: 2029-11-29

Abstract

本实用新型提供一种基于视觉及深度学习的垃圾分选系统，包括输送装置；图像获取装置，包括用以获取所述输送装置上的垃圾的2D图像数据的线阵相机、用以获取所述输送装置上的垃圾的3D点云数据的3D相机；抓取装置，用以抓取目标垃圾；控制单元，所述输送装置、图像获取装置、抓取装置均与所述控制单元通讯连接，所述控制单元包括用以将得到的2D图像数据与3D点云数据相配准得到RGB‑D图像数据的图像处理模块、对所述RGB‑D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息的深度学习训练及计算模块；增强目标垃圾识别的准确率以及识别速率。

Description

基于视觉及深度学习的垃圾分选系统

技术领域

本实用新型涉及垃圾回收领域，尤其涉及一种能够自动分选垃圾的基于视觉及深度学习的垃圾分选系统。

背景技术

垃圾造成的环境污染问题日益严重，特别是，随着我国城镇化速度的加快，城镇改造过程中伴随着大量的建筑物拆迁拆除，产生大量的建筑垃圾，如混凝土块、碎石块、木板、纸板、塑料、布艺等，处理不当会造成严重的环境污染以及资源浪费。

目前，垃圾分选的分选方式主要采用尺寸筛分、空气分选、液体浮选、弹跳分选、磁分选、涡流分选、传感器气流分选等机械式分选技术进行垃圾分选，其中，通过人工分选是上述各分选技术中不可或缺的环节，人工分选主要是用来挑选上述机械式分选技术无法识别的大尺寸目标垃圾，如塑料、木板、纸板、大件可燃材料、油漆桶等。但是，人工分选存在分选效率低、工作环境差、损害工人身体健康等问题。

现在部分国内科研机构尝试在实验室搭建测试环境，利用视觉技术对目标物进行筛选，且大多依赖于RGB图像，但是，由于RGB图像和灰度图像包含信息的局限性等限制，不能满足当代的工业应用中对于物体识别准确率的高要求，无法适应客户现场复杂的使用环境，均无法实现产业化。

有鉴于此，有必要提供一种新的基于视觉及深度学习的垃圾分选系统以解决上述问题。

实用新型内容

本实用新型的目的在于提供一种能够自动分选垃圾的基于视觉及深度学习的垃圾分选系统。

为实现上述实用新型目的，本实用新型采用如下技术方案：一种基于视觉及深度学习的垃圾分选系统，包括用以输送待分选的垃圾的输送装置；

图像获取装置，包括用以获取所述输送装置上的垃圾的2D图像数据的线阵相机、用以获取所述输送装置上的垃圾的3D点云数据的3D相机；

抓取装置，用以抓取目标垃圾；

控制单元，所述输送装置、图像获取装置、抓取装置均与所述控制单元通讯连接，所述控制单元包括用以将得到的2D图像数据与3D点云数据相配准得到RGB-D图像数据的图像处理模块、对所述RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息的深度学习训练及计算模块。

作为本实用新型进一步改进的技术方案，所述输送装置包括相对设置的进料端以及出料端，所述图像获取装置靠近所述进料端设置。

作为本实用新型进一步改进的技术方案，所述图像获取装置还包括安装于所述输送装置上方的暗室、安装于所述暗室内的补光装置，所述暗室具有朝向所述输送装置开放的拍摄开口，所述线阵相机、3D相机均安装于所述暗室内。

作为本实用新型进一步改进的技术方案，所述输送装置包括输送线、用以驱动所述输送线的驱动组件，所述驱动组件包括与所述控制单元通讯连接的驱动件、与所述驱动件相连接的主动辊、与所述主动辊联动的从动辊；所述基于视觉及深度学习的垃圾分选系统还包括设于所述从动辊上的编码器；所述编码器与所述线阵相机、3D相机、抓取装置均通讯连接。

作为本实用新型进一步改进的技术方案，所述抓取装置的数量为至少两组，且至少两组所述抓取装置沿所述输送装置的输送方向并排设置。

作为本实用新型进一步改进的技术方案，所述控制单元还包括抓取控制模块；每一组所述抓取装置包括安装架、安装于所述安装架上且与所述抓取控制模块通讯连接的机械手、用以放置分选出的目标垃圾的多个垃圾存储框。

作为本实用新型进一步改进的技术方案，所述机械手为直角坐标机械手。

本实用新型的有益效果是：本实用新型中的基于视觉及深度学习的垃圾分选系统，通过对RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息，增强目标垃圾识别的准确率以及识别速率。

附图说明

图1是本实用新型中的基于视觉及智能识别技术的垃圾分选系统的结构示意图。

图2是本实用新型中的基于视觉及深度学习的垃圾分选系统的结构示意框图。

图3是本实用新型中的垃圾分选方法的流程图。

具体实施方式

以下将结合附图所示的各实施方式对本实用新型进行详细描述，请参照图1至图3所示，为本实用新型的较佳实施方式。但应当说明的是，这些实施方式并非对本实用新型的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本实用新型的保护范围之内。

请参图1至图2所示，本实用新型提供一种基于视觉及深度学习的垃圾分选系统100，包括用以输送待分选的垃圾的输送装置1、用以获取所述输送装置1上的待分选的垃圾的图像数据的图像获取装置2、用以抓取目标垃圾的抓取装置3、控制单元4，所述输送装置1、图像获取装置2、抓取装置3均与所述控制单元4通讯连接。

所述输送装置1包括输送皮带11、用以安装所述输送皮带11的输送架12、用以驱动所述输送皮带11运行的驱动组件(未标号)，所述驱动组件包括与所述控制单元4通讯连接的驱动件、与所述驱动件连接的主动辊(未标号)、与所述主动辊联动的从动辊，所述控制单元4控制所述驱动件驱动所述主动辊转动，带动所述从动辊转动，使所述输送皮带11沿输送方向运行，以进行待分选的垃圾的输送。

于一具体实施方式中，所述驱动件为电机，当然，并不以此为限。

具体地，所述输送皮带11具有相对设置的进料端、出料端，所述待分选的垃圾自所述进料端进入所述输送皮带11上，在所述输送皮带11运行的过程中，带动垃圾向所述出料端移动。

具体地，所述图像获取装置2靠近所述进料端设置，以在待分选的垃圾自所述进料端向出料端输送的过程中，及时获取经过的垃圾的图像数据。

所述图像获取装置2包括用以获取所述输送装置1上的垃圾的2D图像数据的线阵相机21、用以获取所述输送装置1上的垃圾的3D点云数据的3D相机22，所述线阵相机21以及所述3D相机22均与所述控制单元4通讯连接。在待分选的垃圾经过所述图像获取装置2时，所述线阵相机21在线连续采集并生成经过的垃圾的2D图像数据反馈给所述控制单元4，所述3D相机同步在线连续采集并生成对应的垃圾的3D点云数据反馈给所述控制单元4。

可以理解的是，上述的2D图像数据包括图像的色彩信息，3D点云数据即三维信息，包括三维形状、三维轮廓、位置等信息。

进一步地，所述基于视觉及深度学习的垃圾分选系统100还包括编码器5，所述编码器5与所述线阵相机21、所述3D相机22以及所述抓取装置3均通讯连接。

所述线阵相机21以及所述3D相机22能够根据所述编码器5反馈的电信号各自采集对应位置处的垃圾的图像数据，并反馈给所述控制单元4。即，能够将同一位置处的2D图像数据以及3D点云数据反馈给所述控制单元4。

于一具体实施方式中，所述控制单元4为控制所述垃圾分选系统100运行的计算机，可以理解的是，并不对计算机的具体型号作特别的规定，所有能够实现控制所述垃圾分选系统100的运行的计算机均在本实用新型的保护范围之内。当然，并不以此为限。

进一步地，所述控制单元4包括用以将获取的2D图像数据与3D点云数据相配准得到对应位置处的RGB-D图像数据的图像处理模块(未图示)、对所述RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出所述抓取装置3抓取该目标垃圾的位置信息的深度学习训练及计算模块(未图示)。所述控制单元4能够将得出的目标垃圾的材质以及所述抓取装置3抓取该目标垃圾的位置信息反馈给所述抓取装置3，所述抓取装置3接收到目标垃圾的材质以及所述抓取装置3抓取该目标垃圾的位置信息后，能够根据所述编码器5反馈的电信号得到输送皮带11的运行速度以及实时位置，从而所述抓取装置3能够动态抓取所述输送皮带11上的目标垃圾，实现垃圾在线分选。

可以理解的是，所述编码器5反馈的电信号即指包含了输送皮带11的运行速度、实时位置、等的信号。

所述目标垃圾即为需要分选出来的垃圾，例如木板、石头、塑料、纸板等。

所述RGB-D图像数据包含了垃圾的颜色信息、三维位置信息、三维轮廓信息等。本实用新型中，通过对RGB-D图像数据进行深度学习的方式识别出垃圾的材质得到目标垃圾，增强目标垃圾识别的准确率以及识别速率。

具体地，所述深度学习训练及计算模块中预存有深度学习算法，如Faster R-CNN目标检测算法或者SSD目标检测算法，以对获取的所述RGB-D图像数据中的垃圾的材质进行识别，得出目标垃圾。

下面，以所述深度学习训练及计算模块中预存有Faster R-CNN目标检测算法为例进行简要阐述，当然，并不以此为限。

在所述深度学习训练及计算模块中预存有Faster R-CNN目标检测算法时，所述深度学习训练及计算模块对垃圾的处理包括如下步骤：

S1：深度学习训练及计算模块获取以多维数组的形式输入的RGB-D图像数据，并将该RGB-D图像数据经预训练的CNN模型处理得到卷积特征图；

S2：RPN(Region Propose Network)对卷积特征图进行处理，识别出可能包含目标垃圾的区域；

S3：基于R-CNN模块对位于边界框内的垃圾进行分类，识别出目标垃圾的材质得出目标垃圾；

S4：计算得出抓取装置抓取该目标垃圾的位置信息。

在所述深度学习训练及计算模块识别出垃圾的材质得到目标垃圾并计算出所述抓取装置3抓取该目标垃圾的位置信息后，将目标垃圾材质及所述抓取装置3抓取该目标垃圾的位置信息反馈给所述控制单元4，以便于后续控制所述抓取装置3对目标垃圾进行抓取。

具体地，所述编码器5设于所述从动辊上，能够防止因输送皮带11打滑导致采集的数据不精确。

进一步地，所述图像获取装置2还包括安装于所述输送装置1上方的暗室23、安装于所述暗室23内的补光装置(未图示)，所述暗室23具有朝向所述输送装置1开放的拍摄开口，所述线阵相机21、3D相机22均安装于所述暗室23内，以防止外界的杂光影响所述线阵相机21以及所述3D相机22的拍摄效果。

具体地，所述暗室23安装于所述输送架12上，且所述暗室23具有朝向所述输送装置1开放的拍摄开口(未标号)，以便于所述线阵相机21以及所述3D相机22获取经过的垃圾的图像。

进一步地，所述抓取装置3的数量为至少两组，且至少两组所述抓取装置3沿所述输送皮带11的运行方向间隔且并排设置，以在目标垃圾较多，一个所述抓取装置3来不及全部抓取目标垃圾的时候，其他的抓取装置3能够抓取剩余的目标垃圾，提高垃圾分选的效率以及垃圾分选纯度。

于一具体实施方式中，所述抓取装置3的数量为两组，沿所述输送皮带11的输送方向，定义两个所述抓取装置分别为第一抓取装置31、第二抓取装置32，在所述输送皮带11输送的过程中，待分选的垃圾依次经过图像获取装置2、第一抓取装置31、第二抓取装置32，最终非目标垃圾自所述出料端排出所述输送装置1。

在目标垃圾较多时，待分选的垃圾经过所述第一抓取装置31时，第一抓取装置31抓取部分目标垃圾，并将未抓取的目标垃圾的材质及第二抓取装置32抓取该目标垃圾的位置信息反馈给所述控制单元4，所述第二抓取装置32根据所述编码器5反馈的电信号动态抓取剩余的目标垃圾。

进一步地，所述控制单元4还包括抓取控制模块，每一组所述抓取装置3包括安装架33、安装于所述安装架33上且与所述抓取控制模块通讯连接的机械手(未标号)、用以放置分选出的目标垃圾的多个垃圾存储框(未图示)，每一所述垃圾存储框用来存放一类材质的目标垃圾，所述机械手抓取目标垃圾后并根据该目标垃圾的材质将其回收至对应的垃圾存储框内。

于一具体实施方式中，所述机械手为直角坐标机械手，具有高速、大负载、大行程等特性，适用于建筑垃圾的分选。

所述直角坐标机械手包括安装于所述安装架33上且具有XYZR四轴的直角坐标模组、与所述直角坐标模组相连接的夹爪，所述直角坐标模组能够带动所述夹爪在X、Y、Z、R四轴方向上移动，以抓取目标垃圾并将目标垃圾放入至对应的垃圾存储框内。

具体地，所述直角坐标模组的结构可沿用现有的直角坐标模组的结构，于此，不再赘述。

具体地，所述安装架33支撑于地面上，以使所述抓取装置3能够实现模块化安装，即，能够根据具体需求选择所述抓取装置3的安装位置以及数量，且安装简便。

进一步地，请参图3所示，本实用新型还提供一种基于视觉及深度学习的垃圾分选系统100的垃圾分选方法，包括如下步骤：

获取待分选的垃圾的2D图像数据以及3D点云数据；

将所述2D图像数据以及3D点云数据相配准得到RGB-D图像数据；

加载训练好的深度学习模型对所述RGB-D图像数据进行深度学习，识别出垃圾的材质得到目标垃圾；

计算出抓取装置抓取该目标垃圾的位置信息；

抓取目标垃圾，进行垃圾分选。

具体地，步骤获取待分选的垃圾的2D图像数据以及3D点云数据具体为：所述线阵相机21根据所述编码器5反馈的电信号采集某一位置处的2D图像数据，同时所述3D相机22根据所述编码器5反馈的电信号采集对应位置处的3D点云数据，然后将同一位置处的2D图像数据以及3D点云数据反馈给所述控制单元4。

上述步骤加载训练好的深度学习模型对所述RGB-D图像数据进行深度学习，识别出垃圾的材质得到目标垃圾中的深度学习模型为FasterR-CNN目标检测算法模型或SSD目标检测算法模型。

如，在所述深度学习模型为FasterR-CNN目标检测算法模型时，步骤加载训练好的深度学习模型对所述RGB-D图像数据进行深度学习，识别出垃圾的材质得到目标垃圾具体包括如下步骤：

S3：基于R-CNN模块对位于边界框内的垃圾进行分类，识别出目标垃圾的材质得出目标垃圾。

具体地，上述步骤：抓取目标垃圾，进行垃圾分选具体包括：

控制单元4将目标垃圾的材质及抓取装置3抓取该目标垃圾的位置信息反馈给所述抓取装置3；

所述抓取装置3根据所述编码器5反馈的电信号得到输送皮带11的运行速度以及实时位置，并动态抓取所述输送皮带11上的目标垃圾；

所述抓取装置3根据抓取的目标垃圾的材质将该目标垃圾放入对应的垃圾存储框内。

进一步地，在所述抓取装置3的数量为多组，且多组所述抓取装置3沿所述输送装置1的输送方向间隔排布的实施方式中，步骤抓取目标垃圾，进行垃圾分选具体包括如下步骤：

待分选的垃圾沿输送方向依次经过至少两个抓取装置，以抓取目标垃圾，进行垃圾分选。

于一具体实施方式中，所述抓取装置的数量为两组，沿所述输送皮带11的输送方向，定义两个所述抓取装置分别为第一抓取装置31、第二抓取装置32，在所述输送皮带11输送的过程中，待分选的垃圾依次经过第一抓取装置31、第二抓取装置32，最终自所述出料端排出所述输送装置1。

步骤抓取目标垃圾，进行垃圾分选具体包括如下步骤：

控制单元4将目标垃圾的材质及抓取装置3抓取该目标垃圾的位置信息反馈给所述第一抓取装置31以及第二抓取装置32；

所述第一抓取装置31根据所述编码器5反馈的电信号得到输送皮带11的运行速度以及实时位置，动态抓取所述输送皮带11上的部分目标垃圾，并根据抓取的目标垃圾的材质将该目标垃圾放入对应的垃圾存储框内，同时，将未抓取的目标垃圾的材质及第二抓取装置32抓取该目标垃圾的位置信息通过所述控制单元4反馈给所述第二抓取装置32；

所述第二抓取装置31根据所述编码器5反馈的电信号得到输送皮带11的运行速度以及实时位置，动态抓取所述输送皮带11上的剩余目标垃圾，并根据抓取的目标垃圾的材质将该目标垃圾放入对应的垃圾存储框内。

综上所述，本实用新型中的基于视觉及深度学习的垃圾分选系统100，通过对RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息，增强目标垃圾识别的准确率以及识别速率。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本实用新型的可行性实施方式的具体说明，它们并非用以限制本实用新型的保护范围，凡未脱离本实用新型技艺精神所作的等效实施方式或变更均应包含在本实用新型的保护范围之内。

Claims

1.一种基于视觉及深度学习的垃圾分选系统，包括用以输送待分选的垃圾的输送装置；其特征在于：所述基于视觉及深度学习的垃圾分选系统还包括：

抓取装置，用以抓取目标垃圾；

2.如权利要求1所述的基于视觉及深度学习的垃圾分选系统，其特征在于：所述输送装置包括相对设置的进料端以及出料端，所述图像获取装置靠近所述进料端设置。

3.如权利要求2所述的基于视觉及深度学习的垃圾分选系统，其特征在于：所述图像获取装置还包括安装于所述输送装置上方的暗室、安装于所述暗室内的补光装置，所述暗室具有朝向所述输送装置开放的拍摄开口，所述线阵相机、3D相机均安装于所述暗室内。

4.如权利要求1所述的基于视觉及深度学习的垃圾分选系统，其特征在于：所述输送装置包括输送线、用以驱动所述输送线的驱动组件，所述驱动组件包括与所述控制单元通讯连接的驱动件、与所述驱动件相连接的主动辊、与所述主动辊联动的从动辊；所述基于视觉及深度学习的垃圾分选系统还包括设于所述从动辊上的编码器；所述编码器与所述线阵相机、3D相机、抓取装置均通讯连接。

5.如权利要求1所述的基于视觉及深度学习的垃圾分选系统，其特征在于：所述抓取装置的数量为至少两组，且至少两组所述抓取装置沿所述输送装置的输送方向并排设置。

6.如权利要求5所述的基于视觉及深度学习的垃圾分选系统，其特征在于：所述控制单元还包括抓取控制模块；每一组所述抓取装置包括安装架、安装于所述安装架上且与所述抓取控制模块通讯连接的机械手、用以放置分选出的目标垃圾的多个垃圾存储框。

7.如权利要求6所述的基于视觉及深度学习的垃圾分选系统，其特征在于：所述机械手为直角坐标机械手。