CN112044808A - 一种生活垃圾识别系统 - Google Patents

Abstract

本发明提供一种生活垃圾识别系统，包括工控机、垃圾输送装置以及沿所述垃圾输送装置的输送方向依次排列的彩色相机、3D相机和高光谱相机，所述彩色相机的侧下方设置有与所述彩色相机配合的线性光源，所述3D相机旁设置有与所述3D相机配合的激光发射器，所述高光谱相机的正下方设置有与所述高光谱相机配合的穹顶光源，所述垃圾输送装置、所述彩色相机、所述3D相机和所述高光谱相机分别与所述工控机通讯连接。本发明通过3D相机、彩色相机和高光谱相机结合的方式采集生活垃圾多维度特征信息，进而可以通过多特征信息融合和分层次识别，显著提高生活垃圾的识别准确性，使得机器智能分拣能够适用于生活垃圾分拣，有助于提高分拣效率并改善分拣工况。

Description

一种生活垃圾识别系统

技术领域

本发明涉及一种垃圾处理系统，尤其是一种生活垃圾识别系统。

背景技术

随着社会经济的高速增长，人们的消费水平也在不断地提高。然而，随着人们消费所带来的就是数以亿计的生活垃圾。这些生活垃圾由于难以回收只能填埋或者焚烧，不仅污染环境而且占用越来越多的土地资源。

随着国家政策的出台和人们环保意识的提高，如何更好地回收生活垃圾，变废为宝成为政府和企业关注的热点。回收生活垃圾最重要的一环就是分拣，而目前的生活垃圾分拣方式主要以人工分拣为主，分拣效率低下，同时分拣工况恶劣。在面对上亿吨的生活垃圾，机器智能分拣取代人工分拣必然成为未来的趋势，而机器智能分拣首先要解决的问题就是如何对生活垃圾进行识别，虽然国家通过倡导垃圾分类有效的降低了分拣难度，但每个类别中的垃圾种类还是很多，现有的机器智能分拣设备通常只能识别特定类型的物体，难以应用与生活垃圾分拣中。

有鉴于此，本申请人对上述问题进行了深入的研究，遂有本案产生。

发明内容

本发明的目的在于提供了一种有助于提高分拣效率并改善分拣工况的生活垃圾识别系统。

为了实现上述目的，本发明采用如下技术方案：

一种生活垃圾识别系统，包括工控机、垃圾输送装置以及位于所述垃圾输送装置上方沿所述垃圾输送装置的输送方向依次排列的彩色相机、3D相机和高光谱相机，所述垃圾输送装置、所述彩色相机、所述3D相机和所述高光谱相机分别与所述工控机通讯连接。

作为本发明的一种改进，所述彩色相机的侧下方设置有与所述彩色相机配合的线性光源，所述3D相机旁设置有与所述3D相机配合的激光发射器，所述高光谱相机的正下方设置有与所述高光谱相机配合的穹顶光源，

作为本发明的一种改进，所述穹顶光源上安装有卤素灯。

作为本发明的一种改进，所述垃圾输送装置上设置有用于将垃圾平铺在所述垃圾输送装置上的分散装置，所述分散装置位于所述彩色相机远离所述3D相机的一侧。

作为本发明的一种改进，所述工控机具有图像算法处理模块，所述图像算法处理模块通过所述彩色相机和所述3D相机提供的图像信息筛除生活垃圾的深色物料，通过所述高光谱相机和所述3D相机提供的图像信息获得非深色物料的位置和类别信息。

作为本发明的一种改进，所述图像算法处理模块在收到所述彩色相机、所述3D相机和所述高光谱相机发送的图像信息后，采用以下步骤进行处理：

S1，将所述3D相机采集到的高度图像通过阈值分割和缩放与所述彩色相机采集到的彩色图像进行匹配，获得彩色图，将所述彩色图依次进行图像灰度化、图像滤波、图像二值化、边缘检测和轮廓分析得到物料的质心和旋转角，从而得出物料的位置信息；

S2，将所述彩色图的RGB模型转化为HSV模型，并将其均衡化，再去除噪点，然后通过检测颜色区别出深色物体和非深色的物体；

S3，将所述高光谱相机采集到的所述非深色物体的高光谱图像信息导入预测模型进行分类预测，获得非深色物体的类别信息；

S4，选取所述高光谱图像信息中的三个光谱特征得到与所述彩色图相似的三通道的伪彩色图，然后将所述伪彩色图与阈值分割和缩放之后的所述高度图像进行匹配，得到非深色物体的位置信息和高度特征。

作为本发明的一种改进，所述预测模型的构建方法如下：

S3.1，将所述高光谱图像信息的波长特征通过小波变换提取其中的28个有效特征；

S3.2，将完成步骤S3.1后的所述高光谱图像信息导入极限学习机的模型中进行训练，得到训练后的参数权重；

S3.3，将参数权重放入预先构建好的模型中获得预测模型。

采用上述技术方案，本发明具有以下有益效果：

1、本发明通过3D相机、彩色相机和高光谱相机结合的方式采集生活垃圾多维度特征信息，进而可以通过多特征信息融合和分层次识别，显著提高生活垃圾的识别准确性，使得机器智能分拣能够适用于生活垃圾分拣，有助于提高分拣效率并改善分拣工况。

2、通过分层识别和多特征融合的方式，能够准确并高效地检测出生活垃圾的位置和类别，提高生活垃圾识别的准确性，有效解决近红外光谱相机难以识别深色的生活垃圾，普通的彩色相机难以识别透明的生活垃圾的问题。

3、通过传送带输送物料，采用多相机图像采集的方式获得物料的高度信息、彩色信息、空间信息以及光谱信息；通过处理物料的彩色信息可以筛除生活垃圾中附加值很低的深色物料，而通过处理光谱信息和高度信息获得有价值的非深色物料的位置和类别信息。

附图说明

图1为本发明生活垃圾识别系统的结构示意图；

图2为本发明生活垃圾识别系统的图像算法处理流程示意图。

图中标示对应如下：

10-垃圾输送装置； 20-彩色相机；

21-线性光源； 30-3D相机；

31-激光发射器； 40-高光谱相机；

41-穹顶光源； 42-卤素灯。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的说明。

如图1所示，本实施例提供一种生活垃圾识别系统，包括工控机(图中未示出)、垃圾输送装置10以及位于垃圾输送装置10上方并沿垃圾输送装置10的输送方向依次排列的彩色相机20、3D相机30和高光谱相机40，其中，工控机具有图像算法处理模块，主要用于将多相机采集到的图像信息进行多特征融合并结合算法得出物料的位置信息和类别，这类具有图像算法处理模块的工控机可以从市场上直接购买获得，当然，必要时需要在工控机上安装软件以实现所需控制处理功能。

垃圾输送装置10用于对作为物料的生活垃圾进行传输，使用时，垃圾输送装置10的首端设置有用于倾倒垃圾的料斗，尾端设置有用于分拣垃圾的分拣设备或机器手(料斗和分拣设备或机械手不是本实施例的一部分)。垃圾输送装置10可以为常规的皮带输送装置，其与彩色相机20、3D相机30和高光谱相机40以及下文将会提及的线性光源21、激光发射器31穹顶光源41和卤素灯42都是可以直接从市场上购买获得的产品。

彩色相机20的拍摄方向竖直朝下，用于采集物料的彩色信息和空间信息。彩色相机20的侧下方设置有与该彩色相机20配合的线性光源21，线性光源21的照射范围包括彩色相机在垃圾输送装置10的输送面上的拍摄范围，通过线性光源21发出的均匀光保证彩色相机20的图像特征信息采集的稳定性。

3D相机30用于采集物料的高度信息，其旁边设置有与该3D相机30配合的激光发射器31，具体的，3D相机和激光发射器31分别安装在同一个水平布置的连接板上。激光发射器31的光束竖直朝向发射，且位于3D相机30在垃圾输送装置10的输送面上的拍摄范围内。使用时，3D相机30通过物料发射回来的激光获得高度轮廓信息。

高光谱相机40用于采集物料的光谱信息和空间信息，其正下方设置有与该高光谱相机40配合的穹顶光源41，穹顶光源41最好为圆穹顶光源，且穹顶光源41上安装有卤素灯42。穹顶光源41的中心位置开设有穿孔，高光谱相机40位于该穿孔正上方且其拍摄方向竖直朝下。这样，可通过漫反射保证物料反射光谱采集的稳定性。

彩色相机20、3D相机30和高光谱相机40以及线性光源21、激光发射器31穹顶光源41和卤素灯42的具体固定连接结构可以为常规的结构，例如通过固定连接在垃圾输送装置10的机架上的支撑架实现固定连接，或者固定连接在一个与垃圾输送装置10的位置相对固定的支撑架上，此处不再详述。此外，垃圾输送装置10、彩色相机20、3D相机30和高光谱相机40分别与工控机通讯连接，以便接收和发送信号或信息，具体的通讯连接结构可以为常规的结构，例如导线连接或蓝牙无线连接等。

优选的，垃圾输送装置10上设置有用于将垃圾平铺在垃圾输送装置10上的分散装置(图中未示出)，以避免垃圾堆叠影响拍摄。该分散装置位于彩色相机20远离3D相机30的一侧，其可以为垃圾处理领域中常用的分散装置，并非本实施例的重点，此处也不再详述。

使用时，图像算法处理模块通过彩色相机20和3D相机30提供的图像信息筛除生活垃圾的深色物料，通过高光谱相机40和3D相机30提供的图像信息获得非深色物料的位置和类别信息，具体的处理方法可以为现有的方法，考虑到现有的方法处理效率和准确度都相对较低，优选的，本实施例提供了一种处理效率和准确度相对较高的方法，具体的，参见图1和图2，图像算法处理模块在收到彩色相机20、3D相机30和高光谱相机40发送的图像信息后，采用以下步骤实现将多相机采集的图像信息作为物料的多特征进行算法的处理：

S1，将3D相机30采集到的高度图像通过阈值分割和缩放之后，与彩色相20采集到的彩色图像进行匹配，获得彩色图，将彩色图依次进行图像灰度化、图像滤波、图像二值化、边缘检测和轮廓分析，得到物料的质心和旋转角，从而得出物料的位置信息。由于检测的物体具有明显的高度特征，而检测环境下的干扰物都是几乎没有厚度以及高度特征不明显的灰尘杂质，通过高度图像可以很好地过滤这些干扰物，进而，与其匹配的彩色图也是可以很好地过滤掉这些干扰物。

S2，将彩色图的RGB模型(即红、绿、蓝三原色模型)转化为HSV模型(色调、饱和度和亮度模型)，并将其均衡化，再去除噪点，然后通过检测颜色区别出深色物体和非深色的物体，其中深色物体由于附加值通常相对较低，通常不会对其进行分拣而是直接舍弃，因此不再进一步识别。

S3，将高光谱相机40采集到的非深色物体的高光谱图像信息导入预测模型进行分类预测，获得非深色物体的类别信息，其中，预测模型的构建方法如下：

S3.1，将高光谱图像信息的波长特征通过小波变换提取其中的28个有效特征。图像信息要进行预测首先需要训练模型得到参数权重，由于高光谱数据的光谱维有224个波长特征，将其直接训练不仅数据冗长而且训练十分耗时，本实施例通过小波变换提取其中的28个有效的特征进行训练和预测，有效避免上述问题。

S3.2，将完成步骤S3.1后的高光谱图像信息(即提取特征后过的高光谱图像数据)导入极限学习机的模型中进行训练，得到训练后的参数权重。

S3.3，将参数权重放入预先构建好的模型中获得预测模型。

预测模型的构建完成之后，便可应用于在线的实时检测，此时将采集到的非深色物体的高光谱图像信息导入预测模型，模型便可以得出该物体的类别信息。

S4，选取高光谱图像信息中的三个光谱特征得到与彩色图相似的三通道的伪彩色图，然后将伪彩色图与阈值分割和缩放之后的所述高度图像进行匹配(类似于步骤S1)，得到非深色物体的位置信息和高度特征。

分拣设备或机械手根据上述位置信息和高度特征对物料进行分拣。本实施例主要通过多相机采集物体丰富的图像信息，包括彩色信息，空间信息，高度信息和高光谱信息，通过算法处理，可以很好地检测定位出其中附加值低的深色物体，并准确分类和定位出其中的非深色物体，提高了后续分拣的准确性。

上面结合附图对本发明做了详细的说明，但是本发明的实施方式并不仅限于上述实施方式，本领域技术人员根据现有技术可以对本发明做出各种变形，这些都属于本发明的保护范围。

Claims (7)

1.一种生活垃圾识别系统，其特征在于，包括工控机、垃圾输送装置以及位于所述垃圾输送装置上方沿所述垃圾输送装置的输送方向依次排列的彩色相机、3D相机和高光谱相机，所述垃圾输送装置、所述彩色相机、所述3D相机和所述高光谱相机分别与所述工控机通讯连接。

2.如权利要求1所述的生活垃圾识别系统，其特征在于，所述彩色相机的侧下方设置有与所述彩色相机配合的线性光源，所述3D相机旁设置有与所述3D相机配合的激光发射器，所述高光谱相机的正下方设置有与所述高光谱相机配合的穹顶光源。

3.如权利要求2所述的生活垃圾识别系统，其特征在于，所述穹顶光源上安装有卤素灯。

4.如权利要求1所述的生活垃圾识别系统，其特征在于，所述垃圾输送装置上设置有用于将垃圾平铺在所述垃圾输送装置上的分散装置，所述分散装置位于所述彩色相机远离所述3D相机的一侧。

5.如权利要求1-4中任一权利要求所述的生活垃圾识别系统，其特征在于，所述工控机具有图像算法处理模块，所述图像算法处理模块通过所述彩色相机和所述3D相机提供的图像信息筛除生活垃圾的深色物料，通过所述高光谱相机和所述3D相机提供的图像信息获得非深色物料的位置和类别信息。

6.如权利要求5所述的生活垃圾识别系统，其特征在于，所述图像算法处理模块在收到所述彩色相机、所述3D相机和所述高光谱相机发送的图像信息后，采用以下步骤进行处理：

S1，将所述3D相机采集到的高度图像通过阈值分割和缩放与所述彩色相机采集到的彩色图像进行匹配，获得彩色图，将所述彩色图依次进行图像灰度化、图像滤波、图像二值化、边缘检测和轮廓分析得到物料的质心和旋转角，从而得出物料的位置信息；

S2，将所述彩色图的RGB模型转化为HSV模型，并将其均衡化，再去除噪点，然后通过检测颜色区别出深色物体和非深色的物体；

S3，将所述高光谱相机采集到的所述非深色物体的高光谱图像信息导入预测模型进行分类预测，获得非深色物体的类别信息；

S4，选取所述高光谱图像信息中的三个光谱特征得到与所述彩色图相似的三通道的伪彩色图，然后将所述伪彩色图与阈值分割和缩放之后的所述高度图像进行匹配，得到非深色物体的位置信息和高度特征。

7.如权利要求6所述的生活垃圾识别系统，其特征在于，所述预测模型的构建方法如下：

S3.1，将所述高光谱图像信息的波长特征通过小波变换提取其中的28个有效特征；

S3.2，将完成步骤S3.1后的所述高光谱图像信息导入极限学习机的模型中进行训练，得到训练后的参数权重；

S3.3，将参数权重放入预先构建好的模型中获得预测模型。

Images