CN111715559A - 一种基于机器视觉的垃圾分拣系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的垃圾分拣系统，涉及垃圾分拣技术领域，包括目标识别模块和分拣控制模块，其中；所述目标识别模块包括采集单元、形态学识别单元、人工辅助处理单元和中间结果综合处理单元。通过基于机器视觉的垃圾智能分拣系统，通过目标识别模块获取目标及其周围环境的信息，从中识别出所要进行回收处理的高价值目标，并将其位置信息通过数字总线传递给分拣控制模块，从而引导工业机器人完成对回收目标的抓取和放置，实现对目标的高效回收，将视觉识别和机器人协同控制等技术有机结合，实现了智能机器人替代人工进行垃圾分拣的工作，既定目标物体的分类识别和有效分拣，符合可持续发展、以及构建环境友好型社会的发展需求。

Description

一种基于机器视觉的垃圾分拣系统

技术领域

本发明涉及垃圾分拣技术领域，具体来说，涉及一种基于机器视觉的垃圾分拣系统。

背景技术

城市生活垃圾的资源回收处理方式是解决目前我国城市生活垃圾堆积、填埋、焚烧等对环境造成破坏的有效解决方案，符合我国可持续发展、构建环境友好型社会的发展需求，对解决北京等特大型城市的发展与环境破坏的矛盾意义尤为重要。

垃圾分拣是实现城市生活垃圾资源回收处理的前提，而垃圾的自动分拣技术是垃圾分拣的必然发展趋势。在垃圾回收处理系统中，垃圾分拣是关键环节，其速率制约整个生产线的效率，是整个系统的关键过程。

目前，生活垃圾分拣线主要采用人工分拣的方式，以传送带将生活垃圾持续平铺传送，其两侧站立多名工人以手抓取的方式对垃圾进行分拣。传送带不间断运行，工人长期在垃圾旁边进行重复性的垃圾分拣工作，手工分拣工作不仅量大、长期工作容易疲劳、自动化程度差因而分拣效率低，且具有工作环境恶劣等弊端。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于机器视觉的垃圾分拣系统，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于机器视觉的垃圾分拣系统，包括目标识别模块和分拣控制模块，其中；

所述目标识别模块包括采集单元、形态学识别单元、人工辅助处理单元和中间结果综合处理单元，其中；

所述采集单元，用于采集光学图像并传输至所述形态学识别单元；

所述形态学识别单元，用于接收采集单元的光学图像，对接收的每帧图像进行图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理单元，否则不发送；

所述人工辅助处理单元，用于对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元；

所述中间结果综合处理单元，用于将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标或者新加目标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。

进一步的，所述采集单元为工业级定焦镜头。

进一步的，所述形态学识别单元其时间为图像拍摄时间，角度为目标所在轴线与图像坐标系X轴之间的夹角。

进一步的，所述形态学识别单元对输入的图像分层卷积和池化处理。

进一步的，所述分拣控制模块为机械臂。

本发明的有益效果：

本发明基于机器视觉的垃圾智能分拣系统，通过目标识别模块获取目标及其周围环境的信息，从中识别出所要进行回收处理的高价值目标，并将其位置信息通过数字总线传递给分拣控制模块，从而引导工业机器人完成对回收目标的抓取和放置，实现对目标的高效回收，将视觉识别和机器人协同控制等技术有机结合，实现了智能机器人替代人工进行垃圾分拣的工作，既定目标物体的分类识别和有效分拣，符合可持续发展、以及构建环境友好型社会的发展需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于机器视觉的垃圾分拣系统的原理框图；

图2是根据本发明实施例的一种基于机器视觉的垃圾分拣系统的目标识别模块的示意图；

图3是根据本发明实施例的一种基于机器视觉的垃圾分拣系统的流程示意图一；

图4是根据本发明实施例的一种基于机器视觉的垃圾分拣系统的流程示意图二；

图5是根据本发明实施例的一种基于机器视觉的垃圾分拣系统的卷积模型示意图。

图中：

1、目标识别模块；2、分拣控制模块；11、采集单元；12、形态学识别单元；13、人工辅助处理单元；14、中间结果综合处理单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于机器视觉的垃圾分拣系统。

如图1-图2所示，根据本发明实施例的基于机器视觉的垃圾分拣系统，包括目标识别模块1和分拣控制模块2，其中；

所述目标识别模块1包括采集单元11、形态学识别单元12、人工辅助处理单元13和中间结果综合处理单元14，其中；

所述采集单元11，用于采集光学图像并传输至所述形态学识别单元12；

所述形态学识别单元12，用于接收采集单元11的光学图像，对接收的每帧图像进行图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理单元13，否则不发送；

所述人工辅助处理单元13，用于对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元14；

所述中间结果综合处理单元14，用于将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标或者新加目标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。

借助于上述技术方案，基于机器视觉的垃圾智能分拣系统，通过目标识别模块获取目标及其周围环境的信息，从中识别出所要进行回收处理的高价值目标，并将其位置信息通过数字总线传递给分拣控制模块，从而引导工业机器人完成对回收目标的抓取和放置，实现对目标的高效回收，将视觉识别和机器人协同控制等技术有机结合，实现了智能机器人替代人工进行垃圾分拣的工作，既定目标物体的分类识别和有效分拣，符合可持续发展、以及构建环境友好型社会的发展需求。

其中，所述采集单元11为工业级定焦镜头。

其中，所述形态学识别单元12其时间为图像拍摄时间，角度为目标所在轴线与图像坐标系X轴之间的夹角。

其中，所述形态学识别单元12对输入的图像分层卷积和池化处理。

其中，所述分拣控制模块2为机械臂。

另外，如图3所示，形态学综合处理具体步骤如下：

(1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；

(2)对采集到的每帧图像做基于颜色的聚类处理；

(3)对聚类后的图像进行最小轮廓识别；

(4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、

最小轮廓长宽比是否在步骤(1)设定的相应最大最小范围之内，如果最小轮廓满足步骤(1)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。

另外，判断是否为同一目标重复识别的过程，具体步骤如下：

(1)获取目标物的坐标信息、角度信息和时间信息；

(2)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；

(3)判断目标物和对比目标的Y坐标的差值，若差值小于对比目标Y坐

标值的10％，则执行步骤(4)；否则从上一帧图像上重新获取对比目标，重新执行步骤(3)，直至与上一帧图像上所有目标比对完成；

(4)判断目标物与对比目标的角度差值是否小于对比目标角度值的30％，若小于，则执行步骤(5)，否则从上一帧图像上重新获取对比目标，重新执行步骤(3)，直至与上一帧图像上所有目标比对完成；

(5)根据拍摄时目标物的运动速度v及两帧时间差，计算目标物X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于对比目标X坐标值的20％，若小于，则该目标物与对比目标为同一目标，否则从上一帧图像上重新获取对比目标，重新执行步骤(3)，直至与上一帧图像上所有目标比对完成。

另外，如图4-图5所示，深度学习网络实时接收拍摄的视觉反馈图像，对接收的每帧图像进行深度学习处理，即多层卷积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元；将处理后的图像发送至人机纠错接口，图像坐标系描述单个像素在整幅图像中的位置坐标，坐标系原点设在图像左上角的像素点，坐标为(0,0)，图像坐标系横轴为水平方向，最大值1600，图像坐标系纵轴为垂直方向，最大值为1200，即图像宽度为1600×1200。

另外，对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉图像的具体情况，在显示的图像上点击尚未识别的目标物。计算机以人工点击的图像坐标为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0°,180°]内10°一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息。最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到中间结果综合处理单元。

以从传送带上的垃圾中识别瓶子目标为例，触摸屏上形态学识别模块识别后每帧图像连续平滑的显示，图像上将深度处理网络得到的检测目标采用最小矩形框或者其他方式进行着重显示。

当人工通过触摸屏上的图像发现未识别的瓶子时，人工点击触摸屏上相应位置，计算机根基点击动作进行上述处理识别出人工辅助识别的目标无信息并以不同颜色的高亮的方式进行显示，人工辅助处理模块将相应的坐标信息发送至中间结果综合处理单元。

另外，剔除错误目标的具体实现步骤如下：

(1)将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标；

(2)根据错误目标的时间T0，从接收到的深度学习网络处理结果中获取对应帧图像Q0；

(3)将错误目标的坐标分别与上述对应帧图像的所有检测目标坐标计算欧氏距离，欧氏距离最小的目标即为图像Q0上的错误目标(X0,Y0,Z0)，将该目标的相关信息剔除；将补充的目标物的目标与智能算法识别的目标物信息进行逐一对比，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息；

(4)以Q0为基准，依次获取下一帧图像上纵坐标为Y0的所有目标，根据拍摄时目标物的运动速度v及两帧时间差，计算下一帧图像上对应错误目标的理论位置，计算理论位置与下一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标位置即为下一帧图像上对应错误目标的坐标系，直至在某一帧图像上获取不到纵坐标为Y0的目标；以Q0的下一帧图像Q1为例，Q1上对应错误目标的理论位置横坐标X1＝X0+v(T1-T0)；Q1的下一帧图像Q2对应错误目标的理论位置横坐标X2＝X0+v(T2-T0)，以此类推。当某一帧图像上获取不到纵坐标为Y0的目标时，代表该目标由于传送带的移动已经不在摄像范围内，因此，后续不需要对该目标进行相应的处理。

在传送带上的目标识别对象是在不断移动的，摄像头对目标识别对象进行连续拍照，在摄像头视野范围内，同一目标识别对象会在多张图像的不同位置出现，动态目标信息提取时，需要剔除那些重复的目标识别信息。

具体的：把目标识别对象在摄像头视野范围内的图像分为两类，一、刚进摄像头视野和出摄像头视野的目标对象局部图像；二、在摄像头视野范围内的目标对象的完整图像。

假设传送带的速度为Vc，摄像头的帧率为Fps，摄像头在Y方向的视野范围为SY，目标对象的轮廓以不同姿态在Y轴上占用的最大长度Lmax。则：目标对象在图像中完整的成像次Nc可以由公式计算为：

Nc＝(Sy―2Lmax)/Vc×Fpc，

因此，上述步骤(4)也可以预先通过计算完整的成像次数Nc，当计算下一帧图像上对应错误目标理论位置的次数达到Nc时，表明目标由于传送带的移动已经不在摄像范围内。

(5)对步骤(4)处理后的每帧图像所有目标的Y值进行统计，得到同一个目标的连续被统计的次数，若在规定的时间内统计次数达到预设的阈值，则该目标为识别的正确目标，否则，将该目标的相关信息剔除。每帧图像上同一目标的确定方法，以一帧图像上的一个目标为基准，依次获取其他帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间差，计算另外一帧图像上对应目标的理论位置，计算理论位置与另外一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标。

中间结果综合处理单元输出给后续外部应用的信息为每个目标在图像坐标系下的坐标、角度、时间。

综上所述，借助于本发明的上述技术方案，通过基于机器视觉的垃圾智能分拣系统，通过目标识别模块获取目标及其周围环境的信息，从中识别出所要进行回收处理的高价值目标，并将其位置信息通过数字总线传递给分拣控制模块，从而引导工业机器人完成对回收目标的抓取和放置，实现对目标的高效回收，将视觉识别和机器人协同控制等技术有机结合，实现了智能机器人替代人工进行垃圾分拣的工作，既定目标物体的分类识别和有效分拣，符合可持续发展、以及构建环境友好型社会的发展需求。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于机器视觉的垃圾分拣系统，其特征在于，包括目标识别模块(1)和分拣控制模块(2)，其中；

所述目标识别模块(1)包括采集单元(11)、形态学识别单元(12)、人工辅助处理单元(13)和中间结果综合处理单元(14)，其中；

所述采集单元(11)，用于采集光学图像并传输至所述形态学识别单元(12)；

所述形态学识别单元(12)，用于接收采集单元(11)的光学图像，对接收的每帧图像进行图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理单元(13)，否则不发送；

所述人工辅助处理单元(13)，用于对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元(14)；

所述中间结果综合处理单元(14)，用于将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标或者新加目标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。

2.根据权利要求1所述的基于机器视觉的垃圾分拣系统，其特征在于，所述采集单元(11)为工业级定焦镜头。

3.根据权利要求1所述的基于机器视觉的垃圾分拣系统，其特征在于，所述形态学识别单元(12)其时间为图像拍摄时间，角度为目标所在轴线与图像坐标系X轴之间的夹角。

4.根据权利要求3所述的基于机器视觉的垃圾分拣系统，其特征在于，所述形态学识别单元(12)对输入的图像分层卷积和池化处理。

5.根据权利要求1所述的基于机器视觉的垃圾分拣系统，其特征在于，所述分拣控制模块(2)为机械臂。

Images