CN112845143A - 一种生活垃圾分类智能分拣系统及方法 - Google Patents

Abstract

本发明公开了一种生活垃圾分类智能分拣系统及方法，所述系统包括：垃圾目标识别单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧并输入至垃圾分拣控制单元；垃圾分拣控制单元，用于根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

Description

一种生活垃圾分类智能分拣系统及方法

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于环保的生活垃圾分类智能分拣系统及方法。

背景技术

在环保领域中，针对生活垃圾的有效处理和相关高价值废品的回收再利用，已逐步成为社会发展日益关注的焦点，其中针对垃圾的分类过程是生活垃圾处理的关键，垃圾分拣是实现城市生活垃圾资源回收处理的前提，而垃圾的自动分拣技术是垃圾分拣的必然发展趋势。

目前，生活垃圾分拣线仍主要采用人工分拣的方式，以传送带将生活垃圾持续平铺传送，其两侧站立多名工人以手抓取的方式对垃圾进行分拣，这种分拣方式容易漏检，且分拣效率低下。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种生活垃圾分类智能分拣系统及方法，以提高生活垃圾分拣的效率。

为达上述目的，本发明提出一种生活垃圾分类智能分拣系统，包括：

垃圾目标识别单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧并输入至垃圾分拣控制单元；

垃圾分拣控制单元，用于根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

优选地，垃圾目标识别单元包括：

图像采集模块，用于采集传送带上的移动目标对象及其不规则背景的光学图像；

形态学识别模块，用于实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在所述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送；

人工辅助处理模块，用于对接收的每帧处理后的图像进行连续显示，获取人为根据拍摄的视觉图像的具体情况的纠错结果，确定人工纠错确定的目标物，将人工纠错确定的目标物的坐标信息、角度及时间信息发送到中间结果综合处理单元；

中间结果综合处理单元，用于对所述人工辅助处理模块及形态学识别模块结果进行综合处理，得到识别目标的坐标、角度和时间信息传送至至垃圾分拣控制单元。

优选地，所述形态学识别模块进一步包括：

阈值设定模块，用于设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；

原始图像获取模块，用于获取所述图像采集模块采集的原始图像；

颜色聚类处理模块，用于对采集到的每帧图像进行基于颜色的聚类处理；

目标检测模块，用于基于深度学习技术对聚类后的图像进行目标检测，找出图像中所有感兴趣的目标，确定目标的位置和大小；

最小轮廓识别模块，用于对聚类后的图像进行最小轮廓识别；

最小轮廓宽长比判断处理模块，用于对最小轮廓图像进行逐个分析，确定最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比，判断最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比是否在预设的最大最小值范围内，若在相应的范围内，则以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息；

重复识别目标剔除模块，用于判断当前目标信息是否与上一帧识别出的目标信息为同一目标，若不是同一目标则将处理后的图像以及图像上检测的目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至所述人工辅助处理模块，否则不发送。

优选地，所述重复识别目标剔除模块具体用于：

(a)获取当前目标物的坐标信息、角度信息和时间信息；

(b)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；

(c)判断当前目标物和对比目标的Y坐标的差值，若差值小于预设阈值，则进入步骤(d)；否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成；

(d)判断当前目标物与对比目标的角度差值是否小于预设阈值，若小于，则进入(e)，否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成；

(e)根据拍摄时目标物的运动速度及两帧时间差，计算当前目标物的X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于预设阈值，若小于则认为该目标物与对比目标为同一目标，否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成。

优选地，所述人工辅助处理模块以人工点击的图像坐标为几何中心，以若干倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0°,180°]内若干角度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息，最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到所述中间结果综合处理单元。

优选地，所述中间结果综合处理单元将所述人工辅助处理模块发送的坐标信息转换到图像坐标系下，得到错误目标的坐标或者新加目标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。

优选地，所述垃圾分拣控制单元进一步包括：

目标抓取物位姿接收模块，用于获取目标物的坐标、角度信息帧及时间；

多机械手调度控制模块，用于提取接收缓冲区中的目标坐标和角度信息帧，计算目标坐标和角度信息帧中目标抓取物在t2+T时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，T为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否空闲，若判断结果为空闲，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机械手对应的机械手轨迹控制模块；

机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置，在接收目标抓取物的图像坐标系下的坐标信息之后，将工作状态置为忙，将该目标抓取物的坐标信息和姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外指定的物料存储区，之后控制机械手回到预设的准备位置，将工作状态置为空闲。

优选地，所述多机械手调度控制模块具体用于：

(a)判断当前时刻接收缓冲区是否有新的目标坐标和角度信息帧，若有，将新的目标坐标和角度信息帧存入当前抓取队列中，进入步骤(b)，否则，直接进入步骤(b)；

(b)按照先进先出的原则，选取抓取队列中的第一个目标坐标和角度信息帧；

(c)解析目标坐标和角度信息帧中的目标抓取物的图像坐标系下坐标信息和拍摄时间；

(d)判断待抓机械手工作状态是否空闲，如果空闲，则将该目标坐标和角度信息帧中的图像坐标系坐标和姿态角信息发送给该机械手对应的机械手轨迹控制模块。

优选地，于(a)中，抓取队列中目标坐标和角度信息帧按照如下规则排列：不同拍摄时刻的目标坐标和角度信息帧，按照时间先后顺序排列，同一拍摄时刻的目标坐标和角度信息帧，根据目标坐标和角度信息帧的位置排列，靠近机械手的目标坐标和角度信息帧排列在前。

为达到上述目的，本发明还提供一种生活垃圾分类智能分拣方法，包括如下步骤：

步骤S1，利用垃圾目标识别单元采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧输入至垃圾分拣控制单元；

步骤S2，根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

与现有技术相比，本发明一种生活垃圾分类智能分拣系统及方法通过采用机器视觉作为信息输入，利用垃圾目标识别单元采用分类识别算法提取目标物体角度、位置信息，利用垃圾分拣控制单元代替人工完成分拣工作，实现了垃圾分拣生产线智能化、无人化，提高了生活垃圾分拣的效率。

附图说明

图1为本发明一种生活垃圾分类智能分拣系统的系统架构图；

图2为本发明具体实施例中形态学识别模块的结构图；

图3为本发明具体实施例中目标检测模块的目标检测过程图；

图4为本发明具体实施例中多机械手调度控制模块的执行过程图；

图5为本发明一种生活垃圾分类智能分拣方法的步骤流程图；

图6为本发明具体实施例中形态学识别过程图；

图7为本发明具体实施例中判断是同一目标重复识别过程图；

图8为本发明实施例中生活垃圾分类智能分拣系统的系统构成图；

图9为本发明实施例中垃圾分拣系统总体布局图；

图10为本发明实施例中智能分拣控制系统结构图；

图11为本发明实施例中垃圾目标识别单元的结构图；

图12为本发明实施例中垃圾分拣系统的结构图；

图13为本发明实施例中垃圾分拣控制单元组成框图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

在说明本发明之前，先说明本发明涉及的几个概念：

图像坐标系：图像坐标系描述单个像素在整幅图像中的位置坐标，坐标系原点设在图像左上角的像素点，坐标为(0,0)，图像坐标系横轴为水平方向，最大值1600，图像坐标系纵轴为垂直方向，最大值为1200，即图像宽度为1600×1200。

传送带平面坐标系：传送带平面坐标系的原点为传送带边缘的一个固定点OC，XC轴为沿传送带的运动方向，YC位于传送带平面且与XC轴垂直。

N个机械手坐标系：第i个机械手的机械手坐标系为XRi、ORi、YRi，原点为机械手的基座与传送带平面的交点，轴ZR垂直与传送带平面，轴XR、轴YR分别与传送带平面坐标系的轴XC和轴YC方向一致。

人机纠错接口坐标系/本地坐标系“以屏幕的左上角的第一个像素点为原点，横坐标为水平方向，纵坐标为垂直方向。

图1为本发明一种生活垃圾分类智能分拣系统的系统架构图。如图1所示，本发明一种生活垃圾分类智能分拣系统，包括：

垃圾目标识别单元10，用于采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧输入至垃圾分拣控制单元。

在本发明具体实施例中，垃圾目标识别单元10进一步包括：

图像采集模块101，用于采集传送带上的移动目标对象及其不规则背景的光学图像。在本发明具体实施例中，图像采集模块101为采样相机，具体地，将采样相机固定在传输生活垃圾的传送带上方，横跨在传送带上，实时拍摄传送带上的生活垃圾，采集传送带上的移动目标对象及其不规则背景的光学图像。

形态学识别模块102，用于实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行精准跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，同时将处理后的图像发送至人工辅助处理模块以进行人工辅助处理，否则如果是同一目标不发送，获取检测目标的坐标信息、角度信息和时间信息；所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角。

在本发明具体实施例中，如图2所示，所述形态学识别模块102进一步包括：

阈值设定模块102a，用于设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；

原始图像获取模块102b，用于获取图像采集模块101采集的原始图像。

颜色聚类处理模块102c，用于对采集到的每帧图像进行基于颜色的聚类处理。

目标检测模块102d，基于深度学习技术对聚类后的图像进行目标检测，找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。

深度学习是机器学习新兴的研究领域，研究内容是从数据中自动地提取多层特征并进行表示，其核心是通过数据驱动的方式，采用一系列的非线性变换，从原始数据中提取特征，特征的提取经过由低层到高层、由具体到抽象、由一般到特定。图像的目标检测技术利用机器视觉等技术，将对目标物体的类别、位置、大小以及置信度进行判定，既定的目标物体自动从图像中检测出来。目标检测的过程如图3所示。

深度学习用于目标检测的算法从思路上来看，可以分为两大类，一类是two stage的方法，也就是把整个流程分为两部分，生成候选框和识别框内物体；另一类是one stage的方法，把整个流程统一在一起，直接给出检测结果，主要包含SSD,YOLO系列。

目标检测(Object Detection)作为图像理解中的重要一环，其任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小，是机器视觉领域的核心。目标检测的任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。目标检测要解决的核心问题主要有：

1)目标可能出现在图像的任何位置。

2)目标有各种不同的大小。

3)目标可能有各种不同的形状。

如果用矩形框来定义目标，则矩形有不同的宽高比。由于目标的宽高比不同，因此本发明采用经典的滑动窗口+图像缩放的方案解决通用目标检测问题。由于目标检测已是现有成熟技术，在此不予赘述。

最小轮廓识别模块102e，用于对聚类后的图像进行最小轮廓识别。

最小轮廓宽长比判断处理模块102f，用于对最小轮廓图像进行逐个分析，确定最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比，判断最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比是否在预设的最大最小值范围内，若在相应的范围内，则以最小轮廓的几何中心为目标物的平面坐标，其长边(待识别物体的最大长度)为参考计算目标物角度信息。

也就是说，本发明通过阈值设定模块102a预先设定了待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比以及最小长宽比，当确定了最小轮廓长度、最小轮廓宽度以及最小轮廓宽长比后，判断是否在设定的相应的最大最小范围内，如果最小轮廓满足步骤(a)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。

重复识别目标剔除模块102g，用于判断当前目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测的目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送。

在本发明具体实施例中，重复识别目标剔除模块102f的剔除重复识别目标过程如下：

(a)获取当前目标物的坐标信息、角度信息和时间信息；

(b)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；

(c)判断当前目标物和对比目标的Y坐标的差值，若差值小于对比目标Y坐标值的10％，，则执行步骤(d)；否则从上一帧图像上重新获取对比目标，重新执行步骤(c)，直至与上一帧图像上所有目标比对完成；

(d)判断当前目标物与对比目标的角度差值是否小于对比目标角度值的30％，若小于，则执行步骤(e)，否则从上一帧图像上重新获取对比目标，重新执行步骤(c)，直至与上一帧图像上所有目标比对完成；

(e)根据拍摄时目标物的运动速度v(获取对比坐标信息、角度信息、时间信息可以得到运动速度)及两帧时间差，计算当前目标物X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于对比目标X坐标值的20％，若小于，则该目标物与对比目标为同一目标，否则从上一帧图像上重新获取对比目标，重新执行步骤(c)，直至与上一帧图像上所有目标比对完成。

人工辅助处理模块103，用于对接收每帧处理后的图像进行连续显示，获取人为根据拍摄的视觉图像的具体情况的纠错结果，确定人工纠错确定的目标物，将人工纠错确定的目标物的坐标信息、角度信息、时间信息发送到中间结果综合处理单元，也就是说，人工辅助处理模块103会对接收的每帧处理后的图像进行连续显示，由人工根据拍摄的视觉图像的具体情况，在显示的图像上点击尚未识别的目标物进行人工纠错，具体地，以人工点击的图像坐标为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0°,180°]内10°一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息，最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到中间结果综合处理单元。

以从传送带上的垃圾中识别瓶子目标为例，于触摸显示屏上对形态学识别模块102识别后每帧图像进行连续平滑的显示，图像上将深度处理网络得到的检测目标采用最小矩形框或者其他方式进行着重显示。

当人工通过触摸显示屏上的图像发现未识别的瓶子时，点击触摸屏上相应位置时，则根据该点击动作进行上述处理识别出人工辅助识别的目标并以不同颜色的高亮的方式进行显示，人工辅助处理模块103则将相应的坐标信息发送至中间结果综合处理单元104。

中间结果综合处理单元104，用于获取人工辅助处理模块103确定的目标物的坐标信息、角度信息、时间信息，将错误目标(即人工纠错确定的目标物)的坐标信息转换到图像坐标系下，得到图像坐标系下错误目标(即人工纠错确定的目标物)的坐标或者新加目标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标(即人工纠错确定的目标物)的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标(即人工纠错确定的目标物)的着重显示(视觉反馈图像上的错误目标高亮显示)去掉，完成视觉识别。

在本发明中，由于图像坐标系用于描述单个像素在整幅图像中的位置坐标，其坐标系原点设在图像左上角的像素点，而人机纠错接口坐标系/本地坐标系以屏幕的左上角的第一个像素点为原点，横坐标为水平方向，纵坐标为垂直方向，因此，中间结果综合处理单元104需将人工纠错确定的目标物的坐标信息转换到图像坐标系下，得到图像坐标系下错误目标(即人工纠错确定的目标物)的坐标。

垃圾分拣控制单元20，用于根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

具体地，垃圾分拣控制单元20进一步包括：

目标抓取物位姿接收模块201，用于获取目标物的坐标、角度信息帧及时间。也就是说，最初采集的图像信息经过目标识别单元10的采集、识别和计算转换为目标物体的位置、姿态、时间构成的目标向量信息，并将其存储在抓取缓冲区，以便多机械手调度控制模块根据目标向量信息进行处理分配给左右两台机器人并规划出两台机器人在时间空间和笛卡尔空间上的分拣任务信息

多机械手调度控制模块202，用于提取接收缓冲区中的目标坐标和角度信息帧，计算目标坐标和角度信息帧中目标抓取物在t2+T时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，T为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否“空闲”，如果“空闲”，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机械手对应的机械手轨迹控制模块。

机械手轨迹控制模块203，初始化时控制机械手位于预设的准备位置，在接收目标抓取物的图像坐标系下的坐标信息之后，将工作状态置为“忙”，将该目标抓取物的坐标信息和姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外指定的物料存储区，之后，控制机械手回到预设的准备位置，将工作状态置为“空闲”。

在本发明具体实施例中，假设N个机械手沿传送带运动方向排列，序号为1～N，多机械手调度控制模块202循环执行如下步骤，如图4所示：

(a)判断当前时刻接收缓冲区是否有新的目标坐标和角度信息帧，如果有，将新的目标坐标和角度信息帧存入当前抓取队列中，进入步骤(b)，否则，直接进入步骤(b)；步骤(a)中抓取队列中目标坐标和角度信息帧按照如下规则排列：不同拍摄时刻的目标坐标和角度信息帧，按照时间先后顺序排列，同一拍摄时刻的目标坐标和角度信息帧，根据目标坐标和角度信息帧的位置排列，靠近机械手的目标坐标和角度信息帧排列在前。

(b)按照先进先出的原则，选取抓取队列中的第一个目标坐标和角度信息帧；

(c)解析目标坐标和角度信息帧中的目标抓取物的图像坐标系下坐标信息和拍摄时间；

(d)判断待抓机械手工作状态是否“空闲”，如果“空闲”，则将该目标坐标和角度信息帧中的图像坐标系坐标和姿态角信息发送给该机械手对应的机械手轨迹控制模块。

图5为本发明一种生活垃圾分类智能分拣方法的步骤流程图。如图5所示，本发明一种生活垃圾分类智能分拣方法，包括如下步骤：

步骤S1，利用垃圾目标识别单元采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧输入至垃圾分拣控制单元。

在本发明具体实施例中，步骤S1进一步包括：

步骤S100，采集传送带上的移动目标对象及其不规则背景的光学图像。在本发明具体实施例中，步骤S100中利用采样相机进行图像采集，具体地，将采样相机固定在传输生活垃圾的传送带上方，横跨在传送带上，实时拍摄传送带上的生活垃圾，采集传送带上的移动目标对象及其不规则背景的光学图像。

步骤S101，实时获取采样相机拍摄的光学图像，对获取的每帧图像进行形态学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送。所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角。

在本发明具体实施例中，如图6所示，步骤S101进一步包括：

步骤S101a，设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比。

步骤S101b，获取采集的原始图像。

步骤S101c，对采集到的每帧图像进行基于颜色的聚类处理。

步骤S101d，基于深度学习技术对聚类后的图像进行目标检测，找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。

深度学习是机器学习新兴的研究领域，研究内容是从数据中自动地提取多层特征并进行表示，其核心是通过数据驱动的方式，采用一系列的非线性变换，从原始数据中提取特征，特征的提取经过由低层到高层、由具体到抽象、由一般到特定。图像的目标检测技术利用机器视觉等技术，将对目标物体的类别、位置、大小以及置信度进行判定，既定的目标物体自动从图像中检测出来。

深度学习用于目标检测的算法从思路上来看，可以分为两大类，一类是two stage的方法，也就是把整个流程分为两部分，生成候选框和识别框内物体；另一类是one stage的方法，把整个流程统一在一起，直接给出检测结果，主要包含SSD,YOLO系列。

目标检测(Object Detection)作为图像理解中的重要一环，其任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小，是机器视觉领域的核心。目标检测的任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。目标检测要解决的核心问题主要有：

1)目标可能出现在图像的任何位置。

2)目标有各种不同的大小。

3)目标可能有各种不同的形状。

如果用矩形框来定义目标，则矩形有不同的宽高比。由于目标的宽高比不同，因此本发明采用经典的滑动窗口+图像缩放的方案解决通用目标检测问题。由于目标检测已是现有成熟技术，在此不予赘述。

步骤S101e，对聚类后的图像进行最小轮廓识别，对最小轮廓图像进行逐个分析，确定最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比，判断最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比是否在预设的最大最小值范围内，若在相应的范围内，则以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。

也就是说，本发明会预先设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比以及最小长宽比，当确定了最小轮廓长度、最小轮廓宽度以及最小轮廓宽长比后，判断是否在设定的相应的最大最小范围内，如果最小轮廓满足步骤(a)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。

步骤S101f判断当前目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测的目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送。

在本发明具体实施例中，如图7所示，步骤S101e的剔除重复识别目标过程如下：

(a)获取当前目标物的坐标信息、角度信息和时间信息；

(b)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；

(c)判断当前目标物和对比目标的Y坐标的差值，若差值小于对比目标Y坐标值的10％，，则执行步骤(d)；否则从上一帧图像上重新获取对比目标，重新执行步骤(c)，直至与上一帧图像上所有目标比对完成；

(d)判断当前目标物与对比目标的角度差值是否小于对比目标角度值的30％，若小于，则执行步骤(e)，否则从上一帧图像上重新获取对比目标，重新执行步骤(c)，直至与上一帧图像上所有目标比对完成；

(e)根据拍摄时目标物的运动速度v及两帧时间差，计算当前目标物X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于对比目标X坐标值的20％，若小于，则该目标物与对比目标为同一目标，否则从上一帧图像上重新获取对比目标，重新执行步骤(c)，直至与上一帧图像上所有目标比对完成。

步骤S102，对接收的每帧处理后的图像进行连续显示，获取人为根据拍摄的视觉图像的具体情况的纠错结果，确定人工纠错确定的目标物，将人工纠错确定的目标物的坐标信息、角度信息、时间信息发送到中间结果综合处理单元，也就是说，于步骤S102中，会对接收的每帧处理后的图像进行连续显示，由人工根据拍摄的视觉图像的具体情况，在显示的图像上点击尚未识别的目标物进行人工纠错，具体地，以人工点击的图像坐标为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0°,180°]内10°一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息，最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到中间结果综合处理单元。

以从传送带上的垃圾中识别瓶子目标为例，于触摸显示屏上对步骤S101识别后每帧图像进行连续平滑的显示，图像上将深度处理网络得到的检测目标采用最小矩形框或者其他方式进行着重显示。

当人工通过触摸显示屏上的图像发现未识别的瓶子时，点击触摸屏上相应位置时，则根据该点击动作进行上述处理识别出人工辅助识别的目标并以不同颜色的高亮的方式进行显示，步骤S102则将相应的坐标信息发送至步骤S103。

步骤S103，用于将步骤S102得到的坐标信息转换到图像坐标系下，得到错误目标的坐标或者新加目标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。

步骤S2，根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

具体地，步骤S2，进一步包括：

步骤S200，获取目标物的坐标、角度信息帧及时间。也就是说，最初采集的图像信息经过步骤S1的采集、识别和计算转换为目标物体的位置、姿态、时间构成的目标向量信息，并将其存储在抓取缓冲区，以便多机械手调度控制模块根据目标向量信息进行处理分配给左右两台机器人并规划出两台机器人在时间空间和笛卡尔空间上的分拣任务信息。

步骤S201，提取接收缓冲区中的目标坐标和角度信息帧，计算目标坐标和角度信息帧中目标抓取物在t2+T时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，T为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否“空闲”，如果“空闲”，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机械手对应的机械手轨迹控制模块。

步骤S202，初始化时控制机械手位于预设的准备位置，在接收目标抓取物的图像坐标系下的坐标信息之后，将工作状态置为“忙”，将该目标抓取物的坐标信息和姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外指定的物料存储区，之后，控制机械手回到预设的准备位置，将工作状态置为“空闲”。

实施例

在本实施例中，如图8所示，一种生活垃圾分类智能分拣系统包括垃圾目标识别单元和垃圾分拣控制单元，垃圾目标识别单元中由采样相机和网络计算机组成，垃圾分拣控制单元中则包括综合控制器、工业机器人、工业机器人控制器和机械臂末端执行器

在本实施例中，将采样相机固定在传输生活垃圾的传送带上方，横跨在传送带上，实时拍摄传送带上的生活垃圾，采样相机(摄像头)和网络计算机是目标识别单元的“眼睛”，负责采集传送带上的移动目标对象及不规则的背景图像信息，将得到的光学图像和信息传输至垃圾目标识别单元；垃圾目标识别单元实时接收上述光学图像并显示，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标坐标和角度信息帧，并输入至垃圾分拣控制单元，上述针对图像采集和处理的过程称为视觉识别。

具体地，如图9所示，垃圾目标识别单元通过采样相机(摄像头)对传送带上的垃圾进行图像采集，将采集的图像参照Gig E标准回传至以太网工业计算机，完成图像处理；运行视觉识别算法后，计算机通过RS422总线串口将目标对象的坐标及角度信息发送给垃圾分拣控制单元。

综合控制器是垃圾分拣控制单元控制多个工业机器人的“大脑”，负责通过RS422总线接收工控计算机视觉识别后的指令信息，反馈工业机器人的忙闲状态，与工控计算机进行信息交互，并将相应指令信息通过Profibus总线发送给工业机器人控制器；工业机器人在收到给定位目标物体的位置姿态和时间等信息后自主规划运动轨迹，最终控制工业机器人机械手，驱动末端执行器手爪完成对目标的分拣，其原理如图10所示。

如图11所示，垃圾目标识别单元实时接收采样相机实时拍摄传送带上的生活垃圾得到的光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标坐标和角度信息帧，并输入至垃圾分拣控制单元；所述的垃圾目标识别单元采用形态学识别和深度学习的方式结合人工交互对目标物进行识别，得到目标的坐标和角度信息。所述的垃圾目标识别单元包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块。

分拣控制是将识别的瓶子坐标信息发送给多机械手调度模块，由综合控制器以Profibus工业总线的方式调度各个机械手完成瓶子的分拣，如图12所示，综合控制器接收机器视觉系统的目标位置信息帧，将位置信息存储在抓取缓冲区，控制器循环计算目标坐标和角度信息帧中的目标抓取物在t2+T时刻在传送带坐标系下的预测坐标，T为机械手从收到指令开始到末端执行器运动到目标抓取物位置所需要的时间。分拣的输入信息是生活垃圾的图像信息，最初采集的图像信息经过视觉识别处理器的采集、识别和计算转换为目标物体的位置、姿态、时间构成的目标向量信息。综合控制器对目标向量信息进行处理分配给左右两台机器人并规划出两台机器人在时间空间和笛卡尔空间上的分拣任务信息。

垃圾分拣控制单元根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。其中包括目标抓取物位姿接收模块、多机械手调度控制模块、与机械手数量一致且一一对应的控制机械手的轨迹控制模块，如图13所示。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种生活垃圾分类智能分拣系统，包括：

垃圾目标识别单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧并输入至垃圾分拣控制单元；

垃圾分拣控制单元，用于根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

2.如权利要求1所述的一种生活垃圾分类智能分拣系统，其特征在于，垃圾目标识别单元包括：

图像采集模块，用于采集传送带上的移动目标对象及其不规则背景的光学图像；

形态学识别模块，用于实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在所述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送；

人工辅助处理模块，用于对接收的每帧处理后的图像进行连续显示，获取人为根据拍摄的视觉图像的具体情况的纠错结果，确定人工纠错确定的目标物，将人工纠错确定的目标物的坐标信息、角度及时间信息发送到中间结果综合处理单元；

中间结果综合处理单元，用于对所述人工辅助处理模块及形态学识别模块结果进行综合处理，得到识别目标的坐标、角度和时间信息传送至至垃圾分拣控制单元。

3.如权利要求2所述的一种生活垃圾分类智能分拣系统，其特征在于，所述形态学识别模块进一步包括：

阈值设定模块，用于设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；

原始图像获取模块，用于获取所述图像采集模块采集的原始图像；

颜色聚类处理模块，用于对采集到的每帧图像进行基于颜色的聚类处理；

目标检测模块，用于基于深度学习技术对聚类后的图像进行目标检测，找出图像中所有感兴趣的目标，确定目标的位置和大小；

最小轮廓识别模块，用于对聚类后的图像进行最小轮廓识别；

最小轮廓宽长比判断处理模块，用于对最小轮廓图像进行逐个分析，确定最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比，判断最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比是否在预设的最大最小值范围内，若在相应的范围内，则以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息；

重复识别目标剔除模块，用于判断当前目标信息是否与上一帧识别出的目标信息为同一目标，若不是同一目标则将处理后的图像以及图像上检测的目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至所述人工辅助处理模块，否则不发送。

4.如权利要求3所述的一种生活垃圾分类智能分拣系统，其特征在于，所述重复识别目标剔除模块具体用于：

(a)获取当前目标物的坐标信息、角度信息和时间信息；

(b)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；

(c)判断当前目标物和对比目标的Y坐标的差值，若差值小于预设阈值，则进入步骤(d)；否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成；

(d)判断当前目标物与对比目标的角度差值是否小于预设阈值，若小于，则进入(e)，否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成；

(e)根据拍摄时目标物的运动速度及两帧时间差，计算当前目标物的X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于预设阈值，若小于则认为该目标物与对比目标为同一目标，否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成。

5.如权利要求4所述的一种生活垃圾分类智能分拣系统，其特征在于：所述人工辅助处理模块以人工点击的图像坐标为几何中心，以若干倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0°,180°]内若干角度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息，最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到所述中间结果综合处理单元。

6.如权利要求5所述的一种生活垃圾分类智能分拣系统，其特征在于：所述中间结果综合处理单元将所述人工辅助处理模块发送的坐标信息转换到图像坐标系下，得到错误目标的坐标或者新加目标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。

7.如权利要求6所述的一种生活垃圾分类智能分拣系统，其特征在于，所述垃圾分拣控制单元进一步包括：

目标抓取物位姿接收模块，用于获取目标物的坐标、角度信息帧及时间；

多机械手调度控制模块，用于提取接收缓冲区中的目标坐标和角度信息帧，计算目标坐标和角度信息帧中目标抓取物在t2+T时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，T为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否空闲，若判断结果为空闲，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机械手对应的机械手轨迹控制模块；

机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置，在接收目标抓取物的图像坐标系下的坐标信息之后，将工作状态置为忙，将该目标抓取物的坐标信息和姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外指定的物料存储区，之后控制机械手回到预设的准备位置，将工作状态置为空闲。

8.如权利要求7所述的一种生活垃圾分类智能分拣系统，其特征在于，所述多机械手调度控制模块具体用于：

(a)判断当前时刻接收缓冲区是否有新的目标坐标和角度信息帧，若有，将新的目标坐标和角度信息帧存入当前抓取队列中，进入步骤(b)，否则，直接进入步骤(b)；

(b)按照先进先出的原则，选取抓取队列中的第一个目标坐标和角度信息帧；

(c)解析目标坐标和角度信息帧中的目标抓取物的图像坐标系下坐标信息和拍摄时间；

(d)判断待抓机械手工作状态是否空闲，如果空闲，则将该目标坐标和角度信息帧中的图像坐标系坐标和姿态角信息发送给该机械手对应的机械手轨迹控制模块。

9.如权利要求8所述的一种生活垃圾分类智能分拣系统，其特征在于，于(a)中，抓取队列中目标坐标和角度信息帧按照如下规则排列：不同拍摄时刻的目标坐标和角度信息帧，按照时间先后顺序排列，同一拍摄时刻的目标坐标和角度信息帧，根据目标坐标和角度信息帧的位置排列，靠近机械手的目标坐标和角度信息帧排列在前。

10.一种生活垃圾分类智能分拣方法，包括如下步骤：

步骤S1，利用垃圾目标识别单元采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧输入至垃圾分拣控制单元；

步骤S2，根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

Images