CN106000904A - 一种生活垃圾自动分拣系统 - Google Patents

一种生活垃圾自动分拣系统 Download PDF

Info

Publication number
CN106000904A
CN106000904A CN201610364283.7A CN201610364283A CN106000904A CN 106000904 A CN106000904 A CN 106000904A CN 201610364283 A CN201610364283 A CN 201610364283A CN 106000904 A CN106000904 A CN 106000904A
Authority
CN
China
Prior art keywords
target
coordinate
image
information
mechanical hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610364283.7A
Other languages
English (en)
Other versions
CN106000904B (zh
Inventor
朱成林
韩志富
张科
陈志鸿
杨涛
王燕波
李常
梁斌焱
邹河彬
许剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xinchangzheng Tiangao Intelligent Machine Technology Co ltd
Original Assignee
Beijing Xinchangzheng Tiangao Intelligent Machine Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xinchangzheng Tiangao Intelligent Machine Technology Co ltd filed Critical Beijing Xinchangzheng Tiangao Intelligent Machine Technology Co ltd
Priority to CN201610364283.7A priority Critical patent/CN106000904B/zh
Publication of CN106000904A publication Critical patent/CN106000904A/zh
Application granted granted Critical
Publication of CN106000904B publication Critical patent/CN106000904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory

Abstract

一种生活垃圾自动分拣系统，包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元；垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元；垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

Description

一种生活垃圾自动分拣系统
技术领域
本发明属于环保机械领域，解决生活垃圾中的目标对象快速自动分拣问题。
背景技术
生活垃圾回收生产线一般以传送带为载体，对传送带上平铺的垃圾进行分类分拣。现有的垃圾分拣实现一般以人工抓取的分拣方式。采用在垃圾分拣线上采用多机械手对目标物进行抓取分拣的方法具有工作效率高及降低工人劳动强度的优点。
但是由于生活垃圾总类繁多且环境复杂恶劣，从生活垃圾中需要识别的目标类别、特征种类非常多，例如各种形状、颜色的瓶子、罐子等，由于特征提取的计算量很大，提取多种特征的方法在实时性上不能满足要求；并且特征提取的方法的准确率一直不高，在工业自动化生产线上，很难满足使用要求。
并且现有的机械手控制大部分都是对单台机械手的运动控制，即使是多台机械手的控制也是针对不同种类的分拣目标在不同工序上的分拣任务。针对多目标在移动生产线上的垃圾分拣的实际应用情况，这种分拣方法容易漏检，效率低。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供了一种生活垃圾自动分拣系统。
本发明的技术解决方案是：一种生活垃圾自动分拣系统，包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；
采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元；
垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元；
垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。
所述的垃圾目标识别单元采用深度学习或者形态学识别的方式结合人工交互对目标物进行识别，得到目标的位姿信息。
所述的垃圾目标识别单元包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块；
形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送；所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；
人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的平面坐标和时间信息，并以上述平面坐标为中心点于预期被识别物平均面积的区域内进行角度识别，并对识别出的目标物进行着重显示，同时将本地坐标系的坐标、角度信息以及时间发送至中间结果综合处理单元；
中间结果综合处理单元将本地坐标系下坐标信息转换到图像坐标系下，得 到人工辅助补充的目标物的坐标，判断该补充目标物坐标信息是否与形态学识别模块识别的坐标信息有重复，对重复的信息进行剔除，输出目标物的坐标、角度信息，将目标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。
所述的形态学综合处理具体步骤如下：
(1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；
(2)对采集到的每帧图像做基于颜色的聚类处理；
(3)对聚类后的图像进行最小轮廓识别；
(4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽比是否在步骤(1)设定的相应最大最小范围之内，如果最小轮廓满足步骤(1)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。
所述的中间结果综合处理单元具体实现步骤如下：
(1)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标；
(2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息；
(3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除。
所述的人工辅助处理模块的角度识别步骤为：
以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0度,180 度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度。
所述的垃圾目标识别单元包括深度学习网络、中间结果综合处理单元和人机纠错接口；
深度学习网络实时接收拍摄的光学图像，对接收的每帧图像进行深度学习处理，即多层卷积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元；将处理后的图像发送至人机纠错接口，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；
人机纠错接口对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元；
中间结果综合处理单元将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，将目标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。
所述的分类处理为将多层卷积、池化操作后的最后一层即l层的每个结果分别进行如下处理：
(1)将l层的第k个结果Mlk池化为3个不同尺寸的目标矩阵Mkf1，Mkf2，Mkf3；其中Mkf1的尺寸为4×4，池化时滑动窗的尺寸步长为Mkf2的尺寸为2×2，池化时滑动窗的尺寸步长为Mkf3的 尺寸为1×1，池化时滑动窗的尺寸m，n，步长为m，n；m×n为Mlk的尺寸；
(2)将Mlk、Mkf2、Mkf3的元素依次复制到一个向量，作为尺寸规则化向量Vk；将Vk分别输入到三个全连接神经网络，第一个网络为类别网络，神经元个数为2即背景和目标物两类，得到结果为F1k，尺寸为2×1；第二个网络为包围盒回归网络，神经元个数为8即分别为背景和目标物的包围盒坐标信息，得到结果为F2k，尺寸为8×1；第三个网络为角度回归网络，神经元个数为1，得到结果为F3k，尺寸为1×1；
(3)根据P＝h(F1k)得到目标物的概率，其中θ为分类参数；取P≥b的概率作为目标物，其中b为预设的阈值参数；
则，目标物的坐标F2k为包围盒的坐标(x,y,w,h),其中，xy为包围盒左上角坐标，wh为盒子的宽度和高度；F3k的结果为目标物的角度。
中间结果综合处理单元具体实现步骤如下：
(1)将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标；
(2)根据错误目标的时间T0，从接收到的深度学习网络处理结果中获取对应帧图像Q0；
(3)将错误目标的坐标分别与上述对应帧图像的所有检测目标坐标计算欧氏距离，欧氏距离最小的目标即为图像Q0上的错误目标(X0,Y0,Z0)，将该目标的相关信息剔除；
(4)以Q0为基准，依次获取下一帧图像上纵坐标为Y0的所有目标，根据拍摄时目标物的运动速度v及两帧时间差，计算下一帧图像上对应错误目标的理论位置，计算理论位置与下一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标位置即为下一帧图像上对应错误目标的坐标系，直至在某一帧图 像上获取不到纵坐标为Y0的目标；
(5)对步骤(4)处理后的每帧图像所有目标的Y值进行统计，得到同一个目标的连续被统计的次数，若在规定的时间内统计次数达到预设的阈值，则该目标为识别的正确目标，否则，将该目标的相关信息剔除。
所述的垃圾分拣控制单元包括目标抓取物位姿接收模块、多机械手调度控制模块、与机械手数量一致且一一对应的控制机械手的轨迹控制模块，其中：
目标抓取物位姿接收模块，接收外部输入的目标位姿信息帧将其存入接收缓冲区中；
多机械手调度控制模块，提取接收缓冲区中的目标位姿信息帧，计算目标位姿信息帧中目标抓取物在t2+ΔT时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，ΔT为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否“空闲”，如果“空闲”，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机械手对应的机械手轨迹控制模块；
机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置；接收目标抓取物的图像坐标系下的坐标信息之后，将工作状态置为“忙”，将该目标抓取物的坐标信息和姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外指定的物料存储区，之后，控制机械手回到预设的准备位置，将工作状态置为“空闲”。
假设N个机械手沿传送带运动方向排列，序号为1～N，多机械手调度控制模块循环执行如下步骤：
(1)判断当前时刻接收缓冲区是否有新的目标位姿信息帧，如果有，将新的目标位姿信息帧存入当前抓取队列中，进入步骤(2)，否则，直接进入步骤(2)；
(2)按照先进先出的原则，选取抓取队列中的第一个目标位姿信息帧；
(3)解析目标位姿信息帧中的目标抓取物的图像坐标系下坐标信息(xP_0,yP_0)和拍摄时间t1；
(4)将目标抓取物在图像坐标系中坐标信息(xP_0,yP_0)进行坐标转换，得到传送带平面坐标系下的坐标信息(xC_0,yC_0)；
(5)计算目标抓取物在t2+ΔT时刻的在传送带平面坐标系下的预测坐标(xC_target,yC_target)；
(6)当前时刻依次判断该目标抓取物预测坐标(xC_target,yC_target)是否进入第1个机械手～第N个机械手的工作空间，如果该目标抓取物进入某一个机械手的工作空间，则确定该机械手为待抓机械手，进入步骤(7)，否则，将该目标位姿信息帧保存到暂存队列中，进入步骤(8)；
(7)判断待抓机械手工作状态是否“空闲”，如果“空闲”，则将该目标位姿信息帧中的图像坐标系坐标和姿态角信息发送给该机械手对应的轨迹控制模块，进入步骤(8)；如果工作状态为“忙”，则将该目标位姿信息帧保存到暂存队列中，进入步骤(8)；
(8)按照先进先出的原则，选取下一个目标位姿信息帧，重新执行步骤(3)～步骤(7)，直到选取完抓取队列中的所有目标位姿信息帧，进入步骤(9)；
(9)清空抓取队列，将暂存队列中的所有目标位姿信息帧存入抓取队列。
步骤(1)中抓取队列中目标位姿信息帧按照如下规则排列：不同拍摄时刻的目标位姿信息帧，按照时间先后顺序排列，同一拍摄时刻的目标位姿信息帧，根据目标位姿信息帧的位置排列，靠近机械手的目标位姿信息帧排列在前。
所述的机械手为具有单向缓冲功能的末端执行保护机构或者带有末端磁性过载保护的机构。
具有单向缓冲功能的末端执行保护机构包括上法兰板、上锁紧螺母、弹簧套筒、压缩弹簧、直线轴承、下法兰板、下锁紧螺母、导向限位轴、气爪法兰盘、气爪、夹持机构；
夹持机构与气爪固定，气爪上端通过气爪法兰盘安装在下法兰板的下方；下法兰板两端固定安装直线轴承，两个直线轴承的内工作面与导向限位轴配合，导向限位轴穿过下法兰板的部分通过两个下锁紧螺母连接，压缩弹簧穿过导向限位轴，压缩弹簧一端与直线轴承的外端面固定，另一端通过安装在上法兰板下方的弹簧套筒进行固定，弹簧套筒和直线轴承位于下法兰板上方的部分作为压缩弹簧上下两端的导向限位机构，通过压缩弹簧的预紧力使整个末端执行保护机构在正常工作时为刚性结构；导向限位轴穿过上法兰板的部分通过两个上锁紧螺母进行锁紧固定，上法兰板与机械臂固定，气爪接收机械臂上的气体，实现对夹持机构的夹持控制。
带有末端磁性过载保护的机构包括上磁性法兰、下磁性法兰、气爪、夹持支架和夹持夹片；上磁性法兰固定在机械臂末端，下磁性法兰下端安装气爪，气爪下端安装夹持支架，夹持支架安装夹持夹片；所述的下磁性法兰与上磁性法兰接触面中心位置设置定位凸起，该接触面其他位置设置一个防转凸起，上磁性法兰对应位置设置相应的凹槽；上磁性法兰与下磁性法兰之间通过磁力作用连接在一起，使得整个机构在正常工作时为刚性结构；当夹持支架和夹持夹片发生碰撞时，上磁性法兰和下磁性法兰脱离，从而吸收冲击能量保护机械臂。
本发明与现有技术相比有益效果为：
(1)本发明的基于人工纠错机制与深度学习网络协作机器视觉识别方法，能够克服上述两点不足，在需要识别的特征种类多的情况下，深度学习网络能够有效的识别目标，并且实时性能够满足使用要求；但是深度网络的计算的综合特征虽然数量足够多、速度足够快，但是存在误识别的问题，即错误的将非目标物识别为目标物，人工纠错机制的引入，能够去除这些非目标物，同时保证了速度要求，有效的提高识别的准确率。
深度学习网络目前在工业领域还没有成熟应用，主要原因是识别的范围和正确率不能保证。本发明的待识别目标范围非常广泛，形状、尺寸、颜色差异较大，并且识别环境恶劣，目标物被遮盖的情况十分严重，这在计算机视觉和 机器视觉应用中十分少见，识别难度大，人工纠错机制和深度学习网络结合的识别方法，很好的解决了被识别目标广泛和识别环境恶劣的问题。在正确率的保证上，由于有人工纠错机制的引入，正确率大幅提高，满足了工业稳定性的要求。
(2)本发明人工辅助识别的方式解决了纯计算机图像处理方式无法完成复杂非结构背景目标物识别的缺点；人工辅助识别方式的降低了计算机识别对相机、镜头、光环境、计算机处理能力等方面的要求，有效降低了成本；人工辅助处理模块与计算机综合处理模块相互结合，既降低了计算机识别的算法难度有解决了纯人工识别工作量大、容易出错和重复识别的问题，系统结构更为优化。
(3)本发明布置多个机械手对垃圾进行分拣，充分利用每台机械手的分拣能力，将多个分拣任务同时分配给多台机械手进行分拣，可实现整套系统最多目标抓取物的分拣能力，工作效率高。
(4)本发明定义了固定的传送带平面坐标系，坐标是否落入机械手的抓取范围的计算都是在传送带平面坐标系进行计算，有利于减少计算量，提高计算效率。本发明定义了多个机械手坐标系，机械手坐标系随着机械手的安装位置变化，降低了机械手轨迹控制模块的处理复杂度，另外，多机械手控制模块只需要将目标抓取物成像平面坐标系坐标发送给各机械手轨迹控制模块，由各机械手轨迹控制模块负责对各自需要抓取的目标物的坐标进行坐标转换，简化了多机械手控制模块的复杂度。
(5)本发明的机械手作为机械臂本体与末端执行器的连接机构，在机械臂最后一个关节的轴向上具有弹性。同时该机构在该方向上具有预紧力，当这个方向上的载荷小于预紧力的时候，该机构作为一个刚体保证机械臂的刚度；当这个方向上的冲击载荷大于对应预紧力的时候，该机构会压缩变形吸收冲击势能，保护机械臂本体。
附图说明
图1为本发明系统组成框图；
图2为本发明垃圾目标识别单元一种实现方式示意图；
图3为本发明基于机器视觉的动态目标信息提取示意图；
图4为本发明深度学习网络模块示意图；
图5为本发明垃圾目标识别单元另外一种实现方式示意图；
图6为本发明计算机形态学识别模块流程图；
图7为本发明人工辅助识别模块流程图；
图8为本发明剔出重复目标流程图；
图9为本发明垃圾分拣控制单元组成框图；
图10为本发明垃圾分拣控制流程图；
图11为本发明具有单向缓冲功能的末端执行机构示意图；
图12为图11中相关参数示意图；
图13为本发明末端磁性过载保护机构示意图；
图14为图13相关参数示意图。
具体实施方式
下面，首先对本发明涉及的几个坐标系进行说明：
●图像坐标系
图像坐标系描述单个像素在整幅图像中的位置坐标，坐标系原点设在图像左上角的像素点，坐标为(0，0)，图像坐标系横轴为水平方向，最大值1600，图像坐标系纵轴为垂直方向，最大值为1200，即图像宽度为1600×1200。
●传送带平面坐标系
传送带平面坐标系的原点为传送带边缘的一个固定点OC，XC轴为沿传送带的运动方向，YC位于传送带平面且与XC轴垂直。
●N个机械手坐标系
第i个机械手的机械手坐标系为XRiORiYRi，原点为机械手的基座与传送带平面的交点，轴ZR垂直与传送带平面，轴XR、轴YR分别与传送带平面坐标系的 轴XC和轴YC方向一致。
●人机纠错接口坐标系/本地坐标系
以屏幕的左上角的第一个像素点为原点，横坐标为水平方向，纵坐标为垂直方向；
下面结合附图及实例对本发明做详细说明，本发明一种生活垃圾自动分拣系统包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；
采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元；
垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元；
垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。
下面以目标物为生活垃圾中的瓶子为例进行详细说明。
(一)垃圾目标识别单元
垃圾目标识别单元采用深度学习或者形态学识别的方式结合人工交互对目标物进行识别，得到目标的位姿信息。
(1)深度学习+人工交互
如图2所示，采样相机(摄像头)实时拍摄传送带上的物品，得到视觉反馈图像，人机纠错接口可以采用目前常用的触摸屏的方式，深度学习网络和中间结果综合处理单元都运行在工控机上，各个部分组合完成对传送带上目标物的识别。
(1.1)深度学习网络
实时接收拍摄的视觉反馈图像，对接收的每帧图像进行深度学习处理，即多层卷积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元；将处理后的图像发送至人机纠错接口，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；
●对输入的图像分层卷积和池化。
①输入图像的数值矩阵为MO，尺寸为M×N，本方案采用1600×1200。将数值矩阵为MO与卷积核Hk1作卷积运算：
其中，表示矩阵卷积。Hk1为第1层的第k个特征的卷积核矩阵，k＝1…256，即第一层共256个特征卷积核，Hk1的参数由VGG16模型得到。M1k为深度网络第1层的第k个输出，即第一层的卷积输出共256个。
②将第一层的卷积结果M1k作池化处理，本方案采用最大值池化方法，即将M1k中每2×2个局部矩阵合并为一个元素，以四个元素中最大值作为结果，池化时的步长为2。
M1k池化后的结果为M1kc，M1kc的尺寸为原尺寸的一半。
③将第一层的卷积池化结果M1kc输入到第二层，得到第二层的结果M2kc，依次得到第l-1层的结果M(l-1)kc。
递推得到第l层的卷积和池化操作：
其中Hkl为第l层的第k个特征的卷积核矩阵，Hk1的参数由VGG16模型得到。Mlk为深度网络第l层的第k个输出。
●分类器操作。
①将Mlk尺寸为m×n)池化为3个不同尺寸的目标矩阵Mkf1，Mkf2，Mkf3。其中Mkf1的尺寸为4×4，池化时滑动窗的尺寸步长为同理得到Mkf2、Mkf3，其中Mkf2的尺寸为2×2，Mkf3的尺寸为1×1。
②将Mlk、Mkf2、Mkf3的元素依次复制到一个向量，作为尺寸规则化向量Vk。将Vk分别输入到三个全连接神经网络。第一个网络为类别网络，神经元个数为2背景和瓶子共两类)，得到结果为F1k，尺寸为2×1。第二个网络为包围盒回归网络，神经元个数为8类别的包围盒坐标信息)，得到结果为F2k，尺寸为8×1。第三个网络为角度回归网络，神经元个数为1，得到结果为F3k，尺寸为1×1。
●将F1k输入至分类器函数：
其中θ为分类参数。将F1k代入上式得瓶子的概率：P＝h(F1k)
取P≥b的概率作为目标瓶子，其中b为阈值参数。
F2k为包围盒的坐标x,y,w,h),其中，xy为包围盒左上角坐标，wh为盒子的宽度和高度，由此可得瓶子的坐标为：
F3k的结果为瓶子的角度A。
(1.2)人机纠错接口
人机纠错接口对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元；
以从传送带上的垃圾中识别瓶子目标为例，触摸屏上将深度学习网络后每帧图像连续平滑的显示，图像上将深度学习网络得到的检测目标采用最小矩形框或者其他方式进行着重显示，当人工通过触摸屏上的图像发现，最小矩形框中目标不是瓶子时，人工点击触摸屏上对应的矩形框，该位置的矩形框以消失或者其他更亮、更暗的方式进行显示，触摸屏将相应的坐标信息发送至中间结果综合处理单元。
(1.3)中间结果综合处理单元
中间结果综合处理单元将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。具体实现步骤如下：
(1.3.1)将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标；
(1.3.2)根据错误目标的时间T0，从接收到的深度学习网络处理结果中获取对应帧图像Q0；
(1.3.3)将错误目标的坐标分别与上述对应帧图像的所有检测目标坐标计算欧氏距离，欧氏距离最小的目标即为图像Q0上的错误目标(X0,Y0,Z0)，将该目标的相关信息剔除；
(1.3.4)以Q0为基准，依次获取下一帧图像上纵坐标为Y0的所有目标， 根据拍摄时目标物的运动速度v及两帧时间差，计算下一帧图像上对应错误目标的理论位置，计算理论位置与下一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标位置即为下一帧图像上对应错误目标的坐标系，直至在某一帧图像上获取不到纵坐标为Y0的目标；
以Q0的下一帧图像Q1为例，Q1上对应错误目标的理论位置横坐标X1＝X0+v(T1-T0)；Q1的下一帧图像Q2对应错误目标的理论位置横坐标X2＝X0+v(T2-T0)，以此类推。当某一帧图像上获取不到纵坐标为Y0的目标时，代表该目标由于传送带的移动已经不在摄像范围内，因此，后续不需要对该目标进行相应的处理。
在传送带上的目标识别对象是在不断移动的，摄像头对目标识别对象进行连续拍照，在摄像头视野范围内，同一目标识别对象会在多张图像的不同位置出现，动态目标信息提取时，需要剔除那些重复的目标识别信息。为解决同一目标识别对象在连续运动状态下的信息提取，本文提出了基于机器视觉的动态目标信息提取方法。该方法示意如图2所示。把目标识别对象在摄像头视野范围内的图像分为两类，一、刚进摄像头视野和出摄像头视野的目标对象局部图像，如图3中的①和③；二、在摄像头视野范围内的目标对象的完整图像，如图3中的②。
假设传送带的速度为Vc，摄像头的帧率为Fps，摄像头在Y方向的视野范围为SY，目标对象的轮廓以不同姿态在Y轴上占用的最大长度Lmax。则：目标对象在图像中完整的成像次数Nc可以计算为：
Nc取整数部分。
因此，上述步骤(1.3.4)也可以预先通过计算完整的成像次数Nc，当计算下一帧图像上对应错误目标理论位置的次数达到Nc时，表明目标由于传送带的移动已经不在摄像范围内。
(1.3.5)对步骤(1.3.4)处理后的每帧图像所有目标的Y值进行统计，得 到同一个目标的连续被统计的次数，若在规定的时间内统计次数达到预设的阈值，则该目标为识别的正确目标，否则，将该目标的相关信息剔除。
每帧图像上同一目标的确定方法，以一帧图像上的一个目标为基准，依次获取其他帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间差，计算另外一帧图像上对应目标的理论位置，计算理论位置与该另外一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标。
中间结果综合处理单元输出给后续外部应用的信息为每个目标在图像坐标系下的坐标、角度、时间。当目标在多帧图像上出现时，根据上述方法确定每帧图像上的相同目标，选择其中一帧图像上的坐标、角度、时间输出。或者对所有同一目标的坐标、角度、时间取均值输出。
(2)形态学识别+人工交互
如图5所示，包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块。
(2.1)形态学识别模块
形态学识别模块实时接收拍摄的光学图像，对接收的每帧图像进行形态学处理，即颜色聚类、最小轮廓提取、长度、宽度、长宽比分析处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间与上一帧识别出的结果进行对比，判断是否为重复识别的同一目标物，如果是则放弃本次识别出的信息，否则将本次识别的信息发送至中间结果综合处理单元；将处理后的图像发送至人工辅助处理模块，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；上述形态学识别过程如图6所示，具体步骤如下：
(2.1.1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；上述设定值可以根据待识别物体进行统计得到。
(2.1.2)对采集到的每帧图像做基于颜色的聚类处理；
(2.1.3)对聚类后的图像进行最小轮廓识别；
(2.1.4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽比是否在步骤(2.1.1)设定的相应最大最小范围之内，如果最小轮廓满足步骤(2.1.1)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。
判断是否为同一目标重复识别的过程如图8所示，具体步骤如下：
(2.2.1)获取目标物的坐标信息、角度信息和时间信息；
(2.2.2)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；
(2.2.3)判断目标物和对比目标的Y坐标的差值，若差值小于对比目标Y坐标值的10％，则执行步骤(2.2.4)；否则从上一帧图像上重新获取对比目标，重新执行步骤(2.2.3)，直至与上一帧图像上所有目标比对完成；
(2.2.4)判断目标物与对比目标的角度差值是否小于对比目标角度值的30％，若小于，则执行步骤(2.2.5)，否则从上一帧图像上重新获取对比目标，重新执行步骤(2.2.3)，直至与上一帧图像上所有目标比对完成；；
(2.2.5)根据拍摄时目标物的运动速度v及两帧时间差，计算目标物X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于对比目标X坐标值的20％，若小于，则该目标物与对比目标为同一目标，否则从上一帧图像上重新获取对比目标，重新执行步骤(2.2.3)，直至与上一帧图像上所有目标比对完成。
(2.2)人工辅助处理模块
人工辅助处理模块如图7所示，对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉图像的具体情况，在显示的图像上点击尚为识别的目标物。计算机以人工点击的图像坐标为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0度,180度]内10度一个区间统计直线的斜 率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息。最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到中间结果综合处理单元。
以从传送带上的垃圾中识别瓶子目标为例，触摸屏上形态学识别模块识别后每帧图像连续平滑的显示，图像上将深度处理网络得到的检测目标采用最小矩形框或者其他方式进行着重显示。当人工通过触摸屏上的图像发现未识别的瓶子时，人工点击触摸屏上相应位置，计算机根基点击动作进行上述处理识别出人工辅助识别的目标无信息并以不同颜色的高亮的方式进行显示，人工辅助处理模块将相应的坐标信息发送至中间结果综合处理单元。
(2.3)中间结果综合处理单元
中间结果综合处理单元将计算机形态学识别模块和人工辅助处理模块发送的坐标信息转换到图像坐标系下，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误及重复的目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时通过图8所示的分析流程，将接收的重复目标从图像上去掉，完成视觉识别。具体实现步骤如下：
(2.3.1)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标；
(2.3.2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息；
(2.3.3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击 的目标进行剔除。
(二)垃圾分拣控制单元
如图9所示，垃圾分拣控制单元包括目标抓取物位姿接收模块、多机械手调度控制模块、与机械手数量一致且一一对应的控制机械手的轨迹控制模块，其中：
目标抓取物位姿接收模块，接收外部输入的目标位姿信息帧将其存入接收缓冲区中；
多机械手调度控制模块，提取接收缓冲区中的目标位姿信息帧，计算目标位姿信息帧中目标抓取物在t2+ΔT时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，ΔT为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否“空闲”，如果“空闲”，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机械手对应的机械手轨迹控制模块；
机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置；接收目标抓取物的图像坐标系下的坐标信息之后，将工作状态置为“忙”，将该目标抓取物的坐标信息和姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外指定的物料存储区，之后，控制机械手回到预设的准备位置，将工作状态置为“空闲”。
假设N个机械手沿传送带运动方向排列，序号为1～N，多机械手调度控制模块循环执行如下步骤(图10)：
(1)判断当前时刻接收缓冲区是否有新的目标位姿信息帧，如果有，将新的目标位姿信息帧存入当前抓取队列中，进入步骤(2)，否则，直接进入步骤(2)；目标位姿信息帧按照如下规则排列：不同拍摄时刻的目标位姿信息帧，按照时间先后顺序排列，同一拍摄时刻的目标位姿信息帧，根据目标位姿信息 帧的位置排列，靠近机械手的目标位姿信息帧排列在前
(2)按照先进先出的原则，选取抓取队列中的第一个目标位姿信息帧；
(3)解析目标位姿信息帧中的目标抓取物的图像坐标系下坐标信息(xP_0,yP_0)和拍摄时间t1；
(4)将目标抓取物在图像坐标系中坐标信息(xP_0,yP_0)进行坐标转换，得到传送带平面坐标系下的坐标信息(xC_0,yC_0)；
(5)计算目标抓取物在t2+ΔT时刻的在传送带平面坐标系下的预测坐标(xC_target,yC_target)；
xC_target＝xC_0+v×(t2+ΔT-t1)
yC_target＝yC_0
zR_target＝0
其中，xR_int，yR_int，zR_int)为第i个机械手的准备位置在该机械手坐标系下的坐标；VR_hand为机械手沿点对点直线运动的预设速度，v为传送带的速度，MC_R_i为传送带平面坐标系到第i个机械手坐标系的坐标转换矩阵，t2为当前时刻。
(6)当前时刻依次判断该目标抓取物预测坐标(xC_target,yC_target)是否进入第1个机械手～第N个机械手的工作空间，如果该目标抓取物进入某一个机械手的工作空间，则确定该机械手为待抓机械手，进入步骤(7)，否则，将该目标位姿信息帧保存到暂存队列中，进入步骤(8)；
判断该目标抓取物预测坐标(xC_target,yC_target)是否进入第i个机械手的工作区间的方法为：
(6a)将第i机械手在第i个机械手坐标系XRiORiYRi下的坐标原点(0,0)进行坐标转换，得到该坐标原点在传送带平面坐标系下的坐标(xC_i,yC_i)；
(6b)判断(xC_target,yC_target)是否满足条件：
时，机械手的工作空间为半径为R的扇形区域，满足，则认为(xC_target,yC_target)落入第i个机械手的工作区域内，否则，认为(xC_target,yC_target)不在该机械手的工作区域内。
(7)判断待抓机械手工作状态是否“空闲”，如果“空闲”，则将该目标位姿信息帧中的图像坐标系坐标和姿态角信息发送给该机械手对应的轨迹控制模块，进入步骤(8)；如果工作状态为“忙”，则将该目标位姿信息帧保存到暂存队列中，进入步骤(8)；
(8)按照先进先出的原则，选取下一个目标位姿信息帧，重新执行步骤(3)～步骤(7)，直到选取完抓取队列中的所有目标位姿信息帧，进入步骤(9)；
(9)清空抓取队列，将暂存队列中的所有目标位姿信息帧存入抓取队列。
当需要分拣的目标物为玻璃瓶时，可以根据需要在机械手上增加一个测量抓取物的重力传感器，当机械手根据控制抓取到目标物后，当瓶子离开传送带表面时，读取重量传感器值，根据瓶子重量判断所抓取的瓶子是否为玻璃瓶，如果为玻璃瓶，则将瓶子送到传送带以外指定的物料存储区，如果不是玻璃瓶的重量特征，则将瓶子放回到传送带上，之后，控制机械手回到预设的准备位置，将工作状态置为“空闲”。根据目前市面上玻璃瓶的统计重量，一般当重量超过200g时，则判定为玻璃瓶。
(三)机械手
本发明生活垃圾自动分拣系统可以采用目前市面上常见的机械手，为了保护末端执行器发生冲击碰撞时机械臂本体的安全，可以采用本发明提供的具有单向缓冲功能的末端执行机构或者末端磁性过载保护机构。
例如，一种具有单向缓冲功能的末端执行机构，该机构作为机械臂本体与末端执行器的连接机构，在空间全部六个自由度上都具有弹性。同时该机构在 六个自由度上具有预紧力，当每个方向上的载荷小于对应的预紧力的时候，该机构作为一个刚体保证机械臂的刚度；当某个方向上的载荷大于对应预紧力的时候，该机构会压缩变形吸收冲击势能，保护机械臂本体。
如图11所示，末端执行保护机构，上锁紧螺母1、包括上法兰板2、弹簧套筒3、压缩弹簧4、直线轴承5、下法兰板6、导向限位轴7、下锁紧螺母8、气爪法兰盘9、气爪10、夹持机构11和机械臂12。
夹持机构11与气爪10固定，气爪10上端通过气爪法兰盘9安装在下法兰板6的下方；下法兰板6两端固定安装直线轴承5，两个直线轴承的内工作面与导向限位轴7配合，导向限位轴7穿过下法兰板6的部分通过两个下锁紧螺母8连接，压缩弹簧4穿过导向限位轴7，压缩弹簧4一端与直线轴承的外端面固定，另一端通过安装在上法兰板1下方的弹簧套筒进行固定，弹簧套筒2和直线轴承5位于下法兰板上方的部分作为压缩弹簧上下两端的导向限位机构，通过压缩弹簧的预紧力使整个末端执行保护机构在正常工作时为刚性结构；导向限位轴穿过上法兰板1的部分通过两个上锁紧螺母进行锁紧固定，上法兰板与机械臂固定，气爪10接收机械臂上的气体，实现对夹持机构11的夹持控制。
夹持机构11采用带有一定角度的钣金件，角度与钣金件下方弯曲部分的长度，需要达到与夹持目标圆柱体紧密贴合，达到抓取状态最稳定且不容易脱落的目的，因此，通过上述考虑，如图12所示，目标夹持物直径为夹持机构两个回转中心的距离为D，夹持机构弯曲角度为θ，夹持机构上半段长度L1，下半段长度L2，目标夹持物中心相对夹持机构回转中心高度差为H。以夹持机构对目标夹持物圆周的覆盖面积σ为优化目标，σ越大说明抓取稳定性越好。夹持机构的关键尺寸具体确定方法如下：
首先根据机械臂末端最后一个关节(即上法兰板2处)伸出的距离要求，在要求范围内选取目标夹持物中心相对夹持机构回转中心高度差为H和夹持机构上半段长度L1；
然后根据选定的和L1和H，可以得出：
通过计算，从上式可以看出，σ与目标夹持物直径夹持机构弯曲角度θ、夹持机构上半段长度L1、下半段长度L2、目标夹持物中心相对夹持机构回转中心高度差H相关。由于本文针对的目标夹持物为主体为圆柱形的物体，例如市面上常见的普通瓶子，直径在一个确定的范围，因此可以确定。综上所述，目标夹持物圆周的覆盖面积σ与夹持机构弯曲角度θ以及夹持夹片弯曲后的长度L2有关。
夹持物圆周的覆盖面积σ为优化目标，σ越大说明抓取稳定性越好。通过计算，根据机构尺寸要求，当夹片弯曲后的长度L2为15～20mm，时夹持机构弯曲角度θ为110°～125°时(以120°为最优角度)，目标夹持物圆周的覆盖面积σ最大，夹持稳定性最好。
机械臂运动到目标点的过程中，要保证整个末端执行保护机构是一个刚性机构，当本发明机构在机械臂的作用下根据指令运动到目标的位置时，当目标所在环境使得抓取过程中末端执行保护机构遭受到意外冲击时，由于夹持机构、气爪、气爪法兰盘9和下法兰板6、直线轴承相对固连，构成一个刚性体，冲击力带动刚性体运动，压缩弹簧在冲击力的作用下进一步压缩，对冲击力进行缓冲，起到对机械臂的保护作用。
为了保证在机械臂运动到目标点的过程中，要保证整个末端执行保护机构是一个刚性机构，以及在抓捕过程中未发生意外冲击过程中末端执行保护机构是一个刚性机构，因此必须保证压缩弹簧预紧力。压缩弹簧预紧力计算区别一般预紧力计算方法是加入了机械臂末端执行机构的最大加速度，压缩弹簧的预紧力需要保证末端抓取机构在机械臂最大加速度运动时，压缩弹簧不发生形变。假设机械臂末端最大加速度是a，末端执行机构的质量为m，当a竖直向上时，压缩弹簧所受到的压力最大,此时压力为弹簧预紧力的临界值。
例如，如图13、14所示，一种机器人末端磁性过载保护机构，包括上磁 性法兰111、下磁性法兰112、气爪10、夹持支架114和夹持夹片115；上磁性法兰112固定在机械臂末端，下磁性法兰112下端安装气爪，气爪10下端安装夹持支架114，夹持支架114安装夹持夹片115；所述的下磁性法兰112与上磁性法兰接触面中心位置设置定位凸起，该接触面其他位置设置一个防转凸起，上磁性法兰111对应位置设置相应的凹槽；上磁性法兰111与下磁性法兰112之间通过磁力作用连接在一起，使得整个机构在正常工作时为刚性结构；当夹持支架114和夹持夹片115发生碰撞时，上磁性法兰111和下磁性法兰112脱离，从而吸收冲击能量保护机械臂，气爪117接收机械臂上的气体，实现对夹持支架114和夹持夹片115的夹持控制。
本发明下磁性法兰上设置圆锥型的定位凸起和防转凸起，与上磁性法兰上的对应凹槽相互配合保证正常工作时末端机构与机器人之间不发生相对运动。定位凸起为圆锥型，对中定位圆锥高6～13mm，直径15～24mm。防转凸起为圆锥型，防转定位圆锥高4～7mm，直径8～11mm。为了保证机构可靠工作，圆锥的直径与高度的比在1.8：1最合适，既能有效的对中定位，又不干涉机构碰撞时分离的动作。
末端磁性过载保护机构与上面的具有单向缓冲功能的末端执行机构共性的部分采用同样的原理及方法确定，此处不过多进行赘述。
本发明未详细说明部分属于本领域技术人员公知常识。

Claims (15)

1.一种生活垃圾自动分拣系统，其特征在于：包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；
采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元；
垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元；
垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。
2.根据权利要求1所述的一种生活垃圾自动分拣系统，其特征在于：所述的垃圾目标识别单元采用深度学习或者形态学识别的方式结合人工交互对目标物进行识别，得到目标的位姿信息。
3.根据权利要求2所述的一种生活垃圾自动分拣系统，其特征在于：所述的垃圾目标识别单元包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块；
形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送；所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；
人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的平面坐标和时间信息，并以上述平面坐标为中心点于预期被识别物平均面积的区域内进行角度识别，并对识别出的目标物进行着重显示，同时将本地坐标系的坐标、角度信息以及时间发送至中间结果综合处理单元；
中间结果综合处理单元将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标，判断该补充目标物坐标信息是否与形态学识别模块识别的坐标信息有重复，对重复的信息进行剔除，输出目标物的坐标、角度信息，将目标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。
4.根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于：所述的形态学综合处理具体步骤如下：
(1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；
(2)对采集到的每帧图像做基于颜色的聚类处理；
(3)对聚类后的图像进行最小轮廓识别；
(4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽比是否在步骤(1)设定的相应最大最小范围之内，如果最小轮廓满足步骤(1)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。
5.根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于：所述的中间结果综合处理单元具体实现步骤如下：
(1)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标；
(2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息；
(3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除。
6.根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于：所述的人工辅助处理模块的角度识别步骤为：
以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0度,180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度。
7.根据权利要求2所述的一种生活垃圾自动分拣系统，其特征在于：所述的垃圾目标识别单元包括深度学习网络、中间结果综合处理单元和人机纠错接口；
深度学习网络实时接收拍摄的光学图像，对接收的每帧图像进行深度学习处理，即多层卷积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元；将处理后的图像发送至人机纠错接口，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；
人机纠错接口对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元；
中间结果综合处理单元将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，将目标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。
8.根据权利要求7所述的一种生活垃圾自动分拣系统，其特征在于：所述的分类处理为将多层卷积、池化操作后的最后一层即l层的每个结果分别进行如下处理：
(1)将l层的第k个结果Mlk池化为3个不同尺寸的目标矩阵Mkf1，Mkf2，Mkf3；其中Mkf1的尺寸为4×4，池化时滑动窗的尺寸步长为Mkf2的尺寸为2×2，池化时滑动窗的尺寸步长为Mkf3的尺寸为1×1，池化时滑动窗的尺寸m，n，步长为m，n；m×n为Mlk的尺寸；
(2)将Mlk、Mkf2、Mkf3的元素依次复制到一个向量，作为尺寸规则化向量Vk；将Vk分别输入到三个全连接神经网络，第一个网络为类别网络，神经元个数为2即背景和目标物两类，得到结果为F1k，尺寸为2×1；第二个网络为包围盒回归网络，神经元个数为8即分别为背景和目标物的包围盒坐标信息，得到结果为F2k，尺寸为8×1；第三个网络为角度回归网络，神经元个数为1，得到结果为F3k，尺寸为1×1；
(3)根据P＝h(F1k)得到目标物的概率，其中θ为分类参数；取P≥b的概率作为目标物，其中b为预设的阈值参数；
X = x + w 2
则，目标物的坐标F2k为包围盒的坐标(x,y,w,h),其中，xy为包围盒左上角坐标，wh为盒子的宽度和高度；F3k的结果为目标物的角度。
9.根据权利要求7所述的一种生活垃圾自动分拣系统，其特征在于：中间结果综合处理单元具体实现步骤如下：
(1)将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标；
(2)根据错误目标的时间T0，从接收到的深度学习网络处理结果中获取对应帧图像Q0；
(3)将错误目标的坐标分别与上述对应帧图像的所有检测目标坐标计算欧氏距离，欧氏距离最小的目标即为图像Q0上的错误目标(X0,Y0,Z0)，将该目标的相关信息剔除；
(4)以Q0为基准，依次获取下一帧图像上纵坐标为Y0的所有目标，根据拍摄时目标物的运动速度v及两帧时间差，计算下一帧图像上对应错误目标的理论位置，计算理论位置与下一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标位置即为下一帧图像上对应错误目标的坐标系，直至在某一帧图像上获取不到纵坐标为Y0的目标；
(5)对步骤(4)处理后的每帧图像所有目标的Y值进行统计，得到同一个目标的连续被统计的次数，若在规定的时间内统计次数达到预设的阈值，则该目标为识别的正确目标，否则，将该目标的相关信息剔除。
10.根据权利要求2所述的一种生活垃圾自动分拣系统，其特征在于：所述的垃圾分拣控制单元包括目标抓取物位姿接收模块、多机械手调度控制模块、与机械手数量一致且一一对应的控制机械手的轨迹控制模块，其中：
目标抓取物位姿接收模块，接收外部输入的目标位姿信息帧将其存入接收缓冲区中；
多机械手调度控制模块，提取接收缓冲区中的目标位姿信息帧，计算目标位姿信息帧中目标抓取物在t2+ΔT时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，ΔT为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否“空闲”，如果“空闲”，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机械手对应的机械手轨迹控制模块；
机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置；接收目标抓取物的图像坐标系下的坐标信息之后，将工作状态置为“忙”，将该目标抓取物的坐标信息和姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外指定的物料存储区，之后，控制机械手回到预设的准备位置，将工作状态置为“空闲”。
11.根据权利要求10所述的一种生活垃圾自动分拣系统，其特征在于：假设N个机械手沿传送带运动方向排列，序号为1～N，多机械手调度控制模块循环执行如下步骤：
(1)判断当前时刻接收缓冲区是否有新的目标位姿信息帧，如果有，将新的目标位姿信息帧存入当前抓取队列中，进入步骤(2)，否则，直接进入步骤(2)；
(2)按照先进先出的原则，选取抓取队列中的第一个目标位姿信息帧；
(3)解析目标位姿信息帧中的目标抓取物的图像坐标系下坐标信息(xP_0,yP_0)和拍摄时间t1；
(4)将目标抓取物在图像坐标系中坐标信息(xP_0,yP_0)进行坐标转换，得到传送带平面坐标系下的坐标信息(xC_0,yC_0)；
(5)计算目标抓取物在t2+ΔT时刻的在传送带平面坐标系下的预测坐标(xC_target,yC_target)；
(6)当前时刻依次判断该目标抓取物预测坐标(xC_target,yC_target)是否进入第1个机械手～第N个机械手的工作空间，如果该目标抓取物进入某一个机械手的工作空间，则确定该机械手为待抓机械手，进入步骤(7)，否则，将该目标位姿信息帧保存到暂存队列中，进入步骤(8)；
(7)判断待抓机械手工作状态是否“空闲”，如果“空闲”，则将该目标位姿信息帧中的图像坐标系坐标和姿态角信息发送给该机械手对应的轨迹控制模块，进入步骤(8)；如果工作状态为“忙”，则将该目标位姿信息帧保存到暂存队列中，进入步骤(8)；
(8)按照先进先出的原则，选取下一个目标位姿信息帧，重新执行步骤(3)～步骤(7)，直到选取完抓取队列中的所有目标位姿信息帧，进入步骤(9)；
(9)清空抓取队列，将暂存队列中的所有目标位姿信息帧存入抓取队列。
12.根据权利要求11所述的一种生活垃圾自动分拣系统，其特征在于：步骤(1)中抓取队列中目标位姿信息帧按照如下规则排列：不同拍摄时刻的目标位姿信息帧，按照时间先后顺序排列，同一拍摄时刻的目标位姿信息帧，根据目标位姿信息帧的位置排列，靠近机械手的目标位姿信息帧排列在前。
13.根据权利要求1所述的一种生活垃圾自动分拣系统，其特征在于：所述的机械手为具有单向缓冲功能的末端执行保护机构或者带有末端磁性过载保护的机构。
14.根据权利要求13所述的一种生活垃圾自动分拣系统，其特征在于：具有单向缓冲功能的末端执行保护机构包括上法兰板(2)、上锁紧螺母(1)、弹簧套筒(3)、压缩弹簧(4)、直线轴承(5)、下法兰板(6)、下锁紧螺母(8)、导向限位轴(7)、气爪法兰盘(9)、气爪(10)、夹持机构(11)；
夹持机构(11)与气爪(10)固定，气爪(10)上端通过气爪法兰盘(9)安装在下法兰板(6)的下方；下法兰板(6)两端固定安装直线轴承(5)，两个直线轴承的内工作面与导向限位轴(7)配合，导向限位轴(7)穿过下法兰板(6)的部分通过两个下锁紧螺母(8)连接，压缩弹簧(4)穿过导向限位轴(7)，压缩弹簧(4)一端与直线轴承的外端面固定，另一端通过安装在上法兰板(1)下方的弹簧套筒进行固定，弹簧套筒(2)和直线轴承(5)位于下法兰板上方的部分作为压缩弹簧上下两端的导向限位机构，通过压缩弹簧的预紧力使整个末端执行保护机构在正常工作时为刚性结构；导向限位轴穿过上法兰板(1)的部分通过两个上锁紧螺母进行锁紧固定，上法兰板与机械臂固定，气爪(10)接收机械臂上的气体，实现对夹持机构(11)的夹持控制。
15.根据权利要求13所述的一种生活垃圾自动分拣系统，其特征在于：带有末端磁性过载保护的机构包括上磁性法兰(111)、下磁性法兰(112)、气爪(10)、夹持支架(114)和夹持夹片(115)；
上磁性法兰(112)固定在机械臂末端，下磁性法兰(112)下端安装气爪，气爪(113)下端安装夹持支架(114)，夹持支架(114)安装夹持夹片(115)；所述的下磁性法兰(112)与上磁性法兰接触面中心位置设置定位凸起，该接触面其他位置设置一个防转凸起，上磁性法兰(111)对应位置设置相应的凹槽；上磁性法兰(111)与下磁性法兰(112)之间通过磁力作用连接在一起，使得整个机构在正常工作时为刚性结构；当夹持支架(114)和夹持夹片(115)发生碰撞时，上磁性法兰(111)和下磁性法兰(112)脱离，从而吸收冲击能量保护机械臂。
CN201610364283.7A 2016-05-26 2016-05-26 一种生活垃圾自动分拣系统 Active CN106000904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610364283.7A CN106000904B (zh) 2016-05-26 2016-05-26 一种生活垃圾自动分拣系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610364283.7A CN106000904B (zh) 2016-05-26 2016-05-26 一种生活垃圾自动分拣系统

Publications (2)

Publication Number Publication Date
CN106000904A true CN106000904A (zh) 2016-10-12
CN106000904B CN106000904B (zh) 2018-04-10

Family

ID=57091316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610364283.7A Active CN106000904B (zh) 2016-05-26 2016-05-26 一种生活垃圾自动分拣系统

Country Status (1)

Country Link
CN (1) CN106000904B (zh)

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106514664A (zh) * 2016-11-23 2017-03-22 河池学院 一种垃圾站专用机器人系统
CN106623361A (zh) * 2016-12-08 2017-05-10 蒲红旗 一种城市废弃物循环利用系统及方法
CN106670122A (zh) * 2017-01-17 2017-05-17 碧海舟（北京）节能环保装备有限公司 用于生活垃圾的自动识别分拣回收系统
CN106737664A (zh) * 2016-11-25 2017-05-31 中国科学院自动化研究所 分拣多类工件的Delta机器人控制方法及系统
CN106733647A (zh) * 2016-11-29 2017-05-31 广西大学 一种垃圾自动分选装置
CN106975616A (zh) * 2017-05-18 2017-07-25 山东理工大学 一种智能城市生活垃圾分拣设备
CN107030017A (zh) * 2016-11-28 2017-08-11 河南工程学院 基于ccd成像系统的玻璃碎片分选工艺
CN107092914A (zh) * 2017-03-23 2017-08-25 广东数相智能科技有限公司 基于图像识别的垃圾分类方法、装置和系统
CN107127160A (zh) * 2017-05-24 2017-09-05 唐春美 一种用于生活垃圾分类处理的系统和方法
CN107282477A (zh) * 2017-07-27 2017-10-24 深圳市和网零售有限公司 基于图像识别技术的塑料垃圾分类回收装置和控制方法
CN107953338A (zh) * 2017-12-29 2018-04-24 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机械臂
CN107961990A (zh) * 2017-12-27 2018-04-27 华侨大学 一种建筑垃圾分拣系统和分拣方法
CN108182455A (zh) * 2018-01-18 2018-06-19 齐鲁工业大学 一种垃圾图像智能分类的方法、装置及智能垃圾桶
CN108273761A (zh) * 2018-03-12 2018-07-13 华侨大学 一种分拣建筑垃圾的装置及方法
CN108355979A (zh) * 2018-01-31 2018-08-03 塞伯睿机器人技术（长沙）有限公司 传送带上目标追踪分拣系统
CN108555901A (zh) * 2017-12-29 2018-09-21 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机械臂
CN108686978A (zh) * 2018-05-02 2018-10-23 广州慧睿思通信息科技有限公司 基于arm的水果类别和色泽的分拣方法及系统
CN108910508A (zh) * 2018-05-08 2018-11-30 清华大学 高速分拣任务中的多机协同规则及装置
CN108940919A (zh) * 2018-06-14 2018-12-07 华东理工大学 基于无线传输及深度学习的垃圾分类机器人
CN108971190A (zh) * 2018-06-25 2018-12-11 大连大学 一种基于机器视觉的生活垃圾分拣方法
CN109051474A (zh) * 2018-08-14 2018-12-21 深圳市烽焌信息科技有限公司 一种垃圾中转站分类系统
CN109127445A (zh) * 2018-06-04 2019-01-04 顺丰科技有限公司 条码读取方法及条码读取系统
CN109230108A (zh) * 2018-08-14 2019-01-18 深圳市烽焌信息科技有限公司 一种垃圾智能分类的方法
CN109249402A (zh) * 2018-10-15 2019-01-22 深圳蓝胖子机器人有限公司 机器人、机器人自动回收垃圾方法、装置和存储介质
CN109261531A (zh) * 2018-10-30 2019-01-25 福建省亿顺机械设备有限公司 基于智能分拣的码垛包装线
CN109261539A (zh) * 2018-08-17 2019-01-25 湖北文理学院 一种基于视觉识别和卷积神经网络的垃圾分拣系统及方法
CN109344894A (zh) * 2018-09-28 2019-02-15 广州大学 基于多传感器融合和深度学习的垃圾分类识别方法及装置
CN109389161A (zh) * 2018-09-28 2019-02-26 广州大学 基于深度学习的垃圾识别进化学习方法、装置、系统及介质
CN109396053A (zh) * 2018-10-30 2019-03-01 福建省亿顺机械设备有限公司 智能分拣方法
CN109584298A (zh) * 2018-11-07 2019-04-05 上海交通大学 面向机器人自主物体拾取任务的在线自学习方法
CN109622390A (zh) * 2018-12-04 2019-04-16 安徽国祯环卫科技有限公司 一种智能垃圾回收系统及其方法
CN109648559A (zh) * 2018-12-27 2019-04-19 重庆迈纳姆智能装备研究院有限公司 用于机器人清洗机抓取多型号缸体缸盖的视觉定位系统
CN109692821A (zh) * 2017-10-23 2019-04-30 发那科株式会社 分拣系统
CN109969178A (zh) * 2019-03-26 2019-07-05 齐鲁工业大学 基于多元传感器多物料自主搬运装置及方法
CN110053903A (zh) * 2019-04-25 2019-07-26 重庆左岸环境服务股份有限公司 生活垃圾分类回收管理系统及方法
CN110070558A (zh) * 2019-04-11 2019-07-30 西安星舟天启智能装备有限责任公司 一种基于图像处理和分区检测的统计分拣方法及装置
CN110119662A (zh) * 2018-03-29 2019-08-13 王胜春 一种基于深度学习的垃圾种类识别系统
CN110276300A (zh) * 2019-06-24 2019-09-24 北京百度网讯科技有限公司 用于识别垃圾品质的方法和装置
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN110525842A (zh) * 2019-09-12 2019-12-03 深圳市盘龙环境技术有限公司 大件垃圾自动分类管理系统
CN110575973A (zh) * 2019-10-21 2019-12-17 台州学院 一种农作物种子品质检测与筛选系统
CN110602943A (zh) * 2016-12-21 2019-12-20 布兰斯顿有限公司 监测作物的系统和方法
CN110949991A (zh) * 2020-01-03 2020-04-03 佛亚智能装备（苏州）有限公司 一种多工位检测物料输送及电路控制方法
CN111003380A (zh) * 2019-12-25 2020-04-14 深圳蓝胖子机器人有限公司 一种智能回收垃圾的方法、系统、设备
CN111015662A (zh) * 2019-12-25 2020-04-17 深圳蓝胖子机器人有限公司 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN111144480A (zh) * 2019-12-25 2020-05-12 深圳蓝胖子机器人有限公司 一种可回收垃圾视觉分类方法、系统、设备
CN111152197A (zh) * 2020-04-08 2020-05-15 广东弓叶科技有限公司 机器人抓手跟踪抓取控制方法及系统
CN111215342A (zh) * 2019-12-02 2020-06-02 江西纳森科技有限公司 工业垃圾分类分拣系统
CN111230865A (zh) * 2019-03-29 2020-06-05 牧今科技 验证和更新机器人控制用相机校准的方法和控制系统
CN111343848A (zh) * 2019-12-01 2020-06-26 深圳市智微智能软件开发有限公司 Smt位置检测方法及系统
CN111383263A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 机器人抓取物体系统、方法及装置
CN111515149A (zh) * 2020-04-26 2020-08-11 广东弓叶科技有限公司 人机协作分选系统及其机器人的抓取位置获取方法
CN111582088A (zh) * 2020-04-26 2020-08-25 广东弓叶科技有限公司 人机协作分选系统及其分选多类物料的方法
CN111702760A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种物联网机械手臂协同作业系统及方法
CN111715559A (zh) * 2020-06-22 2020-09-29 柴诚芃 一种基于机器视觉的垃圾分拣系统
CN111784218A (zh) * 2019-08-15 2020-10-16 北京京东乾石科技有限公司 用于处理信息的方法和装置
CN111843996A (zh) * 2020-07-29 2020-10-30 珠海一维弦机器人有限公司 多机械臂装置及其控制方法
WO2020220674A1 (zh) * 2019-04-28 2020-11-05 宿迁海沁节能科技有限公司 一种基于次卷积超相关的垃圾识别分类处理深度学习方法
CN112024424A (zh) * 2020-08-19 2020-12-04 中物智建(武汉)科技有限公司 一种人机协作式垃圾分选系统
CN112102368A (zh) * 2020-08-18 2020-12-18 东南大学 一种基于深度学习的机器人垃圾分类分拣方法
CN112090782A (zh) * 2020-08-19 2020-12-18 中物智建(武汉)科技有限公司 一种人机协同式垃圾分拣系统及方法
CN112246686A (zh) * 2020-10-30 2021-01-22 南通市怡天时纺织有限公司 一种纺织生产运输装置
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN112543680A (zh) * 2018-04-26 2021-03-23 索特拉合金有限公司 从废料中回收硬币
CN112845143A (zh) * 2021-03-04 2021-05-28 广州大学华软软件学院 一种生活垃圾分类智能分拣系统及方法
WO2021110392A1 (de) * 2019-12-03 2021-06-10 Krones Ag Verfahren und vorrichtung zur erkennung von umgefallenen und/oder beschädigten behältern in einem behältermassenstrom
CN113051968A (zh) * 2019-12-26 2021-06-29 顺丰科技有限公司 暴力分拣行为识别方法、装置及计算机可读存储介质
CN113083703A (zh) * 2021-03-10 2021-07-09 浙江博城机器人科技有限公司 一种基于无人导航的垃圾分拣机器人的控制方法
CN113145473A (zh) * 2021-02-20 2021-07-23 广州大学华软软件学院 一种水果智能分拣系统及方法
CN113200353A (zh) * 2021-07-05 2021-08-03 山东捷瑞数字科技股份有限公司 物料输送装置及输送方法
CN114193425A (zh) * 2022-02-18 2022-03-18 浙江博城机器人科技有限公司 一种基于视觉检测的巡检装置及方法
CN114802976A (zh) * 2022-06-09 2022-07-29 合肥友高物联网标识设备有限公司 一种针对蜘蛛手自动装箱实现产品一物一码的控制方法
US20230011383A1 (en) * 2019-11-04 2023-01-12 Tomra Sorting Gmbh Neural network for bulk sorting
CN115701818A (zh) * 2023-01-04 2023-02-14 江苏汉邦智能系统集成有限公司 基于人工智能的智能垃圾分类控制系统
CN117427892A (zh) * 2023-12-21 2024-01-23 福州城投德正数字科技有限公司 基于边缘协同计算的机器视觉垃圾分类回收系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11964304B2 (en) 2015-07-16 2024-04-23 Sortera Technologies, Inc. Sorting between metal alloys

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001129490A (ja) * 1999-11-08 2001-05-15 Kyokuto Kaihatsu Kogyo Co Ltd 瓶類の撮影装置
EP1829621A1 (en) * 2006-03-03 2007-09-05 Machinefabriek Bollegraaf Appingedam B.V. A system and a method for sorting items out of waste material
CN203390939U (zh) * 2013-08-09 2014-01-15 上海发那科机器人有限公司 一种用于拆包袋垛的机器人手爪
CN203599095U (zh) * 2013-10-24 2014-05-21 南京信息工程大学 一种垃圾分选自动控制系统
CN104552330A (zh) * 2014-12-26 2015-04-29 清华大学 机器人关节力矩限制装置
CN104646302A (zh) * 2013-11-24 2015-05-27 邢玉明 一种用并联机械手分拣非生物生活垃圾的方法
CN204866583U (zh) * 2015-08-13 2015-12-16 开县香吉工程设计有限公司 一种垃圾分选装置
CN105268654A (zh) * 2014-06-30 2016-01-27 张晓冬 基于单片机多传感器的智能垃圾分类装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001129490A (ja) * 1999-11-08 2001-05-15 Kyokuto Kaihatsu Kogyo Co Ltd 瓶類の撮影装置
EP1829621A1 (en) * 2006-03-03 2007-09-05 Machinefabriek Bollegraaf Appingedam B.V. A system and a method for sorting items out of waste material
CN203390939U (zh) * 2013-08-09 2014-01-15 上海发那科机器人有限公司 一种用于拆包袋垛的机器人手爪
CN203599095U (zh) * 2013-10-24 2014-05-21 南京信息工程大学 一种垃圾分选自动控制系统
CN104646302A (zh) * 2013-11-24 2015-05-27 邢玉明 一种用并联机械手分拣非生物生活垃圾的方法
CN105268654A (zh) * 2014-06-30 2016-01-27 张晓冬 基于单片机多传感器的智能垃圾分类装置
CN104552330A (zh) * 2014-12-26 2015-04-29 清华大学 机器人关节力矩限制装置
CN204866583U (zh) * 2015-08-13 2015-12-16 开县香吉工程设计有限公司 一种垃圾分选装置

Cited By (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106514664A (zh) * 2016-11-23 2017-03-22 河池学院 一种垃圾站专用机器人系统
CN106737664B (zh) * 2016-11-25 2020-02-14 中国科学院自动化研究所 分拣多类工件的Delta机器人控制方法及系统
CN106737664A (zh) * 2016-11-25 2017-05-31 中国科学院自动化研究所 分拣多类工件的Delta机器人控制方法及系统
CN107030017A (zh) * 2016-11-28 2017-08-11 河南工程学院 基于ccd成像系统的玻璃碎片分选工艺
CN106733647A (zh) * 2016-11-29 2017-05-31 广西大学 一种垃圾自动分选装置
CN106623361B (zh) * 2016-12-08 2018-10-16 蒲红旗 一种城市废弃物循环利用系统及方法
CN106623361A (zh) * 2016-12-08 2017-05-10 蒲红旗 一种城市废弃物循环利用系统及方法
CN110602943A (zh) * 2016-12-21 2019-12-20 布兰斯顿有限公司 监测作物的系统和方法
CN110602943B (zh) * 2016-12-21 2023-08-15 蜂巢创新有限公司 监测作物的系统和方法
CN106670122B (zh) * 2017-01-17 2023-10-03 北京碧海能源装备有限公司 用于生活垃圾的自动识别分拣回收系统
CN106670122A (zh) * 2017-01-17 2017-05-17 碧海舟（北京）节能环保装备有限公司 用于生活垃圾的自动识别分拣回收系统
CN107092914A (zh) * 2017-03-23 2017-08-25 广东数相智能科技有限公司 基于图像识别的垃圾分类方法、装置和系统
CN107092914B (zh) * 2017-03-23 2021-01-05 广东数相智能科技有限公司 基于图像识别的垃圾分类方法、装置和系统
CN106975616A (zh) * 2017-05-18 2017-07-25 山东理工大学 一种智能城市生活垃圾分拣设备
CN107127160A (zh) * 2017-05-24 2017-09-05 唐春美 一种用于生活垃圾分类处理的系统和方法
CN107282477A (zh) * 2017-07-27 2017-10-24 深圳市和网零售有限公司 基于图像识别技术的塑料垃圾分类回收装置和控制方法
CN109692821A (zh) * 2017-10-23 2019-04-30 发那科株式会社 分拣系统
CN107961990A (zh) * 2017-12-27 2018-04-27 华侨大学 一种建筑垃圾分拣系统和分拣方法
CN108555901A (zh) * 2017-12-29 2018-09-21 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机械臂
CN107953338A (zh) * 2017-12-29 2018-04-24 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机械臂
CN108182455A (zh) * 2018-01-18 2018-06-19 齐鲁工业大学 一种垃圾图像智能分类的方法、装置及智能垃圾桶
CN108355979B (zh) * 2018-01-31 2021-01-26 塞伯睿机器人技术（长沙）有限公司 传送带上目标追踪分拣系统
CN108355979A (zh) * 2018-01-31 2018-08-03 塞伯睿机器人技术（长沙）有限公司 传送带上目标追踪分拣系统
CN108273761A (zh) * 2018-03-12 2018-07-13 华侨大学 一种分拣建筑垃圾的装置及方法
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备
CN110119662A (zh) * 2018-03-29 2019-08-13 王胜春 一种基于深度学习的垃圾种类识别系统
CN112543680A (zh) * 2018-04-26 2021-03-23 索特拉合金有限公司 从废料中回收硬币
CN108686978A (zh) * 2018-05-02 2018-10-23 广州慧睿思通信息科技有限公司 基于arm的水果类别和色泽的分拣方法及系统
CN108910508A (zh) * 2018-05-08 2018-11-30 清华大学 高速分拣任务中的多机协同规则及装置
CN109127445A (zh) * 2018-06-04 2019-01-04 顺丰科技有限公司 条码读取方法及条码读取系统
CN108940919A (zh) * 2018-06-14 2018-12-07 华东理工大学 基于无线传输及深度学习的垃圾分类机器人
CN108971190A (zh) * 2018-06-25 2018-12-11 大连大学 一种基于机器视觉的生活垃圾分拣方法
CN109230108A (zh) * 2018-08-14 2019-01-18 深圳市烽焌信息科技有限公司 一种垃圾智能分类的方法
CN109051474A (zh) * 2018-08-14 2018-12-21 深圳市烽焌信息科技有限公司 一种垃圾中转站分类系统
CN109261539B (zh) * 2018-08-17 2021-06-18 湖北文理学院 一种基于视觉识别和卷积神经网络的垃圾分拣系统及方法
CN109261539A (zh) * 2018-08-17 2019-01-25 湖北文理学院 一种基于视觉识别和卷积神经网络的垃圾分拣系统及方法
CN109344894B (zh) * 2018-09-28 2023-12-22 广州大学 基于多传感器融合和深度学习的垃圾分类识别方法及装置
CN109389161A (zh) * 2018-09-28 2019-02-26 广州大学 基于深度学习的垃圾识别进化学习方法、装置、系统及介质
CN109344894A (zh) * 2018-09-28 2019-02-15 广州大学 基于多传感器融合和深度学习的垃圾分类识别方法及装置
CN109249402A (zh) * 2018-10-15 2019-01-22 深圳蓝胖子机器人有限公司 机器人、机器人自动回收垃圾方法、装置和存储介质
CN109396053A (zh) * 2018-10-30 2019-03-01 福建省亿顺机械设备有限公司 智能分拣方法
CN109261531A (zh) * 2018-10-30 2019-01-25 福建省亿顺机械设备有限公司 基于智能分拣的码垛包装线
CN109584298A (zh) * 2018-11-07 2019-04-05 上海交通大学 面向机器人自主物体拾取任务的在线自学习方法
CN109622390A (zh) * 2018-12-04 2019-04-16 安徽国祯环卫科技有限公司 一种智能垃圾回收系统及其方法
CN109648559A (zh) * 2018-12-27 2019-04-19 重庆迈纳姆智能装备研究院有限公司 用于机器人清洗机抓取多型号缸体缸盖的视觉定位系统
CN111383263A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 机器人抓取物体系统、方法及装置
CN109969178A (zh) * 2019-03-26 2019-07-05 齐鲁工业大学 基于多元传感器多物料自主搬运装置及方法
US11883964B2 (en) 2019-03-29 2024-01-30 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US11590656B2 (en) 2019-03-29 2023-02-28 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN111230865A (zh) * 2019-03-29 2020-06-05 牧今科技 验证和更新机器人控制用相机校准的方法和控制系统
US11014241B2 (en) 2019-03-29 2021-05-25 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN110070558A (zh) * 2019-04-11 2019-07-30 西安星舟天启智能装备有限责任公司 一种基于图像处理和分区检测的统计分拣方法及装置
CN110053903A (zh) * 2019-04-25 2019-07-26 重庆左岸环境服务股份有限公司 生活垃圾分类回收管理系统及方法
CN110053903B (zh) * 2019-04-25 2022-03-25 重庆左岸环境服务股份有限公司 生活垃圾分类回收管理系统及方法
WO2020220674A1 (zh) * 2019-04-28 2020-11-05 宿迁海沁节能科技有限公司 一种基于次卷积超相关的垃圾识别分类处理深度学习方法
CN110276300A (zh) * 2019-06-24 2019-09-24 北京百度网讯科技有限公司 用于识别垃圾品质的方法和装置
CN110276300B (zh) * 2019-06-24 2021-12-28 北京百度网讯科技有限公司 用于识别垃圾品质的方法和装置
CN111784218A (zh) * 2019-08-15 2020-10-16 北京京东乾石科技有限公司 用于处理信息的方法和装置
CN110525842A (zh) * 2019-09-12 2019-12-03 深圳市盘龙环境技术有限公司 大件垃圾自动分类管理系统
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN110575973B (zh) * 2019-10-21 2021-08-10 台州学院 一种农作物种子品质检测与筛选系统
CN110575973A (zh) * 2019-10-21 2019-12-17 台州学院 一种农作物种子品质检测与筛选系统
US20230011383A1 (en) * 2019-11-04 2023-01-12 Tomra Sorting Gmbh Neural network for bulk sorting
CN111343848A (zh) * 2019-12-01 2020-06-26 深圳市智微智能软件开发有限公司 Smt位置检测方法及系统
CN111215342A (zh) * 2019-12-02 2020-06-02 江西纳森科技有限公司 工业垃圾分类分拣系统
WO2021110392A1 (de) * 2019-12-03 2021-06-10 Krones Ag Verfahren und vorrichtung zur erkennung von umgefallenen und/oder beschädigten behältern in einem behältermassenstrom
CN111015662A (zh) * 2019-12-25 2020-04-17 深圳蓝胖子机器人有限公司 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN111015662B (zh) * 2019-12-25 2021-09-07 深圳蓝胖子机器智能有限公司 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN111003380A (zh) * 2019-12-25 2020-04-14 深圳蓝胖子机器人有限公司 一种智能回收垃圾的方法、系统、设备
CN111144480A (zh) * 2019-12-25 2020-05-12 深圳蓝胖子机器人有限公司 一种可回收垃圾视觉分类方法、系统、设备
CN113051968B (zh) * 2019-12-26 2024-03-01 顺丰科技有限公司 暴力分拣行为识别方法、装置及计算机可读存储介质
CN113051968A (zh) * 2019-12-26 2021-06-29 顺丰科技有限公司 暴力分拣行为识别方法、装置及计算机可读存储介质
CN110949991A (zh) * 2020-01-03 2020-04-03 佛亚智能装备（苏州）有限公司 一种多工位检测物料输送及电路控制方法
CN111152197A (zh) * 2020-04-08 2020-05-15 广东弓叶科技有限公司 机器人抓手跟踪抓取控制方法及系统
CN111582088A (zh) * 2020-04-26 2020-08-25 广东弓叶科技有限公司 人机协作分选系统及其分选多类物料的方法
CN111515149A (zh) * 2020-04-26 2020-08-11 广东弓叶科技有限公司 人机协作分选系统及其机器人的抓取位置获取方法
CN111515149B (zh) * 2020-04-26 2020-12-29 广东弓叶科技有限公司 人机协作分选系统及其机器人的抓取位置获取方法
CN111702760A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种物联网机械手臂协同作业系统及方法
CN111715559A (zh) * 2020-06-22 2020-09-29 柴诚芃 一种基于机器视觉的垃圾分拣系统
CN111843996B (zh) * 2020-07-29 2022-05-06 珠海一维弦机器人有限公司 多机械臂装置及其控制方法
CN111843996A (zh) * 2020-07-29 2020-10-30 珠海一维弦机器人有限公司 多机械臂装置及其控制方法
CN112102368B (zh) * 2020-08-18 2024-04-16 东南大学 一种基于深度学习的机器人垃圾分类分拣方法
CN112102368A (zh) * 2020-08-18 2020-12-18 东南大学 一种基于深度学习的机器人垃圾分类分拣方法
CN112024424B (zh) * 2020-08-19 2022-05-20 中物智建(武汉)科技有限公司 一种人机协作式垃圾分选系统
CN112024424A (zh) * 2020-08-19 2020-12-04 中物智建(武汉)科技有限公司 一种人机协作式垃圾分选系统
CN112090782A (zh) * 2020-08-19 2020-12-18 中物智建(武汉)科技有限公司 一种人机协同式垃圾分拣系统及方法
CN112246686A (zh) * 2020-10-30 2021-01-22 南通市怡天时纺织有限公司 一种纺织生产运输装置
CN113145473A (zh) * 2021-02-20 2021-07-23 广州大学华软软件学院 一种水果智能分拣系统及方法
CN112845143A (zh) * 2021-03-04 2021-05-28 广州大学华软软件学院 一种生活垃圾分类智能分拣系统及方法
CN113083703A (zh) * 2021-03-10 2021-07-09 浙江博城机器人科技有限公司 一种基于无人导航的垃圾分拣机器人的控制方法
CN113200353B (zh) * 2021-07-05 2021-10-22 山东捷瑞数字科技股份有限公司 物料输送装置及输送方法
CN113200353A (zh) * 2021-07-05 2021-08-03 山东捷瑞数字科技股份有限公司 物料输送装置及输送方法
CN114193425A (zh) * 2022-02-18 2022-03-18 浙江博城机器人科技有限公司 一种基于视觉检测的巡检装置及方法
CN114802976B (zh) * 2022-06-09 2023-10-03 合肥友高物联网标识设备有限公司 一种针对蜘蛛手自动装箱实现产品一物一码的控制方法
CN114802976A (zh) * 2022-06-09 2022-07-29 合肥友高物联网标识设备有限公司 一种针对蜘蛛手自动装箱实现产品一物一码的控制方法
CN115701818A (zh) * 2023-01-04 2023-02-14 江苏汉邦智能系统集成有限公司 基于人工智能的智能垃圾分类控制系统
CN117427892A (zh) * 2023-12-21 2024-01-23 福州城投德正数字科技有限公司 基于边缘协同计算的机器视觉垃圾分类回收系统
CN117427892B (zh) * 2023-12-21 2024-04-12 福州城投德正数字科技有限公司 基于边缘协同计算的机器视觉垃圾分类回收系统

Also Published As

Publication number Publication date
CN106000904B (zh) 2018-04-10

Similar Documents

Publication Publication Date Title
CN106000904B (zh) 一种生活垃圾自动分拣系统
CN107138431B (zh) 一种基于机器视觉的零部件识别分选方法及系统
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN112845143A (zh) 一种生活垃圾分类智能分拣系统及方法
CN107009391B (zh) 机器人抓取方法
CN106695792A (zh) 基于机器视觉的码垛机器人跟踪监控系统及方法
CN106067031B (zh) 基于人工纠错机制与深度学习网络协作机器视觉识别系统
CN108290286A (zh) 用于教导工业机器人拾取零件的方法
CN105225225B (zh) 一种基于机器视觉的皮革自动划线方法和装置
CN110302981B (zh) 一种固废分拣在线抓取方法和系统
CN106022386A (zh) 一种计算机识别与人工交互结合的生活垃圾目标识别系统
CN114751153B (zh) 一种全角度的多模板码垛系统
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN108038861A (zh) 一种多机器人协作分拣方法、系统及装置
CN111292376B (zh) 一种仿生视网膜的视觉目标跟踪方法
Hu et al. Trajectory image based dynamic gesture recognition with convolutional neural networks
CN111169871A (zh) 一种垃圾车智能机械手抓取垃圾桶方法及机械手
Pan et al. Manipulator package sorting and placing system based on computer vision
CN101859376A (zh) 基于鱼眼摄像头的人体检测系统
CN110852265A (zh) 一种应用在工业流水线上的快速目标检测和定位方法
CN110689059A (zh) 一种垃圾自动分拣的方法
CN207752527U (zh) 一种机器人动态抓取系统
CN112975970A (zh) 一种视觉抓取机械臂系统
CN109993763B (zh) 基于图像识别与力反馈融合的探测器定位方法及系统
CN115049860B (zh) 一种基于特征点识别的系统及抓取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant