CN111702760A - 一种物联网机械手臂协同作业系统及方法 - Google Patents

一种物联网机械手臂协同作业系统及方法 Download PDF

Info

Publication number
CN111702760A
CN111702760A CN202010530385.8A CN202010530385A CN111702760A CN 111702760 A CN111702760 A CN 111702760A CN 202010530385 A CN202010530385 A CN 202010530385A CN 111702760 A CN111702760 A CN 111702760A
Authority
CN
China
Prior art keywords
mechanical arm
workpiece
mechanical
workpieces
sorted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010530385.8A
Other languages
English (en)
Other versions
CN111702760B (zh
Inventor
海克洪
王迎曙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Meihe Yisi Digital Technology Co ltd
Original Assignee
Hubei Meihe Yisi Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Meihe Yisi Education Technology Co ltd filed Critical Hubei Meihe Yisi Education Technology Co ltd
Priority to CN202010530385.8A priority Critical patent/CN111702760B/zh
Publication of CN111702760A publication Critical patent/CN111702760A/zh
Application granted granted Critical
Publication of CN111702760B publication Critical patent/CN111702760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1682Dual arm manipulator; Coordination of several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种物联网机械手臂协同作业系统及方法,所述系统包括:中心处理器及分别与所述中心处理器通信连接的图像采集模块、通信处理模块、设备控制模块;所述设备控制模块与故障检测模块及多个机械手臂通信连接;所述通信处理模块与云端服务器通信连接,所述云端服务器包括图像处理模块、任务分配模块、作业管理模块;所述中心处理器从图像采集模块获取上游待分拣工件图像信息并上传至云端服务器,从云端服务器获取个机械手臂的作业清单,将作业清单发送至设备控制模块;所述设备控制模块根据各个机械手臂的作业清单控制各个机械手协同作业完成工件分拣。本发明能有效应对机械手臂故障情况,实时调整各自的作业清单完成协同分拣。

Description

一种物联网机械手臂协同作业系统及方法
技术领域
本发明涉及工件分拣技术领域,尤其涉及一种物联网机械手臂协同作业系统及方法。
背景技术
多机器人协同作业已成为现代工业发展的趋势,在锁哥机器人的工件分拣作业中,多个机器人各自独立完成自己的作业任务,相互之间没有通信,当有机器人发生故障时,只能等待故障机器人检修或者增加其他空闲机器人参与分拣工作,其他机器人无法有效分担工作,无法实现故障情况下的协同作业,效率低下。
发明内容
有鉴于此,本发明提出了一种物联网机械手臂协同作业系统及方法,用于解决现有工件分拣系统中当有机械手臂发生故障时,其他机械手臂无法快速反应、分担作业任务的问题。
本发明第一方面,提供一种物联网机械手臂协同作业系统,所述系统包括:中心处理器及分别与所述中心处理器通信连接的图像采集模块、通信处理模块、设备控制模块;所述设备控制模块与故障检测模块及多个机械手臂通信连接;所述通信处理模块与云端服务器通信连接,所述云端服务器包括图像处理模块、任务分配模块、作业管理模块;
所述图像采集模块用于采集传送带上游待分拣工件图像信息;
所述图像处理模块用于根据获取的待分拣工件图像信息提取待分拣工件的种类、数量和初始位姿,将提取结果发送至任务分配模块;
所述任务分配模块用于根据待分拣工件种类、参与作业的机械手臂个数进行任务分配,当有机械手臂发生故障时,确定故障机械手臂对应的工件类别,进行任务重新分配;将任务分配结果发送至作业管理模块;
所述作业管理模块用于根据待分拣工件种类确定对应的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、各机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿,为各个机械手臂生成作业清单;根据各机械手臂的作业清单管理作业流程,当检测到机械手臂发生故障或上游待分拣工件图像信息更新时,更新各机械手臂的作业清单;
所述故障检测模块用于实时监测各个机械手臂的工作状态,当检测到机械手臂发生故障时,向云端服务器报告故障信息并发送故障机械手臂编号;
所述中心处理器用于从图像采集模块获取上游待分拣工件图像信息并上传至云端服务器,从云端服务器获取个机械手臂的作业清单,将作业清单发送至设备控制模块;所述设备控制模块用于根据各个机械手臂的作业清单控制各个机械手协同作业完成工件分拣。
优选的,所述图像处理模块具体包括:
预处理单元:对采集到待分拣工件图像进行高斯平滑去除噪,使用Sobel边缘算子进行边缘轮廓提取,并对处理后的图像进行二值化处理;采用连通区域标识方法将各个工件图像分割出来;
模板匹配单元:利用hausdroff距离对分割后的工件图像进行模板匹配,确认图像中待分拣工件类别和每类的数量;
质心提取单元:通过图像的中心矩计算出工件的质心坐标,将质心坐标变换为工件实际坐标,将变换得到的工件实际坐标作为工件起始位置;
姿态计算单元:根据工件边缘轮廓信息计算工件绕质心坐标的旋转角度,得到工件姿态信息。
优选的,所述任务分配模块具体包括:
初始分配单元:确定参与作业的机械手臂的编号、个数、位置,根据待分拣工件种类、参与作业的机械手臂个数进行任务分配,每台机械手臂负责分拣其中一种或多种工件,各机械手臂之间对应的工件类别无重复;
故障再分配单元:当检测到其中一个机械手臂发生故障时获取故障机械手臂编号,更新参与作业的机械手臂个数;根据故障机械手臂编号查询机械手臂的对应位置及负责的工件种类,根据对应的作业清单查询故障机械手臂目前是否有未完成作业任务,若有,将未完成的作业任务分配至传送带下游方向离故障机械手臂最近的机械手臂;若无,统计剩余的各个作业状态的机械手臂单位时间内的平均工作量,将各机械手臂根据平均工作量按升序排列,将故障机械手臂下一周期工件分拣任务分配给序列第一位的机械手臂。
优选的,所述作业管理模块具体包括:
作业清单生成单元:根据待分拣工件种类确定分配的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、分配的机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿;根据待分拣工件的种类、数量时间及位姿确定每个机械手臂的作业任务及每个作业任务的优先级;若同一类别中工件数量有多个,按照各工件与对应的机械手臂的水平距离进行优先级排序,水平距离最小的优先级最高,根据机械手臂的作业周期确定每个工件的预计抓取时间及位姿;将每个机械手臂的各个作业任务按照优先级从高到低排序,生成作业清单;
作业清单更新单元:根据未完成作业任务的分配结果修改故障机械手臂的作业清单,将修改后的作业任务插入传送带下游方向离故障机械手臂最近的机械手臂的作业清单末尾;获取下一采样周期的待分拣工件图像,根据作业清单生成单元更新作业清单;
作业流程管理单元:根据各个机械手臂每个作业的完成情况管理作业清单,将已完成的作业任务从作业清单中剔除,将新的作业任务根据作业时间或优先级插入作业清单。
本发明第二方面,提出一种物联网机械手臂协同作业方法,所述方法包括:
S1、将工业摄像机安装在传送带上游的正上方,所述工业相机的镜头垂直正对传送带,多台机械手臂根据其安全空间安装在传送带两侧;
S2、根据待分拣工件种类、参与作业的机械手臂个数及各机械手臂的位置、传送带传输速度进行任务分配,每台机械手臂负责分拣其中一种或多种工件;
S3、工业相机按照预设的采样周期采集视野内的待分拣工件图像,分析采集到的待分拣工件图像中工件种类、数量和初始位姿,根据工件种类确定对应的机械手臂,预测各工件的到达对应机械手臂工作区域的时间及位姿,为各个机械手臂生成作业清单,根据作业清单控制控制相应机械手臂完成工件抓取及放置;
S4、当其中一个机械手臂发生故障时,上报发生故障的机械手臂编号,根据编号查询机械手臂的对应位置及负责的工件种类、作业清单,从作业清单中查询故障机械手臂目前是否有未完成作业,若有,将未完成的作业分配至下游方向离故障机械手臂最近的机械手臂,修改未完成作业的作业清单并插入离故障机械手臂最近的机械手臂的作业清单末尾;
S5、获取下一采样周期的待分拣工件图像,更新作业清单;若有机械手臂发生故障,统计各个作业状态的机械手臂的单位时间内的平均工作量,将各机械手臂根据平均工作量按升序排列,将故障机械手臂对应的工件分拣任务分配给序列第一位的机械手臂,更新所述序列第一位的机械手臂的作业清单;根据作业清单控制控制相应机械手臂完成工件分拣。
优选的,所述步骤S3具体为:
根据待分拣工件种类确定分配的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、分配的机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿;
若同一类别中工件数量有多个,按照各工件与对应的机械手臂的水平距离进行优先级排序,水平距离最小的优先级最高,根据机械手臂的作业周期确定每个工件的预计抓取时间及位姿;
根据每个机械手臂待分拣工件的种类、数量、预计抓取时间及位姿确定每个机械手臂的作业任务,确定各个作业任务的优先级,将各个作业任务按照优先级从高到低排序,生成作业清单。
本发明的相对于现有技术具有以下有益效果:
1)本发明每个机械手臂对应一个作业清单,每个作业清单对应该机械手臂的一个或多个作业任务,根据作业清单实现分拣作业的精细流程化管理;
2)当有机械手臂发生故障时,其他机械手臂能实时调整各自的作业清单并分担故障机械手臂的分拣任务,实现快速反应、协同作业;
3)将故障机械手臂的工作任务按照摄像机采样周期动态分配给平均工作量少的机械手臂,实现任务分配均衡化;
4)可实现大批量、多种类的工件分拣。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的物联网机械手臂协同作业系统结构示意图;
图2为本发明实施例提供的物联网机械手臂协同作业方法流程示意图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
请参阅图1,图1为本发明提供的一种物联网机械手臂协同作业系统结构示意图,所述系统包括:中心处理器100及分别与所述中心处理器100通信连接的图像采集模块200、通信处理模块300、设备控制模块400;所述设备控制模块与故障检测模块500及多个机械手臂通信连接;所述通信处理模块300与故障检测模块500、云端服务器600通信连接;
所述图像采集模块200包括设置在传送带上游的工业摄像机,实时工业摄像机的镜头竖直向下正对传送带,记录工业摄像机与传送带的相对位置,所述工业摄像机用于采集传送带上游待分拣工件图像信息;所述传送带速度可调,本发明中设为匀速运动。
所述中心处理器100用于从图像采集模块获取上游待分拣工件图像信息并经通信处理模块300上传至云端服务器,从云端服务器获取个机械手臂的作业清单,将作业清单发送至设备控制模块400;所述设备控制模块400包括控制柜,用于根据各个机械手臂的作业清单控制各个机械手臂协同作业完成工件分拣。
本发明通过中心处理器、通信处理模块实现各机械手臂的集中控制,利用高速无线网络技术连接各机械手臂和高性能云端服务器,实现多机械手臂信息共享和命令组合运行,达到协同工作。
所述云端服务器600用于根据图像采集模块采集到的待分拣工件图像信息进行图像处理与分析,从中提取出待分拣工件种类、数量、位姿,并进行任务分配,为每个机械手臂生成作业清单,所述云端服务器600包括图像处理模块601、任务分配模块602、作业管理模块603;
所述图像处理模块601用于根据获取的待分拣工件图像信息提取待分拣工件的种类、数量和初始位姿,将提取结果发送至任务分配模块;所述图像处理模块601具体包括:
预处理单元:对采集到待分拣工件图像进行高斯平滑去除噪,使用Sobel边缘算子进行边缘轮廓提取,并对处理后的图像进行二值化处理;采用连通区域标识方法将各个工件图像分割出来;
模板匹配单元:利用hausdroff距离对分割后的工件图像进行模板匹配,确认图像中待分拣工件类别和每类的数量;
质心提取单元:通过图像的中心矩计算出工件的质心坐标,将质心坐标变换为工件实际坐标,将变换得到的工件实际坐标作为工件起始位置;
姿态计算单元:根据工件边缘轮廓信息计算工件绕质心坐标的旋转角度,得到工件姿态信息。工件姿态可通过图像长轴与工业摄像机X轴方向之间的夹角来计算,图像目标的长轴定义为过工件质心坐标且目标工件对该轴的转动惯量最小的直线。
所述任务分配模块602用于根据待分拣工件种类、参与作业的机械手臂个数进行任务分配,当有机械手臂发生故障时,确定故障机械手臂对应的工件类别,根据故障机械手臂位置或者剩余的各个作业状态的机械手臂单位时间内的平均工作量进行任务重新分配,将任务分配结果发送至作业管理模块;用于待分拣工件种类、参与作业的机械手臂个数进行任务初步分配以及发生故障后的任务再分配,具体包括:
初始分配单元:确定参与作业的机械手臂的编号、个数、位置,根据待分拣工件种类、参与作业的机械手臂个数进行任务分配,每台机械手臂负责分拣其中一种或多种工件,各机械手臂之间对应的工件类别无重复;
故障再分配单元:当检测到其中一个机械手臂发生故障时获取故障机械手臂编号,更新参与作业的机械手臂个数;根据故障机械手臂编号查询机械手臂的对应位置及负责的工件种类,根据对应的作业清单查询故障机械手臂目前是否有未完成作业任务,若有,将未完成的作业任务分配至传送带下游方向离故障机械手臂最近的机械手臂;若无,统计剩余的各个作业状态的机械手臂单位时间内的平均工作量,将各机械手臂根据平均工作量按升序排列,将故障机械手臂下一周期工件分拣任务分配给序列第一位的机械手臂。
所述作业管理模块603用于根据待分拣工件种类确定对应的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、各机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿,为各个机械手臂生成作业清单;根据各机械手臂的作业清单管理作业流程,当检测到机械手臂发生故障或上游待分拣工件图像信息更新时,更新各机械手臂的作业清单;所述作业管理模块603具体包括:
作业清单生成单元:根据待分拣工件种类确定分配的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、分配的机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿;根据待分拣工件的种类、数量时间及位姿确定每个机械手臂的作业任务及每个作业任务的优先级;若同一类别中工件数量有多个,按照各工件与对应的机械手臂的水平距离进行优先级排序,水平距离最小的优先级最高,根据机械手臂的作业周期确定每个工件的预计抓取时间及位姿;将每个机械手臂的各个作业任务按照优先级从高到低排序,生成作业清单;
作业清单更新单元:根据故障机械手臂未完成作业任务的分配结果修改故障机械手臂的作业清单,将修改后的作业任务插入传送带下游方向离故障机械手臂最近的机械手臂的作业清单末尾;获取下一采样周期的待分拣工件图像,根据作业清单生成单元更新作业清单;
作业流程管理单元:根据各个机械手臂每个作业的完成情况管理作业清单,将已完成的作业任务从作业清单中剔除,将新的作业任务根据作业时间或优先级插入作业清单。
本发明通过作业分配单元实现工件分拣任务的分配,每个机械手臂负责分拣一种或多种工件,各个机械手臂之间负责的工件种类不重叠,每个机械手臂对应一个作业清单,每个作业清单对应该机械手臂的一个或多个作业任务,每个作业任务中均包含工件种类、数量、预计抓取时间、位姿,根据作业清单即可控制相应机械手臂完成一个采样周期内工件的抓取、放置到指定位置,实现分拣作业的精细流程化管理;在正常工作时,各个机械手臂按照各自的作业清单独立作业,当故障发生时,任务分配模块进行任务再分配,将故障机械手臂未完成的工作任务按照分配策略分配给其他机械手臂,其他机械手臂接到额外分配的任务时,及时调整自己的作业清单,实时分担故障机械手臂的工作任务,实现快速反应、协同作业,保证工件分拣效率。
所述系统还包括与所述中心处理器电连接的系统设置模块和电源管理模块。
请参阅图2,本发明还提出一种物联网机械手臂协同作业方法,所述方法包括:
S1、将工业摄像机安装在传送带上游的正上方,所述工业相机的镜头垂直正对传送带,多台机械手臂根据其安全空间安装在传送带两侧;
S2、根据待分拣工件种类、参与作业的机械手臂个数及各机械手臂的位置、传送带传输速度进行任务分配,每台机械手臂负责分拣其中一种或多种工件;
S3、工业相机按照预设的采样周期采集视野内的待分拣工件图像,分析采集到的待分拣工件图像中工件种类、数量和初始位姿,根据工件种类确定对应的机械手臂,预测各工件的到达对应机械手臂工作区域的时间及位姿,为各个机械手臂生成作业清单,根据作业清单控制控制相应机械手臂完成工件抓取及放置;所述步骤S3具体为:
根据待分拣工件种类确定分配的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、分配的机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿;
若同一类别中工件数量有多个,按照各工件与对应的机械手臂的水平距离进行优先级排序,水平距离最小的优先级最高,根据机械手臂的作业周期确定每个工件的预计抓取时间及位姿;
根据每个机械手臂待分拣工件的种类、数量、预计抓取时间及位姿确定每个机械手臂的作业任务,确定各个作业任务的优先级,将各个作业任务按照优先级从高到低排序,生成作业清单;
S4、当其中一个机械手臂发生故障时,上报发生故障的机械手臂编号,根据编号查询机械手臂的对应位置及负责的工件种类、作业清单,从作业清单中查询故障机械手臂目前是否有未完成作业,若有,将未完成的作业分配至下游方向离故障机械手臂最近的机械手臂,修改未完成作业的作业清单并插入离故障机械手臂最近的机械手臂的作业清单末尾;
S5、获取下一采样周期的待分拣工件图像,更新作业清单;若有机械手臂发生故障,统计各个作业状态的机械手臂的单位时间内的平均工作量,将各机械手臂根据平均工作量按升序排列,将故障机械手臂对应的工件分拣任务分配给序列第一位的机械手臂,更新所述序列第一位的机械手臂的作业清单;根据作业清单控制控制相应机械手臂完成工件分拣。
本发明提出的一种物联网机械手臂协同作业系统及方法能狗实现大批量、多种类工件的快速分拣,能有效应对突发情况,在有机械手臂发生故障时能及时调整各机械手臂的作业清单,实现多机械手臂协同作业。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种物联网机械手臂协同作业系统,其特征在于,所述系统包括:中心处理器及分别与所述中心处理器通信连接的图像采集模块、通信处理模块、设备控制模块;所述设备控制模块与故障检测模块及多个机械手臂通信连接;所述通信处理模块与云端服务器通信连接,所述云端服务器包括图像处理模块、任务分配模块、作业管理模块;
所述图像采集模块用于采集传送带上游待分拣工件图像信息;
所述图像处理模块用于根据获取的待分拣工件图像信息提取待分拣工件的种类、数量和初始位姿,将提取结果发送至任务分配模块;
所述任务分配模块用于根据待分拣工件种类、参与作业的机械手臂个数进行任务分配,当有机械手臂发生故障时,确定故障机械手臂对应的工件类别,根据故障机械手臂位置或者剩余的各个作业状态的机械手臂单位时间内的平均工作量进行任务重新分配;将任务分配结果发送至作业管理模块;
所述作业管理模块用于根据待分拣工件种类确定对应的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、各机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿,为各个机械手臂生成作业清单;根据各机械手臂的作业清单管理作业流程,当检测到机械手臂发生故障或上游待分拣工件图像信息更新时,更新各机械手臂的作业清单;
所述故障检测模块用于实时监测各个机械手臂的工作状态,当检测到机械手臂发生故障时,向云端服务器报告故障信息并发送故障机械手臂编号;
所述中心处理器用于从图像采集模块获取上游待分拣工件图像信息并上传至云端服务器,从云端服务器获取个机械手臂的作业清单,将作业清单发送至设备控制模块;所述设备控制模块用于根据各个机械手臂的作业清单控制各个机械手协同作业完成工件分拣。
2.根据权利要求1所述物联网机械手臂协同作业系统,其特征在于,所述图像处理模块具体包括:
预处理单元:对采集到待分拣工件图像进行高斯平滑去除噪,使用Sobel边缘算子进行边缘轮廓提取,并对处理后的图像进行二值化处理;采用连通区域标识方法将各个工件图像分割出来;
模板匹配单元:利用hausdroff距离对分割后的工件图像进行模板匹配,确认图像中待分拣工件类别和每类的数量;
质心提取单元:通过图像的中心矩计算出工件的质心坐标,将质心坐标变换为工件实际坐标,将变换得到的工件实际坐标作为工件起始位置;
姿态计算单元:根据工件边缘轮廓信息计算工件绕质心坐标的旋转角度,得到工件姿态信息。
3.根据权利要求1所述物联网机械手臂协同作业系统,其特征在于,所述任务分配模块具体包括:
初始分配单元:确定参与作业的机械手臂的编号、个数、位置,根据待分拣工件种类、参与作业的机械手臂个数进行任务分配,每台机械手臂负责分拣其中一种或多种工件,各机械手臂之间对应的工件类别无重复;
故障再分配单元:当检测到其中一个机械手臂发生故障时获取故障机械手臂编号,更新参与作业的机械手臂个数;根据故障机械手臂编号查询机械手臂的对应位置及负责的工件种类,根据对应的作业清单查询故障机械手臂目前是否有未完成作业任务,若有,将未完成的作业任务分配至传送带下游方向离故障机械手臂最近的机械手臂;若无,统计剩余的各个作业状态的机械手臂单位时间内的平均工作量,将各机械手臂根据平均工作量按升序排列,将故障机械手臂下一周期工件分拣任务分配给序列第一位的机械手臂。
4.根据权利要求1所述物联网机械手臂协同作业系统,其特征在于,所述作业管理模块具体包括:
作业清单生成单元:根据待分拣工件种类确定分配的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、分配的机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿;根据待分拣工件的种类、数量时间及位姿确定每个机械手臂的作业任务及每个作业任务的优先级;若同一类别中工件数量有多个,按照各工件与对应的机械手臂的水平距离进行优先级排序,水平距离最小的优先级最高,根据机械手臂的作业周期确定每个工件的预计抓取时间及位姿;将每个机械手臂的各个作业任务按照优先级从高到低排序,生成作业清单;
作业清单更新单元:根据未完成作业任务的分配结果修改故障机械手臂的作业清单,将修改后的作业任务插入传送带下游方向离故障机械手臂最近的机械手臂的作业清单中;获取下一采样周期的待分拣工件图像,根据作业清单生成单元更新作业清单;
作业流程管理单元:根据各个机械手臂每个作业的完成情况管理作业清单,将已完成的作业任务从作业清单中剔除,将新的作业任务根据作业时间或优先级插入作业清单。
5.一种物联网机械手臂协同作业方法,其特征在于,所述方法包括:
S1、将工业摄像机安装在传送带上游的正上方,所述工业相机的镜头垂直正对传送带,多台机械手臂根据其安全空间安装在传送带两侧;
S2、根据待分拣工件种类、参与作业的机械手臂个数及各机械手臂的位置、传送带传输速度进行任务分配,每台机械手臂负责分拣其中一种或多种工件;
S3、工业相机按照预设的采样周期采集视野内的待分拣工件图像,分析采集到的待分拣工件图像中工件种类、数量和初始位姿,根据工件种类确定对应的机械手臂,预测各工件的到达对应机械手臂工作区域的时间及位姿,为各个机械手臂生成作业清单,根据作业清单控制控制相应机械手臂完成工件抓取及放置;
S4、当其中一个机械手臂发生故障时,上报发生故障的机械手臂编号,根据编号查询机械手臂的对应位置及负责的工件种类、作业清单,从作业清单中查询故障机械手臂目前是否有未完成作业,若有,将未完成的作业分配至下游方向离故障机械手臂最近的机械手臂,修改未完成作业的作业清单并插入离故障机械手臂最近的机械手臂的作业清单末尾;
S5、获取下一采样周期的待分拣工件图像,更新作业清单;若有机械手臂发生故障,统计各个作业状态的机械手臂的单位时间内的平均工作量,将各机械手臂根据平均工作量按升序排列,将故障机械手臂对应的工件分拣任务分配给序列第一位的机械手臂,更新所述序列第一位的机械手臂的作业清单;根据作业清单控制控制相应机械手臂完成工件分拣。
6.根据权利要求5所述物联网机械手臂协同作业方法,其特征在于,所述步骤S3具体为:
根据待分拣工件种类确定分配的机械手臂编号,根据图像采集时间、工件初始位姿、传送带传送速度、分配的机械手臂的位置预测各工件到达对应机械手臂工作区域的时间及位姿;
若同一类别中工件数量有多个,按照各工件与对应的机械手臂的水平距离进行优先级排序,水平距离最小的优先级最高,根据机械手臂的作业周期确定每个工件的预计抓取时间及位姿;
根据每个机械手臂待分拣工件的种类、数量、预计抓取时间及位姿确定每个机械手臂的作业任务,确定各个作业任务的优先级,将各个作业任务按照优先级从高到低排序,为每个机械手臂生成作业清单。
CN202010530385.8A 2020-06-11 2020-06-11 一种物联网机械手臂协同作业系统及方法 Active CN111702760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010530385.8A CN111702760B (zh) 2020-06-11 2020-06-11 一种物联网机械手臂协同作业系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010530385.8A CN111702760B (zh) 2020-06-11 2020-06-11 一种物联网机械手臂协同作业系统及方法

Publications (2)

Publication Number Publication Date
CN111702760A true CN111702760A (zh) 2020-09-25
CN111702760B CN111702760B (zh) 2021-06-11

Family

ID=72540235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010530385.8A Active CN111702760B (zh) 2020-06-11 2020-06-11 一种物联网机械手臂协同作业系统及方法

Country Status (1)

Country Link
CN (1) CN111702760B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112439715A (zh) * 2020-11-04 2021-03-05 中微(杭州)智能制造科技有限公司 交叉带分拣设备的货品分拣系统及方法
CN113351496A (zh) * 2021-08-10 2021-09-07 常州唯实智能物联创新中心有限公司 多机械臂策略、多机械臂协同的分拣系统建模方法及系统
CN113848845A (zh) * 2021-11-26 2021-12-28 佛山华数机器人有限公司 一种多机器人高效打磨调度方法
CN113877854A (zh) * 2021-12-08 2022-01-04 辰星(天津)自动化设备有限公司 应用于并联机器人的物体分拣方法
CN113955472A (zh) * 2021-10-27 2022-01-21 因格(苏州)智能技术有限公司 基于协作的自动拣取系统及电子设备
CN113989278A (zh) * 2021-12-24 2022-01-28 湖南视比特机器人有限公司 抓取装置的定位方法和系统
CN115847488A (zh) * 2023-02-07 2023-03-28 成都秦川物联网科技股份有限公司 用于协作机器人监测的工业物联网系统及控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105964567A (zh) * 2016-05-26 2016-09-28 北京新长征天高智机科技有限公司 一种针对生活垃圾中的玻璃瓶分拣控制系统
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN106737696A (zh) * 2017-03-11 2017-05-31 杭州极木科技有限公司 一种多机器人协同运输方法
CN108701285A (zh) * 2017-08-23 2018-10-23 深圳蓝胖子机器人有限公司 机器人调度方法、服务器、电子设备及可读存储介质
CN109365318A (zh) * 2018-11-30 2019-02-22 天津大学 一种多机器人协作分拣方法及系统
KR20190080489A (ko) * 2017-12-28 2019-07-08 주식회사 성우하이텍 로봇 동작 모니터링 시스템 및 그 방법
EP3539728A1 (en) * 2018-03-17 2019-09-18 Tata Consultancy Services Limited System and method for fault detection in robotic actuation
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及系统
CN111151463A (zh) * 2019-12-24 2020-05-15 北京无线电测量研究所 一种基于3d视觉的机械臂分拣抓取系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105964567A (zh) * 2016-05-26 2016-09-28 北京新长征天高智机科技有限公司 一种针对生活垃圾中的玻璃瓶分拣控制系统
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN106737696A (zh) * 2017-03-11 2017-05-31 杭州极木科技有限公司 一种多机器人协同运输方法
CN108701285A (zh) * 2017-08-23 2018-10-23 深圳蓝胖子机器人有限公司 机器人调度方法、服务器、电子设备及可读存储介质
KR20190080489A (ko) * 2017-12-28 2019-07-08 주식회사 성우하이텍 로봇 동작 모니터링 시스템 및 그 방법
EP3539728A1 (en) * 2018-03-17 2019-09-18 Tata Consultancy Services Limited System and method for fault detection in robotic actuation
CN109365318A (zh) * 2018-11-30 2019-02-22 天津大学 一种多机器人协作分拣方法及系统
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及系统
CN111151463A (zh) * 2019-12-24 2020-05-15 北京无线电测量研究所 一种基于3d视觉的机械臂分拣抓取系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112439715A (zh) * 2020-11-04 2021-03-05 中微(杭州)智能制造科技有限公司 交叉带分拣设备的货品分拣系统及方法
CN112439715B (zh) * 2020-11-04 2022-03-25 杭州启隆智能科技有限公司 交叉带分拣设备的货品分拣系统及方法
CN113351496A (zh) * 2021-08-10 2021-09-07 常州唯实智能物联创新中心有限公司 多机械臂策略、多机械臂协同的分拣系统建模方法及系统
CN113955472A (zh) * 2021-10-27 2022-01-21 因格(苏州)智能技术有限公司 基于协作的自动拣取系统及电子设备
CN113848845A (zh) * 2021-11-26 2021-12-28 佛山华数机器人有限公司 一种多机器人高效打磨调度方法
CN113877854A (zh) * 2021-12-08 2022-01-04 辰星(天津)自动化设备有限公司 应用于并联机器人的物体分拣方法
CN113989278A (zh) * 2021-12-24 2022-01-28 湖南视比特机器人有限公司 抓取装置的定位方法和系统
CN115847488A (zh) * 2023-02-07 2023-03-28 成都秦川物联网科技股份有限公司 用于协作机器人监测的工业物联网系统及控制方法
CN115847488B (zh) * 2023-02-07 2023-05-02 成都秦川物联网科技股份有限公司 用于协作机器人监测的工业物联网系统及控制方法
US11919166B2 (en) 2023-02-07 2024-03-05 Chengdu Qinchuan Iot Technology Co., Ltd. Industrial internet of things for monitoring collaborative robots and control methods, storage media thereof

Also Published As

Publication number Publication date
CN111702760B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN111702760B (zh) 一种物联网机械手臂协同作业系统及方法
WO2020007016A1 (zh) 一种基于数字孪生的智能车间自治生产过程动态联动控制方法
CN110567974B (zh) 一种基于云端人工智能表面缺陷检测系统
CN112102368B (zh) 一种基于深度学习的机器人垃圾分类分拣方法
KR102626984B1 (ko) 관리 장치 및 관리 시스템
JP7171407B2 (ja) 情報処理装置、生産指示支援方法
CN104281132A (zh) 基于机器视觉的机械制造车间生产过程信息采集系统及采集方法
CN115321090B (zh) 机场行李自动接取方法、装置、设备、系统及介质
CN116187725B (zh) 一种用于锻造自动线的锻造设备管理系统
CN117118781A (zh) 一种智能化工业网关设计方法及装置
CN114346821A (zh) 一种工件加工方法、系统及可读存储介质
CN111871864A (zh) 分拣装置及方法
CN103199040A (zh) 一种暖机控制方法
CN111352398A (zh) 智能精密加工单元
CN111641685A (zh) 基于分布式的工业互联网设备协同作业方法及云服务器
CN109597382A (zh) 煤机制造智能下料生产系统
CN116679641A (zh) 一种考虑工序刚性约束的自动化装配生产线多目标优化方法
CN111598251B (zh) 一种基于机器学习的cnc预测性维护系统及方法
CN114750168B (zh) 一种基于机器视觉的机械手控制方法及系统
CN116638511A (zh) 一种基于机床换料时间模型提高产线机器人工作效率方法
CN115446264A (zh) 一种自动化铸造生产工艺
CN212623733U (zh) 一种智能生产系统
CN115268385A (zh) 基于设备动态交互模型的车间调度方法及车间调度系统
CN108427389B (zh) 基于工业互联网的皮革优化排样与多机协调裁断方法
CN114192447A (zh) 基于图像识别的垃圾分拣方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 430000 room 01, floor 2, building A14, phase 1-1, Wuhan National Geospatial Information Industrialization Base (New Area), No. 6, Beidou Road, East Lake New Technology Development Zone, Wuhan City, Hubei Province

Patentee after: Wuhan Meihe Yisi Digital Technology Co.,Ltd.

Address before: Room 01, 2 / F, building A14, phase 1.1, Wuhan National Geospatial Information Industrialization Base (New Area), no.6, Beidou Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Patentee before: HUBEI MEIHE YISI EDUCATION TECHNOLOGY Co.,Ltd.