CN106527239B - 一种多机器人协同操作模式的方法及系统 - Google Patents

一种多机器人协同操作模式的方法及系统 Download PDF

Info

Publication number
CN106527239B
CN106527239B CN201611255693.4A CN201611255693A CN106527239B CN 106527239 B CN106527239 B CN 106527239B CN 201611255693 A CN201611255693 A CN 201611255693A CN 106527239 B CN106527239 B CN 106527239B
Authority
CN
China
Prior art keywords
delta robot
target
location information
liang tai
robot
Prior art date
Application number
CN201611255693.4A
Other languages
English (en)
Other versions
CN106527239A (zh
Inventor
程韬波
曹永军
黄丹
Original Assignee
华南智能机器人创新研究院
广东省智能制造研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华南智能机器人创新研究院, 广东省智能制造研究所 filed Critical 华南智能机器人创新研究院
Priority to CN201611255693.4A priority Critical patent/CN106527239B/zh
Publication of CN106527239A publication Critical patent/CN106527239A/zh
Application granted granted Critical
Publication of CN106527239B publication Critical patent/CN106527239B/zh

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers

Abstract

本发明公开了一种多机器人协同操作模式的方法及系统,其方法包括:运动控制系统中的通信模块接收远程控制指令;运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息;运动控制系统向至少两台DELTA机器人发送指令;运动控制系统获取所述GNSS模块定位解析的位置信息,并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配;启动运动控制系统控制DELTA机器人协同操作。通过本发明实施例,通过建立协调工作模式下的视频跟踪,基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像。

Description

一种多机器人协同操作模式的方法及系统
技术领域
本发明涉及智能制造技术领域,具体涉及一种多机器人协同操作模式的方法及系统。
背景技术
随着机器人技术的不断发展,越来越多的机器人开始替代人类执行各种任务。机器人是自动控制机器(Robot)的俗称,自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗,机器猫等)。狭义上对机器人的定义还有很多分类法及争议,有些电脑程序甚至也被称为机器人。在当代工业中,机器人指能自动执行任务的人造机器装置,用以取代或协助人类工作。理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物,目前科学界正在向此方向研究开发,但是机器人远程控制还不完善,大数据的应用还没有普及,机器人的数据采集还处于离线状态,机器人深度学习也来自于本机数据的储存。
DELTA机器人是并联机器人的一种,DELTA机器人通过外转动副驱动3条平行四边形支链,再加上中间一根旋转驱动轴,可实现其末端执行器的空间四维运动,配置视觉系统后,在电子、轻工、食品及医药等领域的分拣包装中广泛应用。
目前现有的各个厂家DELTA机器人的控制系统是采用其自身的专用机器人控制器来构建的机器人控制系统,这种采用专用控制器的控制系统系统通用性不好。一般的DELTA机器人控制系统是由运动控制系统、伺服系统、视觉跟踪系统和输送带跟踪系统组成,如图1中所示中,由于存在多个DELTA机器人协同工作,目标对象在不同DELTA机器人下不同时间内完成不同操作过程,如何实现视频跟踪过程中,而现有技术缺乏一种可行方案。且随着机器人技术的不断发展,越来越多的机器人开始替代人类执行各种任务。一般情况下,机器人与操纵者之间相隔很远或者操纵者需要实现远程操作来完成,且现有的工业机器人在远程操作作业时,如何实现远程机器人实际地址与受控机器人相一致的情况,避免操作指令误发,导致工业生产过程中的事故。
发明内容
本发明提供了一种多机器人协同操作模式的方法及系统,通过精准定位机器人来建立协调工作模式下的视频跟踪,解决了现有机器视觉协调性问题。
本发明提供了一种多机器人协同操作模式的方法,其特征在于,其中:机器人控制系统包括运动控制系统、视觉系统,所述运动控制系统与视觉系统连接,以及所述运动控制系统连接有至少两台DELTA机器人,所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联,所述方法包括:
运动控制系统中的通信模块接收远程控制指令,所述远程控制指令包括至少两台DELTA机器人的位置信息;
运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息;
运动控制系统向至少两台DELTA机器人发送指令,触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息;
运动控制系统获取所述GNSS模块定位解析的位置信息,并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配;
在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后,启动运动控制系统控制DELTA机器人协同操作;
在运动控制系统控制DELTA机器人操作过程中,视觉系统构建每一台DELTA机器人下的目标追踪模型,对目标对象图像进行采集与处理;
运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别,获得每一台DELTA机器人操作过程下的目标对象;
利用测距方法,精确定位DELTA机器人与目标对象之间的距离,并对目标对象状态进行预测;
视觉系统根据预测及时跟踪目标对象下一个状态值。
所述视觉系统构建每一台DELTA机器人下的目标追踪模型,对目标对象图像进行采集与处理包括:
基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括:
利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
所述利用测距方法,精确定位DELTA机器人与目标对象之间的距离,并对目标对象状态进行预测包括:
采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离;
再基于卡尔曼滤波算法预测目标对象的运动状态。
所述视觉系统根据预测及时跟踪目标对象下一个状态值包括:
基于所述至少两台DELTA机器人之间的协同控制指令,对目标对象进行实时追踪,并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
相应的,本发明还提供了一种多机器人协同操作模式的系统,包括:运动控制系统、视觉系统,所述运动控制系统与视觉系统相连,以及所述运动控制系统连接有至少两台DELTA机器人,所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联,其中:
运动控制系统中的通信模块接收远程控制指令,所述远程控制指令包括至少两台DELTA机器人的位置信息,并解析所述远程控制指令中的至少两台DELTA机器人的位置信息,以及向至少两台DELTA机器人发送指令,触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息;获取所述GNSS模块定位解析的位置信息,并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配,在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后,启动运动控制系统控制DELTA机器人协同操作,控制目标对象在至少两台DELTA机器人下进行协同操作;
视觉系统用于构建每一台DELTA机器人下的目标追踪模型,对目标对象图像进行采集与处理;运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别,获得每一台DELTA机器人操作过程下的目标对象;利用测距方法,精确定位DELTA机器人与目标对象之间的距离,并对目标对象状态进行预测;视觉系统根据预测及时跟踪目标对象下一个状态值;
至少两台DELTA机器人用于接收运动控制系统发送的指令,并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息,并受控于运动控制系统完成协同操作。
所述视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
所述视觉系统利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
所述视觉系统采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离;再基于卡尔曼滤波算法预测目标对象的运动状态。
所述视觉系统基于所述至少两台DELTA机器人之间的协同控制指令,对目标对象进行实时追踪,并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
在本发明中,在远程建立协同操作时,首先发送远程协议信息,实现多个DELTA机器人与远程协议信息中的位置匹配关系,通过精确定位识别并授权建立协调工作模式下的视频跟踪,基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像,并才有测距方法可以及时对目标对象进行预测,及时跟进目标对象下一个状态值,保证了整个操作对象过程的有序监控,可以按照时序过程再现整个操作过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是现有技术中的机器人控制系统的结构示意图;
图2是本发明实施例中的机器人控制系统结构示意图;
图3是本发明实施例中的多机器人协同操作模式的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
具体的,图2示出了本发明实施例中的机器人控制系统结构示意图,该机器人控制系统包括运动控制系统、视觉系统,该运动控制系统与视觉系统连接,以及所述运动控制系统连接有至少两台DELTA机器人,该运动控制系统与该至少两台DELTA机器人之间通过EtherCAT总线串联,本发明实施例中示出了三台DELTA机器人,其中:
运动控制系统中的通信模块接收远程控制指令,所述远程控制指令包括至少两台DELTA机器人的位置信息,并解析所述远程控制指令中的至少两台DELTA机器人的位置信息,以及向至少两台DELTA机器人发送指令,触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息;获取所述GNSS模块定位解析的位置信息,并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配,在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后,启动运动控制系统控制DELTA机器人协同操作,控制目标对象在至少两台DELTA机器人下进行协同操作;
视觉系统用于构建每一台DELTA机器人下的目标追踪模型,对目标对象图像进行采集与处理;运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别,获得每一台DELTA机器人操作过程下的目标对象;利用测距方法,精确定位DELTA机器人与目标对象之间的距离,并对目标对象状态进行预测;视觉系统根据预测及时跟踪目标对象下一个状态值;
至少两台DELTA机器人用于接收运动控制系统发送的指令,并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息,并受控于运动控制系统完成协同操作。
具体实施过程中,该视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型;以及利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别;采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离;再基于卡尔曼滤波算法预测目标对象的运动状态;基于所述至少两台DELTA机器人之间的协同控制指令,对目标对象进行实时追踪,并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
需要说明的是,本发明实施例中结合颜色和边缘的跟踪算法建立目标追踪模型,可以采用一些彩色边缘检测算法,它充分考虑了彩色图像的边缘特性,使用彩色差进行跟踪,从而弥补了传统边缘检测方法检测时丢失边缘的不足,其能提取更多的彩色边缘信息,而且检测精度和效果都比较令人满意,具有一定的实用价值和良好的处理效果。
需要说明的是,帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法,它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时,帧与帧之间会出现较为明显的差别,两帧相减,得到两帧图像亮度差的绝对值,判断它是否大于阈值来分析视频或图像序列的运动特性,确定图像序列中有无物体运动。图像序列逐帧的差分,相当于对图像序列进行了时域下的高通滤波。
需要说明的是,单目视觉测距方法可以利用小孔成像原理,得出成像点与目标点的映射关系,建立小孔成像模型。然后通过对目标图像的分析,得出目标物与目标图像的面积映射关系,建立视觉测量的直线测距模型;通过图像处理,提取目标图像的特征点,将光心与目标物的距离关系转化为光心与特征点的距离关系,提出了基于特征点的单目视觉测距原理。
需要说明的是,卡尔曼滤波算法是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法,从而实现数据值的预测过程。
需要说明的是,运动控制系统接收远程控制指令时,在完成整个匹配过程之后,即可实现对至少两台DELTA机器人控制的授权,将远程控制指令中的操作作业指令解析出来之后,至少两台DELTA机器人即可实现受控,完成相应的视觉跟踪的协同操作;在识别出整个匹配过程不成功之后,即对至少两台DELTA机器人授权的失败,不能即系解析操作作业指令,不能使工业机器人完成相应的受控过程。
在整个协同作业过程中,对远程控制指令中写入DELTA机器人的位置信息,并基于DELTA机器人上的GNSS模块获取定位信息,从而解析该DELTA机器人的位置信息,运动控制系统通过这两个信息间的匹配过程,可以精准实现DELTA机器人的协同操作,避免误操作发生。通过精确定位识别并授权建立协调工作模式下的视频跟踪,基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像,并才有测距方法可以及时对目标对象进行预测,及时跟进目标对象下一个状态值,保证了整个操作对象过程的有序监控,可以按照时序过程再现整个操作过程。
相应的,图3示出了本发明实施例中的多机器人操作模式下视觉跟踪的方法流程图,其中:机器人控制系统包括运动控制系统、视觉系统,所述运动控制系统与视觉系统连接,以及所述运动控制系统连接有至少两台DELTA机器人,所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联,该方法包括如下步骤:
S101、运动控制系统中的通信模块接收远程控制指令,所述远程控制指令包括至少两台DELTA机器人的位置信息;
S102、运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息;
S103、运动控制系统向至少两台DELTA机器人发送指令,触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息;
S104、运动控制系统获取所述GNSS模块定位解析的位置信息,并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配,如果匹配则进入S105,否则进入S110;
S105、在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后,启动运动控制系统控制DELTA机器人协同操作;
S106、在运动控制系统控制DELTA机器人操作过程中,视觉系统构建每一台DELTA机器人下的目标追踪模型,对目标对象图像进行采集与处理;
具体实施过程中,通过基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。本发明实施例中结合颜色和边缘的跟踪算法建立目标追踪模型,可以采用一些彩色边缘检测算法,它充分考虑了彩色图像的边缘特性,使用彩色差进行跟踪,从而弥补了传统边缘检测方法检测时丢失边缘的不足,其能提取更多的彩色边缘信息,而且检测精度和效果都比较令人满意,具有一定的实用价值和良好的处理效果。
S107、运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别,获得每一台DELTA机器人操作过程下的目标对象;
具体实施过程中,利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法,它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时,帧与帧之间会出现较为明显的差别,两帧相减,得到两帧图像亮度差的绝对值,判断它是否大于阈值来分析视频或图像序列的运动特性,确定图像序列中有无物体运动。图像序列逐帧的差分,相当于对图像序列进行了时域下的高通滤波。卡尔曼滤波算法是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法,从而实现数据值的预测过程。
S108、利用测距方法,精确定位DELTA机器人与目标对象之间的距离,并对目标对象状态进行预测;
具体实施过程中,采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离;再基于卡尔曼滤波算法预测目标对象的运动状态。
单目视觉测距方法可以利用小孔成像原理,得出成像点与目标点的映射关系,建立小孔成像模型。然后通过对目标图像的分析,得出目标物与目标图像的面积映射关系,建立视觉测量的直线测距模型;通过图像处理,提取目标图像的特征点,将光心与目标物的距离关系转化为光心与特征点的距离关系,提出了基于特征点的单目视觉测距原理。
S109、视觉系统根据预测及时跟踪目标对象下一个状态值。
具体实施过程中,基于所述至少两台DELTA机器人之间的协同控制指令,对目标对象进行实时追踪,并基于视觉系统抓取不同DELTA机器人下的目标状态的状态值。
S110、结束。
综上,在整个协同作业过程中,对远程控制指令中写入DELTA机器人的位置信息,并基于DELTA机器人上的GNSS模块获取定位信息,从而解析该DELTA机器人的位置信息,运动控制系统通过这两个信息间的匹配过程,可以精准实现DELTA机器人的协同操作,避免误操作发生。通过精确定位识别并授权建立协调工作模式下的视频跟踪,基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像,并才有测距方法可以及时对目标对象进行预测,及时跟进目标对象下一个状态值,保证了整个操作对象过程的有序监控,可以按照时序过程再现整个操作过程。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
以上对本发明实施例所提供的多机器人协同操作模式的方法及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多机器人协同操作模式的方法,其特征在于,其中:机器人控制系统包括运动控制系统、视觉系统,所述运动控制系统与视觉系统连接,以及所述运动控制系统连接有至少两台DELTA机器人,所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联,所述方法包括:
运动控制系统中的通信模块接收远程控制指令,所述远程控制指令包括至少两台DELTA机器人的位置信息;
运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息;
运动控制系统向至少两台DELTA机器人发送指令,触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息;
运动控制系统获取所述GNSS模块定位解析的位置信息,并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配;
在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后,启动运动控制系统控制DELTA机器人协同操作;
在运动控制系统控制DELTA机器人操作过程中,视觉系统构建每一台DELTA机器人下的目标追踪模型,对目标对象图像进行采集与处理;
运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别,获得每一台DELTA机器人操作过程下的目标对象;
利用测距方法,精确定位DELTA机器人与目标对象之间的距离,并对目标对象状态进行预测;
视觉系统根据预测及时跟踪目标对象下一个状态值。
2.如权利要求1所述的多机器人协同操作模式的方法,其特征在于,所述视觉系统构建每一台DELTA机器人下的目标追踪模型,对目标对象图像进行采集与处理包括:
基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
3.如权利要求1所述的多机器人协同操作模式的方法,其特征在于,所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括:
利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
4.如权利要求1所述的多机器人协同操作模式的方法,其特征在于,所述利用测距方法,精确定位DELTA机器人与目标对象之间的距离,并对目标对象状态进行预测包括:
采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离;
再基于卡尔曼滤波算法预测目标对象的运动状态。
5.如权利要求1至4任一项所述的多机器人协同操作模式的方法,其特征在于,所述视觉系统根据预测及时跟踪目标对象下一个状态值包括:
基于所述至少两台DELTA机器人之间的协同控制指令,对目标对象进行实时追踪,并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
6.一种多机器人协同操作模式的系统,其特征在于,包括:运动控制系统、视觉系统,所述运动控制系统与视觉系统相连,以及所述运动控制系统连接有至少两台DELTA机器人,所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联,其中:
运动控制系统中的通信模块接收远程控制指令,所述远程控制指令包括至少两台DELTA机器人的位置信息,并解析所述远程控制指令中的至少两台DELTA机器人的位置信息,以及向至少两台DELTA机器人发送指令,触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息;获取所述GNSS模块定位解析的位置信息,并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配,在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后,启动运动控制系统控制DELTA机器人协同操作,控制目标对象在至少两台DELTA机器人下进行协同操作;
视觉系统用于构建每一台DELTA机器人下的目标追踪模型,对目标对象图像进行采集与处理;运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别,获得每一台DELTA机器人操作过程下的目标对象;利用测距方法,精确定位DELTA机器人与目标对象之间的距离,并对目标对象状态进行预测;视觉系统根据预测及时跟踪目标对象下一个状态值;
至少两台DELTA机器人用于接收运动控制系统发送的指令,并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息,并受控于运动控制系统完成协同操作。
7.如权利要求6所述的多机器人协同操作模式的系统,其特征在于,所述视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
8.如权利要求6所述的多机器人协同操作模式的系统,其特征在于,所述视觉系统利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
9.如权利要求6所述的多机器人协同操作模式的系统,其特征在于,所述视觉系统采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离;再基于卡尔曼滤波算法预测目标对象的运动状态。
10.如权利要求6至9任一项所述的多机器人协同操作模式的系统,其特征在于,所述视觉系统基于所述至少两台DELTA机器人之间的协同控制指令,对目标对象进行实时追踪,并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
CN201611255693.4A 2016-12-30 2016-12-30 一种多机器人协同操作模式的方法及系统 CN106527239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611255693.4A CN106527239B (zh) 2016-12-30 2016-12-30 一种多机器人协同操作模式的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611255693.4A CN106527239B (zh) 2016-12-30 2016-12-30 一种多机器人协同操作模式的方法及系统

Publications (2)

Publication Number Publication Date
CN106527239A CN106527239A (zh) 2017-03-22
CN106527239B true CN106527239B (zh) 2018-12-21

Family

ID=58335902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611255693.4A CN106527239B (zh) 2016-12-30 2016-12-30 一种多机器人协同操作模式的方法及系统

Country Status (1)

Country Link
CN (1) CN106527239B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107363833B (zh) * 2017-07-17 2020-01-03 深圳市微付充科技有限公司 一种移动机器人及其控制方法和装置
CN108500979B (zh) * 2018-03-10 2020-10-27 彭惠平 一种基于相机通讯连接的机器人抓取方法及其系统
CN109672742A (zh) * 2018-12-25 2019-04-23 华南智能机器人创新研究院 一种基于不同压铸机系统间的智能化协同控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983263A (zh) * 2014-05-30 2014-08-13 东南大学 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN104589357A (zh) * 2014-12-01 2015-05-06 佛山市万世德机器人技术有限公司 基于视觉跟踪的delta机器人控制系统和方法
CN104898575A (zh) * 2015-06-01 2015-09-09 中国人民解放军装甲兵工程学院 多机器人协同控制系统
CN104950887A (zh) * 2015-06-19 2015-09-30 重庆大学 基于机器人视觉系统和自主跟踪系统的运输装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5815761B2 (ja) * 2014-01-23 2015-11-17 ファナック株式会社 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP6585375B2 (ja) * 2015-04-30 2019-10-02 ライフロボティクス株式会社 ロボットシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983263A (zh) * 2014-05-30 2014-08-13 东南大学 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN104589357A (zh) * 2014-12-01 2015-05-06 佛山市万世德机器人技术有限公司 基于视觉跟踪的delta机器人控制系统和方法
CN104898575A (zh) * 2015-06-01 2015-09-09 中国人民解放军装甲兵工程学院 多机器人协同控制系统
CN104950887A (zh) * 2015-06-19 2015-09-30 重庆大学 基于机器人视觉系统和自主跟踪系统的运输装置

Also Published As

Publication number Publication date
CN106527239A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
Pérez et al. Robot guidance using machine vision techniques in industrial environments: A comparative review
Mehta et al. Vision-based control of robotic manipulator for citrus harvesting
US10194138B2 (en) Structured light encoding-based vertical depth perception apparatus
EP2947604B1 (en) Integration of optical area monitoring with industrial machine control
US20170248971A1 (en) Method for detecting target object, detection apparatus and robot
EP3011225B1 (de) Vorrichtung und verfahren zum absichern einer automatisiert arbeitenden maschine
DE112010000775B4 (de) Industrierobotersystem
DE112016002057T5 (de) Dreidimensionales messgerät, lösbar verkoppelt mit einem roboterarm auf einer motorisierten mobilen plattform
EP2048557B1 (de) Optoelektronischer Sensor und mobile Vorrichtung sowie Verfahren zur Konfiguration
DE112014003227B4 (de) Dreidimensionales Messgerät mit dreidimensionaler Übersichtskamera
US4956790A (en) Instruction system of remote-control robot
US9187188B2 (en) Assembly inspection system and method
EP2838463B1 (en) Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures
US10089556B1 (en) Self-attention deep neural network for action recognition in surveillance videos
US8923602B2 (en) Automated guidance and recognition system and method of the same
FR3037429A1 (fr) Systeme et procede d'inspection automatique de surface
CN102313536B (zh) 基于机载双目视觉的障碍物感知方法
CN102103663B (zh) 病房巡视服务机器人系统及其目标搜寻方法
DE112015002217T5 (de) Messtechnisches gerät und verfahren zur durchführung einer prüfung
US20120259462A1 (en) Information processing apparatus, control method thereof and storage medium
EP2380709A2 (de) 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
EP2783812A2 (en) Robot device and method for manufacturing an object
EP2742319B1 (de) Messgerät zur bestimmung der räumlichen lage eines messhilfsinstruments
CN101456159B (zh) 火花识别对刀方法及磨削加工自动化系统
US20180350055A1 (en) Augmented reality feature detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant