CN106527239B - 一种多机器人协同操作模式的方法及系统 - Google Patents

一种多机器人协同操作模式的方法及系统 Download PDF

Info

Publication number
CN106527239B
CN106527239B CN201611255693.4A CN201611255693A CN106527239B CN 106527239 B CN106527239 B CN 106527239B CN 201611255693 A CN201611255693 A CN 201611255693A CN 106527239 B CN106527239 B CN 106527239B
Authority
CN
China
Prior art keywords
delta robot
target object
control system
location information
liang tai
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611255693.4A
Other languages
English (en)
Other versions
CN106527239A (zh
Inventor
程韬波
曹永军
黄丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Institute of Intelligent Manufacturing
South China Robotics Innovation Research Institute
Original Assignee
Guangdong Institute of Intelligent Manufacturing
South China Robotics Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Institute of Intelligent Manufacturing, South China Robotics Innovation Research Institute filed Critical Guangdong Institute of Intelligent Manufacturing
Priority to CN201611255693.4A priority Critical patent/CN106527239B/zh
Publication of CN106527239A publication Critical patent/CN106527239A/zh
Application granted granted Critical
Publication of CN106527239B publication Critical patent/CN106527239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers

Abstract

本发明公开了一种多机器人协同操作模式的方法及系统，其方法包括：运动控制系统中的通信模块接收远程控制指令；运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息；运动控制系统向至少两台DELTA机器人发送指令；运动控制系统获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配；启动运动控制系统控制DELTA机器人协同操作。通过本发明实施例，通过建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像。

Description

一种多机器人协同操作模式的方法及系统
技术领域
本发明涉及智能制造技术领域，具体涉及一种多机器人协同操作模式的方法及系统。
背景技术
随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。机器人是自动控制机器(Robot)的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗，机器猫等)。狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物，目前科学界正在向此方向研究开发，但是机器人远程控制还不完善，大数据的应用还没有普及，机器人的数据采集还处于离线状态，机器人深度学习也来自于本机数据的储存。
DELTA机器人是并联机器人的一种，DELTA机器人通过外转动副驱动3条平行四边形支链，再加上中间一根旋转驱动轴，可实现其末端执行器的空间四维运动，配置视觉系统后，在电子、轻工、食品及医药等领域的分拣包装中广泛应用。
目前现有的各个厂家DELTA机器人的控制系统是采用其自身的专用机器人控制器来构建的机器人控制系统，这种采用专用控制器的控制系统系统通用性不好。一般的DELTA机器人控制系统是由运动控制系统、伺服系统、视觉跟踪系统和输送带跟踪系统组成，如图1中所示中，由于存在多个DELTA机器人协同工作，目标对象在不同DELTA机器人下不同时间内完成不同操作过程，如何实现视频跟踪过程中，而现有技术缺乏一种可行方案。且随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。一般情况下，机器人与操纵者之间相隔很远或者操纵者需要实现远程操作来完成，且现有的工业机器人在远程操作作业时，如何实现远程机器人实际地址与受控机器人相一致的情况，避免操作指令误发，导致工业生产过程中的事故。
发明内容
本发明提供了一种多机器人协同操作模式的方法及系统，通过精准定位机器人来建立协调工作模式下的视频跟踪，解决了现有机器视觉协调性问题。
本发明提供了一种多机器人协同操作模式的方法，其特征在于，其中：机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：
运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息；
运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息；
运动控制系统向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；
运动控制系统获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配；
在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作；
在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；
运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；
利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；
视觉系统根据预测及时跟踪目标对象下一个状态值。
所述视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：
基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：
利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：
采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；
再基于卡尔曼滤波算法预测目标对象的运动状态。
所述视觉系统根据预测及时跟踪目标对象下一个状态值包括：
基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
相应的，本发明还提供了一种多机器人协同操作模式的系统，包括：运动控制系统、视觉系统，所述运动控制系统与视觉系统相连，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，其中：
运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息，并解析所述远程控制指令中的至少两台DELTA机器人的位置信息，以及向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作，控制目标对象在至少两台DELTA机器人下进行协同操作；
视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；
至少两台DELTA机器人用于接收运动控制系统发送的指令，并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息，并受控于运动控制系统完成协同操作。
所述视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
所述视觉系统利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
所述视觉系统采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；再基于卡尔曼滤波算法预测目标对象的运动状态。
所述视觉系统基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
在本发明中，在远程建立协同操作时，首先发送远程协议信息，实现多个DELTA机器人与远程协议信息中的位置匹配关系，通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是现有技术中的机器人控制系统的结构示意图；
图2是本发明实施例中的机器人控制系统结构示意图；
图3是本发明实施例中的多机器人协同操作模式的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
具体的，图2示出了本发明实施例中的机器人控制系统结构示意图，该机器人控制系统包括运动控制系统、视觉系统，该运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，该运动控制系统与该至少两台DELTA机器人之间通过EtherCAT总线串联，本发明实施例中示出了三台DELTA机器人，其中：
运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息，并解析所述远程控制指令中的至少两台DELTA机器人的位置信息，以及向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作，控制目标对象在至少两台DELTA机器人下进行协同操作；
视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；
至少两台DELTA机器人用于接收运动控制系统发送的指令，并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息，并受控于运动控制系统完成协同操作。
具体实施过程中，该视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型；以及利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别；采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；再基于卡尔曼滤波算法预测目标对象的运动状态；基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
需要说明的是，本发明实施例中结合颜色和边缘的跟踪算法建立目标追踪模型，可以采用一些彩色边缘检测算法，它充分考虑了彩色图像的边缘特性，使用彩色差进行跟踪，从而弥补了传统边缘检测方法检测时丢失边缘的不足，其能提取更多的彩色边缘信息，而且检测精度和效果都比较令人满意，具有一定的实用价值和良好的处理效果。
需要说明的是，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。
需要说明的是，单目视觉测距方法可以利用小孔成像原理，得出成像点与目标点的映射关系，建立小孔成像模型。然后通过对目标图像的分析，得出目标物与目标图像的面积映射关系，建立视觉测量的直线测距模型；通过图像处理，提取目标图像的特征点，将光心与目标物的距离关系转化为光心与特征点的距离关系，提出了基于特征点的单目视觉测距原理。
需要说明的是，卡尔曼滤波算法是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，从而实现数据值的预测过程。
需要说明的是，运动控制系统接收远程控制指令时，在完成整个匹配过程之后，即可实现对至少两台DELTA机器人控制的授权，将远程控制指令中的操作作业指令解析出来之后，至少两台DELTA机器人即可实现受控，完成相应的视觉跟踪的协同操作；在识别出整个匹配过程不成功之后，即对至少两台DELTA机器人授权的失败，不能即系解析操作作业指令，不能使工业机器人完成相应的受控过程。
在整个协同作业过程中，对远程控制指令中写入DELTA机器人的位置信息，并基于DELTA机器人上的GNSS模块获取定位信息，从而解析该DELTA机器人的位置信息，运动控制系统通过这两个信息间的匹配过程，可以精准实现DELTA机器人的协同操作，避免误操作发生。通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。
相应的，图3示出了本发明实施例中的多机器人操作模式下视觉跟踪的方法流程图，其中：机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，该方法包括如下步骤：
S101、运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息；
S102、运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息；
S103、运动控制系统向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；
S104、运动控制系统获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，如果匹配则进入S105，否则进入S110；
S105、在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作；
S106、在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；
具体实施过程中，通过基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。本发明实施例中结合颜色和边缘的跟踪算法建立目标追踪模型，可以采用一些彩色边缘检测算法，它充分考虑了彩色图像的边缘特性，使用彩色差进行跟踪，从而弥补了传统边缘检测方法检测时丢失边缘的不足，其能提取更多的彩色边缘信息，而且检测精度和效果都比较令人满意，具有一定的实用价值和良好的处理效果。
S107、运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；
具体实施过程中，利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。卡尔曼滤波算法是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，从而实现数据值的预测过程。
S108、利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；
具体实施过程中，采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；再基于卡尔曼滤波算法预测目标对象的运动状态。
单目视觉测距方法可以利用小孔成像原理，得出成像点与目标点的映射关系，建立小孔成像模型。然后通过对目标图像的分析，得出目标物与目标图像的面积映射关系，建立视觉测量的直线测距模型；通过图像处理，提取目标图像的特征点，将光心与目标物的距离关系转化为光心与特征点的距离关系，提出了基于特征点的单目视觉测距原理。
S109、视觉系统根据预测及时跟踪目标对象下一个状态值。
具体实施过程中，基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的目标状态的状态值。
S110、结束。
综上，在整个协同作业过程中，对远程控制指令中写入DELTA机器人的位置信息，并基于DELTA机器人上的GNSS模块获取定位信息，从而解析该DELTA机器人的位置信息，运动控制系统通过这两个信息间的匹配过程，可以精准实现DELTA机器人的协同操作，避免误操作发生。通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上对本发明实施例所提供的多机器人协同操作模式的方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多机器人协同操作模式的方法，其特征在于，其中：机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：
运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息；
运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息；
运动控制系统向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；
运动控制系统获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配；
在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作；
在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；
运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；
利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；
视觉系统根据预测及时跟踪目标对象下一个状态值。
2.如权利要求1所述的多机器人协同操作模式的方法，其特征在于，所述视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：
基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
3.如权利要求1所述的多机器人协同操作模式的方法，其特征在于，所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：
利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
4.如权利要求1所述的多机器人协同操作模式的方法，其特征在于，所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：
采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；
再基于卡尔曼滤波算法预测目标对象的运动状态。
5.如权利要求1至4任一项所述的多机器人协同操作模式的方法，其特征在于，所述视觉系统根据预测及时跟踪目标对象下一个状态值包括：
基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
6.一种多机器人协同操作模式的系统，其特征在于，包括：运动控制系统、视觉系统，所述运动控制系统与视觉系统相连，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，其中：
运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息，并解析所述远程控制指令中的至少两台DELTA机器人的位置信息，以及向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作，控制目标对象在至少两台DELTA机器人下进行协同操作；
视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；
至少两台DELTA机器人用于接收运动控制系统发送的指令，并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息，并受控于运动控制系统完成协同操作。
7.如权利要求6所述的多机器人协同操作模式的系统，其特征在于，所述视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
8.如权利要求6所述的多机器人协同操作模式的系统，其特征在于，所述视觉系统利用帧间差分法对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
9.如权利要求6所述的多机器人协同操作模式的系统，其特征在于，所述视觉系统采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；再基于卡尔曼滤波算法预测目标对象的运动状态。
10.如权利要求6至9任一项所述的多机器人协同操作模式的系统，其特征在于，所述视觉系统基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的目标对象的状态值。
CN201611255693.4A 2016-12-30 2016-12-30 一种多机器人协同操作模式的方法及系统 Active CN106527239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611255693.4A CN106527239B (zh) 2016-12-30 2016-12-30 一种多机器人协同操作模式的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611255693.4A CN106527239B (zh) 2016-12-30 2016-12-30 一种多机器人协同操作模式的方法及系统

Publications (2)

Publication Number Publication Date
CN106527239A CN106527239A (zh) 2017-03-22
CN106527239B true CN106527239B (zh) 2018-12-21

Family

ID=58335902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611255693.4A Active CN106527239B (zh) 2016-12-30 2016-12-30 一种多机器人协同操作模式的方法及系统

Country Status (1)

Country Link
CN (1) CN106527239B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109202958B (zh) * 2017-06-30 2022-03-08 沈阳新松机器人自动化股份有限公司 一种复合机器人视觉抓取平台
CN107363833B (zh) * 2017-07-17 2020-01-03 深圳市微付充科技有限公司 一种移动机器人及其控制方法和装置
CN108500979B (zh) * 2018-03-10 2020-10-27 彭惠平 一种基于相机通讯连接的机器人抓取方法及其系统
CN109672742B (zh) * 2018-12-25 2021-11-02 华南智能机器人创新研究院 一种基于不同压铸机系统间的智能化协同控制方法及系统
CN110007671A (zh) * 2019-03-12 2019-07-12 南方科技大学 一种机器人集群协同定位系统和方法
CN111573258B (zh) * 2020-05-20 2022-03-22 欧拓飞科技(珠海)有限公司 机械手上下料对位系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983263A (zh) * 2014-05-30 2014-08-13 东南大学 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN104589357A (zh) * 2014-12-01 2015-05-06 佛山市万世德机器人技术有限公司 基于视觉跟踪的delta机器人控制系统和方法
US20150202776A1 (en) * 2014-01-23 2015-07-23 Fanuc Corporation Data generation device for vision sensor and detection simulation system
CN104898575A (zh) * 2015-06-01 2015-09-09 中国人民解放军装甲兵工程学院 多机器人协同控制系统
CN104950887A (zh) * 2015-06-19 2015-09-30 重庆大学 基于机器人视觉系统和自主跟踪系统的运输装置
WO2016175158A1 (ja) * 2015-04-30 2016-11-03 ライフロボティクス株式会社 ロボットシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150202776A1 (en) * 2014-01-23 2015-07-23 Fanuc Corporation Data generation device for vision sensor and detection simulation system
CN103983263A (zh) * 2014-05-30 2014-08-13 东南大学 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN104589357A (zh) * 2014-12-01 2015-05-06 佛山市万世德机器人技术有限公司 基于视觉跟踪的delta机器人控制系统和方法
WO2016175158A1 (ja) * 2015-04-30 2016-11-03 ライフロボティクス株式会社 ロボットシステム
CN104898575A (zh) * 2015-06-01 2015-09-09 中国人民解放军装甲兵工程学院 多机器人协同控制系统
CN104950887A (zh) * 2015-06-19 2015-09-30 重庆大学 基于机器人视觉系统和自主跟踪系统的运输装置

Also Published As

Publication number Publication date
CN106527239A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106527239B (zh) 一种多机器人协同操作模式的方法及系统
DE102010045752B4 (de) Visuelles Wahrnehmungssystem und -verfahren für einen humanoiden Roboter
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
JP6587489B2 (ja) 画像処理装置、画像処理方法および画像処理システム
Ruan et al. Calibration of 3D sensors using a spherical target
CN104325268A (zh) 一种基于智能学习的工业机器人三维空间自主装配方法
CN105319991B (zh) 一种基于Kinect视觉信息的机器人环境识别与作业控制方法
Ringdahl et al. Evaluation of approach strategies for harvesting robots: Case study of sweet pepper harvesting: Category:(5)
CN101511550A (zh) 用于观测工业环境中的人员的方法
US9905016B2 (en) Robot identification system
CN106393144B (zh) 一种多机器人操作模式下视觉跟踪的方法及系统
KR101023951B1 (ko) 행동인식 시스템 및 방법
CN109309809A (zh) 跨区域目标轨迹跟踪的方法及数据处理方法、装置和系统
Tellaeche et al. Human robot interaction in industrial robotics. Examples from research centers to industry
CN110295728A (zh) 搬运系统及其控制方法、地砖铺贴系统
CN110532962A (zh) 轨迹的检测方法及装置、存储介质和电子装置
CN105014675A (zh) 一种狭窄空间智能移动机器人视觉导航系统及方法
Zhang et al. Slat-calib: Extrinsic calibration between a sparse 3d lidar and a limited-fov low-resolution thermal camera
CN106558070B (zh) 一种基于Delta机器人下的视觉跟踪的方法及系统
Moutinho et al. Deep learning-based human action recognition to leverage context awareness in collaborative assembly
CN112785564B (zh) 一种基于机械臂的行人检测跟踪系统与方法
CN111975776A (zh) 基于深度学习和卡尔曼滤波的机器人移动跟踪系统及方法
CN106736059A (zh) 一种基于机器视觉检测的智能焊接机器人系统
CN106791604B (zh) 机器视觉跟踪下目标对象编码的方法及系统
Araiza-lllan et al. Dynamic regions to enhance safety in human-robot interactions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant