CN108655026B - 一种机器人快速示教分拣系统和方法 - Google Patents

Abstract

本发明公开了一种机器人快速示教分拣系统和方法，涉及机器人及人机交互技术等领域。该分拣系统由一个在机器人外部的远景深度相机、一个安装在机器人末端的近景深度相机以及ROS系统组成；所述远景深度相机，用于实时跟踪示教者演示分拣过程以及检测物体；所述近景深度相机，用于扫描被抓取物点云以及计算位姿；所述ROS系统(Robot Operating System)用于融合前述深度相机信息以及实时控制机器人位姿。本发明通过跟踪示教者演示分拣动作，自动为机器人生成自适应分拣程序。本发明工程实用性强，可以广泛应用于工业生产领域。

Description

一种机器人快速示教分拣系统和方法

技术领域

本发明涉及机器人以及人机交互技术领域，尤其涉及一种机器人快速示教分拣系统和方法。

背景技术

随着多样化小批量生产的出现，人们提出了柔性制造。现阶段工业机器人为了实现柔性制造、智能制造，人机便捷交互和快速编程成为了人们关注的焦点。

传统的机器人组成的生产线是通过手动编程后运行的。一旦任务调整，就需要专业的工程师对程序进行重新调整，维护成本极高。随着技术的发展，出现了拖拽示教。通过拖拽机器人进行编程是一种相对友好的方式，这为不会编程的用户提供了方便的应用接口，但是他的局限性在于只能让机器人复现拖拽的轨迹，如果没有专用夹具限制被操作物体的位姿，机器人就不能正确的工作。

经对现有文献检索发现，中国专利授权号CN104842356B，名称为“一种基于分布式计算与机器视觉的多码垛机器人示教方法”，采用虚拟现实技术，通过采集用户的肢体动作就可以对机器人进行示教，使用户可以不用长时间的操作示教盒、键盘以及鼠标。这一专利改善了用户的使用体验，但是由于需要在虚拟环境中操作并将操作记录返回给示教盒，对用户而言，只是从操作示教盒变成了在虚拟环境操作。

又经检索发现，中国专利授权号CN206105869U，名称为“一种机器人快速示教装置”，采用语音和增强现实对机器人进行示教。摄像头以及穿戴式设备可以采集用户的动作信息，然后将数据传输给机器人进行控制。与上一个专利类似，用户可以不用枯燥的操作示教盒或者键盘，但是穿戴式设备本身对于用户来说也是比较麻烦的。

因此，本领域的技术人员致力于开发一种机器人快速示教分拣系统和方法，通过ROS系统集成视觉传感和演示编程技术，通过简单演示就可以快速配置一个分拣系统，并采用发明所示的方法完成机器人快速示教分拣。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有机器人示教系统和方法编程复杂、维护成本高、使用环境受限的现有技术问题，通过ROS系统集成视觉传感和演示编程技术，通过简单演示就可以快速配置一个分拣系统。

为实现上述目的，本发明提供了一种机器人快速示教分拣系统，包括机器人模块、机械抓手模块、机械臂模块、深度相机模块、标定板模块、标志物模块、计算机模块和安装在其上的ROS系统模块；

所述机械抓手模块至少包括一个机械抓手，所述机械抓手被配置为执行抓取任务，所述机械臂模块至少包括一个机械臂，其末端安装在所述机械抓手上；

所述深度相机模块至少一个远景相机和至少一个近景相机，所述深度相机模块被配置为跟踪演示、识别物体位姿、采集点云；

所述标定板模块被配置为标定深度相机和机器人坐标系；

所述标志物模块被配置为在演示中动态跟踪物体位姿；

所述机器人模块与计算机模块通过网线连接；

所述近景相机和所述机械抓手通过机械连接安装于所述机器人模块末端。

进一步地，所述远景相机安装在相机支架上，被配置为观测机器人整个运动空间以及分拣任务区域；所述远景相机为长距离相机，工作距离2m以上；所述近景相机安装在机器人末端，被配置为扫描点云模型以及抓取任务；所述近景相机扫到的点云的平面度误差应小于2mm。

进一步地，所述ROS系统模块包括远景及近景深度相机驱动节点、标定节点、模型扫描节点、演示跟踪节点、物体识别节点、位姿估计节点、信息流节点、UR驱动节点、抽象程序节点、Movegroup节点；所述ROS系统模块被配置在计算机上，并由一根网线连接至机器人控制柜。

进一步地，所述远景及近景深度相机驱动节点被配置为连接相机、采集图像和点云信息。

进一步地，所述标定节点被配置为标定机器人基坐标系和远景相机坐标系的位置，以及机器人末端坐标系与近景像极坐标系的位置。

进一步地，所述模型扫描节点被配置为自动扫描被抓取物体的点云模型；所述演示跟踪节点 被配置为在演示阶段追踪示教者演示分拣；所述物体识别节点被配置为在执行阶段识别所需抓取的物体；所述位姿估计节点被配置为在执行阶段定位所要抓取的物体。

进一步地，所述UR驱动节点被配置为通过网线连接机器人控制器，调用ROSservice经由TCP/IP协议实现机器人控制。

进一步地，所述抽象程序节点被配置为整合信息流节点的有限状态机以及参数服务器的数据形成物体运动路径。

进一步地，所述Movegroup节点被配置为实现抓取和运动规划，建立机器人任务。

进一步地，本发明提供了一种机器人快速示教分拣方法，包括以下步骤：

(1)标定两个相机与机器人关系；

(2)扫描分拣物体点云模型；

(3)给二维码绑定点云模型，进行演示；

(4)系统提示是否确认演示过程，如演示出错可重新演示；

(5)演示成功后，进入执行阶段；视觉系统监视任务执行区域，如果没有找到物体，持续检测；

(6)一旦检测到物体，视觉系统自动匹配物体类别，调用不同演示生成的程序；

(7)执行生成的程序，根据自适应抓取程序和运动规划程序进行分拣动作；

(8)如果没有收到停止或者重新演示的命令，系统将持续步骤5到步骤7。

本发明成本低廉，用户无需穿戴额外设备、也不要专业的编程知识即可实现快速配置。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的系统框图；

图2是本发明的一个较佳实施例的布局示意图；

图3是本发明的一个较佳实施例的运行流程图；

图4是本发明的一个较佳实施例的标定过程中使用的标定板；

图5是本发明的一个较佳实施例的演示过程中使用的二维码。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明所述一种机器人快速示教分拣系统，包括UR5机器人至少一台、至少两个深度相机(远景相机为一个ASUS Xtion PRO相机，近景相机为一个 RealsenseSR300相机)、一个标志物(包括但不限于二维码，如图5所示)、一个标定板(如图4所示为棋盘格)以及ROS系统。所述UR5机器人至少包括一个机械手和一个机械臂，所述机械手用于执行抓取任务，所述机械臂末端安装所述机械手。所述深度相机用于跟踪演示、识别物体位姿、采集点云。所述标定板用于标定深度相机和机器人坐标系。所述标志物用于在演示中动态跟踪物体位姿。系统包含一台计算机，需安装ROS系统。机器人控制柜与计算机通过网线连接。

所述远景深度相机应选择长距离相机，工作距离至少2m以上。所述近景深度相机应确保点云质量，平面度误差小于2mm。远景深度相机安装在相机支架上，要求观测到机器人整个运动空间以及分拣任务区域；近景深度相机安装在机器人末端，用以精准6D位姿估计。

所述ROS系统为Robot Operating System,是一个开源机器人框架，最初由斯坦福大学开发，2007年以后由Willow Garage公司完善并推广。本发明采用的是ROS indigo 版本。所述机械抓手为Onrobot公司的RG2。

所述ROS系统应包含远景以及近景深度相机驱动节点、标定节点、模型扫描节点、演示跟踪节点、物体识别节点、位姿估计节点、信息流节点、UR驱动节点、抽象程序节点以及Movegroup节点。所述ROS系统的版本为Indigo或Kinetic。所述ROS系统，硬件上须由一根网线连接计算机和机器人控制柜。

所述深度相机驱动节点，用于连接相机、采集图像和点云信息。所述标定节点，用以标定机器人基坐标系和远景相机坐标系的位置以及机器人末端坐标系与近景像极坐标系的位置。所述模型扫描节点，用于自动扫描被抓取物体的点云模型。所述演示跟踪节点，用于在演示阶段追踪示教者演示分拣。所述物体识别节点，用于在执行阶段识别所需抓取的物体。所述位姿估计节点，用于在执行阶段定位所要抓取的物体。所述信息流节点，用于将采集到的演示信息表述成基于符号的有限状态机。所述UR 驱动节点，通过网线连接机器人控制器，调用ROS service经由TCP/IP协议实现机器人控制。UR机器人的软件驱动，用于建立ROS系统与UR机器人的通信，调用UR 驱动节点的ROS service可以直接控制UR机器人IO、关节速度等。所述抽象程序节点，用于整合信息流节点的有限状态机以及参数服务器的数据形成物体运动路径。所述Movegroup节点用于实现抓取和运动规划，建立机器人任务，如抓取、搬运等。

如图2所示，为本发明的布局示意图。机器人4与计算机6通过网线5连接，两者距离不作要求，但计算机位置不能遮挡远景相机2的视野。远景相机需要观测到机器人、示教者演示区域以及任务执行区域。相机安装高度取决于现场情况，应尽量不低于机器人基座。近景相机7和机械抓手8通过机械连接安装于机器人末端，用以执行抓取任务。

图3为本发明的运行流程图。按图2布局完成后，开始执行以下步骤：

1)标定两个相机与机器人关系。

2)扫描分拣物体点云模型。

3)给二维码绑定点云模型，进行演示。用户从传送带或者桌面移动贴了如图5所示的二维码的物体放到某一目标位置或者盒子中。多类物体放置到不同目标位置需要使用多个二维码分别演示各执行过程。若只使用一个二维码进行多类物体分类，每次演示结束，需将另一个点云模型绑定到该二维码，然后演示执行过程。

4)系统提示是否确认演示过程，如果认为演示出错可重新演示。

5)演示成功后，进入执行阶段。视觉系统监视任务执行区域，如果没有找到物体，持续检测。

6)一旦检测到物体，视觉系统自动匹配物体类别，调用不同演示生成的程序。

7)执行生成的程序，根据自适应抓取程序和运动规划程序进行分拣动作。

8)如果没有收到停止或者重新演示的命令，系统将持续步骤5到步骤7。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种机器人快速示教分拣系统，其特征在于，包括机器人模块、机械抓手模块、机械臂模块、深度相机模块、标定板模块、标志物模块、计算机模块和安装在其上的ROS系统模块；

所述机械抓手模块至少包括一个机械抓手，所述机械抓手被配置为执行抓取任务，所述机械臂模块至少包括一个机械臂，其末端安装在所述机械抓手上；

所述深度相机模块至少一个远景相机和至少一个近景相机，所述深度相机模块被配置为跟踪演示、识别物体位姿、采集点云；

所述标定板模块被配置为标定深度相机和机器人坐标系；

所述标志物模块被配置为在演示中动态跟踪物体位姿；

所述机器人模块与计算机模块通过网线连接；

所述近景相机和所述机械抓手通过机械连接安装于所述机器人模块末端；

所述远景相机安装在相机支架上，被配置为观测机器人整个运动空间以及分拣任务区域；所述远景相机为长距离相机，工作距离2m以上；所述近景相机安装在机器人末端，被配置为扫描点云模型以及抓取任务；所述近景相机扫到的点云的平面度误差应小于2mm；

所述ROS系统模块包括远景及近景深度相机驱动节点、标定节点、模型扫描节点、演示跟踪节点、物体识别节点、位姿估计节点、信息流节点、UR驱动节点、抽象程序节点、Movegroup节点。

2.如权利要求1所述的机器人快速示教分拣系统，其特征在于，所述ROS系统模块被配置在计算机上，并由一根网线连接至机器人控制柜。

3.如权利要求1所述的机器人快速示教分拣系统，其特征在于，所述远景及近景深度相机驱动节点被配置为连接相机、采集图像和点云信息。

4.如权利要求1所述的机器人快速示教分拣系统，其特征在于，所述标定节点被配置为标定机器人基坐标系和远景相机坐标系的位置，以及机器人末端坐标系与近景相机坐标系的位置。

5.如权利要求1所述的机器人快速示教分拣系统，其特征在于，所述模型扫描节点被配置为自动扫描被抓取物体的点云模型；所述演示跟踪节点 被配置为在演示阶段追踪示教者演示分拣；所述物体识别节点被配置为在执行阶段识别所需抓取的物体；所述位姿估计节点被配置为在执行阶段定位所要抓取的物体。

6.如权利要求1所述的机器人快速示教分拣系统，其特征在于，所述UR驱动节点被配置为通过网线连接机器人控制器，调用ROS service经由TCP/IP协议实现机器人控制。

7.如权利要求1所述的机器人快速示教分拣系统，其特征在于，所述抽象程序节点被配置为整合信息流节点的有限状态机以及参数服务器的数据形成物体运动路径。

8.如权利要求1所述的机器人快速示教分拣系统，其特征在于，所述Movegroup节点被配置为实现抓取和运动规划，建立机器人任务。

9.一种基于权利要求1-8任意一项所述机器人快速示教分拣系统的机器人快速示教分拣方法，其特征在于，包括以下步骤：

(1)标定两个相机与机器人关系；

(2)扫描分拣物体点云模型；

(3)给二维码绑定点云模型，进行演示；

(4)系统提示是否确认演示过程，如演示出错可重新演示；

(5)演示成功后，进入执行阶段；视觉系统监视任务执行区域，如果没有找到物体，持续检测；

(6)一旦检测到物体，视觉系统自动匹配物体类别，调用不同演示生成的程序；

(7)执行生成的程序，根据自适应抓取程序和运动规划程序进行分拣动作；

(8)如果没有收到停止或者重新演示的命令，系统将持续步骤5到步骤7。

Images