CN111687885A - 一种用于无序零件装配的智能双臂机器人系统及视觉引导方法 - Google Patents

Abstract

本发明公开了一种用于无序零件装配的智能双臂机器人系统及视觉引导方法，该系统采用3D视觉结构光装置对无序摆放的零件进行识别定位，并智能引导双臂机器人进行抓取和装配。3D视觉结构光装置通过可编程式DLP模块向零件投影相移条纹，并通过光耦转换模块触发双目工业相机同步采集图像，从而获取零件的高精度二维和三维数据；计算机根据零件的三维数据及CAD模型，可以计算出零件的六自由度位姿；视觉引导方法是通过手眼标定得出3D视觉结构光装置与双臂机器人的空间变换模型，并推导出装配过程中零件在任意位置下时双臂机器人的抓取姿态。本发明系统智能化和柔性化程度高，零件定位和装配精度高、速度快，灵活性强，可用于超精密装配等工业应用场景。

Description

一种用于无序零件装配的智能双臂机器人系统及视觉引导 方法

技术领域

本发明属于光学、机械、机器人、计算机视觉等多学科交叉的前沿研究领域，具体涉及一种用于无序零件装配的智能双臂机器人系统及视觉引导方法。

背景技术

随着我国经济和科技水平不断提高，在机械、汽车、工业、航空航天等领域，以工业机器人为主导的全自动化生产装配模式已经逐渐接替了传统以人工为主导的手工装配生产模式，大大提高了产品的生产效率，同时也减少了劳动成本。智能制造时代的到来对生产效率提出了更高的需求，要求生产线具备更好的柔性与智能化。

目前自动化装配线中的机器人大多采用示教编程或离线编程的方法，使机器人做点到点的运动，而实现较为复杂的运动轨迹是比较困难的，而且这类方法对待抓取的物体的摆放位置有一定的要求，例如，待抓取物体形状或工作环境改变时，就需要对程序进行重新编写，自动化程度并不高，无法达不到流水线的柔性化、智能化生产。部分行业将机器人与机器视觉技术结合起来，利用视觉引导机器人用于零部件的自动化组装、拆卸和搬运等过程中，而目前已有的一些基于视觉引导的智能机器人系统，例如ABB公司的双臂协作机器人Yumi，其视觉系统多为二维图像传感器，难以对复杂的三维场景进行感知，在智能制造的应用场景中仍需要人工进行操作。另外有些学者将深度相机，例如Kinect和Realsense等，应用到机器人3D视觉引导当中，但其捕获的三维数据通常只有5-10mm级精度，对于一些小型目标装配、装配精度要求高的场合无法满足要求。因此当前工业级应用中缺少一种能够对无序零件的六自由度姿态进行高精度视觉定位并引导装配的智能双臂机器人系统。

发明内容

本发明的目的在于提供一种用于无序零件装配的智能双臂机器人系统及视觉引导方法。

为达到上述目的，本发明采用如下技术方案来实现的：

一种用于无序零件装配的智能双臂机器人系统，包括3D视觉结构光装置、左臂机器人、左臂夹爪、右臂机器人、右臂夹爪、机器人支架、计算机、左臂机器人控制器、右臂机器人控制器、左臂夹爪通信盒、右臂夹爪通信盒以及千兆网交换机；其中，左臂机器人与右臂机器人分别安装在机器人支架的两侧；左臂机器人控制器和右臂机器人控制器分别通过控制线缆与左臂机器人、右臂机器人连接；左臂夹爪和右臂夹爪分别安装在左臂机器人、右臂机器人的末端；左臂夹爪通信盒和右臂夹爪通信盒分别通过航插线与左臂夹爪、右臂夹爪连接，并且分别通过USB转串口线连接在计算机的USB接口上；左臂机器人控制器、右臂机器人控制器以及计算机分别通过网线连接在千兆网交换机的以太网接口上；

3D视觉结构光装置安装在机器人支架的顶部，用于对无序摆放的零件进行识别定位，并智能引导左臂机器人及右臂机器人进行抓取和装配。

本发明进一步的改进在于，所述3D视觉结构光装置包括光耦转换模块、底板、左目CMOS相机、左目镜头、编程式DLP投影模块、投影镜头、右目CMOS相机以及和右目镜头，用于获取零件A和零件B的二维和三维数据；其中，

左目CMOS相机与右目CMOS相机非平行放置，且分别通过USB线与计算机连接；可编程式DLP投影模块通过USB线与计算机连接；光耦转换模块的输入端与可编程式DLP投影模块的外触发接口连接，输出端分别与左目CMOS相机和右目CMOS相机的外触发接口连接；

可编程式DLP投影模块通过投影镜头向零件A和零件B投影条纹结构光图案，左目CMOS相机和右目CMOS相机分别通过左目镜头、右目镜头采集零件A(13)和零件B(14)的图像；计算机(21)处理图像后得到零件A和零件B的三维数据。

一种用于无序零件装配的智能双臂机器人系统的视觉引导方法，包括建立3D视觉结构光装置分别与左臂机器人及右臂机器人的空间变换模型，其计算过程如下：

以左目CMOS相机镜头中心为原点建立左目相机坐标系O_cX_cY_cZ_c，以左臂机器人的机座中心为原点建立左臂机器人坐标系O_LX_LY_LZ_L，以右臂机器人的机座中心为原点建立左臂机器人坐标系O_RX_RY_RZ_R，3D视觉结构光装置的坐标系O_sX_sY_sZ_s与左目相机坐标系O_cX_cY_cZ_c存在旋转关系

3D视觉结构光装置坐标系分别到左臂机器人坐标系和右臂机器人坐标系的变换关系为

其中T_Rl、T_{robotL_cam}、T_{robotR_cam}通过标定得到。

本发明进一步的改进在于，视觉引导方法包括手眼标定过程和装配过程两部分，且只有在系统首次启动或者系统安装位置发生改变的情况下需要进行手眼标定过程，其中，

手眼标定过程如下：

1)启动左臂机器人控制器、右臂机器人控制器、左臂夹爪通信盒以及右臂夹爪通信盒；分别设置计算机、左臂机器人控制器、右臂机器人控制器的静态IP地址，使其全部处于同一局域网网段，并将计算机设置为客户端模式，将左臂机器人控制器设置为服务器模式；

2)将标定板固定在左臂夹爪上；重复移动左臂机器人，计算机控制左目CMOS相机采集并保存不同位置下的标定板图像，同时保存每一个位置下左臂机器人的位姿数据；计算机利用标定板图像以及位姿数据进行标定，得到左目相机坐标系O_cX_cY_cZ_c与左臂机器人坐标系O_LX_LY_LZ_L的位置变换关系T_{robotL_cam}；手动移动左臂机器人系统抓取零件A，记录此时左臂机器人的位姿数据作为其初始抓取位姿T_{robotL_0}；

3)将右臂机器人控制器设置为服务器模式；将标定板固定在夹爪上；重复移动右臂机器人及步骤2)，得到左目相机坐标系O_cX_cY_cZ_c与右臂机器人坐标系O_RX_RY_RZ_R的位置变换关系T_{robotR_cam}以及右臂机器人对于零件B的初始抓取位姿T_{robotR_0}；

4)计算机控制3D视觉结构光装置获取零件A和零件B的三维数据；计算机根据零件A和零件B的三维数据及CAD模型，分别计算出并记录零件A和零件B当前摆放的初始姿态数据T_{obj1_0}和T_{obj2_0}；

5)手动对左臂机器人和右臂机器人进行示教编程，使得零件A和零件B正确装配；

装配过程：

1)启动左臂机器人控制器、右臂机器人控制器、左臂夹爪通信盒以及右臂夹爪通信盒；分别设置计算机、左臂机器人控制器、右臂机器人控制器的静态IP地址，使其全部处于同一局域网网段，并将计算机设置为服务器模式，将左臂机器人控制器和右臂机器人控制器设置为客户端模式；左臂机器人控制器和右臂机器人控制器分别运行示教程序；

2)计算机控制3D视觉结构光装置采集并保存零件A和零件B当前的三维数据，并根据当前零件A和零件B的三维数据及CAD模型，分别计算出当前零件A和零件B的摆放姿态T_{obj1_i}和T_{obj2_i}；

3)计算机根据零件A和零件B摆放的姿态T_{obj1_i}和T_{obj2_i}，初始机器人姿态T_{robotL_0}和T_{robotR_0}，左目相机坐标系O_cX_cY_cZ_c与左臂机器人坐标系O_LX_LY_LZ_L和右臂机器人坐标系O_RX_RY_RZ_R的位置变换关系T_{robotL_cam}和T_{robotR_cam}，零件A和零件B的初始姿态T_{obj1_0}和T_{obj2_0}计算出左臂机器人的当前抓取姿态T_{robotL_i}和右臂机器人的当前抓取姿态T_{robotR_i}

并将姿态数据T_{robotL_i}和T_{robotR_i}通过局域网分别发送至左臂机器人控制器和右臂机器人控制器；

4)左臂机器人控制器和右臂机器人控制器根据收到的姿态数据T_{robotL_i}和T_{robotR_i}规划抓取路径，并按照示教轨迹分别控制左臂机器人和右臂机器人进行装配。

相对于现有技术，本发明至少具有如下有益的技术效果：

本发明提供的一种用于无序零件装配的智能双臂机器人系统采用3D视觉结构光装置对无序摆放的零件进行识别定位，并智能引导双臂机器人进行抓取和装配。本发明所述系统与现有系统相比较，智能化和柔性化程度更高，零件定位和装配精度高、速度快，灵活性强，可用于对微小物体装配、超精密装配等工业应用场景。

进一步，3D视觉结构光装置采用可编程式DLP投影模块投影相移条纹结构光，左目CMOS相机和右目CMOS相机分别通过左目镜头、右目镜头采集零件表面的相移条纹结构光图像，可以获取目标零件高精度、高分辨率的二维和三维数据。

进一步，3D视觉结构光装置采用光耦转换模块实现可编程式DLP投影模块投影，同时左目CMOS相机和右目CMOS相机进行采集的微秒级同步。

进一步，计算机根据零件的三维数据以及CAD模型，可以计算出零件的六自由度位姿数据，数据精度可达微米级。

进一步，本发明通过建立3D视觉结构光装置坐标系分别到左臂机器人坐标系和右臂机器人坐标系的变换关系

推导出零件在任意摆放姿态下，左臂机器人当前抓取姿态T_{robotL_i}和右臂机器人当前抓取姿态T_{robotR_i}的表达式

附图说明

图1为智能双臂机器人系统示意图。

附图标记说明：

1-光耦转换模块，2-底板，3-左目CMOS相机，4-左目镜头，5-可编程式DLP投影模块，6-投影镜头，7-右目CMOS相机，8-右目镜头，9-左臂机器人，10-左臂夹爪，11-机器人支架，12-右臂机器人，13-零件A，14-零件B，15-右臂夹爪，16-右臂机器人控制器，17-右臂夹爪通信盒，18-千兆网交换机，19-左臂机器人控制器，20-左臂夹爪通信盒，21-计算机。

图2为本发明系统各部件坐标系示意图。

具体实施方式

以下结合附图对本发明具体实施方式作进一步的详细说明。

如图1所示，本发明提供的一种用于无序零件装配的智能双臂机器人系统，包括3D视觉结构光装置、左臂机器人9及左臂夹爪10、右臂机器人12及右臂夹爪15、机器人支架11、计算机21、左臂机器人控制器19、右臂机器人控制器16、左臂夹爪通信盒20、右臂夹爪通信盒17以及千兆网交换机18；其中，3D视觉结构光装置包括光耦转换模块1、底板2、左目CMOS相机3和左目镜头4、可编程式DLP投影模块5和投影镜头6、右目CMOS相机7和右目镜头8。

左臂机器人9与右臂机器人12分别安装在机器人支架11的两侧；左臂机器人控制器19和右臂机器人控制器16分别通过控制线缆与左臂机器人9、右臂机器人12连接；左臂夹爪10和右臂夹爪15分别安装在左臂机器人9、右臂机器人12的末端；左臂夹爪通信盒20和右臂夹爪通信盒17分别通过航插线与左臂夹爪10、右臂夹爪15连接，并通过USB转串口线连接在计算机21的USB接口上；左臂机器人控制器19、右臂机器人控制器16以及计算机21分别通过网线连接在千兆网交换机18的以太网接口上。

如图2所示，本发明提供的一种用于无序零件装配的智能双臂机器人系统的视觉引导方法，包括：

建立3D视觉结构光装置分别与左臂机器人及右臂机器人的空间变换模型，以左目CMOS相机镜头中心为原点建立左目相机坐标系O_cX_cY_cZ_c，以左臂机器人的机座中心为原点建立左臂机器人坐标系O_LX_LY_LZ_L，以右臂机器人的机座中心为原点建立左臂机器人坐标系O_RX_RY_RZ_R，3D视觉结构光装置的坐标系O_sX_sY_sZ_s与左目相机坐标系O_cX_cY_cZ_c存在旋转关系

3D视觉结构光装置坐标系分别到左臂机器人坐标系和右臂机器人坐标系的变换关系为

工作时分手眼标定过程和装配过程两个阶段，且只有在系统首次启动或者系统安装位置发生改变的情况下需要进行手眼标定过程，其中，

手眼标定过程如下：

(1)启动左臂机器人控制器19、右臂机器人控制器16、左臂夹爪通信盒20以及右臂夹爪通信盒17；分别设置计算机21中、左臂机器人控制器19、右臂机器人控制器16的静态IP地址，使其全部处于同一局域网网段，并将计算机21设置为客户端模式；

(2)将左臂机器人控制器19设置为服务器模式，将标定板固定在左臂夹爪10上；重复移动左臂机器人9，计算机21控制左目CMOS相机3采集并保存不同位置下的标定板图像，同时保存每一个位置下左臂机器人9的位姿数据；计算机21利用标定板图像以及位姿数据进行标定，得到左目相机坐标系O_cX_cY_cZ_c与左臂机器人坐标系O_LX_LY_LZ_L的位置变换关系T_{robotL_cam}；手动移动左臂机器人9和夹爪10抓取零件，记录此时左臂机器人9的位姿数据作为其初始抓取位姿T_{robotL_0}；

(3)将右臂机器人控制器16设置为服务器模式；将标定板固定在夹爪15上；重复移动右臂机器人12及步骤(2)，得到左目相机坐标系O_cX_cY_cZ_c与右臂机器人坐标系O_RX_RY_RZ_R的位置变换关系T_{robotR_cam}以及右臂机器人12对于零件B14的初始抓取位姿T_{robotR_0}；

(4)计算机21控制3D视觉结构光装置获取零件A13和零件B14的三维数据；计算机21根据零件A13和零件B14的三维数据及CAD模型，分别计算出并记录零件A13和零件B14当前摆放的初始姿态数据T_{obj1_0}和T_{obj2_0}；

(5)手动对左臂机器人9和右臂机器人12进行示教编程，使得零件A13和零件B14正确装配；

装配过程：

(1)启动左臂机器人控制器19、右臂机器人控制器16、左臂夹爪通信盒20以及右臂夹爪通信盒17；分别设置计算机21、左臂机器人控制器19、右臂机器人控制器16的静态IP地址，使其全部处于同一局域网网段，并将计算机21设置为服务器模式，将左臂机器人控制器19和右臂机器人控制器16设置为客户端模式；左臂机器人控制器19和右臂机器人控制器16分别运行示教程序；

(2)计算机21控制3D视觉结构光装置采集并保存零件A13和零件B14当前的三维数据，并根据当前零件A13和零件B14的三维数据及CAD模型，分别计算出当前零件A13和零件B14的摆放姿态T_{obj1_i}和T_{obj2_i}；

(3)计算机21根据零件A13和零件B14摆放的姿态T_{obj1_i}和T_{obj2_i}，初始机器人姿态T_{robotL_0}和T_{robotR_0}，左目相机坐标系O_cX_cY_cZ_c与左臂机器人坐标系O_LX_LY_LZ_L和右臂机器人坐标系O_RX_RY_RZ_R的位置变换关系T_{robotL_cam}和T_{robotR_cam}，零件A13和零件B14的初始姿态T_{obj1_0}和T_{obj2_0}计算出左臂机器人9的当前抓取姿态T_{robotL_i}和右臂机器人12的当前抓取姿态T_{robotR_i}

并将姿态数据T_{robotL_i}和T_{robotR_i}通过局域网分别发送至左臂机器人控制器19和右臂机器人控制器16；

(4)左臂机器人控制器19和右臂机器人控制器16根据收到的姿态数据T_{robotL_i}和T_{robotR_i}规划抓取路径，并按照示教轨迹分别控制左臂机器人9和右臂机器人12进行装配。

Claims (4)

1.一种用于无序零件装配的智能双臂机器人系统，其特征在于，包括3D视觉结构光装置、左臂机器人(9)、左臂夹爪(10)、右臂机器人(12)、右臂夹爪(15)、机器人支架(11)、计算机(21)、左臂机器人控制器(19)、右臂机器人控制器(16)、左臂夹爪通信盒(20)、右臂夹爪通信盒(17)以及千兆网交换机(18)；其中，

左臂机器人(9)与右臂机器人(12)分别安装在机器人支架(11)的两侧；左臂机器人控制器(19)和右臂机器人控制器(16)分别通过控制线缆与左臂机器人(9)、右臂机器人(12)连接；左臂夹爪(10)和右臂夹爪(15)分别安装在左臂机器人(9)、右臂机器人(12)的末端；左臂夹爪通信盒(20)和右臂夹爪通信盒(17)分别通过航插线与左臂夹爪(10)、右臂夹爪(15)连接，并且分别通过USB转串口线连接在计算机(21)的USB接口上；左臂机器人控制器(19)、右臂机器人控制器(16)以及计算机(21)分别通过网线连接在千兆网交换机(18)的以太网接口上；

3D视觉结构光装置安装在机器人支架(11)的顶部，用于对无序摆放的零件进行识别定位，并智能引导左臂机器人(9)及右臂机器人(12)进行抓取和装配。

2.根据权利要求1所述的一种用于无序零件装配的智能双臂机器人系统，其特征在于，所述3D视觉结构光装置包括光耦转换模块(1)、底板(2)、左目CMOS相机(3)、左目镜头(4)、编程式DLP投影模块(5)、投影镜头(6)、右目CMOS相机(7)以及和右目镜头(8)，用于获取零件A(13)和零件B(14)的二维和三维数据；其中，

左目CMOS相机(3)与右目CMOS相机(7)非平行放置，且分别通过USB线与计算机(21)连接；可编程式DLP投影模块(5)通过USB线与计算机(21)连接；光耦转换模块(1)的输入端与可编程式DLP投影模块(5)的外触发接口连接，输出端分别与左目CMOS相机(3)和右目CMOS相机(4)的外触发接口连接；

可编程式DLP投影模块(5)通过投影镜头(6)向零件A(13)和零件B(14)投影条纹结构光图案，左目CMOS相机(3)和右目CMOS相机(7)分别通过左目镜头(4)、右目镜头(8)采集零件A(13)和零件B(14)的图像；计算机(21)处理图像后得到零件A(13)和零件B(14)的三维数据。

3.根据权利要求1或2所述的一种用于无序零件装配的智能双臂机器人系统的视觉引导方法，其特征在于，包括建立3D视觉结构光装置分别与左臂机器人及右臂机器人的空间变换模型，其计算过程如下：

以左目CMOS相机镜头中心为原点建立左目相机坐标系O_cX_cY_cZ_c，以左臂机器人的机座中心为原点建立左臂机器人坐标系O_LX_LY_LZ_L，以右臂机器人的机座中心为原点建立左臂机器人坐标系O_RX_RY_RZ_R，3D视觉结构光装置的坐标系O_sX_sY_sZ_s与左目相机坐标系O_cX_cY_cZ_c存在旋转关系

3D视觉结构光装置坐标系分别到左臂机器人坐标系和右臂机器人坐标系的变换关系为

其中T_Rl、T_{robotL_cam}、T_{robotR_cam}通过标定得到。

4.根据权利要求3所述的一种用于无序零件装配的智能双臂机器人系统的视觉引导方法，其特征在于，视觉引导方法包括手眼标定过程和装配过程两部分，且只有在系统首次启动或者系统安装位置发生改变的情况下需要进行手眼标定过程，其中，

手眼标定过程如下：

1)启动左臂机器人控制器(19)、右臂机器人控制器(16)、左臂夹爪通信盒(20)以及右臂夹爪通信盒(17)；分别设置计算机(21)、左臂机器人控制器(19)、右臂机器人控制器(16)的静态IP地址，使其全部处于同一局域网网段，并将计算机(21)设置为客户端模式，将左臂机器人控制器(19)设置为服务器模式；

2)将标定板固定在左臂夹爪(10)上；重复移动左臂机器人(9)，计算机(21)控制左目CMOS相机(3)采集并保存不同位置下的标定板图像，同时保存每一个位置下左臂机器人(9)的位姿数据；计算机(21)利用标定板图像以及位姿数据进行标定，得到左目相机坐标系O_cX_cY_cZ_c与左臂机器人坐标系O_LX_LY_LZ_L的位置变换关系T_{robotL_cam}；手动移动左臂机器人系统抓取零件A(13)，记录此时左臂机器人的位姿数据作为其初始抓取位姿T_{robotL_0}；

3)将右臂机器人控制器(16)设置为服务器模式；将标定板固定在夹爪(15)上；重复移动右臂机器人(12)及步骤2)，得到左目相机坐标系O_cX_cY_cZ_c与右臂机器人坐标系O_RX_RY_RZ_R的位置变换关系T_{robotR_cam}以及右臂机器人(12)对于零件B(14)的初始抓取位姿T_{robotR_0}；

4)计算机(21)控制3D视觉结构光装置获取零件A(13)和零件B(14)的三维数据；计算机(21)根据零件A(13)和零件B(14)的三维数据及CAD模型，分别计算出并记录零件A(13)和零件B(14)当前摆放的初始姿态数据T_{obj1_0}和T_{obj2_0}；

5)手动对左臂机器人(9)和右臂机器人(12)进行示教编程，使得零件A(13)和零件B(14)正确装配；

装配过程：

1)启动左臂机器人控制器(19)、右臂机器人控制器(16)、左臂夹爪通信盒(20)以及右臂夹爪通信盒(17)；分别设置计算机(21)、左臂机器人控制器(19)、右臂机器人控制器(16)的静态IP地址，使其全部处于同一局域网网段，并将计算机(21)设置为服务器模式，将左臂机器人控制器(19)和右臂机器人控制器(16)设置为客户端模式；左臂机器人控制器(19)和右臂机器人控制器(16)分别运行示教程序；

2)计算机(21)控制3D视觉结构光装置采集并保存零件A(13)和零件B(14)当前的三维数据，并根据当前零件A(13)和零件B(14)的三维数据及CAD模型，分别计算出当前零件A(13)和零件B(14)的摆放姿态T_{obj1_i}和T_{obj2_i}；

3)计算机(21)根据零件A(13)和零件B(14)摆放的姿态T_{obj1_i}和T_{obj2_i}，初始机器人姿态T_{robotL_0}和T_{robotR_0}，左目相机坐标系O_cX_cY_cZ_c与左臂机器人坐标系O_LX_LY_LZ_L和右臂机器人坐标系O_RX_RY_RZ_R的位置变换关系T_{robotL_cam}和T_{robotR_cam}，零件A(13)和零件B(14)的初始姿态T_{obj1_0}和T_{obj2_0}计算出左臂机器人(9)的当前抓取姿态T_{robotL_i}和右臂机器人(12)的当前抓取姿态T_{robotR_i}

并将姿态数据T_{robotL_i}和T_{robotR_i}通过局域网分别发送至左臂机器人控制器(19)和右臂机器人控制器(16)；

4)左臂机器人控制器(19)和右臂机器人控制器(16)根据收到的姿态数据T_{robotL_i}和T_{robotR_i}规划抓取路径，并按照示教轨迹分别控制左臂机器人(9)和右臂机器人(12)进行装配。

Images