CN110695996A - 一种工业机器人自动手眼标定方法 - Google Patents

Abstract

本发明公开了一种工业机器人自动手眼标定方法，包括：将标定板放置在目标工作区域内，并调整相机，使之位于标定板的正上方处；根据相机与末端工具坐标系之间的设计进行粗略标定，获取相机与末端工具坐标系之间的位姿关系；以标定板坐标系原点为球心，按照球体坐标系参数进行相机位姿规划并将其转化为笛卡尔坐标系下的位姿；通过使用粗略的相机与末端工具坐标系之间的位姿关系将转化后标定板坐标系下的相机位姿转换为对应的机器人位姿；通过相机获取当前位姿并记录，判断当前位姿是否为最后的标定位姿，本发明节省大量的手眼标定工作量和时间，减小了手眼标定对技术人员的专业水平要求，提高了工业机器人的手眼标定稳定性。

Description

一种工业机器人自动手眼标定方法

技术领域

本发明涉及一种工业机器人，特别涉及一种工业机器人自动手眼标定方法。

背景技术

随着视觉系统在工业机器人领域应用越来越深入，实时对工件进行三维定位在一些工业应用场合变得越来越重要，比如大型设备组装、自动物流存储等场合[1,2]。工厂中大量的现场操作人员并没有相关的视觉系统知识，而机器人视觉的手眼标定作为实现视觉引导机器人操作的基础[3,4]，一次正常的机器人手眼标定一般需要30组以上的标定图片和机器人位姿数据，往往需要花费大量的时间来完成。机器人视觉系统随着机器人的成千上万次高速抓取运动，螺丝的松动，镜头的间隙甚至抓取过程中的撞击都会使机器人与视觉系统之间产生一些误差，需要再次对机器人和视觉系统进行手眼标定，以消除各种误差。

[1]张铁.面向机器人砂带打磨的加权手眼标定算法[J].机械工程学报,2018,28(12):42-46；

[2]Deniz C,Cakir M.A solution to the hand-eye calibration in themanner of the absolute orientation problem[J].Industrial Robot,2017,45(1):64-77；

[3]程玉立.面向工业应用的机器人手眼标定与物体定位[D].浙江大学,2016；

[4]李巍,吕乃光,董明利,等.基于对偶四元数的机器人方位与手眼关系同时标定方法[J].机器人,2018,40(03):47-54。

发明内容

本发明的目的是提供一种工业机器人自动手眼标定方法，使机器人的手眼标定时间由3-5小时，缩短为10分钟以内，且仅需要一次初始化，之后采集标定过程完全自动化实现。

本发明的目的是这样实现的：一种工业机器人自动手眼标定方法，包括手动初始化和自动手眼标定两个阶段：

手动初始化阶段：

步骤S1：将标定板放置在目标工作区域内，并调整相机，使之位于标定板的正上方处；

步骤S2：根据相机与末端工具坐标系之间的设计与安装尺寸或者采样3-5幅标定图片和对应的机器人位姿进行粗略标定，获取相机与末端工具坐标系之间的位姿关系：^T0H_C0；

自动手眼标定阶段：

步骤S3：以标定板坐标系原点为球心，按照球体坐标系参数进行相机位姿规划并将其转化为笛卡尔坐标系下的位姿；

步骤S4：通过使用粗略的相机与末端工具坐标系之间的位姿关系^T0H_C0将转化后标定板坐标系下的相机位姿转换为对应的机器人位姿；

步骤S5：通过相机获取当前位姿并记录，判断当前位姿是否为最后的标定位姿，如果最后的位姿，则对所有已采集图片和位姿进行手眼标定，否则继续采集图片和位姿。

作为本发明的进一步限定，步骤S3具体为：

以标定板坐标系为世界坐标系{W}，相机坐标系为{C}，手眼标定的位姿规划在世界坐标系{W}下进行，且以世界坐标系原点为球心的球形坐标系下规划；规划的相机位姿分为：平移、深度和旋转三类，具体规划如下：

相机视野：W×H，标定板有效区域尺寸：L×L；

相机的平移范围：(W-L)×(H-L)，规划位姿相对于初始中心位姿的坐标为：

(-(W-L)/2,(H-L)/2),(0,(H-L)/2),((W-L)/2,(H-L)/2),(-(W-L)/2,-(H-L)/2),(0,-(H-L)/2),((W-L)/2,-(H-L)/2)；

深度平移范围：(0,0,h-d/2),(0,0,h-d/4),(0,0,h),(0,0,h+d/4),(0,0,h+d/2)。其中，h为相机的标准工作距离，d为人为设定深度方向的最大位移；

旋转位姿规划：以经纬度λ为参数，规划3×3组位姿，球面经纬度分别为(80°，0°)，(80°，120°)，(80°，240°)，(65°，30°)，(65°，150°)，(65°，270°)，(45°，60°)，(45°，180°)，(45°，300°)；

将规划球体位姿转换为笛卡尔坐标系下的位姿过程如下：

以

为例，求取相机在标定板坐标系中的位姿：^WH_C；

位于距离球心h，经纬坐标

的相机位姿可以从如下过程获得：世界坐标系

最后绕原来的z轴旋转-λ，即：

其中，表示绕x轴旋转角度

Ty(h)表示沿y轴平移h距离。

Rx(θ)，Ry(θ)，Rz(θ)的表达式为(cθ＝cos(θ),sθ＝sin(θ))；

Ty(d)＝[0,d,0]^T

以上公式带入公式(1)可以求得相机坐标系在世界坐标系(即，标定板坐标系)中的位姿：^WH_C，世界坐标系在相机坐标系中的位姿为：^CH_W＝(^WH_C)^-1。

作为本发明的进一步限定，步骤S4规划的相机位姿转换为对应的机器人位姿具体步骤如下：

在整个标定过程中，无论相机如何变换位姿，标定板位置不变，标定板在机器人坐标系中的位姿也不变；

^BH_W＝^BH_T ^TH_C ^CH_W＝^B0H_T0 ^T0H_C0 ^C0H_W0＝^B0H_W0

其中，^C0H_W0为相机手动调整到标定板正上方工作距离时，标定板坐标系在相机坐标系中的位姿，^T0H_C0为机械加工与安装所粗略决定的相机坐标系在机械手工具坐标系中的位姿，在完成相机与机器人手眼标定之前有^TH_C＝^T0H_C0，^B0H_T0即为机器人的位姿，由机器人控制系统给出；

相机的规划位姿到机器人位姿之间的转换关系为，

^BH_T＝^B0H_T0 ^T0H_C0 ^C0H_W0(^TH_C ^CH_W)^-1＝^B0H_W0(^CH_W)^-1(^TH_C)^-1

由规划的相机在标定板坐标系下的位姿^WH_C到工具坐标系到机器人坐标系下的位姿^BH_T完成，机器人根据^BH_T运动即可使相机到达规划位姿，进行有效的标定板图像采集。

与现有技术相比，本发明的有益效果在于：针对工业应用过程中机器人视觉系统的手眼标定费时费力且需要操作工人有一定的机器人视觉知识的问题，提出了一种机器人手眼自动标定的方法，该方法可以大大减少机器人视觉系统手眼标定的工作量和工作时间，其中，可以将工作时间从普通的3-5小时减少到10-15分钟，该方法有非常现实的应用意义，可以在实际工作中得到一定程度的应用。

附图说明

图1为本发明自动手眼标定流程图。

图2为本发明中标定板坐标系与相机坐标系位姿关系图。

图3为本发明中基于标定板坐标系的位姿规划图。

图4为本发明中工业机器人手眼标定示意图。

图5为本发明中标定板模型图。

图6为本发明中标定板平移组采集图。

图7为本发明中标定板深度组采集图。

图8为本发明中标定板旋转组采集图。

具体实施方式

下面结合具体实施例对本发明做进一步说明。

如图1所示，一种工业机器人自动手眼标定方法，包括手动初始化和自动手眼标定两个阶段：

手动初始化阶段：

步骤S1：将标定板放置在目标工作区域内，并调整相机，使之位于标定板的正上方处；

步骤S2：根据相机与末端工具坐标系之间的设计与安装尺寸或者采样3-5幅标定图片和对应的机器人位姿进行粗略标定，获取相机与末端工具坐标系之间的位姿关系：^T0H_C0；

自动手眼标定阶段：

步骤S3：以标定板坐标系原点为球心，按照球体坐标系参数进行相机位姿规划并将其转化为笛卡尔坐标系下的位姿，具体为：

以标定板坐标系为世界坐标系{W}，相机坐标系为{C}，手眼标定的位姿规划在世界坐标系{W}下进行，且以世界坐标系原点为球心的球形坐标系下规划；规划的相机位姿分为：平移、深度和旋转三类，具体规划如下：

相机视野：W×H，标定板有效区域尺寸：L×L；

相机的平移范围：(W-L)×(H-L)，规划位姿相对于初始中心位姿的坐标为：

(-(W-L)/2,(H-L)/2),(0,(H-L)/2),((W-L)/2,(H-L)/2),(-(W-L)/2,-(H-L)/2),(0,-(H-L)/2),((W-L)/2,-(H-L)/2)；

深度平移范围：(0,0,h-d/2),(0,0,h-d/4),(0,0,h),(0,0,h+d/4),(0,0,h+d/2)。其中，h为相机的标准工作距离，d为人为设定深度方向的最大位移；

旋转位姿规划：以经纬度

λ为参数，规划3×3组位姿，球面经纬度分别为(80°，0°)，(80°，120°)，(80°，240°)，(65°，30°)，(65°，150°)，(65°，270°)，(45°，60°)，(45°，180°)，(45°，300°)；

以上位姿规划示意见图3。

如图2所示，将规划球体位姿转换为笛卡尔坐标系下的位姿过程如下：

以

为例，求取相机在标定板坐标系中的位姿：^WH_C；

位于距离球心h，经纬坐标的相机位姿可以从如下过程获得：世界坐标系

最后绕原来的z轴旋转-λ，即：

其中，

表示绕x轴旋转角度Ty(h)表示沿y轴平移h距离。

Rx(θ)，Ry(θ)，Rz(θ)的表达式为(cθ＝cos(θ),sθ＝sin(θ))；

Ty(d)＝[0,d,0]^T

以上公式带入公式(1)可以求得相机坐标系在世界坐标系(即，标定板坐标系)中的位姿：^WH_C，世界坐标系在相机坐标系中的位姿为：^CH_W＝(^WH_C)^-1；

步骤S4：通过使用粗略的相机与末端工具坐标系之间的位姿关系^T0H_C0将转化后标定板坐标系下的相机位姿转换为对应的机器人位姿，具体步骤如下：

在整个标定过程中，无论相机如何变换位姿，标定板位置不变，标定板在机器人坐标系中的位姿也不变；

^BH_W＝^BH_T ^TH_C ^CH_W＝^B0H_T0 ^T0H_C0 ^C0H_W0＝^B0H_W0

其中，^C0H_W0为相机手动调整到标定板正上方工作距离时，标定板坐标系在相机坐标系中的位姿，^T0H_C0为机械加工与安装所粗略决定的相机坐标系在机械手工具坐标系中的位姿，在完成相机与机器人手眼标定之前有^TH_C＝^T0H_C0，^B0H_T0即为机器人的位姿，由机器人控制系统给出；

相机的规划位姿到机器人位姿之间的转换关系为，

^BH_T＝^B0H_T0 ^T0H_C0 ^C0H_W0(^TH_C ^CH_W)^-1＝^B0H_W0(^CH_W)^-1(^TH_C)^-1

由规划的相机在标定板坐标系下的位姿^WH_C到工具坐标系到机器人坐标系下的位姿^BH_T完成，机器人根据^BH_T运动即可使相机到达规划位姿，进行有效的标定板图像采集；

步骤S5：通过相机获取当前位姿并记录，判断当前位姿是否为最后的标定位姿，如果最后的位姿，则对所有已采集图片和位姿进行手眼标定，否则继续采集图片和位姿。

本发明从仿真与实物两方面做了实施。

仿真实施例如下：

仿真镜头焦距：25mm。

仿真工作距离：1000mm。

仿真标定板有效尺寸大小：500*500mm即L＝500。

相机视野范围：1000*800mm，即W＝1000mm，H＝800mm。

标定板的模型图如图5所示。

如图6所示，标定板规划位姿相对于初始中心位姿的坐标为：(-250,150),(0,150),(250,150),(-250,-150),(0,-150),(250,-150)。

如图7所示，标定板深度平移范围：(0,0,50)，(0,0,-50)，(0,0,100)，(0,0,-100)，(0,0,0)。

如图8所示，标定板旋转位姿规划：(80°，0°)，(80°，120°)，(80°，240°)，(65°，30°)，(65°，150°)，(65°，270°)，(45°，60°)，(45°，180°)，(45°，300°)。

实物实施例如下：

如图4所示的一种机器人手眼自动标定装置，工业机器人选用ABBIRB6700-150/3.2，负载150Kg，臂展3.2m，工业相机选用康耐视工业相机CAM-CIC-10MR-10-G，分辨率为3840*2748，工控机选用研华工控机IPC-610L且配备2网口POE供电网卡PCIE-1672E-AE，通过千兆网线同时传送图像与供电相机，提高系统稳定性，选用陶瓷材质的标定板进行实验。

通过实验，实际使用自动手眼标定方法，标定精度和稳定性都已经达到很好的效果；其中，标定的结果和精度如下：

BINOCULAR CALIBRATION RESULT

平均位置误差为：0.25mm，最大位置误差为：0.45mm

平均姿态误差：0.19°，最大姿态误差：0.56°。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (3)

1.一种工业机器人自动手眼标定方法，其特征在于，包括手动初始化和自动手眼标定两个阶段：

手动初始化阶段：

步骤S1：将标定板放置在目标工作区域内，并调整相机，使之位于标定板的正上方处；

步骤S2：根据相机与末端工具坐标系之间的设计与安装尺寸或者采样3-5幅标定图片和对应的机器人位姿进行粗略标定，获取相机与末端工具坐标系之间的位姿关系：^T0H_C0；

自动手眼标定阶段：

步骤S3：以标定板坐标系原点为球心，按照球体坐标系参数进行相机位姿规划并将其转化为笛卡尔坐标系下的位姿；

步骤S4：通过使用粗略的相机与末端工具坐标系之间的位姿关系^T0H_C0将转化后标定板坐标系下的相机位姿转换为对应的机器人位姿；

步骤S5：通过相机获取当前位姿并记录，判断当前位姿是否为最后的标定位姿，如果是最后的位姿，则对所有已采集图片和位姿进行手眼标定，否则继续采集图片和位姿。

2.根据权利要求1所述的一种工业机器人自动手眼标定方法，其特征在于，步骤S3具体为：

以标定板坐标系为世界坐标系{W}，相机坐标系为{C}，手眼标定的位姿规划在世界坐标系{W}下进行，且以世界坐标系原点为球心的球形坐标系下规划；规划的相机位姿分为：平移、深度和旋转三类，具体规划如下：

相机视野：W×H，标定板有效区域尺寸：L×L；

相机的平移范围：(W-L)×(H-L)，规划位姿相对于初始中心位姿的坐标为：

(-(W-L)/2,(H-L)/2),(0,(H-L)/2),((W-L)/2,(H-L)/2),(-(W-L)/2,-(H-L)/2),(0,-(H-L)/2),((W-L)/2,-(H-L)/2)；

深度平移范围：(0,0,h-d/2),(0,0,h-d/4),(0,0,h),(0,0,h+d/4),(0,0,h+d/2)。其中，h为相机的标准工作距离，d为人为设定深度方向的最大位移；

旋转位姿规划：以经纬度λ为参数，规划3×3组位姿，球面经纬度分别为(80°，0°)，(80°，120°)，(80°，240°)，(65°，30°)，(65°，150°)，(65°，270°)，(45°，60°)，(45°，180°)，(45°，300°)；

将规划球体位姿转换为笛卡尔坐标系下的位姿过程如下：

以

为例，求取相机在标定板坐标系中的位姿：^WH_C；

位于距离球心h，经纬坐标的相机位姿可以从如下过程获得：世界坐标系

最后绕原来的z轴旋转-λ，即：

其中，

表示绕x轴旋转角度Ty(h)表示沿y轴平移h距离。

Rx(θ)，Ry(θ)，Rz(θ)的表达式为(cθ＝cos(θ),sθ＝sin(θ))；

Ty(d)＝[0,d,0]^T

以上公式带入公式(1)可以求得相机坐标系在世界坐标系(即，标定板坐标系)中的位姿：^WH_C，世界坐标系在相机坐标系中的位姿为：^CH_W＝(^WH_C)^-1。

3.根据权利要求1所述的一种工业机器人自动手眼标定方法，其特征在于，步骤S4规划的相机位姿转换为对应的机器人位姿具体步骤如下：

在整个标定过程中，无论相机如何变换位姿，标定板位置不变，标定板在机器人坐标系中的位姿也不变；

^BH_W＝^BH_T ^TH_C ^CH_W＝^B0H_T0 ^T0H_C0 ^C0H_W0＝^B0H_W0

其中，^C0H_W0为相机手动调整到标定板正上方工作距离时，标定板坐标系在相机坐标系中的位姿，^T0H_C0为机械加工与安装所粗略决定的相机坐标系在机械手工具坐标系中的位姿，在完成相机与机器人手眼标定之前有^TH_C＝^T0H_C0，^B0H_T0即为机器人的位姿，由机器人控制系统给出；

相机的规划位姿到机器人位姿之间的转换关系为，

^BH_T＝^B0H_T0 ^T0H_C0 ^C0H_W0(^TH_C ^CH_W)^-1＝^B0H_W0(^CH_W)^-1(^TH_C)^-1

由规划的相机在标定板坐标系下的位姿^WH_C到工具坐标系到机器人坐标系下的位姿^BH_T完成，机器人根据^BH_T运动即可使相机到达规划位姿，进行有效的标定板图像采集。

Images