CN110116411B - 一种基于球目标的机器人3d视觉手眼标定方法 - Google Patents

Abstract

本发明公开了一种基于球目标的机器人3D视觉手眼标定方法，该方法包括：获取球目标的三维点云信息和机器人末端法兰盘在基坐标系下的位置信息；基于随机采样一致性算法分割出点云中位于球面上的三维点，对球面上的点做最小二乘球面拟合确定球心在所述相机坐标系下的坐标值；根据相机坐标系下的球心点坐标和机器人末端在基坐标系下坐标值的对应关系，确定相机坐标系到机器人基坐标系的变换矩阵，实现机器人的手眼标定。本发明方法以球目标为标定物，整个标定流程无需人工干预，方法简单易于实现。

Description

一种基于球目标的机器人3D视觉手眼标定方法

技术领域

本发明属于机器人3D视觉标定技术领域，具体涉及一种基于球目标的机器人3D视觉手眼标定方法。

背景技术

伴随着机器人技术的发展，以机械臂为手臂、3D视觉为眼睛的结合赋予了机器人完成更为复杂任务的能力，提升了机器人的应用范围。尤其在工业应用领域，例如装配，抓取工件，物流分拣等一系列重复性高，工作强度大和危险性高的工作，视觉引导下的机器人在工作效率和质量上都有较好的表现。手眼标定方法是为机器人与3D视觉之间建立联系，工业领域中对高精度的追求也就约束着手眼标定方法对标定结果的精度有很高要求。

三维相机获取到空间对象在视觉坐标系下的空间位置，末端执行器在机械臂基座标系下抓取空间对象，空间对象的真实位置固定，由于视觉坐标系与机械臂基坐标系不同导致相同对象存在两组空间坐标。手眼标定的作用就是建立视觉坐标系与机械臂基坐标系的联系，实现空间对象从视觉坐标系下坐标值到机械臂基座标系下坐标值的转换。

手眼标定的两大主要工作是：采集标定数据和计算两个坐标系之间的变换关系，这两步并不是相互独立，而是一种此消彼长的关系。采集到的标定数据精度越高，采用比较简单的数学模型即可获取两个坐标系之间的转换；反之，如果采集到的数据存在较大噪声。解算坐标系之间变换关系时需要考虑误差纠正和抗干扰的问题，而且复杂的解算模型得到的变换关系多数都是局部最优解，不具有通用性。

最早的采集标定数据的方法是利用特制的标定板，从三维相机拍摄得到的标定板图像中获取标定板上标志点信息；然后人工控制示教器移动机械臂末端执行器采集标定板上标志点的位置信息。采用人工参与的手眼标定方式虽然简便且容易实现，但不可避免的会引入人为误差且效率低下；针对这个问题，后续研究人员提出了将标志点贴在机械臂末端执行器上的方法。该类方法引申出两个分支：第一个分支是把末端执行器和标志点之间的位置关系作为求解的未知量，以标志点为媒介获取视觉坐标系与机械臂基坐标系之间的关系，该方法的优点是无需人工参与，不会引入认为误差。缺点是解算模型比较复杂，求解的未知量较多，结果不稳定。第二个分支是采用制作工具坐标系的方式确定末端执行器和标志点之间的位置关系，该方法效率高，但在制作工具坐标系的过程还是需要人为参与。

当前机器人手眼标定方法面临的困境就是完全的自动化标定方法的数据解算过程比较复杂，引入人工辅助的标定方法数据解算比较简单，但会引入人为误差；而且，复杂的解算方法虽然能够摆脱对人的依赖，其在解算过程中往往会引入额外的未知量，进而导致求解的标定结果精度下降。因此，寻求一种完全自动化标定且解算模型简单的手眼标定方法就显得格外的重要。

发明内容

鉴于上述，本发明提供了一种基于球目标的机器人3D视觉手眼标定方法，通过约束机器人在标定过程的运动方式，实现了一种计算简单且无需人工干预的手眼标定方法，提高了标定结果的精度。

一种基于球目标的机器人3D视觉手眼标定方法，包括如下步骤：

(1)将球目标紧固安装在机器人手臂末端法兰盘上，在保持手臂末端关节姿态不变的情况下使法兰盘位置发生平移，获取平移过程中法兰盘中心点在机器人基坐标系中的n组坐标值，同时利用3D传感器采集这n组坐标值所对应时刻球目标的点云数据，n为大于3的自然数；

(2)将球目标调整到3D传感器的视场范围内，保持法兰盘的空间位置不变，改变手臂末端关节姿态使其旋转，获取旋转过程中法兰盘中心点在机器人基坐标系中的m组坐标值，同时利用3D传感器采集这m组坐标值所对应时刻球目标的点云数据，m为大于3的自然数；

(3)对于任一组点云数据，通过拟合定位球心点在3D传感器坐标系中对应的坐标值；

(4)根据法兰盘中心点在机器人基坐标系中的n+m组坐标值以及球心点在3D传感器坐标系中的n+m组坐标值，计算出3D传感器坐标系与机器人基坐标系之间的变换矩阵，利用该变换矩阵实现机器人的手眼标定。

进一步地，所述步骤(1)的具体实现过程如下：

1.1建立机器人基坐标系和3D传感器坐标系，利用机器人手臂末端法兰盘上的机器人手爪抓住球目标；

1.2通过调整手臂各个关节的转动角，使得法兰盘带动球目标在3D传感器视场范围内平移，平移过程中保证手臂末端关节姿态不发生改变；

1.3获取平移过程中法兰盘中心点在机器人基坐标系中的坐标值，同时利用3D传感器采集对应时刻球目标表面每个点的三维坐标数据；

1.4重复执行n次步骤1.3的操作过程，尽可能覆盖整个3D传感器视场范围，从而得到n组标定数据。

进一步地，所述步骤(2)的具体实现过程如下：

2.1将机器人手臂末端法兰盘移动到3D传感器视场中央，尽可能保证手臂末端关节绕法兰盘旋转过程中带动的球目标总能被3D传感器观测；

2.2通过调整手臂各个关节的转动角，保持法兰盘空间位置不动的情况下改变手臂末端关节姿态使其旋转；

2.3获取旋转过程中法兰盘中心点在机器人基坐标系中的坐标值，同时利用3D传感器采集对应时刻球目标表面每个点的三维坐标数据；

2.4重复执行m次步骤2.3的操作过程，尽可能地调节获得手臂末端关节的多个姿态，从而得到m组标定数据。

进一步地，所述步骤(3)的具体实现过程如下：

3.1对于任一组点云数据，根据该组点云数据采用随机采样一致性算法分割出位于球面上的采样点，并剔除其余噪声点；

3.2对球面上的采样点进行最小二乘球面拟合，定位球心点在3D传感器坐标系中对应的三维坐标值。

进一步地，所述步骤(4)的具体实现过程如下：

4.1利用平移运动得到的法兰盘中心点在机器人基坐标系中的n组坐标值及其对应的球心点在3D传感器坐标系中的n组坐标值，计算出法兰盘中心点坐标与球心点坐标之间的协方差矩阵N；

4.2对协方差矩阵N进行奇异值分解即得到球心点坐标与法兰盘中心点坐标之间的变换矩阵H^t且

其中R为一个3×3大小的旋转矩阵，T^t为一个3×1大小的平移矩阵；

4.3利用齐次坐标的形式表示任一组法兰盘中心点坐标值

及其对应的球心点坐标值

则

4.4对于旋转运动对应得到的球心点在3D传感器坐标系中的任一组坐标值

根据变换矩阵H^t计算对应球心点在机器人基坐标系中的坐标值

4.5对所有通过步骤4.4变换后得到的球心点在机器人基坐标系中的坐标值进行最小二乘球面拟合，定位得到球心点坐标X_c；

4.6计算球心点坐标X_c与机器人手臂末端法兰盘的坐标偏移量▽T，进而利用坐标偏移量▽T对变换矩阵H^t中的平移部分进行修正，最终得到3D传感器坐标系与机器人基坐标系之间的变换矩阵

进一步地，所述步骤4.1中通过以下公式计算法兰盘中心点坐标与球心点坐标之间的协方差矩阵N；

其中：

和

分别为平移运动得到的法兰盘中心点在机器人基坐标系中的第i组坐标值及其对应的球心点在3D传感器坐标系中的第i组坐标值，

为平移运动得到的法兰盘中心点在机器人基坐标系中的n组坐标值的均值，

为平移运动对应得到的球心点在3D传感器坐标系中的n组坐标值的均值，T表示转置。

进一步地，所述步骤4.6中通过以下公式计算球心点坐标X_c与机器人手臂末端法兰盘的坐标偏移量

其中：

为旋转运动得到的法兰盘中心点在机器人基坐标系中的第j组坐标值。

基于上述技术方案，本发明具有以下有益技术效果：

1.全自动化标定；本发明手眼标定方法整个解算过程和驱动机械臂运动均可实现自动化，不仅提高了工作效率也排除了由人工参与所引入标定结果的不稳定因素。

2.不引入多余变量；本发明手眼标定方法直接计算相机坐标系到机器人基座标系的变换矩阵，没有工具坐标系作为中间媒介，因此不需要考虑机器人工具坐标系到基座标系之间的转换误差。

附图说明

图1为本发明机器人手眼标定系统的示意图。

图2为平移运动采集到的法兰盘在机器人基坐标系下的坐标点分布示意图。

图3为旋转运动采集到的球目标球心点坐标在相机坐标系下的坐标点分布示意图。

图4为本发明基于球目标的机器人3D视觉手眼标定方法的流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图4所示，本发明基于球目标的机器人3D视觉手眼标定方法，包括以下步骤：

S1：平移运动。

将图1中所示的球目标固定在机器人末端法兰盘，保持机械臂末端关节的姿态不变，通过移动末端法兰盘改变其在基座标系下X、Y和Z三个方向上的坐标值；移动机器人的同时，记录末端法兰盘在基座标系下的坐标值以及3D相机采集到的球目标区域的点云数据。

设定一个机器人基座标系下的矩形范围和每次平移的距离值ds，控制机器人从矩形框的左下角开始分别按照矩形区域的长、宽、高三个方向移动。如图2所示，相当于对矩形空间内做等间隔采样，获取空间中各个点处末端法兰盘在机器人基座标系下的位置和相机坐标系下球目标点云。

S2：旋转运动。

将末端法兰盘移动到3D相机的市场中央，保持法兰盘的空间位置不变，调整机器人末端关节的姿态；用欧拉角的方式表示末端关节的姿态，RX、RY、RZ分别表示绕固定轴X、Y、Z的旋转角度，旋转角度取值范围均在区间(-180,180]。

设定一个转动角度间隔dr，调整末端关节的姿态，记录转动时的末端法兰盘在机器人基座标系下的坐标值和球目标在相机坐标系下采集的点云。由于旋转运动仅改变法兰盘的姿态，其在基座标系下的坐标值未发生改变，因此记录的法兰盘坐标值是相同值；本实例中的一组旋转运动记录的数据如表1所示，图3为相机坐标系下球心点坐标的三维显示。

表1

S3：定位球心点坐标。

对每一次采集到的点云数据采样随机采样一致性算法分割出位于球面上的点云，并剔除噪声点；基于随机采样一致性算法分割球面点云的具体步骤，可以参见文献【石宏斌,王晏民,杨炳伟.一种标靶球的自动探测方法[J].测绘通报,2013(S1):58-60.】。然后对球面上的点云做最小二乘球面拟合，定位出球心点在相机坐标系下的坐标值，最小二乘算法定位球心点坐标X_c＝[x_c y_c z_c]^T的公式为：

其中：

其他与之类似。

S4：解算旋转矩阵R和平移变换T。

相机坐标系到机器人坐标系的变换矩阵可以通过一个旋转R和一个平移T实现。根据平移运动采集到的n组一一对应的机械臂末端法兰盘坐标

和球心点坐标

可以解算出相机坐标系下的球心点到机器人基坐标系下末端法兰盘的变换矩阵

本实例中计算出的变换矩阵H^t中旋转R和平移T^t分别为：

法兰盘与球心点在空间上并不是相同的点，因此矩阵H^t不是真实的相机坐标系到机器人基坐标系的变换矩阵。由于标定过程中平移运动不改变姿态，因此H^t的旋转部分R与真实的变换矩阵H相同，平移量T^t与真实变换矩阵中的平移T相差一个

根据旋转运动采集到的m组一一对应的机械臂末端法兰盘坐标

和球心点坐标

利用齐次坐标的形式表示坐标值

利用得到的矩阵H^t可以算出

在机器人基座标系下的坐标值

旋转运动是以球目标绕着法兰盘为中心做旋转，对球心点在相机坐标系下的坐标值

做球面拟合，拟合出的球心点

即为法兰盘在相机坐标系下的坐标值。

假设法兰盘与球目标的球心点在空间上是相同点，经过矩阵H^t变换后的坐标点

与从机器人示教器得到机器人基座标系下的法兰盘

坐标值应该相同。真实情况下两者不是同一个点，则二者的差值

即为矩阵H^t中平移量T^t与真实变换矩阵中的平移T的差值。基于偏移量

修正变换矩阵H^t中的平移部分，得到相机坐标系到机器人基坐标系的变换矩阵

变换矩阵H即为所求相机坐标系在机器人基座标系中的变换矩阵。

本实例中计算出的偏移量

为：

上述对实施例的描述是为了便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易的对上述实施例做出各种修改，并把此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (6)

1.一种基于球目标的机器人3D视觉手眼标定方法，包括如下步骤：

(1)将球目标紧固安装在机器人手臂末端法兰盘上，在保持手臂末端关节姿态不变的情况下使法兰盘位置发生平移，获取平移过程中法兰盘中心点在机器人基坐标系中的n组坐标值，同时利用3D传感器采集这n组坐标值所对应时刻球目标的点云数据，n为大于3的自然数；

(2)将球目标调整到3D传感器的视场范围内，保持法兰盘的空间位置不变，改变手臂末端关节姿态使其旋转，获取旋转过程中法兰盘中心点在机器人基坐标系中的m组坐标值，同时利用3D传感器采集这m组坐标值所对应时刻球目标的点云数据，m为大于3的自然数；

(3)对于任一组点云数据，通过拟合定位球心点在3D传感器坐标系中对应的坐标值；

(4)根据法兰盘中心点在机器人基坐标系中的n+m组坐标值以及球心点在3D传感器坐标系中的n+m组坐标值，计算出3D传感器坐标系与机器人基坐标系之间的变换矩阵，利用该变换矩阵实现机器人的手眼标定，具体实现过程如下：

4.1利用平移运动得到的法兰盘中心点在机器人基坐标系中的n组坐标值及其对应的球心点在3D传感器坐标系中的n组坐标值，计算出法兰盘中心点坐标与球心点坐标之间的协方差矩阵N；

4.2对协方差矩阵N进行奇异值分解即得到球心点坐标与法兰盘中心点坐标之间的变换矩阵H^t且

其中R为一个3×3大小的旋转矩阵，T^t为一个3×1大小的平移矩阵；

4.3利用齐次坐标的形式表示任一组法兰盘中心点坐标值

及其对应的球心点坐标值

则

4.4对于旋转运动对应得到的球心点在3D传感器坐标系中的任一组坐标值

根据变换矩阵H^t计算对应球心点在机器人基坐标系中的坐标值

4.5对所有通过步骤4.4变换后得到的球心点在机器人基坐标系中的坐标值进行最小二乘球面拟合，定位得到球心点坐标X_c；

4.6计算球心点坐标X_c与机器人手臂末端法兰盘的坐标偏移量▽T，进而利用坐标偏移量▽T对变换矩阵H^t中的平移部分进行修正，最终得到3D传感器坐标系与机器人基坐标系之间的变换矩阵

2.根据权利要求1所述的机器人3D视觉手眼标定方法，其特征在于：所述步骤(1)的具体实现过程如下：

1.1建立机器人基坐标系和3D传感器坐标系，利用机器人手臂末端法兰盘上的机器人手爪抓住球目标；

1.2通过调整手臂各个关节的转动角，使得法兰盘带动球目标在3D传感器视场范围内平移，平移过程中保证手臂末端关节姿态不发生改变；

1.3获取平移过程中法兰盘中心点在机器人基坐标系中的坐标值，同时利用3D传感器采集对应时刻球目标表面每个点的三维坐标数据；

1.4重复执行n次步骤1.3的操作过程，尽可能覆盖整个3D传感器视场范围，从而得到n组标定数据。

3.根据权利要求1所述的机器人3D视觉手眼标定方法，其特征在于：所述步骤(2)的具体实现过程如下：

2.1将机器人手臂末端法兰盘移动到3D传感器视场中央，尽可能保证手臂末端关节绕法兰盘旋转过程中带动的球目标总能被3D传感器观测；

2.2通过调整手臂各个关节的转动角，保持法兰盘空间位置不动的情况下改变手臂末端关节姿态使其旋转；

2.3获取旋转过程中法兰盘中心点在机器人基坐标系中的坐标值，同时利用3D传感器采集对应时刻球目标表面每个点的三维坐标数据；

2.4重复执行m次步骤2.3的操作过程，尽可能地调节获得手臂末端关节的多个姿态，从而得到m组标定数据。

4.根据权利要求1所述的机器人3D视觉手眼标定方法，其特征在于：所述步骤(3)的具体实现过程如下：

3.1对于任一组点云数据，根据该组点云数据采用随机采样一致性算法分割出位于球面上的采样点，并剔除其余噪声点；

3.2对球面上的采样点进行最小二乘球面拟合，定位球心点在3D传感器坐标系中对应的三维坐标值。

5.根据权利要求1所述的机器人3D视觉手眼标定方法，其特征在于：所述步骤4.1中通过以下公式计算法兰盘中心点坐标与球心点坐标之间的协方差矩阵N；

其中：

和

分别为平移运动得到的法兰盘中心点在机器人基坐标系中的第i组坐标值及其对应的球心点在3D传感器坐标系中的第i组坐标值，

为平移运动得到的法兰盘中心点在机器人基坐标系中的n组坐标值的均值，

为平移运动对应得到的球心点在3D传感器坐标系中的n组坐标值的均值，^T表示转置。

6.根据权利要求1所述的机器人3D视觉手眼标定方法，其特征在于：所述步骤4.6中通过以下公式计算球心点坐标X_c与机器人手臂末端法兰盘的坐标偏移量▽T；

其中：

为旋转运动得到的法兰盘中心点在机器人基坐标系中的第j组坐标值。

Images