CN109737871B - 一种三维传感器与机械手臂的相对位置的标定方法 - Google Patents

Abstract

本发明公开了一种三维传感器与机械手臂的相对位置的标定方法，包括：步骤一、移动机械手臂使其末端的法兰盘面向三维传感器，记录此时三维传感器获取到的点云信息，通过三维视觉算法提取法兰盘的至少一个特征点，并获取其相对于三维传感器坐标系的三维坐标值；步骤二、针对所提取到的特征点，获得其相对于机械手臂基坐标系的三维坐标值；步骤三、重复步骤一、二，提取到多个不共面的特征点，并获取每一特征点分别相对于三维传感器坐标系和机械手臂基坐标系的多组三维坐标值，计算出最优手眼转换矩阵。本发明采用现有机械臂末端法兰盘的几何特征解决标定点的选取问题，在标定中无需安装标志点，显著简化了标定流程，并大幅降低了标定成本。

Description

一种三维传感器与机械手臂的相对位置的标定方法

技术领域

本发明涉及机械手臂的手眼标定方法技术领域，尤其涉及一种三维传感器与机械手臂的相对位置的标定方法。

背景技术

随着工业4.0的发展，越来越多的工业应用场景使用高精度的机械手臂来替代人工，常见的有多关节机械手臂、直角坐标系机械手臂。通常，机械手臂需要配合不同的末端执行器来完成具体的任务，本文所指的机械手臂是不包含末端执行器的。近年来，高精度三维传感器的快速发展与应用也使得机械手臂的应用不再局限于单一结构化的工业场景和简单重复的作业。三维传感器采集到的高精度点云信息包含了目标物体相对于三维传感器的空间位置。

工业上的一种应用场景是将三维传感器安装在机械手臂外某个固定的位置，三维传感器作为机械手臂的视觉伺服，首先要进行手眼标定：即获得三维传感器与机械手臂的相对位置，这里的手是指机械手臂，眼是指三维传感器。标定结果是获得手眼转换矩阵，包含旋转和平移组。在执行任务时，需要将三维传感器采集到的目标点云位置通过手眼转换矩阵转换为在机械手臂坐标系下的位置。这种安装方式的手眼标定算法简单，需要通过三维传感器获得一些标志点的空间位置，手眼标定精度依赖于三维传感器的精度及标志点空间位置的精度。传统标定方法使用的标志点通常是标定板和标定球，为了保证标定精度，使用的标定板和标定球通常要满足一定的制造精度，价格昂贵，还需要安装和拆卸，标定耗时耗力。

现有改进的手眼标定方法，如专利“一种基于主动双目视觉的机械手手眼标定方法”(申请号：201510168995.7)，无需安装专门的标志物，实际上是使用机械手臂的末端作为标志点，计算手眼转换矩阵。该方法在机械手臂末端较尖锐、细小的情况下计算简单，但是并不直接适用于常见的工业及协作机械手臂。机械手臂通常需要配合末端执行器来工作，因此机械手臂本身的末端通常设计为具有某些明确尺寸、包含一些常用孔位的法兰盘结构，方便转接不同型号和规格的末端执行器并安装使用。因此，机械手臂末端作为一个整体，并不能直接作为手眼标定的标志点。而且现有的手眼标定方法无法实时的反馈标定精度，自动调整标定流程。对于需要获取的用于手眼标定的特征点个数，通常需要靠工程经验、人为干预及大量采点来解决，手眼标定流程耗时耗力，尤其影响大规模机器人应用的效率。

发明内容

针对上述现有技术中存在的不足之处，本发明提供一种三维传感器与机械手臂的相对位置的标定方法，该标定方法包括以下步骤：

步骤一、移动机械手臂末端到三维传感器视野范围内，并使其末端的法兰盘无遮挡的面向所述三维传感器，记录此时所述三维传感器获取到的所述法兰盘的点云信息，通过三维视觉算法提取所述法兰盘的至少一个特征点，并获取所提取到的特征点相对于所述三维传感器的坐标系的三维坐标值；

步骤二、针对上述步骤一中所提取到的特征点，获得其相对于所述机械手臂的基坐标系的三维坐标值；

步骤三、重复上述步骤一和步骤二，提取到多个不共面的特征点，并获取每一特征点分别相对于所述三维传感器的坐标系和所述机械手臂的基坐标系的多组三维坐标值，然后根据多组三维坐标值计算得出最优手眼转换矩阵。

进一步地，上述步骤一中还获取所提取到的特征点相对于所述三维传感器的坐标系的法兰盘法向量；且上述步骤二中还获取该特征点其相对于所述机械手臂的基坐标系的法兰盘法向量；

相应地，上述标定方法还包括以下步骤：

步骤四、利用步骤三中求得的手眼转换矩阵，将步骤一中获得的相对于所述三维传感器的坐标系的法兰盘法向量转换为相对于所述机械手臂的基坐标系的法兰盘法向量，然后将通过手眼转换矩阵求得的法兰盘法向量与步骤二中所获取的法兰盘法向量比较，求得两个法兰盘法向量的夹角，该夹角大小可用于考察手眼标定的准确度；

步骤五、重复步骤四，获取每一特征点对应的法兰盘法向量夹角，并计算所有夹角的均值，若该夹角均值小于设定的误差阈值，则手眼标定流程结束；若该夹角均值大于所述设定的误差阈值，则剔除最大法兰盘法向量夹角所对应的特征点，并重复步骤一、二，获取新的特征点并入之前保留的特征点和计算更新手眼变换矩阵，直到该夹角均值小于所述设定的误差阈值时，手眼标定流程结束。

可选地，上述步骤一中所提取的所述法兰盘的特征点为所述法兰盘的圆盘中心和/或所述法兰盘上螺纹孔的中心。

进一步地，当上述步骤一中所提取到的特征点为所述法兰盘的中心时；

所述步骤二中通过读取所述机械手臂的控制器，获得并记录所述法兰盘的中心相对于所述机械手臂的基坐标系的三维坐标值及法兰盘法向量。

进一步地，当步骤一中所提取到的特征点为法兰盘上螺纹孔的中心时；

步骤二中首先获得所述法兰盘及其螺纹孔的尺寸及相对位置，然后通过几何计算获得各螺纹孔中心相对于所述机械手臂的基坐标系的三维坐标值，螺纹孔中心的法兰盘法向量与法兰盘中心的法兰盘法向量重合。

可选地，所述步骤二中通过结合所述机械手臂的法兰盘设计图纸获得所述法兰盘及其螺纹孔的尺寸及相对位置。

进一步地，在所述步骤三中，通过重复上述步骤一和步骤二，至少提取到四个不共面的特征点，并获取不共面的每一特征点分别相对于所述三维传感器的坐标系和所述机械手臂的基坐标系的多组三维坐标值；然后根据多组三维坐标值，采用最小二乘法计算得出最优手眼转换矩阵。

进一步地，在所述步骤五中，由于至少提取到四个不共面的特征点，则至少有两组法向量夹角，并计算其均值。

本发明提供了一种操作简单、标定精度高、适用于带法兰盘(标准末端几何参数，包括孔位、圆周等常用特征)的工业及协作机械手臂的基于三维传感器的手眼标定方法，采用现有机械手臂末端法兰盘螺纹孔或圆周等标准化几何特征解决标定点的选取问题，实现了无需进行标定中直接影响标定精度的标志点安装；采用实时反馈标定精度的方法，智能调整标定流程；具有方法简单、标定精度高、易于操作的优点，充分利用机械手臂末端的法兰盘本身的制造标准和精度，充分利用三维传感器获取的位置及方向信息，并且由于无需额外安装标定标志物和智能调整标定流程，从而大大降低了标定的物料成本及人工成本，普遍适用于常见的工业和协作机械手臂。

附图说明

图1为机械手臂与三维传感器的结构示意图；

图2a和图2b为机械手臂末端法兰盘的设计图；

图3为本发明第一实施例的三维传感器与机械手臂的相对位置的标定方法的流程图；

图4为本发明第二实施例的三维传感器与机械手臂的相对位置的标定方法的流程图；

图5为本发明第三实施例的三维传感器与机械手臂的相对位置的标定方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1和图2，现有的工业场景中所使用的机械手臂系统，一般包括多关节串联机械手臂1(如常见的六轴多关节协作机械手臂UR5)、安装在多关节串联机械手臂1末端的法兰盘2(如UR5末端的法兰盘，参照图2a和图2b)、三维传感器3(如常见的高精度双目深度摄像头Photoneo)、计算机4。其中，三维传感器3的视野范围包含多关节串联机械手臂1的日常工作区域，为了确保多关节串联机械手臂1末端的法兰盘2的特征能被三维传感器3捕获，可以利用多关节串联机械手臂1的灵活性，移动多关节串联机械手臂1使其法兰盘2无遮挡的面向三维传感器3。计算机4用来运行三维传感器3采集点云的程序并通过三维视觉算法获得法兰盘2的特征点。

本发明即为针对具有上述结构的基于三维传感器的机械手臂，提供一种手眼标定方法，具体请参见如下实施例：

第一实施例

请参阅图3，本发明的第一实施例包括如下步骤：

S301、移动机械手臂末端到三维传感器视野范围内，使其末端的法兰盘无遮挡的面向三维传感器，记录此时三维传感器获取到的法兰盘的点云信息，通过三维视觉算法提取法兰盘的至少一个特征点，并获取所提取到的特征点相对于三维传感器坐标系的三维坐标值；

需要说明的是，上述步骤中所提取的法兰盘的特征点可以是法兰盘的圆盘中心和/或法兰盘上螺纹孔的中心；当选取的特征点包括法兰盘的圆盘中心和法兰盘上螺纹孔的中心时，可选取的特征点通常在三个以上，并且这些特征点均位于同一平面。

S302、针对S301中所提取到的特征点，获得其相对于机械手臂基坐标系的三维坐标值；

需要说明的是，当上述S301中所提取到的特征点为法兰盘的中心时；可以通过读取机械手臂的控制器，获得并记录法兰盘的中心相对于机械手臂的基坐标系的三维坐标值。而当S301中所提取到的特征点为法兰盘上螺纹孔的中心时；首先需要获得法兰盘及其螺纹孔的精确尺寸及相对位置，然后通过几何计算获得各螺纹孔中心相对于机械手臂的基坐标系的三维坐标值。并且由于一般的工业及协作机械手臂都有公开的设计图纸，因此对于法兰盘几何参数的获取，可以直接通过该法兰盘的设计图纸而获得。

S303、重复S301和S302，提取到多个不共面的特征点，并获取每一特征点分别相对于三维传感器坐标系和机械手臂基坐标系的多组三维坐标值，然后根据多组三维坐标值计算得出最优手眼转换矩阵。

需要说明的是，本实施例中通过重复S301和S302，至少需要提取到四个不共面的特征点，并获取不共面的每一特征点分别相对于三维传感器坐标系和机械手臂基坐标系的多组三维坐标值；然后根据多组三维坐标值，采用最小二乘法计算得出最优手眼转换矩阵。

第二实施例

请参阅图4，本发明的第二实施例包括如下步骤：

S401、移动机械手臂末端到三维传感器视野范围内，使其末端的法兰盘无遮挡的面向三维传感器，记录此时三维传感器获取到的法兰盘的点云信息，通过三维视觉算法提取法兰盘的至少一个特征点，并获取所提取到的特征点相对于三维传感器坐标系的三维坐标值及法兰盘法向量；

需要说明的是，上述步骤中所提取的法兰盘的特征点可以是法兰盘的圆盘中心和/或法兰盘上螺纹孔的中心；当选取的特征点包括法兰盘的圆盘中心和法兰盘上螺纹孔的中心时，可选取的特征点通常在三个以上，并且这些特征点均位于同一平面，其对应的法兰盘法向量是重合的。

S402、针对S401中所提取到的特征点，获得其相对于机械手臂基坐标系的三维坐标值及法兰盘法向量；

需要说明的是，当上述S401中所提取到的特征点为法兰盘的中心时；可以通过读取机械手臂的控制器，获得并记录法兰盘的中心相对于机械手臂的基坐标系的三维坐标值及法兰盘法向量。而当S401中所提取到的特征点为法兰盘上螺纹孔的中心时；首先需要获得法兰盘及其螺纹孔的精确尺寸及相对位置，然后通过几何计算获得各螺纹孔中心相对于机械手臂的基坐标系的三维坐标值。并且由于一般的工业及协作机械手臂都有公开的设计图纸，因此对于法兰盘几何参数的获取，可以直接通过该法兰盘的设计图纸而获得。而螺纹孔中心的法兰盘法向量则与法兰盘中心的法兰盘法向量重合。

S403、重复S401和S402，提取到多个不共面的特征点，并获取每一特征点分别相对于三维传感器坐标系和机械手臂基坐标系的多组三维坐标值，然后根据多组三维坐标值计算得出最优手眼转换矩阵；

需要说明的是，本实施例中通过重复S401和S402，至少需要提取到四个不共面的特征点，并获取不共面的每一特征点分别相对于三维传感器坐标系和机械手臂基坐标系的多组三维坐标值；然后根据多组三维坐标值，采用最小二乘法计算得出最优手眼转换矩阵。

S404、利用S403中求得的手眼转换矩阵，将S401中求得的相对于三维传感器的坐标系的法兰盘法向量转换为相对于机械手臂的基坐标系的法兰盘法向量，将该通过手眼转换矩阵求得的法兰盘法向量与S402中获取的法兰盘法向量比较，求得两个法兰盘法向量的夹角；

S405、重复S404，获取每一特征点对应的法兰盘法向量夹角，并计算所有夹角的均值，若该夹角均值小于设定的误差阈值，则手眼标定流程结束；若该夹角均值大于设定的误差阈值，则剔除最大法兰盘法向量夹角对应的特征点，并重复S401、S402，获取新的特征点并入之前保留的特征点和计算更新手眼变换矩阵及夹角均值，直到该夹角均值小于设定的误差阈值时，手眼标定流程结束。

需要说明的是，在上述步骤中，由于至少提取到四个不共面的特征点，则至少有两组法向量夹角，并计算其均值。

第三实施例

请参阅图5，本发明的第三实施例包括如下步骤：

S501，移动机械手臂末端到三维传感器视野范围内，并使其末端的法兰盘无遮挡的面向三维传感器，记录此时三维传感器获取到的法兰盘的点云信息，通过点云分割算法获得法兰盘圆面点云图，然后通过圆拟合算法得到法兰盘的圆盘中心点在三维传感器坐标系下的三维坐标值及法兰盘法向量；

S502，从机械手臂控制器中读取并记录机械手臂末端相对于机械手臂基坐标系的位置，得到法兰盘的圆盘中心点在机械手臂基坐标系下的三维坐标值及法兰盘法向量；

需要说明的是，由于本实施例中机械手臂末端与法兰盘的圆盘中心点重合，因此通过读取并记录机械手臂末端相对于机械手臂基坐标系的位置，即可得到法兰盘的圆盘中心点在机械手臂基坐标系下的三维坐标值；

S503，重复S501和S502，得到至少四组法兰盘的圆盘中心点在机械手臂基坐标系、三维传感器坐标系下的三维坐标值及法兰盘法向量，根据多组三维坐标值计算得出最优手眼转换矩阵；其中，多次提取过程所提取的法兰盘的圆盘中心点的位置不共面。

S504,利用S503中求得的手眼转换矩阵，将S501中求得的相对于三维传感器的坐标系的法兰盘法向量转换为相对于机械手臂的基坐标系的法兰盘法向量，将该通过手眼转换矩阵求得的法兰盘法向量与S502中获取的法兰盘法向量比较，求得两个法兰盘法向量的夹角；

S505、重复S504，获取每一特征点对应的法兰盘法向量夹角，并计算所有夹角的均值，若该夹角均值小于设定的误差阈值，则手眼标定流程结束；若该夹角均值大于设定的误差阈值，则剔除最大法兰盘法向量夹角对应的特征点，并重复S501、S502，获取新的特征点并入之前保留的特征点和计算更新手眼变换矩阵及夹角均值，直到该夹角均值小于设定的误差阈值，手眼标定流程结束。

需要说明的是，由于本实施例中在单次提取过程中只提取法兰盘的圆盘中心点作为特征点，也即每次只获取一个特征点；因此至少需要重复S501、S502四次，才能得到至少四组法兰盘的圆盘中心点在机械手臂基坐标系、三维传感器坐标系下的三维坐标值，然后根据所得到的至少四组坐标值，采用最小二乘法即可计算得出最优手眼转换矩阵；主要计算过程如下：

{x，y，z}设为机械手臂基坐标系，{x_c，y_c，z_c}为三维传感器采集的点云的坐标系，根据刚体变换有如下关系：

其中，

为机械手臂手眼转换矩阵。通过移动机械手臂末端4次，分别记录4组坐标值，得到如下关系：

从而推出手眼转换矩阵为：

设上述4个特征点获取的四组法兰盘法向量分别为{iⁿ，jⁿ，kⁿ}和

法向量的模均为1，根据向量夹角公式可得到4个特征点法兰盘法向量夹角为：

法兰盘法向量夹角均值为

本发明实施例提供了一种操作简单、标定精度高、适用于带法兰盘(标准末端几何参数，包括孔位、圆周等常用特征)的工业及协作机械手臂的基于三维传感器的手眼标定方法，采用现有机械手臂末端法兰盘螺纹孔或圆周等标准化几何特征解决标定点的选取问题，实现了无需进行标定中直接影响标定精度的标志点安装；采用实时反馈标定精度的方法，智能调整标定流程；具有方法简单、标定精度高、易于操作的优点，充分利用机械手臂末端的法兰盘本身的制造标准和精度，充分利用三维传感器获取的位置及方向信息，并且由于无需额外安装标定标志物和智能调整标定流程，从而大大降低了标定的物料成本及人工成本，普遍适用于常见的工业和协作机械手臂。

还需要说明的是，本发明实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域技术人员来说，本发明可有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种三维传感器与机械手臂的相对位置的标定方法，其特征在于，所述标定方法包括以下步骤：

步骤一、移动机械手臂末端到三维传感器视野范围内，并使其末端的法兰盘无遮挡的面向所述三维传感器，记录此时所述三维传感器获取到的所述法兰盘的点云信息，通过三维视觉算法提取所述法兰盘的至少一个特征点，并获取所提取到的特征点相对于所述三维传感器的坐标系的三维坐标值和法兰盘法向量；

步骤二、针对上述步骤一中所提取到的特征点，获得其相对于所述机械手臂的基坐标系的三维坐标值和法兰盘法向量；

步骤三、重复上述步骤一和步骤二，提取到多个不共面的特征点，并获取每一特征点分别相对于所述三维传感器的坐标系和所述机械手臂的基坐标系的多组三维坐标值，然后根据多组三维坐标值计算得出最优手眼转换矩阵；

步骤四、利用步骤三中求得的手眼转换矩阵，将步骤一中获得的相对于所述三维传感器的坐标系的法兰盘法向量转换为相对于所述机械手臂的基坐标系的法兰盘法向量，然后将通过手眼转换矩阵求得的法兰盘法向量与步骤二中所获取的法兰盘法向量比较，求得两个法兰盘法向量的夹角，该夹角大小可用于考察手眼标定的准确度；

步骤五、重复步骤四，获取每一特征点对应的法兰盘法向量夹角，并计算所有夹角的均值，若该夹角均值小于设定的误差阈值，则手眼标定流程结束；若该夹角均值大于所述设定的误差阈值，则剔除最大法兰盘法向量夹角所对应的特征点，并重复步骤一、二，获取新的特征点并入之前保留的特征点和计算更新手眼转换矩阵，直到该夹角均值小于所述设定的误差阈值时，手眼标定流程结束。

2.如权利要求1所述的三维传感器与机械手臂的相对位置的标定方法，其特征在于，所述步骤一中所提取的所述法兰盘的特征点为所述法兰盘的圆盘中心和/或所述法兰盘上螺纹孔的中心。

3.如权利要求2所述的三维传感器与机械手臂的相对位置的标定方法，其特征在于，当步骤一中所提取到的特征点为所述法兰盘的中心时；

所述步骤二中通过读取所述机械手臂的控制器，获得并记录所述法兰盘的中心相对于所述机械手臂的基坐标系的三维坐标值及法兰盘法向量。

4.如权利要求2所述的三维传感器与机械手臂的相对位置的标定方法，其特征在于，当步骤一中所提取到的特征点为所述法兰盘上螺纹孔的中心时；

步骤二中首先获得所述法兰盘及其螺纹孔的尺寸及相对位置，然后通过几何计算获得各螺纹孔中心相对于所述机械手臂的基坐标系的三维坐标值，而螺纹孔中心的法兰盘法向量则与法兰盘中心的法兰盘法向量重合。

5.如权利要求4所述的三维传感器与机械手臂的相对位置的标定方法，其特征在于，所述步骤二中通过结合所述机械手臂的法兰盘设计图纸获得所述法兰盘及其螺纹孔的尺寸及相对位置。

6.如权利要求1所述的三维传感器与机械手臂的相对位置的标定方法，其特征在于，在所述步骤三中，通过重复上述步骤一和步骤二，至少提取到四个不共面的特征点，并获取不共面的每一特征点分别相对于所述三维传感器的坐标系和所述机械手臂的基坐标系的多组三维坐标值；然后根据多组三维坐标值，采用最小二乘法计算得出最优手眼转换矩阵。

7.如权利要求1所述的三维传感器与机械手臂的相对位置的标定方法，其特征在于，在所述步骤五中，由于至少提取到四个不共面的特征点，则至少有两组法向量夹角，并计算其均值。

Images