CN115546289A - 一种基于机器人的复杂结构件三维形貌测量方法 - Google Patents

Abstract

本发明公开了一种基于机器人的复杂结构件三维形貌测量方法，首先通过移动机器人带动双目相机在多个视角位姿下完成测量对象的左右相机图像采集，重建单视角点云数据，并记录机器人位姿信息；然后对机器人末端法兰坐标系到双目相机坐标系的转换关系进行手眼标定，进而得到双目相机坐标系到机器人基座坐标系的转换矩阵，将双目相机获取的单视角测量点云转换至统一坐标系下，完成多视角点云粗配准；最后通过ICP算法对测量点云进行精配准，实现三维形貌测量。整个过程不需在被测物体表面贴标志点，简化了点云配准过程；同时修正了手眼关系精度，可以保证多视角点云数据的粗配准精度，很大程度上提高了多视角三维形貌测量的效率。

Description

一种基于机器人的复杂结构件三维形貌测量方法

技术领域

本发明属于三维形貌测量技术领域，更为具体地讲，涉及一种基于机器人的复杂结构件三维形貌测量方法。

背景技术

多视角三维形貌测量技术指将不同时间、不同拍摄方位下获取的单视角点云数据进行匹配对齐的过程，是三维测量中十分基础且重要的问题。在实际应用中最普遍的配准方法是基于特征的配准方法，比如人工标记点，但由于运动物体、重复结构、噪声、遮挡等干扰,使得特征描述和特征匹配鲁棒性较差,配准精度较低。为了同时满足多视角点云数据采集和无标记点配准，将工业机器人作为运动载体，使测量系统在保留视觉测量技术非接触、快速等特点的同时，由于机器人快速灵活的特性增强了整个系统的柔性。

为了完成多视角三维形貌测量，需要将不同视角下的测量点云经过旋转平移等刚性变换转换至统一的坐标系下，这就需要完成测量设备坐标系到工业机器人末端法兰坐标系的手眼标定计算。工业机器人目前手眼标定的方式主要通过相机拍摄标定物体进行位姿识别，获取相机参数以及机器人姿态信息，然后进行手眼标定方程解算来实现。此类手眼标定方法得到的手眼标定精度很容易受相机和机器人精度、位姿识别精度、手眼标定方程解算方法准确度的影响，并形成累积误差。

现有的提高手眼标定精度的方法只能从标定物体位姿识别、手眼标定方程算法进行优化，但是计算的手眼关系矩阵与真实值仍有差距，达不到点云配准任务要求。因此，有必要采取一种更加切实有效的手眼关系修正方法来提高手眼标定精度，以实现更高质量的点云配准。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于机器人的复杂结构件三维形貌测量方法，以实现整个过程不需在测量对象表面贴标志点，简化点云配准过程，同时修正手眼关系精度，以保证多视角点云数据的粗配准精度，很大程度上提高多视角三维形貌测量的效率。

为实现上述发明目的，本发明基于机器人的复杂结构件三维形貌测量方法，其特征在于，包括：

(1)、通过机器人带动双目相机在多个视角位姿下完成测量对象的左右相机图像采集，重建单视角点云，并记录机器人位姿信息

1.1)、将双目相机安装于机器人末端法兰的固定器械上，使得左右相机保持在同一水平位置，并且保留一定距离；

1.2)、调试双目相机，使其能清晰地拍摄到测量对象，并调试机器人，使其能承载双目相机进行三维测量任务，保证拍摄完测量对象的全貌，并使用张氏标定法进行相机标定，对于第k,k＝1,2,...,n个机器人位姿下的测量对象，由左右相机分别拍摄一副灰度图像；

1.3)、对左右相机分别拍摄一副灰度图像，根据双目相机原理进行点云重构，得到第k机器人位姿下的单视角点云

并得到该视角机器人位姿矩阵

(2)、对机器人末端法兰坐标系到双目相机坐标系的转换关系进行手眼标定，进而得到双目相机坐标系到机器人基座坐标系的转换矩阵，将双目相机获取的单视角点云转换至统一坐标系下，完成多视角点云粗配准

2.1)、将双目相机安装于机器人末端法兰的固定器械上，控制机器人运动至拍摄视角，在该拍摄视角利用双目相机拍摄获得标定板图片，同时记录机器人位姿信息；

2.2)、重复步骤2.1)得到m组标定板图片和相对应的机器人姿态信息；

2.3)、根据张氏标定法获得每组标定板图片中标定板相对于相机的旋转向量 R_ci和平移向量T_ci，并转换成旋转平移矩阵，即得到相机外参矩阵H_ci,i＝1,2,...,m；根据机器人位姿信息计算相对于基座的旋转向量R_gi和平移向量T_gi，得到机器人位姿矩阵H_gi,i＝1,2,...,m，其中：

2.4)、由于任意两次变换拍摄位姿i,j之间，机器人基座到标定板之间的相对位姿关系即基座标定板关系矩阵H_BW固定不变，并且相机与机器人末端法兰之间的相对位姿关系，即手眼关系矩阵H_cg固定不变，有如下转换关系：

H_BW＝H_giH_cgH_ci

H_BW＝H_gjH_cgH_cj

通过相机外参矩阵H_ci,i＝1,2,...,n和机器人姿态矩阵H_gi,i＝1,2,...,m，结合机器人基座坐标系和标定板坐标系之间的固定关系，建立手眼标定方程：

AX＝XB；

其中，A＝H_gj ^-1H_gi,B＝H_cjH_ci ^-1,X＝H_cg。

并采用手眼标定函数求解该方程，求得相机坐标系相对于机器人末端法兰坐标系的旋转平移矩阵即手眼关系矩阵H_cg；

2.5)、对计算出的手眼关系矩阵H_cg进行修正，得到用于多视角点云粗配准的手眼关系矩阵

2.5.1)、用探针装置固定于机器人末端法兰上，通过五点法和示教器建立工具坐标，得到探针末端相对于机器人末端法兰坐标系的位置坐标ΔP₀，机器人带动探针移动至标定板左上角的第一个方格的四个角点正上方处，从示教器上记录此时机器人末端法兰相对于基座坐标系的坐标，不断带动探针移动到标定板的方格的四个角点正上方处，得到角点正上方处机器人末端法兰相对于基座坐标系的坐标

并且推算出标定板所有角点的真实坐标：

其中，

为第l个角点正上方处机器人末端法兰相对于基座坐标系的三维坐标，Δx₀,Δy₀,Δz₀为探针末端相对于机器人末端法兰坐标系的位置坐标，L 标定板上角点的数量，T表示转置，B表示机器人基座坐标系；

2.5.2)、在一确定的机器人位姿下拍摄并重建标定板三维点云，重建得到标定板三维点云，依次点击并获取所述标定板左上角的第一个方格的四个角点相对于双目相机坐标系的点云坐标，根据推算可以获得同所述角点真实坐标相对应的所有标定板角点的点云坐标P₁ ^l：

其中，

为点云坐标P₁ ^l的三维坐标表示，C表示双目相机坐标系；

2.5.3)、根据机器人位姿信息，得到拍摄标定板点云时的机器人位姿矩阵为 H_g，由已知的角点真实坐标P₀ ^l，得到转换至该机器人姿态的法兰坐标系下的角点坐标

其中，

为角点坐标

的三维坐标表示，G表示机器人末端法兰坐标系；由此得到一组对应点集

2.5.4)、改变机器人位姿J-1次，重复步骤2.5.2)、2.5.3)，得到J组角点真实坐标和点云坐标之间的对应点集，并重新记为

2.5.5)、令修正后的手眼关系矩阵

为：

其中，T′_cg＝[x′,y′,z′]^T为待修正的平移向量，R_cg为计算出的手眼关系矩阵H_cg的旋转矩阵；

由一组对应点集

之间的刚体变换关系，建立修正函数进行优化：

令修正函数f(P_j)＝0，分别带入各组点集

计算出J组点集对应的J个平移向量T′_cg，并求取平均值，得到修正后的平移向量

即得到最终修正后手眼标定矩阵

2.6)、根据步骤(1)重建的点云数据

和各视角位姿矩阵

以及最终修正后手眼标定矩阵

计算三维点云配准的刚体变换矩阵

其中，刚体变换矩阵

反应机器人基座坐标系到双目相机的变换关系；

由此将双目相机获取的单视角测量点云数据转换至机器人基座统一坐标系下，实现点云的粗配准：

其中，

为粗配准后的第k个位姿下的单视角点云；

(3)、通过ICP算法(迭代最近点算法)对测量点云进行精配准，实现三维形貌测量

3.1)、将相邻位姿下的两个经过粗配准的单视角点云P_{homo_point_cloud}作为ICP源点云和ICP目标点云；

3.2)、对两个单视角点云进行ICP点云配准，搜索最近对应点，经过迭代计算，求得使上述对应点对平均距离最小的刚体变换矩阵，当点云距离小于设定的阈值或者达到设定的迭代次数，则输出源点云和目标点云之间的刚体变换矩阵，并由该矩阵实现目标点云到源点云的转换，得到配准后点云；

3.3)、将上述配准后点云作为ICP源点云，其相邻位姿下的单视角点云作为目标ICP点云，再重复以上步骤，直到对所有点云完成精配准，得到重建后的测量对象三维形貌点云数据。

本发明的发明目的是这样实现的：

本发明基于机器人的复杂结构件三维形貌测量方法，首先通过移动机器人带动双目相机在多个视角位姿下完成测量对象的左右相机图像采集，重建单视角点云数据，并记录机器人位姿信息；然后对机器人末端法兰坐标系到双目相机坐标系的转换关系进行手眼标定，进而得到双目相机坐标系到机器人基座坐标系的转换矩阵，将双目相机获取的单视角测量点云转换至统一坐标系下，完成多视角点云粗配准；最后通过ICP算法对测量点云进行精配准，实现三维形貌测量。整个过程不需在被测物体表面贴标志点，简化了点云配准过程；同时修正了手眼关系精度，可以保证多视角点云数据的粗配准精度，很大程度上提高了多视角三维形貌测量的效率。

本发明的相关优点和创新性是：

(1)、本发明使用高分辨率双目相机，实现了高精度点云的重建；

(2)、本发明使用了机器人进行三维测量任务，能更大程度的重建测量对象的三维全貌；

(3)、本发明点云的粗配准中采用了无接触的配准方法，同时修正手眼标定的方法，保留更多测量物体的真实信息的同时实现了快速拼接。

附图说明

图1是本发明基于机器人的复杂结构件三维形貌测量方法一种具体实施方式的流程图；

图2是本发明实施例中的测量方式及手眼关系的示意图；

图3是本发明的计算并修正手眼标定矩阵流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于机器人的复杂结构件三维形貌测量方法一种具体实施方式的流程图。

在本实施例中，如图1所示，本发明基于机器人的复杂结构件三维形貌测量方法包括以下步骤：

1.重建单视角测量点云数据：

通过机器人带动双目相机在多个视角位姿下完成测量对象的左右相机图像采集，重建单视角点云，并记录机器人位姿信息，具体包括以下步骤：

1.1.双目相机标定

将双目相机安装于机器人末端法兰的固定器械上，使得左右相机保持在同一水平位置，并且保留一定距离。

1.2.左右相机图像采集

调试双目相机，使其能清晰地拍摄到测量对象，并调试机器人，使其能承载双目相机进行三维测量任务，保证拍摄完测量对象的全貌，并使用张氏标定法进行相机标定，，对于第k,k＝1,2,...,n个机器人位姿下的测量对象，由左右相机分别拍摄一副灰度图像。

1.3.图像处理

对左右相机分别拍摄一副灰度图像，根据双目相机原理进行点云重构，得到第k机器人位姿下的单视角点云

并得到该视角机器人位姿矩阵

2.同一点云坐标系粗匹配

对机器人末端法兰坐标系到双目相机坐标系的转换关系进行手眼标定，进而得到双目相机坐标系到机器人基座坐标系的转换矩阵，将双目相机获取的单视角点云转换至统一坐标系下，完成多视角点云粗配准，具体为：

2.1.如图2所示，将双目相机安装于机器人末端法兰的固定器械上，控制机器人运动至拍摄视角，在该拍摄视角利用双目相机拍摄获得标定板图片，同时记录机器人位姿信息。

2.2.重复步骤2.1)得到m组标定板图片和相对应的机器人姿态信息。

2.3.根据张氏标定法获得每组标定板图片中标定板相对于相机的旋转向量 R_ci和平移向量T_ci，并转换成旋转平移矩阵，即得到相机外参矩阵H_ci,i＝1,2,...,m；根据机器人位姿信息计算相对于基座的旋转向量R_gi和平移向量T_gi，得到机器人位姿矩阵H_gi,i＝1,2,...,m，其中：

2.4.由于任意两次变换拍摄位姿i,j之间，机器人基座到标定板之间的相对位姿关系即基座标定板关系矩阵H_BW固定不变，并且相机与机器人末端法兰之间的相对位姿关系，即手眼关系矩阵H_cg固定不变，有如下转换关系：

H_BW＝H_giH_cgH_ci。

H_BW＝H_gjH_cgH_cj

通过相机外参矩阵H_ci,i＝1,2,...,n和机器人姿态矩阵H_gi,i＝1,2,...,m，结合机器人基座坐标系和标定板坐标系之间的固定关系，建立手眼标定方程：

AX＝XB；

其中，A＝H_gj ^-1H_gi,B＝H_cjH_ci ^-1,X＝H_cg。

并采用手眼标定函数求解该方程，求得相机坐标系相对于机器人末端法兰坐标系的旋转平移矩阵即手眼关系矩阵H_cg。

2.5.对计算出的手眼关系矩阵H_cg进行修正，得到用于多视角点云粗配准的手眼关系矩阵

如图3所示，包括以下步骤：

2.5.1.用探针装置固定于机器人末端法兰上，通过五点法和示教器建立工具坐标，得到探针末端相对于机器人末端法兰坐标系的位置坐标ΔP₀，机器人带动探针移动至标定板左上角的第一个方格的四个角点正上方处，从示教器上记录此时机器人末端法兰相对于基座坐标系的坐标，不断带动探针移动到标定板的方格的四个角点正上方处，得到角点正上方处机器人末端法兰相对于基座坐标系的坐标

并且推算出标定板所有角点的真实坐标：

其中，

为第l个角点正上方处机器人末端法兰相对于基座坐标系的三维坐标，Δx₀,Δy₀,Δz₀为探针末端相对于机器人末端法兰坐标系的位置坐标，L 标定板上角点的数量，T表示转置，B表示机器人基座坐标系。

2.5.2.在一确定的机器人位姿下拍摄并重建标定板三维点云，重建得到标定板三维点云，依次点击并获取所述标定板左上角的第一个方格的四个角点相对于双目相机坐标系的点云坐标，根据推算可以获得同所述角点真实坐标相对应的所有标定板角点的点云坐标P₁ ^l：

其中，

为点云坐标P₁ ^l的三维坐标表示，C表示双目相机坐标系。

2.5.3.根据机器人位姿信息，得到拍摄标定板点云时的机器人位姿矩阵为H_g，由已知的角点真实坐标P₀ ^l，得到转换至该机器人姿态的法兰坐标系下的角点坐标

其中，

为角点坐标

的三维坐标表示，G表示机器人末端法兰坐标系；由此得到一组对应点集

2.5.4.改变机器人位姿J-1次，重复步骤2.5.2)、2.5.3)，得到J组角点真实坐标和点云坐标之间的对应点集，并重新记为

2.5.5.令修正后的手眼关系矩阵

为：

其中，T′_cg＝[x′,y′,z′]^T为待修正的平移向量，R_cg为计算出的手眼关系矩阵H_cg的旋转矩阵。

由一组对应点集

之间的刚体变换关系，建立修正函数进行优化：

令修正函数f(P_j)＝0，分别带入各组点集

计算出J组点集对应的J个平移向量T′_cg，并求取平均值，得到修正后的平移向量

即得到最终修正后手眼标定矩阵

2.6)、根据步骤(1)重建的点云数据

和各视角位姿矩阵

以及最终修正后手眼标定矩阵

计算三维点云配准的刚体变换矩阵

其中，刚体变换矩阵

反应机器人基座坐标系到双目相机的变换关系。

由此将双目相机获取的单视角测量点云数据转换至机器人基座统一坐标系下，实现点云的粗配准：

其中，

为粗配准后的第k个位姿下的单视角点云。

3.通过ICP算法对测量点云进行精配准，实现三维形貌测量

3.1.将相邻位姿下的两个经过粗配准的单视角点云P_{homo_point_cloud}作为ICP源点云和ICP目标点云；

3.2.对两个单视角点云进行ICP点云配准，搜索最近对应点，经过迭代计算，求得使上述对应点对平均距离最小的刚体变换矩阵，当点云距离小于设定的阈值或者达到设定的迭代次数，则输出源点云和目标点云之间的刚体变换矩阵，并由该矩阵实现目标点云到源点云的转换，得到配准后点云；

3.3.将上述配准后点云作为ICP源点云，其相邻位姿下的单视角点云作为目标ICP点云，再重复以上步骤，直到对所有点云完成精配准，得到重建后的测量对象三维形貌点云数据。

精配准为先现有技术，在此不再赘述。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术邻域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术邻域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于机器人的复杂结构件三维形貌测量方法，其特征在于，包括：

(1)、通过机器人带动双目相机在多个视角位姿下完成测量对象的左右相机图像采集，重建单视角点云，并记录机器人位姿信息

1.1)、将双目相机安装于机器人末端法兰的固定器械上，使得左右相机保持在同一水平位置，并且保留一定距离；

1.2)、调试双目相机，使其能清晰地拍摄到测量对象，并调试机器人，使其能承载双目相机进行三维测量任务，保证拍摄完测量对象的全貌，并使用张氏标定法进行相机标定，对于第k,k＝1,2,...,n个机器人位姿下的测量对象，由左右相机分别拍摄一副灰度图像；

1.3)、对左右相机分别拍摄一副灰度图像，根据双目相机原理进行点云重构，得到第k机器人位姿下的单视角点云

并得到该视角机器人位姿矩阵

(2)、对机器人末端法兰坐标系到双目相机坐标系的转换关系进行手眼标定，进而得到双目相机坐标系到机器人基座坐标系的转换矩阵，将双目相机获取的单视角点云转换至统一坐标系下，完成多视角点云粗配准

2.1)、将双目相机安装于机器人末端法兰的固定器械上，控制机器人运动至拍摄视角，在该拍摄视角利用双目相机拍摄获得标定板图片，同时记录机器人位姿信息；

2.2)、重复步骤2.1)得到m组标定板图片和相对应的机器人姿态信息；

2.3)、根据张氏标定法获得每组标定板图片中标定板相对于相机的旋转向量R_ci和平移向量T_ci，并转换成旋转平移矩阵，即得到相机外参矩阵H_ci,i＝1,2,...,m；根据机器人位姿信息计算相对于基座的旋转向量R_gi和平移向量T_gi，得到机器人位姿矩阵H_gi,i＝1,2,...,m，其中：

2.4)、由于任意两次变换拍摄位姿i,j之间，机器人基座到标定板之间的相对位姿关系即基座标定板关系矩阵H_BW固定不变，并且相机与机器人末端法兰之间的相对位姿关系，即手眼关系矩阵H_cg固定不变，有如下转换关系：

H_BW＝H_giH_cgH_ci

H_BW＝H_gjH_cgH_cj

通过相机外参矩阵H_ci,i＝1,2,…,n和机器人姿态矩阵H_gi,i＝1,2,...,m，结合机器人基座坐标系和标定板坐标系之间的固定关系，建立手眼标定方程：

AX＝XB；

其中，A＝H_gj ^-1H_gi,B＝H_cjH_ci ^-1,X＝H_cg。

并采用手眼标定函数求解该方程，求得相机坐标系相对于机器人末端法兰坐标系的旋转平移矩阵即手眼关系矩阵H_cg；

2.5)、对计算出的手眼关系矩阵H_cg进行修正，得到用于多视角点云粗配准的手眼关系矩阵

2.5.1)、用探针装置固定于机器人末端法兰上，通过五点法和示教器建立工具坐标，得到探针末端相对于机器人末端法兰坐标系的位置坐标ΔP₀，机器人带动探针移动至标定板左上角的第一个方格的四个角点正上方处，从示教器上记录此时机器人末端法兰相对于基座坐标系的坐标，不断带动探针移动到标定板的方格的四个角点正上方处，得到角点正上方处机器人末端法兰相对于基座坐标系的坐标

并且推算出标定板所有角点的真实坐标：

其中，

为第l个角点正上方处机器人末端法兰相对于基座坐标系的三维坐标，Δx₀,Δy₀,Δz₀为探针末端相对于机器人末端法兰坐标系的位置坐标，L标定板上角点的数量，T表示转置，B表示机器人基座坐标系；

2.5.2)、在一确定的机器人位姿下拍摄并重建标定板三维点云，重建得到标定板三维点云，依次点击并获取所述标定板左上角的第一个方格的四个角点相对于双目相机坐标系的点云坐标，根据推算可以获得同所述角点真实坐标相对应的所有标定板角点的点云坐标

其中，

为点云坐标

的三维坐标表示，C表示双目相机坐标系；

2.5.3)、根据机器人位姿信息，得到拍摄标定板点云时的机器人位姿矩阵为H_g，由已知的角点真实坐标

得到转换至该机器人姿态的法兰坐标系下的角点坐标

其中，

为角点坐标

的三维坐标表示，G表示机器人末端法兰坐标系；

由此得到一组对应点集

2.5.4)、改变机器人位姿J-1次，重复步骤2.5.2)、2.5.3)，得到J组角点真实坐标和点云坐标之间的对应点集，并重新记为

2.5.5)、令修正后的手眼关系矩阵

为：

其中，

为待修正的平移向量，R_cg为计算出的手眼关系矩阵H_cg的旋转矩阵；

由一组对应点集

之间的刚体变换关系，建立修正函数进行优化：

令修正函数f(P_j)＝0，分别带入各组点集

计算出J组点集对应的J个平移向量T′_cg，并求取平均值，得到修正后的平移向量

即得到最终修正后手眼标定矩阵

2.6)、根据步骤(1)重建的点云数据

和各视角位姿矩阵

以及最终修正后手眼标定矩阵

计算三维点云配准的刚体变换矩阵

其中，刚体变换矩阵

反应机器人基座坐标系到双目相机的变换关系；

由此将双目相机获取的单视角测量点云数据转换至机器人基座统一坐标系下，实现点云的粗配准：

其中，

为粗配准后的第k个位姿下的单视角点云；

(3)、通过ICP算法(迭代最近点算法)对测量点云进行精配准，实现三维形貌测量

3.1)、将相邻位姿下的两个经过粗配准的单视角点云P_{homo_point_cloud}作为ICP源点云和ICP目标点云；

3.2)、对两个单视角点云进行ICP点云配准，搜索最近对应点，经过迭代计算，求得使上述对应点对平均距离最小的刚体变换矩阵，当点云距离小于设定的阈值或者达到设定的迭代次数，则输出源点云和目标点云之间的刚体变换矩阵，并由该矩阵实现目标点云到源点云的转换，得到配准后点云；

3.3)、将上述配准后点云作为ICP源点云，其相邻位姿下的单视角点云作为目标ICP点云，再重复以上步骤，直到对所有点云完成精配准，得到重建后的测量对象三维形貌点云数据。

Images