CN116309879A - 一种机器人辅助的多视角三维扫描测量方法 - Google Patents

Abstract

本发明公开了一种机器人辅助的多视角三维扫描测量方法，首先，采集棋盘格标定板图像，获取n组相机信息和对应拍摄位置的机器人姿态信息，再基于Kronecker积而无需特殊的数学工具而有效求解线性方程闭解，减少标定过程中系统噪声、计算带来的误差影响，完成初步手眼标定；然后以手眼关系矩阵为初值，根据摄影测量光束平差为优化模型，建立最小化重投影误差为代价函数，引入粒子群算法迭代对手眼关系矩阵进行优化，进一步提升了手眼标定精度，保证了点云图像的配准质量；最后，通过控制机器人运动承载双目相机在多个测量位姿下采集大型复杂零部件的单元测量点云信息，基于优化后手眼矩阵转换至同一坐标系下，完成多视角点云配准功能，以提高大型复杂零部件的三维形貌测量效率。

Description

一种机器人辅助的多视角三维扫描测量方法

技术领域

本发明属于三维形貌测量技术领域，更为具体地讲，涉及一种机器人辅助的多视角三维扫描测量方法。

背景技术

随着机械制造业现代化发展的脚步，对复杂零部件的尺寸提出了更高的要求。传统的测量方法采用三坐标测量仪或激光扫描仪等三维测量设备，不仅成本高且测量效率低。对于大型复杂零部件，其某些部位空间有限，使得检测设备的视场难以触及，从而无法完成形貌测量。

基于工业机器人的三维重建技术利用工业机器人作为运动载体，通过机器人各轴关节坐标系之间的约束来确定各视角的单元测量坐标系的位姿关系，使测量系统在保留视觉测量技术非接触、快速等特点的同时，机器人快速灵活的特性增强了整个测量系统的柔性。

目前工业机器人相关技术中，其手眼标定通过采集并记录机器人在不同运动姿态下的相机信息及机器人姿态信息，建立手眼标定方程，以及根据线性求解的封闭解等方式获取手眼关系矩阵。然而，上述方法只考虑到了最小化代数误差来计算手眼关系矩阵，完成手眼标定，并未考虑到图像噪声对手眼标定精度的影响，这就导致线性求解得到姿态关系的标定精度低，从而影响三维形貌测量的准确性和完整性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种机器人辅助的多视角三维扫描测量方法，以优化了手眼表单精度，保证多视角点云数据的配准精度，提高三维形貌测量的准确性和完整性。

为实现上述发明目的，本发明机器人辅助的多视角三维扫描测量方法，其特征在于，包括：

(1)、建立手眼标定方程

将双目相机安装于机器人末端法兰处，控制机器人运动至第i个拍摄位姿，对棋盘格标定板上一角点进行拍摄，在该拍摄位姿获得标定板图片，同时记录机器人位姿信息以及角点在相机坐标系中的位置P_i，这样对n个拍摄位姿进行拍摄，得到n组标定板图片和相对应机器人姿态信息；

根据张氏标定法获得每组标定板图片中标定板相对于相机的旋转向量R_ci和平移向量T_ci，并转换成旋转平移矩阵，即得到相机外参矩阵H_ci,i＝1,2,...,n，根据机器人位姿信息计算相对于基座的旋转向量R_gi和平移向量T_gi，得到机器人位姿矩阵H_gi,i＝1,2,...,n，其中：

对于任意两次变换拍摄位姿u,v之间相机外参矩阵、机器人位姿矩阵，建立手眼标定方程：

其中：

其中，其中，R_gu,v表示矩阵

中的旋转矩阵，T_gu,v表示矩阵/>

中的平移向量，R_cg表示手眼关系矩阵H_cg中的旋转矩阵，T_cg表示手眼关系矩阵中的平移向量，R_cu，v表示矩阵/>

的旋转矩阵，T_cu，v表示矩阵/>

中的平移向量；

(2)、利用Kronecker积将手眼标定方程转化为最小二乘问题并利用奇异值分解计算出手眼关系矩阵H_cg

建立线性方程组：

其中，I为单位矩阵，/>

表示Kronecker积，vec表示向量化操作；

将所有两次变换拍摄位姿u，v下的矩阵

按列放置，得到一个矩阵R；

对矩阵R进行奇异值分解，将得到的V矩阵即右奇异矩阵的最后一列的9个元素取出并还原成3×3矩阵形式，得到矩阵

对矩阵

进行正交化奇异值分解即/>

其中，U_R为右奇异矩阵，∑_R为奇异值矩阵，V_R为左奇异矩阵，得到手眼关系矩阵H_cg的旋转矩阵R_cg即/>

将所有两次变换拍摄位姿u，v下的矩阵(R_gu，v-I)按列放置，得到一个矩阵R_g，将所有两次变换拍摄位姿u，v下的矩阵(R_cgT_cu，v-T_gu，v)按列放置，得到一个矩阵T，

根据旋转矩阵R_cg计算得到手眼关系矩阵H_cg的平移向量T_cg：

(3)、基于最小化重投影误差优化手眼关系矩阵

3.1)、构建种群规模为K的粒子群，每个粒子的位置为p_k和速度为v_k，然后初始值化K个粒子的位置p_k和速度v_k：

p_k＝H_cg

v_k＝rand(v_min,v_max)

其中，v_min,v_max表示粒子每次迭代时设置的速度上下阈值，rand为随机取值操作，这样得到每个粒子位置初始值均为手眼关系矩阵H_cg，每个粒子速度随机取值的种群规模为K的粒子群；

3.2)、建立重投影误差代价函数作为粒子群优化算法的适应度函数：

其中，s_i为尺度因子，K为相机内参矩阵，exp[·]_3×4表示括号内矩阵左上角的3×4子矩阵，||||₂表示求二范数操作，P_j不为第i个拍摄位姿的任意一次拍摄的角点在相机坐标系中的位置；

3.3)、根据计算粒子的适应度函数值

找到各粒子当前的个体极值

位置并更新为粒子的历史最优位置/>

以及群体极值

位置即适应度函数最小粒子位置并更新为全局最优位置g^*：

3.4)、更新每个粒子的速度v_k和位置p_k：

p_k＝p_k+v_k

其中，ω为惯性因子，c₁和c₂为加速常数，然后返回步骤3.3)，直到达到设定的终止条件为止；

3.5)、将全局最优位置g^*作为优化后的手眼关系矩阵

(4)、三维形貌测量

调试所述双目相机，使其能清晰地拍摄到测量对象即需要进行测量的大型复杂零部件，使得左右相机保持在同一水平位置，并且保留一定距离，并完成双目标定；调试所述机器人，使其能承载双目相机进行三维测量任务，保证拍摄完测量对象的全貌；

在每个测量位姿进行结构光图像拍摄，并重构出测量对象的单元测量点云数据

记录测量位姿并计算得到该测量位姿机器人的位姿矩阵

其中，m为对测量对象进行三维形貌测量的测量位姿数量根据获得的单元测量点云数据/>

各视角位姿矩阵/>

以及步骤(4)得到的优化后的手眼关系矩阵/>

计算出每幅单元测量点云数据从双目相机坐标系到机器人基座坐标系的刚体变换矩阵：

将双目相机获取的单元测量点云数据转换至机器人基座统一坐标系下，得到配准后的第q个测量位姿下的单视角点云

实现多视角点云数据的配准，从而完成大型复杂零部件的三维形貌测量。

本发明的发明目的是这样实现的：

本发明机器人辅助的多视角三维扫描测量方法，首先，采集棋盘格标定板图像，获取n组相机信息和对应拍摄位置的机器人姿态信息，再基于Kronecker积而无需特殊的数学工具而有效求解线性方程闭解，减少标定过程中系统噪声、计算带来的误差影响，完成初步手眼标定；然后，以基于Kronecker积参数化方法即利用奇异值分解计算出的手眼关系矩阵为初值，根据摄影测量光束平差为优化模型，建立最小化重投影误差为代价函数，引入粒子群(PSO)算法迭代更新最佳粒子，对手眼关系矩阵进行优化，进一步提升了手眼标定精度，保证了点云图像的配准质量；最后，通过控制机器人运动承载双目相机在多个视角位姿下采集待测型复杂零部件的单元测量点云信息；基于优化后手眼矩阵将多幅点云转换至同一坐标系下，完成多视角点云配准功能，实现待测物三维形貌测量，以提高大型复杂零部件的三维形貌测量效率。

附图说明

图1是本发明机器人辅助的多视角三维扫描测量方法一种具体实施方式的流程图；

图2是第i、j次拍摄位姿变换关系示意图；

图3是手眼标定优化前后结果对比图；

图4是一单元测量点云数据示意图；

图5是多幅单元测量点云数据转换至统一坐标系示意图；

图6是三维形貌测量结果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明机器人辅助的多视角三维扫描测量方法一种具体实施方式的流程图。

在本实施例中，如图1所示，本发明机器人辅助的多视角三维扫描测量方法包括：

步骤S1：建立手眼标定方程

将双目相机安装于机器人末端法兰处，控制机器人运动至第i个拍摄位姿，对棋盘格标定板上一角点进行拍摄，在该拍摄位姿获得标定板图片，同时记录机器人位姿信息以及角点在相机坐标系中的位置P_i，这样对n个拍摄位姿进行拍摄，得到n组标定板图片和相对应机器人姿态信息。

根据张氏标定法获得每组标定板图片中标定板相对于相机的旋转向量R_ci和平移向量T_ci，并转换成旋转平移矩阵，即得到相机外参矩阵H_ci,i＝1,2,...,n，根据机器人位姿信息计算相对于基座的旋转向量R_gi和平移向量T_gi，得到机器人位姿矩阵H_gi,i＝1,2,...,n，其中：

由于n组拍摄位姿中任意两次变换拍摄位姿u,v之间，其中u,v＝1,2,...,n，并且u≠v，根据机器人基座到标定板之间的相对位姿关系H_BW固定不变，相机与机器人末端法兰之间的相对位姿关系即手眼关系矩阵H_cg固定不变，结合相机外参矩阵和机器人姿态矩阵之间的坐标转换关系，可以得到以下关系：

H_guH_cgH_cu＝H_BW＝H_BW＝H_gvH_cgH_cv

即：

H_guH_cgH_cu＝H_gvH_cgH_cv

做矩阵变化，即左右两边前后各乘以矩阵

可以得到：

即手眼标定方程：

其中：

其中，R_gu,v表示矩阵

中的旋转矩阵，T_gu,v表示矩阵/>

中的平移向量，R_cg表示手眼关系矩阵H_cg中的旋转矩阵，T_cg表示手眼关系矩阵中的平移向量，R_cu,v表示矩阵/>

的旋转矩阵，T_cu,v表示矩阵/>

中的平移向量；

令

则手眼标定方程可以表示为：

AX＝XB

由n组标定数据可以建立

个手眼标定方程。

步骤S2：利用Kronecker积将手眼标定方程转化为最小二乘问题并利用奇异值分解计算出手眼关系矩阵H_cg

基于Kronecker积的性质将待解手眼标定方程AX＝XB展开，可得齐次方程：

AX＝XB

即公式一、公式二：

其中，R_cu,v,R_cg,R_gu,v都是旋转矩阵，属于特殊正交群SO₍₃₎，在乘法上是封闭的。

对公式一进行转换计算：

R_gijR_cgI＝IR_cgR_cij

vec(R_gu.vR_cgI)＝vec(IR_cgR_cu,v)

得：

其中，I为单位矩阵，

表示Kronecker积，vec表示向量化操作；

于是，得到了一个Cx＝0形式的线性方程组，这样可以利用奇异值分解SVD将该线性方程组转换为最小二乘问题，由于：

得到如下最小二乘问题：

得：

s.t.||vec(R_cg)||₂＝1

此时，原问题转化为

其中：

并且由于约束条件||y||₂＝1，因此y＝[0 0...1]^T是最小解，即Cx＝0的解是V的最后一列：

因此，本发明中计算手眼关系矩阵H_cg为：

首先，建立线性方程组：

其中，I为单位矩阵，/>

表示Kronecker积，vec表示向量化操作；

然后，将所有两次变换拍摄位姿u,v下的矩阵

按列放置，得到一个矩阵R，然后利用奇异值分解计算出手眼关系矩阵H_cg：

然后，对矩阵R进行奇异值分解，将得到的V矩阵即右奇异矩阵的最后一列的9个元素取出并还原成3×3矩阵形式，得到矩阵

然后，对矩阵

进行正交化奇异值分解即/>

其中，U_R为右奇异矩阵，∑_R为奇异值矩阵，V_R为左奇异矩阵，得到手眼关系矩阵H_cg的旋转矩阵R_cg即/>

于是，由公式一计算得到旋转矩阵R_cg。为了保证旋转矩阵的单位正交性，需将求解的手眼矩阵旋转部分采用Rodrigues公式正交化，以消除测量噪声的影响；其中∑_R在一定程度上能反应标定结果的好坏，良好的标定∑_R其对角元素都应该非常接近，甚至完全相等。

最后，通过上述公式二，可得：

R_gu,vT_cg+T_gu,v＝R_cgT_cu,v+T_cg

(R_gu,v-I)T_cg＝R_cgT_cu,v-T_gu,v

将所有两次变换拍摄位姿u,v下的矩阵(R_gu,v-I)按列放置，得到一个矩阵R_g，将所有两次变换拍摄位姿u,v下的矩阵(R_cgT_cu,v-T_gu,v)按列放置，得到一个矩阵T，

根据旋转矩阵R_cg计算得到手眼关系矩阵H_cg的平移向量T_cg：

T_cg＝R_g ^-1T

这样，求得相机坐标系相对于机器人末端法兰坐标系的旋转平移矩阵，即手眼关系矩阵H_cg，并以此作为PSO算法的粒子初始位置。

步骤S3：基于最小化重投影误差优化手眼关系矩阵

步骤S3.1：构建粒子群，并以手眼关系矩阵H_cg作为所有粒子的初始位置

构建种群规模为K的粒子群，每个粒子的位置为p_k和速度为v_k，然后初始值化K个粒子的位置p_k和速度v_k：

p_k＝H_cg

v_k＝rand(v_min,v_max)

其中，v_min,v_max表示粒子每次迭代时设置的速度上下阈值，rand为随机取值操作，这样得到每个粒子位置初始值均为手眼关系矩阵H_cg，每个粒子速度随机取值的种群规模为K的粒子群。

步骤S3.2：建立重投影误差代价函数作为粒子群优化算法的适应度函数：

其中，s_i为尺度因子，K为相机内参矩阵，exp[·]_3×4表示括号内矩阵左上角的3×4子矩阵，||||₂表示求二范数操作，P_j不为第i个拍摄位姿的任意一次拍摄的角点在相机坐标系中的位置。

P＝[x,y,z]^T为棋盘格标定板上一角点(棋盘格左上角原点为例)在世界坐标系W中的位置，B为机器人基座坐标系，P_j为第j次拍摄位姿g^j下位置P在相机坐标系中的位置，其关系表达式如下：

如图2所示，相应的第i次拍摄位姿gⁱ下位置P在相机坐标系中的位置为P_i。图2中，cⁱ,c^j为第i、j次拍摄位姿gⁱ、g^j下的相加坐标系。这样通过两组位姿H_gi、H_gj之间的手眼关系，可以将位置P_j坐标变换至第i次拍摄位姿下的位置P_ij，并且根据手眼关系：

H_giXH_ci＝H_cjXH_gj

整理可得位置P_ij的如下表达式：

其中，X＝H_cg。

再利用相机的标定参数可以将位置P_ij从机器人第i个位姿投影到图像上，得到图像坐标P′_ij，记P′_ij对应的第i次拍摄图像上的角点位置P_i为P_i＝[u_i,v_i,1]^T，即：

其中，s_i为尺度因子，K为相机内参矩阵，exp[·]_3×4表示括号内矩阵的3×4子矩阵。

记位置P′_ij的重投影误差为err，则位置P′_ij即角点的重投影误差为：

将角点的重投影误差表达式带入上式可得：

推广至整个标定数据集中的n组数据，可以得到重投影误差代价函数：

重投影误差代价函数err^*粒子群优化算法的适应度函数

进行迭代求解，可得优化手眼关系矩阵/>

步骤S3.3：根据计算粒子的适应度函数值

找到各粒子当前的个体极值

位置并更新为粒子的历史最优位置/>

以及群体极值

位置即适应度函数最小粒子位置并更新为全局最优位置g^*：

步骤S3.4：更新每个粒子的速度v_k和位置p_k：

p_k＝p_k+v_k

其中，ω为惯性因子，c₁和c₂为加速常数，然后返回步骤4.3)，直到达到设定的终止条件为止；

步骤S3.5：将全局最优位置g^*作为优化后的手眼关系矩阵

粒子群优化算法属于现有技术，在此不再赘述。本发明的创新在于，基于构建的重投影误差代价函数，采用粒子群优化算法对步骤S2计算出的手眼关系矩阵H_cg进行优化。这样以基于Kronecker积参数化方法计算出的手眼关系矩阵为初值，根据摄影测量光束平差为优化模型，建立最小化重投影误差为代价函数，引入粒子群(PSO)算法迭代更新最佳粒子，对旋转平移向量进行优化，进一步提升了手眼标定精度，保证了点云图像的配准质量。

步骤S4：三维形貌测量

调试所述双目相机，使其能清晰地拍摄到测量对象即需要进行测量的大型复杂零部件，使得左右相机保持在同一水平位置，并且保留一定距离，并完成双目标定；调试所述机器人，使其能承载双目相机进行三维测量任务，保证拍摄完测量对象的全貌；

在每个测量位姿进行结构光图像拍摄，并重构出测量对象的单元测量点云数据

记录测量位姿并计算得到该测量位姿机器人的位姿矩阵

其中，m为对测量对象进行三维形貌测量的测量位姿数量根据获得的单元点云数据/>

各视角位姿矩阵/>

以及步骤(4)得到的优化后的手眼关系矩阵/>

计算出每幅单元点云数据从双目相机坐标系到机器人基座坐标系的刚体变换矩阵：

将双目相机获取的单元测量点云数据转换至机器人基座统一坐标系下，得到配准后的第q个测量位姿下的单视角点云

实现多视角点云数据的配准，从而完成大型复杂零部件的三维形貌测量。

通过控制机器人运动承载双目相机在多个视角位姿下采集待测物零部件的单元测量点云信息；基于优化后手眼矩阵将多幅点云转换至同一坐标系下，完成多视角点云配准功能，实现待测物三维形貌测量，以提高大型复杂零部件的三维形貌测量效率。

实施例

在实施例中，所使用的作为大型复杂零部件的试件样本尺寸大小为600mm×450mm×200mm，需要从多个测量位姿进行单元测量点云数据采集，所用标定板为8×11，15mm标准的黑白棋盘格标定板。

在采集过程中，由操作员控制机器人带动双目相机在多个视角的测量位姿下完成试件样本的左右相机的结构光图像采集，并且为了保证试件样本被拍摄范围完整，考虑相邻测量单元的拍摄范围之间有部分重叠区域。该实施例获得了试件除底部以外的三维点云数据，实现了还原真实物件的形貌特征。

在本实施例当中，首先，控制机器人带动双目相机，在不同的9个拍摄位姿下采集了9幅像素分辨率为3000×4096的标定板图像，再通过张氏标定法解算出拍摄9幅标定板图片的相机外参矩阵的齐次表达式H_ci,i＝1,2,...,9；并记录相对应拍摄位置的机器人姿态信息，同样计算得到其机器人姿态矩阵的其次表达式H_gi,i＝1,2,...,9，然后，建立36个待解的手眼标定方程。

然后，对于待解手眼方程利用Kronecker积和Moore-Penrose逆的性质将手眼方程转化为线性代数方程组，再通过最小二乘法求解出相机坐标系相对于机器人末端法兰坐标系的旋转平移矩阵即手眼关系矩阵H_cg。本实施例中，通过Kronecker积和Moore-Penrose逆参与解算的手眼关系矩阵H_cg表达式如下：

其中，手眼关系矩阵H_cg的旋转矩阵R_cg为左上角的3×3矩阵，即：

手眼关系矩阵H_cg的平移向量T_cg为右边上角的3×1列，即

根据解算出的手眼关系矩阵H_cg，以此设置粒子群(PSO)算法搜索空间的初始位置。在本实例中，初始种群中的K个粒子位置均为H_cg，

在本实例中，优化后的手眼关系矩阵

为：

如图3所示，通过粒子群算法对手眼矩阵进行优化后，可以计算出机器人基座坐标下的标定板原点位置。对比优化前后n个拍摄位姿下的标定板原点分布，可以看出优化后的标定板原点(实心原点)较为集中，基本处于重叠状态；而优化前的标定板原点(空心原点)则较为分散。该结果证明了手眼标定结果的改善，其效果将在形貌测量中得到验证。

对于本实施例中的试件样本，需要通过移动机器人带动双目相机在多个视角的测量位姿下完成试件样本的左右相机的结构光图像采集，重建单元测量点云数据，

并记录各个视角的机器人位姿信息，得到位姿矩阵

单元测量点云数据如图4所示。

将所获得的单元点云数据和各视角位姿矩阵，通过本发明提出的方法获得的手眼关系矩阵，计算出每幅单元点云数据从双目相机坐标系到机器人基座坐标系的刚体变换矩阵：

如图5所示，通过刚体变换实现了将获取的多幅单元测量点云数据转换至统一坐标系下，且整体点云在变换过程中保持其原始形状而不失真。

在本实施例中，以试件样本作为大型复杂零部件的三维形貌测量结果如图6所示，在本次测量中获得了除试件样本底部以外的整体点云数据，将多幅单元测量点云数据通过本发明提出的方法，实现了点云配准功能。所得到的整体点云表现出了试件样本的完整形貌，贴近试件的真实尺寸。同时，在整个测量过程中，没有使用人为标记点作为特征进行点云配准，很大程度上提高了整体测量任务的效率。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术邻域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术邻域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种机器人辅助的多视角三维扫描测量方法，其特征在于，包括：

(1)、建立手眼标定方程

将双目相机安装于机器人末端法兰处，控制机器人运动至第i个拍摄位姿，对棋盘格标定板上一角点进行拍摄，在该拍摄位姿获得标定板图片，同时记录机器人位姿信息以及角点在相机坐标系中的位置P_i，这样对n个拍摄位姿进行拍摄，得到n组标定板图片和相对应机器人姿态信息；

根据张氏标定法获得每组标定板图片中标定板相对于相机的旋转向量R_ci和平移向量T_ci，并转换成旋转平移矩阵，即得到相机外参矩阵H_ci,i＝1,2,...,n，根据机器人位姿信息计算相对于基座的旋转向量R_gi和平移向量T_gi，得到机器人位姿矩阵H_gi,i＝1,2,...,n，其中：

对于任意两次变换拍摄位姿u,v之间相机外参矩阵、机器人位姿矩阵，建立手眼标定方程：

其中：

其中，R_gu,v表示矩阵

中的旋转矩阵，T_gu,v表示矩阵/>

中的平移向量，R_cg表示手眼关系矩阵H_cg中的旋转矩阵，T_cg表示手眼关系矩阵中的平移向量，R_cu,v表示矩阵

的旋转矩阵，T_cu,v表示矩阵/>

中的平移向量；

(2)、利用Kronecker积将手眼标定方程转化为最小二乘问题并利用奇异值分解计算出手眼关系矩阵H_cg

建立线性方程组：

其中，I为单位矩阵，/>

表示Kronecker积，vec表示向量化操作；

将所有两次变换拍摄位姿u,v下的矩阵

按列放置，得到一个矩阵R；

对矩阵R进行奇异值分解，将得到的V矩阵即右奇异矩阵的最后一列的9个元素取出并还原成3×3矩阵形式，得到矩阵

对矩阵

进行正交化奇异值分解即/>

其中，U_R为右奇异矩阵，∑_R为奇异值矩阵，V_R为左奇异矩阵，得到手眼关系矩阵H_cg的旋转矩阵R_cg即/>

将所有两次变换拍摄位姿u,v下的矩阵(R_gu,v-I)按列放置，得到一个矩阵R_g，将所有两次变换拍摄位姿u,v下的矩阵(R_cgT_cu,v-T_gu,v)按列放置，得到一个矩阵T，

根据旋转矩阵R_cg计算得到手眼关系矩阵H_cg的平移向量T_cg：

T_cg＝R_g ^-1T

(3)、基于最小化重投影误差优化手眼关系矩阵

3.1)、构建种群规模为K的粒子群，每个粒子的位置为p_k和速度为v_k，然后初始值化K个粒子的位置p_k和速度v_k：

p_k＝H_cg

v_k＝rand(v_min,v_max)

其中，v_min,v_max表示粒子每次迭代时设置的速度上下阈值，rand为随机取值操作，这样得到每个粒子位置初始值均为手眼关系矩阵H_cg，每个粒子速度随机取值的种群规模为K的粒子群；

3.2)、建立重投影误差代价函数作为粒子群优化算法的适应度函数：

其中，s_i为尺度因子，K为相机内参矩阵，exp[·]_3×4表示括号内矩阵左上角的3×4子矩阵，|| ||₂表示求二范数操作，P_j不为第i个拍摄位姿的任意一次拍摄的角点在相机坐标系中的位置；

3.3)、根据计算粒子的适应度函数值

找到各粒子当前的个体极值

位置并更新为粒子的历史最优位置/>

以及群体极值

位置即适应度函数最小粒子位置并更新为全局最优位置g^*：

3.4)、更新每个粒子的速度v_k和位置p_k：

p_k＝p_k+v_k

其中，ω为惯性因子，c₁和c₂为加速常数，然后返回步骤3.3)，直到达到设定的终止条件为止；

3.5)、将全局最优位置g^*作为优化后的手眼关系矩阵

(4)、三维形貌测量

调试所述双目相机，使其能清晰地拍摄到测量对象即需要进行测量的大型复杂零部件，使得左右相机保持在同一水平位置，并且保留一定距离，并完成双目标定；调试所述机器人，使其能承载双目相机进行三维测量任务，保证拍摄完测量对象的全貌；

在每个测量位姿进行结构光图像拍摄，并重构出测量对象的单元测量点云数据

记录测量位姿并计算得到该测量位姿机器人的位姿矩阵

其中，m为对测量对象进行三维形貌测量的测量位姿数量

根据获得的单元测量点云数据

各视角位姿矩阵/>

以及步骤(4)得到的优化后的手眼关系矩阵/>

计算出每幅单元测量点云数据从双目相机坐标系到机器人基座坐标系的刚体变换矩阵：

将双目相机获取的单元测量点云数据转换至机器人基座统一坐标系下，得到配准后的第q个测量位姿下的单视角点云

实现多视角点云数据的配准，从而完成大型复杂零部件的三维形貌测量。

Images