CN113799137B - 一种基于神经网络的移动加工机器人快速视觉定位方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的移动加工机器人快速视觉定位方法，包括四个部分：(一)基于视觉测量建立工件坐标系‑机器人基坐标系的运动链传递模型；(二)建立机器人驱动关节变量与工件位姿偏差的映射模型；(三)基于映射模型，测量数据并计算工件位姿偏差；(四)基于神经网络模型完成机器人工件位姿偏差数据的拟合、预测及补偿工件位姿，实现移动加工机器人快速视觉定位。本发明采用神经网络来预测机器人测量位形与视觉测量的工件位姿偏差的映射关系，能够对任意位形下视觉测量确定的工件位姿进行校正，实现移动加工机器人快速视觉定位，进而有利于提高视觉测量系统的精度。

Description

一种基于神经网络的移动加工机器人快速视觉定位方法

技术领域

本发明涉及移动加工机器人快速视觉定位技术，尤其涉及一种基于神经网络的移动加工机器人快速视觉定位方法，属于机器人领域。

背景技术

以工业机器人为核心，配备测量系统辅助定位的移动加工机器人工作站是大型复杂构件加工的有效途径，要使移动加工机器人顺利完成复杂构建的加工，其中重要的一步就是机器人定位，即建立移动加工机器人基座-工件位姿关系。

目前，激光跟踪仪作为测量系统定位的方法最为常见，通过激光跟踪仪测量直接建立工件坐标系相对机器人基坐标系的齐次变换矩阵，得到工件位姿，实现移动加工机器人定位。这种方法存在局限性：激光跟踪仪测量大型复杂构件时容易出现光路遮挡问题，需要安置多台激光跟踪仪或采用单台多测站方式，总体而言成本较高，效率较低。相比于激光跟踪仪，三维视觉传感器测量精度适中，并采用非接触式测量，能够快速测量确定移动加工机器人基座-工件位姿关系。三维视觉传感器测量具备效率高、成本低、易于机器人集成等优势，能有效解决上述问题。

但是机器人在完成标定后仍存在残余误差，而在此基础上完成的手眼标定受此影响也会存在误差，最终可能导致三维视觉传感器测量工件上的靶点也存在误差。相比于使用激光跟踪仪直接测量的方式，基于视觉测量及运动链传递的方法需要经过多个运动链传递，受到多个环节的误差累计影响，造成最终的移动加工机器人基座-工件位姿关系存在偏差。因此，必须在运动链传递过程中设置偏差校正环节，使得最终视觉测量确定的移动加工机器人基座-工件位姿关系尽量接近激光跟踪仪直接测量的结果。

发明内容

本发明针对现有技术的不足，提供一种基于神经网络的移动加工机器人快速视觉定位方法，其特征在于：首先，基于视觉测量建立工件坐标系-机器人基坐标系的运动链传递模型；其次，以激光跟踪仪的测量结果为参考值，建立机器人驱动关节变量与工件位姿偏差的映射模型；然后，基于映射模型，测量数据并计算工件位姿偏差；最后，基于神经网络模型完成机器人工件位姿偏差的预测及补偿，完成移动加工机器人快速视觉定位。

为了解决上述技术问题，本发明提出的一种基于神经网络的移动加工机器人快速视觉定位方法，包括以下步骤：

步骤一、基于视觉测量建立工件坐标系-机器人基坐标系的运动链传递模型：

1-1)采用视觉测量确定机器人-工件位姿过程中，包含的四个坐标系是：机器人基坐标系{B}，机器人末端坐标系{E}，视觉传感器坐标系{S}和工件坐标系{W}；

1-2)以表示工件坐标系到视觉传感器坐标系的坐标转换关系，通过三维视觉传感器测量特征点获得/>

1-3)以表示视觉传感器坐标系到机器人末端坐标系的坐标变换关系，通过手眼标定获得/>

1-4)以表示机器人末端坐标系到机器人基坐标系的坐标变换关系，通过机器人内部的控制器算法得到/>该/>用机器人驱动关节变量表示；

通过由工件坐标系{W}到视觉传感器坐标系{S}、视觉传感器坐标系{S}到机器人末端坐标系{E}及机器人末端坐标系{E}到机器人基坐标系{B}的依次传递，由视觉测量确定工件坐标系相对机器人基坐标系的齐次变换矩阵表示为：

式(1)即为基于视觉测量建立工件坐标系-机器人基坐标系的运动链传递模型；

步骤二、建立机器人驱动关节变量与工件位姿偏差的映射模型：

以激光跟踪仪确定的工件坐标系作为基准值，通过式(1)所述运动链传递模型视觉测量确定的工件位姿/>作为观测值，两者偏差表示为

式(2)中，表示相比于激光跟踪仪直接测量的方式，基于视觉测量确定的工件位姿的偏差，I表示四阶单位矩阵；

基于式(1)，对于任意一个视觉测量位形，工件坐标系相对于机器人基坐标系的转换关系表示为

式(3)中，下标i表示第i个机器人位型；将式(3)代入式(2)整理可得：

进一步整理可得视觉测量下工件位姿的偏差与机器人驱动关节变量的关系：

式(5)即为机器人驱动关节变量与工件位姿偏差的映射模型，式(5)中，表示第i个机器人测量位形下基于视觉测量确定的工件坐标系的位姿偏差，q表示对应的机器人驱动关节向量；/>表示第i个测量位形的机器人驱动关节变量对应的机器人末端坐标系到机器人基坐标系的坐标变换；

步骤三、基于所述映射模型，测量和计算工件位姿偏差：

3-1)固定移动加工机器人，使用激光跟踪仪测量建立工件坐标系相对机器人基坐标系的齐次变换矩阵并作为参考值；

3-2)在第j个机器人视觉测量位形，采集视觉测量数据从机器人控制系统读取当前驱动关节变量q_j＝(q₁ q₂ … q_n)，通过机器人运动学得到机器人末端坐标系相对机器人基坐标系的齐次变换矩阵/>

3-3)代入手眼矩阵将上述计算结果代入式(5)，从而确定当前测量位形对应的工件位姿偏差与机器人驱动关节变量的关系：

步骤四、基于神经网络模型完成机器人工件位姿偏差的预测及补偿：

4-1)将得到的每个测量位形的机器人驱动关节变量、对应的工件位姿的偏差作为一组样本数据，归一化处理样本数据，并划分为训练样本和测试样本；

4-2)建立与所述机器人工件位姿偏差拟合的神经网络模型，该神经网络模型包括输入层、隐含层和输出层；

4-3)在设定范围内遍历隐含层节点数，构造具有不同隐含层结构的网络模型，利用训练样本对各网络模型进行训练，选择预测精度最高的网络结构及网络参数作为机器人工件位姿偏差预测模型；

4-4)采用所述机器人工件位姿偏差预测模型对机器人非训练位形的工件位姿偏差值进行预测，并使用预测得到的工件位姿偏差值校正工件位姿。

与现有技术相比，本发明的有益效果是：

采用神经网络来预测机器人测量位形与视觉测量的工件位姿偏差的映射关系，能够对任意位形下视觉测量确定的工件位姿进行校正，实现移动加工机器人快速视觉定位，进而有利于提高视觉测量系统的精度。

附图说明

图1是本发明中基于视觉确定工件位姿的坐标系示意图；

图2是本发明中基于神经网络模型结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。

本发明提出的一种基于神经网络的移动加工机器人快速视觉定位方法，包括以下步骤：

步骤一、基于视觉测量建立工件坐标系-机器人基坐标系的运动链传递模型，具体步骤如下：

(1-1)如图1所示，采用视觉测量确定机器人-工件位姿过程中，包含的四个坐标系是：机器人基坐标系{B}，机器人末端坐标系{E}，视觉传感器坐标系{S}和工件坐标系{W}。

其中，坐标系之间转换定义如下：为工件坐标系相对视觉传感器坐标系的齐次变换矩阵；/>为视觉传感器坐标系相对机器人末端坐标系的齐次变换矩阵；/>为机器人末端坐标系相对机器人基坐标系的齐次变换矩阵；/>为基于视觉测量确定的工件坐标系相对机器人基坐标系的齐次变换矩阵。

(1-2)令表示工件坐标系相对视觉传感器坐标系的齐次变换矩阵，可以通过三维视觉传感器测量特征点坐标，并以此构造工件坐标系相对于视觉传感器坐标系的齐次变换矩阵，即以/>表示工件坐标系到视觉传感器坐标系的坐标转换关系，可以通过三维视觉传感器测量特征点坐标，并以此构造工件坐标系相对于视觉传感器坐标系的齐次变换矩阵

(1-3)令表示视觉传感器坐标系相对机器人末端坐标系的齐次变换矩阵，可通过机器人离线手眼标定来确定为常数矩阵，即以/>表示视觉传感器坐标系到机器人末端坐标系的坐标变换关系，通过手眼标定获得/>

(1-4)令表示机器人末端坐标系相对机器人基坐标系的齐次变换矩阵，通过机器人内部的控制器算法得到，可以用机器人驱动关节变量表示，以/>表示机器人末端坐标系到机器人基坐标系的坐标变换关系，通过机器人内部的控制器算法得到/>该/>可以用机器人驱动关节变量表示。

通过上述三个环节依次传递，即依次由工件坐标系{W}到视觉传感器坐标系{S}、视觉传感器坐标系{S}到机器人末端坐标系{E}及机器人末端坐标系{E}到机器人基坐标系{B}传递，由视觉测量确定工件坐标系相对机器人基坐标系的齐次变换矩阵可表示为

该式即为基于视觉测量建立工件坐标系-机器人基坐标系的运动链传递模型。

步骤二、建立机器人驱动关节变量与工件位姿偏差的映射模型

给定移动加工机器人固定位置，工件坐标系相对与机器人基坐标系的齐次变换矩阵固定，可以通过激光跟踪仪直接测量，或者通过步骤一所述的运动链传递确定。

注意到机器人在完成标定后仍存在残余误差，而在此基础上完成的手眼标定受此影响也会存在误差，最终可能导致三维视觉传感器测量工件上的靶点也存在误差。基于视觉测量及运动链传递的方法需要经过多个运动链传递，受到多个环节的误差累计影响，造成最终的机器人-工件的位姿关系存在偏差。因此，需要在运动链传递中设置偏差校正环节，使得最终工件位姿尽量接近激光跟踪仪测量所确定的工件位姿。

以激光跟踪仪确定的工件坐标系作为基准值，通过式(1)所述运动链传递模型视觉测量确定的工件位姿/>作为观测值，两者偏差表示为

式(2)中，表示相比于激光跟踪仪直接测量的方式，基于视觉测量确定的工件位姿的偏差，I表示四阶单位矩阵；

其具体形式为

式中，表示对应姿态偏差的反对称矩阵，/>为/>的姿态偏差向量，/>为/>的位置偏差向量。

基于式(1)，对于任意一个视觉测量位形，工件坐标系相对于机器人基坐标系的转换关系的齐次变换矩阵可以表示为

式(3)中，下标i表示第i个机器人位型；将式(3)代入式(2)整理可得：

进一步整理可得视觉测量下工件位姿的偏差与机器人驱动关节变量的关系：

式(5)即为机器人驱动关节变量与工件位姿偏差的映射模型，式(5)中，表示第i个机器人测量位形下基于视觉测量确定的工件坐标系的位姿偏差，q表示对应的机器人驱动关节向量；/>表示第i个测量位形的机器人驱动关节变量对应的机器人末端坐标系到机器人基坐标系的坐标变换。

步骤三、基于所述映射模型，测量和计算工件位姿偏差，具体步骤如下：

(3-1)固定移动加工机器人，确保工件特征点在视觉传感器的可测量范围内，工件上需设置三个及以上的靶点，并确保靶点不在同一直线上，激光跟踪仪测量工件坐标系上的靶点坐标，并建立工件坐标系。使用激光跟踪仪测量拟合机器人基坐标，最终建立工件坐标系相对机器人基坐标系的齐次变换矩阵并作为参考值。

(3-2)在第j个机器人视觉测量位形，视觉传感器采集工件上靶点的坐标，建立工件坐标系相对视觉传感器的齐次变换矩阵采集视觉测量数据从机器人控制系统读取当前驱动关节变量q_j＝(q₁ q₂ … q_n)，通过机器人运动学得到机器人末端坐标系相对机器人基坐标系的齐次变换矩阵/>

(3-3)代入手眼矩阵将上述计算结果代入式(5)，从而可确定当前测量位形对应的工件位姿偏差与机器人驱动关节变量的关系：

重复上述(3-2)和(3-3)步骤，可以获取多个视觉测量位形下，机器人驱动关节变量与工件位姿偏差的映射关系。

步骤四、基于神经网络模型完成机器人工件位姿偏差的预测及补偿，具体步骤如下：

(4-1)将得到的每个测量位形的机器人驱动关节变量、对应的工件位姿的偏差作为一组样本数据，归一化处理样本数据，并划分为训练样本和测试样本。

具体地，根据步骤三所述采集样本数据，得到当前机器人驱动关节变量q对应的工件位姿偏差并对数据预处理包括对采样点工件位姿偏差进行错误数据剔除操作及执行最大和最小值归一化处理

式中，x_i表示某一维度的参考值，x_max和x_min分别代表此参数的最大值和最小值，x_i为归一化后的值。

将错误数据剔除，并将归一化后样本数据按一定规则划分为训练样本和验证样本。从而得到训练集和测试集。

(4-2)建立与所述机器人工件位姿偏差拟合的神经网络模型，该神经网络模型包括输入层、隐含层和输出层，如图2所示。

具体地，神经网络相邻节点间采用全连接，通过误差反向传播算法进行网络参数调整。该神经网络的输入层表示所述机器人驱动关节变量q_i＝(q₁ q₂ … q_n)，输入层节点数量等于机器人关节参数的数量。该神经网络的输出层表示所述机器人工件位姿偏差输出层节点数量设置为6，其中前三项表示工件坐标系相对机器人基坐标系的位置偏差/>后三项表示姿态偏差/>

该神经网络隐含层节点数由问题及样本数据特性等因素决定。参考经验法来确定最佳隐含层节点数的范围

式中，n和m分别是输入层和输出层节点数；常数a＝{1,2,…,10}。在取值范围内，最佳隐含层节点数通过反复试验来确定。

(4-3)在设定范围内遍历隐含层节点数，构造具有不同隐含层结构的网络模型，利用训练样本对各网络模型进行训练，选择预测精度最高的网络结构及网络参数作为机器人工件位姿偏差预测模型，具体步骤如下：

网络隐含层采用Tan-sigmoid激活函数：f(x)＝2/(1+e^-2x)-1；输出层采用线性激活函数：f(x)＝kx。根据网络训练要求设定网络初始权值、初始阈值、学习率、最大迭代次数等网络训练参数。

在网络训练中，以神经网络模型的输出值与样本实际值的均方根误差最小为目标，并采用基于梯度下降的BP训练算法迭代更新网络权值和阈值，直至达到最大迭代次数或者拟合效果不再提高(即上述的均方根误差不再减小)，网络训练完成。

然后进行网络性能验证，将验证集的样本数据输入训练好的神经网络，计算神经网络模型的输出值与验证集样本实际值的均方根误差，作为网络预测精度的评价指标。依次完成各神经网络模型的训练与验证，选取验证样本输出均方根误差最小的网络结构及其训练参数作为机器人工件位姿偏差的预测模型。

(4-4)采用所述机器人工件位姿偏差预测模型对机器人非训练位形的工件位姿偏差值进行预测，并使用预测得到的工件位姿偏差值校正工件位姿。

当机器人运动至工作空间任一测量位形时，将机器人的关节量归一化后输入机器人工件位姿偏差预测模型，并对网络输出结果进行反归一化，即可得到该位形下工件位姿偏差预测值。

用神经网络模型预测的工件位姿偏差来校正目标测量点的工件位姿矩阵从而快速建立工件坐标系相对于机器人基坐标系的转换关系/>

基于神经网络模型，可实现在任意测量位形下，快速建立机器人工件坐标系与机器人基坐标系之间相对准确的齐次坐标变换。

尽管上面结合附图对本发明的功能及实施流程进行了描述，但本发明并不局限于上述的具体功能和过程，上述的具体实施方式仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以采用形式多样的网络训练算法，这些均属于本发明的保护范围之内。

Claims (1)

1.一种基于神经网络的移动加工机器人快速视觉定位方法，其特征在于，包括以下步骤：

步骤一、基于视觉测量建立工件坐标系-机器人基坐标系的运动链传递模型：

1-1)采用视觉测量确定机器人-工件位姿过程中，包含的四个坐标系是：机器人基坐标系{B}，机器人末端坐标系{E}，视觉传感器坐标系{S}和工件坐标系{W}；

1-2)以表示工件坐标系到视觉传感器坐标系的坐标转换关系，通过三维视觉传感器测量特征点获得/>

1-3)以表示视觉传感器坐标系到机器人末端坐标系的坐标变换关系，通过手眼标定获得/>

1-4)以表示机器人末端坐标系到机器人基坐标系的坐标变换关系，通过机器人内部的控制器算法得到/>该/>用机器人驱动关节变量表示；

通过由工件坐标系{W}到视觉传感器坐标系{S}、视觉传感器坐标系{S}到机器人末端坐标系{E}及机器人末端坐标系{E}到机器人基坐标系{B}的依次传递，由视觉测量确定工件坐标系相对机器人基坐标系的齐次变换矩阵表示为：

式(1)即为基于视觉测量建立工件坐标系-机器人基坐标系的运动链传递模型；

步骤二、建立机器人驱动关节变量与工件位姿偏差的映射模型：

以激光跟踪仪确定的工件坐标系作为基准值，通过式(1)所述运动链传递模型视觉测量确定的工件位姿/>作为观测值，两者偏差表示为

式(2)中，表示相比于激光跟踪仪直接测量的方式，基于视觉测量确定的工件位姿的偏差，I表示四阶单位矩阵；

基于式(1)，对于任意一个视觉测量位形，工件坐标系相对于机器人基坐标系的转换关系表示为

式(3)中，下标i表示第i个机器人位型；将式(3)代入式(2)整理可得：

进一步整理可得视觉测量下工件位姿的偏差与机器人驱动关节变量的关系：

式(5)即为机器人驱动关节变量与工件位姿偏差的映射模型，式(5)中，表示第i个机器人测量位形下基于视觉测量确定的工件坐标系的位姿偏差，q表示对应的机器人驱动关节向量；/>表示第i个测量位形的机器人驱动关节变量对应的机器人末端坐标系到机器人基坐标系的坐标变换；

步骤三、基于所述映射模型，测量和计算工件位姿偏差：

3-1)固定移动加工机器人，使用激光跟踪仪测量建立工件坐标系相对机器人基坐标系的齐次变换矩阵并作为参考值；

3-2)在第j个机器人视觉测量位形，采集视觉测量数据从机器人控制系统读取当前驱动关节变量q_j＝(q₁ q₂ … q_n)，通过机器人运动学得到机器人末端坐标系相对机器人基坐标系的齐次变换矩阵/>

3-3)代入手眼矩阵将上述计算结果代入式(5)，从而确定当前测量位形对应的工件位姿偏差与机器人驱动关节变量的关系：

步骤四、基于神经网络模型完成机器人工件位姿偏差的预测及补偿：

4-1)将得到的每个测量位形的机器人驱动关节变量、对应的工件位姿的偏差作为一组样本数据，归一化处理样本数据，并划分为训练样本和测试样本；

4-2)建立与所述机器人工件位姿偏差拟合的神经网络模型，该神经网络模型包括输入层、隐含层和输出层；

4-3)在设定范围内遍历隐含层节点数，构造具有不同隐含层结构的网络模型，利用训练样本对各网络模型进行训练，选择预测精度最高的网络结构及网络参数作为机器人工件位姿偏差预测模型；

4-4)采用所述机器人工件位姿偏差预测模型对机器人非训练位形的工件位姿偏差值进行预测，并使用预测得到的工件位姿偏差值校正工件位姿。