CN109079787A

CN109079787A - 基于神经网络的非刚性机器人自动手眼标定方法

Info

Publication number: CN109079787A
Application number: CN201810948979.3A
Authority: CN
Inventors: 吕天予; 肖建如; 矫健; 刘铁龙
Original assignee: Shanghai Jiaao Information Technology Development Co Ltd
Current assignee: Shanghai Jiaao Information Technology Development Co Ltd
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2018-12-25
Anticipated expiration: 2038-08-20
Also published as: CN109079787B

Abstract

本发明提供了一种基于神经网络的非刚性机器人自动手眼标定方法，包括坐标系标定步骤、NDI坐标标定步骤、点集获取步骤、非全连接神经网络构建步骤、非全连接神经网络求解步骤以及参数最小化步骤；本发明通过构建神经网络并求解最有权重的方法，简单、快速、高效的完成机器人手眼标定，无需多步分别标定不同的坐标系。

Description

基于神经网络的非刚性机器人自动手眼标定方法

技术领域

本发明涉及机器人手眼标定领域，具体地，涉及一种基于神经网络的非刚性机器人自动手眼标定方法。

背景技术

随着科技的不断进步，机器人的应用领域愈加广泛，一些特定领域中还开发了特殊应用的机械臂等。但不论是机械臂还是机器人，都面临着手眼标定的问题，即视觉系统的坐标与末端执行器的坐标基准不同，这就导致了机器人视觉系统采集到的坐标数据无法直接被末端执行器接收。

因此需要一种方法将末端执行器的坐标和运动参数转换为视觉系统能够读取的信号，通常称为手眼标定算法。现有的手眼标定算法通常较为复杂，如专利文献CN104354167A公开的一种机器人手眼标定方法及装置，机器人包含机械前臂，机械前臂上设置有第一旋转轴，且机械前臂上安装有第一相机，第一旋转轴上安装有第二相机，第二相机下放置有定位圆；其中，所述手眼标定方法通过第二相机采集定位圆图像拟合圆心，控制第一旋转轴的轴心对准拟合圆心，获取第一旋转轴的机械坐标，并控制第一旋转轴在预设空间范围内多次平移，获取第一相机在每一次平移后采集的定位圆图像，进而确定预设运动模型中模型参数的值，完成机器人的手眼标定。

类似的复杂手眼标定方法对机器人的性能上限、时间分辨率以及控制精度均有着不利的影响。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于神经网络的非刚性机器人自动手眼标定方法。

根据本发明提供的一种基于神经网络的非刚性机器人自动手眼标定方法，包括如下步骤：

坐标系标定步骤：以位于机器人主体的任一固定点作为原点建立空间直角坐标系并记为机器人坐标系，以位于红外定位装置NDI主体的任一固定点作为原点建立空间直角坐标系并记为NDI坐标系，以工具上的任一固定点作为原点建立空间直角坐标系并记为TCP坐标系；其中，所述工具设置在机器人上，TCP的位置和方向能够被机器人记录并输出；

NDI坐标标定步骤：标定NDI坐标系下工具尖端的位置；

点集获取步骤：采集m组点集，其中m为不小于8的整数；每组点集分别包括NDI坐标系下工具尖端的位置矩阵P_ndi和获取时刻机器人坐标系下TCP的位置旋转矩阵M_robot，并且：

将TCP坐标系下工具尖端的位置矩阵记为P_robot，将机器人坐标系转换到NDI坐标系的转换矩阵记为M_robot3ndi，并且：

则上述矩阵满足第一条件，所述第一条件为：

即：

非全连接神经网络构建步骤：根据第一条件构建非全连接神经网络。

优选地，本发明提供的的基于神经网络的非刚性机器人自动手眼标定方法，还包括如下步骤：

非全连接神经网络求解步骤：求解非全连接神经网络的前向传播；

参数最小化步骤：利用非全连接神经网络的反向传播最小化非全连接神经网络求解步骤的结果，得到最优解的权重即为机器人坐标系转换到NDI坐标系的转换矩阵。

优选地，所述非全连接神经网络构建步骤中，构建的非全连接神经网络包括输入层、第一权重层、第二权重层以及输出层；

所述输入层包括m组输入数据，每一组输入数据分别为对应的M_robot矩阵列排列得到的16×1的矩阵，即输入层包括一个m×16的第一矩阵A₁；

所述第一权重层的权重包括P_robot，第一权重层为共享权重层；

所述第二权重层的权重包括4×4全联通神经网络，即M_robot2ndi，第二权重层为隐藏层；

所述输出层包括P_ndi。

优选地，所述非全连接神经网络求解步骤包括如下子步骤：

步骤41：以m为神经网络中的batchsize，将输入层的m×16的第一矩阵A₁转换为m×4×4的第二矩阵A₂；

步骤42：计算隐藏层m×4的第三矩阵A₃：

A₃＝A₂×P_robot

即：

步骤43：计算第四矩阵A₄：

A₄＝M_robot2ndi×A₃′

即：

步骤44：计算deltaY：

deltaY＝(M_robot2ndi′×A₃′-y′)′

其中，上标′表示矩阵的转置，y为P_ndi的集合，deltaY为m×4的矩阵；

步骤45：计算第五矩阵A₅：

A₅＝deltaY×deltaY′

步骤46：计算代价函数costfunction：

其中，tr为第五矩阵A₅的迹。

优选地，所述参数最小化步骤包括如下子步骤：

步骤51：计算delta3和deltaY：

delta3＝deltaY＝(M_robot2ndi′×A₃′-y′)′

其中，delta3为m×4的矩阵；

步骤52：计算第二权重层权重的偏导数grad2：

其中，grad2为4×4的矩阵；

步骤53：计算第二权重层的delta值delta2：

delta2＝delta3×M_robot2ndi′

步骤54：分别计算P_x、P_y以及P_z三个参数的偏导gradP_x、gradP_y以及gradP_z；

步骤55：设置常数1的偏导grad1为0：

grad1＝0

步骤56：根据以上计算结果，通过牛顿法/和或梯度下降法，解出非全连接神经网络的最优解，该最优解的权重即为机械臂末端坐标系下尖端的坐标和从机械臂到NDI坐标系的矩阵变换。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供的基于神经网络的非刚性机器人自动手眼标定方法具有信息采集简单快速的优点；

2、本发明提供的基于神经网络的非刚性机器人自动手眼标定方法计算过程简单快速，无需多步分别标定不同的坐标系。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的基于神经网络的非刚性机器人自动手眼标定方法中非全连接神经网络的示意图

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

NDI坐标标定步骤：标定NDI坐标系下工具尖端的位置；

将TCP坐标系下工具尖端的位置矩阵记为P_robot，将机器人坐标系转换到NDI坐标系的转换矩阵记为M_robot2ndi，并且：

则上述矩阵满足第一条件，所述第一条件为：

P_ndi＝M_robot2ndi×M_robot×P_robot

即：

所述非全连接神经网络构建步骤中，构建的非全连接神经网络包括输入层、第一权重层、第二权重层以及输出层；

所述输出层包括P_ndi。

具体地，所述非全连接神经网络求解步骤包括如下子步骤：

步骤42：计算隐藏层m×4的第三矩阵A₃：

A₃＝A₂×P_robot

即：

步骤43：计算第四矩阵A₄：

A₄＝M_robot2ndi×A₃′

即：

步骤44：计算deltaY：

deltaY＝(M_robot2ndi′×A₃′-y′)′

步骤45：计算第五矩阵A₅：

A₅＝deltaY×deltaY′

步骤46：计算代价函数costfunction：

其中，tr为第五矩阵A₅的迹；且A₁、A₂、A₃、A₄以及A₅本质上为三维数组。

所述参数最小化步骤包括如下子步骤：

步骤51：计算delta3和deltaY：

delta3＝deltaY＝(M_robot2ndi′×A₃′-y′)′

其中，delta3为m×4的矩阵；

步骤52：计算第二权重层权重的偏导数grad2：

其中，grad2为4×4的矩阵；

步骤53：计算第二权重层的delta值delta2：

delta2＝delta3×M_robot2ndi′

步骤55：设置常数1的偏导grad1为0：

grad1＝0

更具体地，本发明提供的基于神经网络的非刚性机器人自动手眼标定方法，能够适用于包括红外定位装置(NDI)和机械臂(URRobot)的系统，其中红外定位装置可以根据反光球来定位工具在空间中的位置和方向，机械臂可以提供机器人TCP末端的位置和方向；

进一步地，点集获取步骤结束后，存在M₁₁至M₄₄16个未知数，加上P_x、P_y以及P_z3个未知数，共计19个未知数，其余均为有多组数据，如果展开后可知为二次非线性方程组，求解困难，故构建神经网络。非全连接神经网络构建步骤结束后，传统的手眼标定问题事实上就转变为了求解神经网络最优权重的问题。参数最小化步骤中，为了优化costfunction，要求解costfunction对每个变量的偏导数。由于第一权重层权重参数共享且非连通的关系，求解反向传播中略有不同。第二权重层权重的偏导求法则与传统算法没有不同。

更进一步地，对本申请中TCP相关信息和batchsize相关信息说明如下：

为了描述一个刚体在空间的位姿，需在物体上固连一个坐标系，然后确定该坐标系位姿(原点位置和三个坐标轴姿态)，即需要6个自由度来完整描述该刚体的位姿。对于工业机器人，需要在末端法盘安装工具(Tool)来进行作业。为了确定该工具(Tool)的位姿，在Tool上绑定一个工具坐标系TCS(Tool Coordinate System)，TCS的原点就是TCP(ToolCenter Point，工具中心点)。

batchsize代表在做随机梯度下降时，使用批梯度的数量，即每次使用batchsize个数据来更新参数。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims

1.一种基于神经网络的非刚性机器人自动手眼标定方法，其特征在于，包括如下步骤：

坐标系标定步骤：以位于机器人主体的任一固定点作为原点建立空间直角坐标系并记为机器人坐标系，以位于红外定位装置NDI主体的任一固定点作为原点建立空间直角坐标系并记为NDI坐标系，以工具上的任一固定点作为原点建立空间直角坐标系并记为TCP坐标系；其中，所述工具设置在机器人上，TCP的位置和方向能够被机器人记录并输出。

2.根据权利要求1所述的基于神经网络的非刚性机器人自动手眼标定方法，其特征在于，还包括：

NDI坐标标定步骤：标定NDI坐标系下工具尖端的位置；

则上述矩阵满足第一条件，所述第一条件为：

P_ndi＝M_robot2ndi×M_robot×P_robot

即：

非全连接神经网络构建步骤：根据第一条件构建非全连接神经网络；

所述基于神经网络的非刚性机器人自动手眼标定方法，还包括如下步骤：

3.根据权利要求1或2所述的基于神经网络的非刚性机器人自动手眼标定方法，其特征在于，所述非全连接神经网络构建步骤中，构建的非全连接神经网络包括输入层、第一权重层、第二权重层以及输出层；

所述输出层包括P_ndi。

4.根据权利要求2所述的基于神经网络的非刚性机器人自动手眼标定方法，其特征在于，所述非全连接神经网络求解步骤包括如下子步骤：

步骤42：计算隐藏层m×4的第三矩阵A₃：

A₃＝A₂×P_robot

即：

步骤43：计算第四矩阵A₄：

A₄＝M_robot2ndi×A₃′

即：

步骤44：计算deltaY：

deltaY＝(M_robot2ndi′×A₃′-y′)′

步骤45：计算第五矩阵A₅：

A₅＝deltaY×deltaY′

步骤46：计算代价函数costfunction：

其中，tr为第五矩阵A₅的迹。

5.根据权利要求2所述的基于神经网络的非刚性机器人自动手眼标定方法，其特征在于，所述参数最小化步骤包括如下子步骤：

步骤51：计算delta3和deltaY：

delta3＝deltaY＝(M_robot2ndi′×A₃′-y′)′

其中，delta3为m×4的矩阵；

步骤52：计算第二权重层权重的偏导数grad2：

其中，grad2为4×4的矩阵；

步骤53：计算delta2：

delta2＝delta3×M_robot2ndi′

步骤55：设置常数1的偏导grad1为0：

grad1＝0

6.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。