CN104457566A - 一种无须示教机器人系统的空间定位方法 - Google Patents

Abstract

本发明提出一种无须示教机器人系统的空间定位方法，首先使用高速精确的三维扫描仪获取被测物的大批点云数据并生成被测物的三维模型，然后进行噪点去除、面片特征预处理、特征点提取操作，最终获得工作目标点在摄像机坐标系下的坐标；然后，使用坐标变换算法将工作目标点在摄像机坐标系下的坐标转换为机器人世界坐标系下的坐标，以便机器人工作定位使用；最后根据得到的工作目标点在世界坐标系下的坐标，以及用户输入的控制参数控制机器人工作。本发明使整个操作更加自动化、集成化和高效化，在多示教点的短时多变场合应用非常有优势。

Description

一种无须示教机器人系统的空间定位方法

技术领域

本发明涉及机器人空间定位方法研究领域，尤其是涉及一种无须示教机器人系统的空间定位方法。

背景技术

针对现代工业快速多变以及日益增长的复杂性要求，继柔性制造、计算机集成制造、精良生产及并行工程，在面向未来工业应用的生产单元中，机器人不仅被要求“不知疲倦”地进行简单重复工作，而且能作为一个高度柔性、开放并具有友好的人机交互功能的可编程、可重构制造单元融合到制造业系统中。这一能力的实现要求现阶段机器人技术整体的进步，示教技术就是其中重要的一项。机器人因为能被编程完成不同的任务而被视为柔性的自动化设备。工业机器人工作时必须准确知道工作目标点的空间位置，现有的机器人示教系统可分为三类：示教再现方式，也称为直接示教，就是指我们通常所说的手把手示教，由人直接搬动机器人的手臂对机器人进行示教，如示教盒示教或操作杆示教等；离线编程方式，基于CAD/CAM的机器人离线编程示教，是利用计算机图形学的成果，建立起机器人及其工作环境的模型，使用某种机器人编程语言，通过对图形的操作和控制，规划出机器人的作业轨迹，然后对编程的结果进行三维图形仿真，以检验编程的正确性，最后生成机器人可执行代码下载到机器人控制器中，用以控制机器人作业；基于虚拟现实方式，虚拟现实方式作为高端的人机接口，允许用户通过声、像、力以及图形等多种交互设备实时地与虚拟环境交互。根据用户的指挥或动作提升，示教或监控机器人进行复杂的作业。

传统工业机器人示教方式以其能为工业机器人工作时空间定位提供准确的数据而广泛应用，但也带来了操作耗时不便的问题，特别是在多示教点时有时候可能多达数天，这给工业机器人在短时多变的工作场合带来了很多阻碍。当前主要采用传统手动示教方式准确获取这些目标点的空间位置，同时因为每次到达一个工作目标点需要多次手动有计划地调整，当存在多个工作目标点时，需要花费较长时间，因此在短时多变的场合，传统示教所带来的时间消耗在整个应用系统中所占比重较大，极大抑制工作效率的提高。

发明内容

相比于现有技术中，传统示教所带来巨大的时间消耗，极大抑制工作效率的提高，在本发明中采用光学三维测量技术来获取数据，光学三维测量技术是使用摄像机和投影仪等光学设备非接触地获取被测物体表面形貌特征的技术。从本质上来讲，光学三维测量是一个逆向的求解方法，系统接受输入图像并从二维图像中还原被测物体的三维形貌信息。

本发明的技术方案为：

所述一种无须示教机器人系统的空间定位方法，其特征在于：采用以下步骤：

步骤1：对被测物体进行扫描测量，获得被测物体点云数据，并对被测物体点云数据进行图像处理得到对应的CAD模型，在得到的CAD模型上获取被测物体上的孔特征集；

步骤2：对步骤1获得的被测物体点云数据进行周边噪点去除，得到被测物体特征的全部点数据，再对步骤1获取的被测物体上的孔特征集之外的孔特征进行填补，最后将点云封装，得到被测物体特征面片；

步骤3：对被测特征进行预处理：对步骤2得到的特征面片进行NURBS曲面拟合，并且增大拟合孔边界特征的三角面片的个数；在孔边界特征上选取点拟合孔特征，并建立该孔特征的轴线向量，得到机器人运动所需要的位置信息；

将预处理后的特征模型导入CAD造型软件中，并采用CAD造型软件中的特征获取功能得到工作目标点在摄像机坐标系下的坐标；

步骤4：将工作目标点在三维扫描仪中摄像机坐标系下的坐标转换为在机器人世界坐标系下的坐标；

步骤4.1：工作目标点在摄像机坐标系下的坐标到工件坐标系中的坐标转换：

(1)建立工件坐标系(O_WP,X_WP,Y_WP,Z_WP)：

在标准坐标台上设定P_O、P_X和P_XY三个标定点，指定P_O为原点，P_X为工件坐标系X轴正向上一点，P_XY为XOY平面第一象限内一点，建立固定于标准坐标台的工件坐标系：

三标定点在摄像机坐标系下(O_C，X_C，Y_C，Z_C)的向量坐标为：

(2)建立摄像机坐标系(O_C,X_C,Y_C,Z_C)到工件坐标系(O_WP,X_WP,Y_WP,Z_WP)的齐次变换矩阵^CT_WP：

旋转矩阵为3*3矩阵，平移矩阵为3*1矩阵：

的三个分量为正交单位向量：

为工件坐标系X轴的单位向量，由在摄像机坐标系下的单位向量表示：

为工件坐标系Z轴的单位向量，由在摄像机坐标系下的单位向量表示：

为工件坐标系Y轴的单位向量，由在摄像机坐标系下的单位向量表示：

(3)工作目标点i在摄像机坐标系下的坐标到工件坐标系下的坐标

$\stackrel{\→}{P_{\mathrm{iWP}}}{=\left(T_{\mathrm{WP}}^C\right)}^{-1}\×{\stackrel{\→}{P}}_{\mathrm{iC}};$

步骤4.2：工作目标点在标准坐标台上的坐标到机器人世界坐标系下的坐标变换：

首先求取世界坐标系到工件坐标系的齐次变换矩阵^WT_WP，根据公式

$\stackrel{\→}{P_{\mathrm{iW}}}=\left(T_{\mathrm{WP}}^W\right)\×\stackrel{\→}{P_{\mathrm{iWP}}}$

得到工作目标点i在世界坐标系下的坐标

步骤5：根据步骤4得到的工作目标点在世界坐标系下的坐标，以及用户输入的控制参数控制机器人工作。

有益效果

本发明提出全新的基于三维扫描仪的空间位置光学测量系统，使用高速精确扫描仪快速获取被测物的点云数据，并对其在逆向工程软件中进行表面重构和面片特征预处理，为目标点的位置数据准确提取做好准备。在UG造型软件中，使用其强大的二次开发平台，设计无须示教机器人系统人机交互界面，集成目标点的位置获取、相机坐标系与机器人世界坐标系变换以及控制代码自动生成三大模块，使整个操作更加自动化、集成化和高效化，在多示教点的短时多变场合应用非常有优势。

附图说明

图1光学测量流程

图2码垛点位置获取流程

图3坐标变换示意

图4工件坐标系

图5码垛路径规划

图6控制代码自动生成原理

图7handyscan扫描仪

图8原始点云数据

图9被测特征全部点

图10填充空特征

图11特征面片

图12面片特征拟合及面片细化

图13拟合孔特征

图14轴向量的建立

图15无需示教的机器人运动系统

图16导入UG后的孔与其轴向量

图17码垛点在摄像机坐标下的坐标

具体实施方式

下面结合具体实施例描述本发明：

本实施例以工业机器人码垛工作为例来描述：

本发明提出的具有创新性的无须示教机器人系统主要分为高速精确的光学测量系统、坐标变化以及控制代码自动生成模块。首先，用户使用handyScan三维扫描仪获取被测物的大批点云数据并生成被测物的三维模型，然后进行噪点去除、面片特征预处理、特征点提取等操作，最终获得工作目标点在摄像机坐标系下的坐标；然后，使用坐标变换算法将工作目标点在摄像机坐标系下的坐标转换为机器人世界坐标系下的坐标，以便机器人工作定位使用；最后，控制代码自动生成模块根据用户输入的控制参数自动快速生成机器人工作的控制代码。整个过程对用户简便快速准确。综上所述，本发明可以分解为如下步骤：

步骤1：高速精确的光学测量获取点云数据。光学测量的基本流程如图1所示。被测物体点云数据的获取和表面重构是整个测量过程中的重点，也是后续进行具体应用的前提，被测物体特征获取的精准与否直接决定了三维重构的准确度。目前，国外部分商用光学测量系统的重构精度可达0.01mm。本实施例使用creaform公司的handyscan扫描仪，如图7所示，对工件进行扫描测量，得到被测物的点云数据。然后对被测物的点云数据进行图像处理以得到易于建模和后续坐标获取的CAD模型，在此基础之上，利用造型软件二次开发API获取被测物体上的孔特征集(圆心坐标及轴向量)，从而得到被测物目标点相对于照相机坐标系的位置关系。

步骤2：码盘点云获取。在步骤1的光学测量阶段，使用creaform公司的handyscan对工件进行扫描拍照。由于测量仪的视场范围有限，需根据被测物的大小在其表面贴上用来对测量仪所拍摄的各幅照片进行拼接的标定点，拍摄完成后测量仪自动进行拟合从而得到被测物的点云数据，将其导入相应的逆向工程软件后，对其周边噪点进行去除，得到被测特征的全部点数据。同时，由于标定点有一定直径，在测量过程中会被视为孔特征，因此需要对其进行填补操作。在此基础上，将点云进行封装，得到表征被测物真实形状的特征面片，此时得到的被测工件模型误差太大，无法直接进行测量，因此需要对被测特征进行预处理。

本实施例中，步骤1得到的点云数据如图8所示，进行周边噪点去除，得到被测特征的全部点数据如图9所示，再对孔特征进行填补操作如图10所示，然后将点云封装，得到被测物体特征面片如图11所示。

步骤3：面片特征预处理和点信息获取。在预处理阶段，针对和机器人末端执行器发生交互的特征进行拟合与抽取等操作，在本实施例中主要精确处理码垛点(孔特征)。对特征表面进行NURBS曲面拟合以使得其和被测工件表面形状完全一致，并且增大拟合孔边界特征的三角面片的个数使得边界特征的过渡更加平滑从而提高后续拟合过程的精度。根据后续机器人对码垛点位置的定位精度要求，在孔的边界特征上选取点来拟合孔特征，选取点的个数根据定位精度要求而定。在拟合孔特征之后，建立该孔特征的轴线向量，从而得到后续机器人运动所需要的位置信息，有效避免了机器人工作前的人工过多干涉的示教过程。

在预处理阶段完成后，需要将预处理模型从逆向工程软件导入到UG等CAD造型软件中以进行工作目标点(本实施例中的码垛点)的坐标获取和坐标变换算法编制，有关机器人运动过程中的参数的设置及编程实现也都依靠于该数的设置及造型软件而建立，因此需要该软件系统具有强大的二次开发接口。本实施例以UG造型软件为基础，利用其强大的开发平台(NXOPEN)建立无需示教的机器人运动系统。将预处理模型导入后，利用UG相应的特征处理功能直接获取码垛点的坐标和对应的孔特征的轴向量，生成的各孔特征点坐标。码垛点的选取可以分为自动特征识别和手动选择两种方式。自动识别的方式以被测工件的参数化特征为独立单元，通过相应的API直接得到其上的孔特征集与相应的轴向量，这种选择方式极大的提高了选择的效率，但对机器人的运动路径的规划考虑较少，而手动选择方式利用UG的Blockstyler建立点或弧选择器以达到对码垛点灵活选取的目的。

以上处理过程在逆向工程软件和造型软件中进行，需要考虑操作的复杂度问题。本方案使用Geomagic和Unigraphics为处理平台，这两个软件系统都提供了完整的宏调用能力和二次开发接口，可以编制完整的二次开发程序来满足要求，使得整个预处理过程可以在自动化程度很高的情况下进行。整个码垛点位置获取流程如图2所示。

本实施例中对步骤2得到的特征片面进行NURBS曲面拟合如图12所示，在孔边界特征选取点拟合孔特征如图13所示，并建立该孔特征的轴线向量如图14所示，从而得到机器人运动所需要的位置信息。再将预处理后的模型导入到UG等CAD造型软件中，利用其强大的开发平台(NXOPEN)建立的无需示教的机器人运动系统如图15所示，利用UG相应的特征处理API直接获取码垛点的坐标和对应的孔特征的轴向量如图16所示，获得码垛点在摄像机坐标下的坐标如图17所示。

步骤4：坐标变换。在无须示教机器人系统中，坐标变换是将工作目标点在三维扫描仪中摄像机坐标系下的坐标转换为在机器人世界坐标系下的坐标，以控制机器人到达目标点。坐标变换模块中，引进摄像机坐标系、固定于标准坐标台的工件坐标系和固定于机器人上的世界坐标系，如图3所示，标准坐标台是坐标变换的过渡参考系，并为工件坐标系的建立提供精确的基准参考。坐标变换基本原理是已知其中一个坐标系和在该坐标系下的三点坐标，获取由该三点确定的笛卡尔坐标系和已知的坐标系之间的齐次变换矩阵。

1.工作目标点在摄像机坐标系下的坐标到工件坐标系中的坐标转换

(1)建立工件坐标系(O_WP,X_WP,Y_WP,Z_WP)

如图4所示，标准坐标台上有P_O、P_X和P_XY三个标定点，指定P_O为原点，P_X为X轴正向上一点，P_XY为XOY平面第一象限内一点，工件坐标系建立完成。

三标定点在摄像机坐标系下(O_C，X_C，Y_C，Z_C)的向量坐标这些数据在测量阶段得到。

(2)建立摄像机坐标系(O_C,X_C,Y_C,Z_C)到工件坐标系(O_WP,X_WP,Y_WP,Z_WP)的齐次变换矩阵CTWP。CTWP形如公式(1)所示，旋转矩阵为3*3矩阵，平移矩阵为3*1矩阵。

由公式(2)得到。

三个分量为正交单位向量。

即为工件坐标系X轴的单位向量，经过公式(3)计算得到其在摄像机坐标系下的单位向量表示。

即为工件坐标系Z轴的单位向量，经过公式(4)计算得到其在摄像机坐标系下的单位向量表示。

即为工件坐标系Y轴的单位向量，经过公式(5)计算得到其在摄像机坐标系下的单位向量表示。

至此完成齐次变换矩阵^CT_WP的求取。

(3)工作目标点i在摄像机坐标系下的坐标到工件坐标系下的坐标

$\stackrel{\→}{P_{\mathrm{iWP}}}{=\left(T_{\mathrm{WP}}^C\right)}^{-1}\×{\stackrel{\→}{P}}_{\mathrm{iC}}---\left(6\right)$

由公式(6)可计算出工作目标点在工件坐标系下的坐标。

2.工作目标点在标准坐标台上的坐标到机器人世界坐标系下的坐标变换

整个坐标变换过程与摄像机坐标系下坐标到工件坐标系下坐标变换完全相同，因此可参考第1部分求取世界坐标系到工件坐标系的齐次变换矩阵^WT_WP。

首先，在整个坐标变换过程中，标准坐标台位置不变，保证两次坐标变换的工件坐标系完全一致。示教工业机器人末端到达工件坐标系原点P_O、X轴上一点P_X和XY平面上一点P_XY，得到P_O、P_X和P_XY三点在世界坐标系下的坐标

和

然后，逐步求取世界坐标系到工件坐标系的齐次变换矩阵，工作目标点i在工件坐标系下的坐标在世界坐标系下的坐标其关系如公式(7)所示。

$\stackrel{\→}{P_{\mathrm{iW}}}=\left(T_{\mathrm{WP}}^W\right)\×{\stackrel{\→}{P}}_{\mathrm{iWP}}---\left(7\right)$

步骤5：根据步骤4得到的工作目标点在世界坐标系下的坐标，以及用户输入的控制参数控制机器人工作。

实际中的控制过程是通过控制代码实现的，目前，控制代码的编写过程主要是由研究人员手动编写完成，本实施例中提供了一种控制代码自动生成模块，根据码垛放置点参数和码垛路径规划参数自动生成码垛控制代码，无须用户逐条编写有可能达上百行的控制代码，极大提高编程效率。其中，码垛放置点参数主要有码垛放置点位置和码垛各放置点的先后顺序，码垛路径规划参数主要有码垛路径约束点参数、码垛路径区间轨迹参数如轨迹、速度等。如图5所示为码垛路径规划的一种情况，P₂是工件抓取点，P₁是预抓取点，P₅是路径约束点，P₄是工件放置点，P₃是预放置点。码垛工作过程是抓取点到放置点，再从放置点到抓取点的多个循环过程，每个循环程序的代码结构完全一致，仅仅是运动空间点不一样，这为控制代码自动生成带来很大方便。

控制代码自动生成原理如图6所示。

循环控制代码生成模块读写码垛放置点数据文件，并生成循环控制代码，循环控制代码模块主要是控制循环层数，并每次循环前更新本次循环相关点的位置数据。

路径生成控制模块读取码垛路径规划参数，根据约束点、抓取点、预抓取点、放置点、预放置点确定一个循环的运动区间，再根据运动区间轨迹参数确定每个区间的运动轨迹和运动速度。其内三个轨迹模块由标准指令和运动数据变量组成，路径生成控制模块根据轨迹调用相关模块生成相应轨迹的控制代码。后三个模块生成的控制代码均嵌入到循环控制代码中，由此生成机器人码垛整体控制代码。

Claims (1)

1.一种无须示教机器人系统的空间定位方法，其特征在于：采用以下步骤：

步骤1：对被测物体进行扫描测量，获得被测物体点云数据，并对被测物体点云数据进行图像处理得到对应的CAD模型，在得到的CAD模型上获取被测物体上的孔特征集；

步骤2：对步骤1获得的被测物体点云数据进行周边噪点去除，得到被测物体特征的全部点数据，再对步骤1获取的被测物体上的孔特征集之外的孔特征进行填补，最后将点云封装，得到被测物体特征面片；

步骤3：对被测特征进行预处理：对步骤2得到的特征面片进行NURBS曲面拟合，并且增大拟合孔边界特征的三角面片的个数；在孔边界特征上选取点拟合孔特征，并建立该孔特征的轴线向量，得到机器人运动所需要的位置信息；

将预处理后的特征模型导入CAD造型软件中，并采用CAD造型软件中的特征获取功能得到工作目标点在摄像机坐标系下的坐标；

步骤4：将工作目标点在三维扫描仪中摄像机坐标系下的坐标转换为在机器人世界坐标系下的坐标；

步骤4.1：工作目标点在摄像机坐标系下的坐标到工件坐标系中的坐标转换：

(1)建立工件坐标系(O_WP,X_WP,Y_WP,Z_WP)：

在标准坐标台上设定P_O、P_X和P_XY三个标定点，指定P_O为原点，P_X为工件坐标系X轴正向上一点，P_XY为XOY平面第一象限内一点，建立固定于标准坐标台的工件坐标系：

三标定点在摄像机坐标系下(O_C，X_C，Y_C，Z_C)的向量坐标为：

(2)建立摄像机坐标系(O_C,X_C,Y_C,Z_C)到工件坐标系(O_WP,X_WP,Y_WP,Z_WP)的齐次变换矩阵^CT_WP：

旋转矩阵为3*3矩阵，平移矩阵为3*1矩阵：

的三个分量为正交单位向量：

为工件坐标系X轴的单位向量，由在摄像机坐标系下的单位向量表示：

为工件坐标系Z轴的单位向量，由在摄像机坐标系下的单位向量表示：

为工件坐标系Y轴的单位向量，由在摄像机坐标系下的单位向量表示：

(3)工作目标点i在摄像机坐标系下的坐标到工件坐标系下的坐标

${\stackrel{\→}{P}}_{\mathrm{iWP}}={\left(T_{\mathrm{WP}}^C\right)}^{-1}\×{\stackrel{\→}{P}}_{\mathrm{iC}};$

步骤4.2：工作目标点在标准坐标台上的坐标到机器人世界坐标系下的坐标变换：

首先求取世界坐标系到工件坐标系的齐次变换矩阵^WT_WP，根据公式

${\stackrel{\→}{P}}_{\mathrm{iW}}=\left(T_{\mathrm{WP}}^W\right)\×{\stackrel{\→}{P}}_{\mathrm{iWP}}$

得到工作目标点i在世界坐标系下的坐标

步骤5：根据步骤4得到的工作目标点在世界坐标系下的坐标，以及用户输入的控制参数控制机器人工作。