CN112828878A - 一种大型设备对接过程三维测量与跟踪方法 - Google Patents

Abstract

本发明涉及设备对接测量技术领域，具体地说是一种大型设备对接过程中三维测量与跟踪方法，包括：步骤一：安装动态靶板和固定靶板；步骤二：建立双目视觉系统的测量初始坐标系T_CO，并将T_CO标定至全局坐标系T_R下；步骤三：构建动态靶板初始坐标系T_LO，并将T_LO与机器人工具坐标系T_tool标定获得机器人靶板坐标系T_L；步骤四：提取工件特征点；步骤五：将步骤四中的特征点转换到全局坐标系T_R下；步骤六：将步骤五变换后的特征点与步骤三中的T_L和T_tool绑定，双目视觉系统跟踪动态靶板坐标值计算特征点在全局坐标系T_R下的空间坐标；步骤七：计算指导机器人运动。本发明方便大范围测量，并通过跟踪动态靶板坐标获取机器人实时位置并指导机器人运动。

Description

一种大型设备对接过程三维测量与跟踪方法

技术领域

本发明涉及设备对接测量技术领域，具体地说是一种大型设备对接过程三维测量与跟踪方法。

背景技术

我国航天航空事业近年来发展迅猛，航天航空工业由于行业的特殊性，其产品多是大型结构件，而航空和航天两个行业又同时具有各自的行业特点，以航天工业为例，重大型号研制任务和生产交付数量屡创新高，总体呈现出型号多、批量小、整体工艺路线复杂等特点。由于航天设备的工艺特性所限，导致生产过程中出现大量的站点式加工现象，同时由于航天设备的体积大、重量大、装配复杂且装配精度要求较高，传统测量手段无法实现自动化测量，导致整个生产流程需要大量的人工参与，且大部分流程无法实现自动化。在航空工业中，大型客机多是量产型号，大型机翼和尾翼的对接装配精度要求很高，装配时机翼与机身间的相对位置关系有着严格的技术要求，由于机翼结构的特殊性及其超长的尺寸导致测量十分复杂，在装配过后其装配效果检测也十分困难。

在大型结构件装配过程中，对装配工件的约束较多，如何测量装配工件的特征点以及特征点间的相对关系是否满足约束条件是困扰大结构件对接、装配以及质检的主要问题，传统的关节臂测量受测量范围影响只能测量小结构零部件，激光跟踪仪可以进行大范围的高精度测量，但是受到棱镜反光靶球的安装方式限制，其实际特征点检测受人为影响较大。

三维激光扫描技术是最近几年国内外新兴的测量技术，多用于零部件实物与零部件模型之间的加工误差测量，也可用于三维重构逆向等工作，但是在对接装配等领域，其应用较少，其中如何解决测量设备与对接设备标定尤为关键。

发明内容

本发明的目的在于提供一种大型设备对接过程三维测量与跟踪方法，将测量坐标系与全局坐标系(机器人基坐标系)通过静态固定靶板进行坐标系统一标定，标定后双目视觉测量系统在任何位置只要能观测到固定靶板就可以进行测量，方便大范围测量，并且机器人工具坐标系与机器人末端的动态靶板标定，通过跟踪动态靶板坐标就可以获取机器人实时位置，从而可以指导机器人运动并进行闭环控制，也可对机器人绝对定位精度进行补偿。

本发明的目的是通过以下技术方案来实现的：

一种大型设备对接过程三维测量与跟踪方法，包括如下步骤：

步骤一：在机器人夹爪上安装带反光标志的动态靶板，在地面布置带反光标志的固定靶板；

步骤二：以固定靶板为基准建立双目视觉系统的测量初始坐标系T_CO，并将测量初始坐标系T_CO标定至全局坐标系(机器人坐标系)T_R下获得测量坐标系；

步骤三：使用双目视觉系统在全局坐标系T_R下构建机器人夹爪上的动态靶板初始坐标系T_LO，并将动态靶板初始坐标系T_LO与机器人工具坐标系T_tool标定获得机器人靶板坐标系T_L，T_L与T_tool重合；

步骤四：使用激光扫描设备提取工件特征点；

步骤五：将步骤四中提取的特征点转换到全局坐标系T_R下；

步骤六：将步骤五变换后的特征点与步骤三中的机器人靶板坐标系T_L绑定，并且T_L与T_tool重合，所述特征点同时与T_tool绑定，双目视觉系统通过跟踪机器人靶板坐标系T_L坐标值计算出特征点在全局坐标系T_R下的空间坐标；

步骤七：通过虚拟装配系统得到特征点的新位置时依据步骤六中的绑定特征点计算出机器人tcp点的坐标值并指导机器人运动。

步骤二中，双目视觉系统识别到固定靶板上的反光标志后，利用固定靶板上横向点构建平面与直线，并且利用平面作为坐标系Y向约束，直线作为X向约束，测量初始坐标系T_CO原点建立在固定靶板右上角的靶点上。

步骤二中，测量初始坐标系T_CO的坐标系原点通过偏移与全局坐标系T_R的原点重合，偏移后的坐标系旋转与全局坐标系T_R的X轴、Y轴、Z轴重合。

所述测量初始坐标系T_CO的坐标系原点偏移量为机器人原点在所述双目视觉系统的测量初始坐标系T_CO下的坐标Transl＝O_R＝{x,y,z}，偏移后的坐标系旋转为欧拉式旋转，旋转矩阵为^RR_co。

步骤四中使用三维点云扫描设备扫描三维点云并使用三维点云处理软件在点云中提取工件三维模型所需特征点p_3D。

步骤五中，特征点从三维点云处理软件模型坐标系下的坐标p_3D到全局坐标系T_R下的坐标p_R变换为：p_R＝^3DT_R ^-1×p_3D。

步骤六中，绑定计算过程如下：

(1)在机器人靶板坐标系T_L下选取三个点：

p₀＝[x₀,y₀,z₀]，p₁＝[x₁,y₁,z₁]，p₂＝[x₂,y₂,z₂]；

(2)令p₀与机器人靶板坐标系T_L原点重合，

与机器人靶板坐标系T_L的z轴重合，

与机器人靶板坐标系T_L的x轴重合；

(3)利用公式^Rp＝^toolT_R ^-1p计算全局坐标系T_R下p₀ p₁ p₂的坐标值^Rp₀ ^Rp₁ ^Rp₂；

(4)将^Rp₀ ^Rp₁ ^Rp₂与全局坐标系T_R下特征点放在同一特征文件中；

(5)利用公式：

计算当前机器人工具坐标系T_tool对全局坐标系T_R的旋转矩阵T，并利用函数eur＝tr2rpy(T)(matlab函数)计算出当前机器人工具坐标系T_tool机器人全局坐标系T_R下的E6pos坐标为：

[p₀.x p₀.y p₀.z eur.a eur.b eur.c]，

由于T_L＝T_tool，上述坐标值也即机器人靶板坐标系T_L坐标值Pos_L，而跟踪夹爪上的靶板坐标系坐标值Pos_L计算特征点在全局坐标系下的当前空间坐标的计算方法是：^Rp_L＝^LT_R ^-1×p_L，

其中

本发明的优点与积极效果为：

1、本发明将测量坐标系与全局坐标系(机器人基坐标系)通过静态固定靶板进行坐标系统一标定，标定后双目视觉测量系统在任何位置只要能观测到固定靶板就可以进行测量，方便大范围测量，并且机器人工具坐标系与机器人末端的动态靶板标定，通过跟踪动态靶板坐标就可以获取机器人实时位置，从而可以指导机器人运动并进行闭环控制，也可对机器人绝对定位精度进行补偿。

2、本发明有效解决了大型航天航空设备对接过程中三维测量不方便、跟踪坐标系与机器人末端坐标系不统一、测量结果指导机器人自动装配困难等问题，可用于大型设备的三维模型扫描、特征点动态跟踪、姿态解算以及对接装配。

附图说明

图1为本发明的流程示意图，

图2为双目视觉系统建立测量初始坐标系T_CO示意图，

图3为测量坐标系标定流程示意图，

图4为工具坐标系标定流程示意图，

图5为本发明的系统结构示意图。

具体实施方式

下面结合附图对本发明作进一步详述。

如图5所示，本发明系统包括动态靶板、固定靶板、双目视觉系统、激光扫描设备等。

如图1所示，本发明具体过程如下:

步骤一：安装固定靶板与机器人动态靶板，其中在机器人夹爪上安装粘贴反光标志的动态靶板，在地面合适位置布置粘贴反光标志的固定靶板。

步骤二：以固定靶板为基准建立双目视觉系统的测量初始坐标系T_CO，并将测量初始坐标系T_CO标定至全局坐标系(机器人基坐标系)T_R下获得测量坐标系。

如图2所示，本发明利用双目视觉系统识别到固定靶板上的反光标志后，利用固定靶板上横向点构建平面与直线，并且利用平面作为坐标系Y向约束，直线作为X向约束，将测量初始坐标系T_CO原点建立在固定靶板右上角的靶点上。所述双目视觉系统采用双摄像头并利用三角测距原理对反光标志点进行跟踪测量，该系统市场上存在较多的成熟产品，本实施例采用creaform公司的C-TRACK双目视觉系统。

建立测量初始坐标系T_CO后，将所述测量初始坐标系T_CO标定至全局坐标系(机器人基坐标系)T_R下获得测量坐标系，标定后的测量坐标系与全局坐标系T_R重合，标定过程通过双目视觉系统实现。

测量坐标系的标定过程如下：

首先需要将测量初始坐标系T_CO的坐标系原点通过偏移与全局坐标系T_R的原点重合，偏移量为机器人原点在双目视觉系统的测量初始坐标系T_CO下的坐标Transl＝O_R＝{x,y,z}，这样便使偏移后的坐标系T_C(T_C＝Transl×T_CO)的原点与全局坐标系T_R原点重合。

然后将偏移后的坐标系T_C旋转与全局坐标系T_R的X轴、Y轴、Z轴重合，所述旋转为欧拉式旋转，旋转矩阵为^RR_co，^RR_co的确定方法为双目视觉系统在测量初始坐标系T_CO下提取出代表全局坐标系T_R的Y轴与Z轴的方向向量a与b，则^RR_co＝[a×b a b]，则T_R＝^R R_co×T_C，即坐标系T_C按照旋转矩阵^RR_co旋转后与全局坐标系T_R的X轴、Y轴、Z轴重合。

通过上述平移与旋转操作后可知T_R＝^R R_co×Transl×T_CO，从而实现双目视觉系统的测量初始坐标系T_CO与全局坐标系T_R的标定，也即标定后的测量坐标系与全局坐标系T_R重合，标定后测量系统在任何位置只要能观测到固定靶板就可以进行测量。上述标定具体过程可参见图3所示。

步骤三：使用双目视觉系统在全局坐标系T_R下构建机器人夹爪上的动态靶板初始坐标系T_LO，并将所述动态靶板初始坐标系T_LO与机器人工具坐标系T_tool进行标定，标定后的机器人靶板坐标系T_L与全局坐标系T_R下的机器人工具坐标系T_tool重合，标定过程通过双目视觉系统实现。

机器人上的动态靶板通过机器人驱动置于双目视觉系统视野中，所述双目视觉系统读取所述动态靶板实时位置，并在全局坐标系T_R下构建动态靶板初始坐标系T_LO，而机器人工具坐标系T_tool为机器人当前姿态下的示教器显示的实际位置经过欧拉变换得到的位姿矩阵，所述示教器为本领域公知技术。

标定后的机器人靶板坐标系T_L与动态靶板初始坐标系T_LO的坐标系之间的偏移旋转矩阵为^ToolT_LO，而^ToolT_LO＝T_LO ^-1×T_tool，也即动态靶板初始坐标系T_LO按照旋转偏移矩阵^ToolT_LO旋转偏移后得到的新的机器人靶板坐标系T_L(T_L＝^ToolT_LO×T_LO)与全局坐标系T_R下的机器人工具坐标系T_tool重合。上述标定具体过程如图4所示。

步骤四：使用激光扫描设备提取工件模型特征点。

本实施例中使用三维点云扫描设备扫描三维点云并使用三维点云处理软件在点云中提取工件三维模型所需特征点p_3D。所述三维点云扫描设备为本领域公知技术，所述特征点提取可采用controlX或者polywork等常用特征提取软件进行。

所述特征点提取方式具体为：在三维测量软件中将三维点云数据与工件三维模型对齐，对齐过程中点云数据的旋转平移矩阵为^3DT_R(该矩阵三维点云处理软件可以直接给出)，对齐后根据模型上的特征对点云进行特征提取，所提取的特征点坐标位于三维点云处理软件的三位模型坐标系下。

步骤五：将步骤四中提取的特征点通过坐标变换转换到全局坐标系T_R下。

所述特征点从模型坐标系下的坐标p3D到全局坐标系T_R下的坐标p_R变换为：

p_R＝^3DT_R ^-1×p_3D；

其中^3DT_R是三维点云数据向三维模型对齐时的变换矩阵，p_R是全局坐标系T_R下特征点坐标值，p_3D是三维模型坐标系下特征点坐标值。

该步骤为云处理软件编程实现。

步骤六：将步骤五变换后的特征点与步骤三中确定的机器人靶板坐标系T_L绑定，由于步骤三中，机器人靶板坐标系T_L与全局坐标系T_R下的机器人工具坐标系T_tool标定后重合，因此上述特征点与T_L进行绑定，也即同时与T_tool进行绑定，双目视觉系统通过跟踪夹爪上的机器人靶板坐标系T_L坐标值Pos_L即可计算出特征点在全局坐标系T_R下的当前空间坐标E6pos值。

具体绑定及计算过程如下：

(2)在机器人靶板坐标系T_L下选取三个点：

p₀＝[x₀,y₀,z₀]，p₁＝[x₁,y₁,z₁]，p₂＝[x₂,y₂,z₂]；

(2)令p₀与机器人靶板坐标系T_L原点重合，

与机器人靶板坐标系T_L的z轴重合，

与机器人靶板坐标系T_L的x轴重合；

(3)利用公式^Rp＝^toolT_R ^-1p计算全局坐标系T_R下p₀ p₁ p₂的坐标值^Rp₀ ^Rp₁ ^R p₂；

(4)将^Rp₀ ^Rp₁ ^Rp₂与全局坐标系下T_R特征点放在同一特征文件中；

(5)利用公式：

计算当前机器人工具坐标系T_tool对全局坐标系T_R的旋转矩阵T，并利用函数eur＝tr2rpy(T)(matlab函数)计算出当前机器人工具坐标系T_tool在机器人全局坐标系T_R下的E6pos坐标为：

[p₀.x p₀.y p₀.z eur.a eur.b eur.c]，

由于T_L＝T_tool，上述坐标值也即机器人靶板坐标系T_L坐标值Pos_L，而跟踪夹爪上的靶板坐标系坐标值Pos_L计算特征点在全局坐标系下的当前空间坐标的计算方法是：^Rp_L＝^LT_R ^-1×p_L，

其中

上述绑定及计算过程通过双目视觉系统实现。

步骤七：通过虚拟装配系统(通过solidwork或者ug进行二次开发)得到特征点的新位置时依据步骤六中的绑定特征点可计算出机器人tcp(tool centre position，工具中心点)点E6pos值并指导机器人运动。

Claims (7)

1.一种大型设备对接过程三维测量与跟踪方法，其特征在于：包括如下步骤：

步骤一：在机器人夹爪上安装带反光标志的动态靶板，在地面布置带反光标志的固定靶板；

步骤二：以固定靶板为基准建立双目视觉系统的测量初始坐标系T_CO，并将测量初始坐标系T_CO标定至全局坐标系(机器人坐标系)T_R下获得测量坐标系；

步骤三：使用双目视觉系统在全局坐标系T_R下构建机器人夹爪上的动态靶板初始坐标系T_LO，并将动态靶板初始坐标系T_LO与机器人工具坐标系T_tool标定获得机器人靶板坐标系T_L，T_L与T_tool重合；

步骤四：使用激光扫描设备提取工件特征点；

步骤五：将步骤四中提取的特征点转换到全局坐标系T_R下；

步骤六：将步骤五变换后的特征点与步骤三中的机器人靶板坐标系T_L绑定，并且T_L与T_tool重合，所述特征点同时与T_tool绑定，双目视觉系统通过跟踪机器人靶板坐标系T_L坐标值计算出特征点在全局坐标系T_R下的空间坐标；

步骤七：通过虚拟装配系统得到特征点的新位置时依据步骤六中的绑定特征点计算出机器人tcp点的坐标值并指导机器人运动。

2.根据权利要求1所述的大型设备对接过程三维测量与跟踪方法，其特征在于：步骤二中，双目视觉系统识别到固定靶板上的反光标志后，利用固定靶板上横向点构建平面与直线，并且利用平面作为坐标系Y向约束，直线作为X向约束，测量初始坐标系T_CO原点建立在固定靶板右上角的靶点上。

3.根据权利要求1所述的大型设备对接过程三维测量与跟踪方法，其特征在于：步骤二中，测量初始坐标系T_CO的坐标系原点通过偏移与全局坐标系T_R的原点重合，偏移后的坐标系旋转与全局坐标系T_R的X轴、Y轴、Z轴重合。

4.根据权利要求3所述的大型设备对接过程三维测量与跟踪方法，其特征在于：所述测量初始坐标系T_CO的坐标系原点偏移量为机器人原点在所述双目视觉系统的测量初始坐标系T_CO下的坐标Transl＝O_R＝{x,y,z}，偏移后的坐标系旋转为欧拉式旋转，旋转矩阵为^RR_co。

5.根据权利要求1所述的大型设备对接过程三维测量与跟踪方法，其特征在于：步骤四中使用三维点云扫描设备扫描三维点云并使用三维点云处理软件在点云中提取工件三维模型所需特征点p_3D。

6.根据权利要求5所述的大型设备对接过程三维测量与跟踪方法，其特征在于：步骤五中，特征点从三维点云处理软件模型坐标系下的坐标p_3D到全局坐标系T_R下的坐标p_R变换为：p_R＝^3DT_R ^-1×p_3D。

7.根据权利要求1所述的大型设备对接过程三维测量与跟踪方法，其特征在于：

步骤六中，绑定计算过程如下：

(1)在机器人靶板坐标系T_L下选取三个点：

p₀＝[x₀,y₀,z₀]，p₁＝[x₁,y₁,z₁]，p₂＝[x₂,y₂,z₂]；

(2)令p₀与机器人靶板坐标系T_L原点重合，

与机器人靶板坐标系T_L的z轴重合，

与机器人靶板坐标系T_L的x轴重合；

(3)利用公式^Rp＝^toolT_R ^-1p计算全局坐标系T_R下p₀ p₁ p₂的坐标值Rp₀ ^Rp₁ ^Rp₂；

(4)将^Rp₀ ^Rp₁ ^Rp₂与全局坐标系T_R下特征点放在同一特征文件中；

(5)利用公式：

计算当前机器人工具坐标系T_tool对全局坐标系T_R的旋转矩阵T，并利用函数eur＝tr2rpy(T)(matlab函数)计算出当前机器人工具坐标系T_tool机器人全局坐标系T_R下的E6pos坐标为：

[p₀.x p₀.y p₀.z eur.a eur.b eur.c]，

由于T_L＝T_tool，上述坐标值也即机器人靶板坐标系T_L坐标值Pos_L，而跟踪夹爪上的靶板坐标系坐标值Pos_L计算特征点在全局坐标系下的当前空间坐标的计算方法是：^Rp_L＝^LT_R ^-1×p_L，

其中

Images