CN109591011A - 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法 - Google Patents

Abstract

本发明公开了一种复合材料三维结构件单边缝合激光视觉路径自动跟踪方法，包括三条纹激光光源视觉跟踪系统标定和机器人操作路径实时提取，该方法采用eye‑in‑hand方式，通过将激光接缝跟踪器激光条纹投影到立体标靶表面并得到相应三维位置信息，从而确定机器人手腕与激光视觉系统相对位姿关系；采用激光视觉系统实时拟合空间曲面特征工件形状，并提取机器人工作路径进行跟踪计算。本发明相较于传统的平面标靶可以有效的提高标定效率及标定精度，可以同时标定出三条纹激光光源工作平面，另一方面可以实现空间曲面特征工件的快速定位及单边缝合路径跟踪需求。

Description

复合材料三维结构件单边缝合激光视觉路径自动跟踪方法

技术领域

本发明属于机器人视觉控制领域，具体涉及一种复合材料三维结构件单边缝合激光视觉路径自动跟踪方法。

背景技术

目前，单边缝合机器人的复合材料加工中，常会遇到空间三维曲面结构待缝合件的机器人编程工作。由于此类工件缝合过程需要定义大量的机器人路径点，因此采用示教再现的编程方式存在工作效率低的问题。而离线编程方式虽然可以有效的提高机器人的编程效率但是其规划对象通常都是理想的工件三维模型，很难满足实际的加工需求，因此采用激光视觉控制的机器人缝合路径跟踪技术成为解决上述问题的可靠方法。

为实现机器人三维空间曲线型加工路径的视觉跟踪技术，有两个关键问题需要解决，一是机器人手眼关系的快速标定方法，二是三维结构件工作路径的现场实时、快速跟踪工作。

因此本发明提出一种基于三线激光视觉跟踪系统的路径跟踪方法，并开发了一种专用四面体标靶用来进行机器人及其视觉系统的标定工作。

发明内容

本发明针对三条纹激光视觉路径跟踪传感器的使用，设计一种专用标靶并开发专用视觉系统手眼关系标定，解决视觉系统与单边缝合机器人手眼关系快速标定问题，在此基础上，本发明提出一种空间曲面工件机器人操作路径视觉提取技术，用来满足三维曲线型复合材料预制件缝合路径的自动识别与自动跟踪要求。

为解决上述技术问题，本发明采用的技术方案是：一种复合材料三维结构件单边缝合激光视觉路径自动跟踪方法，包括立体标靶标定和机器人操作路径实时提取，

所述立体标靶标定，用于特定的四面体标靶外参、三条纹激光光源平面标定程序，并将标定结果传输给机器人视觉控制系统；其中的专用四面体标靶，用于工业机器人单边缝合头坐标系标定，手眼系统外参标定，机器人手眼系统标定，三条纹激光光源激光平面标定；

所述机器人操作路径实时提取，用于实时扫描三维曲面工件表面局部特征，提取三维曲面工件表面待缝合接缝位姿，控制机器人进行碳纤维或玻璃纤维复合材料缝合工作；其中的三条纹激光光源视觉跟踪系统，用于复合材料单边缝合过程中实时提取空间曲面特征工件缝合路径；

所述专用四面体标靶，由铝合金加工而成，尺寸误差小于0.05mm；所述四面体标靶四个三角形面可分为一个放置于平台的底面和三个用于标定操作的标定面，标定面被印制为白色，各三角形内含一个连接各边中点的内三角形，内三角形被印制为黑色；顶点与底面三点组成三条棱边互相垂直且各棱边长度不相等，标定时各标定面三个顶点作为视觉系统标定特征点，三个棱边中点作为辅助标定点，标定面三角形重心同样作为辅助标定点；

(一)三条纹激光光源视觉跟踪系统标定，包括以下步骤：

(1)以四面体顶点作为目标点，控制机器人改变位置姿态进行工具坐标系标定，得到单边缝合头相对机器人基坐标系转换矩阵^WT_T，标定结果可由机器人示教盒读出；

(2)按指定顺序操作机器人执行机构末端示教四面体底面三个点，确定标靶相对机器人基坐标系转换矩阵^WT_G，并由机器人示教盒读出；

(3)操作机器人从三个不同方向对四面体标靶进行拍照，确保每次拍照图像都包含四面体标靶两个标定面，并记录机器人腕部末端相对基座坐标系位姿^WT_E(i)；

(4)对标定图像进行处理分别得到各标定面上三个标定特征点P_T、三个辅助标定点P_a，并于上述点在世界系坐标对应，采用Tsai法得出各个拍摄位置摄像机内参、外参，求得各拍摄位置下标靶相对摄像机位姿^CT_G(i)；

(5)根据各次拍照求得的^WT_E(i)及^CT_G(i)计算摄像机相对机器人腕部位姿关系矩阵^ET_C；

(6)提取图像上三激光条纹在标靶上的图像点位置，计算三条激光条纹在摄像机坐标系中平面参数方程F_j,其中j＝1、2、3；

所述机器人操作路径实时提取，可用于两片碳纤维复合材料搭接的接缝单边缝合过程中的路径跟踪控制；根据三条纹激光在空间曲面结构工件上得到的激光图像特征点提取待缝合位置信息和缝合头姿态信息；将得到的缝合路径规划结果传送给机器人，控制单边缝合机器人进行复合材料的缝合操作；

(二)机器人操作路径实时提取，包括以下步骤：

(1)采用图像处理技术提取三条纹激光光带在三维复合材料预制件上形成的特征图像，对激光光带图像进行处理，得到复合材料预制件待缝合接缝位置像素点坐标；

(2)分别利用三条激光对应激光平面方程F_j，计算待缝合线在摄像机坐标系下三个坐标Pm，进行坐标转换，计算三个待缝合线点在机器人坐标系下位置；

(3)采用三次B样条曲线拟合上述三个点，得到这三个点缝合曲线在机器人坐标系下曲线方程；

(4)以前步缝合位置为起点，以缝合针距为约束，在曲线方程中计算下步缝合位置；

(5)根据曲线方程计算下步缝合位置的切线方向，作为机器人缝合坐标系x轴，在曲线方程所在平面中计算该缝合位置法线方向，作为机器人缝合坐标系z轴，根据右手定则计算缝合坐标系y轴。

由于采用上述技术方案，本发明采用eye-in-hand方式，通过将激光接缝跟踪器激光条纹投影到立体标靶表面并得到相应三维位置信息，从而确定机器人手腕与激光视觉系统相对位姿关系；采用激光视觉系统实时拟合空间曲面特征工件形状，并提取机器人工作路径进行跟踪计算。

本发明相较于传统的平面标靶可以有效的提高标定效率及标定精度，可以同时标定出三条纹激光光源工作平面，另一方面可以实现空间曲面特征工件的快速定位及单边缝合路径跟踪需求。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1是本发明单边缝合机器人及三条纹激光视觉跟踪系统示意图

图2是本发明的四面体标靶

图3是本发明三条纹激光视觉跟踪系统标定流程

图4是本发明激光平面计算方法示意图

图5是本发明三条纹激光视觉跟踪系统标定流程图

图6是本发明空间曲面型复合材料预制件接缝缝合路径自动跟踪方法流程图

图7是本发明缝合头坐标系示意图

图中：

1、工业机器人 2、控制柜

3、复合材料单边缝合头 4、控制系统

5、三条纹激光视觉传感器 6、计算机

7、四面体标靶 8、复合材料三维曲面预制件

9、工作台 10、空间曲面形工件

11、两片碳纤维复合材料搭接形成待缝合接缝

12、三条纹激光视觉跟踪系统激光条纹在工件上形成激光曲线

13、激光条纹在接缝上形成特征点

具体实施方式

下面结合实施例及其附图进一步叙述本发明：

如图1至图7所示，

图1中单边缝合机器人及三条纹激光视觉跟踪系统包括工业机器人1及其配套控制柜2，复合材料单边缝合头3被安装在机械臂末端，其专用控制系统4通过Profibus总线技术实现与机器人控制系统的协调通信；三条纹激光视觉传感器5被安装在复合材料单边缝合头3前端，用于进行复合材料缝合过程中的图像采集，计算机6进行缝合曲线空间位置的提取及缝合姿态的计算，并通过工业以太网与机器人电控柜进行通信；标定时四面体标靶7被放置于工作台9上完成标定工作，四面体标靶7如图2所示，然后将复合材料三维曲面预制件8放置于工作台9上进行单边缝合操作。

四面体标靶7由铝合金加工而成，尺寸误差小于0.05mm；四面体标靶7四个三角形面可分为一个放置于平台的底面和三个用于标定操作的标定面，标定面被印制为白色，各三角形内含一个连接各边中点的内三角形，内三角形被印制为黑色；顶点与底面三点组成三条棱边互相垂直且各棱边长度不相等，标定时各标定面三个顶点作为视觉系统标定特征点，三个棱边中点作为辅助标定点，标定面三角形重心同样作为辅助标定点；

所述三条纹激光视觉跟踪系统与机器人位姿关系标定方法分为机器人缝合头标定，标靶位置标定，机器人视觉系统手眼关系标定，三条纹激光平面标定，如图3所示为三条纹激光视觉跟踪系统标定流程。

其具体步骤为：

(1)采用六点法以四面体标靶7顶点Pg0为标定点，进行缝合头工作坐标系{T}标定，得到工具系相对机器人基坐标系{W}的相对位姿^WT_T，所得位姿矩阵可由机器人示教盒得到；根据公式(1)将得到的位置参数(x，y，z)，和四元数(q1，q2，q3，q4)转换成位姿矩阵。

(2)控制机器人带动缝合头示教四面体标靶底面三点Pg1、Pg2、Pg3，在示教盒中记录上述三点在机器人系下位置，以公式(2)中三点法计算四面体底面法向量作为标靶系{G}Z轴方向；

计算四面体标靶底面三角形重心Pg0，以Pg0Pg1为标靶坐标系{G}的X轴方向，根据右手定则确定Y轴方向，建立标靶坐标系完毕；

由于所加工标靶尺寸已知，因此可以计算得到四面体所有点相对机器人基座标系位置；进一步可以借助各标定面两条相互垂直棱边计算各标定面在工件系{G}下位姿关系。

(3)操作机器人带动摄像机对标靶进行拍摄，记录拍摄位置的机器人位姿^WT_E(i)；拍照确保每次标定可以一次拍摄立体标靶上两个标定面；

(4)标靶上各点在机器人基座标系已知前提下，对标定图像进行图像处理，提取四面体标靶特征点像素坐标；采用Tsai法计算该位姿下摄像机内参和外参，求得各拍摄位置下标靶相对摄像机位姿^CT_G(i)；

(5)操作机器人对标靶进行三次拍摄，计算摄像机坐标系{C}相对机器人末端坐标系{E}位姿^ET_C；

^WT_E(i)^ET_C ^CT_G(i)＝^WT_E(i-1)^ET_C ^CT_G(i-1) (4)

采用退火算法，以各次视觉标定点位置误差值最小为目标值，以手眼系欧拉角及位置六个参数为输入，进行机器人手眼关系的最优解计算，提高标定精度；

(6)打开激光器将激光条纹投射到四棱锥表面，确保三道激光条纹在四面体标靶单条棱边及底面棱边上形成特征点；由于如图4所示每条激光都可在各自转折点出形成特征点，因此，一条激光条纹在标靶上可以形成三个不共线特征点；将像素平面中三点乘以内参、外参矩阵，可以得到单激光条纹形成三个特征点在成像坐标系{C}下的位置；根据三点成一面原理可以计算得到该激光条纹在摄像机平面下的平面方程Fj,j＝1、2、3代表光带序号，最后分别计算三条纹激光平面在摄像机坐标系下平面方程。

所述空间曲面型复合材料预制件接缝缝合路径自动跟踪方法，以图5中空间曲面形工件的焊缝跟踪为例，图5中显示出空间曲面形工件10，两片碳纤维复合材料搭接形成待缝合接缝11，三条纹激光视觉跟踪系统激光条纹在工件上形成激光曲线12和激光条纹在接缝上形成特征点13。

接缝跟踪前控制机器人到三维曲面复合材料预制件待缝合接缝起始位置，该位置设为缝合起始位置P(0)。下一步缝合位置P(1)以及后续缝合位置P(i)由复合材料预制件接缝缝合路径跟踪算法得到。

所述空间曲面型复合材料预制件接缝缝合路径自动跟踪方法，即机器人操作路径实时提取如图6，其具体过程如下：

(1)进行图像处理，提取三条纹激光图像中空间曲面特征复合材料预制件接缝特征点坐标值(Uj,Vj)，其中j＝1、2、3代表光带序号。

(2)通过摄像机内参计算激光条纹上特征点在归一化平面坐标(x_cj y_cj 1)；利用各激光平面在摄像机系下的方程F_j＝a_jx+b_jy+c_jz+1＝0，分别计算接缝曲线上图像中三个点，在机器人坐标系下三维坐标值P_m(j)可用公式(5)求得，其中j＝1、2、3。

式中：

(3)利用前步缝合位置P(i-1)和图像提取得到的三个特征点P_m(j)作为控制点P_pi(其中i＝0,1,2,3)进行曲线拟合，采用三次B样条曲线公式得出接缝曲线方程，其中B样条曲线公式为：

其基函数可表示为：

(4)根据设定的针距L对公式(7)进行积分，采用离散的思想设定离散点数量n及△t，计算三次曲线上实际缝合路径点位置P(i)；

式中：

Δt＝t/n (10)

当n足够小的时候，可以保证程序搜索精度，得到比较准确的针距L值所对应接缝位置P(i)＝P_p(m△t)，m∈n。

(5)所述缝合头坐标系建立如图7所示，根据公式(9)得到的实际缝合位置对应数值m△t，将所得曲线公式(7)进行求导，得到切线方向作为机器人缝合头坐标系x轴；也可以在对应的接缝位置m计算m与m+1之间向量，近似代替求导得到的方向向量；

在曲线方程所在平面计算切线的垂线方向，作为机器人缝合坐标系z轴方向；

最后根据右手定则计算缝合坐标系y轴方向；控制机器人缝合头工具系与接缝路径坐标系重合，即可完成控制工作。

可见，本发明三条纹激光光源视觉跟踪系统，用于复合材料单边缝合过程中实时提取空间曲面特征工件缝合路径；四面体标靶，用于工业机器人单边缝合头坐标系标定，手眼系统外参标定，机器人手眼系统标定，三条纹激光光源激光平面标定；立体标靶标定，用于特定的四面体标靶外参、三条纹激光光源平面标定程序，并将标定结果传输给机器人视觉控制系统；机器人操作路径实时提取，用于实时扫描三维曲面工件表面局部特征，提取三维曲面工件表面待缝合接缝位姿，控制机器人进行碳纤维或玻璃纤维复合材料缝合工作。

本发明采用eye-in-hand方式，通过将激光接缝跟踪器激光条纹投影到立体标靶表面并得到相应三维位置信息，从而确定机器人手腕与激光视觉系统相对位姿关系；采用激光视觉系统实时拟合空间曲面特征工件形状，并提取机器人工作路径进行跟踪计算。

本发明相较于传统的平面标靶可以有效的提高标定效率及标定精度，可以同时标定出三条纹激光光源工作平面，另一方面可以实现空间曲面特征工件的快速定位及单边缝合路径跟踪需求。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。

Claims (3)

1.一种复合材料三维结构件单边缝合激光视觉路径自动跟踪方法，其特征在于：包括以下步骤：

(一)三条纹激光光源视觉跟踪系统标定：

所述三条纹激光光源视觉跟踪系统，用于复合材料单边缝合过程中实时提取空间曲面特征工件缝合路径，

(1)以四面体标靶顶点作为目标点，控制机器人改变位置姿态进行工具坐标系标定，得到单边缝合头相对机器人基坐标系转换矩阵^WT_T，标定结果可由机器人示教盒读出；

(2)按指定顺序操作机器人执行机构末端示教四面体标靶底面三个点，确定标靶相对机器人基坐标系转换矩阵^WT_G，并由机器人示教盒读出；

(3)操作机器人从三个不同方向对四面体标靶进行拍照，确保每次拍照图像都包含四面体标靶两个标定面，并记录机器人腕部末端相对基座坐标系位姿^WT_E(i)；

(4)对标定图像进行处理分别得到各标定面上三个标定特征点P_T、三个辅助标定点P_a，并于上述点在世界系坐标对应，采用Tsai法得出各个拍摄位置摄像机内参、外参，求得各拍摄位置下标靶相对摄像机位姿^CT_G(i)；

(5)根据各次拍照求得的^WT_E(i)及^CT_G(i)计算摄像机相对机器人腕部位姿关系矩阵^ET_C；

(6)提取图像上三激光条纹在标靶上的图像点位置，计算三条激光条纹在摄像机坐标系中平面参数方程F_j,其中j＝1、2、3；

其中，所述四面体标靶包括四个三角形面，分为一个放置于平台的底面和三个用于标定操作的标定面，标定面被印制为白色，各三角形内含一个连接各边中点的内三角形，内三角形被印制为黑色；标定时各标定面三个顶点作为视觉系统标定特征点，三个棱边中点作为辅助标定点，标定面三角形重心同样作为辅助标定点；该四面体标靶用于工业机器人单边缝合头坐标系标定，手眼系统外参标定，机器人手眼系统标定，三条纹激光光源激光平面标定；

(二)机器人操作路径实时提取：

(1)采用图像处理技术提取三条纹激光光带在三维复合材料预制件上形成的特征图像，对激光光带图像进行处理，得到复合材料预制件待缝合接缝位置像素点坐标；

(2)分别利用三条激光对应激光平面方程F_j，计算待缝合线在摄像机坐标系下三个坐标Pm，进行坐标转换，计算三个待缝合线点在机器人坐标系下位置；

(3)采用三次B样条曲线拟合上述三个点，得到这三个点缝合曲线在机器人坐标系下曲线方程；

(4)以前步缝合位置为起点，以缝合针距为约束，在曲线方程中计算下步缝合位置；

(5)根据曲线方程计算下步缝合位置的切线方向，作为机器人缝合坐标系x轴，在曲线方程所在平面中计算该缝合位置法线方向，作为机器人缝合坐标系z轴，根据右手定则计算缝合坐标系y轴。

2.根据权利要求1所述的复合材料三维结构件单边缝合激光视觉路径自动跟踪方法，其特征在于：所述四面体标靶由铝合金加工而成，尺寸误差小于0.05mm。

3.根据权利要求1所述的复合材料三维结构件单边缝合激光视觉路径自动跟踪方法，其特征在于：所述四面体标靶顶点与底面三点组成三条棱边互相垂直且各棱边长度不相等。