CN101966617A - 一种用于焊接机器人连续运动的视图模型简约描述方法 - Google Patents

Abstract

本发明主要提出了一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，该方法首先利用焊接机器人的非工艺运动的冗余自由度进行传感器检测姿态的规划，进一步通过沿规划好的检测运动轨迹采取传感器成像的仿真信号以获取原始的视图数据集，最后通过对成像采样信号定性分类得到整个机器人连续运动轨迹上的视图模型进行简约描述。该方法作为焊接机器人离线编程仿真系统的传感器仿真功能在一定程度上提升了机器人检测的自动化，该方法可应用于基于线结构光视觉传感的焊缝跟踪和焊缝搜索等典型任务中。

Description

一种用于焊接机器人连续运动的视图模型简约描述方法

技术领域

本发明涉及的是一种焊接机器人智能化检测技术应用领域的方法，特别是一种用于焊接机器人连续运动下的线结构光视觉视图模型的简约描述方法。

背景技术

激光视觉传感器因其更接近于焊接操作员最为频繁使用的“视觉感知”而被引入到焊接检测领域，可用于在线焊缝检测，焊接质量控制，初始焊缝搜索等多种焊接应用场合，但是不同的应用场合以及不同的工艺要求往往需要检测不同的焊件特征，而对于以利用图像分析和机器视觉对焊件特征进行检测和解释为主要工作原理的激光视觉传感而言，需要为其提供模型或者规则作为系统的先验知识，才能够达到解释并提取所需要用于焊接工艺控制的焊件特征。另外在机器人弧焊应用中，连续运动方式是最主要的工艺操作方式，而在连续运动下的线结构光视觉传感要求在运动的同时实时地给出检测结果，不能采用对焊件整体扫描完后进行3D重建分析，因此其识别时所使用的模型类型是以观测视点为主的视图模型，但是待检测对象的视图往往会因对象外部形状的不同或者是传感头相对于对象检测位姿的不同而不同，因此其形态往往多变且很难预测。

对于以往的激光视觉焊件特征检测方法来说，按模型描述与获取方法的不同一般可以分为3种，第一种是采用灰度图像作为系统先验知识的描述方式，其代表可见郑军等人在《上海交通大学学报》(2008，vol42，Sup：41-46)发表的“基于粒子滤波的结构光实时焊缝跟踪技术”，K.Hang等人在Proc.ISIE，1999，pp.919-924中所发表的“Reducing distortions caused by the welding arc in a laser stripe sensor system for automated seam tracking”，该种方法的不足之处在于直接采用了图像信号作为模型，因此很难将各类焊接工艺知识嵌入到图像中去，另外其要求操作人员在现场针对实际的焊件完成模型的采集与相关参数的设置，因此其应用往往只局限于焊缝跟踪中。第二种是采用规则作为系统先验知识的描述方式，相关代表可见李原等人在《传感技术学报》(2006，VOL19，NO.6：2676-2681)发表的“焊缝跟踪视觉传感器中图像多类型特征选择与提取”，J.Wu等人在IEE Proceedings Science Measurement and Technology，1996，pp.85-90中所发表的“Weld bead placement system for multipass welding.Science，Measurement and Technology”，其不足之处在于需要针对特定的对象总结出相应的规则来，而规则的获取途径则是需要通过人工经验总结出来，因此模型的获取效率与通用性都受到了限制。

第三种方法则是使用了工件的一般性几何特征及其组合作为模型描述方式，相关代表可见龚烨飞等人在《焊接学报》(2009，VOL30，NO.9：42-44)所发表的“结构光视觉焊接接头鲁棒识别”，Sicard P等人在《IEEE Transactions on System，Man and Cybernetics》上所发表的“Joint recognition and tracking for robotic arc welding”，相比较前两种而言，该种方式的扩展性与通用性较好，从理论上来讲可以适用于任何常见甚至是复杂的焊件特征，并且比较接近于各类焊接标准(GB 985-88)中对于焊件特征的抽象描述。但目前该方法的实际应用范围仅针对较为简单焊缝特征检测，由专家通过总结给出了最终识别时所需要的模型。但如果遇到复杂的焊缝或者配之复杂的工艺操作运动的话，则人工总结不仅很难给出模型，同时也耗时耗力。

发明内容

本发明针对上述问题，在第三种方法的基础上给出了线结构光视觉传感在机器人焊接应用中的连续运动下的视图模型简约描述方法，该视图模型的获取是在焊接机器人仿真环境下实现的，因此可以达到模型知识获取自动化的目的，最终获得的视图将以一种简约的方式描述，既达到了预测视图的目的，又节省了存储模型所需要的空间。

本发明的技术方案是，一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，步骤包括：

1)首先利用焊接机器人的非工艺运动的冗余自由度进行传感器检测位姿的规划；

2)再通过沿规划好的检测运动轨迹获取传感器成像的仿真信号以得到原始的视图数据集；

3)最后通过对成像采样信号定性分类得到整个机器人连续运动轨迹上的视图描述模型。

该方法作为焊接机器人离线编程仿真系统的传感器仿真功能在一定程度上提升了机器人检测的自动化，该方法可应用于基于线结构光视觉传感的焊缝跟踪和焊缝搜索等典型任务中。

传感器检测位姿规划

在需要同时满足“感兴趣的焊件特征处于传感头有效检测范围内”和“机器人工具手满足相关工艺要求”的双重约束下，针对6自由度焊接机器人焊接应用要求，给出焊接中两类常见约束配置情况下的传感器检测位姿规划方法：6自由度检测位姿规划和绕枪轴旋转单自由度检测位姿规划，要求最终给出满足双重约束的机器人末端位姿连续运动序列

其中

为工具手位姿。

沿运动轨迹采集仿真成像信号

将通过对线结构光视觉传感器成像过程进行模拟以获取在对应位姿

处的视图v_i，最终获得对应于^BT的视图集为V＝{v_i，i＝1…N}。

成像采样信号分类

v_i将被描述为pres(v_i)＝(qual(v_i)，quat(v_i))，其中qual(v_i)表示对v_i的定性描述，而quat(v_i)表示对v_i的定量描述。通过定义定性一致性准则和定量合并准则，最后可以获得沿机器人连续运动轨迹T＝{t_i，i＝1…N}的传感器视觉视图模型集合描述为

其中为整个分类视图的代表性视图。

附图说明

图1坐标系定义

图2传感器检测位姿规划

图3绕枪旋转单自由度检测位姿规划

图4传感器视野相交直线段轮廓提取

图5传感器视野相交曲线段轮廓提取

图6传感器轮廓提取摄像机消隐

图7开V型坡口焊缝的横向搜索检测位姿

图8开V型坡口焊缝的横向搜索检测的视图模型集合

图9开V型坡口折线焊缝跟踪的检测位姿

图10开V型坡口折线焊缝跟踪的视图模型集合

具体实施方式

本发明属于基于焊件CAD模型的仿真分析的具体实施方式，也属于线结构光视觉传感离线编程仿真系统模块之一。

一、传感器检测位姿规划

不同应用任务对规划所施加的约束不同，但是最终成功的应用总是需要系统同时满足“感兴趣的目标工件特征处于传感头有效检测范围内”和“机器人工具手满足相关工艺要求”的双重约束，这里针对实际典型的6自由度焊接机器人焊接应用要求，总结出两类具体约束配置情况下的传感器检测位姿规划方法：6自由度检测位姿规划和绕枪轴旋转单自由度检测位姿规划。

图1给出了焊接任务中各坐标系的定义，设焊件坐标系为B，工具坐标系为T，摄像机坐标系为C，像素坐标系为I，激光坐标系L，传感头视点坐标系S。其中焊件坐标系B一般是通过机器人基坐标系设定而建立的，因此也可以认为是全局的世界坐标系，激光坐标系L是与像素坐标系为I在激光面上的透视投影，其定义方式后面将介绍。

1.6自由度检测位姿规划

该类应用主要是在焊枪不受工艺约束，传感头将享受机器人所有自由度的情况下以完成检测，其主要应用场合包括焊接前的焊缝定位和装配情况检测。

如图1所示，综合考虑传感头和焊枪之间典型的前置式装配关系，定义传感头视点坐标系S，焊枪坐标系T首先沿枪轴

移动一个距离D，然后再沿其前进方向(

轴正方向)上移动到激光面上的一个对应坐标系，其中一般D值大于0，这主要是为了使焊枪避碰所引入的考虑。而在连续运动时则往往要求当前的视点坐标系S对准于待观测的焊件特征点^Bf，而连续运动下需要检测的焊件特征点^Bf往往多于一个并同样是连续分布的，因此其作为整体可表示为^BF＝{^Bf_i，i＝1…M}，并将其称之为焊件特征路径(如图2所示)。

为了获取检测整个焊件特征路径所对应的机器人检测位姿

要求在每个姿态

的视点坐标系S的位置将直接取^Bf_i，另外视点坐标系S的x轴一般要求与^BF相关的支持面的综合法向量

相反，即

这样的指定方式一般对于^BF相关面的法向同向性较好的情况下，可以保证传感器以较好的姿态对物体表面进行观测，而S剩余的方向向量

和只需确定其中之一即可，为此设

为特征点^Bf_i位置处的正切向向量，进一步根据

或者

和

之间不同的关系将

分为以下2种通用类型：

c)如果

和^Bf_i点的切向向量

处于同一个平面内，则该类运动被称为“纵向运动”；

d)如果

和^Bf_i点的切向向量

处于同一个平面内，则该类运动被称为“横向运动”。

2.绕枪旋转单自由度检测位姿规划

主要针对焊枪受到焊接工艺约束，传感头只有绕焊枪轴(焊枪坐标系的x轴

)的旋转自由度可以利用，其主要应用场合为焊缝跟踪。

如图3所示，假设已经通过焊接姿态提取获得了焊枪在机器人基坐标系下的焊接姿态

其中

的5个自由度(所有平移分量，绕

轴的旋转分量(决定了焊接倾角)，绕

轴的旋转分量(决定了焊接转角))已经满足焊接姿态工艺要求，剩余的绕x轴的分量则是默认为0。另外还获取了焊件特征路径^BF＝{^Bf_i，i＝1…M}，其中^Bf_i是空间点，一般^Bf_i可以直接取

的平移分量，在焊缝跟踪时则是焊缝路径，激光面上的对中标准线^LA，以及最小可接受的对中角度阈值Θ，那么通过以下步骤获取满足线结构光视觉焊缝跟踪时的姿态

e)如果i为1，则取焊接姿态

转b)步；否则如果i处于2和N之间的话，则取焊接姿态

并且

的第一列更新为

的第一列，转b)步；如果i大于N的话，则退出。

f)计算

姿态下的基坐标系中的激光面^B∏₁。

g)计算^B∏₁和焊件特征路径^BF＝{^Bf_i，i＝1…M}之间的交点^Br₁，主要通过判断^B∏₁是否处于两个^Bf_i和^Bf_i+1点之间，如果是，则计算交点^Br₁，然后转d)步；如果没有交点，则取并保存，然后转a)。

h)计算^Br₁在焊枪坐标系旋转轴

上的投影点^Br₂，进一步获得垂直于

并且过点^Br₂的平面^B∏₂，另外通过^LA可计算在基坐标系下的对中标准线^BA，则联立^B∏₂和^BA可以计算求得一点^Br₃。则进一步通过向量

和可以求得绕的旋转角度θ，如果|θ|＜Θ，则取

并保存，然后转a)；否则的话，

姿态可更新为绕焊枪坐标系旋转轴x旋转θ角的最新位姿，并转c)步。

二、沿运动轨迹采取仿真成像模型信号

在机器人按照预规划轨迹

运动后，将通过在仿真环境下对线结构光视觉传感器成像过程模拟以获取在对应位姿处的视图v_i，最终获得对应于^BT的视图集为V＝{v_i，i＝1…N}，其中线结构光视觉传感成像过程模拟的具体步骤如下：

如图1所示，因为激光器所投射出的激光面∏在摄像机坐标系C的位姿相对固定，则∏可以描述为：a^Cx+b^Cy+c^Cz+d＝0，其中a、b、c、d为坐标系C下的激光平面参数。为了能够对传感头的成像原理进行模拟，需要在激光面上设定一激光坐标系L：取摄像机光轴与激光面的交点为L的原点^CO_L＝(0，0，-d/c)^T，L的z轴与激光面垂直，因此z轴向量为

L的x轴为C坐标系的x轴沿摄像机光轴向激光面的投影获得，即L的y轴则可通过右手准则获得进一步通过归一化可获得各轴的单位向量因此坐标系L与C之间的关系为

$T_L^C=({\stackrel{\→}{x}}_L^{\′}_C,{\stackrel{\→}{y}}_L^{\′}_C,{\stackrel{\→}{z}}_L^{\′}_C,o_L^C).$

设激光面上的一点在坐标系L为^LP＝[^Lx ^Ly ^Lz 1]^T，像素平面上的一点为^IP＝[^Iu ^Iv 1]^T，则点^IP和^LP之间将构成如下的单应关系(homography)：

$s\left[\begin{array}{c}u_I\\ v_I\\ 1\end{array}\right]=A_L^{C}T\left[\begin{array}{c}x_L\\ y_L\\ z_L\\ 1\end{array}\right]$

$=\left[\begin{array}{ccc}{f}_x& \mathrm{\γ}& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{\stackrel{\→}{x}}^{\′}_C& {\stackrel{\→}{y}}_L^{\′}_C& {\stackrel{\→}{z}}^{\′}_C& o_L^C\end{array}\right]\left[\begin{array}{c}x_L\\ y_L\\ 0\\ 1\end{array}\right]$

$A=\left[\begin{array}{ccc}{\stackrel{\→}{x}}^{\′}_C& {\stackrel{\→}{y}}^{\′}_C& o_L^C\end{array}\right]\left[\begin{array}{c}x_L\\ y_L\\ 1\end{array}\right]=T_{\mathrm{hom\; o}}\left[\begin{array}{c}x_L\\ y_L\\ 1\end{array}\right]---\left(1\right)$

其中s为任意一比例因子，A为摄像机内参数，T_homo记为单应关系。设CCD像素矩形区域的4个顶点为^IFOV＝{^IA，^IB，^IC，^ID}，那么通过单应关系T_homo可以获得在激光平面上所对应的^LFOV＝{^LA，^LB，^LC，^LD}，而^LFOV即为传感头的检测视野(FOV——Field Of Vision)。

对于每个工件，具体实施时按以下步骤：

a)获得所有待测工件上所有实体面集合F＝{f_s，s＝1…S}(工件坐标系B上描述)，并且将其分为平面和非平面。

b)对于工件表面f_s为平面类型的情况下，获取其处于传感头观测视野^LFOV内的交线轮廓

如图4所不，延长AC和BD可得以交点E，其观测视野^LFOV＝{A，B，C，D}。

第1步：判断EC、ED和CD与平面f_s是否有交点。方法为：由点E向平面沿EC方向做投影，如有投影点P，并且EP的距离小于EC，则说明EC与平面f_s有交点，同理可以判断ED和CD与平面f_s是否有交点。

第2步：求出EC、ED和CD与平面f_s共有几个交点n，交点的个数可能为0、1、2。

第3步：如果n为2，即EC、ED和CD与平面f_s有两个交点，则把这两个点作为f_s与激光平面的交线的起点和终点。最后判断平面f_s是否有孔存在，如果有孔则判断此孔与激光平面是否相交，如果相交，则将交线中不存在的部分删除。

第4步：如果n为1，即EC、ED和CD与平面f_s有一个交点，则求出交线的另一端点，还需要判断平面f_s上是否有孔的存在。如果有孔还需要根据孔与激光平面是否相交修正交线。

第5步：如果n为0，即EC、ED和CD与平面没有个交点，则需要判断平面f_s与激光平面是否相交，如果有交线，则求出交线。

a)对于工件表面f_s为曲面类型的情况下，获取其处于传感头观测视野^LFOV内的交线轮廓

同样如图5所示，对于任意一曲线，因为曲面类型的任意性，直接利用搜索的方法求交线，找到CD的n等分点，m1、m2到mn等，连接Em1，Em2等，直接计算Em1，Em2与非平面f_s的交点，通过这些交点来拟合成曲线。

b)将

和按从左(靠近AC处)到右(靠近BD处)合并成统一轮廓交线^BP″′。

c)对^BP″′进行激光投射光线消隐后得^BP″：

首先对于轮廓^BP″′进行离散化，连接每个离散点与点E，如果此直线上还与^BP″′相交，则认为此点是不可见的，其将被删除，最终所有未被删除的^BP″′的部分将被认为是^BP″。

d)进行摄像机入射光线消隐后得^BP′：

如图6所示，首先对于轮廓^BP″进行离散化，取其中的一点M，设摄像机的原点为

则M所对应的轮廓段所在的工件表面的法向为

(由内朝外)，如果

与

的夹角θ小于最大反射角度Θ，并且线段

之间没有场景中其他物体存在，那么保留该点，^BP″中最终所有被保留的部分被认为是^BP′。

e)将轮廓^BP′转换至激光坐标系L中得^LP′，进一步^LP′的^Ix-^Iy数据并通过单应关系T_homo反投至图像获得最终的成像信号P。

三、成像采样信号分类

对于传感器在机器人预规划轨迹下通过成像仿真所获得的视图集为V＝{v_i，i＝1…N}而言，其中每个视图模型v_i将被描述为pres(v_i)＝(qual(v_i)，quat(v_i))，其中qual(v_i)表示对v_i的定性描述，而quat(v_i)表示对v_i的定量描述。

具体实施时，qual(v_i)＝<l_i，1>…<l_i，j><r_i，j><l_i，j+1>…<l_i，G>，其中l_i，j为v_i的第j个“直线段”(沿像素坐标系x正方向计数)的定性标签，同时为了描述l_i，j的定量值，还为其定义了相应的属性A(l_i，j)＝{a1(l_i，j)，a2(l_i，j)}，其中a1(l_i，j)为直线段l_i，j的长度，a2(l_i，j)为直线段l_i，j的斜率；另外r_i，j为v_i的l_i，j和l_i，j+1之间的关系，进一步可细分为“连接”与“间断”两类定性标签，如果l_i，j和l_i，j+1首尾端点重合，则进一步计算turn_i，j＝a2(l_i，j)-a2(l_i，j+1)，如果turn_i，j大于0，那么r_i，j定性为标签cl_j；如果turn_i，j小于0，那么r_i，j定性为标签c2_j，同样为“连接”的定性标签定义相应的属性值A(c_i，j)＝{a1(c_i，j)}，其中a1(c_i，j)为值turn_i，j；如果l_i，j和l_i，j+1首尾端点分离，那么r_i，j定性为标签g_i，j，也同样为其定义属性值为A(g_i，j)＝{a1(g_i，j)，a2(g_i，j)}，其中a1(g_i，j)表示l_i，j尾点和l_i，j+1起点之间的跨距，a2(g_i，j)表示l_i，j尾点和l_i，j+1起点之间的斜率。那么v_i的定量描述为quat(v_i)＝<A(l_i，1)>…<A(l_i，j)><A(r_i，j)><A(l_i，j+1)>…<A(l_i，G)>。

进一步定义当qual(v_i)和qual(v_i+1)描述完全一致，即qual(v_i)和qual(v_i+1)定性标签的数目与类型都相同的时候，称qual(v_i)和qual(v_i+1)是定性一致的，而定性一致的视图v_i和v_i+1将被认为是“具有同一定性形状类型的”，而相应地v_i和v_i+1的属性值将可以被合并，而合并后的视图定量描述为 $\mathrm{quat}\left(\tilde{v}\right)=<[A{\left(l_1\right)}_{-},A{\left(l_1\right)}_{+}]>...<[A{\left(r_j\right)}_{-},A{\left(r_j\right)}_{+}]>...<[A{\left(l_G\right)}_{-},A{\left(l_G\right)}_{+}]>,$ 其中A(·)_-表示为v_i和v_i+1对应的属性值的量值下限(即最小值)，A(·)₊表示为v_i和v_i+1对应的属性值的量值上限(即最大值)，而其定性描述

另外

的代表性视图为

其中

$\mathrm{qual}\left(\stackrel{\&OverBar;}{v}\right)=<\frac{A{\left(l_1\right)}_{-}+A{\left(l_1\right)}_{+}}{2}>...<\frac{A{\left(r_j\right)}_{-}+A{\left(r_j\right)}_{+}}{2}>...<\frac{A{\left(l_G\right)}_{-}+A{\left(l_G\right)}_{+}}{2}>.$

对于连续运动的视图集V＝{v_i，i＝1…N}，可以将检测位姿邻近且定性描述一致的进行区段视图归类以减少其中的冗余度，具体按下述步骤进行分类：

3.5)初始化第k个

使得

同时记录S_k＝i作为该类型定性形状

所在区段k的起点，并设定j＝i。

3.6)首先j自增1，如果

和qual(v_j)定性匹配，

将与v_j进行量值的合并，并继续执行步骤2。如果不匹配，则转至步骤3。

3.7)将E_k＝j-1作为该类型所在区段k的终点，将

和存入分类集合

中，并设i＝E_x且转步骤1。

3.8)按i从小到大的顺序重复上述步骤1、2、3直到i＞N，由

获得其代表性视图集合

最后可以获得沿机器人连续运动轨迹T＝{t_i，i＝1…N}的传感器视觉视图简约模型集 $\mathrm{PRES}\left(\stackrel{\&OverBar;}{V}\right)=\{\mathrm{qual}\left({\stackrel{\&OverBar;}{v}}_k\right),\mathrm{quat}\left({\stackrel{\&OverBar;}{v}}_k\right),S_k,E_k,k=1...H\}.$

四、相关结果演示

本发明以自主研发的机器人离线编程仿真软件为验证平台，其中该仿真软件是以基于PC和Windows的操作系统上运行的solidworks二次开发技术为支撑，其中仿真场景是建立在solidworks中装配空间中(对应*.sldasm文件)，而实验焊件的对象实体模型则为solidworks中的3D实体(对应*.sldprt)，采用的机器人类型是具有6自由度的KUKA KR16模型，并建有内在的运动学模型，传感头是自主研发的线条纹结构光视觉传感头本体为3D模型，并实现了上述第二节中所述的成像仿真功能，而其成像模型参数已经预先通过视觉标定获取。

1.横向焊缝搜索的视图模型获取

工程应用中一般对于焊缝的搜索往往采取自上而下的工件搜索以及沿焊件表面横向的焊缝搜索相配合的方式来定位焊缝，其中在横向搜索的时候则需要给出沿搜索路径的视图模型，而该类搜索的规划则是属于6自由度检测位姿规划问题。

如图7所示，首先指定一个横向搜索面，该面主要包含了离线编程时的焊缝预设位置，因此该面的中心位置取在待搜索焊缝的段中心，且与该处的焊缝轨迹切向垂直，而搜索面大小则需要综合考虑焊道接头的大小，加工公差以及装配公差后给出的，而上述值通过焊件本身的CAD设计数据可以较为容易的获取，一般取这3项参数的叠加即可得到相应搜索面的大小，如果缺少相关数据的话，也可根据操作者的经验也可以指定。

横向搜索面与焊件表面相交后所得的截面曲线就作为对应的焊件特征路径^BF，进一步取1mm的间隔进行离散化，而整个路径上的支持面的法向均值如图8中的向上箭头所示，另外

应当始终处于横向搜索面内，因此可以很方便地确定最终的检测位姿

而最后沿^BT运动轨迹采取仿真成像模型信号并进行分类后所得的传感器视觉视图模型集合描述

的效果如图8所示。

2.折线焊缝跟踪的视图模型获取

如图9所示的开V型坡口的折线焊缝，其会在转折处发生视图模型的变化，而采用本发明的方法可以预先给出这种变化来，这对于成功地完成整条折线的连续焊缝跟踪来说是十分重要的，显然这是一个绕枪轴旋转单自由度的检测位姿规划。

首先用户可以通过软件界面指定出折线焊缝的起点，终点，接头两侧的辅助接触面，并设定相应的焊接转角与倾角等工艺参数后，本系统会自动提取出焊接姿态离散序列

而焊件特征路径^BF＝{^Bf_i，i＝1…M}直接取焊缝曲线离散逼近样式，其在提取焊接姿态的同时已经获取，另外对中标准线^LA是图像像素平面上线x＝320，y＝0～479(该位置处于像素平面的中间)通用单应反投在激光面上的投影，最小可接受的对中角度阈值设为Θ＝1.15°(其对应于图像中10个像素距离大小)。根据前述的规划方法，最终可以获取姿态

该系列规划姿态可以保证传感器在进行折线焊缝跟踪的时候，焊缝能够始终处于传感器有效的检测视野内，最后沿^BT运动轨迹采取仿真成像模型信号并进行分类后所得的传感器视觉视图模型集合描述

的效果如图10所示。

Claims (5)

1.一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，其特征是步骤包括：

1)首先利用焊接机器人的非工艺运动的冗余自由度进行传感器检测位姿规划，最终给出同时满足“感兴趣的目标工件特征处于传感头有效检测范围内”和“机器人工具手满足相关工艺要求”的双重约束的机器人末端位姿连续运动序列其中

为工具手位姿；

2)再通过沿规划好的检测运动轨迹获取传感器成像的仿真信号以得到原始的视图数据集；

3)最后通过对成像采样信号定性分类得到整个机器人连续运动轨迹上的视图描述模型；

所述步骤1)中，所述传感器检测位姿规划方法包括：6自由度检测位姿规划和绕枪轴旋转单自由度检测位姿规划；

所述步骤2)中，沿运动轨迹采取仿真成像信号

将通过对线结构光视觉传感器成像过程进行模拟以获取在对应位姿处的视图v_i，最终获得对应于^BT的视图集为V＝{v_i，i＝1...N}；

所述步骤3)中，成像采样信号分类

v_i将被描述为pres(v_i)＝(qual(v_i)，quat(v_i))，其中qual(v_i)表示对v_i的定性描述，而quat(v_i)表示对v_i的定量描述。而通过定义定性一致性准则和定量合并准则，最后可以获得沿机器人连续运动轨迹T＝{t_i，i＝1...N}的传感器视觉视图模型集合描述为

其中为整个分类视图的代表性视图。

2.根据权利要求1所述的一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，其特征是所述步骤1)中，对于6自由度检测位姿规划，是在焊枪不受工艺约束，传感头将享受机器人所有自由度的情况下以完成检测，应用场合包括焊接前的焊缝定位和装配情况检测；

的获取方法是，定义传感头视点坐标系S，即焊枪坐标系T首先沿枪轴

移动一个距离D，然后再沿其前进方向即

轴正方向上移动到激光面上的一个对应坐标系，其中一般D值大于0；定义待检测的焊件特征路径为^BF＝{^Bf_i，i＝1...M}；

对于姿态

其视点坐标系S的位置将直接取^Bf_i，另外视点坐标系S的x轴要求与^BF相关的支持面的综合法向量

相反，即

设

为特征点^Bf_i位置处的正切向向量；

根据

或者

和之间不同的关系将

分为以下2种通用类型：

a)如果

和^Bf_i点的切向向量

处于同一个平面内，则该类运动为“纵向运动”；

b)如果

和^Bf_i点的切向向量

处于同一个平面内，则该类运动为“横向运动”。

3.根据权利要求1所述的一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，其特征是所述步骤1)中，对于绕枪旋转单自由度检测位姿规划，是针对焊枪受到焊接工艺约束，传感头只有绕焊枪轴的旋转自由度可以利用，其主要应用场合为焊缝跟踪；

假设已经通过焊接姿态提取获得了焊枪在机器人基坐标系下的焊接姿态

其中

的5个自由度已经满足焊接姿态工艺要求，剩余的绕x轴的分量则是默认为0；另外还获取了焊件特征路径^BF＝{^Bf_i，i＝1...M}，其中^Bf_i是空间点，一般^Bf_i可以直接取

的平移分量，在焊缝跟踪时则是焊缝路径，激光面上的对中标准线^LA，以及最小可接受的对中角度阈值Θ，那么通过以下步骤获取满足线结构光视觉焊缝跟踪时的姿态

a)如果i为1，则取焊接姿态

转b)步；否则如果i处于2和N之间的话，则取焊接姿态

并且

的第一列更新为

的第一列，转b)步；如果i大于N的话，则退出；

b)计算

姿态下的基坐标系中的激光面^B∏₁；

c)计算^B∏₁和焊件特征路径^BF＝{^Bf_i，i＝1...M}之间的交点^Br₁，主要通过判断^B∏₁是否处于两个^Bf_i和^Bf_i+1点之间，如果是，则计算交点^Br₁，然后转d)步；如果没有交点，则

取

并保存，然后转步骤a)；

d)计算^Br₁在焊枪坐标系旋转轴

上的投影点^Br₂，进一步获得垂直于

并且过点^Br₂的平面^B∏₂，另外通过^LA可计算在基坐标系下的对中标准线^BA，则联立^B∏₂和^BA可以计算求得一点^Br₃。则进一步通过向量和可以求得绕

的旋转角度θ，如果|θ|＜Θ，则

取

并保存，然后转a)；否则的话，

姿态可更新为绕焊枪坐标系旋转轴x旋转θ角的最新位姿，并转c)步。

4.根据权利要求1所述的一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，其特征是所述步骤2)中，在机器人按照预规划轨迹

运动后，将通过在仿真环境下对线结构光视觉传感器成像过程仿真以获取在对应位姿

处的视图v_i，最终获得对应于^BT的视图集为V＝{v_i，i＝1...N}，获取步骤如下：

因为激光器所投射出的激光面∏在摄像机坐标系C的位姿相对固定，则∏可以描述为：a^Cx+b^Cy+c^Cz+d＝0，其中a、b、c、d为坐标系C下的激光平面参数；

为了能够对传感头的成像原理进行模拟，需要在激光面上设定一激光坐标系L：取摄像机光轴与激光面的交点为L的原点^CO_L＝(0，0，-d/c)^T，L的z轴与激光面垂直，因此z轴向量为

L的x轴为C坐标系的x轴沿摄像机光轴向激光面的投影获得，即

L的y轴则可通过右手准则获得

进一步通过归一化可获得各轴的单位向量

因此坐标系L与C之间的关系为

设激光面上的一点在坐标系L为^LP＝[^Lx ^Ly ^Lz 1]^T，像素平面上的一点为^IP＝[^Iu ^Iv 1]^T，则点^IP和^LP之间将构成如下的单应关系：

$s\left[\begin{array}{c}u_I\\ v_I\\ 1\end{array}\right]=A_L^{C}T\left[\begin{array}{c}x_L\\ y_L\\ z_L\\ 1\end{array}\right]$

$=\left[\begin{array}{ccc}{f}_x& \mathrm{\&gamma;}& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{\stackrel{\&RightArrow;}{x}}^{\&prime;}_C& {\stackrel{\&RightArrow;}{y}}_L^{\&prime;}_C& {\stackrel{\&RightArrow;}{z}}^{\&prime;}_C& o_L^C\end{array}\right]\left[\begin{array}{c}x_L\\ y_L\\ 0\\ 1\end{array}\right]$

$=A\left[\begin{array}{ccc}{\stackrel{\&RightArrow;}{x}}^{\&prime;}_C& {\stackrel{\&RightArrow;}{y}}^{\&prime;}_C& o_L^C\end{array}\right]\left[\begin{array}{c}x_L\\ y_L\\ 1\end{array}\right]=T_{\mathrm{hom\; o}}\left[\begin{array}{c}x_L\\ y_L\\ 1\end{array}\right]---\left(1\right)$

其中s为任意一比例因子，A为摄像机内参数，T_homo记为单应关系；设CCD像素矩形区域的4个顶点为^IFOV＝{^IA，^IB，^IC，^ID}，那么通过单应关系T_homo可以获得在激光平面上所对应的^LFOV＝{^LA，^LB，^LC，^LD}，而^LFOV即为传感头的检测视野。

5.根据权利1的一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，其特征是所述步骤3)中，对于连续运动的视图集V＝{v_i，i＝1...N}，可以将检测位姿邻近且定性描述一致的进行区段视图归类以减少其中的冗余度，具体按下述步骤进行成像采样信号分类：

3.1)初始化第k个

使得

同时记录S_k＝i作为该类型定性形状

所在区段k的起点，并设定j＝i；

3.2)首先j自增1，如果

和qual(vj)定性匹配，

将与vj进行量值的合并，并继续执行步骤3.2。如果不匹配，则转至步骤3.3；

3.3)将E_k＝j-1作为该类型所在区段k的终点，将

和

存入分类集合

中，并设i＝E_k且转步骤1；

3.4)按i从小到大的顺序重复上述步骤3.1、3.2、3.3直到i＞N，由

获得其代表性视图集合

最后可以获得沿机器人连续运动轨迹T＝{t_i，i＝1...N}的传感器视觉视图简约模型集

Images