CN109767416B

CN109767416B - 机械设备的定位系统及方法

Info

Publication number: CN109767416B
Application number: CN201711280417.8A
Authority: CN
Inventors: 施志轩; 吴光俞; 黎尚昆; 黄苏
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2017-11-03
Filing date: 2017-12-06
Publication date: 2021-12-28
Anticipated expiration: 2037-12-06
Also published as: TW201918348A; US10540779B2; CN109767416A; TWI672207B; US20190139255A1

Abstract

一种机械设备的定位系统，应用于机械手臂，此定位系统包括至少一影像单元，用于取得一机械设备的深度信息或三维点云或三维网格；以及一处理单元，用于接收所述深度信息，并以一算法重合所述深度信息与所述机械设备的三维向量信息或三维图形档案或三维点云，取得一转换关系，再根据所述转换关系及机械手臂与影像单元的一位置关系，计算取得机械手臂与机械设备的一空间关系，最后再根据所述空间关系产生机械手臂的一动作路径。

Description

机械设备的定位系统及方法

技术领域

本发明涉及一种定位系统及方法，尤其涉及一种以机械手臂配合深度摄影机对各式机械设备的定位系统及其方法。

背景技术

当前在安排各式机械设备配合机械手臂的加工作业时，其加工或动作路径的建立与模拟等，往往以人工方式长时间进行逐步教导，不仅需要专业知识与经验，也耗费时间，严重影响生产进程。即使完成了生产前置作业，但在实际执行时却仍有缺失，例如模拟结果与实际状况不一致或误差过大时，或当机械设备、工件更动或磨耗后，将使得先前已规划完成的路径或点位完全失效。

因此如何建立快速且精确的一种系统及其方法，实现以机械手臂对机械设备的定位作业迫切且必要。

发明内容

本发明提供一种机械设备的定位系统及其方法，适用于决定一机械手臂相对于至少一机械设备之间的空间关系，该系统包括有至少一影像单元与一处理单元。影像单元装设于该机械手臂上或其他位置，用于扫描取得机械设备的深度信息或三维轮廓点云。处理单元接收该深度信息，以一算法重合该深度信息与该机械设备的三维图形信息，而取得一转换关系，再根据转换关系及机械手臂相对于影像单元的一位置关系，产生该空间关系；最后再根据此空间关系，规划或模拟产生一机械手臂的动作路径。

附图说明

图1是本发明一实施例提出的一种机械设备的定位系统的实施图；

图2是本发明一实施例提出的一种机械设备的定位方法的流程图；

图3是图1所示系统的一校正眼在手坐标转换的示意图；

图4是图2所示方法的一取得眼与手位置关系的流程图。

【附图标记说明】

10-影像单元； 11-处理单元；

110-演算模块； 111-储存模块；

112-路径产生模块； 20-机械手臂；

21-机械设备； 22-末端点；

S1～S4-步骤； S1A～S1C-步骤。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

请参阅图1，本发明的一种机械设备的定位系统，例如适用于决定至少一机械设备21，例如是布轮抛光机，与一机械手臂20之间的一空间关系，其主要包含至少一影像单元10与一处理单元11。

影像单元10可为一深度摄影机(depth camera)，影像单元10可装设于机械手臂20的末端点22，或所在区域空间中的任一位置上，因此影像单元10与机械手臂20之间将存在一位置关系，例如是在空间中相对位置的一转换矩阵，而影像单元10则用于扫描取得至少一机械设备21的空间深度信息或三维轮廓点云信息，而此信息可代表机械手臂20或影像单元10相对于机械设备21各部位之间的真实距离或姿态。

处理单元11信号连接影像单元10并且控制机械手臂20进行扫描动作，再以一算法重合所扫描的空间深度信息与机械设备21的一向量信息，此向量信息为一三维轮廓设计信息，例如具有精准三维轮廓的图形档案，进而取得一转换关系，此转换关系即是一位置转换矩阵，再根据此转换关系与前述的位置关系，建立机械手臂20与机械设备21的空间关系，此空间关系也是一位置转换矩阵，除可代表真实距离或姿态外，也代表机械设备21相对于机械手臂20的真实轮廓与位置，最后可选择性地再根据此空间关系产生或模拟机械手臂20的一动作路径或一加工路径。

处理单元11在软件上或硬件上主要具有一演算模块110、一储存模块111与一路径产生模块112。演算模块110接收来自影像单元10的空间深度信息或三维点云，以及存放于储存模块112的机械设备21的向量信息或三维图文件，经演算后取得转换关系，及再以转换关系与位置关系建立空间关系。路径产生模块112则依据该空间关系而产生机械手臂20适当的移动或加工路径。

请参阅图2，本发明的一种机械设备的定位方法，主要是由处理单元11通过软硬件方式所主导实施，其步骤包含有：

步骤S1，取得影像单元10与机械手臂20的位置关系。请再参阅图3与图4，该取得位置关系的具体步骤为：

步骤S1A，收集校正点云信息。机械手臂20相对于影像单元10扫描一校正样板或一任意特定对象的多组点云信息，并由影像单元10进行校正。

如图1与图3所示，影像单元10装设于机械手臂20上(眼在手配置)，为了进行校正，机械手臂20必须在至少两个位置之间移动或变更姿态，并分别记录对校正样板或对象所扫描到的点云信息，因此将可得到至少一组分别由影像单元10与机械手臂20末端点22在空间位置的转换矩阵A，B；此处A代表不同姿态下影像单元10间的转换矩阵，B则代表不同姿态下机器手臂20末端点22的转换矩阵。

在此步骤中，依据影像单元10放置位置可分为眼在手(eye-in-hand)，即放置于机械手臂20上，与眼看手(eye-to-hand)，即放置于机械手臂20以外的位置上的两种配置方式。

以眼在手配置而言，将影像单元10放置于机械手臂20的任一位置上，并计算器械手臂20末端点22与影像单元10之间的位置关系。校正方法为机械手臂20在空间中移动任意两个位置，并记录当下机械手臂20坐标系相对于机械手臂20的基底坐标系(Base)的转换矩阵，并记录相对于一外部深度摄影机所拍摄到校正基准面的对象坐标系(Object)的转换矩阵。

步骤S1B，是否完成收集？若未完成收集点云信息，则回到步骤S1A；若完成收集则至步骤S1C。

步骤S1C，计算取得位置关系。以一定义矩阵方程式AX＝XB求解X矩阵，此X矩阵即是机械手臂20末端点22相对于影像单元10的位置关系。

因此当建立机械手臂20与影像单元10的坐标几何关系后，即可通过收集大量特定的点云信息与机械手臂20的姿态，以一最小化式的计算器机械手臂20末端点22与影像单元10的空间平移与旋转矩阵，也即是上述的位置关系。本发明例如利用莱文贝格-马夸特(Levenberg-Marquardt)算法进行空间平移与旋转矩阵参数的推估。

步骤S2，取得机械设备的空间深度信息。处理单元11控制机械手臂20以令影像单元10扫描机械设备21，以取得其三维轮廓点云或三维网格的空间深度信息；此深度信息代表此时此处影像单元10相对于机械设备21局部的真实距离或姿态。

若更进一步论述，影像单元10随机械手臂20对机械设备21或目标机台外表轮廓快速移动扫描，而取得机械设备21的局部三维点云信息，以作为重合完整同型设备的向量信息或计算机辅助设计(以下简称为CAD)模型的算法输入数据。

在此步骤中，若无完整同型设备的CAD模型数据或向量信息，可在此步骤中先对机械设备21进行完整且精确的深度扫描，以取得完整的三维轮廓点云信息，以替代作为后续演算重合与路径规划参考模型的依据。

步骤S3，计算转换关系以取得空间关系。将机械设备21的完整CAD模型或向量信息或三维点云，以一算法重合经扫描所得的三维点云或网格的深度信息，举例使用叠代最近点(Iterative Closest Point，以下简称ICP)算法进行校正对位以得出一转换关系。

本实施例的以机械设备21的三维轮廓点云或深度信息，重合完整CAD模型或向量信息的算法，在实施前需从影像单元10扫描取得机械设备21的三维点云或深度信息，随后在处理单元11的演算模块110中进行与完整机械设备21的CAD模型相重合，重合操作需先设定完整机械设备21的CAD模型作为目标数据，实际扫描的机械设备21点云信息设定为源数据，该两群数据所形成的点集分别为P、Q，其步骤如下：

1、分别计算点集P、Q的重心(Center of mass)。

2、将点集差异转换为交叉共变异数矩阵(Cross-covariance matrix)∑_pq。

3、根据∑_pq产生对称矩阵(Symmetric matrix)Q(∑_pq)。

4、求解对称矩阵Q(∑_pq)得到最大特征值与其对应的特征向量(w，m，n，p)，此特征向量与四元素向量

对应。

5、产生三维空间的旋转矩阵

6、计算取得平移向量

最终以叠代方式及限定次数或误差下产生位置转换矩阵，也即是上述的转换关系。

7、以位置关系与转换关系的矩阵乘积取得空间关系；其中位置关系、转换关系与空间关系均为4乘4的位置转换矩阵。

在另一实施例中，若影像单元10所撷取到的点云信息具有空间与色彩信息，则可利用色彩信息强化原有实际设备点云信息，重合完整设备CAD模型算法，例如采用k-d tree(k-dimension tree，k-维树)数据结构来加速邻近点数据搜寻，使原先算法能使用较少的叠代次数即可达到收敛效果。常用来计算色彩距离的方式举例有欧式距离(Euclideandistance)与马式距离(Mahalanobis distance)。

步骤S4，产生机械手臂动作路径。举例利用机械手臂运动模拟以进行奇点(singularity)、各轴极限与几何干涉检查。并通过整合而产生实际有效的移动或加工路径。

以上以布轮抛光机为例，通过设定相关的刀具坐标转换与补偿、研磨设备的位置与研磨接触点设定后，所产生的研磨路径可通过仿真器进行仿真。在模拟过程中会检查是否产生关节极限、干涉碰撞等，若发生上述状况，系统将会发出警告信息通知用户，并修正研磨路径。

本发明的实施例通过步骤S1～S3即可完成机械设备相对于机械手臂的定位或姿态确定，而步骤S4则可为选择性地再依据工程计划进行安排。

综上所述，本发明以安装于机械手臂20上的影像单元10取得机械设备21的深度信息或三维点云，再与既有的机械设备21或同型机台的三维图形档案或向量信息进行重合，以取得之间的转换关系，再根据机械手臂20与影像单元10之间的位置关系，最终计算取得机械手臂20相对于机械设备21间的空间关系，使得真实但局部的设备三维点云与精确且完整的设备三维图形得以相重合，以完成当时彼此姿态的确定而便于调整或安排后续的加工或动作路径。

在生产厂商方面，本发明可使生产厂商快速自动的生成有效路径，降低调机教导的时间，以及通过扫描补偿路径应对布轮磨耗。

在系统厂商方面，本发明可提供系统厂商完整的系统流程，若有CAD模型数据，本发明可估测设备姿态；若无CAD模型，本发明可重建设备的三维模型。

在仿真软件厂商方面，本发明可提供仿真软件厂商虚实校正扩充与方法，并成为计算机辅助绘图软件的第三方软件。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种机械设备的定位系统，应用于一机械手臂，所述定位系统包括：

至少一影像单元，用于取得一机械设备的深度信息，所述影像单元装设于所述机械手臂上，所述机械设备包括布轮抛光机；以及

一处理单元，用于接收所述深度信息，并以一算法重合所述深度信息与所述机械设备的一向量信息，而取得一转换关系，再根据所述转换关系与一位置关系，取得一空间关系；

其中，所述深度信息包括三维点云或三维网格之一，所述向量信息包括所述机械设备的三维计算机图形档案或三维点云之一；

其中：

所述转换关系为一位置转换矩阵；

所述位置关系是所述影像单元与所述机械手臂的一末端点之间的一位置转换矩阵；以及

所述空间关系为所述转换关系与所述位置关系的矩阵乘积。

2.根据权利要求1所述的机械设备的定位系统，其中，所述影像单元为一深度摄影机。

3.根据权利要求1所述的机械设备的定位系统，其中，所述处理单元还包括：

一演算模块，用于执行所述算法：

一储存模块，用于储存所述向量信息；以及

一路径产生模块，用于产生所述机械手臂的一动作路径。

4.根据权利要求1所述的机械设备的定位系统，其中，所述算法是叠代最近点(Iterative Closest Point，ICP)算法。

5.一种机械设备的定位方法，应用于一机械手臂并由一处理单元所执行，所述定位方法包括以下步骤：

接收由一影像单元所取得的一机械设备的深度信息，所述影像单元装设于所述机械手臂上，所述机械设备包括布轮抛光机；

根据所述深度信息与所述机械设备的一向量信息，以一算法取得一转换关系；

根据所述转换关系与一位置关系，再取得一空间关系；

其中：

所述转换关系为一位置转换矩阵；

所述空间关系为所述转换关系与所述位置关系的矩阵乘积。

6.根据权利要求5所述的机械设备的定位方法，其中，所述算法是迭代最近点(Iterative Closest Point，ICP)算法。

7.根据权利要求5所述的机械设备的定位方法，其中，在取得所述空间关系步骤之后还包括：

根据所述空间关系，产生所述机械手臂的一动作路径。