CN106142092A - 一种基于立体视觉技术对机器人进行示教的方法 - Google Patents

Abstract

一种基于立体视觉技术对机器人进行示教的方法，涉及机器人示教和立体视觉技术领域。可应用于焊接、喷涂等自动生产领域。本发明提出使用立体视觉技术提供深度图，计算机从深度图中捕捉工具特征并记录每一帧的时间，计算处于摄像头坐标下的工具的位姿矩阵。并获取摄像头坐标系下工具位姿矩阵到机器人坐标系下手臂末端位姿矩阵的变换关系，基于该变换关系，将计算机记录下的位姿全部变换到机器人坐标下，连同时间输入到机器人系统中，复现这些位姿和模拟量，对机器人进行示教。示教时无需拖拽机器手臂，轻便而且节省空间。

Description

一种基于立体视觉技术对机器人进行示教的方法

技术领域

本发明涉及机器人示教和立体视觉技术领域。

背景技术

在工业生产中，存在一些劳动密集型生产工艺，比如喷涂、电焊等，工艺的质量和效果强烈依赖操作人员的技能和经验，因此，通过事先编程的方式控制机器手臂来实现此类工艺流程的自动化很困难。

为了实现自动化生产，常见的是对机器手臂进行示教。

方法之一是人工操作或拖拽机器人手臂在空间中移动，机器记录下每个转轴的旋转角度和时间，实现了对工作的录制。在生产中，机器手臂重复录制的旋转角度，即可实现与熟练操作工相同的工艺效果。此方法的示教中，操作工需要移动沉重的机器手臂，难以实现快速操作。并且，由于机器手臂体积较大，空间上也带来不便。

方法之二是将摄像头固接在机器人手臂末端。在示教过程中，用摄像头记录下观察到的待加工物体的特征。随着机器人手臂的移动，特征在图像中的位置发生移动。生产中，对比摄像头实时捕捉到的特征和示教中特征的位置关系，动态调整机器人手臂运动，期望在给定的时间点上实时捕捉的特征尽量符合示教中记录的特征位置。这实际上利用了反馈的原理。此方法中，生产中每个机器人都需要配备额外一组摄像头，成本较高。并且对于待加工物体的表面要求有一致的特征，因而使用也是受限的。

近年来，立体视觉技术为解决机器人示教问题带来新的可能。目前已经成熟的立体视觉技术有基于飞行时间（ＴＯＦ）、结构化光、双目视觉和光场的技术。按照一定的算法，它们都能提供对象的深度数据。对于图像中一个确定的像素，它本身含有水平和竖直坐标，结合该点的深度数据（通常为灰度值）和摄像头参数，可以映射为空间上水平和竖直坐标。深度数据、空间上的水平和竖直坐标就提供了像素对应的物理点相对于摄像头的确定位置关系。

对于一个刚体，当其表面不共线的三个点位置被确定后，其位姿位移被确定。此处所说的位姿包括位置和姿态两方面的信息，有六个自由度，即平动三个自由度和旋转三个自由度。它完全刻画了一个刚体的运动状态。数学上，位姿通常用4x4的位姿矩阵来表示。物理上同一个位姿在不同坐标系下有不同的表达，它们之间可以用变换矩阵表达。变换矩阵实际上反映了两个不同坐标系之间的变换关系，它不随位姿变化而变化。

发明内容

本发明提出使用立体视觉技术提供的深度数据，基于视觉识别实现对示教动作录制和获取摄像头坐标系位姿矩阵到机器人坐标系位姿矩阵的变换。

具体过程如下步骤。

第一步骤，示教过程中人工操作工具（例如，喷枪、焊枪等），使工具达到不同位姿。

第二步骤，使用立体视觉摄像头捕捉工具的位姿信息，并连续记录工具的深度图。

第三步骤，深度图被送到计算机，计算机同时记录下每一帧的时间。基于现有的算法识别工具特征，当有三个以上不共面的特征点被识别出后，可以计算出摄像头坐标系下的工具的位姿矩阵。根据实际工艺，如焊接、喷涂等，如果有需要同步记录的模拟量，比如焊枪的开关信号和喷枪的流量信号等，计算机也会同时记录。

第四步骤，获取摄像头坐标系下工具的位姿到机器人坐标系位下机器手臂末端位姿变换关系。具体为，将工具安装在机器手臂上，给机器手臂发送指令，使末端其到达不同的位姿。摄像头得到不同的深度图，计算机进行特征识别得到在摄像头坐标系下工具的不同的位姿。根据得到的机器人坐标系下的末端位姿矩阵和摄像头坐标系下的工具位姿矩阵，计算确定所需的变换关系。

第五步骤，将计算机记录下的位姿全部变换到机器人坐标系下，连同时间和所需的模拟量输入到机器人系统中去。如果需要，还可进行适当的数据处理，比如平滑、删减、增加等。在生产过程中，复现这些位姿和模拟量，即可还原示教过程，实现自动化生产。

对于第二步骤中的特征点的识别可以通过两种方式实现：基于工具自身特征识别的方式和基于标识物的方式。

基于工具自身特征识别的方式分成两个步骤。首先对工具进行学习，提取各个面的特征。在计算机捕捉时，识别出此物体和物体上的特征点。

基于标识物的方法中，需要预设一种标识物，该标识物几何结构可以根据需要进行设计，设计标准只需要能够通过至少识别出该标识物上的3个特征点的基本信息（包括水平坐标、竖直坐标和深度数据），进而可以直接获得待操作物体的位姿，因此不需要学习的过程。可以期望有较高的识别成功率和精度。在第一步骤中将标识物固接到工具上，可以将其看作工具的一部分。标识物的位姿代表了工具的位姿。为了简化识别的工作，标识物采用简单特征，比如球形等。以球形为例，深度图上为圆形，特征识别时，对深度图（由灰度图表示）使用Hough变换直接得到圆形的圆心。

对于特定情况，如果工具的运动自由度受限，比如对大平面喷粉时，喷枪头绕轴的旋转对操作无影响，可以减少标识物的特征，以减少特征捕捉和处理的复杂度。

对于复杂情况，可以增加标识物的特征，获得冗余度，增加识别的可靠性。

本发明的优点是：示教时无需拖拽机器手臂，轻便而且节省空间；系统搭建较为简便；在完成对一个生产示教过程后，生产过程无需摄像头协助，摄像头可以用来做其它的示教，节约硬件资源。

附图说明

图1 是本发明实施方法的示意图。

图2 是本发明实施方法的流程图。

图3 是本发明所述的特征识别。

图4 是本发明提出的标识物固接于工具上的示意图。

图5 是本发明提出的标识物变种。

具体实施方式

如图1所示，示教过程中存在待加工物体11，工具12，立体视觉摄像头13和计算机14。立体视觉摄像头13和计算机14间的连线表示通信。

图2给出了示教过程的流程图。首先，人工操作工具11，在空间移动，对待加工物体进行加工。整个移动的过程被立体视觉摄像头13以深度图形式连续记录，并传送给计算机14。计算机14对深度图进行多点特征识别，根据多个特征点的位置计算出工具13的实时位姿矩阵（摄像头坐标下），并保存。摄像头坐标系可以任取，比如可以以图像中心深度为0的地方为原点，深度方向为Z方向，屏幕上图像向上为Y方向，再根据右手定则确定X的方向。

在此过程中，通常人工同时控制一些物理量：如利用开关开度控制喷粉的流量，或利用开关控制焊枪通电等。传感器（图中未示出）将这些物理量传送给计算机14，一并保存。

计算机14在得到深度图和物理量时，总是记录时间信息。

为了将摄像机坐标下的位姿矩阵变换到机器人坐标系下，还需要做一个一次性的工作，即找到两个坐标系下位姿矩阵的变换关系。图2也包括了这个步骤。

为方便说明，符号定义如下。在摄像机头标系下，工具的位姿表示为，在机器人坐标系下，机器手臂末端位姿表示为，这两个4x4的矩阵是示教过程得到的已知量。表示从机器人坐标系到摄像头坐标系下的变换矩阵，是特征点表征的工具坐标系相对于机器手臂末端的位姿，这两个4x4的矩阵分别各自有6个自由度，它们在示教中是固定、待确定的量。其中反映了机器人和摄像头件的位置和姿态关系，反映了工具是如何固定在机器手臂末端的，根据坐标变换的规则得到下面的关系式（1）：

（1）

式中有十二个独立变量，一组和可以提供六个独立方程，理论上两组和就解出式（1）中未知量和。但实际上式（1）是变量的二次方程，存在多解。所以至少还需要第三组数据唯一确定式（1）（不考虑同时变换正负号）。

在实际操作中，可以利用已知条件，减少变量个数，比如实际测量摄像机原点相对于机器人坐标系的坐标。还可以设计特殊的，使解式（1）变得简单。

确定式（1）后，可以方便地得到式（2）：

（2）

根据式（2）可以将计算机14计算得到的工具位姿矩阵（摄像头坐标系下）转化为机器手臂末端位姿矩阵（机器人坐标系下）。直接向机器人发送此位姿矩阵，可复现工具位姿。

对于得到的随时间变化的机器手臂末端位姿和物理量，可以根据需要来平滑处理，也可以做其它编辑，如删除和添加数据。之后把这些随时间变化的数据输入到机器人系统中，机器人系统按给定时间复现这些位姿矩阵和物理量，即可复制人工操作，实现自动生产。

图3表示直接对工具进行特征识别时，应选取明确、间距较远的特征。以期获得更为准确的位姿。图3中点31、点32和点33分别是工具的边缘处角点。在人工操作过程中，应保证这些特征点能被摄像头拍摄到。

图4表示将一个具有三个圆球特征的标识物42固接到工具41上。在深度图上，三个圆球表现为三个圆，可以直接使用Hough变换得到圆心位置，捕捉到球形特征。三个球心的物理位置可以确定唯一的位姿。

图5表示标识物可以有不同的变种。图5a和图5b表示在某些运动自由度不重要或不存在时，可以减少特征数量。图5c表示可以增加一个冗余球形特征，好处是提高特征识别的健壮性，当某个特征被遮挡时，仍可以确定位姿。

Claims (10)

1.一种基于立体视觉技术的机器人示教方法，其特征在于包括如下步骤：

第一步骤，人工操作工具，使工具达到不同位姿；

第二步骤，使用立体视觉摄像头连续获取第一步骤中人工操作工具场景的深度图；

第三步骤，将深度图信息输入计算机，计算机从深度图中捕捉工具特征并记录每一帧的时间，计算处于摄像头坐标下的工具的位姿矩阵；

第四步骤，获取摄像头坐标系下工具位姿矩阵到机器人坐标系下手臂末端位姿矩阵的变换关系；

第五步骤，基于该变换关系，将计算机记录下的工具位姿矩阵全部变换为机器人坐标系下手臂末端位姿矩阵，连同时间输入到机器人系统中，复现这些位姿，对机器人进行示教。

2.如权利要求1所述的机器人示教方法，其特征在于，其第四步骤具体为，将工具安装到机器人手臂末端，给机器手臂发送指令，在机器人坐标系下，移动机器手臂末端到若干不同位姿，同时依据深度图获得在摄像头坐标下工具的位姿矩阵。

3.如权利要求1所述的机器人示教方法，其特征在于，其第四步骤中利用参数的最优估计或直接求解，来获取摄像头坐标下工具的位姿矩阵到机器人坐标系下手臂末端位姿矩阵的变换关系。

4.如权利要求1所述的机器人示教方法，其特征在于，所述机器手臂为六自由度机器手臂，在第二步骤中捕捉不少于三个的特征，以完全确定工具的位姿。

5.如权利要求1所述的机器人示教方法，其特征在于，第三步骤中，根据实际工艺的实际需要，摄像头同步记录所需模拟量；在第五步骤中，同时将这些模拟量输入机器人系统。

6.如权利要求5所述的机器人示教方法，其特征在于，实际工艺为焊接或喷涂工艺，模拟量为相应的焊枪的开关信号或喷枪流量控制信号。

7.如权利要求1所述的机器人示教方法，其特征在于，第五步骤中还包括对位姿矩阵等量进行数据处理。

8.如权利要求1所述的机器人示教方法，其特征在于，第一步骤中，将已知的标识物固接在工具上，使标识物成为工具的一部分， 这样在第三步骤中，特征识别变得更加容易。

9.如权利要求8所述的机器人示教方法，其特征在于，在第三步骤中应用Hough变换识别出标识物特征，进而从深度图中获得标识物特征的位置。

10.如权利要求8所示的机器人示教方法，其特征在于，标识物由若干个位置相对固定的球体构成。