CN113246128B - 一种基于视觉测量技术的机器人示教方法 - Google Patents

Abstract

本发明提供了基于视觉测量技术的机器人示教方法，步骤：固定坐标转换部；先获取坐标转换部坐标系与机器人机座坐标系的转换关系，并进行绑定；当相机被更换或者被移动后，再采集坐标转换部在新相机坐标系下的坐标，并基于所述转换关系对机器人机座坐标系进行标定；获取机器人上的工具输出端在机器人机械接口坐标系下的位姿；将光笔或探测标靶的探测端调整到工具输出端需要到达的位姿，采集此时的探测端在相机坐标系下的位姿；将示教位姿转换到机器人机座坐标系，并判断工具输出端处于示教位姿时机器人手腕要到达的位姿是否在机器人的工作空间内；如是则进行示教。本发明示教效率高、示教成本低。

Description

一种基于视觉测量技术的机器人示教方法

技术领域

本发明属于视觉测量技术领域，具体涉及一种基于视觉测量的机器人示教方法。

背景技术

利用机器人进行自动化重复作业时，需要借助于视觉系统对机器人进行精确的路径规划和示教，目前主要有如下三种方法：方法1，采用3D数模规划路径，规划完路径后在现场进行坐标测量和坐标转换，完成路径姿态规划；方法2，采用与机器人一对一固定连接的结构光加视觉系统，通过结构光和视觉测量得到工件或目标结构的三维模型，由专业工程师通过标注后再规划机器人路径；方法3，采用带电拖动自动化执行机构的方式，直接拖动自动化执行机构末端到达目标点，在示教装置上操作设置为目标点，或通过示教器操作进行示教。

前述方法1的缺点：需要专业工程师进行3D数模处理、现场坐标测量和坐标系转换才能完成机器人路径姿态规划；前述方法2的缺点：通过结构光和视觉测量得到工件或目标结构的三维模型后，必须由专业工程师标注后才能规划路径，一套结构光三维视觉系统固定连接一台机器人，不易对多台机器人快速示教，不满足小批量多规格柔性化生产对快速简单示教的要求；前述方法3的缺点：拖动带电自动化执行机构的关节臂时，各关节电机在保持和释放扭矩间切换时造成顿挫感，不能连续顺滑采点，人工定位精度不高，同时拖动关节臂和操作示教器反复切换，耗时费力。

发明内容

本发明目的在于采用新的技术路线，提供一种基于视觉测量技术的机器人示教方法，至少用于解决现有机器人示教方法不能针对多台机器人快速采集路径规划需要的位姿信息的技术问题。

为了实现上述目的，本发明采用如下技术方案。

一种基于视觉测量技术的机器人示教方法，其特征在于，步骤包括：

步骤1，在机器人上固定坐标转换部，该坐标转换部上至少包括三个不在同一直线上的标记点；

步骤2，先获取坐标转换部坐标系与机器人机座坐标系的转换关系，并进行绑定；当视觉测量系统的相机被更换或者被移动后，再采集坐标转换部在新相机坐标系下的坐标，并基于所述转换关系对机器人机座坐标系进行标定；

步骤3，获取机器人上的工具输出端在机器人机械接口坐标系下的位姿；

步骤4，将光笔或探测标靶的探测端调整到工具输出端需要到达的位姿，采集此时的探测端在相机(新相机)坐标系下的位姿，定义为示教位姿；

步骤5，结合步骤2的标定结果，将示教位姿转换到机器人机座坐标系，并判断工具输出端处于示教位姿时机器人手腕要到达的位姿是否在机器人的工作空间内；如是，则将该示教位姿用于机器人示教；如否，则输出示教无效或调整建议。

本发明的步骤3中：当工具结构和工具输出端在机器人机械接口坐标系下的位姿已知时，直接计算出工具输出端在工具坐标系到机器人机械接口坐标系的转换关系；当工具结构和工具输出端在机器人机械接口坐标系下的位姿未知时，借助于光笔或探测标靶以及视觉测量系统，采集工具输出端在机器人机械接口坐标系下的位姿。

为更好地解决现有示教方法存在操作难度大，必须配置专业技术人员方可实施的问题，步骤1和步骤2具体包括：

将坐标转换部固定安装在机器人的机座上，确保坐标转换部位于视觉测量系统的相机视野范围内；

采用光笔或探测标靶和视觉测量系统对视觉测量系统的相机坐标系，以及机器人机座坐标系进行标定，计算出相机坐标系和机器人机座坐标系的转换关系；

借助于视觉测量系统采集坐标转换部在相机坐标系下的坐标，计算出坐标转换部坐标系与机器人机座坐标系的转换关系；

将坐标转换部的结构以及所得坐标转换部坐标系与机器人机座坐标系的转换关系进行绑定；

当视觉测量系统的相机被更换或者被移动后，再次采集坐标转换部的光学结构及其在新相机坐标系下的坐标，并基于步骤4所绑定的转换关系对机器人机座坐标系进行标定。被更换或者被移动后的相机称之为新相机。

为进一步降低示教成本，多台机器人共用同一套视觉测量系统。

作为本发明的优选方案，坐标转换部的标记点直接固定在机器人的机座上，或者，将带有标记点的部件固定在机器人的机座上，标记点主动发光或被动反光。

本发明方案具有的技术效果：(1)、针对多台机器人只需采用一套视觉测量系统和光笔/探测标靶就能进行快速的示教姿态采集，且在采集示教位姿的过程中视觉测量系统的相机可以移动；(2)、对机器人机座坐标系与视觉测量系统的相机坐标系之间的转换关系标定简单，标定后可在多台机器人之间实现快速切换，同一套视觉测量系统在多台机器人之间进行切换时不用重复进行标定；(3)、通过光笔位姿去模拟机器人上的工具输出端位姿，直观易用，难度小，普通操作人员也能够顺利进行示教操作；(4)、机器人示教效率高、示教成本低，以10台机器人示教为例，至少可节约70％的示教成本。

附图说明

图1是实施例1中基于视觉测量的机器人示教系统示意图；

图2是实施例2中基于视觉测量的机器人示教系统示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，但以下实施例的说明只是用于帮助理解本发明的原理及其核心思想，并非对本发明保护范围的限定。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，针对本发明进行的改进也落入本发明权利要求的保护范围内。

实施例1

下面先对本实施例中基于视觉测量的机器人示教系统进行说明，如图1所示，它包括视觉测量系统，该视觉测量系统主要由相机2及其计算单元3构成，机器人4(编号6表示机器人执行机构工具输出端)设置在视觉测量系统的相机2的视野范围内，且机器人4的控制单元5通过无线或者有线方式连接相机2的计算单元3并进行通信；还包括可移动的光笔或探测标靶1(图中用编号1表示探测标靶或光笔)，以及固定在机器人4上的坐标转换部7，该坐标转换部7上至少包括三个不在同一直线上的标记点。所述标记点直接固定在机器人4的机座上，或者，将带有所述标记点的部件固定在机器人4的机座上。本实施例中，光笔或探测标靶1采用带主动发光的光笔或探测标靶，无需外配光源。

采用本实施例中的机器人示教系统，一种基于视觉测量技术的机器人示教方法，步骤如下：

步骤1，将坐标转换部7固定安装在机器人的机座上，确保坐标转换部7位于视觉测量系统的相机视野范围内；

步骤2，先获取坐标转换部7坐标系与机器人机座坐标系的转换关系，并进行绑定；当视觉测量系统的相机被更换或者被移动后，再采集坐标转换部7在新相机坐标系下的坐标，并基于所述转换关系对机器人机座坐标系进行标定；更详细的步骤如下：

步骤21，采用光笔或探测标靶1和视觉测量系统对视觉测量系统的相机坐标系，以及机器人机座坐标系进行标定，计算出相机坐标系和机器人机座坐标系的转换关系；具体是用光笔或探测标靶1和视觉测量系统测量在机器人机座坐标系O1-X1-Y1-Z1下已知位姿的特定结构,完成手眼标定，例如：测量在机器人机座坐标系下已知的不在同一直线上三点的坐标，若该结构在机器人机座坐标系下的表示(P1，N1,X1),N1表示该结构上P点所在平面的法向量，表示坐标系的Z轴，X1为P点所在平面上的一矢量，表示坐标系的X轴，该矢量可以通过测量得到；用光笔或探测标靶1测得P点在相机坐标系C(Oc-Xc-Yc-Zc)下的表示为(Pc,Nc,Xc)，假设相机坐标系与机器人机座坐标系的转换关系表示为{Rc1,Tc1},则P1＝Pc*Rc1+Tc1,N1＝Nc*Rc1,X1＝Xc*Rc1，因(P1,N1,X1)已知,(Pc,Nc,Xc)已测得，可求得转换关系{Rc1,Tc1}，其中Rc1可使用求法向量Nc旋转到法向量N1的四元数R1，Xc’＝Xc*R1,再求解Xc’旋转到X1的四元数R2，则Rc1＝R1*R2；Tc1＝(P1–Pc*Rc1)；

步骤22，借助于视觉测量系统采集坐标转换部7在相机坐标系下的坐标，计算出坐标转换部7坐标系与机器人机座坐标系的转换关系；

本步骤中，坐标转换部7至少包含3个不在同一条直线上的发光或反光标记点，可以定义一个刚性坐标系W(Ow-Xw-Yw-Zw)，视觉测量系统根据采得图片结构可以计算刚性坐标系W(Ow-Xw-Yw-Zw)与相机坐标系的转换关系{Rwc,Twc}，而步骤21已经测得相机坐标系与机器人机座坐标系的转换关系{Rc1,Tc1}，由此计算出坐标转换部7坐标系与机器人机座坐标系的转换关系{Rw1,Tw1}；

已测得坐标转换部7在相机坐标系下的位姿(Pc,Nc,Xc)，根据P1＝Pc*Rc1+Tc1,N1＝Nc*Rc1,X1＝Xc*Rc1可求得坐标转换部7在机器人机座坐标系下的表示(P1,N1,X1)，设坐标系W与机器人机座坐标系的转换关系为{Rw1,Tw1},设定坐标转换部7在W坐标系下的位姿态为(Pw,Nw,Xw)，可求得转换关系{Rw1,Tw1}，其中Rw1＝Rwc*Rc1，Tw1＝Rc1*Twc+Tc1。

将刚性坐标系W与{Rw1,Tw1}建立唯一对应关系，刚性坐标系W代表坐标转换部7的结构，{Rw1,Tw1}则是坐标转换部7坐标系与机器人机座坐标系的转换关系；

步骤23，将坐标转换部7的结构以及所得坐标转换部7坐标系与机器人机座坐标系的转换关系{Rw1,Tw1}进行绑定；

步骤24，当视觉测量系统的相机被更换或者被移动后，再次采集坐标转换部7的光学结构及其在新相机坐标系下的坐标，并基于步骤23所绑定的转换关系对机器人机座坐标系进行标定；

由于建立了刚性坐标系W与{Rw1,Tw1}的唯一对应关系，当视觉测量系统的相机被更换或者被移动后(被更换或者被移动后的相机称之为新相机)，再次进行标定时就只需要采集坐标转换部7在新相机坐标系下的光学结构和坐标，从而能够快速计算得到机器人机座坐标系与新相机坐标系的转换关系{R’c1,T’c1}，使得用于机器人示教、标定的视觉系统相机和机器人机座可以不必保持固定位置；

步骤3，获取机器人上的工具输出端在机器人机械接口坐标系下的位姿；

本步骤中，在某一构型下，当工具结构或工具输出端在机器人机械接口坐标系下的位姿已知时，可以直接计算出工具输出端在工具坐标系Ot-Xt-Yt-Zt到机械接口坐标系Om-Xm-Ym-Zm的坐标转换关系已知为{Rtm,Ttm}；当工具结构和工具输出端在机器人机械接口坐标系下的位姿未知时，可用视觉测量系统直接测量工具输出端在机器人机械接口坐标系下的坐标，若工具输出端在工具坐标系下的位姿为(Pt，Nt，Xt)，转换到机械接口坐标系下的位姿为(Pm，Nm，Xm)，计算公式为Pm＝Pt*Rtm+Ttm、Nm＝Nt*Rtm、Xm＝Xt*Ttm。而在某一构型下，机器人机械接口到机器人机座坐标系的转换关系已知{Rm1,Tm1}，则可计算出工具坐标系到机械接口坐标系的转换关系{Rtm,Ttm}；

步骤4，将光笔或探测标靶1的探测端调整到工具输出端需要到达的位姿，采集此时的探测端在相机坐标系下的位姿(P’c,N’c,X’c)，定义为示教位姿，图中编号8所指虚线表示工具输出端需要到达的路径，对该路径上选取的几个典型的位姿测量即可；

步骤5，结合步骤2的标定结果，将示教位姿转换到机器人机座坐标系下的位姿(P1,N1,X1)，并判断工具输出端处于示教位姿时机器人手腕要到达的位姿(P”1，N”1，X”1)是否在机器人的工作空间内，(P”1，N”1，X”1)可通过(P1,N1,X1)和{Rtm,Ttm}求得；如是，则为有效示教位姿，记录该机器人坐标系下位姿用于路径规划；如否，则输出示教无效或调整建议。本步骤中，必要时可将采集到的位姿优化修正后转换为机器人机座坐标系下位姿，再作为路径规划需要使用的位姿。

在机器人4上固定安装坐标转换部7后，机器人机座和坐标转换部7属于同一个刚体，坐标转换部7的坐标关系与机器人机座坐标关系保持不变，在第一次进行相机和机器人机座坐标系标定时，可将机器人机座坐标系和坐标转换部7的坐标系转换关系保存，进而，视觉测量系统可以快速测量坐标转换部7在相机坐标系下的位姿，从而快速计算得到机器人机座坐标系与相机坐标系的转换关系。从而可以实现：在采集示教位姿的过程中视觉测量系统的相机可以移动，多台机器人可以只用一套视觉测量系统和光学结构就能进行快速的示教姿态采集。

本发明中，所用的光笔或探测标靶1可以是主动发光标记装置，也可以是被动发光标记装置，主动发光标记装置可以采用如文献CN111707190A中的一种用于视觉测量的主动发光标记装置。

本发明中，不同坐标系之间转换关系的算法(包括但不限于平移、旋转、齐次变换矩阵)为本领域技术人员知晓的算法，基于这些算法都通过程序实现结果输出。

采用本发明方案进行机器人示教的实施步骤：

步骤A，将坐标转换部7固定安装在机器人的机座上，确保坐标转换部7位于视觉测量系统的相机视野范围内；

步骤B，开启视觉测量系统，将光笔或探测标靶1的触点(探测点)接触机器人4的机械接口，每次接触后视觉测量系统的相机2自动拍照并获取光笔或探测标靶1的触点坐标(此处是指在相机坐标系下的坐标)；同时，视觉测量系统的相机2自动拍照并获取坐标转换部7在相机坐标系下的标记点坐标；此步骤中，最终通过计算机程序自动计算出坐标转换部7坐标系与机器人机座坐标系的转换关系，并对该转换关系进行保存(与其光学结构绑定)；

步骤C，当视觉测量系统的相机被更换或者被移动后，再次开启视觉测量系统，采集坐标转换部7在新相机坐标系下的光学结构和坐标，并基于所绑定的转换关系对机器人机座坐标系进行标定，从而能够快速计算得到机器人机座坐标系与新相机坐标系的转换关系；

步骤D，如果工具结构已知，计算出工具坐标系到机器人机械接口坐标系的转换关系，如果工具结构未知，可采用视觉测量系统和光笔或探测标靶，测量出工具输出端在机械接口坐标系下的坐标；

步骤E，将光笔或探测标靶1的探测端沿操作路径的不同位置进行示教位姿采集，直到一个操作流程结束，每次采集探测端在相机坐标系下的位姿，定义为示教位姿；

步骤F，结合步骤B的标定结果，将示教位姿从相机坐标系转换到机器人机座坐标系，并判断工具输出端处于示教位姿时机器人手腕要到达的位姿是否在机器人的工作空间内；如是，则将该示教位姿用于机器人示教；如否，则输出示教无效或调整建议。

实施例2

一种基于视觉测量技术的机器人示教方法，参照实施例1并结合图2所示，其与实施例1的区别在于：光笔或探测标靶1采用带被动反光标记点的探测装置，需要在光笔或探测标靶1附近外配光源8，光源照射光笔或探测标靶1以及坐标转换部7上的反光标记点，便于视觉系统采集到更加清晰的反光点的光学结构。

Claims (4)

1.一种基于视觉测量技术的机器人示教方法，其特征在于，步骤包括：

步骤1，在机器人上固定坐标转换部（7），该坐标转换部（7）上至少包括三个不在同一直线上的标记点；具体地：将坐标转换部（7）固定安装在机器人的机座上，确保坐标转换部（7）位于视觉测量系统的相机视野范围内；

步骤2，先获取坐标转换部（7）坐标系与机器人机座坐标系的转换关系，并进行绑定；当视觉测量系统的相机被更换或者被移动后，再采集坐标转换部（7）在新相机坐标系下的坐标，并基于所述转换关系对机器人机座坐标系进行标定；

具体地：

采用光笔或探测标靶（1）和视觉测量系统对视觉测量系统的相机坐标系，以及机器人机座坐标系进行标定，计算出相机坐标系和机器人机座坐标系的转换关系；

借助于视觉测量系统采集坐标转换部（7）在相机坐标系下的坐标，计算出坐标转换部（7）坐标系与机器人机座坐标系的转换关系；

将坐标转换部（7）的结构以及所得坐标转换部（7）坐标系与机器人机座坐标系的转换关系进行绑定；

当视觉测量系统的相机被更换或者被移动后，再次采集坐标转换部（7）的光学结构及其在新相机坐标系下的坐标，并基于绑定的转换关系对机器人机座坐标系进行标定；

步骤3，获取机器人上的工具输出端在机器人机械接口坐标系下的位姿；

步骤4，将光笔或探测标靶（1）的探测端调整到工具输出端需要到达的位姿，采集此时的探测端在相机坐标系下的位姿，定义为示教位姿；

步骤5，结合步骤2的标定结果，将示教位姿转换到机器人机座坐标系，并判断工具输出端处于示教位姿时机器人手腕要到达的位姿是否在机器人的工作空间内；如是，则将该示教位姿用于机器人示教；如否，则输出示教无效或调整建议。

2.根据权利要求1所述的机器人示教方法，其特征在于，步骤3中：当工具结构和工具输出端在机器人机械接口坐标系下的位姿已知时，直接计算出工具输出端在工具坐标系到机座坐标系的转换关系；当工具结构和工具输出端在机器人机械接口坐标系下的位姿未知时，借助于光笔或探测标靶以及视觉测量系统，采集工具输出端在机器人机械接口坐标系下的位姿。

3.如权利要求2所述的机器人示教方法，其特征在于：多台机器人共用同一套视觉测量系统。

4.根据权利要求3所述的机器人示教方法，其特征在于：坐标转换部（7）的标记点直接固定在机器人的机座上，或者，将带有标记点的部件固定在机器人的机座上，标记点主动发光或被动反光。

Images