CN110497386B - 一种协作机器人手眼关系自动标定方法 - Google Patents

Abstract

本发明提供一种协作机器人手眼关系自动标定方法，包括：放置标定板；牵引协作机器人至示教点并记录机器人坐标；牵引协作机器人至初始拍照点，记录机器人坐标，配置匹配模板；控制机器人不断变换拍照点，获取机器人坐标和标识物像素坐标点对；计算标定参数。本发明能够方便、快捷地进行协作机器人手眼关系标定，且标定精度高，对于协作机器人工业抓取应用具有重要意义。

Description

一种协作机器人手眼关系自动标定方法

技术领域

本公开属于协作机器人视觉引导标定领域，具体涉及一种协作机器人手眼关系自动标定方法。

背景技术

机器人视觉引导技术在工业自动化生产中的作用日益重要，特别是零件分拣和物料码垛。机器人视觉系统的标定，即机器人手眼关系是视觉引导过程中的关键技术。

机器人视觉引导手眼系统主要分为眼在手上和眼在手外，协作机器人通常的使用方式是机械臂末端带着相机，通过相机采图，视觉软件分析出物体的位置后进行抓取作业。眼在手上的协作机器人手眼关系标定方法，通常采用带有多个标识物的标定板，需要通过多次插针得出机器人坐标，并且还需要将机器人坐标依次手动填写到视觉软件中，过程复杂耗时，如果拍照点过多，则严重耽误工时。

协作机器人手眼关系标定另一种常用的方法是在相机视场内拍摄同一固定棋盘或圆点标定板，保证标定板在视觉坐标系下的位置不变，机器人视觉系统识别标定板上的特征点，根据机器人不同姿态和所获取的标定板特征点形成的坐标点对，通过最小二乘法计算出机器人手眼关系。这种方法为了保证机器人在姿态变换过程中的安全，通常需要示教机器人以不同的姿态拍照，采集的图像相对也很多，同时，机器人和视觉软件往往属于独立系统，视觉软件需要手动输入不同姿态下的机器人坐标，标定工序复杂，操作过程繁杂，标定时间太长。

发明内容

为解决以上技术问题，本公开提供一种协作机器人手眼关系自动标定装置及方法，以降低标定过程的操作复杂度，减少标定时间，提高标定效率。

本公开提供的协作机器人手眼关系自动标定装置，包括：协作机器人力控牵引示教按钮，位于机器人末端的标定探针，带有标识物的标定板，以及标定系统，其中：

所述标定系统与机器人运动控制器、相机之间均有通信接口，其主要用于：控制机器人按预设轨迹运动；在预设轨迹中的各个目标点自动获取所述标识物中心点的像素坐标及机器人坐标点对；根据获得的多个所述点对，计算标定参数。

进一步地，所述标定系统包括：

机器人坐标获取模块：与机器人运动控制器之间通信，获取并记录当前时刻机器人坐标；

标定运动控制模块：给机器人运动控制器发指令，使其控制机器人按照预设轨迹依次到达各个目标点；

像素坐标获取模块：在各个目标点，控制相机采图并接收获得的图像，对所述图像进行识别处理，获取并记录其中所述标识物中心点的像素坐标；

标定参数计算模块：根据记录的各个目标点处的机器人坐标和所述标识物中心点像素坐标点对，利用最小二乘法，计算标定参数并保存；

人机交互模块：为用户提供指令、数据、图像等信息的输入输出接口。

进一步地，所述标定系统运行于机器人视觉控制器中，通过TCP/IP协议与机器人运动控制器、相机通信。

进一步地，所述标识物位于标定板的中心位置，与背景有显著区别，且为中心对称图形。

另一方面，本公开提供的基于上述标定装置的协作机器人手眼关系自动标定方法，包括以下步骤：

将所述带有标识物的标定板放置于机器人工作平面；

牵引示教协作机器人至示教点，即所述标定探针触碰所述标识物中心点，记录此刻机器人坐标；

牵引示教协作机器人末端至初始拍照点，记录此刻机器人坐标，打开相机采图，截取带有所述标识物图案、且以标识物中心点为中心的方形区域作为匹配模板；

发送运动指令给机器人，使其依次运动至位于所述初始拍照点周围、且与所述标定板距离相同的多个预设目标点，每到一点则记录该点的机器人坐标，并打开相机采图，利用模板匹配获取所述标识物中心点像素坐标，然后运动至下一点；

根据获取的各个位置的机器人坐标及所述标识物中心点像素坐标点对，进行标定运算，得到标定参数。

进一步地，所述初始拍照点及其周围目标点的选取满足：在所述初始拍照点处，所述标识物处于相机视野中心位置，且在整个标定过程中所述标识物一直处于相机视野内。

进一步地，获取的所述机器人坐标及标识物中心点像素坐标点对为9对。

进一步地，使用力控方法牵引示教机器人到达所述示教点或初始拍照点。

进一步地，所述标定运算的方法为：

机器人运动中9个位置所获取的标定板标识物中心点像素坐标

与机器人坐标点对

满足：

其中，

表示旋转矩阵，

表示平移矩阵，

根据上式建立9对方程，利用最小二乘法，求取得到2*3的矩阵

即为求解的标定参数。

进一步地，在所述标定运算过程中，考虑机器人抓取时的示教点与所述初始拍照点之间的偏差，则机器人运动至各个位置获取的所述标识物中心点像素坐标

与机器人坐标点

之间的关系修正为：

其中

Δx＝x'_p-x’_t，Δy＝y'_p-y’_t

其中，(x’_t,y’_t)为所述示教点的机器人坐标，(x'_p,y'_p)为所述初始拍照点处的机器人坐标。

本公开中的协作机器人手眼关系自动标定装置及方法，通过程序驱动机器人视觉系统相对标定板标识物的位置不断变换并采集图像，利用模板匹配对标识物中心进行定位、利用与机器人通信获取机器人坐标，从而自动获得一系列机器人手眼关系对应点对，并以此完成标定参数求解。整个标定过程中无需改变机器人的姿态，无需多次示教或插针，也无需人工输入机器人坐标，极大地简化了标定过程，同时还提高了标定精度，使协作机器人手眼关系标定效率大大提高。

本公开相对现有技术的有益效果主要有：(1)标定复杂度大大降低，对于视觉调试人员更加友好，提高了标定效率；同时不需要手动输入机器人坐标，数据精准、无人为输入错误。(2)使用力控牵引对协作机器人进行示教，标定过程更加方便、快捷。(3)使用模板匹配方法获取标定板标识物中心点像素坐标，获取的坐标精度更高。(4)对机器人标定初始拍照点进行记录，使机器人在任意位置可方便地返回到初始拍照点。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。

附图说明

下面的附图是本发明说明书的一部分，其示出了本发明的实施例，所附附图与说明书的描述一起用来说明本发明的原理。

图1显示协作机器人手眼关系自动标定装置示例性实施例组成示意图。

图2-示例性标定系统人机交互界面的示例。

图3-优选标定板示意图。

图4-协作机器人手眼关系自动标定方法示例性实施例流程图。

图5-牵引示教机器人到达示教点示意图。

图6-优选机器人运动轨迹路线示意图。

图7-示例性标定系统制作匹配模板及配置界面图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

附图1中给出了本公开所述协作机器人手眼关系自动标定装置示例性实施例的组成示意图，其中包括：

协作机器人力控牵引示教按钮，按下按钮，即可牵引示教机器人运动而不需要操作机器人示教器，附图1中示出了位于机器人末端的力控牵引示教按钮(5)；

位于机器人末端的标定探针(2)；

带有标识物的标定板(1)；

标定系统，与机器人运动控制器、相机(3)之间均有通信接口，该系统主要用于：控制机器人按预设轨迹运动，在预设轨迹中的各个目标点自动获取所述标识物中心点的像素坐标及机器人坐标点对，并根据获得的多个所述点对，计算标定参数。

作为优选方案，本实施例中，所述标定系统包括：

机器人坐标获取模块：与机器人运动控制器之间通信，获取并记录当前时刻机器人坐标；

标定运动控制模块：给机器人运动控制器发指令，使其控制机器人按照预设轨迹依次到达各个目标点；

像素坐标获取模块：在各个目标点，控制相机采图并接收获得的图像，对所述图像进行识别处理，获取并记录其中所述标识物中心点的像素坐标；

标定参数计算模块：根据记录的各个目标点处的机器人坐标和所述标识物中心点像素坐标点对，利用最小二乘法，计算标定参数并保存；

人机交互模块：为用户提供指令、数据、图像等信息的输入输出接口。本实施例中所述标定系统人机交互模块的显示界面如附图2所示。

本实施例中，上述像素坐标获取模块采用模板匹配技术对相机采集的图像进行识别处理。

作为优选方案，本实施例中，所述标定系统运行于机器人视觉控制器中，通过TCP/IP协议与机器人运动控制器及相机通信。视觉控制器为个人计算机，一般通过网线分别与机器人运动控制器及相机相连。所述标定系统也可以运行于其他与机器人相连的计算机或移动终端中。

作为优选方案，本实施例中应用的标定装置，所述标识物位于标定板的中心位置，与背景有显著区别，且为中心对称图形，如附图3所示。这种标定板更容易通过模板匹配进行标识物识别并定位其中心点像素坐标。

附图4中示出了本公开所述协作机器人手眼关系自动标定方法的示例性实施例工作流程图，图中包括以下步骤：

S1，放置标定板，即：

将所述带有标识物的标定板放置于机器人工作平面，整个标定过程中标定板位置保持不变。

S2，牵引示教协作机器人至示教点，即所述标定探针触碰所述标识物中心点，记录此刻机器人坐标，即：

将机器人末端保持相机工作平面水平的姿态，按下协作机器人牵引示教按钮，牵引协作机器人末端，直至标定探针针尖触碰标定板标识物中心点，然后记录下此时的机器人坐标。本公开中称机器人末端到达的该点称为“示教点”。此刻，机器人姿态如附图5所示。

S3，牵引示教协作机器人末端至初始拍照点，记录此刻机器人坐标，打开相机采图，将带有标识物图案、且以标识物中心点为中心的方形区域作为匹配模板，具体为：

保持机器人末端姿态不变，按下协作机器人牵引示教按钮，牵引机器人至初始拍照点，并记录下该点机器人坐标；

打开相机采图，并接收相机传来的图像；

使用图像ROI工具，截取带有标识物图案的方形区域，制作为匹配模板，且保证标识物中心点为匹配模板的中心点，如图7(a)中所示；同时还需要配置相关的定位识别参数，如图7(a)和(b)所示。

S4，发送运动指令给机器人，使其依次运动至处于所述初始拍照点周围、与所述标定板平行的同一平面内的预设目标点，每到一点则记录该点的机器人坐标，并打开相机采图，利用模板匹配获取所述标识物中心点像素坐标，然后运动至下一点，具体为：

标定系统不断给机器人运动控制器发送运动指令，运动形式是机器人按照预设的偏移量进行运动；

机器人到达一个目标点后，获取机器人此刻的坐标；

打开相机采图，并接收相机传来的图像；

使用基于边缘方向和梯度特征的模板匹配方法，根据预设的模板在新获取的图像上进行标定板标识物中心点定位，获取定位后的像素坐标；

按照机器人运动轨迹，重复上述过程，直至机器人遍历预设轨迹中的所有目标点。示例性机器人运动轨迹及其中的目标点如附图6所示。

S5，根据获取的机器人坐标及所述标识物中心点像素坐标点对，进行标定运算，得到标定参数并保存：

目前通常采用最小二乘法进行标定参数的求解；

求解完成后，将标定过程中的所有坐标点对以及标定结果参数全部保存到本地。

上述步骤S4、S5均由标定系统自动完成，无需人工介入。

另外，本实施例中，还包括步骤S0，即在开始标定工作之前，需要对标定系统与机器人及相机的通信，以及机器人运动参数、相机采图参数进行配置：

配置标定系统与机器人运动控制器、以及与相机的通信，以便于随时获取机器人的坐标信息，同时能够发指令使机器人运动，控制相机采集图像并获取所采集的图像；

配置的参数主要包括：根据相机视野范围大小，配置机器人运动距离，使机器人运动过程中，标定板标识物始终在视野范围内；配置相机的曝光时间、增益参数的设置等。

作为优选方案，在示例性实施例中所述初始拍照点及其周围目标点的选取满足：在所述初始拍照点处，所述标识物处于相机视野中心位置，且在整个标定过程中所述标识物一直处于相机视野内。

作为优选方案，本实施例中使用力控方法牵引示教机器人到达所述示教点或初始拍照点。这种方法比采用示教器示教引导，更加直观、方便、快捷。

作为优选方案，本实施例中所述标定运算采用的方法为：

机器人运动中各个位置所获取的标定板标识物中心点像素坐标

与机器人坐标点对

满足：

其中，

表示旋转矩阵，

表示平移矩阵，

根据上式建立方程：

实际上，通过3组坐标点对，即n＝3，即可以求解出标定参数矩阵R和T。但是3组点对往往所计算出的标定参数误差过大，而点对过多则会引起拟合误差，故而在本实施例中选择了9个坐标点对，即n＝9。通过最小二乘法，拟合9对坐标点对，计算出2*3的标定参数矩阵

即为求解的标定参数。

作为优选方案，本实施例在标定运算过程中，考虑机器人抓取时的示教点与所述初始拍照点之间的偏差，则机器人运动至各个位置获取的所述标识物中心点像素坐标

与机器人坐标点

之间的关系修正为：

其中

Δx＝x'_p-x’_t，Δy＝y'_p-y’_t

其中，(x’_t,y’_t)为所述示教点的机器人坐标，(x'_p,y'_p)为所述初始拍照点处的机器人坐标。

可见，本实施例中的协作机器人手眼关系自动标定装置及方法，通过驱动机器人自动围绕标定板标识物中心运动并采集图形，利用模板匹配对标识物中心进行定位、利用与机器人通信自动获取机器人坐标，从而获取一系列机器人手眼关系对应点对，并据此完成标定参数求解。整个标定过程中无需改变机器人的姿态，无需多次示教或插针，也无需人工输入机器人坐标，极大地简化了标定过程，同时还提高了标定精度，使协作机器人手眼关系标定效率大大提高。

以上所述仅为本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。

Claims (6)

1.一种协作机器人手眼关系自动标定方法，包括以下步骤：

将带有标识物的标定板放置于机器人工作平面；

牵引示教协作机器人至示教点，即标定探针触碰所述标识物中心点，记录此刻机器人坐标；

牵引示教协作机器人末端至初始拍照点，记录此刻机器人坐标，打开相机采图，截取带有所述标识物图案、且以标识物中心点为中心的方形区域作为匹配模板；

发送运动指令给机器人，使其依次运动至位于所述初始拍照点周围、且与所述标定板距离相同的多个预设目标点，每到一点则记录该点的机器人坐标，并打开相机采图，利用模板匹配获取所述标识物中心点像素坐标，然后运动至下一点；

根据获取的各个位置的机器人坐标及所述标识物中心点像素坐标点对，进行标定运算，得到标定参数。

2.如权利要求1所述的协作机器人手眼关系自动标定方法，其特征在于，所述初始拍照点及其周围目标点的选取满足：在所述初始拍照点处，所述标识物处于相机视野中心位置，且在整个标定过程中所述标识物一直处于相机视野内。

3.如权利要求1所述的协作机器人手眼关系自动标定方法，其特征在于，获取的所述机器人坐标及标识物中心点像素坐标点对为9对。

4.如权利要求1所述的协作机器人手眼关系自动标定方法，其特征在于，使用力控方法牵引示教机器人到达所述示教点或初始拍照点。

5.如权利要求1所述的协作机器人手眼关系自动标定方法，其特征在于，所述标定运算的方法为：

机器人运动中9个位置所获取的标定板标识物中心点像素坐标

与机器人坐标点对

满足：

其中，

表示旋转矩阵，

表示平移矩阵，

根据上式建立9对方程，利用最小二乘法，求取得到2*3的矩阵

即为求解的标定参数。

6.如权利要求5所述的协作机器人手眼关系自动标定方法，其特征在于，在所述标定运算过程中，考虑机器人抓取时的示教点与所述初始拍照点之间的偏差，则机器人运动至各个位置获取的所述标识物中心点像素坐标

与机器人坐标点

之间的关系修正为：

其中

Δx＝x′_p-x′_t，Δy＝y′_p-y′_t

其中，(x′_t,y′_t)为所述示教点的机器人坐标，(x′_p,y′_p)为所述初始拍照点处的机器人坐标。

Images