CN110148187B

CN110148187B - 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统

Info

Publication number: CN110148187B
Application number: CN201910482173.4A
Authority: CN
Inventors: 马岭; 蒋慧琴
Original assignee: Zhengzhou University
Current assignee: Zhengzhou University
Priority date: 2019-06-04
Filing date: 2019-06-04
Publication date: 2021-03-12
Anticipated expiration: 2039-06-04
Also published as: CN110148187A

Abstract

本发明提供一种SCARA机械手Eye‑in‑Hand的高精度手眼标定方法和系统，标定方法包括：建立图像坐标系与机械手局部坐标系的映射关系模型；在设定范围内多次移动机械手，每次移动机械手时计算靶标在机械手局部坐标系中的坐标、检测靶标在图像坐标系中的坐标，根据结果得到图像坐标系与机械手局部坐标系的初步映射关系；在图像坐标系中设置多个目标点，计算各目标在机械手局部坐标系中对应的坐标，检测当靶标处于这些坐标时靶标在图像坐标系中的坐标，再次得到图像坐标系与机械手局部坐标系的精确映射关系，最后得到机械手坐标系与图像坐标系之间的映射关系。本发明提供的技术方案能够解决现有技术中图像坐标系与机械手局部坐标系之间映射关系精确度低的问题。

Description

一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统

技术领域

本发明属于手眼标定技术领域，具体涉及一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统。

背景技术

工业机器人作为智能制造技术的关键设备，已经广泛应用于汽车、机械、电子、家电、石化、物流等各个行业进行工件搬运、上下料、分拣等操作。传统示教型机器人完成这些操作必须要经过精确的逐点示教，且只能针对固定摆放的单种工件，有很强的局限性。随着社会的发展和需求的多样化，工业领域对自动化产线的柔性化、智能化提出了更高的要求。近年来，机器视觉技术取得飞速发展，机器人中也开始采用视觉信息引导工业机器人自动抓取目标。工业机器人视觉引导技术可以实现制造与装配的全自动化，大幅提高生产效率，已成为当前的一个研究热点。

在工业自动化生产中，如智能手机等的组装需要精度很高的定位，人工操作很难满足其要求，所以需要将机器人和机器视觉技术结合，采用需工业相机模仿人的眼睛来对产品零部件进行识别定位。

机器人和相机有各自的坐标系统，获取两者之间的对应关系才能将机器人和机器视觉技术完美结合，因此机器人和相机之间坐标的标定技术非常关键，直接决定了机器人视觉设备能够满足应用的需求。

一般机器人和视觉系统的相机存在两种位置关系，其一是Eye-in-hand，即相机固定在机器人的一个手臂上；其二是Eye-to-hand，即将相机安装在机器人工作范围之内的固定位置。

Eye-In-Hand手眼标定的基本思路是控制机器人末端以多个不同的位置姿势观察某一已知位置坐标的靶标点，从而建立多个与转换矩阵相关的方程，求解得出转换矩阵。但靶标点的位置坐标如何精确获得，及如何移动机器人以获得标定所需要的数据，以便于现场应用是需要解决的关键问题。

针对Eye-In-Hand视觉系统的标定，大多使用多个等间隔圆构成标准标定板进行标定，这种标定板制作费用较高且不易固定，并且目前的标定方法无法获得较高的精度，无法适用于精度要求较高的应用场合；而且目前的标定方法需要大量人工操作，使用不够方便，无法做到生产现场所需的“一键标定”。

发明内容

本发明提供一种SCARA机械手Eye-in-Hand的高精度手眼标定方法，以解决现有技术中在进行手眼标定时标定结果准确性较低的问题；同时，为了解决上述技术问题，本发明还提供了一种SCARA机械手Eye-in-Hand的高精度手眼标定系统。

为实现上述目的，本发明提供如下技术方案：

一种SCARA机械手Eye-in-Hand的高精度手眼标定方法，包括如下步骤：

步骤一：建立机械手局部坐标系，采用Homograph变换建立图像坐标系与机械手局部坐标系的映射关系模型；所述机械手局部坐标系的原点在机械手上；

步骤二：设置靶标，在设定范围内多次移动机械手，计算每次移动机械手时靶标在机械手局部坐标系中的坐标，检测每次移动机械手时靶标在图像坐标系中的坐标，将计算出的结果和检测的结果代入图像坐标系与机械手局部坐标系的映射关系模型，得到图像坐标系与机械手局部坐标系的初步映射关系；

步骤三：在图像坐标系中设置多个目标点，并根据图像坐标系与机械手局部坐标系的初步映射关系得到各目标在机械手局部坐标系中对应的坐标；控制机械手移动，检测当靶标处于各目标在机械手局部坐标系中对应的坐标时靶标在图像坐标系中的坐标；将计算结果和检测结果再次代入图像坐标系与机械手局部坐标系的映射关系模型，得到图像坐标系与机械手局部坐标系的精确映射关系；

步骤四：根据机械手局部坐标系和机械手坐标系之间的对应关系、图像坐标系与机械手局部坐标系的精确映射关系得到机械手坐标系与图像坐标系之间的映射关系。

一种SCARA机械手Eye-in-Hand的高精度手眼标定系统，包括处理器和存储器，所述存储器上存储有用于在处理器上执行的计算机程序；所述处理器执行所述计算机程序时实现如下步骤：

进一步的，所述图像坐标系与机械手局部坐标系之间的映射关系模型为：

其中(u,v)是靶标在图像坐标系中的坐标，(X_g,Y_g)是靶标在机械手局部坐标系中的坐标， h₁₁、h₁₂、h₁₄、h₂₁、h₂₂、h₂₄、h₃₁、h₃₂和h₃₄为目标参数。

进一步的，所述步骤二中在设定范围内移动机械手对靶标检测时，至少移动九次机械手。

进一步的，设机械手在世界坐标系中的坐标为(hx,hy)，靶标在世界坐标系中的坐标为(mx,my)，靶标在机械手局部坐标系中的坐标为(X_g,Y_g)，则

X_g＝(mx-hx)×cos(θ₂)+(my-hy)×sin(θ₂)

Y_g＝-(mx-hx)×sin(θ₂)+(my-hy)×cos(θ₂)

其中θ₂是第二机械臂与水平方向之间的夹角。

进一步的，所述第二机械臂与水平方向之间的夹角θ₂根据机械手在机械手坐标系中的位置得到。

进一步的，所述步骤三中在图像坐标系中设置目标点时，各目标点在图像坐标系中均匀分布。

进一步的，还包括步骤五：得到机械手坐标系与图像坐标系之间的映射关系后，检测靶标在图像坐标系中的位置，根据机械手坐标系与图像坐标系之间的映射关系、机械手坐标系与世界坐标系之间的对应关系计算出靶标在机械手坐标系中的坐标；根据计算出的靶标在机械手坐标系中的坐标，采用所述步骤二、步骤三和步骤四，再次计算机械手坐标系与图像坐标系之间的映射关系，直到误差值小于设定误差值。

进一步的，划分为多个区域，按照上述步骤二、步骤三和步骤四得到各区域机械手坐标系与图像坐标系之间的映射关系。

本发明所提供的技术方案，首先采用Homograph变换建立图像坐标系与机械手局部坐标系之间的映射关系模型，然后根据初级靶标在机械手局部坐标系中的坐标和在图像坐标系中的坐标得到图像坐标系与机械手局部坐标系之间的初步映射关系，然后再得到其精确映射关系，从而解决现有技术中图像坐标系与机械手局部坐标系之间映射关系精确度较低的问题。

附图说明

图1是本发明方法实施例中SCARA机械手Eye-in-Hand的高精度手眼标定方法的流程图；

图2是本发明方法实施例中机械手在所建坐标系中的示意图；

图3是本发明方法实施例步骤二中检测靶标的示意图；

图4是本发明方法实施例中靶标在机械手局部坐标系和世界坐标系对应关系的示意图；

图5是本发明方法实施例步骤三中检测级靶标的示意图。

具体实施方式

方法实施例：

本实施例提供一种SCARA机械手Eye-in-Hand的高精度手眼标定方法，用于获取图像坐标系与机械手坐标系之间的映射关系，解决现有技术中图像坐标系与机械手坐标系之间映射关系精确度较低的问题。

本实施例所提供的一种SCARA机械手Eye-in-Hand的高精度手眼标定方法，其流程如图1 所示，包括如下步骤：

步骤一：建立机械手局部坐标系，并采用Homograph变换建立图像坐标系与机械手局部坐标系之间的映射关系模型。

所建立的机械手局部坐标系，其原点设置在机械手上，由于本实施例中是对Eye-in-Hand 视觉系统进行手眼标定，摄像机设置在机械手局部坐标系所在的手臂，因此机械手局部坐标系与图像坐标系的相对位置关系是一定的。

采用Homograph变换得到机械手局部坐标系与图像坐标系的映射关系模型，机械手局部坐标系与图像坐标系的仿射变换模型为如下所示的齐次坐标放射变换模型：

其中ω为齐次系数：

ω＝h₃₁X_g+h₃₂Y_g+h₃₃Z_g+h₃₄

仿射变换矩阵为：

其中(u,v)为靶标在图像坐标系的坐标，(X_g,Y_g,Z_g)为靶标在机械手局部坐标系的坐标；本实施例中只考虑平面，即假设工作台位于Z＝0的平面内，所以Z_g＝0，可得：

该公式(1)即为图像坐标系与机械手局部坐标系之间的映射关系模型。

步骤二：即粗标定，在机械手坐标系中设置靶标，控制机械手在设定范围内移动，计算每次移动机械手时靶标在机械手局部坐标系中的坐标，检测每次移动机械手时靶标在图像坐标系中的坐标，并将计算出的结果和检测的结果代入图像坐标系与机械手局部坐标系的映射关系模型，得到图像坐标系与机械手局部坐标系的初步映射关系。

首先移动机械手，使靶标位于摄像机采集区域的中心位置，即图像坐标系的中心位置；然后在设定范围内移动机械手九次，检测每次移动机械手时靶标在图像坐标系中的坐标，如图2所示，并计算每次移动机械手时靶标在机械手局部坐标系中的坐标。

每次移动机械手时，计算靶标在机械手局部坐标系中坐标的方法为：

以机械手第一机械臂的起点为原点建立机械手坐标系，设第一机械臂的长度为L₁，第二机械臂的长度为L₂，第一机械臂与x轴之间的夹角为θ₁，第二机械臂与x轴之间的夹角为θ₂，机械手与原点之间的距离为L，如图3所示，则机械手在该机械手坐标系中的坐标为：

可得到：

θ₁＝β±α

由此可知，通过改变夹角θ₁和夹角θ₂可控制机械手的位置，也可得到机械手局部坐标系与机械手坐标系之间的对应关系，并根据机械手坐标系与世界坐标系之间的对应关系，可得到机械手局部坐标系与世界坐标系之间的对应关系，方法为：

设机械手在世界坐标系中的坐标为HO(hx,hy)，靶标在世界坐标系中的坐标为M(mx,my)，如图4所示，设靶标M在机械手局部坐标系中的坐标为(X_g,Y_g,Z_g),则有：

根据该公式(2)，在得到每次移动机械手时对应的夹角θ₂后可得到靶标在机械手局部坐标系中的坐标。

将每次计算出的靶标在机械局部手坐标系中的坐标和检测到的靶标在图像坐标系中的坐标代入上述图像坐标系与机械手局部坐标系之间的映射关系模型，即上述公式(1)，得到一个包括9个方程式的方程组，对该方程组求解，计算出该映射关系模型中的参数h₁₁、 h₁₂、h₁₄、h₂₁、h₂₂、h₂₄、h₃₁、h₃₂和h₃₄；将计算出的这些参数带入到上述图像坐标系与机械手局部坐标系之间的映射关系模型中，得到图像坐标系与机械手局部坐标系之间的初步映射关系。

步骤三：即精标定，在图像坐标系中设置9个均匀分布的目标点，根据步骤二中得到的图像坐标系与机械手局部坐标系之间的初步映射关系计算出各目标点在机械手局部坐标系中的对应坐标，将计算出的坐标作为期望坐标；

根据机械手坐标系与机械手局部坐标系之间的对应关系，即根据上述公式(2)计算出期望坐标在机械手坐标系中对应的坐标，然后控制机械手移动到这些坐标上，如图5所示，检测当靶标处于这些坐标时靶标在图像坐标系中的坐标。

将检测到的靶标在图像坐标系中的坐标和计算出的各目标点在机械手局部坐标系中的期望坐标代入上述图像坐标系与机械手局部坐标系之间的映射关系模型，即上述公式(1)，再次得到一个包括9个方程式的方程组；对该方程组求解，得到映射关系模型中的参数h₁₁、h₁₂、 h₁₄、h₂₁、h₂₂、h₂₄、h₃₁、h₃₂和h₃₄；将计算出的这些参数带入到上述图像坐标系与机械手局部坐标系之间的映射关系模型中，得到图像坐标系与机械手局部坐标系之间的精确映射关系。

步骤四：根据图像坐标系与机械手局部坐标系之间的精确映射关系、机械手局部坐标系与机械手坐标系之间的对应关系，得到图像坐标系与机械手坐标系之间的映射关系。

为了提高图像坐标系与机械手坐标系之间映射关系的精确性，还包括对图像坐标系与机械手坐标系之间映射关系进行更新的步骤，该步骤为：

控制机械手移动，检测靶标在图像坐标系中的坐标；

根据图像坐标系与机械手坐标系之间的映射关系得到靶标在机械手坐标系中的坐标；

执行上述步骤二、步骤三个步骤四，再次得到图像坐标系与机械手坐标系之间的映射关系；在执行上述步骤二时，根据靶标在机械手坐标系中的坐标计算每次移动机械手时靶标在机械手坐标系中的坐标。

多次执行对图像坐标系与机械手坐标系之间映射关系进行更新的步骤，直到本次得到的结果与上次得到的结果误差小于设定误差为止。

为了减少由于靶标所处位置造成的误差，本实施例中将机械手的工作区域划分为多个子区域，采用上述SCARA机械手Eye-in-Hand的高精度手眼标定方法对各子区域分别进行标定，得到各子区域内图像坐标系与机械手局部坐标系之间的精确映射关系，在机械手工作时，各子区域分别应用对应的图像坐标系与机械手局部坐标系之间的精确映射关系。

为了验证本实施例所提供的SCARA机械手Eye-in-Hand的高精度手眼标定方法，下面采用 YAMAHA YK500TW，SENTECH工业相机及WIL图像处理库进行仿真实验。实验过程中靶标在机械手坐标系和图像坐标系的坐标值如表1所示。

利用第1-9组的数据进行粗标定，即步骤2中的标定步骤；利用第10-18组的数据进行精标定，即步骤3中的标定步骤。机械手臂长等参数可通过命令获取。通过验证机械手的标定误差一般在2个像素以下。

对于频繁更换生产品种的工厂需要机械手对位时，本实施例所提供的标定方法减少了操作步骤和操作时间，提高了生产效率；对于高精度机械手对位的需求，可以根据需要自动生成更多的精标定的校正步骤，采集更多数据来提高校正精度。本实施例中的SCARA机械手 Eye-in-Hand的高精度手眼标定方法完全自动化，操作方便；用户只需输入机器人平移距离、旋转角度等很少参数，校正过程即可自动完成；现场操作人员无需繁琐的操作即可完成校正过程。本发明的方法通过实现软件自动完成由初步的粗标定到进一步的精标定的机械手移动位置的计算，然后由控制系统移动机械手采集相关校正数据，从而由粗标定到精标定完成一键校正的过程。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

表1

系统实施例：

本实施例提供一种SCARA机械手Eye-in-Hand的高精度手眼标定系统，包括处理器和存储器，所述存储器上存储有用于在处理器上执行的计算机程序；所述处理器执行所述计算机程序时，实现如上述方法实施例中所提供的SCARA机械手Eye-in-Hand的高精度手眼标定方法。

Claims

1.一种SCARA机械手Eye-in-Hand的高精度手眼标定方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的SCARA机械手Eye-in-Hand的高精度手眼标定方法，其特征在于，所述图像坐标系与机械手局部坐标系之间的映射关系模型为：

其中(u,v)是靶标在图像坐标系中的坐标，(X_g,Y_g)是靶标在机械手局部坐标系中的坐标，h₁₁、h₁₂、h₁₄、h₂₁、h₂₂、h₂₄、h₃₁、h₃₂和h₃₄为目标参数。

3.根据权利要求2所述的SCARA机械手Eye-in-Hand的高精度手眼标定方法，其特征在于，所述步骤二中在设定范围内多次移动机械手对靶标检测时，机械手移动的次数至少为九次。

4.根据权利要求1所述的SCARA机械手Eye-in-Hand的高精度手眼标定方法，其特征在于，设机械手在世界坐标系中的坐标为(hx,hy)，靶标在世界坐标系中的坐标为(mx,my)，靶标在机械手局部坐标系中的坐标为(X_g,Y_g)，则

X_g＝(mx-hx)×cos(θ₂)+(my-hy)×sin(θ₂)

Y_g＝-(mx-hx)×sin(θ₂)+(my-hy)×cos(θ₂)

其中θ₂是第二机械臂与水平方向之间的夹角。

5.根据权利要求4所述的SCARA机械手Eye-in-Hand的高精度手眼标定方法，其特征在于，所述第二机械臂与水平方向之间的夹角θ₂根据机械手在机械手坐标系中的位置得到。

6.根据权利要求1所述的SCARA机械手Eye-in-Hand的高精度手眼标定方法，其特征在于，所述步骤三中在图像坐标系中设置目标点时，各目标点在图像坐标系中均匀分布。

7.根据权利要求1所述的SCARA机械手Eye-in-Hand的高精度手眼标定方法，其特征在于，还包括对机械手坐标系与图像坐标系之间映射关系进行更新的步骤：检测靶标在图像坐标系中的位置，根据机械手坐标系与机械手坐标系的对应关系计算出靶标在机械手坐标系中的坐标；根据计算出的靶标在机械手坐标系中的坐标，采用所述步骤二、步骤三和步骤四再次计算机械手坐标系与图像坐标系之间的映射关系；重复对机械手坐标系与图像坐标系之间映射关系进行更新的步骤，直到连续两次所得结果之间的差值小于设定差值。

8.根据权利要求1所述的SCARA机械手Eye-in-Hand的高精度手眼标定方法，其特征在于，将机械手的工作区域划分为多个子区域，分别得到各子区域内机械手坐标系与图像坐标系之间的映射关系。

9.一种SCARA机械手Eye-in-Hand的高精度手眼标定系统，包括处理器和存储器，所述存储器上存储有用于在处理器上执行的计算机程序；其特征在于，所述处理器执行所述计算机程序时实现如下步骤：

10.根据权利要求9所述的SCARA机械手Eye-in-Hand的高精度手眼标定系统，其特征在于，还包括对机械手坐标系与图像坐标系之间映射关系进行更新的步骤：检测靶标在图像坐标系中的位置，根据机械手坐标系与机械手坐标系的对应关系计算出靶标在机械手坐标系中的坐标；根据计算出的靶标在机械手坐标系中的坐标，采用所述步骤二、步骤三和步骤四再次计算机械手坐标系与图像坐标系之间的映射关系；重复对机械手坐标系与图像坐标系之间映射关系进行更新的步骤，直到连续两次所得结果之间的差值小于设定差值。