CN109278044A - 一种手眼标定及坐标转换方法 - Google Patents

一种手眼标定及坐标转换方法 Download PDF

Info

Publication number
CN109278044A
CN109278044A CN201811073643.3A CN201811073643A CN109278044A CN 109278044 A CN109278044 A CN 109278044A CN 201811073643 A CN201811073643 A CN 201811073643A CN 109278044 A CN109278044 A CN 109278044A
Authority
CN
China
Prior art keywords
coordinate
point
camera
target
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811073643.3A
Other languages
English (en)
Inventor
丁雷鸣
严亚飞
赵丹阳
王庆
苗东东
徐海明
吕品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201811073643.3A priority Critical patent/CN109278044A/zh
Publication of CN109278044A publication Critical patent/CN109278044A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator

Abstract

本发明公开了一种手眼标定及坐标转换方法，包括：在机械臂末端设置靶标；控制机械臂末端从起始坐标点运动到终点坐标点，在机械臂末端从起始坐标点运动到终点坐标点的过程中，记录n次靶标在相机坐标系下的三维坐标、在机器臂坐标系下的三维坐标，得到n组靶标在相机坐标系下的坐标和靶标在机器臂坐标系下的坐标，将靶标在相机坐标系下的坐标与机器臂坐标系下的维坐标代入相机坐标系与机器臂坐标系之间的映射矩阵并求解，得到n组拟合点；根据n组初始拟合点绘制残差图，去除n组初始拟合点中m组离群点，将n‑m组目标拟合点代入相机坐标系与机器臂坐标系之间的映射矩阵，即可将得到相机坐标系与机械臂坐标系之间的矩阵变换关系。

Description

一种手眼标定及坐标转换方法
技术领域
本发明涉及手眼标定技术领域，尤其涉及一种手眼标定及坐标转换方法。
背景技术
在视觉反馈的果蔬采摘机器人控制中，手眼系统的标定(即相机坐标系与机械臂坐标系的转换)非常重要，直接影响机器人的作业精度。双目立体视觉是一种使用较多的目标识别与定位的方法。因为世界坐标系和摄像机坐标都是右手坐标系，所以其不会发生形变。我们想把世界坐标系下的坐标转换到摄像机坐标下的坐标。
对于视觉系统与其他坐标系之间的标定方法，近年来，很多学者进行了大量的研究。有学者提出通过标定摄像机之间拍摄标定目标，完成了系统间的标定，但标定过程需要多个摄像机同时工作，标定过程较为复杂；有学者提出通过最小二乘法完成了基于双目视觉的采摘机器人手眼标定，但将人工示教引入到标定过程，增大了标定误差，误差达到10mm以上，其次，固定双目立体视觉因为其相机固定的结构特点，拍摄范围有限，在相机安装之后就限定了机械臂的运动空间，导致采集数据样本分布过于集中，可能得到过多线性相关的无效数据，导致标定误差的增大。
发明内容
基于背景技术存在的技术问题，本发明提出了一种手眼标定及坐标转换方法；
本发明提出的一种手眼标定及坐标转换方法，包括：
S1、在机械臂末端设置靶标；
S2、控制机械臂末端从起始坐标点运动到终点坐标点，在机械臂末端从起始坐标点运动到终点坐标点的过程中，记录靶标在机器臂坐标系下的三维坐标，并通过驱动机构驱动相机X、Y、Z三轴移动并记录机械臂末端上靶标在相机坐标系下的三维坐标；
S3、重复执行n次步骤S2，得到n组靶标在机器臂坐标系下的三维坐标、n组靶标在相机坐标系下的三维坐标，其中，每次执行步骤S2时，起始坐标点和终点坐标点均为对应取值范围内的随机坐标点；
S4、将靶标在相机坐标系下的三维坐标与靶标在机器臂坐标系下的三维坐标代入相机坐标系与机器臂坐标系之间的映射矩阵，并求解所述映射矩阵，得到n组拟合点；
S5、根据n组初始拟合点绘制残差图，根据残差图去除n组初始拟合点中m组离群点，得到n-m个目标拟合点，将n-m组目标拟合点代入相机坐标系与机器臂坐标系之间的映射矩阵，即可将得到相机坐标系与机械臂坐标系之间的矩阵变换关系。
优选地，所述机械臂为六自由度机械臂。
优选地，所述通过驱动机构驱动相机X、Y、Z三轴移动，具体包括：驱动机构包括第一驱动机构、第二驱动机构和第三驱动机构，所述第一驱动机构驱动相机X轴移动，所述第二驱动机构驱动相机Y轴移动，所述第三驱动机构驱动相机Z轴移动。
优选地，所述相机坐标系与机器臂坐标系之间的映射矩阵，具体包括：
其中，T＝(tx,ty,tz,1)T为相机坐标系的原点在机械臂坐标系中的坐标，R为机械手坐标系相对摄像机坐标系旋转的4×4正交矩阵，Xc、Yc、Zc为相机坐标系下的坐标，Xr、Yr、Zr为机械臂坐标系下的坐标。
优选地，步骤S5，具体包括：
根据n组初始拟合点绘制残差图；
去除残差图中置信区间均不包含零点的m组离群点，得到n-m个目标拟合点；
将n-m组目标拟合点代入相机坐标系与机器臂坐标系之间的映射矩阵，即可将得到相机坐标系与机械臂坐标系之间的矩阵变换关系。
本发明通过可驱动相机X、Y、Z三轴移动的驱动机构驱动相机X、Y、Z三轴移动，并拍摄机械臂末端的靶标，可以调整相机的位置扩大了相机拍摄的范围，可为标定程序采集足够的样本数据，避免相机固定无法拍摄到机械臂末端的靶标，简化手眼标定过程，通过获取贴在机械手上标靶坐标，结合机械臂运动参数，建立了标定方程组，求解出了手眼系统之间的转换矩阵，并验证转换矩阵拟合误差，然后将误差较大的离群点剔除，再次求解转换矩阵时，减小标定误差。
附图说明
图1为本发明提出的一种手眼标定及坐标转换方法的流程示意图。
具体实施方式
参照图1，本发明提出的一种手眼标定及坐标转换方法，包括：
步骤S1，在机械臂末端设置靶标，所述机械臂为六自由度机械臂。
在具体方案中，在机械臂的末端贴上靶标，机械臂采用六自由度机械臂，机械臂的每一个自由度是由其操作机的独立驱动关节来实现的，关节和自由度在表达机械臂的运动灵活性方面是意义相通的。六自由度机械臂有六个独立驱动的关节结构，能在其工作空间中实现靶标的任意位置和姿态。
步骤S2，控制机械臂末端从起始坐标点运动到终点坐标点，在机械臂末端从起始坐标点运动到终点坐标点的过程中，记录靶标在机器臂坐标系下的三维坐标，并通过驱动机构驱动相机X、Y、Z三轴移动并记录机械臂末端上靶标在相机坐标系下的三维坐标，所述通过驱动机构驱动相机X、Y、Z三轴移动，具体包括：驱动机构包括第一驱动机构、第二驱动机构和第三驱动机构，所述第一驱动机构驱动相机X轴移动，所述第二驱动机构驱动相机Y轴移动，所述第三驱动机构驱动相机Z轴移动。
在具体方案中，控制机械臂末端从起始坐标点运动到终点坐标点，并记录机械臂末端从起始坐标点运动到终点坐标点的过程中，靶标在机器臂坐标系下的三维坐标，同时，通过可驱动相机X、Y、Z三轴移动的驱动机构驱动相机X、Y、Z三轴移动，拍摄机械臂末端的靶标，并记录机械臂末端上靶标在相机坐标系下的三维坐标，X、Y、Z三轴移动的驱动机构可以调整相机的位置扩大了相机拍摄的范围，可为标定程序采集足够的样本数据。
步骤S3，重复执行n次步骤S2，得到n组靶标在机器臂坐标系下的三维坐标、n组靶标在相机坐标系下的三维坐标，其中，每次执行步骤S2时，起始坐标点和终点坐标点均为对应取值范围内的随机坐标点。
在具体方案中，重复步骤S2，直至得到n组靶标在机器臂坐标系下的三维坐标、n组靶标在相机坐标系下的三维坐标。
步骤S4，将靶标在相机坐标系下的三维坐标与靶标在机器臂坐标系下的三维坐标代入相机坐标系与机器臂坐标系之间的映射矩阵，并求解所述映射矩阵，得到n组拟合点，所述相机坐标系与机器臂坐标系之间的映射矩阵，具体包括：
其中，T＝(tx,ty,tz,1)T为相机坐标系的原点在机械臂坐标系中的坐标，R为机械手坐标系相对摄像机坐标系旋转的4×4正交矩阵，Xc、Yc、Zc为相机坐标系下的坐标，Xr、Yr、Zr为机械臂坐标系下的坐标。
在具体方案中，可将相机坐标系与机器臂坐标系之间的映射矩阵转换为并展开，得到
对n个在摄像机坐标系中的坐标已知的空间点，每个空间点都符合上式的方程，于是可得所示的3n个方程构成的方程组：
并改写为AR＝B，由于只有参数矩阵的秩和未知参数个数相等时才可以求解，即最少需要四个线性无关的点才能求解R、T将n个点坐标带入AR＝B，其求解实际上转换为最小二乘问题，此时R的解可用最小二乘线性回归求得：R＝(AT·A)-1·AT·B。
步骤S5，根据n组初始拟合点绘制残差图，根据残差图去除n组初始拟合点中M组离群点，得到n-m个目标拟合点，将n-m组目标拟合点代入相机坐标系与机器臂坐标系之间的映射矩阵，即可将得到相机坐标系与机械臂坐标系之间的矩阵变换关系，具体包括：根据n组初始拟合点绘制残差图；去除残差图中置信区间均不包含零点的m组离群点，得到n-m个目标拟合点；将n-m组目标拟合点代入相机坐标系与机器臂坐标系之间的映射矩阵，即可将得到相机坐标系与机械臂坐标系之间的矩阵变换关系。
因为在参与标定的n组初始拟合点中存在误差大的离群点，根据n组初始拟合点绘制残差图，从残差图可以看出残差离零点的远近，当残差的置信区间均包含零点，这说明回归模型能较好的符合原始数据，否则视为异常点，为使得标定结果有较大的适用范围，选取的标定点也尽量分散。
通过n-m(10)组坐标点求得变换矩阵后，为测试标定结果，将果实任意放置在7个位置，由相机获取果实三维信息后经矩阵转换为机械臂坐标后，再由相机评测机械臂末端与果实之间位置差值，在相机坐标系下，结果如下表：
由实验结果可见，最大标定误差为6.08mm，满足采摘机器人抓取果实要求。实际上，此误差是一综合误差，它把立体视觉模块自身等环节的测量误差也包含其中。
本实施方式通过可驱动相机X、Y、Z三轴移动的驱动机构驱动相机X、Y、Z三轴移动，并拍摄机械臂末端的靶标，可以调整相机的位置扩大了相机拍摄的范围，可为标定程序采集足够的样本数据，避免相机固定无法拍摄到机械臂末端的靶标，简化手眼标定过程，通过获取贴在机械手上标靶坐标，结合机械臂运动参数，建立了标定方程组，求解出了手眼系统之间的转换矩阵，并验证转换矩阵拟合误差，然后将误差较大的离群点剔除，再次求解转换矩阵时，减小标定误差。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种手眼标定及坐标转换方法，其特征在于，包括：
S1、在机械臂末端设置靶标；
S2、控制机械臂末端从起始坐标点运动到终点坐标点，在机械臂末端从起始坐标点运动到终点坐标点的过程中，记录靶标在机器臂坐标系下的三维坐标，并通过驱动机构驱动相机X、Y、Z三轴移动并记录机械臂末端上靶标在相机坐标系下的三维坐标；
S3、重复执行n次步骤S2，得到n组靶标在机器臂坐标系下的三维坐标、n组靶标在相机坐标系下的三维坐标，其中，每次执行步骤S2时，起始坐标点和终点坐标点均为对应取值范围内的随机坐标点；
S4、将靶标在相机坐标系下的三维坐标与靶标在机器臂坐标系下的三维坐标代入相机坐标系与机器臂坐标系之间的映射矩阵，并求解所述映射矩阵，得到n组拟合点；
S5、根据n组初始拟合点绘制残差图，根据残差图去除n组初始拟合点中M组离群点，得到n-m个目标拟合点，将n-m组目标拟合点代入相机坐标系与机器臂坐标系之间的映射矩阵，即可将得到相机坐标系与机械臂坐标系之间的矩阵变换关系。
2.根据权利要求1所述的手眼标定及坐标转换方法，其特征在于，所述机械臂为六自由度机械臂。
3.根据权利要求1所述的手眼标定及坐标转换方法，其特征在于，步骤S2中，所述通过驱动机构驱动相机X、Y、Z三轴移动，具体包括：驱动机构包括第一驱动机构、第二驱动机构和第三驱动机构，所述第一驱动机构驱动相机X轴移动，所述第二驱动机构驱动相机Y轴移动，所述第三驱动机构驱动相机Z轴移动。
4.根据权利要求1所述的手眼标定及坐标转换方法，其特征在于，步骤S4中，所述相机坐标系与机器臂坐标系之间的映射矩阵，具体包括：
其中，T＝(tx,ty,tz,1)T为相机坐标系的原点在机械臂坐标系中的坐标，R为机械手坐标系相对摄像机坐标系旋转的4×4正交矩阵，Xc、Yc、Zc为相机坐标系下的坐标，Xr、Yr、Zr为机械臂坐标系下的坐标。
5.根据权利要求1所述的手眼标定及坐标转换方法，其特征在于，步骤S5，具体包括：
根据n组初始拟合点绘制残差图；
去除残差图中置信区间均不包含零点的m组离群点，得到n-m个目标拟合点；
将n-m组目标拟合点代入相机坐标系与机器臂坐标系之间的映射矩阵，即可将得到相机坐标系与机械臂坐标系之间的矩阵变换关系。
CN201811073643.3A 2018-09-14 2018-09-14 一种手眼标定及坐标转换方法 Pending CN109278044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811073643.3A CN109278044A (zh) 2018-09-14 2018-09-14 一种手眼标定及坐标转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811073643.3A CN109278044A (zh) 2018-09-14 2018-09-14 一种手眼标定及坐标转换方法

Publications (1)

Publication Number Publication Date
CN109278044A true CN109278044A (zh) 2019-01-29

Family

ID=65180689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811073643.3A Pending CN109278044A (zh) 2018-09-14 2018-09-14 一种手眼标定及坐标转换方法

Country Status (1)

Country Link
CN (1) CN109278044A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148187A (zh) * 2019-06-04 2019-08-20 郑州大学 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN110238845A (zh) * 2019-05-22 2019-09-17 湖南视比特机器人有限公司 最优标定点选取和误差自测量的自动手眼标定方法及装置
CN110450163A (zh) * 2019-08-20 2019-11-15 上海中车瑞伯德智能系统股份有限公司 无需标定板的基于3d视觉的通用手眼标定方法
CN110660108A (zh) * 2019-09-11 2020-01-07 北京控制工程研究所 一种交会对接测量相机和对接抓捕机构的联合标定方法
CN110977980A (zh) * 2019-12-17 2020-04-10 上海嘉奥信息科技发展有限公司 基于光学定位仪的机械臂实时手眼标定方法及系统
CN111055289A (zh) * 2020-01-21 2020-04-24 达闼科技（北京）有限公司 机器人的手眼标定方法、装置、机器人及存储介质
CN111452043A (zh) * 2020-03-27 2020-07-28 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN112258589A (zh) * 2020-11-16 2021-01-22 北京如影智能科技有限公司 一种手眼标定的方法及装置
WO2021012124A1 (zh) * 2019-07-19 2021-01-28 西门子（中国）有限公司 机器人手眼标定方法、装置、计算设备、介质以及产品
CN112754616A (zh) * 2020-12-30 2021-05-07 诺创智能医疗科技(杭州)有限公司 超声定位穿刺系统和存储介质
CN114074321A (zh) * 2020-08-10 2022-02-22 库卡机器人(广东)有限公司 机器人标定方法及装置
CN117103286A (zh) * 2023-10-25 2023-11-24 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101186038A (zh) * 2007-12-07 2008-05-28 北京航空航天大学 一种机器人延伸手眼标定方法
CN104369188A (zh) * 2014-11-20 2015-02-25 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
CN105067011A (zh) * 2015-09-15 2015-11-18 沈阳飞机工业（集团）有限公司 一种基于视觉标定及坐标转换的测量系统整体校准方法
CN106910223A (zh) * 2016-11-02 2017-06-30 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101186038A (zh) * 2007-12-07 2008-05-28 北京航空航天大学 一种机器人延伸手眼标定方法
CN104369188A (zh) * 2014-11-20 2015-02-25 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
CN105067011A (zh) * 2015-09-15 2015-11-18 沈阳飞机工业（集团）有限公司 一种基于视觉标定及坐标转换的测量系统整体校准方法
CN106910223A (zh) * 2016-11-02 2017-06-30 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏菠: "《基于双目视觉的动态目标与抓取研究》", 《信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110238845A (zh) * 2019-05-22 2019-09-17 湖南视比特机器人有限公司 最优标定点选取和误差自测量的自动手眼标定方法及装置
CN110148187A (zh) * 2019-06-04 2019-08-20 郑州大学 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
WO2021012124A1 (zh) * 2019-07-19 2021-01-28 西门子（中国）有限公司 机器人手眼标定方法、装置、计算设备、介质以及产品
CN110450163A (zh) * 2019-08-20 2019-11-15 上海中车瑞伯德智能系统股份有限公司 无需标定板的基于3d视觉的通用手眼标定方法
CN110660108B (zh) * 2019-09-11 2022-12-27 北京控制工程研究所 一种交会对接测量相机和对接抓捕机构的联合标定方法
CN110660108A (zh) * 2019-09-11 2020-01-07 北京控制工程研究所 一种交会对接测量相机和对接抓捕机构的联合标定方法
CN110977980A (zh) * 2019-12-17 2020-04-10 上海嘉奥信息科技发展有限公司 基于光学定位仪的机械臂实时手眼标定方法及系统
CN111055289A (zh) * 2020-01-21 2020-04-24 达闼科技（北京）有限公司 机器人的手眼标定方法、装置、机器人及存储介质
CN111055289B (zh) * 2020-01-21 2021-09-28 达闼科技（北京）有限公司 机器人的手眼标定方法、装置、机器人及存储介质
CN111452043A (zh) * 2020-03-27 2020-07-28 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN111452043B (zh) * 2020-03-27 2023-02-17 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN114074321A (zh) * 2020-08-10 2022-02-22 库卡机器人(广东)有限公司 机器人标定方法及装置
CN112258589A (zh) * 2020-11-16 2021-01-22 北京如影智能科技有限公司 一种手眼标定的方法及装置
CN112754616A (zh) * 2020-12-30 2021-05-07 诺创智能医疗科技(杭州)有限公司 超声定位穿刺系统和存储介质
CN117103286A (zh) * 2023-10-25 2023-11-24 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质
CN117103286B (zh) * 2023-10-25 2024-03-19 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质

Similar Documents

Publication Publication Date Title
CN109278044A (zh) 一种手眼标定及坐标转换方法
KR101495011B1 (ko) 카메라 시스템 좌표계의 측정 및 변환
Asfour et al. The karlsruhe humanoid head
KR101407986B1 (ko) 3차원 텔레스트레이션을 제공하는 의료용 로봇 시스템
CN104608121B (zh) 机器人、控制装置、机器人系统以及控制方法
CN109242914B (zh) 一种可动视觉系统的立体标定方法
CN110248774A (zh) 位置控制装置及位置控制方法
RU2016134234A (ru) Способы и системы для приготовления пищи на роботизированной кухне
US20220212340A1 (en) Control device, control system, mechanical apparatus system, and controlling method
US9921552B2 (en) Placement apparatus and placement method
CN111515950B (zh) 机器人坐标系变换关系确定方法、装置、设备和存储介质
CN111227935A (zh) 一种手术机器人导航定位系统
CN111002312A (zh) 基于标定球的工业机器人手眼标定方法
CN110171009A (zh) 一种基于立体视觉的机器人手持示教装置
Antonello et al. A fully automatic hand-eye calibration system
CN117835933A (zh) 用于配准手术机器人坐标系与ct机坐标系的方法及系统
Schwaner et al. MOPS: A modular and open platform for surgical robotics research
CN109785392B (zh) 一种用于桌面级虚拟现实系统的标定装置及方法
Li et al. Research on hand-eye calibration technology of visual service robot grasping based on ROS
Bang et al. A three-degree-of-freedom anthropomorphic oculomotor simulator
JP2011238097A5 (zh)
CN111591474A (zh) 一种航天器在轨操作系统对准式手眼标定方法
WO2021200438A1 (ja) 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置
CN115256367A (zh) 一种基于双目立体成像的机械臂手眼标定方法
CN112743546B (zh) 机器人手眼标定位姿选择方法、装置、机器人系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication