CN106272444B - 一种实现手眼关系和双机器人关系同时标定的方法 - Google Patents

一种实现手眼关系和双机器人关系同时标定的方法 Download PDF

Info

Publication number
CN106272444B
CN106272444B CN201610766164.4A CN201610766164A CN106272444B CN 106272444 B CN106272444 B CN 106272444B CN 201610766164 A CN201610766164 A CN 201610766164A CN 106272444 B CN106272444 B CN 106272444B
Authority
CN
China
Prior art keywords
relationship
robot
coordinate system
trick
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610766164.4A
Other languages
English (en)
Other versions
CN106272444A (zh
Inventor
陈国栋
赵欣
张曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhong Qing Intelligent Polytron Technologies Inc
Original Assignee
Shandong Zhong Qing Intelligent Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhong Qing Intelligent Polytron Technologies Inc filed Critical Shandong Zhong Qing Intelligent Polytron Technologies Inc
Priority to CN201610766164.4A priority Critical patent/CN106272444B/zh
Publication of CN106272444A publication Critical patent/CN106272444A/zh
Application granted granted Critical
Publication of CN106272444B publication Critical patent/CN106272444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation

Abstract

一种实现手眼关系和双机器人关系同时标定的方法，其特征是只要得到摄像机的内外参数以及机器人依次对准三个特征角点即可实现手眼关系和双机器人关系的同时标定。首先机器人末端把持尖状标定物依次对准三个特征角点得到世界坐标系和机器人坐标系之间的关系，然后通过摄像机的外参数标定得到摄像机坐标系与世界坐标系之间的关系，并记录此时的工具坐标系与机器人坐标系之间的关系，通过联立上述三组关系即可得到手眼关系矩阵。同时通过双机器人依次对准的三个特征角点即可计算出双机器人的转换关系。本发明简便易用，标定精度高，特别适合工业现场应用双机器人配置视觉传感器的场合。

Description

一种实现手眼关系和双机器人关系同时标定的方法
技术领域
本发明属于机器人技术领域，涉及一种实现手眼关系标定和双机器人关系同时标定的方法。
背景技术
随着机器人的普及应用和工作环境的复杂性增加，越来越多的场合采用双机器人协调工作的模式，如双机器人喷涂、双机器人焊接、双机器人协调打磨和喷釉等。由于工装夹具精度的限制，以及工件本身尺寸和位置的不一致性，传统的示教再现型机器人已不能满足当下复杂状况的工作要求，机器人配置视觉传感器成为了一种必然选择，通过视觉传感器检测出工件的位置变化，并指导机器人对示教的轨迹进行自动修正，以提高机器人的工作效率和质量。
双机器人配置视觉传感器的工作模式涉及两方面的标定，一是视觉传感器与机器人末端工具的转换关系标定，即手眼关系的标定；二是两个机器人之间的标定。传统的手眼关系标定方法一般通过机器人的多次平移和旋转运动得到，计算较为复杂，精度较差，不适合工业现场应用，并且传统标定方法不能同时标定两个机器人之间的关系。
鉴于现有技术的上述技术缺陷，迫切需要研制一适合简便易用并且高效的能同时标定手眼关系和双机器人关系的方法。
发明内容
本发明的目的在于提供一种可供现场应用，并且简便高效的能同时标定手眼关系和双机器人关系的方法。通过手眼关系的标定以及双机器人关系的标定，为后续高精度的视觉伺服控制打下坚实的基础。
为了实现上述目的，本发明提供如下技术方案：在双机器人的末端安装视觉传感器，在视觉传感器的附近安装尖状标定物，并且在双机器人的中间放置棋盘格标定板。通过双机器人各自把持尖状标定物对准标定板的三个特征角点，并结合摄像机的外参数矩阵，即可同时实现手眼关系标定以及双机器人关系的标定。其具体实现步骤为：
S1：对摄像机2-a进行内参数标定；
S2：对摄像机2-a进行外参数标定，记录此时摄像机2-a的外参数矩阵为wTc1，工具坐标系相对于机器人坐标系的转换关系矩阵为rTt1；
S3：机器人1-a把持尖状标定物依次对准标定板4的三个特征角点O、P1和P2；
S4：由三个特征角点O、P1和P2建立坐标系，得到世界坐标系到工具坐标系之间的转换关系rTw1；
S5：由转换关系矩阵rTw1和wTc1可以得到摄像机坐标系到机器人坐标系的转换关系矩阵rTc1；
S6：由转换关系矩阵rTt1和rTc1可以得到左机器人中的摄像机坐标系到工具坐标系的转换关系矩阵tTc1，即左机器人的手眼关系矩阵；
S7：重复上述步骤S1-S6，可以得到右机器人中的摄像机坐标系到工具坐标系的转换关系矩阵tTc2，即右机器人的手眼关系矩阵；
S8：由左机器人的转换关系矩阵rTw1和右机器人的转换关系矩阵rTw2可以得到左右机器人之间的转换关系矩阵r1Tr2。
进一步地，步骤S1和S2中的摄像机内外参数标定采用公知的基于棋盘格的标定方法。
进一步地，标定板上三个特征角点O、P1和P2分别与标定摄像机外参数时的世界坐标系的原点、X轴和Y轴一致。
进一步地，由标定板上三个特征角点O、P1和P2建立坐标系的步骤为：
S41：选定特征角点O为坐标系的原点；
S42：特征角点O和P1形成的向量作为X轴，X轴向量可计算为
S43：Z轴向量由O和P1形成的向量以及O和P2形成的向量通过叉乘得到，计算为
S44：Y轴向量通过X向量和Z向量叉乘得到，计算为y＝x×z。
进一步地，摄像机坐标系到机器人坐标系的转换关系矩阵rTc1的计算方法为：rTc1＝rTw1*wTc1；
进一步地，左机器人的手眼关系矩阵tTc1的计算方法为：tTc1＝inv(rTt1)*rTc1，其中inv(*)是矩阵的求逆运算符；
进一步地，右机器人的手眼关系矩阵tTc2的计算方法为：tTc2＝inv(rTt2)*rTc2；
进一步地，左右机器人之间的转换关系矩阵r1Tr2的计算方法为：r1Tr2＝rTw1*inv(rTw2)；
本发明具有如下有益效果：本发明设计的实现手眼关系和双机器人关系同时标定的方法通过结合摄像机的内外参数以及机器人末端的三点运动，即可实现手眼关系和双机器人关系的同时标定，方法简便易用，标定精度高，尤其适合工业现场工人专业知识欠缺，并且要求快速标定的场合。
附图说明
图1为本发明的手眼关系和双机器人关系同时标定的原理图。
其中，1-a/1-b：工业机器人，2-a/2-b：视觉传感器，3-a/3-b：尖状标定物，4：棋盘格标定板。
图2为本发明的世界坐标系和三个特征角点的定义图。
其中，OX：世界坐标系的X轴，OY：世界坐标系的Y轴，O：第一个特征角点，P1：第二个特征角点，P2：第三个特征角点。
具体实施方式
下面结合附图和实施例对本发明进一步说明，实施例的内容不作为对本发明的保护范围的限制。
图1示出了本发明的手眼关系和双机器人关系同时标定的原理结构示意图。如图1所示，工业机器人1-a和1-b呈左右并排放置，摄像机2-a和2-b分别安装于机器人的末端，尖状标定物3-a和3-b分别安装于机器人的末端，尖状标定物与摄像机的朝向保持一致，并且尖状标定物的顶端距离摄像机的距离为200mm。在双机器人的中间放置棋盘格标定板。同时实现手眼关系和双机器人关系标定的方法具体实现步骤为：
S1：对摄像机2-a进行内参数标定；
S2：对摄像机2-a进行外参数标定，记录此时摄像机2-a的外参数矩阵为wTc1，工具坐标系相对于机器人坐标系的转换关系矩阵为rTt1；
S3：机器人1-a把持尖状标定物依次对准标定板4的三个特征角点O、P1和P2；
S4：由三个特征角点O、P1和P2建立坐标系，得到世界坐标系到工具坐标系之间的转换关系rTw1；
S5：由转换关系矩阵rTw1和wTc1可以得到摄像机坐标系到机器人坐标系的转换关系矩阵rTc1；
S6：由转换关系矩阵rTt1和rTc1可以得到左机器人中的摄像机坐标系到工具坐标系的转换关系矩阵tTc1，即左机器人的手眼关系矩阵；
S7：重复上述步骤S1-S6，可以得到右机器人中的摄像机坐标系到工具坐标系的转换关系矩阵tTc2，即右机器人的手眼关系矩阵；
S8：由左机器人的转换关系矩阵rTw1和右机器人的转换关系矩阵rTw2可以得到左右机器人之间的转换关系矩阵r1Tr2。
进一步地，步骤S1和S2中的摄像机内外参数标定采用公知的基于棋盘格的标定方法。
进一步地，标定板上三个特征角点O、P1和P2分别与标定摄像机外参数时的世界坐标系的原点、X轴和Y轴一致。
进一步地，由标定板上三个特征角点O、P1和P2建立坐标系的步骤为：
S41：选定特征角点O为坐标系的原点；
S42：特征角点O和P1形成的向量作为X轴，X轴向量可计算为
S43：Z轴向量由O和P1形成的向量以及O和P2形成的向量通过叉乘得到，计算为
S44：Y轴向量通过X向量和Z向量叉乘得到，计算为y＝x×z。
进一步地，摄像机坐标系到机器人坐标系的转换关系矩阵rTc1的计算方法为：rTc1＝rTw1*wTc1；
进一步地，左机器人的手眼关系矩阵tTc1的计算方法为：tTc1＝inv(rTt1)*rTc1，其中inv(*)是矩阵的求逆运算符；
进一步地，右机器人的手眼关系矩阵tTc2的计算方法为：tTc2＝inv(rTt2)*rTc2；
进一步地，左右机器人之间的转换关系矩阵r1Tr2的计算方法为：r1Tr2＝rTw1*inv(rTw2)；
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种实现手眼关系和双机器人关系同时标定的方法，其特征在于，通过双机器人把持尖状标定物依次对准标定板的三个特征角点，并结合摄像机的内外参数矩阵，即可实现手眼关系标定以及双机器人关系的同时标定，其具体实现步骤为：
S1：对摄像机(2-a)进行内参数标定；
S2：对摄像机(2-a)进行外参数标定，记录此时摄像机(2-a)的外参数矩阵为wTc1，工具坐标系相对于机器人坐标系的转换关系矩阵为rTt1；
S3：机器人(1-a)把持尖状标定物依次对准标定板4的三个特征角点O、P1和P2；
S4：由三个特征角点O、P1和P2建立坐标系，得到世界坐标系到工具坐标系之间的转换关系rTw1；
S5：由转换关系矩阵rTw1和wTc1可以得到摄像机坐标系到机器人坐标系的转换关系矩阵rTc1；
S6：由转换关系矩阵rTt1和rTc1可以得到左机器人中的摄像机坐标系到工具坐标系的转换关系矩阵tTc1，即左机器人的手眼关系矩阵；
S7：重复上述步骤S1-S6，可以得到右机器人中的摄像机坐标系到工具坐标系的转换关系矩阵tTc2，即右机器人的手眼关系矩阵；
S8：由左机器人的转换关系矩阵rTw1和右机器人的转换关系矩阵rTw2可以得到左右机器人之间的转换关系矩阵r1Tr2。
2.如权利要求1所述的实现手眼关系和双机器人关系同时标定的方法，其特征是，摄像机内外参数标定采用公知的基于棋盘格的标定方法。
3.如权利要求1所述的实现手眼关系和双机器人关系同时标定的方法，其特征是，标定板上三个特征角点O、P1和P2分别与标定摄像机外参数时的世界坐标系的原点、X轴和Y轴一致。
4.如权利要求1所述的实现手眼关系和双机器人关系同时标定的方法，其特征是，由标定板上三个特征角点O、P1和P2建立坐标系的步骤为：
S41：选定特征角点O为坐标系的原点；
S42：特征角点O和P1形成的向量作为X轴，X轴向量可计算为
S43：Z轴向量由O和P1形成的向量以及O和P2形成的向量通过叉乘得到，计算为
S44：Y轴向量通过X向量和Z向量叉乘得到，计算为y＝x×z。
5.如权利要求1所述的实现手眼关系和双机器人关系同时标定的方法，其特征是，摄像机坐标系到机器人坐标系的转换关系矩阵rTc1的计算方法为：rTc1＝rTw1*wTc1。
6.如权利要求1所述的实现手眼关系和双机器人关系同时标定的方法，其特征是，左机器人的手眼关系矩阵tTc1的计算方法为：tTc1＝inv(rTt1)*rTc1，其中inv(*)是矩阵的求逆运算符。
7.如权利要求1所述的实现手眼关系和双机器人关系同时标定的方法，其特征是，右机器人的手眼关系矩阵tTc2的计算方法为：tTc2＝inv(rTt2)*rTc2。
8.如权利要求1所述的实现手眼关系和双机器人关系同时标定的方法，其特征是，左右机器人之间的转换关系矩阵r1Tr2的计算方法为：r1Tr2＝rTw1*inv(rTw2)。
CN201610766164.4A 2016-08-31 2016-08-31 一种实现手眼关系和双机器人关系同时标定的方法 Active CN106272444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610766164.4A CN106272444B (zh) 2016-08-31 2016-08-31 一种实现手眼关系和双机器人关系同时标定的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610766164.4A CN106272444B (zh) 2016-08-31 2016-08-31 一种实现手眼关系和双机器人关系同时标定的方法

Publications (2)

Publication Number Publication Date
CN106272444A CN106272444A (zh) 2017-01-04
CN106272444B true CN106272444B (zh) 2018-11-13

Family

ID=57674646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610766164.4A Active CN106272444B (zh) 2016-08-31 2016-08-31 一种实现手眼关系和双机器人关系同时标定的方法

Country Status (1)

Country Link
CN (1) CN106272444B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018213980A1 (zh) * 2017-05-22 2018-11-29 深圳配天智能技术研究院有限公司 一种机器人的标定方法、系统及标定板
CN107283425A (zh) * 2017-06-20 2017-10-24 巨轮（广州）机器人与智能制造有限公司 一种双六轴机器人协同运动控制模型及算法
CN107369184B (zh) * 2017-06-23 2020-02-28 中国科学院自动化研究所 混合双目工业机器人系统同步标定方法及其它装置
TWI750310B (zh) * 2018-01-29 2021-12-21 達明機器人股份有限公司 複製機器手臂作業點位的方法
CN108519055A (zh) * 2018-04-26 2018-09-11 华中科技大学 一种基于视觉的双机器人相对位姿在线标定方法
CN108942927B (zh) * 2018-06-29 2022-04-26 齐鲁工业大学 一种基于机器视觉的像素坐标与机械臂坐标统一的方法
WO2020051748A1 (zh) * 2018-09-10 2020-03-19 深圳配天智能技术研究院有限公司 标定方法及标定装置
CN110276799B (zh) * 2019-05-29 2021-09-21 季华实验室 一种坐标标定方法、标定系统及机械臂
CN110405731A (zh) * 2019-07-19 2019-11-05 南京理工大学 一种快速双机械臂基坐标系标定方法
CN111476841B (zh) * 2020-03-04 2020-12-29 哈尔滨工业大学 一种基于点云和图像的识别定位方法及系统
CN111452048B (zh) * 2020-04-09 2023-06-02 亚新科国际铸造（山西）有限公司 多机器人相对空间位置关系的标定方法和装置
CN113524147B (zh) * 2021-08-02 2022-05-24 北京深度奇点科技有限公司 一种基于3d相机的工业机器人示教系统及方法
CN113787541B (zh) * 2021-11-17 2022-03-04 杭州灵西机器人智能科技有限公司 一种机器人位置校正的方法和机器人定位系统
CN114750160B (zh) * 2022-05-16 2023-05-23 深圳市大族机器人有限公司 机器人控制方法、装置、计算机设备和存储介质
CN116294987B (zh) * 2022-11-25 2023-12-08 无锡中车时代智能装备研究院有限公司 一种双机器人自动测量打磨系统中的坐标转换方法及系统
CN116382320B (zh) * 2023-05-26 2023-09-01 深圳市景创科技电子股份有限公司 水下机器人姿态控制方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101186038A (zh) * 2007-12-07 2008-05-28 北京航空航天大学 一种机器人延伸手眼标定方法
CN101630409A (zh) * 2009-08-17 2010-01-20 北京航空航天大学 一种用于机器人制孔系统的手眼视觉标定方法
JP2011011321A (ja) * 2009-07-06 2011-01-20 Fuji Electric Holdings Co Ltd ロボットシステム及びロボットシステムのキャリブレーション方法
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
JP2013049102A (ja) * 2011-08-30 2013-03-14 Denso Wave Inc ロボットの制御装置及びロボットの姿勢決定方法
CN103175485A (zh) * 2013-02-20 2013-06-26 天津工业大学 一种飞机涡轮发动机叶片修复机器人的视觉标定方法
CN104613899A (zh) * 2015-02-09 2015-05-13 淮阴工学院 一种全自动的结构光手眼三维测量系统标定方法
CN105773609A (zh) * 2016-03-16 2016-07-20 南京工业大学 一种基于视觉测量及距离误差模型的机器人运动学标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3946711B2 (ja) * 2004-06-02 2007-07-18 ファナック株式会社 ロボットシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101186038A (zh) * 2007-12-07 2008-05-28 北京航空航天大学 一种机器人延伸手眼标定方法
JP2011011321A (ja) * 2009-07-06 2011-01-20 Fuji Electric Holdings Co Ltd ロボットシステム及びロボットシステムのキャリブレーション方法
CN101630409A (zh) * 2009-08-17 2010-01-20 北京航空航天大学 一种用于机器人制孔系统的手眼视觉标定方法
JP2013049102A (ja) * 2011-08-30 2013-03-14 Denso Wave Inc ロボットの制御装置及びロボットの姿勢決定方法
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN103175485A (zh) * 2013-02-20 2013-06-26 天津工业大学 一种飞机涡轮发动机叶片修复机器人的视觉标定方法
CN104613899A (zh) * 2015-02-09 2015-05-13 淮阴工学院 一种全自动的结构光手眼三维测量系统标定方法
CN105773609A (zh) * 2016-03-16 2016-07-20 南京工业大学 一种基于视觉测量及距离误差模型的机器人运动学标定方法

Also Published As

Publication number Publication date
CN106272444A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106272444B (zh) 一种实现手眼关系和双机器人关系同时标定的方法
CN109571546B (zh) 机器人工具中心点校正系统及其方法
US10539406B2 (en) Method and apparatus for calibrating tool in flange coordinate system of robot
US10980606B2 (en) Remote-control manipulator system and method of operating the same
CN110271005B (zh) 中厚板机器人焊接轨迹的规划方法、设备及介质
CN105234943B (zh) 一种基于视觉识别的工业机器人示教装置及方法
Wang et al. A point and distance constraint based 6R robot calibration method through machine vision
JP6468741B2 (ja) ロボットシステム及びロボットシステムの校正方法
CN107443377A (zh) 传感器‑机器人坐标系转换方法及机器人手眼标定方法
CN110171009B (zh) 一种基于立体视觉的机器人手持示教装置
CN108527332A (zh) 一种基于结构光视觉传感器的焊缝轨迹离线校准方法
CN104552341B (zh) 移动工业机器人单点多视角挂表位姿误差检测方法
WO2012169374A1 (ja) ワーク処理システム
CN112847353B (zh) 一种基于离线编程软件的多段焊缝轨迹修正方法
CN110148187A (zh) 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN111452048B (zh) 多机器人相对空间位置关系的标定方法和装置
Liu et al. Pose alignment of aircraft structures with distance sensors and CCD cameras
CN113211431B (zh) 基于二维码修正机器人系统的位姿估计方法
CN105157567A (zh) 一种测量机器人的工具坐标系标定方法及系统
CN105096341B (zh) 基于三焦张量和关键帧策略的移动机器人位姿估计方法
CN114643578B (zh) 一种提高机器人视觉引导精度的标定装置及方法
CN114001653A (zh) 一种机器人工具中心点标定方法
Liu et al. Welding seam recognition and tracking for a novel mobile welding robot based on multi-layer sensing strategy
JP2011104759A (ja) ロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システム
CN109483545B (zh) 一种焊缝重构方法、智能机器人焊接方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 264205 Dongfeng Road, Weihai economic and Technological Development Zone, Shandong,

Applicant after: Shandong Zhong Qing intelligent Polytron Technologies Inc

Address before: 264205 Dongfeng Road, Weihai economic and Technological Development Zone, Shandong,

Applicant before: SHANDONG ZHONGQING INTELLIGENT TECHNOLOGY CO., LTD.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for simultaneous calibration of hand eye relationship and dual robot relationship

Effective date of registration: 20210629

Granted publication date: 20181113

Pledgee: Industrial and Commercial Bank of China Limited Weihai Branch

Pledgor: SHANDONG ZHONGQING INTELLIGENT TECHNOLOGY Co.,Ltd.

Registration number: Y2021980005444