CN115256367A - 一种基于双目立体成像的机械臂手眼标定方法 - Google Patents

一种基于双目立体成像的机械臂手眼标定方法 Download PDF

Info

Publication number
CN115256367A
CN115256367A CN202110472169.7A CN202110472169A CN115256367A CN 115256367 A CN115256367 A CN 115256367A CN 202110472169 A CN202110472169 A CN 202110472169A CN 115256367 A CN115256367 A CN 115256367A
Authority
CN
China
Prior art keywords
mechanical arm
coordinate system
coordinate
tail end
stereo imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110472169.7A
Other languages
English (en)
Inventor
徐东岑
董旭洋
佟以轩
李一平
张奇峰
封锡盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN202110472169.7A priority Critical patent/CN115256367A/zh
Publication of CN115256367A publication Critical patent/CN115256367A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉一种基于双目立体成像的机械臂手眼标定方法。改变机械臂的各个关节的角度，记录机械臂各个关节的当前角度和双目立体成像坐标系下的机械臂末端夹钳夹取点的三维坐标。通过机器人正运动学计算出机械臂末端夹钳夹取点位于机械臂坐标系下的三维空间坐标。重复多次，利用所记录的多组机械臂坐标系下的机械臂末端夹钳夹取点的三维坐标和与其对应的多组摄像机坐标系下的机械臂末端夹钳夹取点的三维世界坐标，对摄像机坐标系到机械臂基座坐标系的齐次变换矩阵求取最优解。本发明通过提取双目立体成像内容中机械臂末端夹钳夹取点位的三维坐标与机械臂各个关节运动信息来进行计算，可以快速、便捷的对机械臂进行手眼标定。

Description

一种基于双目立体成像的机械臂手眼标定方法
技术领域
本发明涉及机械臂手眼标定的技术领域，具体涉及一种基于双目立体成像的机械臂标定方法。
背景技术
机器人的自主作业需要机械臂(也就是机器人的手)，与机器人的眼(也就是摄像机)相互配合。但是机械臂工作的前提是要知道摄像机坐标系到机械臂坐标系的齐次变换矩阵，从而将摄像机坐标系中的目标物体坐标转换为机械臂坐标系中的目标物体坐标，让机械臂可以进行自主作业，这个过程称为机械臂的手眼标定。
传统的机械臂的手眼标定使用的摄像机不具有三维成像的能力，需要使用标定板和一系列较为复杂的数学求解方法对AX＝XB进行求解来获取齐次变换矩阵，其中，A、B表示已知量组成的矩阵，X表示未知量组成的矩阵，标定过程较为繁琐。
发明内容
本发明目的是提供了一种基于双目立体成像的机械臂手眼标定方法，以简化机械臂手眼标定的流程。随着人工智能技术的发展，具备立体成像能力的双目摄像机日趋广泛地应用在机器人领域，对于摄像机成像中的大部分像素点，都可以给出其在摄像机坐标系下的三维空间坐标。利用这一特性，可以简化机械臂手眼标定的流程。
本发明为实现上述目的所采用的技术方案是：一种基于双目立体成像的机械臂手眼标定方法，包括以下步骤：
控制机械臂运动以改变机械臂各个关节的角度和末端夹取点位于机械臂坐标系下的空间位置；
记录机械臂各个关节的当前角度和双目立体成像坐标系下的机械臂末端夹取点的三维坐标；
根据机械臂各个关节的当前角度，通过机器人正运动学得出机械臂末端夹取点位于机械臂坐标系下的三维空间坐标；
完成一次数据采集过程后，返回控制机械臂动作步骤，循环多次；
利用所记录的多组机械臂坐标系下的机械臂末端夹取点的三维坐标和与其对应的摄像机坐标系下的机械臂末端夹取点的三维空间坐标，对双目立体成像坐标系到机械臂坐标系的齐次变换矩阵求取最优解；
根据最优的齐次变换矩阵即得到双目立体成像坐标系与机械臂坐标系之间的关系。
所述多次为至少4次。
所述对双目立体成像坐标系到机械臂坐标系的齐次变换矩阵求取最优解，包括以下步骤：
令双目立体成像坐标系下的机械臂末端的三维坐标矩阵X、机械臂坐标系下的三维空间坐标矩阵A、B、C分别如下：
Figure BDA0003045886600000021
令
Figure BDA0003045886600000022
其中，(x1,y1,z1),...,(x4,y4,z4)分别为各次循环得到的双目立体成像坐标系下的机械臂末端的三维坐标；(a1,b1,c1),...,(a4,b4,c4)分别为各次循环得到的机械臂坐标系下的三维空间坐标；
根据下列公式
Figure BDA0003045886600000023
其中(XTX)-1表示矩阵XTX的逆矩阵，XT表示矩阵X的转置矩阵；
得到双目立体成像摄像机坐标系到机械臂基坐标系的齐次变换矩阵：
Figure BDA0003045886600000024
其中，nx、ny、nz、ox、oy、oz、ax、ay、az、px、py、p分别为齐次变换矩阵参数；
至此，若已知空间点p位于摄像机坐标系下的坐标为P，则空间点p位于机械臂坐标系下的坐标P’由
Figure BDA0003045886600000025
得到；
若已知空间点p位于机械臂坐标系下的坐标为P’,则空间点p位于摄像机坐标系下的坐标由
Figure BDA0003045886600000026
得到，矩阵
Figure BDA0003045886600000027
表示齐次变换矩阵
Figure BDA0003045886600000028
的逆矩阵，以实现机械臂的手眼标定。
如果矩阵XTX没有逆，则增加一次数据采集过程，进而增加一条观测数据，包括双目立体成像坐标系下的机械臂末端夹取点的三维坐标(x5,y5,z5)、机械臂坐标系下的三维空间坐标(a5,b5,c5)，使得XTX有逆矩阵；如果XTX仍然没有逆矩阵，则继续增加一次数据采集过程，进而增加观测数据。
根据最优的齐次变换矩阵实时得到双目立体成像坐标系或者机械臂坐标系，进而得到机械手各关节控制角度或者机械手末端夹取点位置，以实现机械手的控制。
一种基于双目立体成像的机械臂手眼标定系统，包括：
标定控制模块，用于控制机械臂动作以改变机械臂各个关节的角度；
双目立体成像坐标系坐标获取模块，用于记录机械臂各个关节的当前角度和双目立体成像坐标系下的机械臂末端夹取点的三维坐标；
机械臂坐标系坐标获取模块，用于根据机械臂各个关节的当前角度，通过机器人正运动学得出机械臂末端夹取点位于机械臂坐标系下的三维空间坐标；
坐标关系矩阵求解模块，用于利用所记录的多组机械臂坐标系下的机械臂末端的三维坐标和与其对应的摄像机坐标系下的机械臂末端的三维空间坐标，对双目立体成像坐标系到机械臂坐标系的齐次变换矩阵求取最优解；根据最优的齐次变换矩阵即得到双目立体成像坐标系与机械臂坐标系之间的关系。
一种基于双目立体成像的机械臂手眼标定装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-5任一项所述的基于双目立体成像的机械臂手眼标定方法。
一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-5任一项所述的基于双目立体成像的机械臂手眼标定方法。
本发明具有以下有益效果及优点：
本发明不同于传统的标定方法，不需要标定板或者二维码，
通过提取双目立体成像内容中机械臂末端夹取点的三维坐标与机械臂各个关节运动信息来进行计算，可以快速、便捷的对机械臂进行手眼标定。基于本方法的实验表明，该方法有效的简化了对机械臂进行手眼标定的流程并具有鲁棒性。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明的一部分实例，而不是全部的实例。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本发明保护的范围。
如图1所示，一种基于双目立体成像的机械臂手眼标定方法，所述方法包括：
改变机械臂的各个关节的角度，记录机械臂各个关节的当前角度和双目立体成像坐标系下的机械臂末端夹钳的三维坐标。
通过机器人正运动学的Denavit-Hartenberg方法计算出机械臂末端位于机械臂坐标系下的三维空间坐标。
重复上一步4次，利用所记录的4组机械臂坐标系下的机械臂末端夹取点点的三维坐标和与其对应的4组摄像机坐标系下的机械臂末端夹取点点的三维世界坐标，对摄像机坐标系到机械臂基座坐标系的齐次变换矩阵求取最优解。
本发明提供的基于双目立体成像的机械臂手眼标定方法，通过记录4组机械臂关节角角度和与其对应的4组机械臂末端夹钳三维坐标来计算摄像机坐标系到机械臂坐标系的齐次变换矩阵，从而完成摄像机到机械臂的手眼标定。具体实施中，该方法包括：
S1：控制机械臂移动，使得机械臂的末端夹取点点位于双目三维成像摄像机的视野内，当机械臂姿态稳定后，记录下当前机械臂的各个关节角的角度以及此时机械臂末端点在摄像机坐标系下的三维位置坐标(x1,y1,z1)。
S2：采用Denavit-Hartenberg方法，通过机械臂各个关节角度，计算出机械臂末端夹取点位于机械臂坐标系内的三维位置坐标(a1,b1,c1)
S3:重复S1与S2 4次，得到4组数据，分别为[(x1,y1,z1)，(a1,b1,c1)],...,[(x4,y4,z4)，(a4,b4,c4)]
S4：令双目立体成像摄像机坐标系到机械臂基坐标系的齐次变换矩阵为：
Figure BDA0003045886600000041
S5:令
Figure BDA0003045886600000042
令
Figure BDA0003045886600000043
可以由此得到：
Figure BDA0003045886600000044
Figure BDA0003045886600000045
Figure BDA0003045886600000046
如果矩阵XTX没有逆，则增加一条观测数据(x5,y5,z5)，(a5,b5,c5)，使得XTX有逆矩阵，如果XTX仍然没有逆矩阵，则继续增加观测数据。第n个数据位于X，A，B，C三个矩阵的第n行相应位置。
至此
Figure BDA0003045886600000047
中的所有参数已经得到，双目立体成像摄像机坐标系到机械臂基坐标系的齐次变换矩阵已经求得，若已知空间点p位于摄像头坐标系下的坐标为P，则空间点p位于机械臂坐标系下的坐标P’可由
Figure BDA0003045886600000048
给出。若已知空间点p位于机械臂坐标系下的坐标为P’,则空间点p位于摄像头坐标系下的坐标可由
Figure BDA0003045886600000049
给出(矩阵
Figure BDA00030458866000000410
表示齐次变换矩阵
Figure BDA00030458866000000411
的逆矩阵)。至此机械臂的手眼标定已完成。
以上所述是本发明的优选实施方，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。

Claims (8)

1.一种基于双目立体成像的机械臂手眼标定方法，其特征在于，包括以下步骤：
控制机械臂运动以改变机械臂各个关节的角度和末端夹取点位于机械臂坐标系下的空间位置；
记录机械臂各个关节的当前角度和双目立体成像坐标系下的机械臂末端夹取点的三维坐标；
根据机械臂各个关节的当前角度，通过机器人正运动学得出机械臂末端夹取点位于机械臂坐标系下的三维空间坐标；
完成一次数据采集过程后，返回控制机械臂动作步骤，循环多次；
利用所记录的多组机械臂坐标系下的机械臂末端夹取点的三维坐标和与其对应的摄像机坐标系下的机械臂末端夹取点的三维空间坐标，对双目立体成像坐标系到机械臂坐标系的齐次变换矩阵求取最优解；
根据最优的齐次变换矩阵即得到双目立体成像坐标系与机械臂坐标系之间的关系。
2.根据权利要求1所述的一种基于双目立体成像的机械臂手眼标定方法，其特征在于，所述多次为至少4次。
3.根据权利要求1所述的一种基于双目立体成像的机械臂手眼标定方法，其特征在于，所述对双目立体成像坐标系到机械臂坐标系的齐次变换矩阵求取最优解，包括以下步骤：
令双目立体成像坐标系下的机械臂末端的三维坐标矩阵X、机械臂坐标系下的三维空间坐标矩阵A、B、C分别如下：
Figure FDA0003045886590000011
令
Figure FDA0003045886590000012
其中，(x1,y1,z1),...,(x4,y4,z4)分别为各次循环得到的双目立体成像坐标系下的机械臂末端的三维坐标；(a1,b1,c1),...,(a4,b4,c4)分别为各次循环得到的机械臂坐标系下的三维空间坐标；
根据下列公式
Figure FDA0003045886590000013
其中(XTX)-1表示矩阵XTX的逆矩阵，XT表示矩阵X的转置矩阵；
得到双目立体成像摄像机坐标系到机械臂基坐标系的齐次变换矩阵：
Figure FDA0003045886590000014
其中，nx、ny、nz、ox、oy、oz、ax、ay、az、px、py、p分别为齐次变换矩阵参数；
至此，若已知空间点p位于摄像机坐标系下的坐标为P，则空间点p位于机械臂坐标系下的坐标P’由
Figure FDA0003045886590000021
得到；
若已知空间点p位于机械臂坐标系下的坐标为P’,则空间点p位于摄像机坐标系下的坐标由
Figure FDA0003045886590000022
得到，矩阵
Figure FDA0003045886590000023
表示齐次变换矩阵
Figure FDA0003045886590000024
的逆矩阵，以实现机械臂的手眼标定。
4.根据权利要求3所述的一种基于双目立体成像的机械臂手眼标定方法，其特征在于，如果矩阵XTX没有逆，则增加一次数据采集过程，进而增加一条观测数据，包括双目立体成像坐标系下的机械臂末端夹取点的三维坐标(x5,y5,z5)、机械臂坐标系下的三维空间坐标(a5,b5,c5)，使得XTX有逆矩阵；如果XTX仍然没有逆矩阵，则继续增加一次数据采集过程，进而增加观测数据。
5.根据权利要求1所述的一种基于双目立体成像的机械臂手眼标定方法，其特征在于：根据最优的齐次变换矩阵实时得到双目立体成像坐标系或者机械臂坐标系，进而得到机械手各关节控制角度或者机械手末端夹取点位置，以实现机械手的控制。
6.一种基于双目立体成像的机械臂手眼标定系统，其特征在于，包括：
标定控制模块，用于控制机械臂动作以改变机械臂各个关节的角度；
双目立体成像坐标系坐标获取模块，用于记录机械臂各个关节的当前角度和双目立体成像坐标系下的机械臂末端夹取点的三维坐标；
机械臂坐标系坐标获取模块，用于根据机械臂各个关节的当前角度，通过机器人正运动学得出机械臂末端夹取点位于机械臂坐标系下的三维空间坐标；
坐标关系矩阵求解模块，用于利用所记录的多组机械臂坐标系下的机械臂末端的三维坐标和与其对应的摄像机坐标系下的机械臂末端的三维空间坐标，对双目立体成像坐标系到机械臂坐标系的齐次变换矩阵求取最优解；根据最优的齐次变换矩阵即得到双目立体成像坐标系与机械臂坐标系之间的关系。
7.一种基于双目立体成像的机械臂手眼标定装置，其特征在于，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-5任一项所述的基于双目立体成像的机械臂手眼标定方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-5任一项所述的基于双目立体成像的机械臂手眼标定方法。
CN202110472169.7A 2021-04-29 2021-04-29 一种基于双目立体成像的机械臂手眼标定方法 Pending CN115256367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110472169.7A CN115256367A (zh) 2021-04-29 2021-04-29 一种基于双目立体成像的机械臂手眼标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110472169.7A CN115256367A (zh) 2021-04-29 2021-04-29 一种基于双目立体成像的机械臂手眼标定方法

Publications (1)

Publication Number Publication Date
CN115256367A true CN115256367A (zh) 2022-11-01

Family

ID=83745417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110472169.7A Pending CN115256367A (zh) 2021-04-29 2021-04-29 一种基于双目立体成像的机械臂手眼标定方法

Country Status (1)

Country Link
CN (1) CN115256367A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117290980A (zh) * 2023-11-27 2023-12-26 江西格如灵科技股份有限公司 一种基于Unity平台的机械臂仿真方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109737871A (zh) * 2018-12-29 2019-05-10 南方科技大学 一种三维传感器与机械手臂的相对位置的标定方法
CN110238845A (zh) * 2019-05-22 2019-09-17 湖南视比特机器人有限公司 最优标定点选取和误差自测量的自动手眼标定方法及装置
CN110238851A (zh) * 2019-06-14 2019-09-17 苏州大学 一种移动机器人及其快速标定方法和系统
CN110421562A (zh) * 2019-07-24 2019-11-08 中国地质大学（武汉） 基于四目立体视觉的机械臂标定系统和标定方法
CN110605714A (zh) * 2019-08-06 2019-12-24 华中科技大学 一种基于人眼凝视点的手眼协调抓取方法
CN112330749A (zh) * 2020-10-22 2021-02-05 深圳众为兴技术股份有限公司 相机安装于机器人手臂上的手眼标定方法及手眼标定装置
CN112589787A (zh) * 2020-12-02 2021-04-02 上海纽钛测控技术有限公司 进料转盘机械臂上下样的视觉定位及手眼标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109737871A (zh) * 2018-12-29 2019-05-10 南方科技大学 一种三维传感器与机械手臂的相对位置的标定方法
CN110238845A (zh) * 2019-05-22 2019-09-17 湖南视比特机器人有限公司 最优标定点选取和误差自测量的自动手眼标定方法及装置
CN110238851A (zh) * 2019-06-14 2019-09-17 苏州大学 一种移动机器人及其快速标定方法和系统
CN110421562A (zh) * 2019-07-24 2019-11-08 中国地质大学（武汉） 基于四目立体视觉的机械臂标定系统和标定方法
CN110605714A (zh) * 2019-08-06 2019-12-24 华中科技大学 一种基于人眼凝视点的手眼协调抓取方法
CN112330749A (zh) * 2020-10-22 2021-02-05 深圳众为兴技术股份有限公司 相机安装于机器人手臂上的手眼标定方法及手眼标定装置
CN112589787A (zh) * 2020-12-02 2021-04-02 上海纽钛测控技术有限公司 进料转盘机械臂上下样的视觉定位及手眼标定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117290980A (zh) * 2023-11-27 2023-12-26 江西格如灵科技股份有限公司 一种基于Unity平台的机械臂仿真方法及系统
CN117290980B (zh) * 2023-11-27 2024-02-02 江西格如灵科技股份有限公司 一种基于Unity平台的机械臂仿真方法及系统

Similar Documents

Publication Publication Date Title
Lee et al. Camera-to-robot pose estimation from a single image
CN110769985B (zh) 使用循环神经网络的机器人末端执行器的视点不变的视觉伺服
CN109227601B (zh) 控制装置、机器人、机器人系统及校正方法
CN108994832B (zh) 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN110076772B (zh) 一种机械臂的抓取方法及装置
CN110842914A (zh) 基于差分进化算法的手眼标定参数辨识方法、系统及介质
Li et al. A mobile robot hand-arm teleoperation system by vision and imu
CN113601503B (zh) 手眼标定方法、装置、计算机设备和存储介质
CN109227532A (zh) 机器人的控制装置及其系统、机器人及摄像机的校正方法
CN108927801B (zh) 一种机械臂末端姿态调整方法及装置
CN110909644A (zh) 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统
CN109278044A (zh) 一种手眼标定及坐标转换方法
JP2019155556A (ja) ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN114147728B (zh) 通用的机器人眼在手上标定方法和系统
CN112171666A (zh) 视觉机器人的位姿标定方法及装置、视觉机器人、介质
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN114851201A (zh) 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法
Inoue et al. Transfer learning from synthetic to real images using variational autoencoders for robotic applications
CN115625709A (zh) 一种手眼标定方法、装置和计算机设备
CN115256367A (zh) 一种基于双目立体成像的机械臂手眼标定方法
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
CN114494426A (zh) 用于控制机器人来在不同的方位拿起对象的装置和方法
CN114494312A (zh) 训练从对象图像中识别对象的对象拓扑的机器学习模型的设备和方法
DE102020208211A1 (de) Vorrichtungen und Verfahren zum Trainieren eines maschinellen Lernmodells zum Erkennen einer Objekttopologie eines Objekts aus einem Bild des Objekts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination