CN110834333B - 一种机器人手眼标定方法及存储介质 - Google Patents

一种机器人手眼标定方法及存储介质 Download PDF

Info

Publication number
CN110834333B
CN110834333B CN201911114059.2A CN201911114059A CN110834333B CN 110834333 B CN110834333 B CN 110834333B CN 201911114059 A CN201911114059 A CN 201911114059A CN 110834333 B CN110834333 B CN 110834333B
Authority
CN
China
Prior art keywords
coordinate system
robot
camera
dimensional
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911114059.2A
Other languages
English (en)
Other versions
CN110834333A (zh
Inventor
杨跞
左方睿
李兵
刘一帆
许楠
李法设
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siasun Co Ltd
Original Assignee
Siasun Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siasun Co Ltd filed Critical Siasun Co Ltd
Priority to CN201911114059.2A priority Critical patent/CN110834333B/zh
Publication of CN110834333A publication Critical patent/CN110834333A/zh
Application granted granted Critical
Publication of CN110834333B publication Critical patent/CN110834333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本申请提供了一种机器人手眼标定方法及存储介质，方法包括：设置机器人和深度相机，机器人的末端连接有执行器，执行器上设置标定标记；深度相机正对执行器上设置的标定标记；机器人的始端底面处建立机器人基坐标系，机器人的末端建立TCP坐标系；改变机器人的姿态，使标定标记在深度相机的视野内；获取TCP坐标系在机器人基坐标系中的位姿；获取深度相机的二维图像及深度图像，在二维图像中定位标定标记的中心，并在深度图像中获取该中心在相机坐标系中的三维坐标；获取至少五组三维坐标和位姿；根据获取的三维坐标和位姿，确定该中心的三维坐标从相机坐标系到机器人基坐标系的线性方程组，迭代求解，实现对机器人与深度相机的手眼关系标定。

Description

一种机器人手眼标定方法及存储介质
技术领域
本申请属于机器人标定领域，具体涉及一种机器人手眼标定方法及存储介质。
背景技术
随着智能制造的深入推进，机器人作为其中的重要一环，为其赋予感知智能势在必行。视觉作为获取环境信息的主要途径之一，引导机器人感知定位效果显著。视觉引导的首要问题就是要解决坐标系问题，即手眼标定，具体就是标定机器人坐标系与相机坐标系之间的坐标变换关系。
传统的手眼标定方法通过深度相机测量机器人多组不同姿态下标记的位姿，根据对应时刻机器人末端位姿和标记在相机坐标系下的位姿，建立位姿变换等式方程组进行求解计算。其中，如何准确测量标记位姿中的朝向十分困难，一般通过平面标定板中的多个角点建立约束来计算标记位姿，标定过程非常繁琐。
目前，还有的手眼标定方法先通过将机器人末端平移至不同位置，3D深度相机拟合测量标记球的位置；再在末端空间位置不变的情况下旋转机器人姿态，3D深度相机测量标记球的位置，通过两次计算得到3D深度相机到机器人坐标系的变换关系。虽然这种手眼标定方法能够实现自动化标定，但是其不仅引入了标记球拟合误差，而且在变姿态下机器人末端的同一位置无法准确保证，标定过程较慢。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种机器人手眼标定方法及存储介质。
根据本申请实施例的第一方面，本申请提供了一种机器人手眼标定方法，其包括以下步骤：
设置机器人和深度相机，其中，机器人的末端通过法兰连接有执行器，执行器上设置有标定标记；深度相机设置在支架上，其正对执行器上设置的标定标记；机器人的始端底面处建立有机器人基坐标系，机器人的末端建立有TCP坐标系；
改变机器人的姿态，使机器人末端的标定标记在深度相机的视野内；
获取机器人末端TCP坐标系在机器人基坐标系中的位姿；
获取深度相机的二维图像及深度图像，在二维图像中定位标定标记的中心，并在深度图像中获取标定标记的中心在相机坐标系中的三维坐标；
再次改变机器人的姿态，获取至少五组三维坐标和位姿；
根据获取的三维坐标和位姿，确定标定标记的中心的三维坐标从相机坐标系到机器人基坐标系的线性方程组，迭代求解，以确定相机坐标系在机器人基坐标系中的齐次变换矩阵，实现对机器人与深度相机的手眼关系标定。
上述机器人手眼标定方法还包括以下步骤：
根据标定的手眼关系，将深度相机中任意目标点的位姿转换到机器人基坐标系下，以供机器人使用。
上述机器人手眼标定方法中，所述在深度图像中获取标定标记的中心在相机坐标系中的三维坐标的具体过程为：
分别获取深度相机的二维图像和深度图像；
在二维图像中定位标定标记的中心的像素坐标；
根据像素坐标得到标定标记的中心在相机坐标系中的三维坐标的坐标值。
进一步地，所述根据像素坐标得到标定标记的中心在相机坐标系中的三维坐标的坐标值的具体过程为：
获取像素坐标(row,col)在深度图像中在相机坐标系的z轴方向的坐标值pCz；
根据像素坐标(row,col)及其在深度图像中在相机坐标系的z轴方向的坐标值pCz，计算得到像素坐标(row,col)在深度图像中在相机坐标系的x轴方向的坐标值pCx和y轴方向的坐标值pCy，其中，
Figure BDA0002273566180000031
式中，cxcam为深度相机的光轴在二维图像下的像素坐标系中x方向的偏移量，cycam为深度相机的光轴在二维图像下的像素坐标系中y方向的偏移量；fxcam为深度相机在相机坐标系的x方向的焦距，其中，二维图像的x方向与相机坐标系的x方向相同；fycam为深度相机在相机坐标系的y方向的焦距，其中，二维图像的y方向与相机坐标系的y方向相同；
根据坐标值pCx和pCy、pCz得到标定标记的中心在相机坐标系中的三维坐标PC的坐标值为(pCx，pCy，pCz)。
上述机器人手眼标定方法中，所述实现对机器人与深度相机的手眼关系标定的具体过程为：
根据等式
Figure BDA0002273566180000032
构建3n×15的线性方程组，其中，
Figure BDA0002273566180000033
和
Figure BDA0002273566180000034
均为3*3的矩阵，
Figure BDA0002273566180000035
PH和PC均为3维列向量，未知量
Figure BDA0002273566180000036
和PH均包含15个相同的未知数；
Figure BDA0002273566180000037
和
Figure BDA0002273566180000038
均为相机坐标系在机器人基坐标系中的齐次变换矩阵
Figure BDA0002273566180000039
中的元素矩阵，PC表示标定标记的中心在相机坐标系中的三维坐标，
Figure BDA00022735661800000310
和
Figure BDA00022735661800000311
均为位姿
Figure BDA00022735661800000312
中的元素矩阵，PH表示标定标记的中心在机器人末端TCP坐标系下的坐标；
根据最小二乘法求得构建的3n×15的线性方程组的初值
Figure BDA00022735661800000313
PH,0；
根据等式
Figure BDA00022735661800000314
得到误差项
Figure BDA00022735661800000315
Figure BDA00022735661800000316
对误差项进行一阶近似，得到
Figure BDA00022735661800000317
式中，
Figure BDA00022735661800000318
Figure BDA0002273566180000041
w＝[wx,wy,wz]T，[w]×表示对向量w进行转反对称矩阵操作，[PC]×表示对向量PC进行转反对称矩阵操作，δw表示向量w的梯度，
Figure BDA0002273566180000042
表示向量
Figure BDA0002273566180000043
的梯度，δPH表示向量PH的梯度；
对误差项的一阶近似f0+δf进行转换，令f0+δf＝f0+Jy，通过循环迭代，得到所要求的手眼关系，其具体过程为：
S51、对y、
Figure BDA0002273566180000044
和PH进行初始化，令
Figure BDA0002273566180000045
||y||＝∞，
Figure BDA0002273566180000046
PH＝PH,0；
S52、判断||y||＜10-10是否成立，如果是，则进入步骤S56，否则执行步骤S53；
S53、令
Figure BDA0002273566180000047
Figure BDA0002273566180000048
得到J1,…,Jn以及f1,…,fn；式中，I表示单位矩阵，i＝1,…,n；
S54、令f0+Jy＝0，得到y＝-(JTJ)-1JTf0，其中，
Figure BDA0002273566180000049
Figure BDA00022735661800000410
S55：通过
Figure BDA00022735661800000411
得到更新后的δw,
Figure BDA00022735661800000412
δPH，进而得到更新后的
Figure BDA00022735661800000413
PH＝PH+δPH，返回至步骤S52继续循环；
S56、
Figure BDA00022735661800000414
为所要求得的手眼关系。
根据本申请实施例的第二方面，本申请还提供了一种存储介质，包含计算机执行指令，所述计算机执行指令经由数据处理设备调用时，执行上述任一项所述的机器人手眼标定方法。
根据本申请的上述具体实施方式可知，至少具有以下有益效果：本申请机器人手眼标定方法通过对齐后的二维图像和深度图像，直接获取标定标记在相机坐标系下三维坐标，无需获取姿态数据，数据的获取方式简单，很容易实现自动化标定；通过计算相机坐标系在机器人基坐标系中的齐次变换矩阵元素矩阵的初值和标定标记的中心在机器人末端TCP坐标系下的坐标初值，并进行迭代优化，能够显著提高标定精度和标定速度。
应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。
附图说明
下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。
图1为本申请具体实施方式提供的机器人与深度相机的相对位置关系示意图。
图2为本申请具体实施方式提供的一种机器人手眼标定方法中坐标系变换关系示意图。
图3为本申请具体实施方式提供的一种机器人手眼标定方法中标定标记的结构示意图。
图4为本申请具体实施方式提供的一种机器人手眼标定方法的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。
本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。
某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。
如图1和图2所示，机器人1的末端通过法兰2连接有执行器3，执行器3上设置有标定标记4。机器人的始端底面处建立有机器人基坐标系OBXBYBZB。机器人的末端建立有TCP(Tool Center Point，工具中心点)坐标系OHXHYHZH。
深度相机5设置在支架6上，其正对执行器3上设置的标定标记4，在深度相机5处建立有相机坐标系OCXCYCZC。其中，标定标记4的形式不限，例如，二维QR码、DM码、ArUco码等均可，其中对于标定标记4的识别和定位可以通过开源工具实现，例如Zxing。如图3所示，给出了标定标记的一种结构形式，其包括一正方形外框，正方形外框中设置有一黑色圆环，黑色圆环与正方形外框同心设置。
如图4所示，基于以上设置的机器人1和深度相机5，本申请提供的机器人手眼标定方法包括以下步骤：
S1、改变机器人1的姿态，使得机器人1末端的标定标记4在深度相机5的视野内。
S2、获取机器人1末端TCP坐标系OHXHYHZH在机器人基坐标系OBXBYBZB中的位姿
Figure BDA0002273566180000061
S3、获取深度相机5的二维图像及深度图像，在二维图像中定位标定标记4的中心，并在深度图像中获取标定标记4的中心在相机坐标系中的三维坐标PC，其具体过程为：
S31、分别获取深度相机5的二维图像和深度图像。
S32、在二维图像中定位标定标记4的中心的像素坐标(row,col)。
S33、根据像素坐标(row,col)得到标定标记4的中心在相机坐标系中的三维坐标PC的坐标值，其具体过程为：
获取像素坐标(row,col)在深度图像中在相机坐标系的z轴方向的坐标值pCz。
根据像素坐标(row,col)及其在深度图像中在相机坐标系的z轴方向的坐标值pCz，计算得到像素坐标(row,col)在深度图像中在相机坐标系的x轴方向的坐标值pCx和y轴方向的坐标值pCy，其中，
Figure BDA0002273566180000071
式(1)中，cxcam为深度相机5的光轴在二维图像下的像素坐标系中x方向的偏移量，cycam为深度相机5的光轴在二维图像下的像素坐标系中y方向的偏移量；fxcam为深度相机5在相机坐标系的x方向的焦距，其中，二维图像的x方向与相机坐标系的x方向相同；fycam为深度相机5在相机坐标系的y方向的焦距，其中，二维图像的y方向与相机坐标系的y方向相同。
根据坐标值pCx和pCy、pCz得到标定标记4的中心在相机坐标系中的三维坐标PC的坐标值为(pCx，pCy，pCz)。
S4、重复步骤S1～S3，获取n组三维坐标PC,i和位姿
Figure BDA0002273566180000072
其中，i＝1～n，n≥5。
S5、根据获取的n组三维坐标和位姿，确定标定标记4的中心的三维坐标从相机坐标系到机器人基坐标系的线性方程组，迭代求解，以确定相机坐标系在机器人基坐标系中的齐次变换矩阵
Figure BDA0002273566180000073
实现对机器人1与深度相机5的手眼关系标定，其具体过程为：
已知n组位姿数据
Figure BDA0002273566180000075
和三维坐标数据PC,i(0≤i＜n,n≥5)，求相机坐标系在机器人基坐标系中的齐次变换矩阵
Figure BDA0002273566180000074
和标定标记4的中心在机器人末端TCP坐标系OHXHYHZH下的坐标PH，且存在以下等式：
Figure BDA0002273566180000081
由于
Figure BDA0002273566180000082
和
Figure BDA0002273566180000083
均为3*3的矩阵，
Figure BDA0002273566180000084
PH和PC均为3维列向量，未知量
Figure BDA0002273566180000085
和PH均包含15个相同的未知数，等式(2)的左右两边展开后都是3维列向量，对应元素相等，即一组数据构成3个方程，n组数据构成3n个15维方程组，因此可以根据等式(2)构建3n×15的线性方程组。
根据最小二乘法求得构建的3n×15的线性方程组的初值
Figure BDA0002273566180000086
PH,0。
根据等式(2)，得到误差项
Figure BDA0002273566180000087
Figure BDA0002273566180000088
计算误差项的目的是通过迭代不断减少该误差项，使该误差项逼近其最优解
Figure BDA0002273566180000089
将式(3)表示的误差项作为目标函数，当误差项最小时，计算得到
Figure BDA00022735661800000810
和PH的最优解，其具体过程为：
对误差项进行一阶近似，得到
Figure BDA00022735661800000811
式(4)中，
Figure BDA00022735661800000812
该式为旋转矩阵与指数积转换公式；
Figure BDA00022735661800000813
w＝[wx,wy,wz]T，[w]×表示对向量w进行转反对称矩阵操作，[PC]×表示对向量PC进行转反对称矩阵操作，δw表示向量w的梯度，
Figure BDA00022735661800000814
表示向量
Figure BDA00022735661800000815
的梯度，δPH表示向量PH的梯度。
对误差项的一阶近似f0+δf进行转换，令f0+δf＝f0+Jy，通过循环迭代，得到所要求的手眼关系，其具体过程为：
S51、对y、
Figure BDA00022735661800000816
和PH进行初始化，即令
Figure BDA00022735661800000817
||y||＝∞，
Figure BDA0002273566180000091
PH＝PH,0。
S52、判断||y||＜10-10是否成立，如果是，则进入步骤S56，否则执行步骤S53。
S53、令
Figure BDA0002273566180000092
Figure BDA0002273566180000093
通过式(5)和(6)得到J1,…,Jn以及f1,…,fn。式(5)中，I表示单位矩阵。式(5)和式(6)中，i＝1,…,n。
S54、令f0+Jy＝0，得到y＝-(JTJ)-1JTf0，其中，
Figure BDA0002273566180000094
Figure BDA0002273566180000095
S55、通过
Figure BDA0002273566180000096
得到更新后的δw,
Figure BDA0002273566180000097
δPH，进而得到更新后的
Figure BDA0002273566180000098
PH＝PH+δPH，返回步骤S52继续循环。
S56、
Figure BDA0002273566180000099
即为所要求得的手眼关系。
通过得到的手眼关系，将深度相机5中任意目标点的位姿转换到机器人基坐标系下供机器人1使用，例如，供机器人抓取目标物，即
Figure BDA00022735661800000910
其中，PB表示深度相机5中任意目标点在机器人基坐标系下的位姿。
本申请机器人手眼标定方法通过对齐后的二维图像和深度图像，直接获取标定标记4在相机坐标系下三维坐标，无需获取姿态数据，数据的获取方式简单，很容易实现自动化标定。通过计算初值
Figure BDA00022735661800000911
PH,0以及进行迭代优化，能够显著提高计算精度和标定速度。
本申请还提供了一种包含计算机执行指令的存储介质，所述计算机执行指令经由数据处理设备调用时，执行如上所述的机器人手眼标定方法。
上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施例也可为在数据信号处理器(Digital Signal Processor，DSP)中执行上述方法的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array，FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
以上所述仅为本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。

Claims (5)

1.一种机器人手眼标定方法，其特征在于，包括以下步骤：
设置机器人和深度相机，其中，机器人的末端通过法兰连接有执行器，执行器上设置有标定标记；深度相机设置在支架上，其正对执行器上设置的标定标记；机器人的始端底面处建立有机器人基坐标系，机器人的末端建立有TCP坐标系；
改变机器人的姿态，使机器人末端的标定标记在深度相机的视野内；
获取机器人末端TCP坐标系在机器人基坐标系中的位姿；
获取深度相机的二维图像及深度图像，在二维图像中定位标定标记的中心，并在深度图像中获取标定标记的中心在相机坐标系中的三维坐标；
再次改变机器人的姿态，获取至少五组三维坐标和位姿；
根据获取的三维坐标和位姿，确定标定标记的中心的三维坐标从相机坐标系到机器人基坐标系的线性方程组，迭代求解，以确定相机坐标系在机器人基坐标系中的齐次变换矩阵，实现对机器人与深度相机的手眼关系标定；
所述实现对机器人与深度相机的手眼关系标定的具体过程为：
根据等式
Figure FDA0003232342370000011
构建3n×15的线性方程组，其中，
Figure FDA0003232342370000012
和
Figure FDA0003232342370000013
均为3*3的矩阵，
Figure FDA00032323423700000116
和PC均为3维列向量，未知量
Figure FDA0003232342370000014
和PH共包含15个未知数或每组的未知量
Figure FDA0003232342370000015
和PH共包括15个相同的未知数；
Figure FDA0003232342370000016
和
Figure FDA0003232342370000017
均为相机坐标系在机器人基坐标系中的齐次变换矩阵
Figure FDA0003232342370000018
中的元素矩阵，PC表示标定标记的中心在相机坐标系中的三维坐标，
Figure FDA0003232342370000019
和
Figure FDA00032323423700000110
均为位姿
Figure FDA00032323423700000111
中的元素矩阵，PH表示标定标记的中心在机器人末端TCP坐标系下的坐标；
根据最小二乘法求得构建的3n×15的线性方程组的初值
Figure FDA00032323423700000112
根据等式
Figure FDA00032323423700000113
得到误差项
Figure FDA00032323423700000114
Figure FDA00032323423700000115
对误差项进行一阶近似，得到
Figure FDA0003232342370000021
式中，
Figure FDA0003232342370000022
Figure FDA0003232342370000023
[w]×表示对向量w进行转反对称矩阵操作，[PC]×表示对向量PC进行转反对称矩阵操作，δw表示向量w的梯度，
Figure FDA0003232342370000024
表示向量
Figure FDA0003232342370000025
的梯度，δPH表示向量PH的梯度；
对误差项的一阶近似f0+δf进行转换，令f0+δf＝f0+Jy，通过循环迭代，得到所要求的手眼关系，其具体过程为：
S51、对y、
Figure FDA0003232342370000026
和PH进行初始化，令
Figure FDA0003232342370000027
Figure FDA0003232342370000028
S52、判断||y||＜10-10是否成立，如果是，则进入步骤S56，否则执行步骤S53；
S53、令
Figure FDA0003232342370000029
Figure FDA00032323423700000210
得到J1,…,Jn以及f1,…,fn；式中，I表示单位矩阵，i＝1,…,n；
S54、令f0+Jy＝0，得到y＝-(JTJ)-1JTf0，其中，
Figure FDA00032323423700000211
Figure FDA00032323423700000212
S55、通过
Figure FDA00032323423700000213
得到更新后的δw,
Figure FDA00032323423700000214
进而得到更新后的
Figure FDA00032323423700000215
PH＝PH+δPH，返回至步骤S52继续循环；
S56、
Figure FDA00032323423700000216
为所要求得的手眼关系。
2.根据权利要求1所述的机器人手眼标定方法，其特征在于，还包括以下步骤：
根据标定的手眼关系，将深度相机中任意目标点的位姿转换到机器人基坐标系下，以供机器人使用。
3.根据权利要求1或2所述的机器人手眼标定方法，其特征在于，所述在深度图像中获取标定标记的中心在相机坐标系中的三维坐标的具体过程为：
分别获取深度相机的二维图像和深度图像；
在二维图像中定位标定标记的中心的像素坐标；
根据像素坐标得到标定标记的中心在相机坐标系中的三维坐标的坐标值。
4.根据权利要求3所述的机器人手眼标定方法，其特征在于，所述根据像素坐标得到标定标记的中心在相机坐标系中的三维坐标的坐标值的具体过程为：
获取像素坐标(row,col)在深度图像中在相机坐标系的z轴方向的坐标值pCz；
根据像素坐标(row,col)及其在深度图像中在相机坐标系的z轴方向的坐标值pCz，计算得到像素坐标(row,col)在深度图像中在相机坐标系的x轴方向的坐标值pCx和y轴方向的坐标值pCy，其中，
Figure FDA0003232342370000031
式中，cxcam为深度相机的光轴在二维图像下的像素坐标系中x方向的偏移量，cycam为深度相机的光轴在二维图像下的像素坐标系中y方向的偏移量；fxcam为深度相机在相机坐标系的x方向的焦距，其中，二维图像的x方向与相机坐标系的x方向相同；fycam为深度相机在相机坐标系的y方向的焦距，其中，二维图像的y方向与相机坐标系的y方向相同；
根据坐标值pCx和pCy、pCz得到标定标记的中心在相机坐标系中的三维坐标PC的坐标值为(pCx，pCy，pCz)。
5.一种存储介质，包含计算机执行指令，其特征在于，所述计算机执行指令经由数据处理设备调用时，执行如权利要求1-4任一项所述的机器人手眼标定方法。
CN201911114059.2A 2019-11-14 2019-11-14 一种机器人手眼标定方法及存储介质 Active CN110834333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911114059.2A CN110834333B (zh) 2019-11-14 2019-11-14 一种机器人手眼标定方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114059.2A CN110834333B (zh) 2019-11-14 2019-11-14 一种机器人手眼标定方法及存储介质

Publications (2)

Publication Number Publication Date
CN110834333A CN110834333A (zh) 2020-02-25
CN110834333B true CN110834333B (zh) 2021-11-02

Family

ID=69576449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114059.2A Active CN110834333B (zh) 2019-11-14 2019-11-14 一种机器人手眼标定方法及存储介质

Country Status (1)

Country Link
CN (1) CN110834333B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111591474B (zh) * 2020-02-28 2021-12-07 上海航天控制技术研究所 一种航天器在轨操作系统对准式手眼标定方法
CN111300484B (zh) * 2020-03-13 2022-10-21 达闼机器人股份有限公司 确定机器人的关节定位误差的方法、机器人及存储介质
CN111710002B (zh) * 2020-05-27 2022-09-16 华中科技大学 一种基于Optitrack系统的相机外参标定方法
CN111557736B (zh) * 2020-06-02 2021-03-12 杭州键嘉机器人有限公司 医疗机器人导航系统中截骨导板的标定方法
CN111633652A (zh) * 2020-06-02 2020-09-08 杜思傲 使用三维定位装置进行机器人坐标系注册方法
CN112107363B (zh) * 2020-08-31 2022-08-02 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
CN112330749B (zh) * 2020-10-22 2024-07-05 深圳众为兴技术股份有限公司 相机安装于机器人手臂上的手眼标定方法及手眼标定装置
CN112258589B (zh) * 2020-11-16 2024-07-02 北京如影智能科技有限公司 一种手眼标定的方法及装置
CN112621711B (zh) * 2020-11-19 2022-11-29 深圳众为兴技术股份有限公司 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN112809668B (zh) * 2020-12-30 2022-08-30 上海媒智科技有限公司 一种机械臂自动手眼标定的方法及系统、终端
CN112700505B (zh) * 2020-12-31 2022-11-22 山东大学 一种基于双目三维跟踪的手眼标定方法、设备及存储介质
CN113208731B (zh) * 2021-04-23 2023-02-10 上海大学 基于双目视觉系统的手术穿刺机器人手眼标定方法
CN113246135B (zh) * 2021-06-03 2021-10-12 季华实验室 机器人手眼标定方法、装置、电子设备及存储介质
CN113643384B (zh) * 2021-10-12 2022-02-08 深圳荣耀智能机器有限公司 坐标系标定方法、自动组装方法及装置
CN114001653B (zh) * 2021-11-01 2024-07-16 亿嘉和科技股份有限公司 一种机器人工具中心点标定方法
CN114310881A (zh) * 2021-12-23 2022-04-12 中国科学院自动化研究所 一种机械臂快换装置的标定方法、系统及电子设备
CN114794667B (zh) * 2022-03-31 2023-04-14 深圳市如本科技有限公司 工具标定方法、系统、装置、电子设备以及可读存储介质
CN114750151B (zh) * 2022-03-31 2023-09-12 歌尔科技有限公司 标定方法、装置、电子设备及计算机可读存储介质
CN114918926B (zh) * 2022-07-22 2022-10-25 杭州柳叶刀机器人有限公司 机械臂视觉配准方法、装置、控制终端及存储介质
CN115721417B (zh) * 2022-09-09 2024-01-30 苏州铸正机器人有限公司 一种手术机器人末端位姿全视野测量装置及方法
CN116051658B (zh) * 2023-03-27 2023-06-23 北京科技大学 基于双目视觉进行目标检测的相机手眼标定方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
CN105045263B (zh) * 2015-07-06 2016-05-18 杭州南江机器人股份有限公司 一种基于Kinect深度相机的机器人自定位方法
CN109474780B (zh) * 2017-09-07 2023-07-25 虹软科技股份有限公司 一种用于图像处理的方法和装置
CN108908399B (zh) * 2018-06-11 2020-07-21 杭州灵西机器人智能科技有限公司 一种基于同心圆环模板的机器人手眼标定方法
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
CN110103217B (zh) * 2019-05-09 2022-07-26 电子科技大学 工业机器人手眼标定方法

Also Published As

Publication number Publication date
CN110834333A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110834333B (zh) 一种机器人手眼标定方法及存储介质
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN110689579A (zh) 基于合作目标的快速单目视觉位姿测量方法及测量系统
CN106457562B (zh) 用于校准机器人的方法和机器人系统
JP4191080B2 (ja) 計測装置
JP5036260B2 (ja) 位置姿勢算出方法及び装置
US20160279800A1 (en) Robot, robot control device, and robotic system
CN108845335A (zh) 一种基于图像和导航信息的无人机地面目标定位方法
CN109781164B (zh) 一种线激光传感器的静态标定方法
CN107765244B (zh) 基于机载双天线InSAR基线测量方法和装置
JP2009042162A (ja) キャリブレーション装置及びその方法
CN114714356A (zh) 基于双目视觉的工业机器人手眼标定误差精确检测方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN111489399B (zh) 一种视觉跟踪组件安装参数标定装置和方法
CN112561886A (zh) 一种基于机器视觉的工件自动分拣方法及系统
CN109754428B (zh) 一种用于水下双目视觉定位误差的测量方法
CN112388635B (zh) 机器人多传感器融合感知与空间定位的方法、系统及装置
CN111538029A (zh) 一种视觉与雷达融合的测量方法及终端
JPH06137840A (ja) 視覚センサの自動キャリブレーション装置
CN110519586B (zh) 一种光学设备标校装置和方法
CN109712198B (zh) 一种高级驾驶辅助系统的标定方法
US10867396B1 (en) Automatic vision sensor orientation
CN110686650A (zh) 一种基于点特征的单目视觉位姿测量方法
CN113781558A (zh) 一种姿态与位置解耦的机器人视觉寻位方法
CN117340879A (zh) 一种基于图优化模型的工业机器人参数辨识方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant