CN114347027B - 一种3d相机相对于机械臂的位姿标定方法 - Google Patents

一种3d相机相对于机械臂的位姿标定方法 Download PDF

Info

Publication number
CN114347027B
CN114347027B CN202210016958.4A CN202210016958A CN114347027B CN 114347027 B CN114347027 B CN 114347027B CN 202210016958 A CN202210016958 A CN 202210016958A CN 114347027 B CN114347027 B CN 114347027B
Authority
CN
China
Prior art keywords
calibration
mechanical arm
relative
camera
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210016958.4A
Other languages
English (en)
Other versions
CN114347027A (zh
Inventor
张笑天
侯利召
郑涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiansheng Zhixiang Changzhou Robot Technology Co ltd
Original Assignee
Tiansheng Zhixiang Changzhou Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiansheng Zhixiang Changzhou Robot Technology Co ltd filed Critical Tiansheng Zhixiang Changzhou Robot Technology Co ltd
Priority to CN202210016958.4A priority Critical patent/CN114347027B/zh
Publication of CN114347027A publication Critical patent/CN114347027A/zh
Application granted granted Critical
Publication of CN114347027B publication Critical patent/CN114347027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种3D相机相对于机械臂的位姿标定方法，该方法包括：采用球形物体作为标定物，该标定球相对于机械臂基座静止不动，机械臂带动相机在不同位置对其进行拍照；根据相机获得的三维点云数据，确定标定球的球心位置；以每次拍照的球心位置相对于第一次拍照的球心位置的偏差建立目标函数，将标定问题转化为优化问题；采用指数坐标对相对位姿的姿态进行描述，采用有限差分法求解目标函数的梯度，然后采用梯度下降方法，到达目标函数的最小值，从而实现对相对位姿的标定。本发明提供的标定方法，能始终保证在标定过程中姿态矩阵是特殊正交群，有效避免了标定方法带来的误差；描述相对位姿的参数数量的最少且完备的。

Description

一种3D相机相对于机械臂的位姿标定方法
技术领域
本发明涉及3D视觉技术领域，具体为一种3D相机相对于机械臂的位姿标定方法。
背景技术
相比于2D视觉，3D视觉能获取更多的信息，特别是具备识别物体深度信息的能力，因此在机械臂应用中得到了越来越多的应用。3D相机获得的物体的位置信息是相对于相机坐标系的，为了将识别的位置信息用于机械臂的运动规划中，则需要将相机坐标系中的坐标转换到机器人的基坐标系中。为此，需要标定出3D相机相对于机械臂的位姿。
3D视觉获取的是三维位置信息，因此对于姿态的要求较高。相关文献(201810442834.6，202110689530.1)提出了一种基于标准球的机器人手眼标定方法，但是他们将描述姿态矩阵的9个变量全部作为独立的未知量，然后通过求解超定方程的方法来进行标定。这种方法一是显著提高了标定变量的数量，实际上，姿态矩阵只需要3个独立变量就可以进行表达；二是求解超定方程需要计算大型矩阵的逆，计算时间长；第三则是破坏了姿态矩阵是单位正交阵的性质，在标定环节引入了额外的误差。
为了解决上述问题，本发明提供了一种新的姿态矩阵标定方法。该方法采用旋量坐标来表达姿态矩阵，在标定过程中始终保证姿态矩阵是单位正交的；通过迭代优化方法进行标定，降低了计算量，提高了收敛速度。
发明内容
基于此，本发明的目的是提供一种3D相机相对于机械臂的位姿标定方法，以解决的技术问题。
为实现上述目的，本发明提供如下技术方案：一种3D相机相对于机械臂的位姿标定方法，包括以下步骤：
(1)将标定球放在机械臂的工作空间内，标定过程中保持静止不动，机械臂带动相机在不同位置对标定球进行拍照，获得标定球的多组点云数据以及机械臂对应的末端位姿
Figure GDA0003912743710000021
(2)根据所述点云数据，采用随机采样一致算法，对球面进行拟合，获得球心在相机坐标系中的位置
Figure GDA0003912743710000022
(3)将球心坐标
Figure GDA0003912743710000023
变换到机械臂的基坐标系下，得到球心坐标在基坐标系中的表达
Figure GDA0003912743710000024
相对于第一次拍照的位置偏差建立目标函数；
(4)采用梯度下降方法，对所求的相机相对于机械臂末端的位姿矩阵
Figure GDA00039127437100000216
进行迭代，实现相对位姿的标定。
上述步骤(3)中球心位置在基坐标系中的表达
Figure GDA0003912743710000025
和在相机坐标系中的表达
Figure GDA0003912743710000026
之间的关系为：
Figure GDA0003912743710000027
由于标定球相对于基坐标系保持静止不动，则每次拍照对应的
Figure GDA0003912743710000028
是一样的，因此，建立目标函数：
Figure GDA0003912743710000029
式中，N为总的拍照次数，
Figure GDA00039127437100000210
为第n次拍照时标定球球心坐标在基坐标系中的表达，
Figure GDA00039127437100000211
为第1次拍照时标定球球心坐标在基坐标系中的表达；当目标函数优化到最小时，则说明
Figure GDA00039127437100000212
得到了准确的估计；
上述步骤(4)中采用指数坐标ζ描述姿态，从而保证在标定过程中姿态矩阵为始终单位正交阵，该指数坐标使用3个参数来描述物体的姿态，即有ζ＝[ζx ζy ζz]T，其与姿态矩阵R的对应关系为：
Figure GDA00039127437100000213
式中，I是3×3的单位矩阵，
Figure GDA00039127437100000214
将ζ转变为反对称矩阵
Figure GDA00039127437100000215
结合位置参数p＝[px py pz]T，则所求的相机相对于机械臂末端的位姿矩阵
Figure GDA0003912743710000031
通过6个变量来表达，
ξ＝[ζT pT]T＝[ζx ζy ζz px py pz]T
采用有限差分方法，计算目标函数fobj对ξ的梯度
Figure GDA0003912743710000032
每个元素通过下式计算
Figure GDA0003912743710000033
式中，ξi表示参数列向量ξ的第i个元素；h是一个标量，表示在第i个元素ξi上微小的变化；ei表示第i个元素为1的单位列向量，
根据梯度下降法，ξ的更新方程为
Figure GDA0003912743710000034
式中，ξ(k)、ξ(k+1)分别表示第k和k+1次迭代时参数列向量ξ的值；α表示学习速率，决定了收敛的快慢；当ξ相邻迭代次数的差异σ＝||ξ(k+1)-ξ(k)||小于一定范围时，标定算法收敛，实现相对位姿的标定。
综上所述，本发明主要具有以下有益效果：
1、本发明实施简单，仅需要采用一个标准的球体，如台球，即可完成3D 相机的标定，不需要加工满足严格约束关系的标定物；
2、本发明标定过程中始终保证姿态矩阵是单位正交阵，能有效消除标定方法带来的原理上的误差；
3、本发明计算量小，收敛速度快。要标定的变量为6个，是最小且完备的；采用梯度下降优化方法，不需要求解大型矩阵的逆。
附图说明
图1为本发明的机器人3D手眼标定方法的流程示意图；
图2为本发明的机器人3D手眼标定方法的步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
下面根据本发明的整体结构，对其实施例进行说明。
一种3D相机相对于机械臂的位姿标定方法，如图1所示，本发明提供的标定方法通过以下步骤实现：
(1)将标定球放在机械臂的工作空间内，标定过程中保持静止不动，机械臂带动相机在不同位置对标定球进行拍照，获得N组标定球的点云数据 {cpi}(n)(n＝1，…，N)以及对应的机械臂末端位姿
Figure GDA0003912743710000041
(2)根据所述点云数据，采用随机采样一致算法(RANSAC算法)，对球面进行拟合，获得球心在相机坐标系中的位置
Figure GDA0003912743710000042
通过点云数据拟合的方式计算球心坐标能抑制相机噪声带来的误差；
(3)将球心坐标
Figure GDA0003912743710000043
变换到机械臂的基坐标系下，得到球心坐标在基坐标系中的表达
Figure GDA0003912743710000044
以
Figure GDA0003912743710000045
相对于第一次拍照的位置偏差建立目标函数；
(4)采用梯度下降方法，对所求的相机相对于机械臂末端的位姿矩阵
Figure GDA0003912743710000046
进行迭代，实现相机位姿的标定。
上述步骤(3)中球心位置在基坐标系中的表达
Figure GDA0003912743710000047
和在相机坐标系中的表达
Figure GDA0003912743710000048
之间的关系为：
Figure GDA0003912743710000049
由于标定球相对于基坐标系保持静止不动，则每次拍照对应的
Figure GDA00039127437100000414
是一样的，因此，建立目标函数：
Figure GDA00039127437100000410
式中，N为总的拍照次数，
Figure GDA00039127437100000411
为第n次拍照时标定球球心坐标在基坐标系中的表达，
Figure GDA00039127437100000412
为第1次拍照时标定球球心坐标在基坐标系中的表达；当目标函数优化到最小时，则说明
Figure GDA00039127437100000413
得到了准确的估计；
上述步骤(4)中采用指数坐标ζ描述姿态，从而保证在标定过程中姿态矩阵为始终单位正交阵，该指数坐标使用3个参数来描述物体的姿态，即有ζ＝[ζx ζy ζz]T，其与姿态矩阵R的对应关系为：
Figure GDA0003912743710000051
式中，I是3×3的单位矩阵，
Figure GDA0003912743710000052
将ζ转变为反对称矩阵
Figure GDA0003912743710000053
结合位置参数p＝[px py pz]T，则所求的相机相对于机械臂末端的位姿矩阵
Figure GDA0003912743710000054
通过6个变量来表达，
ξ＝[ζT pT]T＝[ζx ζy ζz px py pz]T
采用有限差分方法，计算目标函数fobj对ξ的梯度
Figure GDA0003912743710000055
每个元素通过下式计算
Figure GDA0003912743710000056
式中，ξi表示参数列向量ξ的第i个元素；h是一个标量，表示在第i个元素ξi上微小的变化；ei表示第i个元素为1的单位列向量。
根据梯度下降法，ξ的更新方程为
Figure GDA0003912743710000057
式中，ξ(k)、ξ(k+1)分别表示第k和k+1次迭代时参数列向量ξ的值；α表示学习速率，决定了收敛的快慢；当ξ相邻迭代次数的差异σ＝||ξ(k+1)-ξ(k)||小于一定范围时，标定算法收敛，实现相对位姿的标定，目标函数fobj到达最小值，然后由变量ξ即可计算出相对位姿矩阵
Figure GDA00039127437100000512
下面通过一个标定实例对上述方法进行阐述。
所提供的方法的步骤(1)和(2)需要操作实际设备，获取数据后运用 PCL库可以得到
Figure GDA0003912743710000058
在此不做详细说明。假设得到的球心坐标
Figure GDA0003912743710000059
和机械臂末端位姿
Figure GDA00039127437100000510
如下表所示，待标定的相对位姿矩阵
Figure GDA00039127437100000511
为[1 1 1 100 100 100]T。
Figure GDA0003912743710000061
采用本发明提供的标定算法，得到的相对位姿为
[0.998 0.995 1.002 99.265 99.8 100.9]T
与实际相对位姿矩阵相比，姿态误差为0.3°，位置误差为1.2mm，能够满足实际使用的需求。另外，通过调整学习速率α，可以进一步提高标定精度。
尽管已经示出和描述了本发明的实施例，但本具体实施例仅仅是对本发明的解释，其并不是对发明 的限制，描述的具体特征、结构、材料或者特点可以在任何一个或多个实施例或示例中以合适的方式结合，本领域技术人员在阅读完本说明书后可在不脱离本发明的原理和宗旨的情况下，可以根据需要对实施例做出没有创造性贡献的修改、替换和变型等，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (1)

1.一种3D相机相对于机械臂的位姿标定方法，其特征在于，所述方法的步骤包括：
(1)将标定球放在机械臂的工作空间内，标定过程中保持静止不动，机械臂带动相机在不同位置对标定球进行拍照，获得标定球的多组点云数据以及机械臂对应的末端位姿
Figure FDA00039127437000000115
(2)根据所述点云数据，采用随机采样一致算法，对球面进行拟合，获得球心在相机坐标系中的位置
Figure FDA0003912743700000011
(3)将球心坐标
Figure FDA0003912743700000012
变换到机械臂的基坐标系下，得到球心坐标在基坐标系中的表达
Figure FDA0003912743700000013
以
Figure FDA0003912743700000014
相对于第一次拍照的位置偏差建立目标函数；
(4)采用梯度下降方法，对所求的相机相对于机械臂末端的位姿矩阵
Figure FDA00039127437000000113
进行迭代，实现相对位姿的标定；
上述步骤(3)中球心位置在基坐标系中的表达
Figure FDA00039127437000000112
和在相机坐标系中的表达
Figure FDA0003912743700000015
之间的关系为：
Figure FDA0003912743700000016
由于标定球相对于基坐标系保持静止不动，则每次拍照对应的
Figure FDA0003912743700000017
是一样的，因此，建立目标函数：
Figure FDA0003912743700000018
式中，N为总的拍照次数，
Figure FDA0003912743700000019
为第n次拍照时标定球球心坐标在基坐标系中的表达，
Figure FDA00039127437000000110
为第1次拍照时标定球球心坐标在基坐标系中的表达；当目标函数优化到最小时，则说明
Figure FDA00039127437000000114
得到了准确的估计；
上述步骤(4)中采用指数坐标ζ描述姿态，从而保证在标定过程中姿态矩阵为始终单位正交阵，该指数坐标使用3个参数来描述物体的姿态，即有ζ＝[ζx ζy ζz]T，其与姿态矩阵R的对应关系为：
Figure FDA00039127437000000111
式中，I是3×3的单位矩阵，
Figure FDA0003912743700000025
将ζ转变为反对称矩阵
Figure FDA0003912743700000021
结合位置参数p＝[px py pz]T，则所求的相机相对于机械臂末端的位姿矩阵
Figure FDA0003912743700000026
通过6个变量来表达，
ξ＝[ζT pT]T＝[ζx ζy ζz px py pz]T
采用有限差分方法，计算目标函数fobj对ξ的梯度
Figure FDA0003912743700000022
每个元素通过下式计算
Figure FDA0003912743700000023
式中，ξi表示参数列向量ξ的第i个元素；h是一个标量，表示在第i个元素ξi上微小的变化；ei表示第i个元素为1的单位列向量，根据梯度下降法，ξ的更新方程为
Figure FDA0003912743700000024
式中，ξ(k)、ξ(k+1)分别表示第k和k+1次迭代时参数列向量ξ的值；α表示学习速率，决定了收敛的快慢；当ξ相邻迭代次数的差异σ＝||ξ(k+1)-ξ(k)||小于一定范围时，标定算法收敛，实现相对位姿的标定。
CN202210016958.4A 2022-01-08 2022-01-08 一种3d相机相对于机械臂的位姿标定方法 Active CN114347027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210016958.4A CN114347027B (zh) 2022-01-08 2022-01-08 一种3d相机相对于机械臂的位姿标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210016958.4A CN114347027B (zh) 2022-01-08 2022-01-08 一种3d相机相对于机械臂的位姿标定方法

Publications (2)

Publication Number Publication Date
CN114347027A CN114347027A (zh) 2022-04-15
CN114347027B true CN114347027B (zh) 2022-12-13

Family

ID=81107702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210016958.4A Active CN114347027B (zh) 2022-01-08 2022-01-08 一种3d相机相对于机械臂的位姿标定方法

Country Status (1)

Country Link
CN (1) CN114347027B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115229805B (zh) * 2022-09-21 2022-12-09 北京壹点灵动科技有限公司 手术机器人手眼标定方法、装置、存储介质及处理器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100338433C (zh) * 2005-03-10 2007-09-19 新奥博为技术有限公司 激光扫描器与机器人的相对位置的标定方法
CN104316083B (zh) * 2014-11-15 2017-09-12 中国科学院光电研究院 一种虚拟多球体球心定位的tof深度相机三维坐标标定装置和方法
CN108582076A (zh) * 2018-05-10 2018-09-28 武汉库柏特科技有限公司 一种基于标准球的机器人手眼标定方法及装置
CN110243285A (zh) * 2019-06-26 2019-09-17 华中科技大学 一种用于视觉测量系统的标定装置
CN111002312A (zh) * 2019-12-18 2020-04-14 江苏集萃微纳自动化系统与装备技术研究所有限公司 基于标定球的工业机器人手眼标定方法
CN111546328B (zh) * 2020-04-02 2022-06-24 天津大学 基于三维视觉测量的手眼标定方法
CN113334380A (zh) * 2021-05-31 2021-09-03 衢州学院 基于双目视觉的机器人视觉标定方法、控制系统及装置
CN113362396B (zh) * 2021-06-21 2024-03-26 上海仙工智能科技有限公司 一种移动机器人3d手眼标定方法及装置
CN113386136B (zh) * 2021-06-30 2022-05-20 华中科技大学 一种基于标准球阵目标估计的机器人位姿矫正方法及系统

Also Published As

Publication number Publication date
CN114347027A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
CN109153125B (zh) 用于定向工业机器人的方法和工业机器人
JP6591507B2 (ja) 同時運動学およびハンドアイ較正
CN110695993B (zh) 一种柔性机械臂同步测量方法、系统及装置
CN109877840B (zh) 一种基于相机光轴约束的双机械臂标定方法
CN113386136B (zh) 一种基于标准球阵目标估计的机器人位姿矫正方法及系统
CN109079787B (zh) 基于神经网络的非刚性机器人自动手眼标定方法
CN110919658A (zh) 一种基于视觉和多坐标系闭环转换的机器人标定方法
Xu et al. Adaptive visual servoing for an underwater soft robot considering refraction effects
CN112767493B (zh) Stewart平台运动学参数的机器视觉标定方法
CN114347027B (zh) 一种3d相机相对于机械臂的位姿标定方法
CN112067337B (zh) 基于标准球双目机器人的快速手眼标定装置及标定方法
CN108089441B (zh) 空间拍机次镜六自由度精密调整机构标定算法和存储介质
Wang et al. A vision-based fully-automatic calibration method for hand-eye serial robot
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN106996769B (zh) 一种无需相机标定的主动式位姿快速重定位方法
Hofer et al. From curve design algorithms to the design of rigid body motions
Dinc et al. Mirage: an O (n) time analytical solution to 3D camera pose estimation with multi-camera support
CN117017495A (zh) 基于ckf的手术机器人高精度自动手眼标定方法及系统
CN112489133A (zh) 手眼系统的标定方法、装置及设备
CN115446836B (zh) 一种基于多种图像特征信息混合的视觉伺服方法
CN109785393B (zh) 一种基于平面运动约束的相机自标定方法
CN112991445B (zh) 模型训练方法、姿态预测方法、装置、设备及存储介质
CN114758011B (zh) 融合离线标定结果的变焦相机在线标定方法
CN115813556A (zh) 手术机器人标定方法、装置、手术机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant