CN118052890A - 一种面向多任务场景的实时手眼标定方法 - Google Patents
一种面向多任务场景的实时手眼标定方法 Download PDFInfo
- Publication number
- CN118052890A CN118052890A CN202410342287.XA CN202410342287A CN118052890A CN 118052890 A CN118052890 A CN 118052890A CN 202410342287 A CN202410342287 A CN 202410342287A CN 118052890 A CN118052890 A CN 118052890A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- robot
- relative
- camera
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 239000011159 matrix material Substances 0.000 claims abstract description 112
- 230000009466 transformation Effects 0.000 claims abstract description 92
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明涉及机器人标定技术领域，具体为一种面向多任务场景的实时手眼标定方法，包括：1、根据机器人末端坐标系相对基座坐标系移动后的位置与位姿，计算出每次移动后基座坐标系相对于机器人末端坐标系的齐次变换矩阵；再分别计算出每次移动后相机坐标系相对于标定图案坐标系的齐次变换矩阵；2、完成机器人基座坐标系与标定图案坐标系关系标定，得到标定图案坐标系相对基座坐标系的齐次变换矩阵；3、完成机器人基座坐标系与相机坐标系实时关系标定，机器人末端坐标系与相机坐标系实时关系标定；4、完成机器人的标定任务。本发明针对传统手眼标定任务中遇到的矩阵计算问题，提供了更简化的流程，显著提高了复杂工程任务中的计算效率和准确性。
Description
技术领域
本发明涉及机器人标定技术领域，特别涉及一种面向多任务场景的实时手眼标定方法。
背景技术
手眼标定是机器人以及计算机视觉领域中的一个关键任务，用于确定机器人手部(手)和视觉系统(眼)之间的准确关系。在传统机器人操作过程中，一般使用"眼在手上"以及的方案进行采样，意味着相机或视觉系统安装在机器人手臂上，通常位于机器人末端执行器的附近。
而这种方式具有很大的局限性，必须控制手臂和相机的相对位置保持不变，而在实际操作过程中，由于机械臂面对的操作场景不一样，有时候可能不需要相机进行引导操作，那么就要把相机固定装置取下来，但是如果下次另外一个操作场景又需要相机系统进行视觉引导的话，又要进行繁琐的手眼标定，十分麻烦，且很费时间。
传统的手眼标定过程中，如果在某一个场景中需要视觉引导中需要进行一次手眼标定，但对于复杂场景或者无视觉引导的机器人操作场景中，需要多次取下相机装置操作，并且到下次需要视觉引导的操作过程中，又要重新进行上述传统的手眼标定十分繁琐，浪费大量时间在固定流程化的标定过程中。
而且最终的视觉引导是要求出相机坐标系与机械臂基座坐标系的位姿关系手眼标定只是求出机械臂末端执行器和相机的位姿关系/>进而还需要左乘一个机器人基座和机器人末端之间的变换位姿/>
如果针对不同的复杂场景，每次都要进行手眼标定，然后还要根据机器人基座和机器人末端之间的变换位姿，才能求出最终的相机坐标系与基座坐标系之间的变换位姿。这个过程十分复杂，费时费力，且大大降低了整个机器人操作过程的效率。
发明内容
本发明提供了一种面向多任务场景的实时手眼标定方法，以解决现有机器人手眼标定方法标定过程复杂，费时费力，且降低了整个机器人操作效率的技术问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种面向多任务场景的实时手眼标定方法，包括如下步骤：
S1、根据机器人末端坐标系相对基座坐标系移动后的位置与位姿，计算出每次移动后基座坐标系相对于机器人末端坐标系的齐次变换矩阵；再分别计算出每次移动后相机坐标系相对于标定图案坐标系的齐次变换矩阵；
S2、依据S1得到的数据完成机器人基座坐标系与标定图案坐标系关系标定，得到标定图案坐标系相对机器人基座坐标系的齐次变换矩阵；
S3、利用S2得到的数据完成机器人基座坐标系与相机坐标系实时关系标定，以及机器人末端坐标系与相机坐标系实时关系标定；
S4、借助S3得到的数据完成机器人的标定任务。
进一步地，所述S1具体包括如下步骤：
S11、首先定义α、β、γ是机器人末端坐标系相对于基座坐标系旋转的欧拉角；且满足以下关系式：
其中，Rx(γ)为初始坐标系围绕x轴旋转γ°后的旋转矩阵；Ry(β)为初始坐标系围绕y轴旋转β°后的旋转矩阵；Rz(α)为初始坐标系围绕z轴旋转α°后的旋转矩阵；γ、β、α均为旋转的角度；
S12、然后利用S11中的关系式求取机器人末端坐标系相对于基座坐标系的旋转矩阵
S13、利用机器人末端坐标系相对于基座坐标系的旋转矩阵以及相对位置坐标t，求得机器人末端坐标系相对于基座坐标系的齐次变换矩阵/>
S14、通过机器人末端坐标系相对于基座坐标系的齐次变换矩阵求得基座坐标系相对于机器人末端坐标系的齐次变换矩阵/>且/>
S15、求取标定图案坐标系相对相机坐标系的旋转矩阵
S16、利用标定图案坐标系相对相机坐标系的旋转矩阵求得标定图案坐标系相对相机坐标系的齐次变换矩阵/>
S17、通过标定图案坐标系相对相机坐标系的齐次变换矩阵求得相机坐标相对标定图案坐标系的齐次变换矩阵/>且/>
进一步地，所述S12中的机器人末端坐标系相对于基座坐标系的旋转矩阵采用公式表示具体如下：
进一步地，所述S13中机器人末端坐标系相对于基座坐标系的齐次变换矩阵采用公式表示具体如下：
进一步地，所述S2具体包括如下步骤：
S21、保持标定图案位置不变，相机相对机器人末端关节位置不变，相机采集标定图案照片，且记录机器人示教器上基座相对于机器人末端的6D位姿；
S22、操控机器人在空间中进行随机多次移动，采集多张不同位姿拍摄的标定图案照片，同时每次移动都要记录且记录机器人示教器上基座相对于机器人末端的6D位姿；
S23、根据每次移动过程中的相机采集图像和S21和S22中记录的数据，计算出每次移动过程中基座坐标系相对于机器人末端坐标系的齐次变换矩阵和相机坐标系相对于标定图案坐标系的齐次变换矩阵，利用最小二乘法进行求解，计算得到标定图案坐标系相对基座坐标系的齐次变换矩阵
进一步地，所述S23具体包括如下步骤：
S231、依据S16得到的数据定义每次移动过程中求得的标定图案坐标系相对相机坐标系的齐次变换矩阵分别为
S232、根据S231中得到的数据以及求解相机坐标系相对标定图案坐标系的齐次变换矩阵分别为/>
S233、依据S13得到的数据以及每次移动过程中记录示教器数据，计算出机器人末端相对基座坐标系的齐次变换矩阵分别为
S234、根据S233中得到的数据以及求得基座坐标系相对于机器人末端坐标系的齐次变换矩阵分别为/>
S235、根据S232以及S234得到的数据以及利用相机坐标系相对于机器人末端坐标系的齐次变换矩阵不变，即/>不变，列出矩阵方程，并采用最小二乘法求解得到标定图案坐标系相对基座坐标系的齐次变换矩阵/>
进一步地，所述S235中的矩阵方程具体如下：
进一步地，所述S3具体包括如下步骤：
S31、再次操控机器人移动一次，相机采集标定图案照片，得到相机坐标系相对于标定图案坐标系的6D位姿，此过程可以改变相机初始位置；
S32、如果相机安装在机器人末端的手臂上，即眼在手上，则进入S33，如果相机安装在机器人末端手臂之外的位置，即眼在手外，则进入S34中；
S33、依据S14和S17可知，并根据S2中求得的标定图案坐标系相对基座坐标系的齐次变换矩阵/>以及相机获取的数据、机器人末端的数据，计算分别得到标定图案坐标系相对相机坐标系的齐次变换矩阵机器人末端坐标系相对基座坐标系的齐次变换矩阵/>并完成机器人末端坐标系与相机坐标系实时关系标定，/>
S34、依据S17可知并根据S2中求得的标定图案坐标系相对基座坐标系的齐次变换矩阵/>以及S31中得到的相机坐标系相对于标定图案坐标系的6D位姿，计算得到标定图案坐标系相对相机坐标系的齐次变换矩阵/>并完成机器人基座坐标系与相机坐标系实时关系标定，/>
进一步地，所述S4具体包括如下步骤：
S41、如果相机安装在机器人末端的手臂上，即眼在手上，则进入S42，如果相机安装在机器人末端手臂之外的位置，即眼在手外，则进入S43中；
S42、依据S33中得到的并根据机器人末端相对基座的关系/>再用相机去获取目标点的三维坐标/>其中求得目标点在基座坐标系下的坐标/> 进而完成整个标定任务；
S43、在相机位置不发生改变的情况下，利用S34中得到的机器人基座坐标系相对相机坐标系的齐次变换矩阵右乘上相机获取目标点的三维坐标/>其中可以求得目标点在基座坐标系下的坐标进而完成整个标定任务。
本发明的有益效果：
1、高效率快速获取手眼相对关系
本发明提出了一种高效的手眼标定方法，其核心在于快速准确地确定手部与视觉系统之间的相对关系。在本发明中，首先确定了已知标定图案与基座坐标系之间的关系。然后结合已知的机器人基座和末端相对关系、相机与标定图案的相对关系就能迅速确定手眼关系。本发明特别针对传统手眼标定任务中遇到的矩阵计算问题，提供了更简化的流程，显著提高了复杂工程任务中的计算效率和准确性。
2、视觉系统安装位置灵活可变
本发明提供的手眼标定方法特别适用于需要频繁调整视觉系统安装位置的机器人操作环境。本发明的核心在于精确计算机器人基座坐标系与标定板坐标系之间的关系，标定板的位置始终保持固定，而相机的位置可以灵活变动，这种变化不会影响最终的标定结果。无论相机的具体安装位置如何变化，本发明都能保证准确、高效的手眼标定，极大地提升了机器人系统的灵活性和适应性。因此，本发明为需要多次手眼标定的复杂机器人应用场景提供了一种理想的技术解决方案。
3、误差更小，标定精度更高
本发明提出的手眼标定方法在提高标定精度方面具有显著优势。它能够同时求解手眼矩阵的旋转矢量rvec和平移矢量tvec，有效避免了传统标定方法中误差的变换和累积。相较于传统方法，它不是分别计算平移矩阵和旋转矩阵，而是直接计算包含这两个分量的齐次变换矩阵。本发明还显著提高了标定的准确性。通过精确地计算出旋转和平移参数，本发明能够实现更高精度的手眼标定。
4、适用的场景多样化
本发明适用于手眼标定的两种不同场景：一种是相机(“眼”)安装在机器人手臂(“手”)上，另一种是相机安装在机器人手臂之外。针对这两种不同情况，我们提出了一个统一的标准化流程。在该流程中，标定图案和机器人基座的位置保持不变，以此来求解它们之间的相对变换关系。这样做的目的是为了在未来的多场景任务中，根据具体任务需要(有时候相机位于机器人手臂上，有时候则位于手臂之外)，能够实现快速且实时的手眼标定。
附图说明
图1为本发明的流程图；
图2为本发明中标定使用的标定图案示意图；
图3为机器人基座坐标系与相机坐标系关系标定(眼在手外)示意图；
图4为机器人末端坐标系与相机坐标系关系标定(眼在手上)示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以通过许多其他不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
参照图1至图4，本申请实施例提供了一种面向多任务场景的实时手眼标定方法，包括如下步骤：
S1、根据机器人末端坐标系相对基座坐标系移动后的位置与位姿(机器人示教器上读取)，计算出每次移动后基座坐标系相对于机器人末端坐标系的齐次变换矩阵；再分别计算出每次移动后相机坐标系相对于标定图案坐标系的齐次变换矩阵；
所述标定图案放置在机器人的移动范围和相机的视野中，且确保标定图案在相机视野范围内成像清晰及标定图案位置全程固定不变；相机位置暂时固定在机器人末端关节上，且相机与机器人末端相对位置固定不变；
S2、依据S1得到的数据完成机器人基座坐标系与标定图案坐标系关系标定，得到标定图案坐标系相对基座坐标系的齐次变换矩阵；
S3、利用S2得到的数据完成机器人基座坐标系与相机坐标系实时关系标定，以及机器人末端坐标系与相机坐标系实时关系标定；
S4、借助S3得到的数据完成机器人的标定任务。
本发明提出了一种高效的手眼标定方法，其核心在于快速准确地确定手部与视觉系统之间的相对关系。在本发明中，首先确定了已知标定图案与基准坐标系之间的关系。然后结合已知的基座和末端相对关系、相机与标定图案的相对关系就能迅速确定手眼关系。本发明特别针对传统手眼标定任务中遇到的矩阵计算问题，提供了更简化的流程，显著提高了复杂工程任务中的计算效率和准确性。
本发明提供的手眼标定方法特别适用于需要频繁调整视觉系统安装位置的机器人操作环境。本发明的核心在于精确计算机器人基座坐标系与标定板坐标系之间的关系，标定板的位置始终保持固定，而相机的位置可以灵活变动，这种变化不会影响最终的标定结果。无论相机的具体安装位置如何变化，本发明都能保证准确、高效的手眼标定，极大地提升了机器人系统的灵活性和适应性。因此，本发明为需要多次手眼标定的复杂机器人应用场景提供了一种理想的技术解决方案。
在一些实施例中，所述S1具体包括如下步骤：
S11、首先定义α、β、γ是机器人末端坐标系相对于基座坐标系旋转的欧拉角；且满足以下关系式：
其中，Rx(γ)为初始坐标系围绕x轴旋转γ°后的旋转矩阵；Ry(β)为初始坐标系围绕y轴旋转β°后的旋转矩阵；Rz(α)为初始坐标系围绕z轴旋转α°后的旋转矩阵；γ、β、α均为旋转的角度；
S12、然后利用S11中的关系式求取机器人末端坐标系相对于基座坐标系的旋转矩阵
S13、利用机器人末端坐标系相对于基座坐标系的旋转矩阵以及相对位置坐标t，求得机器人末端坐标系相对于基座坐标系的齐次变换矩阵/>
S14、通过机器人末端坐标系相对于基座坐标系的齐次变换矩阵求得基座坐标系相对于机器人末端坐标系的齐次变换矩阵/>且/>
S15、求取标定图案坐标系相对相机坐标系的旋转矩阵
S16、利用标定图案坐标系相对相机坐标系的旋转矩阵求得标定图案坐标系相对相机坐标系的齐次变换矩阵/>
S17、通过标定图案坐标系相对相机坐标系的齐次变换矩阵求得相机坐标相对标定图案坐标系的齐次变换矩阵/>且/>
在一些实施例中，所述S12中的机器人末端坐标系相对于基座坐标系的旋转矩阵采用公式表示具体如下：
在一些实施例中，所述S13中机器人末端坐标系相对于基座坐标系的齐次变换矩阵采用公式表示具体如下：
在一些实施例中，所述S2具体包括如下步骤：
S21、保持标定图案位置不变，相机相对机器人末端关节位置不变，相机采集标定图案照片，根据相应的标定程序，相机采集照片上能直接显示相机坐标系相对于标定图案坐标系的6D位姿，且记录机器人示教器上基座相对于机器人末端的6D位姿；
S22、操控机器人在空间中进行随机多次移动，移动范围尽量不要太小，移动过程需保证标定图案在相机视野范围内且成像清晰，采集多张不同位姿拍摄的标定图案照片，同时每次移动都要记录且记录机器人示教器上基座相对于机器人末端的6D位姿；
S23、根据每次移动过程中的相机采集图像和S21和S22中记录的数据，计算出每次移动过程中基座坐标系相对于机器人末端坐标系的齐次变换矩阵和相机坐标系相对于标定图案坐标系的齐次变换矩阵，利用最小二乘法进行求解，计算得到标定图案坐标系相对基座坐标系的齐次变换矩阵
其中，计算相机坐标系相对于标定图案坐标系的齐次变换矩阵具体包括如下步骤：首先根据相机采集的照片里标定图案坐标系相对于相机坐标系的位姿数据，包括旋转矢量rvec以及平移矢量tvec，计算出标定图案坐标系相对相机坐标系的齐次变换矩阵，其中旋转矢量rvec采集照片上显示的是弧度制的欧拉角，利用平移矢量tvec平移矢量求出相机坐标系相对标定图案坐标系的齐次变换矩阵
本发明提出的手眼标定方法在提高标定精度方面具有显著优势。它能够同时求解手眼矩阵的旋转矢量rvec和平移矢量tvec，有效避免了传统标定方法中误差的变换和累积。相较于传统方法，它不是分别计算平移矩阵和旋转矩阵，而是直接计算包含这两个分量的齐次变换矩阵。本发明还显著提高了标定的准确性。通过精确地计算出旋转和平移参数，本发明能够实现更高精度的手眼标定。
在一些实施例中，所述S23具体包括如下步骤：
S231、依据S16得到的数据定义每次移动过程中求得的标定图案坐标系相对相机坐标系的齐次变换矩阵分别为
S232、根据S231中得到的数据以及求解相机坐标系相对标定图案坐标系的齐次变换矩阵分别为/>
S233、依据S13得到的数据以及每次移动过程中记录示教器数据，计算出机器人末端相对基座坐标系的齐次变换矩阵分别为
S234、根据S233中得到的数据以及求得基座坐标系相对于机器人末端坐标系的齐次变换矩阵分别为/>
S235、根据S232以及S234得到的数据以及利用相机坐标系相对于机器人末端坐标系的齐次变换矩阵不变，即/>不变，列出矩阵方程，并采用最小二乘法求解得到标定图案坐标系相对基座坐标系的齐次变换矩阵/>
在一些实施例中，所述S235中的矩阵方程具体如下：
在一些实施例中，所述S3具体包括如下步骤：
S31、再次操控机器人移动一次，相机采集标定图案照片，得到相机坐标系相对于标定图案坐标系的6D位姿，此过程可以改变相机初始位置，不一定和S2中相机位置固定不变，S31中相机位置可以灵活改变，针对任务场景的不同相机位置可以发生移动改变。因为剩下的过程计算相机坐标系相对机器人基座坐标系的齐次变换矩阵，只与标定图案位置有关，与相机无关了；
S32、如果相机安装在机器人末端的手臂上，即眼在手上，则进入S33，如果相机安装在机器人末端手臂之外的位置，即眼在手外，则进入S34中；
S33、依据S14和S17可知，并根据S2中求得的标定图案坐标系相对基座坐标系的齐次变换矩阵/>以及相机获取的数据、机器人末端的数据，计算分别得到标定图案坐标系相对相机坐标系的齐次变换矩阵机器人末端坐标系相对基座坐标系的齐次变换矩阵/>并完成机器人末端坐标系与相机坐标系实时关系标定，/> 其中S2中求得的是保持不变的，因为机器人和标定图案的位置是保持不变的，所以/>可以一直拿来使用，不论是计算眼在手上(即相机安装在包括机器人末端的机器人手臂上)或者眼在手外(即相机没有安装在包括机器人末端的机器人手臂上)，/>已知能快速求出手眼矩阵；
S34、依据S17可知并根据S2中求得的标定图案坐标系相对基座坐标系的齐次变换矩阵/>以及S31中得到的相机坐标系相对于标定图案坐标系的6D位姿，计算得到标定图案坐标系相对相机坐标系的齐次变换矩阵/>并完成机器人基座坐标系与相机坐标系实时关系标定，/>
在一些实施例中，所述S4具体包括如下步骤：
S41、如果相机安装在机器人末端的手臂上，即眼在手上，则进入S42，如果相机安装在机器人末端手臂之外的位置，即眼在手外，则进入S43中；
S42、依据S33中得到的并根据机器人末端相对基座的关系/>再用相机去获取目标点的三维坐标/>其中求得目标点在基座坐标系下的坐标/> 进而完成整个标定任务；
S43、在相机位置不发生改变的情况下，利用S35中得到的机器人基座坐标系相对相机坐标系的齐次变换矩阵右乘上相机获取目标点的三维坐标/>其中可以求得目标点在基座坐标系下的坐标进而完成整个标定任务。
本发明适用于手眼标定的两种不同场景：一种是相机(“眼”)安装在机器人手臂(“手”)上，另一种是相机安装在机器人手臂之外。针对这两种不同情况，我们提出了一个统一的标准化流程。在该流程中，标定图案和机器人基座的位置保持不变，以此来求解它们之间的关系。这样做的目的是为了在未来的多场景任务中，根据具体任务需要(有时候相机位于机器人手臂上，有时候则位于手臂之外)，能够实现快速且实时的手眼标定。
本发明是为了解决传统的手眼标定方法需要以机器人示教器的位姿信息以及相机采集到的标定图案信息作为输入，过程较为复杂的技术问题，提出了一种针对机器人视觉系统位置变换标定场景的实时快速手眼标定方法，既适用于多次重复标定场景，也适用于视觉系统位置发生变换的场景，眼在手外及眼在手上标定任务同样适用，并且它避免了传统标定方法在多次标定任务中的复杂繁琐计算。
本发明并没有像传统的手眼标定计算直接计算机器人末端和相机的相对关系，而是间接计算出标定图案和机器人基座的相对关系，又由于相机根据Canny标记检测和Harris角点检测算法以及PNP姿态估计算法计算出标定图案坐标系与相机坐标系的关系，已知标定图案和机器人基座相对关系，标定图案和相机的关系，从而求得相机和机器人基座的相对关系，快速实现标定任务，在机器人复杂操作过程中，需要相机和机器人基座的相对关系，而相机能直接获取外部空间点的坐标，从而快速计算出外部空间点在机器人基座的坐标，从而引导机器人靠近目标位置进行操作任务。而且在本过程中，求出标定图案和机器人基座相对关系之后，相机的位置可以随意改变，最终求相机和机器人基座的相对关系时，相机的位置不受影响。并且在重复标定中，只需保证图案位置不发生改变，用相机直接获取图案与相机的相对关系，即可快速求出下次标定中相机与基座坐标系的相对关系。
而传统的相机标定过程(不论是眼在手外，或者眼在手上)，相机位置都必须始终固定不变。且如果进行多次标定任务，需要多次重复繁琐的计算过程，降低了整个实验的效率。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种面向多任务场景的实时手眼标定方法，其特征在于，包括如下步骤：
S1、根据机器人末端坐标系相对基座坐标系移动后的位置与位姿，计算出每次移动后基座坐标系相对于机器人末端坐标系的齐次变换矩阵；再分别计算出每次移动后相机坐标系相对于标定图案坐标系的齐次变换矩阵；
S2、依据S1得到的数据完成机器人基座坐标系与标定图案坐标系关系标定，得到标定图案坐标系相对基座坐标系的齐次变换矩阵；
S3、利用S2得到的数据完成机器人基座坐标系与相机坐标系实时关系标定，以及机器人末端坐标系与相机坐标系实时关系标定；
S4、借助S3得到的数据完成机器人的标定任务。
2.根据权利要求1所述的实时手眼标定方法，其特征在于，所述S1具体包括如下步骤：
S11、首先定义α、β、γ是机器人末端坐标系相对于基座坐标系旋转的欧拉角；且满足以下关系式：
其中，Rx(γ)为初始坐标系围绕x轴旋转γ°后的旋转矩阵；Ry(β)为初始坐标系围绕y轴旋转β°后的旋转矩阵；Rz(α)为初始坐标系围绕z轴旋转α°后的旋转矩阵；γ、β、α均为旋转的角度；
S12、然后利用S11中的关系式求取机器人末端坐标系相对于基座坐标系的旋转矩阵
S13、利用机器人末端坐标系相对于基座坐标系的旋转矩阵以及相对位置坐标t，求得机器人末端坐标系相对于基座坐标系的齐次变换矩阵/>
S14、通过机器人末端坐标系相对于基座坐标系的齐次变换矩阵求得基座坐标系相对于机器人末端坐标系的齐次变换矩阵/>且/>
S15、利用深度相机调用Canny标记检测和Harris角点检测算法以及PNP姿态估计算法求取标定图案坐标系相对相机坐标系的位姿欧拉角α、β、γ及标定图案坐标系和相机坐标系的相对位置x、y、z；
S16、根据S15中获取的相对位姿α、β、γ和相对位置x、y、z以及S11中的关系式计算出标定图案坐标系相对相机坐标系的旋转矩阵相对位置坐标t，进而求得标定图案坐标系相对相机坐标系的齐次变换矩阵/>
S17、通过标定图案坐标系相对相机坐标系的齐次变换矩阵求得相机坐标相对标定图案坐标系的齐次变换矩阵/>且/>
3.根据权利要求2所述的实时手眼标定方法，其特征在于，所述S12中的机器人末端坐标系相对于基座坐标系的旋转矩阵采用公式表示具体如下：
4.根据权利要求3所述的实时手眼标定方法，其特征在于，所述S13中机器人末端坐标系相对于基座坐标系的齐次变换矩阵采用公式表示具体如下：
5.根据权利要求4所述的实时手眼标定方法，其特征在于，所述S2具体包括如下步骤：
S21、保持标定图案位置不变，相机相对机器人末端关节位置不变，相机采集标定图案照片，且记录机器人示教器上基座相对于机器人末端的6D位姿；
S22、操控机器人在空间中进行随机多次移动，采集多张不同位姿拍摄的标定图案照片，同时每次移动都要记录且记录机器人示教器上基座相对于机器人末端的6D位姿；
S23、根据每次移动过程中的相机采集图像和S21和S22中记录的数据，计算出每次移动过程中基座坐标系相对于机器人末端坐标系的齐次变换矩阵和相机坐标系相对于标定图案坐标系的齐次变换矩阵，利用最小二乘法进行求解，计算得到标定图案坐标系相对基座坐标系的齐次变换矩阵
6.根据权利要求5所述的实时手眼标定方法，其特征在于，所述S23具体包括如下步骤：
S231、依据S16得到的数据定义每次移动过程中求得的标定图案坐标系相对相机坐标系的齐次变换矩阵分别为
S232、根据S231中得到的数据以及求解相机坐标系相对标定图案坐标系的齐次变换矩阵分别为/>
S233、依据S13得到的数据以及每次移动过程中记录示教器数据，计算出机器人末端相对基座坐标系的齐次变换矩阵分别为
S234、根据S233中得到的数据以及求得基座坐标系相对于机器人末端坐标系的齐次变换矩阵分别为/>
S235、根据S232以及S234得到的数据以及利用相机坐标系相对于机器人末端坐标系的齐次变换矩阵不变，即/>不变，列出矩阵方程，并采用最小二乘法求解得到标定图案坐标系相对基座坐标系的齐次变换矩阵/>
7.根据权利要求6所述的实时手眼标定方法，其特征在于，所述S235中的矩阵方程具体如下：
8.根据权利要求7所述的实时手眼标定方法，其特征在于，所述S3具体包括如下步骤：
S31、再次操控机器人移动一次，相机采集标定图案照片，得到相机坐标系相对于标定图案坐标系的6D位姿，此过程可以改变相机初始位置；
S32、如果相机安装在机器人末端的手臂上，即眼在手上，则进入S33，如果相机安装在机器人末端手臂之外的位置，即眼在手外，则进入S34中；
S33、依据S14和S17可知，并根据S2中求得的标定图案坐标系相对基座坐标系的齐次变换矩阵/>以及相机获取的数据、机器人末端的数据，计算分别得到标定图案坐标系相对相机坐标系的齐次变换矩阵机器人末端坐标系相对基座坐标系的齐次变换矩阵/>并完成机器人末端坐标系与相机坐标系实时关系标定，/>
S34、依据S17可知并根据S2中求得的标定图案坐标系相对基座坐标系的齐次变换矩阵/>以及S31中得到的相机坐标系相对于标定图案坐标系的6D位姿，计算得到标定图案坐标系相对相机坐标系的齐次变换矩阵/>并完成机器人基座坐标系与相机坐标系实时关系标定，/>
9.根据权利要求8所述的实时手眼标定方法，其特征在于，所述S4具体包括如下步骤：
S41、如果相机安装在机器人末端的手臂上，即眼在手上，则进入S42，如果相机安装在机器人末端手臂之外的位置，即眼在手外，则进入S43中；
S42、依据S33中得到的并根据机器人末端相对基座的关系/>再用相机去获取目标点的三维坐标/>求得目标点在基座坐标系下的坐标/>进而完成整个标定任务；
S43、在相机位置不发生改变的情况下，利用S35中得到的机器人基座坐标系相对相机坐标系的齐次变换矩阵右乘上相机获取目标点的三维坐标/>可以求得目标点在基座坐标系下的坐标/>进而完成整个标定任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410342287.XA CN118052890A (zh) | 2024-03-25 | 2024-03-25 | 一种面向多任务场景的实时手眼标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410342287.XA CN118052890A (zh) | 2024-03-25 | 2024-03-25 | 一种面向多任务场景的实时手眼标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118052890A true CN118052890A (zh) | 2024-05-17 |
Family
ID=91053748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410342287.XA Pending CN118052890A (zh) | 2024-03-25 | 2024-03-25 | 一种面向多任务场景的实时手眼标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118052890A (zh) |
-
2024
- 2024-03-25 CN CN202410342287.XA patent/CN118052890A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11498220B2 (en) | Control system and control method | |
| JP4021413B2 (ja) | 計測装置 | |
| US9508146B2 (en) | Automated frame of reference calibration for augmented reality | |
| CN109285190A (zh) | 对象定位方法、装置、电子设备和存储介质 | |
| JP2023106284A (ja) | 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム | |
| CN113370221B (zh) | 机器人tcp标定系统、方法、装置、设备及存储介质 | |
| CN109648568B (zh) | 机器人控制方法、系统及存储介质 | |
| CN112792814B (zh) | 基于视觉标志的机械臂零点标定方法 | |
| CN114102256B (zh) | 机床旋转轴几何误差识别方法、装置及存储介质 | |
| CN114310901B (zh) | 用于机器人的坐标系标定方法、装置、系统以及介质 | |
| CN111890356A (zh) | 机械臂坐标系和相机坐标系标定方法、装置、设备及介质 | |
| EP3602214B1 (en) | Method and apparatus for estimating system error of commissioning tool of industrial robot | |
| CN112743548B (zh) | 一种统一两种机械臂手眼标定的方法及系统、终端 | |
| CN116117800B (zh) | 补偿高度差的机器视觉处理方法、电子设备及存储介质 | |
| CN118052890A (zh) | 一种面向多任务场景的实时手眼标定方法 | |
| CN114677429B (zh) | 一种机械手的定位方法、装置、计算机设备和存储介质 | |
| CN115272410A (zh) | 一种无标定视觉的动态目标追踪方法、装置、设备及介质 | |
| CN115488888A (zh) | 物体定位方法、机器人系统的控制方法、装置和电子设备 | |
| CN112847350B (zh) | 手眼标定方法、系统、计算机设备和存储介质 | |
| CN111971529A (zh) | 用于管理机器人系统的方法和装置 | |
| CN114998446A (zh) | 相机与机械手之间的标定方法、控制器、设备及存储介质 | |
| CN109615658B (zh) | 机器人的物品拿取方法、装置、计算机设备及存储介质 | |
| CN115674184A (zh) | 基于机器人视觉的目标定位方法及装置 | |
| JPH0882505A (ja) | カメラパラメーターのキャリブレーション方法および物体の位置計測方法 | |
| CN109767469B (zh) | 一种安装关系的标定方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |