CN118003334A - 一种关于多相机协同定位的快速手眼标定方法 - Google Patents
一种关于多相机协同定位的快速手眼标定方法 Download PDFInfo
- Publication number
- CN118003334A CN118003334A CN202410346117.9A CN202410346117A CN118003334A CN 118003334 A CN118003334 A CN 118003334A CN 202410346117 A CN202410346117 A CN 202410346117A CN 118003334 A CN118003334 A CN 118003334A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- robot
- relative
- homogeneous transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 88
- 230000009466 transformation Effects 0.000 claims abstract description 85
- 239000000758 substrate Substances 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
一种关于多相机协同定位的快速手眼标定方法,包括:1、移动机器人末端三次及以上,在每次移动后用同一相机进行标定图案检测,记录每次移动后的标定图案相对相机的位置与位姿以及机器人末端相对基底的位置与位姿;2、计算每次移动后机器人末端相对于基底坐标系的齐次变换矩阵以及每次移动后相机坐标系相对于标定图案坐标系的齐次变换矩阵;3、计算出标定图案坐标系相对机器人末端坐标系的齐次变换矩阵;4、计算出每个相机坐标系相对基底坐标系的齐次变换矩阵;5、计算出多个相机获取的最终目标点在基底下的坐标,求得目标点的精确位置,完成机器人与多相机协调的位置标定。本发明在进行机器人手眼标定任务时具有快速性,可显著提高标定效率。
Description
技术领域
本发明涉及机器人位置标定技术领域,特别涉及一种关于多相机协同定位的快速手眼标定方法。
背景技术
手眼标定是机器人领域中的一个关键任务,特别是在机器人灵巧操作中,用于确定机器人手部(手)和视觉系统(眼)之间的相对位姿与位置关系。在机器人面对复杂场景进行操作任务时,往往需要通过视觉(相机)进行定位,相机获取到目标的像素坐标系下的坐标通过相机内参转换到相机坐标下的坐标,而该坐标只是相机坐标系下的目标点坐标,需要通过某种转换关系得到机器人基底坐标系下的目标点坐标才能进行操作。为了得到机器人基底坐标系下的目标点坐标,我们需要进行计算该“转换关系”——从相机坐标系转换到机器人坐标系,这种“转换关系”就是手眼标定。而手眼标定针对不同场景需求有两种不同的方式:分为眼在手上和眼在手外。
如果对于不同单独场景的操作,实验过程需要进行多次手眼标定,重新进行上述传统的手眼标定十分繁琐,浪费大量时间在固定流程化的标定过程中。
且传统的标定适用于单相机任务场景,而针对多相机系统的场景进行精确定位任务时,如果进行传统的标定方法,费时低效率,具有局限性。
并且针对眼在手外标定中相机位置始终保持不变(相机视野限制不变),如果在操作中,对于相机位置部署不当或者需要进行调整视野的情况,需要进行重复标定时,传统方法可靠性较低。
发明内容
本发明提供了一种关于多相机协同定位的快速手眼标定方法,以解决背景技术中所提到的技术问题。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种关于多相机协同定位的快速手眼标定方法,包括如下步骤:
S1、将标定图案固定在机器人末端,同时将多个相机分别固定在机器人末端之外不同位置,使得机器人操作空间在相机视野范围之内;移动机器人末端三次及以上,同时在每次移动后用同一相机进行标定图案检测,并记录每次移动后的标定图案相对相机的位置与位姿以及机器人末端相对基底的位置与位姿;
S2、根据机器人末端相对基底坐标系移动后的位置与位姿,计算出每次移动后机器人末端坐标系相对基底坐标系的齐次变换矩阵;以及依据S1记录下来的每次移动后的标定图案相对相机的位置与位姿分别计算出每次移动后相机坐标系相对于标定图案坐标系的齐次变换矩阵;
S3、根据每次移动机器人末端后记录的末端和标定图案的6D位姿数据,计算出每次移动过程中机器人末端坐标系相对于基底的齐次变换矩阵、相机坐标系相对于标定图案坐标系的齐次变换矩阵,利用最小二乘法进行求解,计算出标定图案坐标系相对机器人末端坐标系的齐次变换矩阵;
S4、依次计算出每个相机坐标系相对标定图案坐标系的齐次变换矩阵,并利用S3中得到的标定图案坐标系相对机器人末端坐标系的齐次变换矩阵,以及通过示教器上的机器人末端坐标系相对基底坐标系的位姿与位置关系计算出的机器人末端坐标系相对基底坐标系的齐次变换矩阵计算出每个相机坐标系相对基底坐标系的齐次变换矩阵;
S5、利用S4中得到的每个相机坐标系相对基底坐标系的齐次变换矩阵,通过不同的相机计算该目标检测点在基座下的坐标,进行多相机协同定位,然后使用加权平均的方法计算该目标点在基底下的精确的三维坐标,从而完成机器人与多相机协调的位置标定。
进一步地,所述S1具体包括如下步骤:
S11、将标定图案固定在机器人末端,同时将多个相机分别固定在机器人末端之外不同位置,使得机器人操作空间在相机视野范围之内;
S12、移动机器人末端三次及以上,并分别记录示教器上显示的机器人末端相对基底的RPY角以及X、Y、Z坐标;
S13、同时选择其中一个相机,使用该相机对标定图像进行拍照,并根据Canny标记检测、Harris角点检测和PNP姿态估计算法计算并记录每次移动机器人末端后的标定图案相对相机坐标系的RPY角以及X、Y、Z坐标。
进一步地,所述S2具体包括如下步骤:
S21、根据S1记录的位置与位姿角数据,计算出每次移动后机器人末端坐标系相对基底坐标系的齐次变换矩阵以及每次移动后标定图案坐标系相对相机坐标系的齐次变换矩阵/>
S22、根据求得每次移动后相机坐标系相对标定图案坐标系的齐次变换矩阵/>
进一步地,所述S21中的机器人末端坐标系相对基底坐标系的齐次变换矩阵采用公式表示,具体如下:
其中,机器人末端坐标系相对基底坐标系的旋转矩阵;/>满足以下关系式:
关系式中,Rz(α)表示初始坐标系围绕z轴旋转α°后的旋转矩阵;Ry(β)表示初始坐标系围绕y轴旋转β°后的旋转矩阵;Rx(γ)表示初始坐标系围绕x轴旋转γ°后的旋转矩阵。
进一步地,所述Rz(α)、Ry(β)和Rx(γ)采用公式表示,具体如下:
进一步地,所述S3具体包括如下步骤:
S31、每次移动过程中求得的标定图案坐标系相对相机坐标系的齐次变换矩阵分别为
S32、根据求得相机坐标系相对于标定图案坐标系的齐次变换矩阵分别为/>
S33、同时每次移动过程中记录示教器上的末端数据,计算出机器人末端坐标系相对基底坐标系的齐次变换矩阵分别为
S34、根据相机坐标系相对于机器人基底坐标系的齐次变换矩阵不变,即不变,列出矩阵方程,得根据最小二乘法,求解出标定图案坐标系相对机器人末端坐标系的齐次变换矩阵/>
进一步地,所述S4具体包括如下步骤:
S41、再次移动机器人末端,使标定图案在相机视野范围内,分别用多个相机对标定图案进行拍照,并通过PNP姿态估计算法计算出多个相机与标定图案坐标系的位置与位姿关系;
S42、然后根据S41得到的多个相机与标定图案坐标系的位置与位姿关系,计算出标定图案坐标系相对每个相机坐标系的齐次变换矩阵
S43、然后根据求得每个相机坐标系相对标定图案坐标系的齐次变换矩阵/>
S44、依据S3中得到的标定图案坐标系相对机器人末端坐标系的齐次变换矩阵、结合S43得到的每个相机坐标系相对标定图案坐标系的齐次变换矩阵、以及通过示教器上的机器人末端坐标系相对基底坐标系的位姿与位置关系计算出的机器人末端坐标系相对基底坐标系的齐次变换矩阵计算得到每个相机坐标系相对基底坐标系的齐次变换矩阵/>
进一步地,所述S5具体包括如下步骤:
S51、通过每个相机获取目标检测点在相机坐标系下的大致三维坐标
S52、然后根据S4中得到的每个相机坐标系相对基底坐标系的齐次变换矩阵并利用S51中得到的大致三维坐标构建等式;
S53、利用S52构建的等式,并使用加权平均的方法计算出不同相机获取到该目标检测点的坐标,进行多相机协同定位,得到最终的目标点在基底下的精确三维坐标,从而完成机器人与多相机协调的位置标定。
进一步地,所述S52中的等式具体如下:
其中,表示目标检测点t在基座坐标系下的三维坐标。
进一步地,所述S53采用公式表示,具体如下:
其中,Pi分别是该点在第i个相机下求得的三维坐标,具体求解时Pi仅代表p点在x、y、z其中一个方向上的坐标,wi是相应点在第i个相机下求得三维坐标的权重值,表示目标点在机器人基底坐标系下精确位置,i表示第几个相机,n表示相机的个数。
本发明的有益效果:
1、本发明在进行机器人手眼标定任务时具有快速性,可显著提高标定效率。在机器人面对不同操作场景时,本发明能够执行重复而高效的手眼标定流程。与传统手眼标定方法相比,本发明简化了标定步骤,并突破了传统手眼标定环节中复杂且重复性低下的缺陷。此外,本发明解决了机器人在实际工程任务中需要多次手眼标定导致费时的问题,从而显著提升了机器人在整体操作任务中的速度。
2、本发明最大程度地捕捉了环境信息,确保相机的广泛视野能够涵盖整个机器人操作空间。同时本发明中采用标定二维码替代标定图案进行实验,在标定的同时能够保证机器人操作空间在相机视野范围内,避免了传统方法中的相机视野受机器人末端和标定图案位置的限制,确保相机能够获取尽可能多的有助于机器人操作的信息,从而提高操作的准确性和效率。
3、本发明具有相机位置灵活可变的特性,使其能够实时进行手眼标定任务。通过一次手眼关系求解,本发明能够即时计算相机位置变化对应的手眼矩阵,从而满足相机位置可变的实际应用场景。对于相机位置的动态变化,本发明确保在标定过程中灵活地调整相机视野范围,以最大程度地优化标定效果。这一特性使机器人在不同操作环境下能够快速适应,保证手眼标定的实时性和准确性。
4、本发明具备同时进行多相机手眼标定任务的能力,不受传统单一相机标定的局限。在多相机视觉系统组成的机器人操作场景下,本发明可以有效地执行多相机的同步手眼标定任务,无需受限于单个相机的标定。此外,本发明具备快速且实时完成多个相机同时标定的优势,为机器人在复杂多视角环境下的高效操作提供了可靠的手眼标定支持。
附图说明
图1为本发明的流程图;
图2为本发明中多相机与机器人基底坐标系关系的标定示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是,本发明可以通过许多其他不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
参照图1和图2,本申请实施例提供了一种关于多相机协同定位的快速手眼标定方法,包括如下步骤:
S1、将标定图案固定在机器人末端,同时将多个相机分别固定在机器人末端之外不同位置,使得机器人操作空间在相机视野范围之内;移动机器人末端三次及以上,同时在每次移动后用同一相机进行标定图案检测,并记录每次移动后的标定图案相对相机的位置与位姿以及机器人末端相对基底的位置与位姿;
优选的,相机的数量为3个以及3个以上,本申请优选为3个,3个相机分别命名为:camera1、camera2、camera3,以下以3个相机,对发明的整体进行具体阐述;
S2、根据机器人末端相对基底坐标系移动后的位置与位姿,计算出每次移动后机器人末端坐标系相对基底坐标系的齐次变换矩阵;以及依据S1记录下来的每次移动后的标定图案相对相机的位置与位姿分别计算出每次移动后相机坐标系相对于标定图案坐标系的齐次变换矩阵;
S3、根据每次移动机器人末端后记录的末端和标定图案的6D位姿数据,计算出每次移动过程中机器人末端坐标系相对于基底的齐次变换矩阵、相机坐标系相对于标定图案坐标系的齐次变换矩阵,利用最小二乘法进行求解,计算出标定图案坐标系相对机器人末端坐标系的齐次变换矩阵;
S4、依次计算出3个相机坐标系相对标定图案坐标系的齐次变换矩阵,并利用S3中得到的标定图案坐标系相对机器人末端坐标系的齐次变换矩阵,以及通过示教器上的机器人末端坐标系相对基底坐标系的位姿与位置关系计算出的机器人末端坐标系相对基底坐标系的齐次变换矩阵计算出3个相机坐标系相对基底坐标系的齐次变换矩阵;
S5、利用S4中得到的每个相机坐标系相对基底坐标系的齐次变换矩阵,通过不同的相机计算该目标检测点在基座下的坐标,进行多相机协同定位,然后使用加权平均的方法计算该目标点在基底下的精确的三维坐标,从而完成机器人与多相机协调的位置标定。
本发明中精确的三维坐标即精确到小数点第三位的真实的三维坐标。
在一些实施例中,所述S1具体包括如下步骤:
S11、将标定图案固定在机器人末端,同时将3个相机分别固定在机器人末端之外不同位置,使得机器人操作空间在相机视野范围之内;
S12、移动机器人末端三次及以上,并分别记录示教器上显示的机器人末端相对基底的RPY角以及机器人末端相对基底的X、Y、Z坐标;
根据示教器上显示机器人末端相对基底的RPY角以及X、Y、Z坐标,分别进行数据记录,记录的数据具体如下:
第一次移动后的末端相对基底位置与位姿数据:X1、Y1、Z1、α1、β1、γ1;
第二次移动后的末端相对基底位置与位姿数据:X2、Y2、Z2、α2、β2、Y2;
第三次移动后的末端相对基底位置与位姿数据:X3、Y3、Z3、α3、β3、γ3;
……
S13、同时选择其中一个相机,比如选择camera1,使用该相机对标定图案进行拍照,并根据Canny标记检测、Harris角点检测和PNP姿态估计算法计算并记录每次移动机器人末端后的标定图案相对相机坐标系的RPY角以及标定图案相对相机坐标系的X、Y、Z坐标,记录的数据分别如下:
第一次移动末端后标定图案相对相机的位置与位姿角:X11、Y11、Z11、α11、β11、γ11;
第二次移动末端后标定图案相对相机的位置与位姿角:X22、Y22、Z22、α22、β22、γ22;
第三次移动末端后标定图案相对相机的位置与位姿角:X33、Y33、Z33、α33、β33、γ33;
……
在一些实施例中,所述S2具体包括如下步骤:
S21、根据S1记录的位置与位姿角数据,计算出每次移动后机器人末端坐标系相对基底坐标系的齐次变换矩阵以及每次移动后标定图案坐标系相对相机坐标系的齐次变换矩阵/>
S22、根据求得每次移动后相机坐标系相对标定图案坐标系的齐次变换矩阵/>所述标定图案固定在机器人的末端,且确保标定图案在相机视野范围内成像清晰及标定图案和机器人末端相对位置固定不变;相机位置固定在机器人之外。
在一些实施例中,所述S21中的机器人末端坐标系相对基底坐标系的齐次变换矩阵采用公式表示,具体如下:
其中,机器人末端坐标系相对基底坐标系的旋转矩阵;/>满足以下关系式:
关系式中,Rz(α)表示初始坐标系围绕z轴旋转α°后的旋转矩阵;Ry(β)表示初始坐标系围绕y轴旋转β°后的旋转矩阵;Rx(γ)表示初始坐标系围绕x轴旋转γ°后的旋转矩阵。
在一些实施例中,所述Rz(α)、Ry(β)和Rx(γ)采用公式表示,具体如下:
在一些实施例中,所述S3具体包括如下步骤:
S31、每次移动过程中求得的标定图案坐标系相对相机坐标系的齐次变换矩阵分别为
S32、根据求得相机坐标系相对于标定图案坐标系的齐次变换矩阵分别为/>
S33、同时每次移动过程中记录示教器上的末端数据,计算出机器人末端坐标系相对基底坐标系的齐次变换矩阵分别为
S34、根据相机坐标系相对于机器人基底坐标系的齐次变换矩阵不变,即不变,列出矩阵方程,得根据最小二乘法,求解出标定图案坐标系相对机器人末端坐标系的齐次变换矩阵/>
在一些实施例中,所述S4具体包括如下步骤:
S41、再次移动机器人末端,使标定图案在相机视野范围内,分别用相机camera1、camera2、camera3对标定图案进行拍照,并通过PNP姿态估计算法计算出3个相机与标定图案坐标系的位置与位姿关系,依次得到以下数据:
Camera1与标定图案的相对位置与位姿数据分别为X111、Y111、Z111、α111、β111、γ111;
Camera2与标定图案的相对位置与位姿数据分别为X222、Y222、Z222、α222、β222、γ222;
Camera3与标定图案的相对位置与位姿数据分别为X333、Y333、Z333、α333、β333、γ333;
S42、然后根据S41得到的多个相机与标定图案坐标系的位置与位姿关系,计算出标定图案坐标系相对每个相机坐标系的齐次变换矩阵
S43、然后根据求得每个相机坐标系相对标定图案坐标系的齐次变换矩阵/>
S44、依据S3中得到的标定图案坐标系相对机器人末端坐标系的齐次变换矩阵、结合S43得到的每个相机坐标系相对标定图案坐标系的齐次变换矩阵、以及通过示教器上的机器人末端坐标系相对基底坐标系的位姿与位置关系计算出的机器人末端坐标系相对基底坐标系的齐次变换矩阵计算得到每个相机坐标系相对基底坐标系的齐次变换矩阵/>且每个相机坐标系相对基底坐标系的齐次变换矩阵满足以下关系式:
S4中使用相机camera1进行标定图案坐标系相对机器人末端坐标系的齐次变换矩阵求解,然后通过求解出的/>能快速分别求解出相机camera2、camera3相对基底坐标系的齐次变换矩阵。
在一些实施例中,所述S5具体包括如下步骤:
S51、通过每个相机获取目标检测点在相机坐标系下的大致三维坐标
S52、然后根据S4中得到的每个相机坐标系相对基底坐标系的齐次变换矩阵并利用S51中得到的大致三维坐标构建等式;
S53、利用S52构建的等式,并使用加权平均的方法计算出不同相机获取到该目标检测点的坐标,进行多相机协同定位,得到最终的目标点在基底下的精确三维坐标,从而完成机器人与多相机协调的位置标定。
在一些实施例中,所述S52中的等式具体如下:
其中,表示目标检测点t在基座坐标系下的三维坐标。
在一些实施例中,所述S53采用公式表示,具体如下:
其中,Pi分别是该点在第i个相机下求得的三维坐标,具体求解时Pi仅代表p点在x、y、z其中一个方向上的坐标,wi是相应点在第i个相机下求得三维坐标的权重值,表示目标点在机器人基底坐标系下精确位置,i表示第几个相机,n表示相机的个数。
本发明具有以下优点:1、本发明在进行机器人手眼标定任务时具有快速性,可显著提高标定效率。在机器人面对不同操作场景时,本发明能够执行重复而高效的手眼标定流程。与传统手眼标定方法相比,本发明简化了标定步骤,并突破了传统手眼标定环节中复杂且重复性低下的缺陷。此外,本发明解决了机器人在实际工程任务中需要多次手眼标定导致费时的问题,从而显著提升了机器人在整体操作任务中的速度。
2、本发明最大程度地捕捉了环境信息,确保相机的广泛视野能够涵盖整个机器人操作空间。同时本发明中采用标定二维码替代标定图案进行实验,在标定的同时能够保证机器人操作空间在相机视野范围内,避免了传统方法中的相机视野受机器人末端和标定图案位置的限制,确保相机能够获取尽可能多的有助于机器人操作的信息,从而提高操作的准确性和效率。
3、本发明具有相机位置灵活可变的特性,使其能够实时进行手眼标定任务。通过一次手眼关系求解,本发明能够即时计算相机位置变化对应的手眼矩阵,从而满足相机位置可变的实际应用场景。对于相机位置的动态变化,本发明确保在标定过程中灵活地调整相机视野范围,以最大程度地优化标定效果。这一特性使机器人在不同操作环境下能够快速适应,保证手眼标定的实时性和准确性。
4、本发明具备同时进行多相机手眼标定任务的能力,不受传统单一相机标定的局限。在多相机视觉系统组成的机器人操作场景下,本发明可以有效地执行多相机的同步手眼标定任务,无需受限于单个相机的标定。此外,本发明具备快速且实时完成多个相机同时标定的优势,为机器人在复杂多视角环境下的高效操作提供了可靠的手眼标定支持。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。并且,本发明各个实施方式之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种关于多相机协同定位的快速手眼标定方法,其特征在于,包括如下步骤:
S1、将标定图案固定在机器人末端,同时将多个相机分别固定在机器人末端之外不同位置,使得机器人操作空间在相机视野范围之内;移动机器人末端三次及以上,同时在每次移动后用同一相机进行标定图案检测,并记录每次移动后的标定图案相对相机的位置与位姿以及机器人末端相对基底的位置与位姿;
S2、根据机器人末端相对基底坐标系移动后的位置与位姿,计算出每次移动后机器人末端坐标系相对基底坐标系的齐次变换矩阵;再分别计算出每次移动后相机坐标系相对于标定图案坐标系的齐次变换矩阵;
S3、根据每次移动机器人末端后记录的末端和标定图案的6D位姿数据,计算出每次移动过程中机器人末端坐标系相对于基底的齐次变换矩阵、相机坐标系相对于标定图案坐标系的齐次变换矩阵,利用最小二乘法进行求解,计算出标定图案坐标系相对机器人末端坐标系的齐次变换矩阵;
S4、依次计算出每个相机坐标系相对标定图案坐标系的齐次变换矩阵,并利用S3中得到的标定图案坐标系相对机器人末端坐标系的齐次变换矩阵、以及机器人末端相对基底的位置与位姿信息,计算出每个相机坐标系相对基底坐标系的齐次变换矩阵;
S5、利用S4中得到的每个相机坐标系相对基底坐标系的齐次变换矩阵,通过不同的相机计算该目标检测点在基座下的坐标,进行多相机协同定位,然后使用加权平均的方法计算该目标点在基底下的精确的三维坐标,从而完成机器人与多相机协调的位置标定。
2.根据权利要求1所述的快速手眼标定方法,其特征在于,所述S1具体包括如下步骤:
S11、将标定图案固定在机器人末端,同时将多个相机分别固定在机器人末端之外不同位置,使得机器人操作空间在相机视野范围之内;
S12、移动机器人末端三次及以上,并分别记录示教器上显示的机器人末端相对基底的RPY角以及X、Y、Z坐标;
S13、同时选择其中一个相机,使用该相机对标定图案进行拍照,并根据Canny标记检测、Harris角点检测和PNP姿态估计算法计算并记录每次移动机器人末端后的标定图案相对相机坐标系的RPY角以及X、Y、Z坐标。
3.根据权利要求1所述的快速手眼标定方法,其特征在于,所述S2具体包括如下步骤:
S21、根据S1记录的位置与位姿角数据,计算出每次移动后机器人末端坐标系相对基底坐标系的齐次变换矩阵以及每次移动后标定图案坐标系相对相机坐标系的齐次变换矩阵/>
S22、根据求得每次移动后相机坐标系相对标定图案坐标系的齐次变换矩阵/>
4.根据权利要求3所述的快速手眼标定方法,其特征在于,所述S21中的机器人末端坐标系相对基底坐标系的齐次变换矩阵采用公式表示,具体如下:
其中,机器人末端坐标系相对基底坐标系的旋转矩阵;/>满足以下关系式:
关系式中,Rz(α)表示初始坐标系围绕z轴旋转α°后的旋转矩阵;Ry(β)表示初始坐标系围绕y轴旋转β°后的旋转矩阵;Rx(γ)表示初始坐标系围绕x轴旋转γ°后的旋转矩阵。
5.根据权利要求4所述的快速手眼标定方法,其特征在于,所述Rz(α)、Ry(β)和Rx(γ)采用公式表示,具体如下:
6.根据权利要求5所述的快速手眼标定方法,其特征在于,所述S3具体包括如下步骤:
S31、每次移动过程中求得的标定图案坐标系相对相机坐标系的齐次变换矩阵分别为
S32、根据求得相机坐标系相对于标定图案坐标系的齐次变换矩阵分别为/>
S33、同时每次移动过程中记录示教器上的末端数据,计算出机器人末端坐标系相对基底坐标系的齐次变换矩阵分别为
S34、根据相机坐标系相对于机器人基底坐标系的齐次变换矩阵不变,即不变,列出矩阵方程,得根据最小二乘法,求解出标定图案坐标系相对机器人末端坐标系的齐次变换矩阵/>
7.根据权利要求6所述的快速手眼标定方法,其特征在于,所述S4具体包括如下步骤:
S41、再次移动机器人末端,使标定图案在相机视野范围内,分别用多个相机对标定图案进行拍照,并通过PNP姿态估计算法计算出多个相机与标定图案坐标系的位置与位姿关系;
S42、然后根据S41得到的多个相机与标定图案坐标系的位置与位姿关系,计算出标定图案坐标系相对每个相机坐标系的齐次变换矩阵
S43、然后根据求得每个相机坐标系相对标定图案坐标系的齐次变换矩阵/>
S44、依据S3中得到的标定图案坐标系相对机器人末端坐标系的齐次变换矩阵、结合S43得到的每个相机坐标系相对标定图案坐标系的齐次变换矩阵、以及通过示教器上的机器人末端坐标系相对基底坐标系的位姿与位置关系计算出的机器人末端坐标系相对基底坐标系的齐次变换矩阵进而计算得到每个相机坐标系相对基底坐标系的齐次变换矩阵/>
8.根据权利要求7所述的快速手眼标定方法,其特征在于,所述S5具体包括如下步骤:
S51、通过每个相机获取目标检测点在相机坐标系下的大致三维坐标
S52、然后根据S4中得到的每个相机坐标系相对基底坐标系的齐次变换矩阵并利用S51中得到的大致三维坐标构建等式;
S53、利用S52构建的等式,并使用加权平均的方法计算出不同相机获取到该目标检测点的坐标,进行多相机协同定位,得到最终的目标点在基底下的精确三维坐标,从而完成机器人与多相机协调的位置标定。
9.根据权利要求8所述的快速手眼标定方法,其特征在于,所述S52中的等式具体如下:
其中,表示目标检测点t在基座坐标系下的三维坐标。
10.根据权利要求8所述的快速手眼标定方法,其特征在于,所述S53采用公式表示,具体如下:
其中,Pi分别是该点在第i个相机下求得的三维坐标,具体求解时Pi仅代表p点在x、y、z其中一个方向上的坐标,wi是相应点在第i个相机下求得三维坐标的权重值,表示目标点在机器人基底坐标系下精确位置,i表示第几个相机,n表示相机的个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410346117.9A CN118003334A (zh) | 2024-03-25 | 2024-03-25 | 一种关于多相机协同定位的快速手眼标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410346117.9A CN118003334A (zh) | 2024-03-25 | 2024-03-25 | 一种关于多相机协同定位的快速手眼标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118003334A true CN118003334A (zh) | 2024-05-10 |
Family
ID=90943084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410346117.9A Pending CN118003334A (zh) | 2024-03-25 | 2024-03-25 | 一种关于多相机协同定位的快速手眼标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118003334A (zh) |
-
2024
- 2024-03-25 CN CN202410346117.9A patent/CN118003334A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648237B (zh) | 一种基于视觉的空间定位方法 | |
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
WO2020237574A1 (zh) | 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 | |
CN109671122A (zh) | 手眼相机标定方法及装置 | |
US10825249B2 (en) | Method and device for blurring a virtual object in a video | |
CN108436909A (zh) | 一种基于ros的相机和机器人的手眼标定方法 | |
CN111801198A (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
CN108344360A (zh) | 一种视觉测量系统的激光扫描式全局校准装置及方法 | |
CN108942934A (zh) | 确定手眼标定的方法及装置 | |
JP2007072537A (ja) | 360°画像撮影装置 | |
CN110650427A (zh) | 一种基于摄像机图像与uwb融合的室内定位方法和系统 | |
CN110807803B (zh) | 一种摄像机定位方法、装置、设备及存储介质 | |
CN116157837A (zh) | 用于机器人的标定方法和装置 | |
CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
CN107507133B (zh) | 一种基于圆管作业机器人的实时图像拼接方法 | |
JP2015031601A (ja) | 3次元計測装置及び方法並びにプログラム | |
CN111968180A (zh) | 基于参考平面的高精度物体多自由度姿态估计方法及系统 | |
CN113400298B (zh) | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 | |
CN113936121A (zh) | 一种ar标注设置方法以及远程协作系统 | |
JP2005241323A (ja) | 撮像システム及び校正方法 | |
CN117173254A (zh) | 一种相机标定方法、系统、装置和电子设备 | |
CN118003334A (zh) | 一种关于多相机协同定位的快速手眼标定方法 | |
CN116117800A (zh) | 补偿高度差的机器视觉处理方法、电子设备及存储介质 | |
CN115457142A (zh) | 一种mr混合摄影相机的标定方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |