CN117381800B - 一种手眼标定方法及系统 - Google Patents

一种手眼标定方法及系统 Download PDF

Info

Publication number
CN117381800B
CN117381800B CN202311694437.5A CN202311694437A CN117381800B CN 117381800 B CN117381800 B CN 117381800B CN 202311694437 A CN202311694437 A CN 202311694437A CN 117381800 B CN117381800 B CN 117381800B
Authority
CN
China
Prior art keywords
matrix
robot
calibration plate
hand
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311694437.5A
Other languages
English (en)
Other versions
CN117381800A (zh
Inventor
李叙
曹彬
毕德学
程颖
胡江洪
王敏雪
陈立名
袁帅鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Fitow Tianjin Detection Technology Co Ltd
Original Assignee
Tianjin University of Science and Technology
Fitow Tianjin Detection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology, Fitow Tianjin Detection Technology Co Ltd filed Critical Tianjin University of Science and Technology
Priority to CN202311694437.5A priority Critical patent/CN117381800B/zh
Publication of CN117381800A publication Critical patent/CN117381800A/zh
Application granted granted Critical
Publication of CN117381800B publication Critical patent/CN117381800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Abstract

本发明提供了一种手眼标定方法及系统,通过获取的初始数据,以及将机器人进行旋转或平移后,得到的第一数据集和第二数据集;进行手眼标定;通过第一数据集和初始状态数据得到手眼矩阵和标定板安装姿态的初始值,通过第一、第二数据集对手眼矩阵和标定板安装姿态进行优化;计算机器人在第二数据集任意节点处的补偿数据,根据节点信息中每个节点与目标位置的距离,设置不同权重值,对不同节点的补偿数据进行权重匹配,采用移动最小二乘法拟合估计目标位置处的实际补偿值。避免了因机器人绝对定位误差和相机参数的标定误差带来的工作区间各区域手眼矩阵精度有较大差异的问题,提高相机工作范围内的整体定位精度。

Description

一种手眼标定方法及系统
技术领域
本发明涉及机器人标定技术领域,尤其涉及一种手眼标定方法及系统。
背景技术
视觉机器人将计算机视觉与机器人结合,利用视觉决策控制机器人运动,对目标对象进行各种操作。计算机视觉所使用的传感器为工业相机。相机相当于机器人的眼睛,用于感知周围环境与目标对象信息。根据相机拍摄到的图片确定目标对象的位置与姿态信息,并将这些信息传递给机器人,以便机器人实现抓取、钻孔、装配等操作。为了让机器人获取目标对象的位置信息,并对其进行操作,需要获取机器人末端与相机之间的位置转换关系,即机器人的手眼关系。目前,该手眼标定需要机器人带动相机进行多次运动,拍摄不同位置下的物体照片以完成,该过程花费较多时间。并且,现有手眼标定方法引入了机器人自身的运动误差,如果机器人自身运动精度较差,获得的手眼关系将达不到使用要求。
现有的机器人手眼标定过程中无论是眼在手上还是眼在手外,在进行标定时,常采用的方法是将坐标系的变换量换算为角度,再利用换算的角度和变化后的距离等多个中间过程量进行同一坐标系下的标定,因此该标定过程的计算量非常大,计算过程冗繁复杂,而基于此类得到标定结果,在实际定位时易受机器人绝对定位误差及相机标定误差影响,并不能实现准确定位。因此,确有必要对现有技术进行改进以解决现有技术之不足。
发明内容
因此,本发明的目的在于提供一种手眼标定方法及系统,利用手眼标定矩阵,根据各节点对目标位置的影响计算区域补偿数据对目标位姿矩阵进行拟合补偿,避免因机器人绝对定位误差和相机参数的标定误差带来的工作区间各区域手眼矩阵精度有较大差异的问题,提高相机工作范围内的整体定位精度。
为了实现上述目的,本申请提供了一种手眼标定方法,包括以下步骤:
S1、获取相机视野范围内的标定板图像及对应的机器人末端姿态矩阵,标定初始状态时的数据为初始数据;将机器人按规划路径绕末端坐标系的XYZ三轴进行旋转,得到第一数据集;沿末端坐标系的XYZ三轴进行平移,使标定板均匀分布于工作空间,得到的第二数据集;
S2、利用所述初始数据和第一数据集得到手眼矩阵和标定板安装姿态矩阵的初始值,通过第一数据集、第二数据集对所述手眼矩阵和标定板安装姿态矩阵进行优化,得到手眼矩阵和标定板安装姿态矩阵的最终优化值;
S3、根据得到的手眼矩阵和标定板安装姿态矩阵的最终优化值,计算机器人处于第二数据集中任意节点时的补偿数据;
S4、根据目标位置处附近的节点信息及每个节点的补偿数据以及节点信息中每个节点与目标位置的距离,设置不同权重值,对不同节点的补偿数据进行权重匹配,计算得到目标位置处的实际补偿值。
进一步优选的,在S03中,采用如下公式计算所述计算机器人处于第二数据集中任意节点时的补偿数据;
其中,为节点t的相机的外参矩阵,/>为标定板安装姿态的逆矩阵;/>为手眼矩阵,/>为节点t处的机器人末端的位姿矩阵。
进一步优选的,在S01中,所述第一数据集包括3对数据,分别为:
绕X轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵;
绕Y轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵;
绕Z轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵。
进一步优选的,在S01中,所述第二数据集包括:
机器人沿末端X轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵;
机器人沿末端Y轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵;
机器人沿末端Z轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵;
且机器人在沿X、Y、Z轴平移,得到对应的机器人末端位姿矩阵时,机器人末端位置不共面。
进一步优选的,在S02中,利用所述初始数据和第一数据集得到手眼矩阵和标定板安装姿态矩阵的初始值,包括如下步骤:
S201、根据机器人旋转前采集的标定板的姿态矩阵、/>和旋转后得到的标定板的姿态矩阵/>、/>、/>;计算转动后的标定板相对于转动前的标定板的姿态变换矩阵/>、/>、/>
S202、将姿态变换矩阵通过Rodrigues变换转换为轴角形式,将相机坐标系下的机器人末端 X、Y、Z 轴的方向V X 、V Y 、V Z 和旋转角度(θ X θ Y θ Z ),按照顺序组合成形式作为机器人末端旋转轴的方向;得到机器人末端姿态矩阵/>
S203、从第一数据集中得到的标定板图像中提取旋转前标定板的位置数据TX1、TY1、TZ1和旋转后标定板的位置数据T X2 T Y2 T Z2 ;根据旋转角度θ X θ Y θ Z 和机器人末端旋转轴的方向V X 、V Y 、V Z ,计算相机坐标系下机器人末端X、Y、Z轴上的标定板旋转中心在相机坐标系下的坐标P X P Y P Z
S204、根据相机坐标系下机器人末端X、Y、Z轴上的标定板旋转中心坐标P X P Y P Z 和机器人末端旋转轴的方向V X 、V Y 、V Z ,由点法式直线方程确定相机空间中机器人末端轴所在直线Lx、Ly、Lz,并通过求解直线交点得到机器人末端位置
S205、将S202得到的机器人末端姿态矩阵和S205中得到的机器人末端位置/>合并得到机器人末端的位姿矩阵/>
S206、根据初始状态时机器人末端的位姿矩阵,计算手眼矩阵初始值和标定板安装姿态矩阵初始值/>
其中,为初始状态时标定板在相机坐标系中的位姿矩阵,记为初始相机外参;/>为初始状态时机器人末端的位姿矩阵;/>为初始状态时机器人末端在相机坐标系中的位姿矩阵的逆矩阵。
进一步优选的,还包括,采用Levenberg-Marquardt非线性优化算法对手眼标定得到的手眼矩阵初始值和标定板安装姿态矩阵初始值/>进行优化,设置优化目标函数,将所有标定图像上标定板角点的重投影误差的平方和达到最小值的手眼矩阵和标定板安装姿态矩阵/>作为最优解。
进一步优选的,所述优化目标函数按照如下公式计算:
其中,n为采集数据的数量,m为标定物的角点数量,为第一数据集和第二数据集中的第i个图像中标定板第j个角点的像素坐标,M为相机的内参矩阵,Pwj为第i个图像中标定板第j个角点的世界坐标,sj为比例系数,为P cj 坐标的Z值;其中,优化目标函数中的矩阵及向量均为齐次形式。
进一步优选的,还包括,依据标定板任意角点的世界坐标Pwj,如下公式计算当前模型中标定板的任意角点在相机空间中的坐标;
其中,为由手眼矩阵和标定板安装位姿矩阵推导得到的第i个图像中标定板第j个角点相对于相机坐标系的坐标值。
进一步优选的,还包括,对按照如下公式进行标定板角点重投影的像素位置进行计算:
其中s j 为比例系数,为P cj 坐标的Z值,M为相机的内参矩阵。
本发明还提供一种手眼标定系统,用于实施上述手眼标定方法的步骤,包括数据采集模块、数据处理模块、补偿计算模块;
所述数据采集模块,用于获取相机视野范围内的标定板图像及对应的机器人末端姿态矩阵,标定初始状态时的数据为初始数据;将机器人按规划路径绕末端坐标系的XYZ三轴进行旋转,得到第一数据集;沿末端坐标系的XYZ三轴进行平移,使标定板均匀分布于工作空间,得到的第二数据集;
所述数据处理模块,利用所述初始数据和第一数据集得到手眼矩阵和标定板安装姿态矩阵的初始值,通过第一数据集、第二数据集对所述手眼矩阵和标定板安装姿态矩阵进行优化,得到手眼矩阵和标定板安装姿态矩阵的最终优化值;
所述补偿计算模块,根据得到的手眼矩阵和标定板安装姿态矩阵的最终优化值,计算机器人处于第二数据集中任意的节点时的补偿数据;
根据目标位置处附近的节点信息及每个节点的补偿数据以及节点信息中每个节点与目标位置的距离,设置不同权重值,对不同节点的补偿数据进行权重匹配,得到目标位置处的实际补偿值。
本申请公开的手眼标定方法及系统,相比于现有技术,至少具有以下有益效果:
通过结合特定动作对手眼矩阵的姿态矩阵和位置分别进行标定,无需因保证标定板姿态矩阵的差异性而进行详细规划,只需保证标定板均处于相机有效视野内即可,大大简化了手眼标定流程。
根据区域补偿数据对目标位姿矩阵进行拟合补偿,可避免因机器人绝对定位误差和相机参数的标定误差带来的工作区间各区域手眼矩阵精度有较大差异的问题,提高了相机工作范围内的整体定位精度。
附图说明
图1为本发明手眼标定方法的流程示意图。
图2为本发明手眼标定方法的手眼标定流程示意图。
图3为本发明中第一数据集采集动作示意图。
图4为本发明中第二数据集采集动作示意图。
图5为本发明中最终移动的所有点位效果图。
图6为本发明中机器人末端位置解析计算示意图。
图7为本发明中眼在手外时的手眼系统内位姿矩阵关系简图。
具体实施方式
以下通过附图和具体实施方式对本发明作进一步的详细说明。
如图1所示,本发明一方面实施例提供的手眼标定方法,包括以下步骤:
S1、获取相机视野范围内的标定板图像及对应的机器人末端姿态矩阵,记录标定初始状态时的数据作为初始数据;利用机器人按规划路径绕末端坐标系的XYZ三轴进行旋转,得到第一数据集;沿末端坐标系的XYZ三轴进行平移后,使标定板均匀分布于工作空间,得到的第二数据集;
如图3所示,其中,第一数据集即数据集A包括3对数据,分别为:
绕X轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵;
绕Y轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵;
绕Z轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵;
如图4所示,第二数据集即数据集B包括机器人沿末端XYZ轴平移,使标定板均匀分布于工作空间的若干组标定板图像和机器人末端位姿矩阵,一般标定板图像和机器人末端位姿矩阵的数量应大于4;即机器人沿末端X轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵;机器人沿末端Y轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵;机器人沿末端Z轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵。且机器人在沿X、Y、Z轴平移,得到对应的机器人末端位姿矩阵时,机器人末端位置不共面(第二数据集中各组数据的机器人末端不共面)。最终移动的所有点位效果图如图5所示。图中坐标系{OInit,XInit,YInit,ZInit}为初始状态时机器人末端坐标系,均匀填充工作空间即可,实施方案中一般以网格形式填充。
本步骤中具体列明了上述旋转平移等特定动作,结合这些特定动作,对手眼矩阵的姿态矩阵和位置分别进行标定,无需因保证标定板姿态矩阵的差异性而进行详细规划,只需保证标定板均处于相机有效视野内即可,大大简化了手眼标定流程。
S2、利用所述初始数据和第一数据集得到手眼矩阵和标定板安装姿态矩阵的初始值,通过第一数据集、第二数据集对所述手眼矩阵和标定板安装姿态矩阵进行优化,得到手眼矩阵和标定板安装姿态矩阵的最终优化值;其中,利用所述初始数据和第一数据集得到手眼矩阵和标定板安装姿态矩阵的初始值如下步骤:
S201、根据机器人旋转前采集的标定板的姿态矩阵数据、/>和旋转后得到的标定板的姿态矩阵数据/>、/>、/>
计算转动后的标定板相对于转动前的标定板的姿态矩阵变换矩阵
S202、将姿态矩阵变换矩阵通过Rodrigues变换转换为轴角形式,将相机坐标系下的机器人末端 X、Y、Z 轴的方向V X 、V Y 、V Z 和旋转角度(θ X θ Y θ Z ),按照顺序组合成的向量形式作为机器人末端旋转轴的方向;得到机器人末端姿态矩阵
如图6所示,对于机器人末端位置的计算包括如下过程:
S203、从第一数据集中绕X、Y、Z轴旋转,得到的标定板图像中提取旋转前标定板的位置数据TX1、TY1、TZ1和旋转后标定板的位置数据T X2 T Y2 T Z2 根据旋转角度θ X θ Y θ Z 和机器人末端旋转轴的方向V X 、V Y 、V Z ,计算机器人末端X、Y、Z轴上的标定板旋转中心在相机坐标系下的坐标P X P Y P Z
S204、根据相机坐标系下机器人末端X、Y、Z轴上的标定板旋转中心坐标P X P Y P Z 和机器人末端旋转轴的方向V X 、V Y 、V Z ,由点法式直线方程确定相机空间中机器人末端轴所在直线Lx、Ly、Lz,并通过求解直线交点得到机器人末端位置
S205、将S202得到的机器人末端姿态矩阵和S205中得到的机器人末端位置/>合并得到机器人末端的位姿矩阵/>
S206、根据初始状态时机器人末端的位姿矩阵,计算手眼矩阵初始值和标定板安装姿态矩阵初始值/>
其中,为初始状态时标定板在相机坐标系中的位姿矩阵的初始值,即初始相机外参;/>为初始状态时的机器人末端位姿矩阵初始值;/>为初始状态时机器人末端在相机坐标系中的位姿矩阵的逆矩阵。
采用Levenberg-Marquardt非线性优化算法对手眼标定得到的手眼矩阵初始值和标定板安装姿态矩阵初始值/>进行优化;
由于,所有标定板图片的角点的重投影误差最小时,和/>最接近正确值,因此将使所有标定图片上角点的重投影误差的平方和达到最小的/>视为最优解,构建的优化目标函数如下式:
式中n为采集数据的数量,m为标定物的角点数量,为第一数据集和第二数据集中的第i个图像中标定板第j个角点的像素坐标,M为相机的内参矩阵,Pwj为第i个图像中标定板第j个角点的世界坐标,sij为比例系数,其值为由手眼矩阵和标定板安装位姿矩阵,推导得到的第i个图像中标定板第j个角点相对于相机坐标系的坐标Pcj中的Z值,Pcj的计算如下式所示:
上述优化目标函数中的矩阵及向量均为齐次形式。
还包括,对按照如下公式进行标定板角点重投影的像素位置进行计算:
其中s j 为比例系数,为P cj 坐标的Z值,M为相机的内参矩阵。
S3、根据优化后的手眼矩阵和标定板安装姿态矩阵/>,计算机器人处于第二数据集中的节点t时的补偿数据;
其中,为节点t的相机的外参矩阵,/>为标定板安装姿态矩阵的逆矩阵;/>为手眼矩阵,/>为标定板安装姿态矩阵矩阵;
本申请中可以根据规划路径,在规划路径中设置多个节点,因此最终规划路径可以采用节点集合{Hi}表示,此处则选取任意节点t计算机器人处于第二数据集中的节点t时的补偿数据。如图7中,虚线的交点为节点。
S4、根据目标位置处附近的节点信息及每个节点的补偿数据,根据节点信息中每个节点与目标位置的距离,设置不同权重(不同权重,用于设定目标位置周围网格节点的偏差值对于目标位置估计值的影响程度),采用移动最小二乘法拟合估计目标位置处的实际补偿值;对于因机器人绝对定位误差和相机参数的标定误差带来的工作区间各区域手眼矩阵精度有较大差异的问题,通过在工作区间内进行均匀采样,生成节点补偿数据,并通过移动最小二乘法对目标位姿进行拟合补偿,从而提高定位精度。
采用移动最小二乘法拟合估计目标位置处的实际补偿值;包括如下过程:
将在目标点q附近的补偿值近似拟合函数,采用如下多项式函数表示:
式中,={1,2,3...,6},表示位姿矩阵参数化为旋转矢量与位移矢量后的六个维度,m为基函数的项数,/>为三维二次基函数向量,/>为待求系数向量,为位姿矩阵参数化为旋转矢量与位移矢量的目标点q的补偿数据的拟合值。
通过调整系数,使得目标点q附近节点p的补偿数据/>与拟合函数取值之间的差的加权平方和最小,以建立优化模型/>
式中,是具有紧支撑性质的权函数,在离目标点q一定距离内的节点p具有与距离负相关的权重,离目标点q一定距离外的节点p的权重为0。优化模型/>求导,并令其为0以求解系数矩阵/>,然后将/>代入目标点q附近的补偿值近似拟合函数得到拟合函数。
如图5和图7所示,本申请为机器人标定中的眼在手外方式,机器人带动标定板旋转,使标定板出现在相机的采集视野中,机器人基座坐标系和相机坐标系是相对的静止的,两者之间存在一个固定的转换矩阵,标定板坐标系是移动的,本申请需要将标定板的移动矩阵转换为机器人末端矩阵,再将机器人末端矩阵利用与相机矩阵之间的关系,将所有变量转换至相机矩阵。
眼在手上实施方式与眼在手外实施方式不同的地方在于相机与标定板的位置进行了调换,所以在眼在手上实施方式中,可以将标定板坐标系视作眼在手外实施方式中的相机坐标系,而将相机坐标系视作眼在手外实施方式中的标定板坐标系,然后以眼在手外的方式进行眼在手上的手眼标定。眼在手上实施方式相对于眼在手外实施方式改动的地方在于,需在初始状态下先控制末端仅作绕末端坐标轴进行旋转动作,将相机外参的逆代入眼在手外实施方案中的相机外参,求得初始解,然后将机器人看作逆机器人进行标定路径的规划,以达到相机始终对准标定板的效果,然后将标定板坐标系视作眼在手外实施方式中的相机坐标系,而将相机坐标系视作眼在手外实施方式中的标定板坐标系,再以眼在手外的方式进行手眼标定即可。
显然,上述实施例仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种手眼标定方法,其特征在于,包括以下步骤:
S1、获取相机视野范围内的标定板图像及对应的机器人末端姿态矩阵,标定初始状态时的数据为初始数据;将机器人按规划路径绕末端坐标系的XYZ三轴进行旋转,得到第一数据集;沿末端坐标系的XYZ三轴进行平移,使标定板均匀分布于工作空间,得到的第二数据集;
S2、利用所述初始数据和第一数据集得到手眼矩阵和标定板安装姿态矩阵的初始值,通过第一数据集、第二数据集对所述手眼矩阵和标定板安装姿态矩阵进行优化,得到手眼矩阵和标定板安装姿态矩阵的最终优化值;在S2中,利用所述初始数据和第一数据集得到手眼矩阵和标定板安装姿态矩阵的初始值,包括如下步骤:
S201、根据机器人旋转前采集的标定板的姿态矩阵、/>、/>和旋转后得到的标定板的姿态矩阵/>、/>、/>;计算转动后的标定板相对于转动前的标定板的姿态变换矩阵/>、/>、/>
S202、将姿态变换矩阵通过Rodrigues变换转换为轴角形式,将相机坐标系下的机器人末端 X、Y、Z 轴的方向V X 、V Y 、V Z 和旋转角度(θ X θ Y θ Z ),按照顺序组合成形式作为机器人末端旋转轴的方向;得到机器人末端姿态矩阵/>
S203、从第一数据集中得到的标定板图像中提取旋转前标定板的位置数据TX1、TY1、TZ1和旋转后标定板的位置数据T X2 T Y2 T Z2 ;根据旋转角度θ X θ Y θ Z 和机器人末端旋转轴的方向V X 、V Y 、V Z ,计算相机坐标系下机器人末端X、Y、Z轴上的标定板旋转中心在相机坐标系下的坐标P X P Y P Z
S204、根据相机坐标系下机器人末端X、Y、Z轴上的标定板旋转中心坐标P X P Y P Z 和机器人末端旋转轴的方向V X 、V Y 、V Z ,由点法式直线方程确定相机空间中机器人末端轴所在直线Lx、Ly、Lz,并通过求解直线交点得到机器人末端位置
S205、将S202得到的机器人末端姿态矩阵和S205中得到的机器人末端位置合并得到机器人末端的位姿矩阵/>
S206、根据初始状态时机器人末端的位姿矩阵,计算手眼矩阵初始值和标定板安装姿态矩阵初始值/>:
其中,为初始状态时标定板在相机坐标系中的位姿矩阵,记为初始相机外参;为初始状态时机器人末端的位姿矩阵;/>为初始状态时机器人末端在相机坐标系中的位姿矩阵的逆矩阵;
S3、根据得到的手眼矩阵和标定板安装姿态矩阵的最终优化值,计算机器人处于第二数据集中任意节点时的补偿数据;在S3中,采用如下公式计算所述计算机器人处于第二数据集中任意节点时的补偿数据;
其中,为节点t的相机的外参矩阵,/>为标定板安装姿态的逆矩阵; Base H Cam 为手眼矩阵,/>为节点t处的机器人末端的位姿矩阵;
S4、根据目标位置处附近的节点信息及每个节点的补偿数据以及节点信息中每个节点与目标位置的距离,设置不同权重值,对不同节点的补偿数据进行权重匹配,计算得到目标位置处的实际补偿值。
2.根据权利要求1所述的手眼标定方法,其特征在于,在S1中,所述第一数据集包括3对数据,分别为:
绕X轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵;
绕Y轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵;
绕Z轴旋转前后得到的标定板图像和对应的机器人末端位姿矩阵。
3.根据权利要求1所述的手眼标定方法,其特征在于,在S1中,所述第二数据集包括:
机器人沿末端X轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵;
机器人沿末端Y轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵;
机器人沿末端Z轴平移前后得到的标定板图像和对应的机器人末端位姿矩阵;
且机器人在沿X、Y、Z轴平移,得到对应的机器人末端位姿矩阵时,机器人末端位置不共面。
4.根据权利要求1所述的手眼标定方法,其特征在于,还包括,采用Levenberg-Marquardt非线性优化算法对手眼标定得到的手眼矩阵初始值和标定板安装姿态矩阵初始值/>进行优化,设置优化目标函数,将所有标定图像上标定板角点的重投影误差的平方和达到最小值的手眼矩阵 Base H Cam 和标定板安装姿态矩阵 End H Cal 作为最优解。
5.根据权利要求4所述的手眼标定方法,其特征在于,所述优化目标函数按照如下公式计算:
其中,n为采集数据的数量,m为标定物的角点数量,为第一数据集和第二数据集中的第i个图像中标定板第j个角点的像素坐标,M为相机的内参矩阵,Pwj为第i个图像中标定板第j个角点的世界坐标,sj为比例系数,为P cj 坐标的Z值;其中,优化目标函数中的矩阵及向量均为齐次形式。
6.根据权利要求5所述的手眼标定方法,其特征在于,还包括,依据标定板任意角点的世界坐标Pwj,如下公式计算当前模型中标定板的任意角点在相机空间中的坐标;
其中,为由手眼矩阵和标定板安装位姿矩阵推导得到的第i个图像中标定板第j个角点相对于相机坐标系的坐标值。
7.根据权利要求5所述的手眼标定方法,其特征在于,还包括,对按照如下公式进行标定板角点重投影的像素位置进行计算:
其中s j 为比例系数,为P cj 坐标的Z值,M为相机的内参矩阵。
8.一种手眼标定系统,用于实施上述权利要求1-7中任意一项手眼标定方法的步骤,其特征在于,包括数据采集模块、数据处理模块、补偿计算模块;
所述数据采集模块,用于获取相机视野范围内的标定板图像及对应的机器人末端姿态矩阵,标定初始状态时的数据为初始数据;将机器人按规划路径绕末端坐标系的XYZ三轴进行旋转,得到第一数据集;沿末端坐标系的XYZ三轴进行平移,使标定板均匀分布于工作空间,得到的第二数据集;
所述数据处理模块,利用所述初始数据和第一数据集得到手眼矩阵和标定板安装姿态矩阵的初始值,通过第一数据集、第二数据集对所述手眼矩阵和标定板安装姿态矩阵进行优化,得到手眼矩阵和标定板安装姿态矩阵的最终优化值;
所述补偿计算模块,根据得到的手眼矩阵和标定板安装姿态矩阵的最终优化值,计算机器人处于第二数据集中任意的节点时的补偿数据;
根据目标位置处附近的节点信息及每个节点的补偿数据以及节点信息中每个节点与目标位置的距离,设置不同权重值,对不同节点的补偿数据进行权重匹配,得到目标位置处的实际补偿值。
CN202311694437.5A 2023-12-12 2023-12-12 一种手眼标定方法及系统 Active CN117381800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311694437.5A CN117381800B (zh) 2023-12-12 2023-12-12 一种手眼标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311694437.5A CN117381800B (zh) 2023-12-12 2023-12-12 一种手眼标定方法及系统

Publications (2)

Publication Number Publication Date
CN117381800A CN117381800A (zh) 2024-01-12
CN117381800B true CN117381800B (zh) 2024-02-06

Family

ID=89467033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311694437.5A Active CN117381800B (zh) 2023-12-12 2023-12-12 一种手眼标定方法及系统

Country Status (1)

Country Link
CN (1) CN117381800B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910223A (zh) * 2016-11-02 2017-06-30 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法
CN112223285A (zh) * 2020-09-30 2021-01-15 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112454366A (zh) * 2020-12-08 2021-03-09 山东省科学院激光研究所 一种手眼标定方法
WO2022141445A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置
CN115383749A (zh) * 2022-10-25 2022-11-25 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质
WO2023078884A1 (de) * 2021-11-04 2023-05-11 Vathos Gmbh Ansteuerung eines industrieroboters für eine greifaufgabe
CN117017495A (zh) * 2023-09-11 2023-11-10 江苏集萃智能制造技术研究所有限公司 基于ckf的手术机器人高精度自动手眼标定方法及系统
CN117103277A (zh) * 2023-10-09 2023-11-24 南京邮电大学 一种基于多模态数据融合的机械手臂感知方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910223A (zh) * 2016-11-02 2017-06-30 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法
CN112223285A (zh) * 2020-09-30 2021-01-15 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112454366A (zh) * 2020-12-08 2021-03-09 山东省科学院激光研究所 一种手眼标定方法
WO2022141445A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置
WO2023078884A1 (de) * 2021-11-04 2023-05-11 Vathos Gmbh Ansteuerung eines industrieroboters für eine greifaufgabe
CN115383749A (zh) * 2022-10-25 2022-11-25 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质
CN117017495A (zh) * 2023-09-11 2023-11-10 江苏集萃智能制造技术研究所有限公司 基于ckf的手术机器人高精度自动手眼标定方法及系统
CN117103277A (zh) * 2023-10-09 2023-11-24 南京邮电大学 一种基于多模态数据融合的机械手臂感知方法

Also Published As

Publication number Publication date
CN117381800A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN107738254B (zh) 一种机械臂坐标系的转换标定方法与系统
CN109859275B (zh) 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN109910016B (zh) 基于多自由度机械臂的视觉采集标定方法、装置及系统
CN106457562B (zh) 用于校准机器人的方法和机器人系统
CN107639635B (zh) 一种机械臂位姿误差标定方法及系统
CN110695991B (zh) 基于变异粒子群优化的自动手眼标定方法
CN110136204B (zh) 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统
CN110253574B (zh) 一种多任务机械臂位姿检测和误差补偿方法
CN113160334B (zh) 一种基于手眼相机的双机器人系统标定方法
Wang et al. A vision-based fully-automatic calibration method for hand-eye serial robot
CN114310901B (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN113211445B (zh) 一种机器人参数标定方法、装置、设备及存储介质
CN111915685B (zh) 一种变焦摄像机标定方法
CN114066983A (zh) 一种基于两轴转台的智能补扫方法和计算机可读存储介质
CN113296395A (zh) 一种特定平面内的机器人手眼标定方法
CN114714348B (zh) 一种工业机器人绝对定位精度提高方法
CN116823964A (zh) 相机-振镜变视线系统的物理参数模型及其标定方法
CN114029982A (zh) 一种相机在机器臂外的手眼标定装置及其标定方法
CN114474003A (zh) 一种基于参数辨识的车载建筑机器人误差补偿方法
CN117381800B (zh) 一种手眼标定方法及系统
CN114083534A (zh) 基于自适应梯度下降的机械臂运动学mdh参数标定方法
CN112894814A (zh) 一种基于最小二乘法的机械臂dh参数辨识方法
CN109895098B (zh) 一种机器人结构参数和手眼关系的统一标定模型
CN115446836B (zh) 一种基于多种图像特征信息混合的视觉伺服方法
CN113359461B (zh) 一种适用于仿生眼系统的运动学标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant