CN114589682B - 一种机器人手眼自动标定的迭代方法 - Google Patents

Abstract

一种机器人手眼自动标定的迭代方法，涉及机器人手眼标定技术领域，该方法控制机器人带动相机对固定在地面的标定板进行多位姿自动拍摄，在此过程中标定板与机器人基座相对位姿关系始终不变，通过对多次拍摄的图片进行计算，得到的标定板位置和方向存在一定误差，迭代修正该误差以求得标定结果。本发明克服了现有技术中标定过程效率较低、标定精度不够的缺陷。该方法实现了自动拍摄标定板，操作简单，减少了机器人手眼标定的工作量和工作时间，无需人为手动调整机器人拍摄标定板，标定时间仅需5‑10分钟，提高了标定效率；基于相机位姿估计得到多次拍摄标定板的位姿，使用迭代方法最小化标定板位姿标准差来优化标定结果，保证了标定精度。

Description

一种机器人手眼自动标定的迭代方法

技术领域

本发明涉及机器人手眼标定技术领域，具体涉及一种机器人手眼自动标定的迭代方法。

背景技术

机器人手眼标定是机器视觉应用中一个基本且关键的问题。机器人手眼标定的目的就是获取视觉传感器坐标系和机器人末端坐标系的相对位姿关系，以便将视觉信息转换到机器人基坐标系下。

现有专利文献，其公布号为CN109454634 A，名称为“一种基于平面图像识别的机器人手眼标定方法”，该方法利用超声波传感器和直线位移传感器检测出被研究平面的偏斜角度，然后手动调整机器人末端姿态，使机器人末端法兰盘和工业相机分别靠近被研究平面上的特征信息点，标定出相机与机器人末端的相对位置关系。该方法需要借助更多的测量仪器，且需操作人员手动示教来调整机器人末端和相机的位姿去靠近平面中的特征点，操作复杂，示教的精确度依赖于人眼的观察，会引入更多的仪器误差和人为误差。

上述标定方法中，因为标定数据采集过程中需要多次人工参与以及过多的测量仪器，所以这个过程不仅效率较低，而且难以保证标定精度。因此，提出一种机器人手眼自动标定的迭代方法。

发明内容

本发明克服了现有技术中标定过程效率较低、标定精度不够的问题，提供一种机器人手眼自动标定的迭代方法，该方法控制机器人带动相机对固定在地面的标定板进行多位姿自动拍摄，在此过程中标定板与机器人基座相对位姿关系始终不变，通过对多次拍摄的图片进行计算，得到的标定板位置和方向存在一定误差，迭代修正该误差以求得标定结果。

一种机器人手眼自动标定的迭代方法，其包括如下步骤：

步骤一，多位姿自动拍摄标定板；

机器人基坐标系记为{B}，机器人末端坐标系记为{E}，相机坐标系记为{C}，标定板球坐标系记为{O}，标定板坐标系记为{W}；

相机固连于机器人末端，随机器人末端运动而运动；

首先，将标定板放置在相机的可视区域，{W}与{B}的空间关系不变；

其次，由标定板与机器人基座位置关系的设计值得到标定板中心在{B}中的初始坐标O_O，以O_O为坐标系原点建立{O}，则{O}相对于{B}的初始变换矩阵

公式(1)中，为{O}相对于{B}的旋转矩阵，为{O}相对于{B}的平移矢量；

由相机与机器人末端位置关系的设计值得到{C}相对于{E}的初始变换矩阵

公式(2)中，为{C}相对于{E}的平移矢量，由3个位置参数θ₁、θ₂、θ₃构成，为{C}相对于{E}的旋转矩阵，由3个欧拉角参数θ₄、θ₅、θ₆构成；

最后，在{O}中，以{O}原点为球心，以ρ为半径的球面上对相机的拍摄位姿按公式(3)进行规划；在ρz平面上，从z轴正半轴向ρ偏转的角度是从x轴偏转到ρz平面的角度是θ；对ρ、θ取不同的值，可以规划不同的相机位姿，即{C}相对于{O}的变换矩阵

公式(3)中，I为3×3的单位矩阵，R(x,-90)、R(y,-θ-90)、分别为绕x、y、x轴的旋转矩阵，为{C}相对于{O}的平移矢量；

将规划得到不同的{C}相对于{O}的变换矩阵记为使用i表示第i个矩阵，则规划得到不同的机器人运行位姿为{E}相对于{B}的变换矩阵为

公式(8)中，等式右边均已知，即可求得根据规划得到的机器人运行位姿完成自动拍摄标定板，得到标定板图像序列总数为n，使用i表示第i张图像，即Image(i)；

步骤二，求标定板坐标系在相机坐标系中的原点坐标与坐标轴正向单位向量；

设每张图像Image(i)对应{W}在{C}中的原点坐标为x、y、z轴正向单位向量分别为^Cn_i、^Co_i、^Ca_i；标定板上的角点在{W}中的坐标已知；

对相机进行位姿估计：

首先，在每张图像Image(i)上选取三个不共线的内角点A、B、C，将A、B、C的像素坐标(u,v)代入公式(9)中，令Z_C＝1，得到{C}中的坐标(X_C,Y_C,1)；

公式(9)中，f为相机焦距，dx和dy分别表示每个像素在x轴和y轴上所占的物理尺寸，u₀和v₀是相机镜头光轴在像素坐标系中投影位置的坐标，γ为镜头畸变参数，所述参数f、dx、dy、u₀、v₀、γ的值已知；

其次，{C}中原点O_C分别与点A、B、C构成的单位向量为点A、B、C与{C}原点O_C的距离为d₁、d₂、d₃，将d₁、d₂、d₃代入公式(10)中，得到点A、B、C在{C}中的坐标；

最后，将点A、B、C在{W}和{C}中的坐标代入公式(11)中，求出{W}与{C}的相对位姿关系；

公式(11)中，为{W}相对于{C}的旋转矩阵，为{W}相对于{C}的平移矢量，(X_W,Y_W,Z_W)为{W}中的坐标；

对于每张图像Image(i)，公式(11)中的即为{W}的原点在{C}中的坐标 中的三个列向量即为{W}的x、y、z轴正向单位向量在{C}中的描述^Cn_i、^Co_i、^Ca_i；

步骤三，求标定板坐标系在机器人基坐标系中的原点坐标与坐标轴正向单位向量；

设 ^Cn_i、^Co_i、^Ca_i对应的{W}在{B}中的原点坐标为x、y、z轴正向单位向量分别为^Bn_i、^Bo_i、^Ba_i；

将 ^Cn_i、^Co_i、^Ca_i代入公式(12)中得到 ^Bn_i、^Bo_i、^Ba_i；

步骤四，计算标定板坐标系在机器人基坐标系中的原点坐标与坐标轴正向单位向量的标准差；

基于贝塞尔公式(13)分别计算 ^Bn_i、^Bo_i、^Ba_i的标准差σ_p、σ_n、σ_o、σ_a；

公式(13)中，为的中心点，^Bn、^Bo、^Ba为^Bn_i、^Bo_i、^Ba_i的中心向量；

步骤五，迭代相机与机器人末端的位姿关系；

根据公式(2)、公式(12)和公式(13)可推出公式(15)，σ_p、σ_n、σ_o、σ_a分别是中6个变量θ₁、θ₂、θ₃、θ₄、θ₅、θ₆的函数；

对6个参数的迭代过程，如公式(16)所示；

公式(16)中，k为迭代次数，j为6个参数的编号，α为学习率，α>0；

判断偏导数是否全部小于阈值Δ；如果任意偏导数大于等于Δ，则基于公式(16)更新中的参数为重复步骤三到步骤五，将代入公式(12)；如果偏导数全部小于Δ，此时{C}相对于{E}的变换矩阵就是手眼标定的结果。

本发明的有益效果在于：该方法实现了自动拍摄标定板，操作简单，减少了机器人手眼标定的工作量和工作时间，无需人为手动调整机器人拍摄标定板，标定时间仅需5-10分钟，提高了标定效率；基于相机位姿估计得到多次拍摄标定板的位姿，使用迭代方法最小化标定板位姿标准差来优化标定结果，保证了标定精度。

附图说明

图1为本发明一种机器人手眼自动标定的迭代方法的流程图；

图2为本发明所述棋盘格标定板示意图；

图3为本发明所述拍摄位姿规划球坐标系示意图；

图4为本发明所述自动拍摄得到的标定板图像序列；

图5为本发明所述位姿估计投影原理示意图；

图6为本发明所述被标定量位置及角度的标准差收敛曲线图。

具体实施方式

以下将结合附图对本发明的具体实施方式做进一步的详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，一种机器人手眼自动标定的迭代方法，包括如下步骤：

步骤一，多位姿自动拍摄标定板。

机器人基坐标系记为{B}，机器人末端坐标系记为{E}，相机坐标系记为{C}，标定板球坐标系记为{O}，标定板坐标系记为{W}。

相机固连于机器人末端，随机器人末端运动而运动。标定板可采用多种形式，本实施例采用黑白棋盘格，每一小格的边长为15mm，如图2所示。

首先，将标定板放置在相机的可视区域，{W}与{B}的空间关系不变。

其次，由标定板与机器人基座位置关系的设计值得到标定板中心在{B}中的初始坐标O_O为(2150,-70,750)，以O_O为坐标系原点建立{O}，则{O}相对于{B}的初始变换矩阵

公式(1)中，为{O}相对于{B}的旋转矩阵，为{O}相对于{B}的平移矢量。

由相机与机器人末端位置关系的设计值得到{C}相对于{E}的初始变换矩阵

公式(2)中，为{C}相对于{E}的平移矢量，由3个位置参数θ₁、θ₂、θ₃构成，为{C}相对于{E}的旋转矩阵，由3个欧拉角参数θ₄、θ₅、θ₆构成。

最后，在{O}中，以{O}原点为球心，以ρ＝850mm为半径的球面上对相机的拍摄位姿按公式(3)进行规划。如图3所示，在ρz平面上，从z轴正半轴向ρ偏转的角度是从x轴偏转到ρz平面的角度是θ。对θ取不同的值，规划不同的相机位姿，即{C}相对于{O}的变换矩阵

公式(3)中，I为3×3的单位矩阵，R(x,-90)、R(y,-θ-90)、分别为绕x、y、x轴的旋转矩阵，为{C}相对于{O}的平移矢量。

将规划得到不同的{C}相对于{O}的变换矩阵记为使用i表示第i个矩阵，则规划得到不同的机器人运行位姿为{E}相对于{B}的变换矩阵为

公式(8)中，等式右边均已知，即可求得 由3个位置参数θ_1i、θ_2i、θ_3i和三个欧拉角参数θ_4i、θ_5i、θ_6i构成。规划得到的中各参数如下表所示：

表1

根据机器人运行位姿完成自动拍摄标定板，得到如图4所示的标定板图像序列图像总数n＝15，使用i表示第i张图像，即Image(i)。

步骤二，求标定板坐标系在相机坐标系中的原点坐标与坐标轴正向单位向量。

设每张图像Image(i)对应{W}在{C}中的原点坐标为x、y、z轴正向单位向量分别为^Cn_i、^Co_i、^Ca_i。标定板上的角点在{W}中的坐标由黑白棋盘格的尺寸决定。

对相机进行位姿估计，其投影原理如图5所示：

首先，在每张图像Image(i)上选取三个不共线的内角点A、B、C，将A、B、C的像素坐标(u,v)代入公式(9)中，令Z_C＝1，得到{C}中的坐标(X_C,Y_C,1)。

公式(9)中，f为相机焦距，dx和dy分别表示每个像素在x轴和y轴上所占的物理尺寸，u₀和v₀是相机镜头光轴在像素坐标系中投影位置的坐标，γ为镜头畸变参数，所述参数f、dx、dy、u₀、v₀、γ的值已知。

其次，{C}中原点O_C分别与点A、B、C构成的单位向量为点A、B、C与{C}原点O_C的距离为d₁、d₂、d₃，将d₁、d₂、d₃代入公式(10)中，得到点A、B、C在{C}中的坐标。

最后，将点A、B、C在{W}和{C}中的坐标代入公式(11)中，求出{W}与{C}的相对位姿关系。

公式(11)中，为{W}相对于{C}的旋转矩阵，为{W}相对于{C}的平移矢量，(X_W,Y_W,Z_W)为{W}中的坐标。

对于每张图像Image(i)，公式(11)中的即为{W}的原点在{C}中的坐标 中的三个列向量即为{W}的x、y、z轴正向单位向量在{C}中的描述^Cn_i、^Co_i、^Ca_i。计算结果如下表所示：

表2

步骤三，求标定板坐标系在机器人基坐标系中的原点坐标与坐标轴正向单位向量。

设 ^Cn_i、^Co_i、^Ca_i对应的{W}在{B}中的原点坐标为x、y、z轴正向单位向量分别为^Bn_i、^Bo_i、^Ba_i。

将 ^Cn_i、^Co_i、^Ca_i代入公式(12)中得到 ^Bn_i、^Bo_i、^Ba_i。

步骤四，计算标定板坐标系在机器人基坐标系中的原点坐标与坐标轴正向单位向量的标准差。

基于贝塞尔公式(13)分别计算 ^Bn_i、^Bo_i、^Ba_i的标准差σ_p、σ_n、σ_o、σ_a。

公式(13)中，为的中心点，^Bn、^Bo、^Ba为^Bn_i、^Bo_i、^Ba_i的中心向量。

步骤五，迭代相机与机器人末端的位姿关系。

根据公式(2)、公式(12)和公式(13)可推出公式(15)，σ_p、σ_n、σ_o、σ_a分别是中6个变量θ₁、θ₂、θ₃、θ₄、θ₅、θ₆的函数。

对6个参数的迭代过程，如公式(16)所示。

公式(16)中，k为迭代次数，j为6个参数的编号，α为学习率，α>0。

判断偏导数是否全部小于阈值Δ。如果任意偏导数大于等于Δ，则基于公式(16)更新中的参数为重复步骤三到步骤五，将代入公式(12)。如果偏导数全部小于Δ，此时{C}相对于{E}的变换矩阵就是手眼标定的结果，如公式(17)所示：

如图6所示，位置标准差最终收敛到1.9659mm，角度标准差最终收敛到0.4256度。该方法实现了手眼自动标定，降低了人为误差，提高了标定效率和标定精度。

Claims (1)

1.一种机器人手眼自动标定的迭代方法，其特征是，其包括如下步骤：

步骤一，多位姿自动拍摄标定板；

机器人基坐标系记为{B}，机器人末端坐标系记为{E}，相机坐标系记为{C}，标定板球坐标系记为{O}，标定板坐标系记为{W}；

相机固连于机器人末端，随机器人末端运动而运动；

首先，将标定板放置在相机的可视区域，{W}与{B}的空间关系不变；

其次，由标定板与机器人基座位置关系的设计值得到标定板中心在{B}中的初始坐标O_O，以O_O为坐标系原点建立{O}，则{O}相对于{B}的初始变换矩阵

公式(1)中，为{O}相对于{B}的旋转矩阵，为{O}相对于{B}的平移矢量；

由相机与机器人末端位置关系的设计值得到{C}相对于{E}的初始变换矩阵

公式(2)中，为{C}相对于{E}的平移矢量，由3个位置参数θ₁、θ₂、θ₃构成，为{C}相对于{E}的旋转矩阵，由3个欧拉角参数θ₄、θ₅、θ₆构成；

最后，在{O}中，以{O}原点为球心，以ρ为半径的球面上对相机的拍摄位姿按公式(3)进行规划；在ρz平面上，从z轴正半轴向ρ偏转的角度是从x轴偏转到ρz平面的角度是θ；对ρ、θ取不同的值，可以规划不同的相机位姿，即{C}相对于{O}的变换矩阵

公式(3)中，I为3×3的单位矩阵，R(x,-90)、R(y,-θ-90)、分别为绕x、y、x轴的旋转矩阵，为{C}相对于{O}的平移矢量；

将规划得到不同的{C}相对于{O}的变换矩阵记为使用i表示第i个矩阵，则规划得到不同的机器人运行位姿为{E}相对于{B}的变换矩阵为

公式(8)中，等式右边均已知，即可求得根据规划得到的机器人运行位姿完成自动拍摄标定板，得到标定板图像序列总数为n，使用i表示第i张图像，即Image(i)；

步骤二，求标定板坐标系在相机坐标系中的原点坐标与坐标轴正向单位向量；

设每张图像Image(i)对应{W}在{C}中的原点坐标为x、y、z轴正向单位向量分别为^Cn_i、^Co_i、^Ca_i；标定板上的角点在{W}中的坐标已知；

对相机进行位姿估计：

首先，在每张图像Image(i)上选取三个不共线的内角点A、B、C，将A、B、C的像素坐标(u,v)代入公式(9)中，令Z_C＝1，得到{C}中的坐标(X_C,Y_C,1)；

公式(9)中，f为相机焦距，dx和dy分别表示每个像素在x轴和y轴上所占的物理尺寸，u₀和v₀是相机镜头光轴在像素坐标系中投影位置的坐标，γ为镜头畸变参数，所述参数f、dx、dy、u₀、v₀、γ的值已知；

其次，{C}中原点O_C分别与点A、B、C构成的单位向量为点A、B、C与{C}原点O_C的距离为d₁、d₂、d₃，将d₁、d₂、d₃代入公式(10)中，得到点A、B、C在{C}中的坐标；

最后，将点A、B、C在{W}和{C}中的坐标代入公式(11)中，求出{W}与{C}的相对位姿关系；

公式(11)中，为{W}相对于{C}的旋转矩阵，为{W}相对于{C}的平移矢量，(X_W,Y_W,Z_W)为{W}中的坐标；

对于每张图像Image(i)，公式(11)中的即为{W}的原点在{C}中的坐标 中的三个列向量即为{W}的x、y、z轴正向单位向量在{C}中的描述^Cn_i、^Co_i、^Ca_i；

步骤三，求标定板坐标系在机器人基坐标系中的原点坐标与坐标轴正向单位向量；

设 ^Cn_i、^Co_i、^Ca_i对应的{W}在{B}中的原点坐标为x、y、z轴正向单位向量分别为^Bn_i、^Bo_i、^Ba_i；

将 ^Cn_i、^Co_i、^Ca_i代入公式(12)中得到 ^Bn_i、^Bo_i、^Ba_i；

步骤四，计算标定板坐标系在机器人基坐标系中的原点坐标与坐标轴正向单位向量的标准差；

基于贝塞尔公式(13)分别计算 ^Bn_i、^Bo_i、^Ba_i的标准差σ_p、σ_n、σ_o、σ_a；

公式(13)中，为的中心点，^Bn、^Bo、^Ba为^Bn_i、^Bo_i、^Ba_i的中心向量；

步骤五，迭代相机与机器人末端的位姿关系；

根据公式(2)、公式(12)和公式(13)可推出公式(15)，σ_p、σ_n、σ_o、σ_a分别是中6个变量θ₁、θ₂、θ₃、θ₄、θ₅、θ₆的函数；

对6个参数的迭代过程，如公式(16)所示；

公式(16)中，k为迭代次数，j为6个参数的编号，α为学习率，α>0；

判断偏导数是否全部小于阈值Δ；如果任意偏导数大于等于Δ，则基于公式(16)更新中的参数为重复步骤三到步骤五，将代入公式(12)；如果偏导数全部小于Δ，此时{C}相对于{E}的变换矩阵就是手眼标定的结果。