CN111546328B - 基于三维视觉测量的手眼标定方法 - Google Patents

Abstract

本发明公开了一种基于三维视觉测量的手眼标定方法，采用眼在手系统(eye‑in‑hand)配置，将三维视觉传感器固定在机器人末端，通过在不同机器人位姿下测量尺寸已知的标定球即可计算出手眼变换矩阵。主要过程如下：首先将标定球置于机器人的工作空间中；然后驱动机器人末端到达测量位姿，即标定球处于三维视觉传感器的视场内；随后三维视觉传感器测量标定球三维轮廓，并计算球心坐标，完成后机器人末端移动到下一位姿继续测量；最后将多次测量数据和相应机器人位姿数据传送到数据处理系统，通过手眼标定算法即可解算出手眼变换矩阵。该方法操作简单，优化求解过程考虑了手眼标定数据误差，求解精度高，具有很高的工程应用价值。

Description

基于三维视觉测量的手眼标定方法

技术领域

本发明涉及手眼标定方法，具体为一种三维视觉测量的手眼标定方法。

背景技术

手眼标定是确定固定在机器人末端的视觉传感器(单目相机、双目立体视觉三维视觉传感器、激光传感器等)与机器人末端之间的刚体变换关系，是机器视觉领域中最基本的问题。关于手眼标定的研究可以追溯到20世纪70年代，至今对这一问题已经进行了大量的研究，并提出了许多有效的方法。

目前，按照解算手眼变换矩阵的过程进行分类，可以分为三大类。第一类属于分步求解法，这类方法是将手眼变换矩阵中的旋转部分与平移部分分开求解，存在误差传递问题。第二类方法属于同步求解法，即同步求解旋转部分和平移部分，但有的方法不能保证求解的旋转变换矩阵具有正交性。第三类是迭代优化法，这类方法求解过程复杂，计算量相对较大，并且求解精度通常依赖于迭代初值的选取。总的来说，大多数手眼标定方法只关注于通过建立等式关系解算手眼变换矩阵，或者在解算过程中如何避免误差传递问题，很少研究将手眼标定数据误差考虑到手眼变换矩阵的解算过程中，这是许多方法求解手眼变换矩阵精度不高的原因。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够使求解精度更高的基于三维视觉测量的手眼标定方法。

本发明的基于三维视觉测量的手眼标定方法，包括以下步骤：

步骤一、数据处理前准备：

第一步，连接设备，过程如下：

采用眼在手系统，将三维视觉传感器固定在工业机器人的末端，三维视觉传感器通过数据线与数据处理系统相连，数据处理系统与工业机器人的控制器连接并在机器人工作空间内固定一个尺寸已知的标定球；

第二步，驱动工业机器人使标定球处于三维视觉传感器的视场内，随后三维视觉传感器测量标定球三维轮廓，三维视觉传感器计算出在三维视觉传感器坐标系下的标定球的球心坐标并将标定球的球心坐标传送到数据处理系统，工业机器人的控制器将与测量标定球球心所对应的机器人末端位姿数据传送到数据处理系统；

第三步，工业机器人移动到下一位姿重复第二步，直至采集到足够多的机器人末端位姿数据以及与机器人末端位姿数据相对应的标定球的球心坐标数据；

步骤二、当所有的球心坐标数据和机器人末端位姿数据分别传送到数据处理系统后，数据处理系统解算手眼变换矩阵，具体步骤如下：

第一步，在机器人基坐标系下表示标定球的球心的多位姿测量结果：

p^b表示标定球的球心P在机器人基坐标系下的齐次坐标，

表示在三维视觉传感器坐标系下对标定球第n次测量获得的球心齐次坐标，

是三维视觉传感器坐标系到机器人末端坐标系的坐标变换矩阵，为待求解的未知量，

是采用三维视觉传感器对标定球进行第n次测量时，机器人末端坐标系到机器人基坐标系的坐标变换矩阵；

第二步，根据公式(1)中的标定球与机器人基坐标几何关系，建立约束方程：

第三步，将等式(2)转化为线性方程组：

A_ix＝b_i (3)

式中

i＝2,3...n，

b_i＝t_i-t₁，p_si是与

对应的非齐次坐标，R_i和t_i分别是

的旋转变换矩阵和平移量，R_h和t_h分别是

的旋转变换矩阵和平移量，

表示克罗内克积，vec()表示向量化运算，如果r₁，r₂，r₃分别是R_h的第一个列向量、第二个列向量，第三个列向量，则

^T表示转置符号；

第四步，建立关于手眼变换参数x的含约束的最小二乘优化模型：

第五步，采用拉格朗日乘子方法对手眼变换参数x进行求解，得到手眼变换参数x:

第六步，以三维视觉传感器坐标系的第一个测量的标定球的球心结果作为参考点，建立关于马氏距离误差均方和的目标函数F，如等式(6)、(7)、(8)所示；

式中p_s1i(R_i,R₁,R_h,t_h)表示三维视觉传感器在第i个机器人位姿下对标定球球心的测量值变换到第一个机器人位姿下的坐标，i＝2,3…n，Σ_si表示三维视觉传感器测量标定球球心数据误差的协方差，Σ_ri表示机器人位姿数据中平移量误差的协方差，i＝1,2…n，Σ_Ci表示在传感器坐标系下且包含了标定球球心坐标误差和机器人位姿中平移量误差的综合协方差，C_i＝(R₁·R_h)^T·R_i·R_h，i＝2,3…n，目标函数等式(6)中旋转变换矩阵R_i,R₁,R_h分别采用三维向量ω_i,ω₁,ω_h表示，ω_i,ω₁,ω_h的方向分别与旋转变换矩阵R_i,R₁,R_h所对应的旋转轴平行，向量的模分别等于对应的旋转变换矩阵R_i,R₁,R_h的旋转角度，并且旋转变换矩阵R_i,R₁,R_h与三维向量ω_i,ω₁,ω_h的转换关系通过罗德里格斯旋转公式求得；

第七步，采用LM算法优化求解目标函数等式(6)中参数变量ω_i,ω₁,ω_h,t_h，等式(6)的优化求解过程等价地表示为下式(9):

本步骤中LM算法的初始值选取、梯度向量、海塞矩阵的结构以及旋转变换矩阵的迭代更新，具体方法分别如下：

初值选取：将含约束的最小二乘优化结果，即等式(5)手眼变换参数x的求解结果作为优化过程中目标函数F的初始值F₀；

梯度向量和海塞矩阵：将等式(5)的结果代入等式(6)得到目标函数F的初始值F₀，并且在初值F₀处进行泰勒级数展开得到等式(10)，目标函数F的梯度向量

和海塞矩阵

的具体结构如等式(11)所示：

式中

为目标函数F的梯度向量，

为近似的海塞矩阵，δf为f的微小变量，

为参数变量，对于任意n维向量λ,设向量p(λ)是关于变量λ的一个n×1向量函数，M为n×n的矩阵，定义函数G＝p(λ)^TMp(λ),则函数G的梯度向量和近似的海塞矩阵分别为：

设ω_w,w＝1,i,h，在计算目标函数F的梯度向量

时，涉及到目标函数中旋转变换矩阵R_w对变量ω_w的微分形式，计算公式参见等式(12)，旋转变换矩阵R_w属于特殊正交群SO(3)的元素,R_w微分有如下关系：

δR_w＝R_w[δω_w] (12)

式中[δω_w]为反对称矩阵属于李代数so(3)的元素，[]表示将向量转化为反对称矩阵的运算，δω_w表示微小变化量；

旋转变换矩阵的迭代更新：设δω_w是等式(9)优化过程中求解的迭代变量，则目标函数F中的旋转变换矩阵R_w的迭代更新通过等式(13)得到：

R_w←R_wexp([δω_w]) (13)。

与现有技术相比，本发明的有益效果在于：本发明方法采用两步迭代优化的方法求解手眼变换矩阵。以含约束的最小二乘优化求解作为下一步迭代过程的初值，第二步迭代则从统计学角度建立基于马氏距离误差均方和最小的目标函数，并且考虑了手眼标定数据误差，对手眼变化参数进一步优化。本发明在求解手眼变换矩阵过程中考虑了传感器的测量误差和机器人位姿中平移量误差，能够使求解精度更高，本发明方法可方便可靠地应用到实际工程领域。

附图说明

图1是本发明基于三维视觉测量的手眼标定方法装置连接示意图；

图2是本发明方法的流程图；

图3是哑光陶瓷球板在两个位置下的点云拼接图；

图4是图3中球A在不同视角的局部放大图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整的描述，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2所示基于三维视觉测量的手眼标定方法，包括如下步骤：

步骤一、数据处理前准备：

第一步，连接设备，过程如下：

采用眼在手系统(eye-in-hand)，配置如图1所示，将三维视觉传感器2固定在工业机器人1的末端。三维视觉传感器2通过数据线与数据处理系统4相连。数据处理系统4与工业机器人1的控制器连接并在机器人工作空间内固定一个尺寸已知的标定球；

第二步，驱动工业机器人1使标定球3处于三维视觉传感器2的视场内，随后三维视觉传感器2测量标定球三维轮廓，三维视觉传感器2计算出在三维视觉传感器坐标系下的标定球的球心坐标并将标定球的球心坐标传送到数据处理系统4。工业机器人1的控制器将与测量标定球球心所对应的机器人末端位姿数据传送到数据处理系统4；三维视觉传感器市场有售，自带测量标定球球心坐标的功能。

第三步，工业机器人2移动到下一位姿重复第二步，直至采集到足够多的机器人末端位姿数据以及与机器人末端位姿数据相对应的标定球的球心坐标数据(一般为20组数据，即20个球心测量数据和20个机器人末端位姿数据)；

步骤二、当所有的球心坐标数据和机器人末端位姿数据分别传送到数据处理系统4后，数据处理系统4解算手眼变换矩阵，具体步骤如下：

第一步，在机器人基坐标系下表示标定球的球心的多位姿测量结果：

p^b表示标定球的球心P在机器人基坐标系下的齐次坐标，

表示在三维视觉传感器坐标系下对标定球第n次测量获得的球心齐次坐标，

是三维视觉传感器坐标系到机器人末端坐标系的坐标变换矩阵，为待求解的未知量，

是采用三维视觉传感器对标定球进行第n次测量时，机器人末端坐标系到机器人基坐标系的坐标变换矩阵。当机器人本体标定完成后，其为已知量；

第二步，根据公式(1)中的标定球与机器人基坐标几何关系，建立约束方程：

第三步，将等式(2)转化为线性方程组：

A_ix＝b_i (3)

式中

i＝2,3...n，

b_i＝t_i-t₁，p_si是与

对应的非齐次坐标，R_i和t_i分别是

的旋转变换矩阵和平移量，R_h和t_h分别是

的旋转变换矩阵和平移量，

表示克罗内克积，vec()表示向量化运算，如果r₁，r₂，r₃分别是R_h的第一个列向量、第二个列向量，第三个列向量，则

^T表示转置符号；

第四步，建立关于手眼变换参数x的含约束的最小二乘优化模型：

第五步，采用拉格朗日乘子方法对手眼变换参数x进行求解，得到手眼变换参数x:

第六步，以三维视觉传感器坐标系的第一个测量的标定球的球心结果作为参考点，建立关于马氏距离误差均方和的目标函数F，如等式(6)、(7)、(8)所示；

式中p_s1i(R_i,R₁,R_h,t_h)表示三维视觉传感器在第i个机器人位姿下对标定球球心的测量值变换到第一个机器人位姿下的坐标，i＝2,3…n。Σ_si表示三维视觉传感器测量标定球球心数据误差的协方差，Σ_ri表示机器人位姿数据中平移量误差的协方差，i＝1,2…n。Σ_Ci表示在传感器坐标系下且包含了标定球球心坐标误差和机器人位姿中平移量误差的综合协方差，C_i＝(R₁·R_h)^T·R_i·R_h，i＝2,3…n。目标函数等式(6)中旋转变换矩阵R_i,R₁,R_h分别采用三维向量ω_i,ω₁,ω_h表示，ω_i,ω₁,ω_h的方向分别与旋转变换矩阵R_i,R₁,R_h所对应的旋转轴平行，向量的模分别等于对应的旋转变换矩阵R_i,R₁,R_h的旋转角度，并且旋转变换矩阵R_i,R₁,R_h与三维向量ω_i,ω₁,ω_h的转换关系通过罗德里格斯旋转公式求得。

第七步，采用LM算法(具体参见电子工业出版社，1995年出版《C语言数值算法程序大全：第二版》(Numerical Recipes in C))优化求解目标函数等式(6)中参数变量ω_i,ω₁,ω_h,t_h。等式(6)的优化求解过程可以等价地表示为下式(9)

本步骤中除LM算法的初始值选取、梯度向量、海塞矩阵的结构以及旋转变换矩阵的迭代更新外均和现有的LM算法相同，其中LM算法的初始值选取、梯度向量、海塞矩阵的结构以及旋转变换矩阵的迭代更新，具体方法分别如下：

初值选取：非线性迭代优化的求解精度取决于初值的选取。这里将含约束的最小二乘优化结果，即等式(5)手眼变换参数x的求解结果作为优化过程中目标函数F的初始值F₀。通常等式(5)的求解精度较高，这对进一步优化手眼变换参数提供保障；

梯度向量和海塞矩阵：将等式(5)的结果代入等式(6)得到目标函数F的初始值F₀，并且在初值F₀处进行泰勒级数展开得到等式(10)，目标函数F的梯度向量

和海塞矩阵

的具体结构如等式(11)所示：

式中

为目标函数F的梯度向量，

为近似的海塞矩阵，δf为f的微小变量，

为参数变量。对于任意n维向量λ,设向量p(λ)是关于变量λ的一个n×1向量函数，M为n×n的矩阵，定义函数G＝p(λ)^TMp(λ),则函数G的梯度向量和近似的海塞矩阵分别为：

设ω_w,w＝1,i,h，在计算目标函数F的梯度向量

时，涉及到目标函数中旋转变换矩阵R_w对变量ω_w的微分形式，计算公式参见等式(12)。旋转变换矩阵R_w属于特殊正交群SO(3)的元素,R_w微分有如下关系：

δR_w＝R_w[δω_w] (12)

式中[δω_w]为反对称矩阵属于李代数so(3)的元素，[]表示将向量转化为反对称矩阵的运算，δω_w表示微小变化量。

旋转变换矩阵的迭代更新：设δω_w是等式(9)优化过程中求解的迭代变量，则目标函数F中的旋转变换矩阵R_w的迭代更新通过等式(13)得到：

R_w←R_w exp([δω_w]) (13)

实施例1

为了说明本发明方法的有效性，将一个哑光陶瓷球板置于机器人的工作空间内，从不同视角采集球板的点云，并将点云拼接到同一坐标系下。若求解的手眼精度足够高，则能得到更为完整的点云，否则拼接的点云会存在明显间隙，如图3和图4所示。图3展示了将两个测量位置下的点云通过手眼变换矩阵拼接成一个完整的点云结果。图3中的字母和数字为点云测量结果。其中有些字母测量结果不清楚，这是由于亚光陶瓷球标注的字母和数字为黑色，而三维视觉传感器2对带有黑色的表面测量不敏感而产生的结果，与本发明的技术验证无关，特此说明。图4为在不同观察视角下对拼接点云的局部展示结果。从图3和图4可以看出，亚光陶瓷球板的点云拼接结果较佳，无明显间隙。为了定量验证手眼标定精度，三维视觉传感器从9个不同位置测量标定球，并将不同位置下的球心测量结果统一变换到机器人基坐标系下，然后以基坐标系下的坐标均值作为标准值，与变换后的球心坐标对比即可得到球心误差，其结果如表1所示。从表中可以看出，在不同位置测量的球心坐标变换到机器人基坐标系后，在三个方向的坐标变化很小，球心误差也很小，进而说明了手眼标定的精度。

表1实验结果

本发明未述及之处适用于现有技术。

Claims (1)

1.基于三维视觉测量的手眼标定方法，其特征在于包括如下步骤：

步骤一、数据处理前准备：

第一步，连接设备，过程如下：

采用眼在手系统，将三维视觉传感器固定在工业机器人的末端，三维视觉传感器通过数据线与数据处理系统相连，数据处理系统与工业机器人的控制器连接并在机器人工作空间内固定一个尺寸已知的标定球；

第二步，驱动工业机器人使标定球处于三维视觉传感器的视场内，随后三维视觉传感器测量标定球三维轮廓，三维视觉传感器计算出在三维视觉传感器坐标系下的标定球的球心坐标并将标定球的球心坐标传送到数据处理系统，工业机器人的控制器将与测量标定球球心所对应的机器人末端位姿数据传送到数据处理系统；

第三步，工业机器人移动到下一位姿重复第二步，直至采集到足够多的机器人末端位姿数据以及与机器人末端位姿数据相对应的标定球的球心坐标数据；

步骤二、当所有的球心坐标数据和机器人末端位姿数据分别传送到数据处理系统后，数据处理系统解算手眼变换矩阵，具体步骤如下：

第一步，在机器人基坐标系下表示标定球的球心的多位姿测量结果：

p^b表示标定球的球心P在机器人基坐标系下的齐次坐标，

表示在三维视觉传感器坐标系下对标定球第n次测量获得的球心齐次坐标，

是三维视觉传感器坐标系到机器人末端坐标系的坐标变换矩阵，为待求解的未知量，

是采用三维视觉传感器对标定球进行第n次测量时，机器人末端坐标系到机器人基坐标系的坐标变换矩阵；

第二步，根据公式(1)中的标定球与机器人基坐标几何关系，建立约束方程：

第三步，将等式(2)转化为线性方程组：

A_ix＝b_i (3)

式中

b_i＝t_i-t₁，p_si是与

对应的非齐次坐标，R_i和t_i分别是

的旋转变换矩阵和平移量，R_h和t_h分别是

的旋转变换矩阵和平移量，

表示克罗内克积，vec()表示向量化运算，如果r₁，r₂，r₃分别是R_h的第一个列向量、第二个列向量，第三个列向量，则

^T表示转置符号；

第四步，建立关于手眼变换参数x的含约束的最小二乘优化模型：

第五步，采用拉格朗日乘子方法对手眼变换参数x进行求解，得到手眼变换参数x:

第六步，以三维视觉传感器坐标系的第一个测量的标定球的球心结果作为参考点，建立关于马氏距离误差均方和的目标函数F，如等式(6)、(7)、(8)所示；

式中p_s1i(R_i,R₁,R_h,t_h)表示三维视觉传感器在第i个机器人位姿下对标定球球心的测量值变换到第一个机器人位姿下的坐标，i＝2,3…n，Σ_si表示三维视觉传感器测量标定球球心数据误差的协方差，Σ_ri表示机器人位姿数据中平移量误差的协方差，i＝1,2…n，Σ_Ci表示在传感器坐标系下且包含了标定球球心坐标误差和机器人位姿中平移量误差的综合协方差，C_i＝(R₁·R_h)^T·R_i·R_h，i＝2,3…n，目标函数等式(6)中旋转变换矩阵R_i,R₁,R_h分别采用三维向量ω_i,ω₁,ω_h表示，ω_i,ω₁,ω_h的方向分别与旋转变换矩阵R_i,R₁,R_h所对应的旋转轴平行，向量的模分别等于对应的旋转变换矩阵R_i,R₁,R_h的旋转角度，并且旋转变换矩阵R_i,R₁,R_h与三维向量ω_i,ω₁,ω_h的转换关系通过罗德里格斯旋转公式求得；

第七步，采用LM算法优化求解目标函数等式(6)中参数变量ω_i,ω₁,ω_h,t_h，等式(6)的优化求解过程等价地表示为下式(9):

本步骤中LM算法的初始值选取、梯度向量、海塞矩阵的结构以及旋转变换矩阵的迭代更新，具体方法分别如下：

初值选取：将含约束的最小二乘优化结果，即等式(5)手眼变换参数x的求解结果作为优化过程中目标函数F的初始值F₀；

梯度向量和海塞矩阵：将等式(5)的结果代入等式(6)得到目标函数F的初始值F₀，并且在初值F₀处进行泰勒级数展开得到等式(10)，目标函数F的梯度向量

和海塞矩阵

的具体结构如等式(11)所示：

式中

为目标函数F的梯度向量，

为近似的海塞矩阵，δf为f的微小变量，

为参数变量，对于任意n维向量λ,设向量p(λ)是关于变量λ的一个n×1向量函数，M为n×n的矩阵，定义函数G＝p(λ)^TMp(λ),则函数G的梯度向量和近似的海塞矩阵分别为：

设ω_w,w＝1,i,h，在计算目标函数F的梯度向量

时，涉及到目标函数中旋转变换矩阵R_w对变量ω_w的微分形式，计算公式参见等式(12)，旋转变换矩阵R_w属于特殊正交群SO(3)的元素,R_w微分有如下关系：

δR_w＝R_w[δω_w] (12)

式中[δω_w]为反对称矩阵属于李代数so(3)的元素，[]表示将向量转化为反对称矩阵的运算，δω_w表示微小变化量；

旋转变换矩阵的迭代更新：设δω_w是等式(9)优化过程中求解的迭代变量，则目标函数F中的旋转变换矩阵R_w的迭代更新通过等式(13)得到：

R_w←R_wexp([δω_w]) (13)。

Images