CN107053177B - 改进的基于筛选和最小二乘法的手眼标定算法 - Google Patents

Abstract

本发明公开了一种改进的基于筛选和最小二乘法的手眼标定算法，主要由初始数据处理、数据筛选、转置运算、最小二乘法和精度检验组成。数据筛选通过设定角度阈值去除绕旋转轴旋转角度不大于阈值的移动过程数据。转置变换替代传统手眼标定算法求解旋转矩阵过程中的后两次求逆运算，从而减小了由于多次求逆造成的累积误差，改善了传统手眼标定算法。精度检验中提出用投影后的定位误差来衡量标定误差。最小二乘法应用在求解手眼关系旋转矩阵和平移向量中。该算法适用性强，鲁棒性好，而且实验证明在x、y和z三个方向的标定精度均在1mm以内，从而可以更好地标定工业机器人手和眼之间的相对关系，为机器人视觉伺服奠定基础。

Description

改进的基于筛选和最小二乘法的手眼标定算法

技术领域：

本发明提出了一种改进的基于筛选和最小二乘法的手眼标定算法，适用于所有工业机器人的手眼关系标定，标定精度高，为工业机器人视觉伺服控制奠定基础。

背景技术：

机器视觉的发展赋予了机器人可以“看”世界的能力，使得机器人可以更加智能地执行任务。在工业生产中，越来越多的工业机器人配有Eye-in-Hand手眼系统，相机和机器人末端执行器之间的相对位置关系保持不变。手眼标定技术就是在机器人执行任务之前，利用机器人末端位姿信息和主动视觉图像信息确定相机和机器人末端执行器的空间关系。手眼标定的方法主要有张正友平面标定法、Tsai转站法、直积法等。Tsai转站法的不足是需要机器人末端移动较大的角度才能进行标定，否则标定结果误差很大。直积法在噪声明显的情况不稳定。传统的手眼标定算法采用张正友平面标定法，该算法以棋盘格为目标，通过相机采集到的图像结合机器人末端位姿求解方程得到手眼关系。该算法的优点是：方法比较成熟而且操作简单；缺点是：标定板图像易受噪声影响，标定的手眼参数具有随机性而且精度误差无法控制在1mm以内，对机器人工作尤其是对焊接机器人定位焊缝的影响很大。

受限于传统手眼标定算法标定结果随机性大、标定精度难以提高，另外2015年发表的《基于前期筛选和最小二乘法的手眼标定》中的最新的标定算法结合前期筛选和最小二乘法，标定误差在3mm左右，无法控制到1mm以内。本发明采用了设定角度阈值的方法来对移动过程数据进行筛选，阈值选取依赖于移动过程的数据分布，克服了最新传统标定算法依赖运动平台编码器精度的难题；另一方面，用转置运算替换求解手眼关系旋转矩阵中的后两次求逆运算，减小了由于多次求逆运算造成的累计误差，改善了传统手眼标定算法，提高了手眼标定精度。另外，本文提出运用引导滤波的平滑方法去除标定板图像的噪声特征，克服了标定板图像易受噪声影响的缺点；引入示教TCP方法设定机器人末端坐标系，提高手眼关系标定精度。最后，实验证明本发明的标定算法在x、y和z方向的标定精度均在1mm以内。

发明内容：

本专利的发明旨在克服传统手眼标定算法的不足和提高传统手眼标定算法的标定精度，一方面该算法通用性好、鲁棒性强，另一方面该算法标定精度高，为机器人视觉伺服奠定基础。

本发明主要采用如下方案：

改进的基于筛选和最小二乘法的手眼标定算法主要由初始数据处理、数据筛选、转置运算、最小二乘法和精度检验等部分组成，算法流程如图1所示，传统手眼标定算法的原理图如图2所示。所述的初始数据处理是通过采集到的对应位置的机器人位姿数据和标定板图像数据的计算得到矩阵wMe和cMo。所述的数据筛选过程包括选取移动过程、求解移动过程中机器人末端齐次变换矩阵、设定角度阈值和筛选，利用采集到的机器人在每个位置的末端位姿数据选择移动过程，然后求解移动过程中机器人末端的齐次变换矩阵，最后通过设定角度阈值去除绕旋转轴旋转角度不大于阈值的移动过程数据。所述转置变换是将传统手眼标定算法求解旋转矩阵过程中的后两次求逆运算替换为转置运算，减小了由于多次求逆造成的累积误差，改善了传统手眼标定算法，有利于提高手眼标定的精度。所述最小二乘法用来求解手眼关系的旋转矩阵和平移向量，有效降低了数据偶然性对标定精度的影响。所述精度检验就是通过手眼关系矩阵将标定板上的检测点投影到世界坐标系中得到投影点的世界坐标，然后控制机器人运动到投影点后统计定位误差，利用该误差的分布规律来衡量手眼标定精度。

所述初始数据处理是将采集到的位姿数据和图像数据转换为求解手眼关系需要的参量wMe和cMo。其中，机器人末端姿态用旋转向量或者RPY欧拉角表示，对于用旋转向量表示末端姿态的机器人，通过罗德里格斯变换将旋转向量转换成旋转矩阵，从而得到矩阵wMe；对于用RPY欧拉角表示末端姿态的机器人，通过旋转变换通式得到矩阵wMe。对标定板图像先用引导滤波方法做平滑处理，消除噪声特征对标定板角点提取的影响，减小对手眼标定精度的影响，然后借助Matlab标定工具箱标定处理后的图像得到矩阵cMo。

所述数据筛选由移动过程选取与数据求解、阈值选取和筛选等部分组成。所述移动过程选取与数据求解是将通过采集数据的位置，按照图3所示的策略选取移动过程，然后根据位置数据wMe和cMo求解移动过程数据eMe’和cMc’。所述阈值选取和数据筛选是在求得所有移动过程中机器人末端间的齐次变换矩阵eMe’后，根据eMe’对应旋转角的分布情况选取角度阈值，然后去除绕旋转轴旋转角度不大于阈值的移动过程和对应数据。

所述转置运算包括矩阵数据Ae和Ac的求解、手眼关系旋转矩阵分解和转置变换。根据传统手眼标定算法的原理，一组Ae和Ac矩阵的求解需要两个移动过程对应的旋转变量，所以按照类似于根据位置选取移动过程的策略选择两个移动过程的组合，最后计算每个组合对应的Ae和Ac矩阵。所述转置变换替代传统手眼标定算法求解旋转矩阵过程中的后两次求逆运算，然后将手眼关系矩阵旋转矩阵分离成三个行向量，从而将旋转矩阵的求解转换成求解三个线性方程组的问题，减小由于多次求逆造成的累积误差。

所述最小二乘法运用到最后求解旋转矩阵和平移向量的超定方程中，在求解手眼关系旋转矩阵过程中将最小二乘法和转置运算结合到一起，在求解平移向量过程中仍然采用最小二乘法求解超定方程，有利于减小数据偶然性对手眼标定精度的影响。旋转矩阵求解方程如图4所示，平移向量求解方程如图5所示。

所述精度检验就是检验手眼标定算法的精度。本发明分析并指出前人算法利用残差衡量标定精度的不合理性，然后提出用定位误差来衡量手眼标定算法的标定精度。检验精度的具体做法是根据标定板棋盘格的尺寸选择标定板上的角点作为检测点，然后通过手眼关系将检测点投影到世界坐标系中得到世界坐标，然后控制机器人运动到投影点，最后统计误差检验精度。UR5机器人手眼标定的实验数据和标定误差统计分别如图6、图7和图8所示。

本发明通过大量实验指出几个有利于提高手眼标定精度的方向：①机器人末端工具坐标系一定得通过示教TCP的方式得到，不可以按照末端工具的设计尺寸设定；②在不同位置处采集末端数据和标定板图像数据的时候，二者必须一一对应。另外，在采集标定板图像的过程中，应该移动机器人在不同位置不同角度尽可能采集多组数据；③在数据运算过程中，数据精度应该至少要求保留小数点后6位小数；④机器人示教器中显示的位姿数据保留到小数点后两位，实现pc机控制机器人的功能后可以获得更准确的位姿数据，这样也可以适当地提高手眼标定的精度。

本发明改进的手眼标定算法具有以下优点：

1.数据筛选过程中通过移动过程数据的分布来确定角度阈值筛选数据，解除了筛选过程对运动平台编码器精度的依赖性，并且提出利用位置数据选取移动过程数据的策略，减小标定过程中需要采集的数据量。

2.在求解机器人手眼关系的旋转矩阵过程中，用转置运算替代后两次求逆运算，然后分离旋转矩阵后利用最小二乘法求解三个超定线性方程得到旋转矩阵，减小了因为多次求逆运算造成的累计误差，从本质上改善了传统手眼标定算法，并且提高了手眼标定算法的标定精度。

3.本发明给出了不同的方式表示末端位姿的处理方法，为标定带来便利。对标定板图像先做引导滤波处理，消除噪声特征对提取棋盘格角点的影响，然后借助Matlab标定工具箱标定图像，减小了图像数据对手眼标定精度的影响。

4.本发明提出了新的衡量手眼标定精度的方法和测量手眼标定误差的方法，该方法操作简单并且合理。另外，通过大量实验提出了四个有助于进一步提高手眼标定精度的方向。

附图说明

图1为改进的手眼标定算法的流程图；

图2为传统手眼标定算法的原理图；

图3为选取移动过程的策略图；

图4为求解手眼关系旋转矩阵的方程；

图5为求解手眼关系平移向量的方程；

图6为UR5机器人标定实验中采集到的末端位姿数据，位姿由位置和姿态构成，位置用平移向量表示，姿态用旋转向量表示；

图7所示为对应位置标定板图像处理后得到的相机位姿数据，位姿数据由平移向量和旋转向量构成，描述相机坐标系和标定板目标坐标系之间的齐次变换关系；

图8所示为UR5机器人手眼标定精度检验的误差数据，是利用标定好的手眼关系矩阵定位的误差的统计数据；

具体实施方式：

下面结合附图和实例对本发明作进一步描述。

改进的基于筛选和最小二乘法的手眼标定算法主要由初始数据处理、数据筛选、转置运算、最小二乘法和精度检验等部分组成，算法流程如图1所示，传统手眼标定算法的原理图如图2所示。所述初始数据处理是将机器人的位姿数据转换成齐次变换矩阵wMe，并且将标定板图像转换成齐次矩阵数据cMo。所述的数据筛选过程包括选取移动过程、求解每个移动过程的机器人末端的齐次变换矩阵、设定角度阈值和筛选移动过程数据，利用采集到的机器人在每个位置的末端位姿数据选择移动过程，然后求解移动过程中机器人末端的齐次变换矩阵，最后通过设定角度阈值去除绕旋转轴旋转角度不大于阈值的移动过程数据。所述转置变换是将传统手眼标定算法求解旋转矩阵过程中的后两次求逆运算替换为转置运算，从而减小了由于多次求逆造成的累积误差，有利于提高手眼标定的精度。所述最小二乘法用来求解手眼关系的旋转矩阵和平移向量，有效降低了数据偶然性对标定精度的影响。所述精度检验过程是将标定板上的特征点投影到世界坐标系中，控制机器人移动到投影点处然后统计标定误差。

所述初始数据处理是由机器人位姿数据处理和标定板图像数据处理两部分组成。所述机器人位姿数据处理就是将标定过程中采集到的每个位置的机器人末端位姿都转换为齐次变换矩阵wMe，机器人的位姿通过[x,y,z,Rx,Ry,Rz]或者[x,y,z,γ,β,α]表示，[x,y,z]表示位置变换，单位是mm；[Rx,Ry,Rz]和[γ,β,α]表示姿态变换，前者是旋转向量，单位是弧度，后者是RPY欧拉角，单位是度。对于通过[x,y,z,Rx,Ry,Rz]表示末端位姿的机器人，通过罗德里格斯变换将旋转向量转换成旋转矩阵，从而得到齐次矩阵wMe；对于通过[x,y,z,γ,β,α]表示末端位姿的机器人，通过通用的旋转变换得到齐次矩阵wMe，即wMe＝Transl(x,y,z)*Rotz(α)*Roty(β)*Rotx(γ)。所述标定板图像数据处理就是从图像中得到相机和标定板之间的齐次变换矩阵cMo，首先通过引导滤波的平滑方法处理标定板图像，消除噪声特征对标定板特征点提取的影响；然后借助Matlab标定工具箱标定处理后的标定板图像，得到齐次矩阵cMo。

所述数据筛选由移动过程选取与数据求解、阈值选取和筛选等部分组成。所述移动过程选取与数据求解就是从采集数据的对应位置对中选择合适的移动过程并且计算对应的过程数据，选取策略为：假设有n个对应位置，分别编号1,2,3,4,…n，两个不同的点之间可以形成两个移动过程，这两个过程对运算的效果是一样的，所以我们选标号较小的点作为起点。起点为位置1，终点可以选择2,3,4,…n中的任何一个，则位置1对应着n-1个移动过程，位置2对应着n-2个移动过程，以此类推，则n个位置总共可以确定n(n-1)/2个移动过程，从4个位置中选取移动过程的策略图如图3所示，然后通过wMw’＝(wMe)^-1*wMe’得到每个移动过程中机器人末端的相对变换矩阵wMw’，通过cMc’＝cMo*(cMo’)^-1得到每个移动过程中相机的相对变换矩阵cMc’。所谓阈值选取就是先计算wMw’矩阵对应的旋转向量和旋转角，然后按照从左到右旋转角依次增大的顺序将旋转角排序，然后选取左边大约三分之一位置的角度作为角度阈值。所述筛选过程就是按照角度阈值去除绕旋转轴旋转角度不大于阈值的移动过程和数据。

所述转置运算包括矩阵数据Ae和Ac的求解、手眼关系旋转矩阵分解和转置变换。数据筛选过后，将移动过程标号为1,2,3,4,…m，计算每个过程对应的旋转向量ke和kc，其中ke为机器人末端对应的旋转向量，kc为相机对应的旋转向量。每个Ae和Ac的组合需要两组ke和kc的组合，所以按照类似于图3根据位置选取移动过程的策略选择两个移动过程的组合，即移动过程1可以和过程2,3,4,…m中的每个进行组合，过程2可以和过程3,4,…m中的每个进行组合，依次类推，总共得到m(m-1)/2的过程组合，所以总共可以得到m(m-1)/2个Ae和Ac的组合，其中Ae通过Ae＝(ke1,ke2,(ke1)×(ke2))求解，Ac通过Ac＝(kc1,kc2,(kc1)×(kc2))求解。根据传统手眼标定算法原理可得Ac＝Rcg*Ae,其中Rcg是手眼关系中的旋转矩阵，手眼关系矩阵为机器人末端坐标系相对于相机坐标系的齐次变换矩阵。所述转置变换就是对等式Ac＝Rcg*Ae两边同时求转置得到Ae^T*Rcg^T＝Ac^T，将矩阵Rcg和Ac写成列向量的形式，分别为Rcg＝(Rcg1,Rcg2,Rcg3)^T和Ac＝(Ac1,Ac2,Ac3)^T，其中，Rcg1、Rcg2和Rcg3分别为矩阵Rcg的第一行、第二行和第三行，Ac1、Ac2和Ac3分别为矩阵Ac的第一行、第二行和第三行，则通过Ae^T*Rcg^T＝Ac^T求解旋转矩阵Rcg转化成求解Ae^T*Rcg1^T＝Ac1^T、Ae^T*Rcg2^T＝Ac2^T和Ae^T*Rcg3^T＝Ac3^T三个线性方程组的问题，然后将Ae和Ac按顺序依次排列，最后得到三个超定线性方程组，如图4所示，利用最小二乘法求解三个线性方程组得到Rcg1^T、Rcg2^T和Rcg3^T，从而得到手眼关系旋转矩阵Rcg；利用(Rc-I)*Tcg＝Rcg*Ae-Ac求解手眼关系cMe的平移向量Tcg，其中Rc为Ac对应的旋转矩阵，I为3乘3的单位矩阵，Rcg为手眼关系的旋转矩阵，该方程为线性方程，将每一组Ae和Ac数据按顺序排列得到求解Tcg的超定线性方程，如图5所示，然后利用最小二乘法求解得到Tcg，从而得到手眼关系矩阵cMo。转置变换替代了传统手眼标定算法求解旋转矩阵过程中的后两次求逆运算，减小了由于多次求逆造成的累积误差，然后将旋转矩阵分离成三个行向量，将旋转矩阵的求解分离成三个线性方程的求解，然后将所有实验矩阵数据有序排列，最后将旋转矩阵求解变成三个超定线性方程组的求解。

所述最小二乘法运用到最后求解旋转矩阵和平移向量的超定方程中，在求解手眼关系旋转矩阵过程中将最小二乘法和转置运算结合到一起，在求解平移向量过程中仍然采用最小二乘法求解超定方程，有利于减小数据偶然性对手眼标定精度的影响。

所述精度检验就是检验手眼标定算法的精度。本发明分析并指出前人算法利用残差衡量标定精度的不合理性，然后提出用定位误差来衡量手眼标定算法的标定精度。检验精度的具体做法是根据标定板棋盘格的尺寸选择标定板上的一些角点作为检测点po，将坐标扩展成po＝(x，y，0，1)^T的形式，然后通过手眼关系将检测点投影到世界坐标系中得到世界坐标pw，其中pw＝wMe*inv(cMe)*cMo*po，然后控制机器人运动到投影点，最后统计误差检验精度。

Claims (4)

1.改进的基于筛选和最小二乘法的手眼标定算法，主要由初始数据处理、数据筛选、转置运算、最小二乘法和精度检验五部分组成，其特征在于：

所述的初始数据处理是通过采集到的对应位置的机器人位姿数据和标定板图像数据的计算得到矩阵wMe和cMo，其中wMe矩阵表示世界坐标系到机器人末端坐标系的位姿变换，cMo矩阵表示相机坐标系到标定板目标坐标系的位姿变换；所述的数据筛选包括移动过程选取与数据求解、阈值选取与筛选，利用采集到的机器人在每个位置的末端位姿数据选择移动过程，然后求解移动过程中机器人末端的齐次变换矩阵，最后通过设定角度阈值去除绕旋转轴旋转角度不大于阈值的移动过程数据；所述转置运算是将传统手眼标定算法求解旋转矩阵过程中的后两次求逆运算替换为转置运算，减小了由于多次求逆造成的累积误差，改善了传统手眼标定算法，有利于提高手眼标定的精度；所述最小二乘法用来求解手眼关系的旋转矩阵和平移向量，有效降低了数据偶然性对标定精度的影响；所述精度检验就是通过手眼关系矩阵将标定板上的检测点投影到世界坐标系中得到投影点的世界坐标，然后控制机器人运动到投影点后统计定位误差，利用该误差的分布规律来衡量手眼标定精度。

2.根据权利要求1所述的改进的基于筛选和最小二乘法的手眼标定算法，数据筛选由移动过程选取与数据求解、阈值选取与筛选组成，其特征在于：

所述移动过程选取与数据求解是首先将采集数据的不同位置进行数字标记，然后选择起始位置和终止位置从而形成移动过程，最后根据位姿数据wMe和cMo求解移动过程数据eMe’和cMc’，其中eMe’和cMc’分别表示机器人从一个运动过程的起始位置运动到终止位置时机器人末端坐标系的位姿变换和相机坐标系的位姿变换；所述阈值选取与筛选是在求得所有移动过程中机器人末端坐标系在不同移动过程中的齐次变换矩阵eMe’后，根据eMe’对应旋转角的分布情况选取角度阈值，然后去除绕旋转轴旋转角度不大于阈值的移动过程和对应数据。

3.根据权利要求1所述的改进的基于筛选和最小二乘法的手眼标定算法，转置运算由矩阵数据Ae和Ac的求解、手眼关系旋转矩阵分解和转置变换组成，其特征在于：

根据传统手眼标定算法的原理，一组Ae和Ac矩阵的求解需要两个移动过程对应的机器人末端坐标系的旋转向量ke1和ke2以及相机坐标系的旋转向量kc1和kc2，所以按照类似于选取移动过程的策略选择两个移动过程的组合，最后计算每个组合对应的Ae和Ac矩阵，其中Ae矩阵的第一列由ke1构成、第二列由ke2构成，第三列由ke1与ke2的叉乘向量构成，Ac矩阵的第一列由kc1构成、第二列由kc2构成、第三列由kc1与kc2的叉乘向量构成；所述转置变换替代传统手眼标定算法求解旋转矩阵过程中的后两次求逆运算，然后将手眼关系矩阵旋转矩阵用三个行向量表示，从而将旋转矩阵的求解转换成求解三个线性方程组的问题，减小由于多次求逆造成的累积误差，改善了传统手眼标定算法。

4.根据权利要求1所述的改进的基于筛选和最小二乘法的手眼标定算法，精度检验的特征在于：

所述精度检验就是检验手眼标定算法的精度，用定位误差来衡量手眼标定算法的标定精度；精度检验的具体做法是根据标定板棋盘格的尺寸选择标定板上的角点作为检测点，然后通过手眼关系将检测点投影到世界坐标系中得到世界坐标，然后控制机器人运动到投影点，最后统计精度检验结果。

Images