CN112894209A - 一种基于十字激光的管板智能焊接机器人自动平面校正方法 - Google Patents

Abstract

本发明公开的属于工业焊接技术领域，具体为一种基于十字激光的管板智能焊接机器人自动平面校正方法，包括传感器标定、系统手眼标定、光条中心提取与机器人姿态角度偏差计算多个步骤，本发明将十字激光直接投射到管板平面获取三维数据，不受管板平面摆放角度的影响，自由度更大，采用逐步迭代的逼近方式，也能够很好的保证校平的精度，大大的降低人工参与程度，本发明采用迭代式的校平方式，每次校平计算都采用基于最小二乘法的ICP迭代算法，并将计算结果转换成欧拉角方式，具有更高的计算精度，其校平精度角度误差在0.1度左右，并适合绝大多数机器人控制器使用，有很高的推广性。

Description

一种基于十字激光的管板智能焊接机器人自动平面校正方法

技术领域

本发明涉及工业焊接技术领域，具体为一种基于十字激光的管板智能焊接机器人自动平面校正方法。

背景技术

工业机器人对准技术是工业机器人实现对接、装配、抓取、钻孔等功能的技术基础。实现工业机器人对准，通常采用两种办法：第一种是采用示教或离线编程的方式调节工业机器人末端执行器每次以固定的姿态到达同一个固定的位置，通过调节工件的位姿，与工业机器人末端执行器对准；第二种是给工业机器人末端安装位姿测量传感器，通过测量工件位置和姿态，调节工业机器人末端执行器的姿态并与工件对准。前者高度依靠机器人精度，对工件位置和姿态要求严格，存在累计误差，常用于喷漆、简单抓取等低精度的场合。后者通过调节工业机器人末端与工件对准，对工件位姿要求低，更加灵活实用。常见对工件位姿测量方法有陀螺仪导向、激光标靶导向和三维视觉测量。陀螺仪的测量精度受机械加工和装配、振动、累计误差等影响需要定期校准，稳定性差、测量精度低，常作为辅助测量。激光标靶导向法主要使用激光标靶和全站仪对工件的位姿测量，具有测量效率高、范围广、精度高等优点，但要联合全站仪，结构复杂，现有的靶标的加工精度和安装精度之间会影响到最终的计算精度。尤其是靶标的安装过程带来的安装误差对姿态的影响巨大，由于靶标图像由相机采集，靶标中圆孔中心的采集会受到环境中杂光的影响，对孔中心的定位带来误差，最终影响靶标姿态三维重建的精度，且由于靶标摆放是垂直于相机轴线的方向的时候是才能取得最佳的测量精度，当二者呈现一定角度的情况下，靶标开孔的厚度会引起一定的光线遮挡，从而引起圆心提取的误差，影响精度，因此，基于靶标的视觉测量技术，由于引入测量误差的因素较多，无法避免，最终测量结果会受到较大的影响，无法真正意义上实现精确的机器人末端姿态校平。

发明内容

本发明的目的在于提供一种基于十字激光的管板智能焊接机器人自动平面校正方法，以解决上述背景技术中提出的无法真正意义上实现精确的机器人末端姿态校平的问题。

为实现上述目的，本发明提供如下技术方案：一种基于十字激光的管板智能焊接机器人自动平面校正方法，包括以下步骤：

步骤1：传感器标定，十字激光三维测量传感器安装完成后，需要对相机内参进行标定，可以得到相机的内部参数矩阵和畸变参数，相机拍摄的图片还存在一定的畸变，畸变包括桶形畸变和枕形畸变，畸变模型包括径向畸变和切向畸变，径向畸变公式为

切向畸变公式为

分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标，为图像像素点到图像中心点的距离，即r²＝x²+y²。相机标定的第二个目的就是获得相机的畸变参数，如上式中的k₁,k₂,k₃,p₁,p₂，进而对拍摄的图片进行去畸变处理，在相机进行标定的过程中，每一张棋盘格标定板采集重建后都会得到一个相机的外参矩阵：

该矩阵代表标定板在相机坐标系下的相对位置关系，令相机内参矩阵为M，r_ii为R矩阵行列元素，(u_i,v_i)为光条中心点像素坐标，(X_w,Y_w,Z_w)为对应点的三维坐标，根据

公式计算出十字激光点在相机坐标系下的三维坐标，在得到多张不同标定板图像中的激光条中心点三维坐标后利用最小二乘法拟合三维光平面，得到十字激光的两个光平面方程；

步骤2：系统手眼标定，手眼标定为求解矩阵方程：AX＝XB；A是摄像机(单目或双目)前后两次空间变换的齐次矩阵；B是机械臂末端坐标系前后两次变换的齐次矩阵；X为待求解的手眼矩阵；通过多次求解该方程，即可解出X，在求解出十字激光传感器坐标系与机器人工具坐标系之间的旋转平移矩阵之后，需要将十字激光传感器采集到的三维点云先过渡到机器人工具坐标系中，然后根据机器人实时位姿进行旋转平移，将点云过渡到机器人基坐标系中。其中机器人位姿采用欧拉角模式，其与旋转矩阵的转换方式为：

其中θ为绕X，Y，Z轴旋转的角度，所以欧拉角转旋转矩阵为：

其中φ,θ,ψ分别为绕X轴、绕Y轴、绕Z轴旋转的夹角；

步骤3：光条中心提取，采用结构光进行扫描检测时，需要提取激光条纹的中心线，提取方法为Steger算法，Steger算法基于Hessian矩阵，能够实现光条中心亚像素精度定位：首先通过Hessian矩阵能够得到光条的法线方向，然后在法线方向利用泰勒展开得到亚像素位置。对于图像中激光条纹上的任意一点(x,y)，Hessian矩阵可以表示为

其中r_xx表示图像沿x的二阶偏导数，其他参数类似,在求Hessian矩阵之前需要对图像进行高斯滤波，高斯滤波时，设置高斯方差

其中ω为光条宽度。Hessian矩阵最大特征值对应的特征向量对应于光条的法线方向，用(n_x,n_y)表示，以点(x₀,y₀)为基准点，则光条中心的亚像素坐标为：(p_x,p_y)＝(x₀+tn_x,y₀+tn_y)，公式中

如果(tn_x,tn_y)∈[-0.5,0.5]×[-0.5,0.5]，即一阶导数为零的点位于当前像素内，且(n_x,n_y)方向的二阶导数大于指定的阈值，则该点(x₀,y₀)为光条的中心点，(p_x,p_y)则为亚像素坐标；

步骤4：机器人姿态角度偏差计算，初始状态下需要操作人员操作示教器调整最佳平整位姿，并记录为标准姿态，此时十字激光三维传感器采集的三维点集记录为标准平面，采用基于最小二乘法的ICP三维点集过渡算法来计算当前姿态十字激光传感器采集到的三维点云与标准姿态十字激光传感器采集到的三维点云进行匹配，计算两个点云间的旋转平移矩阵，再根据旋转矩阵转欧拉角的转换算法来计算机器人的姿态角差值。

优选的，所述步骤2中A、B矩阵求法如下：

A的求法：A是两个摄像机坐标系之间的变换矩阵,假设上述摄像机标定中有3张标定图片的外参标定结果分别是H_c1,H_c2,H_c3，那么可以得到两个A矩阵：

B的求法:B是两个机器手坐标系之间的变换矩阵。假设上述摄像机标定中的3张标定图片所一一对应的机器手坐标系在基坐标系,也可以是工件坐标系或者其他固定的参考坐标系中的坐标系,描述矩阵结果分别是H_g1,H_g2,H_g3(需要从机器人控制器或者示教器中读取或转换)，那么可以得到两个B矩阵：

由以上两组A和B，带入AX＝XB就可以得到唯一解X，从而T₃＝X。

优选的，所述步骤4中的ICP三维点集过渡算法为一种点集对点集配准方法，假如有两对三维点云P和Q，三维点云匹配问题的目的是找到点云P和点云Q变化的矩阵R和T，利用最小二乘法求解最优解使：

最小时的R和T。先对平移向量T进行初始的估算，具体方法是分别得到点集P和Q的中心：

在计算转换之前，从两个点集中的每个点减去相应的质心，

则上述最优化目标函数可以转化为：

最优化问题分解为：采用基于奇异值分解的方法求使E最小的

使

在得到旋转矩阵R后，将R从旋转矩阵按照如下公式转为欧拉角形式

则可以如下表示欧拉角：φ,θ,ψ分别为对应绕X轴、绕Y轴、绕Z轴旋转的角度，

将计算得到的转角偏差发送给机器人补偿后，十字激光迭代采集管板平面三维数据，直到角度偏差在允许范围内，结束运算。

优选的，所述步骤1中相机中包括相机成像系统，所述相机成像系统包括世界坐标系、相机坐标系、图像坐标系、像素坐标系四个坐标系，所述四个坐标系的转化关系为

(U,V,W)为在世界坐标系下一点的物理坐标，(u,v)为该点对应的在像素坐标系下的像素坐标，Z为尺度因子。内参矩阵取决于相机的内部参数。其中，f为焦距，dX,dY分别表示X,Y方向上的一个像素在相机感光板上的物理长度，u₀,v₀分别表示相机感光板中心在像素坐标系下的坐标，θ表示感光板的横边和纵边之间的角度(90°表示无误差)。

与现有技术相比，本发明的有益效果是：

1)本发明采用基于十字激光的三维定位传感器，所扫描得到的三维数据依赖于十字线激光，对管板平面没有特别高的加工精度要求，对管板平面的锈迹、脏污也有很好的容错性。

2)由于采用特定波长的十字激光配合窄带滤波片一起使用，在很大程度上避免了外界光源干扰的问题，可以很大程度上提高三维定位精度。同时由于图像中不存在边缘信息，误差影响小，图像处理速度得到极大提升，单次定位速度仅仅需要6-10毫秒，大大提高了整个设备的生产效率。

3)本发明将十字激光直接投射到管板平面获取三维数据，不受管板平面摆放角度的影响，自由度更大，采用逐步迭代的逼近方式，也能够很好的保证校平的精度，大大的降低人工参与程度。

4)本发明采用精确的传感器标定算法和机器人手眼标定算法，降低了传感器安装角度偏差对校平精度的影响。

5)本发明采用迭代式的校平方式，每次校平计算都采用基于最小二乘法的ICP迭代算法，并将计算结果转换成欧拉角方式，具有更高的计算精度，其校平精度角度误差在0.1度左右，并适合绝大多数机器人控制器使用，有很高的推广性。

附图说明

图1为本发明基于十字激光的机器人自动校平系统结构示意图；

图2为本发明相机成像原理示意图；

图3为本发明手眼标定示意图。

图中：1工业机器人、2十字激光传感器、3加工工具。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例：

请参阅图1-3，本发明提供一种技术方案：一种基于十字激光的管板智能焊接机器人自动平面校正方法，包括以下步骤：

步骤1：传感器标定，参阅图1，十字激光三维测量传感器2安装完成后，需要对相机内参进行标定，可以得到相机的内部参数矩阵和畸变参数，相机拍摄的图片还存在一定的畸变，畸变包括桶形畸变和枕形畸变，畸变模型包括径向畸变和切向畸变，径向畸变公式为

切向畸变公式为

分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标，为图像像素点到图像中心点的距离，即r²＝x²+y²。相机标定的第二个目的就是获得相机的畸变参数，如上式中的k₁,k₂,k₃,p₁,p₂，进而对拍摄的图片进行去畸变处理，在相机进行标定的过程中，每一张棋盘格标定板采集重建后都会得到一个相机的外参矩阵：

该矩阵代表标定板在相机坐标系下的相对位置关系，令相机内参矩阵为M，r_ii为R矩阵行列元素，(u_i,v_i)为光条中心点像素坐标，(X_w,Y_w,Z_w)为对应点的三维坐标，根据

公式计算出十字激光点在相机坐标系下的三维坐标，在得到多张不同标定板图像中的激光条中心点三维坐标后利用最小二乘法拟合三维光平面，得到十字激光的两个光平面方程；

步骤2：系统手眼标定，参阅图3，手眼标定为求解矩阵方程：AX＝XB；A是摄像机(单目或双目)前后两次空间变换的齐次矩阵；B是机械臂末端坐标系前后两次变换的齐次矩阵；X为待求解的手眼矩阵；通过多次求解该方程，即可解出X，在求解出十字激光传感器坐标系与机器人工具坐标系之间的旋转平移矩阵之后，需要将十字激光传感器采集到的三维点云先过渡到机器人工具坐标系中，然后根据机器人实时位姿进行旋转平移，将点云过渡到机器人基坐标系中。其中机器人位姿采用欧拉角模式，其与旋转矩阵的转换方式为：

其中θ为绕X，Y，Z轴旋转的角度，所以欧拉角转旋转矩阵为：

其中φ,θ,ψ分别为绕X轴、绕Y轴、绕Z轴旋转的夹角；

步骤3：光条中心提取，采用结构光进行扫描检测时，需要提取激光条纹的中心线，提取方法为Steger算法，Steger算法基于Hessian矩阵，能够实现光条中心亚像素精度定位：首先通过Hessian矩阵能够得到光条的法线方向，然后在法线方向利用泰勒展开得到亚像素位置。对于图像中激光条纹上的任意一点(x,y)，Hessian矩阵可以表示为

其中r_xx表示图像沿x的二阶偏导数，其他参数类似,在求Hessian矩阵之前需要对图像进行高斯滤波，高斯滤波时，设置高斯方差

其中ω为光条宽度。Hessian矩阵最大特征值对应的特征向量对应于光条的法线方向，用(n_x,n_y)表示，以点(x₀,y₀)为基准点，则光条中心的亚像素坐标为：(p_x,p_y)＝(x₀+tn_x,y₀+tn_y)，公式中

如果(tn_x,tn_y)∈[-0.5,0.5]×[-0.5,0.5]，即一阶导数为零的点位于当前像素内，且(n_x,n_y)方向的二阶导数大于指定的阈值，则该点(x₀,y₀)为光条的中心点，(p_x,p_y)则为亚像素坐标；

步骤4：机器人姿态角度偏差计算，初始状态下需要操作人员操作示教器调整最佳平整位姿，并记录为标准姿态，此时十字激光三维传感器采集的三维点集记录为标准平面，采用基于最小二乘法的ICP三维点集过渡算法来计算当前姿态十字激光传感器采集到的三维点云与标准姿态十字激光传感器采集到的三维点云进行匹配，计算两个点云间的旋转平移矩阵，再根据旋转矩阵转欧拉角的转换算法来计算机器人的姿态角差值。

所述步骤2中A、B矩阵求法如下：

A的求法：A是两个摄像机坐标系之间的变换矩阵,假设上述摄像机标定中有3张标定图片的外参标定结果分别是H_c1,H_c2,H_c3，那么可以得到两个A矩阵：

B的求法:B是两个机器手坐标系之间的变换矩阵。假设上述摄像机标定中的3张标定图片所一一对应的机器手坐标系在基坐标系,也可以是工件坐标系或者其他固定的参考坐标系中的坐标系,描述矩阵结果分别是H_g1,H_g2,H_g3(需要从机器人控制器或者示教器中读取或转换)，那么可以得到两个B矩阵：

由以上两组A和B，带入AX＝XB就可以得到唯一解X，从而T₃＝X。

所述步骤4中的ICP三维点集过渡算法为一种点集对点集配准方法，假如有两对三维点云P和Q，三维点云匹配问题的目的是找到点云P和点云Q变化的矩阵R和T，利用最小二乘法求解最优解使：

最小时的R和T。先对平移向量T进行初始的估算，具体方法是分别得到点集P和Q的中心：

在计算转换之前，从两个点集中的每个点减去相应的质心，

则上述最优化目标函数可以转化为：

最优化问题分解为：采用基于奇异值分解的方法求使E最小的

使

在得到旋转矩阵R后，将R从旋转矩阵按照如下公式转为欧拉角形式

则可以如下表示欧拉角：φ,θ,ψ分别为对应绕X轴、绕Y轴、绕Z轴旋转的角度，

将计算得到的转角偏差发送给机器人补偿后，十字激光迭代采集管板平面三维数据，直到角度偏差在允许范围内，结束运算。

所述步骤1中相机中包括相机成像系统，参阅图2，所述相机成像系统包括世界坐标系、相机坐标系、图像坐标系、像素坐标系四个坐标系，所述四个坐标系的转化关系为

(U,V,W)为在世界坐标系下一点的物理坐标，(u,v)为该点对应的在像素坐标系下的像素坐标，Z为尺度因子。内参矩阵取决于相机的内部参数。其中，f为焦距，dX,dY分别表示X,Y方向上的一个像素在相机感光板上的物理长度，u₀,v₀分别表示相机感光板中心在像素坐标系下的坐标，θ表示感光板的横边和纵边之间的角度(90°表示无误差)。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于十字激光的管板智能焊接机器人自动平面校正方法，其特征在于：包括以下步骤：

步骤1：传感器标定，十字激光三维测量传感器(2)安装完成后，需要对相机内参进行标定，可以得到相机的内部参数矩阵和畸变参数，相机拍摄的图片还存在一定的畸变，畸变包括桶形畸变和枕形畸变，畸变模型包括径向畸变和切向畸变，径向畸变公式为

切向畸变公式为

(x,y),

分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标，为图像像素点到图像中心点的距离，即r²＝x²+y²。相机标定的第二个目的就是获得相机的畸变参数，如上式中的k₁,k₂,k₃,p₁,p₂，进而对拍摄的图片进行去畸变处理，在相机进行标定的过程中，每一张棋盘格标定板采集重建后都会得到一个相机的外参矩阵：

该矩阵代表标定板在相机坐标系下的相对位置关系，令相机内参矩阵为M，r_ii为R矩阵行列元素，(u_i,v_i)为光条中心点像素坐标，(X_w,Y_w,Z_w)为对应点的三维坐标，根据

公式计算出十字激光点在相机坐标系下的三维坐标，在得到多张不同标定板图像中的激光条中心点三维坐标后利用最小二乘法拟合三维光平面，得到十字激光的两个光平面方程；

步骤2：系统手眼标定，手眼标定为求解矩阵方程：AX＝XB；A是摄像机(单目或双目)前后两次空间变换的齐次矩阵；B是机械臂末端坐标系前后两次变换的齐次矩阵；X为待求解的手眼矩阵；通过多次求解该方程，即可解出X，在求解出十字激光传感器坐标系与机器人工具坐标系之间的旋转平移矩阵之后，需要将十字激光传感器采集到的三维点云先过渡到机器人工具坐标系中，然后根据机器人实时位姿进行旋转平移，将点云过渡到机器人基坐标系中。其中机器人位姿采用欧拉角模式，其与旋转矩阵的转换方式为：

其中θ为绕X，Y，Z轴旋转的角度，所以欧拉角转旋转矩阵为：

其中φ,θ,ψ分别为绕X轴、绕Y轴、绕Z轴旋转的夹角；

步骤3：光条中心提取，采用结构光进行扫描检测时，需要提取激光条纹的中心线，提取方法为Steger算法，Steger算法基于Hessian矩阵，能够实现光条中心亚像素精度定位：首先通过Hessian矩阵能够得到光条的法线方向，然后在法线方向利用泰勒展开得到亚像素位置。对于图像中激光条纹上的任意一点(x,y)，Hessian矩阵可以表示为

其中r_xx表示图像沿x的二阶偏导数，其他参数类似,在求Hessian矩阵之前需要对图像进行高斯滤波，高斯滤波时，设置高斯方差

其中ω为光条宽度。Hessian矩阵最大特征值对应的特征向量对应于光条的法线方向，用(n_x,n_y)表示，以点(x₀,y₀)为基准点，则光条中心的亚像素坐标为：(p_x,p_y)＝(x₀+tn_x,y₀+tn_y)，公式中

如果(tn_x,tn_y)∈[-0.5,0.5]×[-0.5,0.5]，即一阶导数为零的点位于当前像素内，且(n_x,n_y)方向的二阶导数大于指定的阈值，则该点(x₀,y₀)为光条的中心点，(p_x,p_y)则为亚像素坐标；

步骤4：机器人姿态角度偏差计算，初始状态下需要操作人员操作示教器调整最佳平整位姿，并记录为标准姿态，此时十字激光三维传感器采集的三维点集记录为标准平面，采用基于最小二乘法的ICP三维点集过渡算法来计算当前姿态十字激光传感器采集到的三维点云与标准姿态十字激光传感器采集到的三维点云进行匹配，计算两个点云间的旋转平移矩阵，再根据旋转矩阵转欧拉角的转换算法来计算机器人的姿态角差值。

2.根据权利要求1所述的一种基于十字激光的管板智能焊接机器人自动平面校正方法，其特征在于：所述步骤2中A、B矩阵求法如下：

A的求法：A是两个摄像机坐标系之间的变换矩阵,假设上述摄像机标定中有3张标定图片的外参标定结果分别是H_c1,H_c2,H_c3，那么可以得到两个A矩阵：

B的求法:B是两个机器手坐标系之间的变换矩阵。假设上述摄像机标定中的3张标定图片所一一对应的机器手坐标系在基坐标系,也可以是工件坐标系或者其他固定的参考坐标系中的坐标系,描述矩阵结果分别是H_g1,H_g2,H_g3(需要从机器人控制器或者示教器中读取或转换)，那么可以得到两个B矩阵：

由以上两组A和B，带入AX＝XB就可以得到唯一解X，从而T₃＝X。

3.根据权利要求1所述的一种基于十字激光的管板智能焊接机器人自动平面校正方法，其特征在于：所述步骤4中的ICP三维点集过渡算法为一种点集对点集配准方法，假如有两对三维点云P和Q，三维点云匹配问题的目的是找到点云P和点云Q变化的矩阵R和T，利用最小二乘法求解最优解使：

最小时的R和T。先对平移向量T进行初始的估算，具体方法是分别得到点集P和Q的中心：

在计算转换之前，从两个点集中的每个点减去相应的质心，

则上述最优化目标函数可以转化为：

最优化问题分解为：采用基于奇异值分解的方法求使E最小的

使

在得到旋转矩阵R后，将R从旋转矩阵按照如下公式转为欧拉角形式

则可以如下表示欧拉角：φ,θ,ψ分别为对应绕X轴、绕Y轴、绕Z轴旋转的角度，

将计算得到的转角偏差发送给机器人补偿后，十字激光迭代采集管板平面三维数据，直到角度偏差在允许范围内，结束运算。

4.根据权利要求1所述的一种基于十字激光的管板智能焊接机器人自动平面校正方法，其特征在于：所述步骤1中相机中包括相机成像系统，所述相机成像系统包括世界坐标系、相机坐标系、图像坐标系、像素坐标系四个坐标系，所述四个坐标系的转化关系为

(U,V,W)为在世界坐标系下一点的物理坐标，(u,v)为该点对应的在像素坐标系下的像素坐标，Z为尺度因子。内参矩阵取决于相机的内部参数。其中，f为焦距，dX,dY分别表示X,Y方向上的一个像素在相机感光板上的物理长度，u₀,v₀分别表示相机感光板中心在像素坐标系下的坐标，θ表示感光板的横边和纵边之间的角度(90°表示无误差)。

Images