CN108717715A - 一种用于弧焊机器人的线结构光视觉系统自动标定方法 - Google Patents

Abstract

本发明公开了一种用于弧焊机器人的线结构光视觉系统自动标定方法，包括：步骤1、将预定的约束限制将标定板放置于机器人工作区域内任何位置；步骤2、人为操作机器人，使得标定板位置出现在采集的图像正中间的矩形框内，并以此为基准更新机器人标定程序中各个采集点的位置分量；步骤3、采集15个位置下的15幅标定板图像和另外4个位置下的标定板图像和对应的激光条纹图像；步骤4、由采集的前15张图像计算相机的内参数及手眼关系参数；由采集的后4组图像计算结构光平面参数。本发明仅对第一个标定板采集位置进行图像定位，后续位置通过平移变换自动更新，无需人为操作，方便快捷，大大提高了灵活性和快速性，能够适应实际生产环境的需要。

Description

一种用于弧焊机器人的线结构光视觉系统自动标定方法

技术领域

本发明涉及弧焊机器人的线结构光视觉系统，尤其涉及一种用于弧焊机器人的线结构光视觉系统自动标定方法。

背景技术

线结构光视觉传感器由于其非接触式的特点，测量精度高、测量速度快，相比接触式传感方式在工业应用中更加广泛。在焊缝跟踪应用中，线结构光视觉传感器通常固定于机器人的焊枪上，用于对焊缝进行检测及自动跟踪。

将线结构光视觉传感器固定于弧焊机器人末端上的方式为eye in hand模式，传感器跟随机器人一起运动，为了将传感器检测的位置统一到机器人基坐标系下，需要对弧焊机器人视觉系统进行三个方面的标定，包括相机内参数标定，传感器手眼关系参数标定和结构光平面参数标定。本方法采用高精度标定板的方式对整个视觉系统进行标定。目前现有的标定方法主要依赖于人工操作，同时为了保证标定的精度需要进行采集较多的位置，对人的要求较高，且整个过程会耗费较长的时间。

发明内容

本发明针对现有的标定结构光视觉系统中存在依赖人为操作，标定过程复杂，标定过程费时等缺点，提出了一种用于弧焊机器人的线结构光视觉系统自动标定方法。该方法采用圆形靶标标定板，只需要在初始采集图像位置进行人工操作，后续自动运行机器人标定程序，完成整个视觉系统标定过程。

本发明的提供的技术方案如下：

一种用于弧焊机器人的线结构光视觉系统自动标定方法，包括步骤：

步骤1、将预定的约束限制将标定板放置于机器人工作区域内任何位置；

步骤2、初始标定板采集位置的图像定位，人为操作机器人，使得标定板位置出现在采集的图像正中间的矩形框内，并以此为基准更新后续机器人采集图像的位置，即更新机器人标定程序中各个采集点的位置分量；

步骤3、运行机器人标定程序，先采集15个位置下的15幅标定板图像，然后再通过控制线结构光传感器中激光的通断实现另外4个位置下的标定板图像和对应的激光条纹图像的采集；

步骤4、由采集的前15张图像计算相机的内参数及手眼关系参数；由采集的后4组图像计算结构光平面参数；完成整个标定过程。

进一步地，步骤1中，所述预设约束限制具体为：标定板的坐标系O_c-X_cY_c与机器人基坐标系O_r-X_rY_rZ_r中，标定板的X轴及Y轴分别平行于机器人基坐标系的X轴和Y轴。

进一步地，所述的步骤2具体包括：

步骤21、移动机器人末端位置，使得标定板出现在相机的视野中，此时通过上位机调节相机的曝光时间，保证标定板成像具有一定的对比度；

步骤22、调节机器人末端位置，保证整个标定板图像位于设定的矩形框内，大小与矩形框的大小基本一致，将当前位置确定为初始标定图像采集位置；

步骤23、设原始的各个点的标定位置为当前位置即初始标定图像采集位置为则得到当前位置与原始的各个点的标定位置之间的平移变换关系，即

步骤24、通过所述平移变换关系对后续各标定点的位置进行更新，即

步骤25、通过上位机发送更新的标定点位置到机器人控制器中，通过机器人控制器修改机器人标定示教程序中每个示教点的位置分量，即可完成标定点的更新。

进一步地，所述的原始的各个点的标定位置具体为第一次进行机器人视觉系统标定时各个标定点的位置，通过人为指定。

进一步地，所述的步骤3具体包括：

步骤31、先采集15个位置下的15幅标定板图像，图像中标定板的位置遍布相机的视野范围；

步骤32、然后机器人自动运动到另外4个位置，在每个位置下，先采集一幅标定板图像，然后通过机器人IO及上位机与以太网通信分别控制视觉传感器中激光器的打开以及相机曝光时间的更改，使得激光线照射在标定板上，在无其他杂光的干扰下，采集对应的激光条纹图像；

步骤33、，通过上位机与机器人通信自动读取每个采集位置下机器人末端的位置坐标并保存到上位机中。

进一步地，步骤32中采集对应的激光条纹图像时，所述采集标定板图像和采集激光条纹图像在同一位置，采集激光条纹时打开激光器，使激光条纹照射到标定板上，同时更改相机的曝光时间，采集只包含有激光条纹的图像，该激光条纹图像采用图像识别出激光中心线，映射到对应位置下的标定板图像中，从而识别出激光中心线与标定板中每列圆形靶标的交点。

进一步地，所述的步骤4具体包括：

步骤41、提取保持的15幅标定板图像及对应的机器人位置；

步骤42、进行相机标定，求解相机内参数；

步骤43、标定机器人与相机的手眼关系参数；

步骤44、由另外4个位置中每个位置下所采集的标定板图像和激光条纹图像，采用交比不变性及最小二乘拟合方法计算出线结构光平面方程的参数。

进一步地，所述的步骤42具体包括：

步骤421、构造单应性矩阵，将图像点与空间点对应起来，然后通过线性求解得到相机参数初始值，所述单应性矩阵为：

式中，图像点齐次坐标为m＝[u v 1]^T，对应标定板上空间点齐次坐标为M＝[X_c Y_c1]^T，H为构造的单应性矩阵，s为比例因子，K为相机内参数矩阵，ax和ay是在两个不同方向上焦距值，旋转矩阵R和平移矩阵t构造成相机外参数矩阵；

步骤422、加入径向畸变的影响，对上一步得到的相机参数进行非线性优化，具体采用最大似然估计构造优化目标函数，然后利用Levenberg-Marquarat算法求解，所述构造优化目标函数为：

γ_o是优化目标函数，m_ij是第i幅标定板图像中第j个标定点的图像坐标，H_i是第i幅标定板图像的单应性矩阵，M_j是第j个标定点的空间坐标值，是通过初始解得到的图像坐标估计值。

进一步地，所述的步骤43具体包括：

步骤431、获取每个位置下标定板相对于相机坐标系{C}下的空间位置B_i，同时计算得到焊枪相对于机器人基坐标系{B}的位置A_i，设X为相机坐标系相对于焊枪坐标系{T}的变换关系，则构造方程AX＝XB；

步骤432、采用非线性优化方式求解所述方程，以得到更高精度的优化目标函数，使手眼关系误差e尽量小：

其中，^cH_p是标定板到传感器坐标系{C}的变换矩阵，^bH_p是标定板到机器人基坐标系{B}的变换矩阵，^cH_t是工具坐标系{T}到传感器坐标系的变换矩阵，^tH_b是机器人基坐标系到工具坐标系的变换矩阵，W是平衡各个未知量的的平衡矩阵，e为构造的手眼关系误差。

进一步地，所述的步骤44具体包括：

步骤441、根据交比不变性可以计算出激光条纹与每列靶标所构成直线的交点，即求C'：

步骤442、每组标定板图像及激光条纹图像能够求出的7个C'，四组共够获取28个交点，通过最小二乘拟合方法对结构光平面方程ax+by+cz+1＝0进行拟合，求出平面参数a，b，c。

相比现有技术，本发明通过约束标定板的放置位置，对初始采集位置进行图像定位，然后自动更新所有标定点位置，运行机器人标定程序即可完成所有图像的采集及整个系统的标定工作，不仅能够保证标定的高精度，而且能够使标定过程流程化、自动化，使标定过程简单方便，大大提高了线结构视觉系统标定的灵活性和快速性，能够适应实际生产环境的需要，具有良好的实用性。

附图说明

图1弧焊机器人结构光视觉系统坐标系标定关系图。

图2弧焊机器人视觉系统自动标定流程图。

图3标定板坐标系约束示意图。

图4初始标定图像采集位置图像定位图。

图5手眼关系原理图。

图6具有投影变换关系的两组共线点示意图。

具体实施方式

为了使本发明的目的、技术方案和有点更加清楚明白，下面参照附图，对本发明的具体实施过程进行进一步详细的说明。

弧焊机器人结构光视觉系统坐标系标定关系：如图1所示。结构光视觉传感器固定于弧焊机器人焊枪上，标定板位于机器人工作空间内。{B}为机器人基坐标系，{C}为视觉传感器坐标系，即相机坐标系，{T}为机器人工具坐标系，即焊枪坐标系，{P}为标定板坐标系。根据矩阵传递关系可得

^cH_p＝^cH_t ^tH_b ^bH_p

其中，^cH_p是标定板到传感器坐标系{C}的变换矩阵，^bH_p是标定板到机器人基坐标系{B}的变换矩阵，^cH_t是工具坐标系{T}到传感器坐标系{C}的变换矩阵，^tH_b是机器人基坐标系到工具坐标系的变换矩阵。其中手眼关系即是焊枪坐标系{T}相对于视觉传感器坐标系{C}之间的变换矩阵^cH_t。机器人进行焊缝跟踪时，需要将视觉传感器检测到的焊缝点转换到机器人的基坐标系下，因此机器人基坐标系是描述其他坐标系的基础。焊枪坐标系与机器人基坐标系之间的关系可以通过机器人正运动学进行计算得到，一般可直接通过机器人控制器读取出焊枪末端相对于机器人基坐标系的位置和姿态信息。激光平面的参数a、b、c是在相机坐标系中的参数，通过标定激光平面后即可通过下式将激光平面与工件的交点坐标统一到相机坐标系下：

其中K为相机的内参数矩阵，a_x和a_y分别表示相机在x和y方向的等效焦距，β为比例因子，(u₀,v₀)为图像中相机的主点位置，(u,v)为图像中激光条纹坐标，(x_c,y_c,z_c)为图像点对应的相机坐标系的三维坐标。

图2所示为本发明实施例的自动标定流程图。首先将标定板放置于机器人工作区域内，移动机器人到达初始标定位置进行图像定位，然后更新机器人的标定程序中的所有标定点位置，运行机器人标定程序，运行完毕后上位机提取保存的图像及机器人位置，再运行标定算法，完成整个系统的标定过程。

一种用于弧焊机器人的线结构光视觉系统自动标定方法，包括步骤：

步骤1、将预定的约束限制将标定板放置于机器人工作区域内任何位置，如图3所示，所述预设约束限制具体为：所述标定板的坐标系O_c-X_cY_c与机器人基坐标系O_r-X_rY_rZ_r中，标定板的X轴及Y轴分别平行于机器人基坐标系的X轴和Y轴。

步骤2、初始标定板采集位置的图像定位，人为操作机器人，使得标定板位置出现在采集的图像正中间的矩形框内，并以此为基准更新后续机器人采集图像的位置，即更新机器人标定程序中各个采集点的位置分量。

步骤3、运行机器人标定程序，先采集15个位置下的15幅标定板图像，然后再通过控制线结构光传感器中激光的通断实现另外4个位置下的标定板图像和对应的激光条纹图像的采集。

步骤4、由采集的前15张图像计算相机的内参数及手眼关系参数；由采集的后4组图像计算结构光平面参数；完成整个标定过程。

所述步骤2具体包括：

步骤21、移动机器人末端位置，使得标定板出现在相机的视野中，此时通过上位机调节相机的曝光时间，保证标定板成像具有一定的对比度；

步骤22、调节机器人末端位置，保证整个标定板图像位于设定的矩形框内，大小与矩形框的大小基本一致，将当前位置确定为初始标定图像采集位置(见图4)；

步骤23、设原始的各个点的标定位置为当前位置即初始标定图像采集位置为则得到当前位置与原始的各个点的标定位置之间的平移变换关系，即,所述的原始的各个点的标定位置具体为第一次进行机器人视觉系统标定时各个标定点的位置，通过人为指定；

步骤24、通过所述平移变换关系对后续各标定点的位置进行更新，即

步骤25、通过上位机发送更新的标定点位置到机器人控制器中，通过机器人控制器修改机器人标定示教程序中每个示教点的位置分量，即可完成标定点的更新。

具体而言，所述的步骤3具体包括：

步骤31、先采集15个位置下的15幅标定板图像，图像中标定板的位置遍布相机的视野范围；

步骤32、然后机器人自动运动到另外4个位置，在每个位置下，先采集一幅标定板图像，然后通过机器人IO及上位机与以太网通信分别控制视觉传感器中激光器的打开以及相机曝光时间的更改，使得激光线照射在标定板上，在无其他杂光的干扰下，采集对应的激光条纹图像；

步骤33、通过上位机与机器人通信自动读取每个采集位置下机器人末端的位置坐标并保存到上位机中。

具体而言，步骤32中采集对应的激光条纹图像时，所述采集标定板图像和采集激光条纹图像在同一位置，采集激光条纹时打开激光器，使激光条纹照射到标定板上，同时更改相机的曝光时间，采集只包含有激光条纹的图像，保证图像质量利于图像处理中激光条纹中心线的提取。该激光条纹图像采用图像识别出激光中心线，映射到对应位置下的标定板图像中，从而识别出激光中心线与标定板中每列圆形靶标的交点。完成采集激光条纹图像并保存当前机器人末端位置后，机器人IO控制关闭激光器，上位机再调整相机曝光时间，保证采集的标定板图像质量，如此完成一个位置下标定板图像及激光条纹图像的采集工作，然后机器人再移动到下一个位置。

具体而言，所述的步骤4具体包括：

步骤41、提取保持的15幅标定板图像及对应的机器人位置；

步骤42、进行相机标定，求解相机内参数，具体包括：

步骤421、构造单应性矩阵，将图像点与空间点对应起来，然后通过线性求解得到相机参数初始值，所述单应性矩阵为：

式中，图像点齐次坐标为m＝[u v 1]^T，对应标定板上空间点齐次坐标为M＝[X_c Y_c1]^T，H为构造的单应性矩阵，s为比例因子，K为相机内参数矩阵，ax和ay是在两个不同方向上焦距值，旋转矩阵R和平移矩阵t构造成相机外参数矩阵；

步骤422、加入径向畸变的影响，对上一步得到的相机参数进行非线性优化，具体采用最大似然估计构造优化目标函数，然后利用Levenberg-Marquarat算法求解，所述构造优化目标函数为：

γ_o是优化目标函数，m_ij是第i幅标定板图像中第j个标定点的图像坐标，H_i是第i幅标定板图像的单应性矩阵，M_j是第j个标定点的空间坐标值，是通过初始解得到的图像坐标估计值；

步骤43、标定机器人与相机的手眼关系参数，具体包括：

步骤431、获取每个位置下标定板相对于相机坐标系{C}下的空间位置B_i，同时计算得到焊枪相对于机器人基坐标系{B}的位置A_i，设X为相机坐标系相对于焊枪坐标系{T}的变换关系，则构造方程AX＝XB，图5为手眼标定原理示意图，其中Ai是第i次拍摄时工具相对于机器人基坐标系{B}的位姿，Bi为此时标定板相对于相机坐标系{C}的位姿，Y是标定板相对于机器人基坐标系{B}的位姿。由此可得Y＝A_iXB_i，其中X是相机坐标系{C}相对于工具坐标系{T}的变换矩阵。同样获取第j次的参数，得到A_iXB_i＝A_jXB_j。令和于是可得AX＝XB；

步骤432、采用非线性优化方式求解所述方程，以得到更高精度的优化目标函数，使手眼关系误差e尽量小：

其中，^cH_p是标定板到传感器坐标系{C}的变换矩阵，^bH_p是标定板到机器人基坐标系{B}的变换矩阵，^cH_t是工具坐标系{T}到传感器坐标系的变换矩阵，^tH_b是机器人基坐标系到工具坐标系的变换矩阵，W是平衡各个未知量的的平衡矩阵，e为构造的手眼关系误差；

步骤44、由另外4个位置中每个位置下所采集的标定板图像和激光条纹图像，采用交比不变性及最小二乘拟合方法计算出线结构光平面方程的参数，具体包括：

步骤441、根据交比不变性可以计算出激光条纹与每列靶标所构成直线的交点，即求C'：

步骤442、每组标定板图像及激光条纹图像能够求出的7个C'，四组共够获取28个交点，通过最小二乘拟合方法对结构光平面方程ax+by+cz+1＝0进行拟合，求出平面参数a，b，c。

如图6为具有投影变换关系的两组共线点，满足交比不变性原理，实际标定中，激光条纹与标定板中的每一列靶标组成的直线相交，在图像中将交点设定为C，A、B、D为与C点所在列中距离最近的三个靶标点，这四个点组成一组共线点。这四个点在空间中的实际点位为A',B',C',D'，同样组成一组共线点，其中C'为空间中激光条纹与标定板每列靶标连线的交点，通过以上公式可以求得C'的位置，通过对28个交点进行拟合，可以求出激光平面的参数a，b，c，通过上述过程，即可一次性完成相机内参数、手眼关系矩阵和结构光平面参数的标定。

以上所述，仅为本发明的具体实施方式。但本发明保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于，包括步骤：

步骤1、将预定的约束限制将标定板放置于机器人工作区域内任何位置；

步骤2、初始标定板采集位置的图像定位，人为操作机器人，使得标定板位置出现在采集的图像正中间的矩形框内，并以此为基准更新后续机器人采集图像的位置，即更新机器人标定程序中各个采集点的位置分量；

步骤3、运行机器人标定程序，先采集15个位置下的15幅标定板图像，然后再通过控制线结构光传感器中激光的通断实现另外4个位置下的标定板图像和对应的激光条纹图像的采集；

步骤4、由采集的前15张图像计算相机的内参数及手眼关系参数；由采集的后4组图像计算结构光平面参数；完成整个标定过程。

2.根据权利要求1所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：步骤1中，所述预设约束限制具体为：标定板的坐标系O_c-X_cY_c与机器人基坐标系O_r-X_rY_rZ_r中，标定板的X轴及Y轴分别平行于机器人基坐标系的X轴和Y轴。

3.根据权利要求1所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：所述的步骤2具体包括：

步骤21、移动机器人末端位置，使得标定板出现在相机的视野中，此时通过上位机调节相机的曝光时间，保证标定板成像具有一定的对比度；

步骤22、调节机器人末端位置，保证整个标定板图像位于设定的矩形框内，大小与矩形框的大小基本一致，将当前位置确定为初始标定图像采集位置；

步骤23、设原始的各个点的标定位置为当前位置即初始标定图像采集位置为则得到当前位置与原始的各个点的标定位置之间的平移变换关系，即

步骤24、通过所述平移变换关系对后续各标定点的位置进行更新，即

步骤25、通过上位机发送更新的标定点位置到机器人控制器中，通过机器人控制器修改机器人标定示教程序中每个示教点的位置分量，即可完成标定点的更新。

4.根据权利要求3所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：所述的原始的各个点的标定位置具体为第一次进行机器人视觉系统标定时各个标定点的位置，通过人为指定。

5.根据权利要求1所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：所述的步骤3具体包括：

步骤31、先采集15个位置下的15幅标定板图像，图像中标定板的位置遍布相机的视野范围；

步骤32、然后机器人自动运动到另外4个位置，在每个位置下，先采集一幅标定板图像，然后通过机器人IO及上位机与以太网通信分别控制视觉传感器中激光器的打开以及相机曝光时间的更改，使得激光线照射在标定板上，在无其他杂光的干扰下，采集对应的激光条纹图像；

步骤33、，通过上位机与机器人通信自动读取每个采集位置下机器人末端的位置坐标并保存到上位机中。

6.根据权利要求5所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：步骤32中采集对应的激光条纹图像时，所述采集标定板图像和采集激光条纹图像在同一位置，采集激光条纹时打开激光器，使激光条纹照射到标定板上，同时更改相机的曝光时间，采集只包含有激光条纹的图像，该激光条纹图像采用图像识别出激光中心线，映射到对应位置下的标定板图像中，从而识别出激光中心线与标定板中每列圆形靶标的交点。

7.根据权利要求1所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：所述的步骤4具体包括：

步骤41、提取保持的15幅标定板图像及对应的机器人位置；

步骤42、进行相机标定，求解相机内参数；

步骤43、标定机器人与相机的手眼关系参数；

步骤44、由另外4个位置中每个位置下所采集的标定板图像和激光条纹图像，采用交比不变性及最小二乘拟合方法计算出线结构光平面方程的参数。

8.根据权利要求7所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：所述的步骤42具体包括：

步骤421、构造单应性矩阵，将图像点与空间点对应起来，然后通过线性求解得到相机参数初始值，所述单应性矩阵为：

sm＝HM

式中，图像点齐次坐标为m＝[u v 1]^T，对应标定板上空间点齐次坐标为M＝[X_c Y_c 1]^T，H为构造的单应性矩阵，s为比例因子，K为相机内参数矩阵，ax和ay是在两个不同方向上焦距值，旋转矩阵R和平移矩阵t构造成相机外参数矩阵；

步骤422、加入径向畸变的影响，对上一步得到的相机参数进行非线性优化，具体采用最大似然估计构造优化目标函数，然后利用Levenberg-Marquarat算法求解，所述构造优化目标函数为：

γ_o是优化目标函数，m_ij是第i幅标定板图像中第j个标定点的图像坐标，H_i是第i幅标定板图像的单应性矩阵，M_j是第j个标定点的空间坐标值，是通过初始解得到的图像坐标估计值。

9.根据权利要求7所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：所述的步骤43具体包括：

步骤431、获取每个位置下标定板相对于相机坐标系{C}下的空间位置B_i，同时计算得到焊枪相对于机器人基坐标系{B}的位置A_i，设X为相机坐标系相对于焊枪坐标系{T}的变换关系，则构造方程AX＝XB；

步骤432、采用非线性优化方式求解所述方程，以得到更高精度的优化目标函数，使手眼关系误差e尽量小：

其中，^cH_p是标定板到传感器坐标系{C}的变换矩阵，^bH_p是标定板到机器人基坐标系{B}的变换矩阵，^cH_t是工具坐标系{T}到传感器坐标系的变换矩阵，^tH_b是机器人基坐标系到工具坐标系的变换矩阵，W是平衡各个未知量的的平衡矩阵，e为构造的手眼关系误差。

10.根据权利要求7所述的用于弧焊机器人的线结构光视觉系统自动标定方法，其特征在于：所述的步骤44具体包括：

步骤441、根据交比不变性可以计算出激光条纹与每列靶标所构成直线的交点，即求C'：

C'＝A'+t(B'-A')

步骤442、每组标定板图像及激光条纹图像能够求出的7个C'，四组共够获取28个交点，通过最小二乘拟合方法对结构光平面方程ax+by+cz+1＝0进行拟合，求出平面参数a，b，c。