CN109676243A - 基于双线激光结构光的焊缝识别与跟踪系统及方法 - Google Patents

Abstract

本发明公开了一种基于双线激光结构光的焊缝识别与定位系统及方法，激光发射器、工业相机、工业镜头、滤光片、焊枪、电机和计算机；激光发射器，包括双激光发生器，安装于工业相机两侧，通过向工件表面投射激光产生两个结构光平面，在工件表面上形成两条激光条纹；图像采集系统，由工业相机、工业镜头和滤光片组成，用于采集包含上述激光条纹的焊缝图像；采集到的焊缝图像，经过计算机进行图像处理，得出图像中焊缝的位置；通过对相机和激光平面进行标定，得出相机的内外参数以及线激光平面的空间方程，计算焊缝三维的空间姿态；电机控制焊枪，接收数据后在对应位置进行焊接。本发明实现了焊接过程的纠偏、控制焊枪的焦点深度，实现离焦量的控制。

Description

基于双线激光结构光的焊缝识别与跟踪系统及方法

技术领域

本发明属于机器视觉领域的视觉传感测量，具体涉及了一种基于双线激光结构光的焊缝识别与跟踪的系统和方法。

背景技术

焊接作为制造业的重要技术，应用范围广，涉及船舶、车辆、航空、电子行业等领域。随着工业现代化和工业自动化的发展，以及国家近年来提出的“中国制造2025”，现有的大量基于示教再现和离线编程的焊接设备已无法工业发展的需要，因此，需要开发更加自动化和智能化的焊接机器人。

为了提高焊接的自动化水平，可以使用传感技术来获取焊接过程中有用的信息。而非接触式的视觉传感具有其他传感器无法比拟的优势，应用范围广泛，获取的焊接信息丰富，是当前的研究热门。双线激光结构光传感器在消除超前误差比单线激光结构光传感器具有明显优势，并且双线激光结构光传感器可以进行焊枪高度位置信息的识别。尤其是当前激光焊头在焊接设备中的大量使用，使得焊缝高度位置信息变得极其重要(因为激光焊接头聚焦深度较小，焦点位置(即离焦量)的准确控制直接关系到焊缝最终的焊接质量)。但是，实际的焊接过程中，焊接环境复杂，工厂流水线存在焊件的抖动，使得出现焊接偏差，焊接质量下降，现有的视觉传感器无法满足这一要求。

因此，需要开发一种基于双线激光结构光的焊缝识别与跟踪系统来解决上述问题。

发明内容

1、本发明的目的

本发明提供了一种基于双线激光结构光的焊缝识别与跟踪系统及方法，通过两个线激光平面进行焊缝识别与定位，进而引导焊枪进行焊接，解决了焊接时由于工件抖动所造成的焊接偏差。

2、本发明所采用的技术方案

本发明公开了一种基于双线激光结构光的焊缝识别与跟踪系统，包括：激光发射器、工业相机、工业镜头、滤光片、焊枪、电机和计算机；

激光发射器，包括两个激光发生器，安装于工业相机两侧，通过向工件表面透射激光产生两个结构光平面，在工件表面上形成两条激光条纹；

图像采集系统，由工业相机、工业镜头和滤光片组成，用于采集包含上述激光条纹的焊缝图像；采集到的焊缝图像，经过计算机进图像处理，得出图像中焊缝的位置；通过对相机和激光平面进行标定，得出相机的内外参数以及线激光平面的空间方程，计算焊缝三维的空间姿态；

电机控制焊枪，接收数据后在对应位置进行焊接。

更进一步，所述的经过计算机进图像处理具体为：图像采集系统采集焊缝的特征点，获得图像中焊缝中心点的位置坐标；

使用张正友标定法对相机进行标定，利用图像中像素间的对应关系进行标定；选用黑白相间的棋盘格作为标定板，移动标定板，拍摄不同角度的图像，提取棋盘格角点的像素坐标，根据图像坐标系、相机坐标系和世界坐标系的转换关系，得出相机的内参数和外参数；利用相机投影中心及线激光在相机成像面上的信息，使用共面标靶实现相机与线激光平面之间位置参数的标定，即可标定线结构光平面，最终将图像中的坐标系与两个线激光平面所在的坐标系统一起来；

通过预校准，使用焊缝特征点的位置和两个线激光平面方程，得出焊缝的三维空间姿态。

更进一步，通过预校准，使用焊缝特征点的位置和两个线激光平面方程，得出焊缝的三维空间姿态具体为：L₁、L₂为两个线激光平面，R₁，R₂为两个参考平面，l₁、l₂为参考平面上的焊缝线，P_L1,P_L2，P₁₁，P₁₂和P_R1,P_R2,P₂₁P₂₂，为激光平面与参考平面的交点；确定世界坐标系的零点；由两个线激光器的空间位置，可以得到两个线激光平面L₁、L₂的空间方程；取两个参考平面R₁、R₂，由工业相机采集的图像获得激光面的空间方程，即由相机和位移台得到激光面与参考平面的交点P_L1,P_L2，P₁₂和P_R1,P_R2,P₂₂,其中P₁₂和P₂₂为激光平面L₁与L₂焊缝l₁的交点；

已知条件：

平面L₁方程：z＝A1*x+B1*y+C1(预校准)

平面L₂方程：z＝A2*x+B2*y+C2(预校准)

P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)(通过图像处理得到的特征点)

代入得到：

z₁₂＝A1*x₁₂+B1*y₁₂+C1

z₂₂＝A2*x₂₂+B2*y₂₂+C2

通过两个线激光平面的方程，得出焊缝特征点的空间坐标P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)，进而通过两点确定直线的原理获得焊缝的三维空间姿态。

更进一步，所述的两个激光器分别安装于工业相机两侧，相机垂直拍摄焊缝图像；激光器和工业相机安装于焊枪前方。

更进一步，所述的激光器为一字线激光器。

更进一步，所述的工业相机为CMOS工业相机。

更进一步，还包括用于固定工业相机和两个线激光器的支架。

本发明公开了一种基于双线激光结构光的焊缝识别与跟踪方法，按照如下步骤进行：

步骤1、焊缝的识别与跟踪

采集焊缝的特征点，获得图像中焊缝中心点的位置坐标；

步骤2、预校准步骤

使用张正友标定法对相机进行标定，利用图像中像素间的对应关系进行标定；选用黑白相间的棋盘格作为标定板，移动标定板，拍摄不同角度的图像，提取棋盘格角点的像素坐标，根据图像坐标系、相机坐标系和世界坐标系的转换关系，得出相机的内参数和外参数；

利用相机投影中心及线激光在相机成像面上的信息，使用共面标靶实现相机与线激光平面之间位置参数的标定，即可标定线结构光平面，最终将图像中的坐标系与两个线激光平面所在的坐标系统一起来；

步骤3、通过上述步骤进行预校准，使用焊缝特征点的位置和两个线激光平面方程，得出焊缝的三维空间姿态。

更进一步，L₁、L₂为两个线激光平面，R₁，R₂为两个参考平面，l₁、l₂为参考平面上的焊缝线，P_L1,P_L2，P₁₁，P₁₂和P_R1,P_R2,P₂₁P₂₂，为两激光平面与参考平面的交点；

首先确定世界坐标系的零点；由两个线激光器的空间位置，可以得到两个线激光平面L₁、L₂的空间方程；取两个参考平面R₁、R₂，由工业相机采集的图像获得激光面的空间方程，即由相机和位移台得到激光面与参考平面的交点P_L1,P_L2，P₁₂和P_R1,P_R2,P₂₂,其中P₁₂和P₂₂为激光平面L₁与L₂焊缝l₁的交点。

已知条件：

平面L₁方程：z＝A1*x+B1*y+C1

平面L₂方程：z＝A2*x+B2*y+C2

通过图像处理得到的特征点P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)

代入得到：

z₁₂＝A1*x₁₂+B1*y₁₂+C1

z₂₂＝A2*x₂₂+B2*y₂₂+C2

通过两个线激光平面的方程，得出焊缝特征点的空间坐标P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)，进而通过两点确定直线的原理获得焊缝的三维空间姿态。

还包括步骤4、误差分析；

通过加工斜面标准块，并且斜面上带有直焊缝；使用步骤3所述的方法，得出焊缝的三维空间姿态；在视场里取焊缝线上多个点，测量每个点实际的空间坐标；计算每个点的测量值与焊缝拟合线的偏差。

3、本发明的有益效果

(1)本发明采用一字线激光器产生的两个结构光平面与焊缝的特征点来确定焊缝的三维空间姿态，不仅可以确定焊枪焦点的位置，实现了焊接过程的纠偏；而且可以控制焊枪的焦点深度，实现离焦量的控制。

(2)当焊缝由于工件抖动而产生倾斜、转动或抬高时，本发明依然可以识别与定位焊缝的精确位置，引导焊枪进行焊接。

综上所述，本发明提出的方法，适用于直焊缝的焊接，改善了焊接的质量和精度，提高了焊接的生产效率。

附图说明

图1是本发明的基于双线激光结构光的焊缝识别与跟踪系统的结构示意图；

图2是本发明的工业相机和线激光发生器位置参考图；

图3是本发明的系统采集到的焊缝图像；

图4是本发明的线激光平面的预校准；

图5是本发明的焊缝误差曲线；

图6是本发明的实际测量点与焊缝拟合线的三维分布图；

图7是本发明的视觉跟踪方法的流程图。

具体实施方法

下面结合实施例和附图对本发明作进一步详细、完整的描述，但本发明的实施方式不限于此。

实施例

参见图1，图1是本发明的基于双线激光结构光的焊缝识别与跟踪系统的结构示意图，如图1所示，该系统主要包括：激光发生器21、22，通过向工件表面透射激光产生两个结构光平面，在工件表面上形成两条激光条纹；图像采集装置23，用于采集焊缝图像；焊枪3，进行工件的焊接；工件4和焊缝5；支架6用于固定两个激光发生器和图像采集装置。

所述的激光器为一字线激光发射器，波长为635nm，激光的线宽可调；两个线激光器分别安装于工业相机两侧；相机垂直拍摄焊缝图像，正对两条线激光投射区域；两个线激光器和工业相机以一定距离安装于焊枪前方。

图像采集系统中，所述的工业相机为USB2.0带缓存系列CMOS工业相机，型号为JHSM300f，分辨率为300万像素，相机内置32M内存作为帧缓存；相机镜头型号为JHHF1220-5M，镜头焦距为12mm，500万级镜头；所述的滤光片可以透过光波的中心波长为635nm。

基于光学三角测量法的原理，一字线激光器21、22发出两个结构光平面，投射到待焊工件4表面，并在工件4表面形成一条很窄的光带，光带及包含焊缝的区域被图像采集装置23接收并成像，两条光带在焊缝处产生形变，在采集到的焊缝图像中可以明显看到。参见图1，由于两个线激光器21、22和图像采集装置23之间存在一定角度，焊缝边缘和焊缝底部的深度不同，反射到工业相机的焊缝处激光图像的亮度也不同。

参见图2，是本发明的工业相机和线激光器位置参考图，两个线激光器21、22分别以一定角度和高度，安装于工业相机23两侧，向待焊工件4透射两个结构光平面；相机垂直拍摄焊缝图像，正对两条线激光投射区域。基于上述的光学三角法的测量原理，线激光发射器21、22分别发射线激光平面A、B,投射到工件4表面形成激光光带，采集装置23采集到包含激光条纹的焊缝图像。

依据图1的装置，基于双线激光结构光进行焊缝的识别与跟踪，包括以下步骤：

步骤一：要实现焊缝的识别与跟踪，首先就是要得到采集图像中焊缝的特征点，才可以进行偏差分析。故采用一系列的图像处理算法对焊缝图像进行处理，获得图像中焊缝中心点的位置坐标。图3是本发明的系统采集到的焊缝图像。

步骤二：使用张正友标定法对相机进行标定，利用图像中像素间的对应关系进行标定。选用黑白相间的棋盘格作为标定板，移动标定板，拍摄不同角度的图像，提取棋盘格角点的像素坐标，根据图像坐标系、相机坐标系和世界坐标系的转换关系，得出相机的内参数和外参数。利用相机投影中心及线激光在相机成像面上的信息，使用共面标靶实现相机与线激光平面之间位置参数的标定，即可标定线结构光平面，最终将图像中的坐标系与两个线激光平面所在的坐标系统一起来。

步骤三：通过对本发明提出的识别与跟踪系统进行预校准，使用焊缝特征点的位置和两个线激光平面方程，得出焊缝的三维空间姿态。

参见图4，对本发明基于双线激光结构光的焊缝识别与跟踪系统进行预校准，图中L₁、L₂为两个线激光平面，R₁，R₂为两个参考平面，l₁、l₂为参考平面上的焊缝线，P_L1,P_L2，P₁₁，P₁₂和P_R1,P_R2,P₂₁P₂₂，为激光平面与参考平面的交点。首先确定世界坐标系的零点；由两个线激光器的空间位置，可以得到两个线激光平面L₁、L₂的空间方程；取两个参考平面R₁、R₂，由工业相机采集的图像获得激光面的空间方程，即由相机和位移台得到激光面与参考平面的交点P_L1,P_L2，P₁₂和P_R1,P_R2,P₂₂,其中P₁₂和P₂₂为激光平面L₁与L₂焊缝l₁的交点。

已知条件：

平面L₁方程：z＝A1*x+B1*y+C1(预校准)

平面L₂方程：z＝A2*x+B2*y+C2(预校准)

P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)(通过图像处理得到的特征点)

代入得到：

z₁₂＝A1*x₁₂+B1*y₁₂+C1

z₂₂＝A2*x₂₂+B2*y₂₂+C2

通过两个线激光平面的方程，得出焊缝特征点的空间坐标P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)，进而通过两点确定直线的原理获得焊缝的三维空间姿态，如下方程所示：

步骤四：对本发明提出的方法进行误差分析。通过加工斜面标准块，本实施例选用6.1度的标准块，并且斜面上带有直焊缝。使用步骤三所述的方法，得出焊缝的三维空间姿态；在视场里取焊缝线上40个点，测量每个点实际的空间坐标；计算每个点的测量值与焊缝拟合线的偏差；每个点的偏差以及整体的误差均值、标准差如下：

(表中每个点的偏差都已经取绝对值)

由上述结果可知，本发明所提出的的方法，测量值的误差均值为0.0448mm，标准差为0.0093mm，精度很高，可以满足实际工业要求。图5是根据上表绘制的焊缝误差曲线，更加直观地反映了误差情况；图6是本发明40个实际测量点与焊缝拟合线的三维分布图，系统的精度与稳定性较高，可以满足要求。

本发明基础的焊缝识别与跟踪方法，适用于直焊缝。基于本发明提出的方法，在实际焊接过程中，由于抖动或振动等因素，导致的待焊接工件与焊枪相对位置发生移动、倾斜、旋转，上述基于双线结构光的焊缝识别与跟踪系统都可以准确获得焊缝特征点的三维空间姿态，引导焊枪进行焊接。当焊缝由于倾斜或者抬高而发生高度变化时，采集到的焊缝图像中两条激光条纹的位置会发生相对移动，焊缝的三维空间姿态产生相应的高度变化，基于本发明提出的方法可以准确判断焊缝三维空间姿态的高度变化，对于激光焊接设备来说，即可以控制焊枪的焦点深度，即可进行离焦量的实时控制；此外当焊件由于旋转或者移动而产生平面偏差时，焊缝图像中两条激光条纹的位置亦会发生相对移动，焊缝的三维空间姿态产生相应的平面变化，应用上述方法可以根据焊缝三维空间姿态的相应变化，控制焊枪的焦点位置。图7是本发明的视觉跟踪方法的流程图。因此，本发明提出的基于双线激光结构光焊缝识别与跟踪方法不仅可以确定焊枪焦点的位置，实现了焊接过程的纠偏；而且可以控制焊枪的焦点深度，实现离焦量的控制。

Claims (10)

1.一种基于双线激光结构光的焊缝识别与跟踪系统，其特征在于包括：激光发射器、工业相机、工业镜头、滤光片、焊枪、电机和计算机；

激光发射器，包括两个激光发生器，安装于工业相机两侧，通过向工件表面投射激光产生两个结构光平面，在工件表面上形成两条激光条纹；

图像采集系统，由工业相机、工业镜头和滤光片组成，用于采集包含上述激光条纹的焊缝图像；采集到的焊缝图像，经过计算机进图像处理，得出图像中焊缝的位置；通过对相机和激光平面进行标定，得出相机的内外参数以及线激光平面的空间方程，计算焊缝三维的空间姿态；

电机控制焊枪，接收数据后在对应位置进行焊接。

2.根据权利要求1所述的基于双线激光结构光的焊缝识别与跟踪系统，其特征在于所述的经过计算机进图像处理具体为：图像采集系统采集焊缝的特征点，获得图像中焊缝中心点的位置坐标；

使用张正友标定法对相机进行标定，利用图像中像素间的对应关系进行标定；选用黑白相间的棋盘格作为标定板，移动标定板，拍摄不同角度的图像，提取棋盘格角点的像素坐标，根据图像坐标系、相机坐标系和世界坐标系的转换关系，得出相机的内参数和外参数；利用相机投影中心及线激光在相机成像面上的信息，使用共面标靶实现相机与线激光平面之间位置参数的标定，即可标定线结构光平面，最终将图像中的坐标系与两个线激光平面所在的坐标系统一起来；

通过预校准，使用焊缝特征点的位置和两个线激光平面方程，得出焊缝的三维空间姿态。

3.根据权利要求2所述的基于双线激光结构光的焊缝识别与跟踪系统，其特征在于通过预校准，使用焊缝特征点的位置和两个线激光平面方程，得出焊缝的三维空间姿态具体为：L₁、L₂为两个线激光平面，R₁，R₂为两个参考平面，l₁、l₂为参考平面上的焊缝线，P_L1,P_L2，P₁₁，P₁₂和P_R1,P_R2,P₂₁ P₂₂，为激光平面与参考平面的交点；确定世界坐标系的零点；由两个线激光器的空间位置，可以得到两个线激光平面L₁、L₂的空间方程；取两个参考平面R₁、R₂，由工业相机采集的图像获得激光面的空间方程，即由相机和位移台得到激光面与参考平面的交点P_L1,P_L2，P₁₂和P_R1,P_R2,P₂₂,其中P₁₂和P₂₂为激光平面L₁与L₂焊缝l₁的交点；

已知条件：

平面L₁方程：z＝A1*x+B1*y+C1(预校准)

平面L₂方程：z＝A2*x+B2*y+C2(预校准)

P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)(通过图像处理得到的特征点)

代入得到：

z₁₂＝A1*x₁₂+B1*y₁₂+C1

z₂₂＝A2*x₂₂+B2*y₂₂+C2

通过两个线激光平面的方程，得出焊缝特征点的空间坐标P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)，进而通过两点确定直线的原理获得焊缝的三维空间姿态，更进一步，通过焊缝的空间姿态得到焊点的实际三维空间位置，同时实现纠偏和离焦量的控制。

4.根据权利要求1所述的基于双线激光结构光的焊缝识别与跟踪系统，其特征在于：所述的两个激光器分别安装于工业相机两侧，相机垂直拍摄焊缝图像；激光器和工业相机安装于焊枪前方。

5.根据权利要求1所述的基于双线激光结构光的焊缝识别与跟踪系统，其特征在于：所述的激光器为一字线激光器。

6.根据权利要求1所述的基于双线激光结构光的焊缝识别与跟踪系统，其特征在于：所述的工业相机为CMOS工业相机。

7.根据权利要求1所述的基于双线激光结构光的焊缝识别与跟踪系统，其特征在于：还包括用于固定工业相机和两个线激光器的支架。

8.一种基于双线激光结构光的焊缝识别与跟踪方法，其特征在于按照如下步骤进行：

步骤1、焊缝的识别与跟踪

采集焊缝的特征点，获得图像中焊缝中心点的位置坐标；

步骤2、预校准步骤

使用张正友标定法对相机进行标定，利用图像中像素间的对应关系进行标定；选用黑白相间的棋盘格作为标定板，移动标定板，拍摄不同角度的图像，提取棋盘格角点的像素坐标，根据图像坐标系、相机坐标系和世界坐标系的转换关系，得出相机的内参数和外参数；

利用相机投影中心及线激光在相机成像面上的信息，使用共面标靶实现相机与线激光平面之间位置参数的标定，即可标定线结构光平面，最终将图像中的坐标系与两个线激光平面所在的坐标系统一起来；

步骤3、通过上述步骤进行预校准，使用焊缝特征点的位置和两个线激光平面方程，得出焊缝的三维空间姿态。

9.根据权利要求8所述的基于双线激光结构光的焊缝识别与跟踪方法，其特征在于：

L₁、L₂为两个线激光平面，R₁，R₂为两个参考平面，l₁、l₂为参考平面上的焊缝线，P_L1,P_L2，P₁₁，P₁₂和P_R1,P_R2,P₂₁ P₂₂，为两激光平面与参考平面的交点；

首先确定世界坐标系的零点；由两个线激光器的空间位置，可以得到两个线激光平面L₁、L₂的空间方程；取两个参考平面R₁、R₂，由工业相机采集的图像获得激光面的空间方程，即由相机和位移台得到激光面与参考平面的交点P_L1,P_L2，P₁₂和P_R1,P_R2,P₂₂,其中P₁₂和P₂₂为激光平面L₁与L₂焊缝l₁的交点；

已知条件：

平面L₁方程：z＝A1*x+B1*y+C1

平面L₂方程：z＝A2*x+B2*y+C2

通过图像处理得到的特征点P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)

代入得到：

z₁₂＝A1*x₁₂+B1*y₁₂+C1

z₂₂＝A2*x₂₂+B2*y₂₂+C2

通过两个线激光平面的方程，得出焊缝特征点的空间坐标P₁₂(x₁₂,y₁₂,z₁₂)，P₂₂(x₂₂,y₂₂,z₂₂)，进而通过两点确定直线的原理获得焊缝的三维空间姿态。

10.根据权利要求9所述的基于双线激光结构光的焊缝识别与跟踪方法，其特征在于还包括步骤4、误差分析；

通过加工斜面标准块，并且斜面上带有直焊缝；使用步骤3所述的方法，得出焊缝的三维空间姿态；在视场里取焊缝线上多个点，测量每个点实际的空间坐标；计算每个点的测量值与焊缝拟合线的偏差。