CN108672988B - 一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法 - Google Patents

Abstract

本发明提供了一种适用于移动机器人的焊缝偏差和交叉焊缝类型识别方法，采用三线激光条纹和相机构成视觉传感系统，通过三激光条纹视觉传感器扫描焊缝，通过单激光条纹自身形状特征变化和前后相邻激光条纹的距离特征变化识别焊缝交叉类型，如果是直线焊缝，则分别对单激光条纹进行分段拟合求左右特征点，通过直线拟合得到焊缝的特征直线，计算跟踪点到该直线的距离得到当前的焊缝跟踪偏差，计算特征直线的斜率并与期望值比较得到机器人的方位偏差。本发明既得到当前机器人的焊缝跟踪偏差，又利用三条激光条纹自身形状及前后激光条纹之间的信息实现焊缝交叉类型的判定，方法简单可靠准确，实现大型结构件大拼接焊缝的检测、除锈和涂装的全自主运行。

Description

一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法

技术领域

本发明属于船体外板等大型结构件的智能制造技术领域，具体涉及一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法，于船体表面大接缝，大型容器拼接焊缝的除锈、检测以及涂装等的智能机器人系统。

背景技术

船体分段的涂装工作可以在车间进行，但船体分段拼焊后由于体积庞大只能在船坞现场进行涂装，在涂装前需对大量的拼焊焊缝进行表面处理，一是除锈，二是使表面达到一定的粗糙度。现在通常是采用人工喷砂方式来进行表面清洁处理，但船体分段总装的焊缝很长，喷砂工作量大，效率较低，工人劳动强度大，工作条件恶劣，其粉尘和噪音对人的健康影响极大。另外人工打磨后的粉尘没有进行回收处理，直接落入船坞排入大海后对环境也会造成严重的污染。这与当前的绿色造船，环保造船的理念严重不符。

与此同时，随着经济的发展，中国的人口红利逐渐减少，劳动力成本上升，熟练工稀缺。在这样的背景下，提出采用自动化除锈代替人工喷砂除锈，倡导科技造船，是非常具有现实意义的。不但可以逐步减少对人的依赖，提高造船效率和质量，也减少了对人体和环境的污染。

经对现有技术文献检索分析，发现专利公开号为CN201633804U的中国专利文献所公开的“一种船舶壁面除锈爬壁机器人”；专利公开号为CN 101863294的中国专利文献所公开的“用于干、湿环境的磁隙式爬壁机器人”；专利公开号为CN 103171640 A的中国专利文献所公开的“一种基于永磁吸附结构的爬壁机器人”；专利公开号为CN 201610532166.7的中国专利文献所公开的“船体壁面大接缝除锈爬壁机器人”。

上述的除锈爬壁机器人主要侧重于解决船舶等大型结构件移动除锈的爬壁能力以及不同的除锈方法，但并不涉及到大拼接焊缝除锈的除锈问题，尤其不涉及到为提高效率和自动化程度的待除锈焊缝的焊缝路径自动跟踪技术问题，自动化和智能化程度不高，这对于船舶等大型结构件大拼接焊缝的自动除锈、检测和自动涂装无疑降低了效率。

发明内容

本发明的目的在于针对现有技术中存在的不足和缺陷，提供一种能自动实现焊缝路径跟踪偏差和焊缝交叉类似自动识别的方法。

本发明是根据以下技术方案实现的：

一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法，利用三线激光器和CCD相机，其中所述三线激光器包括三条平行、间距相等的三条激光线，并且所述三条激光线都位于CCD相机的中间位置，其特征在于，其包括如下步骤：

步骤S1：分别对焊缝三激光条纹图像采集，通过图像采集卡采集三线激光投射到焊缝上的焊缝图像；

步骤S2：对所采集到的焊缝图形进行图像处理，对采集的焊缝三激光条纹依次进行滤波、锐化增强、二值化、去除颗粒、形态学闭操作、骨架化、去毛刺、最后得到单像素的干净连续的三条发生畸变的激光条纹，通过激光条纹的畸变和三角几何关系则确定焊缝形状和位置的变化；

步骤S3：三条激光条纹同时反映焊缝三个不同位置的情况，利用单激光条纹自身的特征变化以及与前后相邻条纹之间的距离特征变化，建立交叉焊缝识别方法，对焊缝交叉类型辨识；

步骤S4：对直线焊缝跟踪偏差进行辨识，对三条激光条纹分别进行分段拟合并求交点，得到激光条纹的左右特征点，左右特征直线，最终得到焊缝特征直线，与期望值比较得到移动机器人当前跟踪焊缝的位移偏差和方位偏差。

上述技术方案中，步骤S3具体包括如下步骤：

步骤S301：建立焊缝交叉类型识别函数：

S＝ε(D₁-D₂-T)·[ε(H₁-H_r)+ε(H₂-H_r)+ε(H₃-H_r)] (1)

其中ε(t)为单位阶跃函数，定义如下：

其中T为阈值，根据实际焊缝确定，H_r由以下公式(2)得出：

类型识别函数(1)中，ε(D₁-D₂-T)用于判断激光是否进入焊缝交叉处，如果不是则函数值为0；

其中，ε(H₁-H_r)+ε(H₂-H_r)+ε(H₃-H_r)用于统计当前y方向上未被压缩的激光条纹数；

函数的结果S代表不同的焊缝交叉类型，当S值等于0时，则表示三激光条纹当前检测到的是直线焊缝，未与其它焊缝交叉；当S值等于1时，则表示三激光条纹当前检测到的是“T”字形交叉焊缝；而当S值等于2时，则表示三激光条纹当前检测到的是“十”字形交叉焊缝；

步骤S302：计算单激光条纹自身形状特征的变化：用该激光条纹的焊缝圆弧顶点的像素值-整个激光条纹的像素值，得到该条激光条纹的形状变化参量值H1,H2,H3；

步骤S303：计算相邻激光条纹的距离特征变化：分别计算三条激光条纹相互之间的距离值D1、D2，得到三条激光条纹在遇到交叉焊缝后的距离特征变化；

步骤S304：将步骤S302和S303得到的单条纹形状变化特征H1,H2,H3和相邻激光条纹之间的距离变化值D1和D2代入焊缝交叉类型识别函数计算识别结果，其中如果S值为0，则为直线焊缝，则进行下一步的焊缝偏差识别任务，而当S值分别为1或2时，则表示当前检查到的焊缝为十字交叉焊缝或T字交叉焊缝。

上述技术方案中，所述步骤S4包括如下步骤：

步骤S401：对三条激光条纹分别进行分段，分为：左直线段、右直线段、焊缝区曲线段；

步骤S402：对三段激光条纹分段拟合：左右直线段按一次多项式拟合得到直线方程，而焊缝区曲线段则首选将其分为A、B、C三个曲线子段，分别对A曲线段和C曲线段进行二次或者三次多项式拟合得到曲线方程；

步骤S403：求激光条纹和焊缝相交特征点：对每条激光条纹左直线段方程和焊缝区A曲线方程、焊缝区C曲线方程和右直线段方程相交分别求交点，得到焊缝的激光条纹左右特征点；

步骤S404:通过三条激光条纹的左右特征拐点，建立焊缝轮廓的左右特征直线，并以左右特征直线的中线作为焊缝的最终特征直线；

步骤S405：计算机器人的跟踪点到当前焊缝特征直线的位移变化，得到当前移动机器人的焊缝跟踪偏差；

步骤S406：根据最终特征直线的斜率可得到移动机器人当前的方位角，与期望方位角比较，可得到小车当前的方位偏差。

与现有技术相比，本发明具有如下的有益效果：

本发明的三线激光不但可以利用单条激光条纹的信息，还可以基于前后相邻三条激光条纹的特征变化信息，反映当前焊缝一个区域内的所有信息。通过三条激光条纹自身特征的变化以及相邻条纹之间的特征的变化，不但可以辨识出焊缝偏差，还可以较为容易和可靠地实现交叉焊缝类型的辨识，相比单线激光，信息更为丰富，算法更为可靠，检测焊缝交叉类型方法更为简单，这为后续的船体外板的空间多向焊缝的全自主跟踪奠定了基础。也为向大型容器等结构件大拼接焊缝的除锈、缺陷检测以及涂装实现高度智能化的全自主过程提供了实现的基础。

此外，本发明不但可以用在船体外板的大拼接焊缝中，还可以用在大型容器，大型结构的焊缝除锈中，也可以用在焊缝检测、焊缝涂装等应用领域中。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为三线激光检测焊缝原理图；

图2(a)为直线焊缝的三激光条纹图；

图2(b)为交叉焊缝的三激光条纹图；

图3为三激光条纹焊缝识别流程示意图；

图4(a)为激光条纹自身在不经过和经过交叉焊缝时形状特征的变化示意图；

图4(b)为相邻激光条纹距离的特征变化示意图；

图5为本发明的直线焊缝特征直线提取方法示意图。

其中，附图标记：1-三条纹激光光源，2-CCD相机，3-工件，4-跟踪焊缝，5-交叉焊缝，6、7、8-激光条纹。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，在本实施例中，三线激光条纹焊缝偏差和交叉焊缝类型识别包括：三条纹激光光源1，CCD相机2，工件3，跟踪焊缝4，交叉焊缝5，激光条纹6、激光条纹7、激光条纹8。

图2中(a)和(b)分别为直线焊缝的三激光条纹图，和交叉焊缝的三激光条纹图；

图3为三激光条纹焊缝识别流程；其中，本发明的一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法，利用三线激光器和CCD相机，其中所述三线激光器包括三条平行、间距相等的三条激光线，并且所述三条激光线都位于CCD相机的中间位置，包括如下步骤：

步骤S1：分别对焊缝三激光条纹图像采集，通过图像采集卡采集三线激光投射到焊缝上的焊缝图像；

步骤S2：对所采集到的焊缝图形进行图像处理，对采集的焊缝三激光条纹依次进行滤波、锐化增强、二值化、去除颗粒、形态学闭操作、骨架化、去毛刺、最后得到单像素的干净连续的三条发生畸变的激光条纹，通过激光条纹的畸变和三角几何关系则确定焊缝形状和位置的变化；

步骤S3：三条激光条纹同时反映焊缝三个不同位置的情况，利用单激光条纹自身的特征变化以及与前后相邻条纹之间的距离特征变化，建立焊缝交叉识别方法，对焊缝交叉类型辨识；

步骤S4：对直线焊缝跟踪偏差进行辨识，对三条激光条纹分别进行分段拟合并求交点，得到激光条纹的左右特征点，左右特征直线，最终得到焊缝特征直线，与期望值比较得到移动机器人当前跟踪焊缝的位移偏差和方位偏差。

众所周知，激光条纹、相机和检测物体之间构成一个三角几何关系，工件高度位置不同，在相机中的成像位置也不同，而当工件表面曲率不同则相应的激光条纹发生畸变，通过激光条纹的畸变和三角几何关系则可完全确定焊缝形状和位置的变化。

步骤S3具体包括如下步骤：

步骤S301：建立焊缝交叉类型识别函数：

S＝ε(D₁-D₂-T)·[ε(H₁-H_r)+ε(H₂-H_r)+ε(H₃-H_r)] (1)

其中ε(t)为单位阶跃函数，定义如下：

其中T为阈值，根据实际焊缝确定，H_r由以下公式(2)得出：

类型识别函数(1)中，ε(D₁-D₂-T)用于判断激光是否进入焊缝交叉处，如果不是则函数值为0；

其中，ε(H₁-H_r)+ε(H₂-H_r)+ε(H₃-H_r)用于统计当前y方向上未被压缩的激光条纹数；

函数的结果S代表不同的焊缝交叉类型，当S值等于0时，则表示三激光条纹当前检测到的是直线焊缝，未与其它焊缝交叉；当S值等于1时，则表示三激光条纹当前检测到的是“T”字形交叉焊缝；而当S值等于2时，则表示三激光条纹当前检测到的是“十”字形交叉焊缝；

步骤S302：计算单激光条纹自身形状特征的变化：用该激光条纹的焊缝圆弧顶点的像素值-整个激光条纹的像素值，得到该条激光条纹的形状变化参量值H1,H2,H3；

步骤S303：计算相邻激光条纹的距离特征变化：分别计算三条激光条纹相互之间的距离值D1、D2，得到三条激光条纹在遇到交叉焊缝后的距离特征变化；

步骤S304：将步骤S302和S303得到的单条纹形状变化特征H1,H2,H3和相邻激光条纹之间的距离变化值D1和D2代入焊缝交叉类型识别函数计算识别结果，其中如果S值为0，则为直线焊缝，则进行下一步的焊缝偏差识别任务，而当S值分别为1或2时，则表示当前检查到的焊缝为十字交叉焊缝或T字交叉焊缝。

步骤S4：对直线焊缝跟踪偏差辨识，对三条激光条纹分别进行分段拟合并求交点，得到激光条纹的左右特征点，左右特征直线，最终得到焊缝特征直线，与期望值比较得到移动机器人当前跟踪焊缝的位移偏差和方位偏差。步骤S4包括如下步骤：

步骤S401：对三条激光条纹分别进行分段，分为：左直线段、右直线段、焊缝区曲线段；

步骤S402：对三段激光条纹分段拟合：左右直线段按一次多项式拟合得到直线方程，而焊缝区曲线段则首选将其分为A、B、C三个曲线子段，分别对A曲线段和C曲线段进行二次或者三次多项式拟合得到曲线方程；

步骤S403：求激光条纹和焊缝相交特征点：对每条激光条纹左直线段方程和焊缝区A曲线方程、焊缝区C曲线方程和右直线段方程相交分别求交点，得到焊缝的激光条纹左右特征点；

步骤S404:通过三条激光条纹的左右特征拐点，建立焊缝轮廓的左右特征直线，并以左右特征直线的中线作为焊缝的最终特征直线；

步骤S405：计算机器人的跟踪点到当前焊缝特征直线的位移变化，得到当前移动机器人的焊缝跟踪偏差，为后续的跟踪奠定基础。

步骤S406：根据最终特征直线的斜率可得到移动机器人当前的方位角，与期望方位角比较，可得到小车当前的方位偏差。

图4(a)为激光条纹自身在不经过和经过交叉焊缝时形状特征的变化，图4(b)为相邻激光条纹距离的变化特征；其中，H1,H2,H3分别表示激光条纹6、激光条纹7、激光条纹8的y方向坐标，激光条纹的形状参量ΔH表示激光条纹Y向最大值-最小值之差，而相邻激光条纹的距离参量D1表示激光条纹6和激光条纹7之间的距离，而D2表示激光条纹8和激光条纹7之间的距离。

所述的图5焊缝偏差识别方法中，图5(a)首先对每条激光条纹分段，分为左直线段9、右直线段11、焊缝区10分为左曲线段A，右曲线段C、中间曲线段B；图5(b)为分别对激光条纹分段进行拟合，其中左右直线段分别进行一次多项式拟合，得到左右直线12和15，而焊缝区的曲线段A和C则进行二次或者三次多项式拟合，得到曲线方程13和14；图5(c)则对三条激光条纹的拟合线段分别求左右特征点L1,L2,L3以及R1、R2和R3，并拟合得到左右特征直线16，和18，并以左右特征直线的中线17作为焊缝的特征直线。

本实施例方便、可靠地实现了船体外板大拼接焊缝的偏差和多向交叉焊缝类型的辨识。可靠、精度高、适应性强，对于实现船体外板、压力容器等大型结构件的拼接焊缝的全自主高度自动化的检测、除锈、涂装提供了必要条件。大大提高了系统的自适应性和智能化程度。因此，该方法无论从经济效益和社会效益的角度，该方法都具有较大的推广应用价值。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (3)

1.一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法，利用三线激光器和CCD相机，其中所述三线激光器包括三条平行、间距相等的三条激光线，并且所述三条激光线都位于CCD相机的中间位置，其特征在于，其包括如下步骤：

步骤S1：分别对焊缝的三条激光条纹图像采集，通过图像采集卡采集三线激光投射到焊缝上的焊缝图像；

步骤S2：对所采集到的焊缝图形进行图像处理，对采集的焊缝的三条激光条纹依次进行滤波、锐化增强、二值化、去除颗粒、形态学闭操作、骨架化、去毛刺、最后得到单像素的干净连续的三条发生畸变的激光条纹，通过激光条纹的畸变和三角几何关系则确定焊缝形状和位置的变化；

步骤S3：三条激光条纹同时反映焊缝三个不同位置的情况，利用单激光条纹自身的特征变化以及与前后相邻条纹之间的距离特征变化，建立交叉焊缝识别方法，对焊缝交叉类型辨识；

步骤S4：对直线焊缝跟踪偏差进行辨识，对三条激光条纹分别进行分段拟合并求交点，得到激光条纹的左右特征点，左右特征直线，最终得到焊缝特征直线，与期望值比较得到移动机器人当前跟踪焊缝的位移偏差和方位偏差。

2.根据权利要求1所述的一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法，其特征在于，步骤S3具体包括如下步骤：

步骤S301：建立焊缝交叉类型识别函数：

S＝ε(D₁-D₂-T)·[ε(H₁-H_r)+ε(H₂-H_r)+ε(H₃-H_r)] (1)

其中ε(t)为单位阶跃函数，定义如下：

其中T为阈值，根据实际焊缝确定，H_r由以下公式(2)得出：

类型识别函数(1)中，ε(D₁-D₂-T)用于判断激光是否进入焊缝交叉处，如果不是则函数值为0；

其中，ε(H₁-H_r)+ε(H₂-H_r)+ε(H₃-H_r)用于统计当前y方向上未被压缩的激光条纹数；

函数的结果S代表不同的焊缝交叉类型，当S值等于0时，则表示三激光条纹当前检测到的是直线焊缝，未与其它焊缝交叉；当S值等于1时，则表示三激光条纹当前检测到的是“T”字形交叉焊缝；而当S值等于2时，则表示三激光条纹当前检测到的是“十”字形交叉焊缝；

步骤S302：计算单激光条纹自身形状特征的变化：用该激光条纹的焊缝圆弧顶点的像素值-整个激光条纹的像素值，得到该条激光条纹的形状变化参量值H1,H2,H3；

步骤S303：计算相邻激光条纹的距离特征变化：分别计算三条激光条纹相互之间的距离值D1、D2，得到三条激光条纹在遇到交叉焊缝后的距离特征变化；

步骤S304：将步骤S302和S303得到的单条纹形状变化特征H1,H2,H3和相邻激光条纹之间的距离变化值D1和D2代入焊缝交叉类型识别函数计算识别结果，其中如果S值为0，则为直线焊缝，则进行下一步的焊缝偏差识别任务，而当S值分别为1或2时，则表示当前检查到的焊缝为十字交叉焊缝或T字交叉焊缝。

3.根据权利要求1所述的一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法，其特征在于，所述步骤S4包括如下步骤：

步骤S401：对三条激光条纹分别进行分段，分为：左直线段、右直线段、焊缝区曲线段；

步骤S402：对三段激光条纹分段拟合：左右直线段按一次多项式拟合得到直线方程，而焊缝区曲线段则首选将其分为A、B、C三个曲线子段，分别对A曲线段和C曲线段进行二次或者三次多项式拟合得到曲线方程；

步骤S403：求激光条纹和焊缝相交特征点：对每条激光条纹左直线段方程和焊缝区A曲线方程、焊缝区C曲线方程和右直线段方程相交分别求交点，得到焊缝的激光条纹左右特征点；

步骤S404:通过三条激光条纹的左右特征拐点，建立焊缝轮廓的左右特征直线，并以左右特征直线的中线作为焊缝的最终特征直线；

步骤S405：计算机器人的跟踪点到当前焊缝特征直线的位移变化，得到当前移动机器人的焊缝跟踪偏差；

步骤S406：根据最终特征直线的斜率可得到移动机器人当前的方位角，与期望方位角比较，可得到小车当前的方位偏差。