CN114309889A - 一种用于焊缝跟踪的激光视觉传感系统及方法 - Google Patents

Abstract

本发明提供了一种用于焊缝跟踪的激光视觉传感系统及方法，所述系统包括工件、复合滤光片、CCD摄像机、侧边激光标线器以及后方激光标线器，所述侧边激光标线器和后方激光标线器放置于CCD摄像机的两边倾斜照射，所述侧边激光标线器和后方激光标线器发射的激光条纹投影在工件上，通过复合滤光片采集到CCD摄像机上，经过图像处理后获得焊缝信息和偏移量，并判断出焊缝的空间位置。本发明的用于焊缝跟踪的激光视觉传感系统及方法用于自动焊接时焊缝空间位置识别和焊缝跟踪，可提升焊接质量。

Description

一种用于焊缝跟踪的激光视觉传感系统及方法

技术领域

本发明涉及焊缝跟踪技术领域，具体地，涉及一种用于焊缝跟踪的激光视觉传感系统及方法。

背景技术

目前国内的人防工程对接焊缝焊接多数还是采用手工焊接方法，存在工人工作条件恶劣，工作强度大的问题，同时焊缝成型、焊接效率以及焊接质量等都有待提高。焊接自动化技术以其优良的工作效率被广泛地应用到工业生产中，是焊接技术发展的必然趋势，是实现更安全、高效、智能生产的重要手段。

目前在自动焊接上采用的传感器主要是电弧传感器、机械传感器及视觉传感器等。电弧传感器是从焊接电弧自身直接提取焊缝位置偏差信号，不需要在焊枪上附加任何装置，因此其实时性好，可达性及焊枪运动的灵活性都非常好，尤其符合焊接过程低成本自动化的要求。它是利用电弧自身电参数的动静态变化作为特征信号，通过一定的控制策略实现高低及水平两个方向的跟踪控制。然而，电弧传感器只适用于V型、单V型、U型和角焊缝，能够获得的信息量较少，具有局限性，不适用于薄板对接焊接。

典型的机械接触式传感器是依导轮或者导杆在焊炬前方检测焊缝位置，通过焊缝形状对导杆或者导轮的强制力来导向，将焊缝偏差信息反映到检测器内，从而实现焊缝跟踪。机械接触式传感器结构简单，操作方便，价格便宜且不受电弧烟及飞溅等干扰。但是，由于机械式传感器信息量少，在自动焊接中，主要是与其它传感器配合来完成焊缝跟踪任务，一般不独立使用。

基于激光视觉的焊缝跟踪技术在焊接制造业中拥有很好的发展前景。激光视觉传感器采用非接触的传感方式，可以获取高质量的焊缝图像，有效提高焊缝跟踪的灵敏度和检测精度。激光光源具有亮度高、单色性好的优点，可以有效地削弱弧光对图像质量的影响，很好地保护焊缝特征信息，降低后续图像处理的难度。然而，单激光标线器照射工件，只能判别焊缝的中心特征点，得到的焊缝信息有限，且在遇到人防工程中的十字对接焊缝时，投影的激光条纹折线没有规律，无法提取焊缝中心点，失去焊缝跟踪功能。

发明内容

针对现有技术中的缺陷，本发明的目的在于提供一种可提升焊接质量的用于自动焊接时焊缝空间位置识别和焊缝跟踪的激光视觉传感系统及方法。

为解决上述问题，本发明的技术方案为：

一种用于焊缝跟踪的激光视觉传感系统，所述系统包括工件、复合滤光片、CCD摄像机、侧边激光标线器以及后方激光标线器，所述侧边激光标线器和后方激光标线器放置于CCD摄像机的两边倾斜照射，所述侧边激光标线器和后方激光标线器发射的激光条纹投影在工件上，通过复合滤光片采集到CCD摄像机上，经过图像处理后获得焊缝信息和偏移量，并判断出焊缝的空间位置。

可选地，以焊接方向为参考，所述侧边激光标线器和后方激光标线器皆与竖直方向的夹角为20°，所述侧边激光标线器和后方激光标线器产生两道激光条纹，其中一道激光条纹用于判别焊缝信息和焊缝中心点，另外一道激光条纹用于判别焊缝的空间位置。

进一步地，本发明还提供一种用于焊缝跟踪的激光视觉传感方法，所述方法包括以下步骤：

对摄像机采集到的投影在工件上的初始图像采用ROI，提取目标区域图像；

对目标区域图像进行中值滤波，改善尖峰性干扰效果，保持边缘的陡峭，去除干扰；

对中值滤波后的图像进行灰度化处理和二值化处理，提高图像处理效率；

采用开操作处理所述二值化后的焊缝图像；以及

根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置。

可选地，所述二维中值滤波的公式为：

其中，A为窗口大小；{f_ij}为二维数据序列。

可选地，所述二值化处理的二值函数为：

其中，T为指定的阈值，图片像素中比灰度T大就为白，比T小则为黑。

可选地，所述采用开操作处理所述二值化后的焊缝图像的步骤具体包括：所述开操作表示为一个拟合处理：

其中∪{·}表示大括号中所有集合的并集。

可选地，所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括：通过侧边激光标线器和后方激光标线器产生两个激光条纹，其中一个激光条纹用于判别焊缝信息和焊缝中心点，另外一个激光条纹用于判别焊缝的空间位置。

可选地，所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括：通过两个激光条纹的分布信息计算出当前焊枪与焊缝的位置关系，引导焊枪自动跟踪焊缝。

可选地，所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括：根据激光条纹焊缝图像，通过计算机计算出对接焊缝的宽度、深度和纠偏量。

与现有技术相比，本发明采用多个激光传感器在黑暗环境下采集焊缝，实时扫描焊接坡口横截面，检测坡口的形状，获取焊缝图像简单、高效，响应速度快，实时性强，能满足智能控制的需要；提供两个不同方向的激光标线器，产生两道交叉激光条纹，采用交叉线激光判别焊缝空间位置，当激光条纹投影到墙面与平面连接处时产生折线，从而判别接近焊缝边界位置。

另外，可以自动判断焊接的空间位置，减少人工干预，提高焊接的自动化水平，提高焊接效率；具备连续提取焊缝特征点的能力，降低自动化焊接设备成本，适应人防工程十字对接焊缝焊接需求，使图像处理算法复杂度下降，提升焊接的连续性和准确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的用于焊缝跟踪的激光视觉传感系统示意图；

图2为本发明实施例提供的边界位置折线示意图；

图3为本发明实施例提供的用于焊缝跟踪的激光视觉传感方法流程框图；

图4为本发明实施例提供的部分焊缝图像示意图；

图5为本发明实施例提供的焊缝信息计算示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

具体地，图1为本发明实施例提供的用于焊缝跟踪的激光视觉传感系统示意图，图2为本发明实施例提供的边界位置折线示意图，如图1和图2所示，所述系统包括：工件1、复合滤光片3、CCD摄像机4、侧边激光标线器2和后方激光标线器5，采用侧边激光标线器2和后方激光标线器5放置于CCD摄像机4的两边倾斜照射，CCD摄像机4垂直摄取图像，经过图像处理后获得焊缝信息和偏移量，以及判断焊缝的空间位置。

以焊接方向为参考，两个激光标线器2、5处于CCD摄像机4的后方和侧边，两激光标线器皆与竖直方向的夹角为20°，激光条纹投影在工件1上，通过复合滤光片3采集到CCD摄像机4，以产生两道交叉激光条纹，其中水平激光条纹负责判别焊缝信息和焊缝中心点，竖直激光条纹负责判别焊缝的空间位置。

对投影在工件1上的交叉光条纹进行灰度处理、取目标区域、二值化、形态学开操作以及提取焊缝中心线，利用水平方向中线与条纹的交点，求出焊缝特征点的位置；同时利用竖直方向，投影在壁面与平面的折线判断焊缝的空间位置。

具体地，图3所示为本发明实施例提供的一种用于焊缝跟踪的激光视觉传感方法流程框图，如图3所示，所述方法包括以下步骤：

S1：对摄像机采集到的投影在工件上的初始图像采用ROI，提取目标区域图像；

具体地，通过侧边激光标线器和后方激光标线器产生两个激光条纹，所述侧边激光标线器和后方激光标线器发射的激光条纹投影在工件上，通过复合滤光片采集到CCD摄像机，再经过后续图像处理。

S2：对目标区域图像进行中值滤波，改善尖峰性干扰效果，保持边缘的陡峭，去除干扰；

具体地，所述二维中值滤波的公式为：

式中：A为窗口大小；{f_ij}为二维数据序列。

S3：对中值滤波后的图像进行灰度化处理和二值化处理，提高图像处理效率；

具体地，阈值分割不仅可以大量压缩数据，减少存储容量，而且能够大大简化后续的分析和处理步骤。当焊缝与周围灰度差较大、层次比较分明时，运用这种方法能够较好地检测出焊缝位置。所述二值化处理的二值函数为：

其中，T为指定的阈值。图片像素中比灰度T大就为白，比T小则为黑。二值化过程中，根据图像的统计分布性质，采用最大方差阈值法选取最优阈值。

S4：采用开操作处理所述二值化后的焊缝图像；

具体地，为了消除细小物体，在纤细处分离物体和平滑较大物体边界，既可以去除折线边缘毛刺，又能分离折线之间的连接，为中心线提取做准备。开操作一般会平滑物体的轮廓，断开较窄的狭颈并消除细的突出物。结构元B对集合A的开操作，表示为

因此，B对A的开操作就是B对A的腐蚀，紧接着用B对结果进行膨胀。

开操作可以表示为一个拟合处理：

其中∪{·}表示大括号中所有集合的并集。

在本实施例中，为了更好地检测图像条纹和计算，对折线条纹的中心线提取显得格外重要，将条纹同一纵向坐标的边缘值相加除以2得到中心值的纵坐标，再将除中心点以外的点全部变为黑色或背景色。

S5：根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置。

对接焊缝激光条纹的处理，是要通过激光条纹的分布信息计算出当前焊枪与焊缝的位置关系，引导焊枪自动跟踪焊缝。确定各特征点在象素平面上的位置之后，通过计算机计算出纠偏量。

由于CCD摄像机一直处于正中位置，所拍图像左右对称，所以取处于图像中心的折线部分做图像处理，提升图像处理实时性。图4为截取部分焊缝图像示意图，如图4所示，首先确定1、2、3、4、5、6这6点的坐标位置，其基本思想是：从上往下沿y轴正方向的顺序搜索图像，第一和最后一列的黑点便是起始点1和结束点6。因为每一列最多只有一个像素点为黑，从起始点开始找起，若左三邻域或右三邻域的像素点为空白，则为特征点，由此判断折线点2、3、4、5、6，这样可以确定6个点的x、y值。列特征点搜索同理。逐行搜索列特征点时，若斜率发生明显变化，且并非特征点折线处，则判断为到达焊缝边界处，停止焊接。

接下来通过计算机计算对接焊缝的宽度、深度和纠偏量，其中，焊缝宽度为x3-x2。

因此焊丝与焊缝的对中偏差可由ROI后的焊缝两边未折线光纹的差的一半求得，即偏移量

如果Δx<0，则焊枪偏右；如果Δx>0，则焊抢偏左；如果Δx＝0，则焊枪正好对准焊缝的中心。

如图5所示，图5中的虚线长度反应了深度信息，令其为h₁，则

h₁不是缝的深度，是焊缝深度与像面深度信息之间的关系，h2是焊缝深度，激光片以与CCD光轴成α角投向工件。实际深度h₂与激光的投射角度α及h₁有关，h₂＝h₁cotα，便可以计算出对接焊缝的宽度、深度和纠偏量。

与现有技术相比，本发明采用多个激光传感器在黑暗环境下采集焊缝，实时扫描焊接坡口横截面，检测坡口的形状，获取焊缝图像简单、高效，响应速度快，实时性强，能满足智能控制的需要；提供两个不同方向的激光标线器，产生两道交叉激光条纹，采用交叉线激光判别焊缝空间位置，当激光条纹投影到墙面与平面连接处时产生折线，从而判别接近焊缝边界位置。

另外，可以自动判断焊接的空间位置，减少人工干预，提高焊接的自动化水平，提高焊接效率；具备连续提取焊缝特征点的能力，降低自动化焊接设备成本，适应人防工程十字对接焊缝焊接需求，使图像处理算法复杂度下降，提升焊接的连续性和准确性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种用于焊缝跟踪的激光视觉传感系统，其特征在于，所述系统包括工件、复合滤光片、CCD摄像机、侧边激光标线器以及后方激光标线器，所述侧边激光标线器和后方激光标线器放置于CCD摄像机的两边倾斜照射，所述侧边激光标线器和后方激光标线器发射的激光条纹投影在工件上，通过复合滤光片采集到CCD摄像机上，经过图像处理后获得焊缝信息和偏移量，并判断出焊缝的空间位置。

2.根据权利要求1所述的用于焊缝跟踪的激光视觉传感系统，以焊接方向为参考，所述侧边激光标线器和后方激光标线器皆与竖直方向的夹角为20°，所述侧边激光标线器和后方激光标线器产生两道激光条纹，其中一道激光条纹用于判别焊缝信息和焊缝中心点，另外一道激光条纹用于判别焊缝的空间位置。

3.一种用于焊缝跟踪的激光视觉传感方法，其特征在于，所述方法包括以下步骤：

对摄像机采集到的投影在工件上的初始图像采用ROI，提取目标区域图像；

对目标区域图像进行中值滤波，改善尖峰性干扰效果，保持边缘的陡峭，去除干扰；

对中值滤波后的图像进行灰度化处理和二值化处理，提高图像处理效率；

采用开操作处理所述二值化后的焊缝图像；以及

根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置。

4.根据权利要求3所述的用于焊缝跟踪的激光视觉传感方法，其特征在于，所述二维中值滤波的公式为：

其中，A为窗口大小；{f_ij}为二维数据序列。

5.根据权利要求3所述的用于焊缝跟踪的激光视觉传感方法，其特征在于，所述二值化处理的二值函数为：

其中，T为指定的阈值，图片像素中比灰度T大就为白，比T小则为黑。

6.根据权利要求3所述的用于焊缝跟踪的激光视觉传感方法，其特征在于，所述采用开操作处理所述二值化后的焊缝图像的步骤具体包括：所述开操作表示为一个拟合处理：

其中∪{·}表示大括号中所有集合的并集。

7.根据权利要求3所述的用于焊缝跟踪的激光视觉传感方法，其特征在于，所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括：通过侧边激光标线器和后方激光标线器产生两个激光条纹，其中一个激光条纹用于判别焊缝信息和焊缝中心点，另外一个激光条纹用于判别焊缝的空间位置。

8.根据权利要求7所述的用于焊缝跟踪的激光视觉传感方法，其特征在于，所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括：通过两个激光条纹的分布信息计算出当前焊枪与焊缝的位置关系，引导焊枪自动跟踪焊缝。

9.根据权利要求7所述的用于焊缝跟踪的激光视觉传感方法，其特征在于，所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括：根据激光条纹焊缝图像，通过计算机计算出对接焊缝的宽度、深度和纠偏量。

Images