CN117444441A - 一种搭接焊缝智能焊接方法 - Google Patents

Abstract

本发明公开了一种搭接焊缝智能焊接方法，其方法包括：采集焊缝图像，通过光学相机拍摄的搭接焊缝图像；图像滤波，对焊缝图像进行图像滤波、阈值分割以及图像形态学处理；飞溅处理，对焊接图像在焊接过程中的飞溅弧光进行处理；激光像素提取，提取焊缝图像中光束平面的工件截面的像素坐标；焊点识别，通过角点合并原理提取焊缝特征点。本发明有效的去除了光条外部区域的冗余计算，将中心计算束缚在光条附近，极大提高了中心提取的效率,并结合多边形逼近技术，精确定位角点，保证焊点识别的稳定性，具有识别精度高、采集速度快、抗噪声干扰能力强等优点。

Description

一种搭接焊缝智能焊接方法

技术领域

本发明主要涉及智能焊接领域，尤其涉及一种搭接焊缝智能焊接方法。

背景技术

焊接制造技术是工业生产中最为重要的技术之一，其智能化发展是当前制造技术的重要发展方向。目前，国内大多数企业在焊接制造方面，普遍采用人工焊接或传统的示教式焊接机器人进行焊接生产作业。然而，传统的示教式焊接机器人需要提前对机器人进行编程，机器人只能按照预设的轨迹进行焊接，缺乏灵活性和稳定性。特别是，由于工装和加工误差以及焊接过程中工件存在热变形，将导致先前通过人工示教得到的焊缝位置可能与实际的位置产生偏离。视觉传感技术是提高焊接机器人稳定性、灵活性和智能性的关键，特别是线结构光视觉传感器具有识别精度高、采集速度快、抗噪声干扰能力强等优点，是目前焊接机器人视觉传感器的最佳选择。传感器激光器将线激光垂直投射在焊缝上，传感器相机采集变形的光条图像，进一步运用图像处理技术计算焊点的空间三维位置信息，最终将计算的结果传递给焊接机器人，进而引导机器人进行焊接作业。

发明内容

本发明的目的是提供一种搭接焊缝智能焊接方法，具有较高的识别准确率和较快的运行速度，能够满足焊接机器人实时在线焊接的要求。

本发明所述的搭接焊缝智能焊接方法，包括如下步骤：

一种搭接焊缝智能焊接方法，其特征在于，包括如下步骤：采集焊缝图像；图像滤波；飞溅处理；激光像素提取；焊点识别。

所述采集焊缝图像，调整相机位置垂直于搭接焊缝上表面，并将一字激光投射在搭接焊缝表面，然后采集，获得一系列图像，并用于后续图像滤波。

所述图像滤波包括中值滤波处理，通过升序排序模板内像素点的灰度值，选择中值来替换模板中心点的灰度值，利用中值滤波进行降噪处理的步骤如下：

1)选择一个合适的滤波模板，设(x,y)为滤波模板的中心点坐标；

2)使用该模板在图像上移动，同时获取模板内所有像素点的灰度值；

3)对获取的模板内像素点的灰度值进行升序排序，取排序后的灰度值的中间值；

4)将中值赋予中心点(x,y)；5)在图像上依次移动滤波模板，直到完成滤波操作；

所述图像滤波包括图像分割处理，图像的大小为M×N，以T作为分割的阈值，则可以表示为：

mG＝m₁p₁+m₂p₂ (1)

在公式(1)中，m₁、m₂分别是图像的背景区域与目标区域的均值，mG为图像的全局均值，p₁、p₂分别为背景、目标区域在整幅图像的占比，则背景和目标区域之间的间类方差为：

σ²＝p₁(m₁-mG)²+p₂(m₂-mG)² (2)

在公式(2)中，σ²表示图像以阈值T二值化后，背景和目标区域之间的间类方差，联立式(1)和式(2)可以得到：

σ²＝p₁p₁(m₁-m₂)² (3)

当σ²的取值最大时，此时背景与目标区域处于最佳的分离状态，由此得到最佳的分割阈值T₀＝max(σ²)

所述图像滤波包括形态学操作，通过腐蚀处理将图像边缘的毛刺以及噪声消除，使得目标区域的边界向内收缩，将腐蚀操作记作AΘB，定义为：

在公式(4)中，B＝{Z+b|b∈B}表示B平移至Z后的点集b是B中元素的坐标，通过膨胀操作在光条的边缘增加像素灰度值，将整体的目标区域边界扩大，消除图像中存在的部分间隙，将膨胀操作记作定义为：

所述飞溅处理为利用相邻图像之间飞溅的随机性，类似于相邻图像之间的“和”逻辑运算，能够有效去除大部分飞溅的干扰，其用公式可表示为：

d_st(u_i,v_i)＝min(src(t)(u_i,v_i),src(t-1)(u_i,v_i)) (6)

在公式(6)中src(t)(u_i,v_i)是相机采集第t帧图像的灰度值，src(t-1)(u_i,v_i)是相机采集第t-1帧图像的灰度值。

所述激光像素提取为通过轮廓追踪算法分析搭接焊缝图像中灰度值的分布，根据激光条纹在图像上呈现的分布形式有连续和非连续两种情况的特点，对光条中心进行提取，主要流程如下：

1)以图像的左上角作为起始位置对图像进行扫描，从上到下从左到右的对图像进行搜索扫描。

2)将扫描到的像素点对其灰度值进行判断，如果该点灰度值大于或者等于设定的灰度阈值，则停止扫描，然后对该像素点使用逆时针8邻域进行搜索，进行8邻域搜索后，如果在8个方向上都没有搜索到新的满足条件的像素点，那么将该像素点视作噪声点，然后将该噪声点作为搜索下个边界点的起始点，以该起始点出发，从上到下从左到右对图像进行扫描搜索，直到搜索到新的满足条件阈值的像素点，然后对该像素点进行2)操作，直到将图像扫描完全。

3)在进行步骤2)操作时，当对符合条件的像素点做8邻域搜索时，如果搜索到周围邻域方向内还存在其他符合条件的像素点，那么将该像素点作为轮廓跟踪的起始点，搜索该行满足阈值的像素点，并保存该行满足设定阈值的灰度值以及坐标，并用灰度重心法计算该行的中心坐标，当搜索到不满足条件的像素点时结束搜索。

4)根据前两个步骤搜索到符合条件的起始点后，然后从该轮廓边界像素点开始，沿光条左侧向上下两个方向搜索同一行中满足条件的像素点，并记录这些点的灰度值以及坐标，再利用灰度重心法计算每一行的中心坐标并保存；保持轮廓跟踪和中心坐标计算，直到搜索到边界末尾点为止，结束这条边界的跟踪。

5)当搜索到光条末尾时，从n+1行，0列开始，进行步骤2)的操作，寻找下一光条轮廓的边界起始点。重复上述的步骤，直到搜索完整幅图像。

所述搭接焊缝特征点提取包括，通过点弦距离累积的角点检测方法提取搭接焊缝特征点，所述角点检测方法是利用点到弦长的距离累加和来替代曲率的计算方式，从而提取焊缝特征点，然后通过多边形逼近的方法，将不符合的角点剔除。

所述的多边形逼近方法是用少量特征点构成的多边形来逼近曲线，从而提出伪焦点，主要流程如下：

1)将特征点两点用直线连接起来；

2)查找一个距离特征点两点最远的点，如果该点到特征点两点的距离大于阈值，则将该点作为多边形的顶点；

3)对分割后的曲线轮廓重复以上步骤，直到所有的点到多边形的最短距离小于阈值或者多边形的顶点数达到指定的阈值。

4)最后通过计算相邻特征点向量之间的夹角，如果计算结果大于阈值则剔除该角点，小于阈值则保留。

本发明与现有技术相比具有如下有益效果：

1)本发明所采用的图像滤波方法，抑制了环境光产生的噪声，减少图像噪声对中心提取精度的影响。将图像的背景与目标光条进行分割，保留只含光条信息的图像，提高处理的速度。将部分断裂的光条信息进行修补，连通域分析通过判断像素点邻域范围内的点是否为噪声点来消除孤点噪声，提高中心提取的稳定性。

2)本发明所采用的激光像素提取方法，对焊缝图像中的光条进行轮廓追踪，提高了光条中心坐标的提取速度，并引用了相邻两张图像作比较取小值的方法能够去除大部分飞溅的干扰。

3)本发明所采用的焊缝特征点提取方法，在焊缝图像中设定一条弦，计算点到弦长的距离累加值，以点到弦长的距离累加值作为角点响应函数，计算曲线轮廓上满足的角点，再通过线性归一化将部分伪角点去除，然后结合多边形逼近技术，进一步精确定位角点，保证了角点提取的稳定性，提高了特征点提取的准确率。

附图说明

图1为本发明一实施例提供的搭接焊缝智能焊接方法的流程图。

图2为本发明一实施例提供的一幅搭接焊缝图像。

图3为本发明一实施例提供的一幅预处理后图像。

图4为本发明一实施例提供的一幅激光像素提取图像。

图5为本发明一实施例提供的一幅焊缝特征点提取图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1流程图，为本发明所述的一种搭接焊缝智能焊接方法，步骤如下：

步骤一，采集焊缝图像，图2为采集后的搭接焊缝图像，调整相机位置垂直于搭接焊缝上表面，然后采集，获得一系列图像，并用于后续图像滤波。

步骤二，图像滤波，图3为预处理后图像，采用中值滤波处理，通过升序排序模板内像素点的灰度值，选择中值来替换模板中心点的灰度值，利用中值滤波进行降噪处理的步骤如下：

1)选择一个合适的滤波模板，设(x,y)为滤波模板的中心点坐标；

2)使用该模板在图像上移动，同时获取模板内所有像素点的灰度值；

3)对获取的模板内像素点的灰度值进行升序排序，取排序后的灰度值的中间值；

4)将中值赋予中心点(x,y)；

5)在图像上依次移动滤波模板，直到完成滤波操作；

进一步，采用图像分割处理，图像的大小为M×N，以T作为分割的阈值，则可以表示为：

mG＝m₁p₁+m₂p₂ (1)

在公式(1)中，m₁、m₂分别是图像的背景区域与目标区域的均值，mG为图像的全局均值，p₁、p₂分别为背景、目标区域在整幅图像的占比，则背景和目标区域之间的间类方差为：

σ²＝p₁(m₁-mG)²+p₂(m₂-mG)² (2)

在公式(2)中，σ²表示图像以阈值T二值化后，背景和目标区域之间的间类方差，联立式(1)和式(2)可以得到：

σ²＝p₁p₁(m₁-m₂)² (3)

当σ²的取值最大时，此时背景与目标区域处于最佳的分离状态，由此得到最佳的分割阈值T₀＝max(σ²)

进一步，形态学操作，通过腐蚀处理将图像边缘的毛刺以及噪声消除，使得目标区域的边界向内收缩，将腐蚀操作记作AΘB，定义为：

在公式(4)中，B＝{Z+b|b∈B}表示B平移至Z后的点集b是B中元素的坐标，通过膨胀操作在光条的边缘增加像素灰度值，将整体的目标区域边界扩大，消除图像中存在的部分间隙，将膨胀操作记作定义为：

步骤三，飞溅处理，利用相邻图像之间飞溅的随机性，类似于相邻图像之间的“和”逻辑运算，能够有效去除大部分飞溅的干扰，其用公式可表示为：

d_st(u_i,v_i)＝min(src(t)(u_i,v_i),src(t-1)(u_i,v_i)) (6)

在公式(6)中src(t)(u_i,v_i)是相机采集第t帧图像的灰度值，src(t-1)(u_i,v_i)是相机采集第t-1帧图像的灰度值。

步骤四，激光像素提取，图4为激光像素提取图像，通过轮廓追踪算法分析搭接焊缝图像中灰度值的分布，根据激光条纹在图像上呈现的分布形式有连续和非连续两种情况的特点，对光条中心进行提取，主要流程如下：

1)以图像的左上角作为起始位置对图像进行扫描，从上到下从左到右的对图像进行搜索扫描。

2)将扫描到的像素点对其灰度值进行判断，如果该点灰度值大于或者等于设定的灰度阈值，则停止扫描，然后对该像素点使用逆时针8邻域进行搜索，进行8邻域搜索后，如果在8个方向上都没有搜索到新的满足条件的像素点，那么将该像素点视作噪声点，然后将该噪声点作为搜索下个边界点的起始点，以该起始点出发，从上到下从左到右对图像进行扫描搜索，直到搜索到新的满足条件阈值的像素点，然后对该像素点进行2)操作，直到将图像扫描完全。

3)在进行步骤2)操作时，当对符合条件的像素点做8邻域搜索时，如果搜索到周围邻域方向内还存在其他符合条件的像素点，那么将该像素点作为轮廓跟踪的起始点，搜索该行满足阈值的像素点，并保存该行满足设定阈值的灰度值以及坐标，并用灰度重心法计算该行的中心坐标，当搜索到不满足条件的像素点时结束搜索。

4)根据前两个步骤搜索到符合条件的起始点后，然后从该轮廓边界像素点开始，沿光条左侧向上下两个方向搜索同一行中满足条件的像素点，并记录这些点的灰度值以及坐标，再利用灰度重心法计算每一行的中心坐标并保存；保持轮廓跟踪和中心坐标计算，直到搜索到边界末尾点为止，结束这条边界的跟踪。

5)当搜索到光条末尾时，从n+1行，0列开始，进行步骤2)的操作，寻找下一光条轮廓的边界起始点。重复上述的步骤，直到搜索完整幅图像。

步骤五，搭接焊缝特征点提取，图5为焊缝特征点提取图像，通过点弦距离累积的角点检测方法提取搭接焊缝特征点，所述角点检测方法是利用点到弦长的距离累加和来替代曲率的计算方式，从而提取焊缝特征点，然后通过多边形逼近的方法，将不符合的角点剔除。

步骤六，多边形逼近，用少量特征点构成的多边形来逼近曲线，从而提出伪焦点，主要流程如下：

1)将特征点两点用直线连接起来；

2)查找一个距离特征点两点最远的点，如果该点到特征点两点的距离大于阈值，则将该点作为多边形的顶点；

3)对分割后的曲线轮廓重复以上步骤，直到所有的点到多边形的最短距离小于阈值或者多边形的顶点数达到指定的阈值。

4)最后通过计算相邻特征点向量之间的夹角，如果计算结果大于阈值则剔除该角点，小于阈值则保留。

Claims (9)

1.一种搭接焊缝智能焊接方法，其特征在于，包括如下步骤：

采集焊缝图像，所述焊缝图像为投射一字激光在搭接焊缝表面后采集图像；

图像滤波，所述图像滤波为对所述焊缝图像进行中值滤波处理、图像分割处理以及形态学操作；

飞溅处理，所述飞溅处理为去除所述焊缝图像中焊接时弧光飞溅的影响；

激光像素提取，所述激光像素提取为在所述焊缝图像中对激光光条中心像素进行提取；

焊点识别，所述焊点识别为在焊缝图像中提取焊缝特征点并去除伪焦点。

2.根据权利要求1所述的搭接焊缝智能焊接方法，其特征在于，所述采集焊缝图像的步骤中，调整相机位置垂直于所述搭接焊缝上表面，并将所述一字激光投射在所述搭接焊缝表面，然后进行采集，获得一系列所述图像，并用于后续图像滤波。

3.根据权利要求1所述的搭接焊缝智能焊接方法，其特征在于，所述中值滤波处理过程中，通过升序排序模板内像素点的灰度值，选择中值来替换模板中心点的灰度值，利用中值滤波进行降噪处理，步骤如下：

1)选择一个合适的滤波模板，设(x,y)为所述滤波模板的中心点坐标；

2)使用所述滤波模板在图像上移动，同时获取所述滤波模板内所有像素点的灰度值；

3)对获取的所述滤波模板内像素点的灰度值进行升序排序，取排序后的灰度值的中间值；

4)将中值赋予中心点(x,y)；

5)在图像上依次移动滤波模板，直到完成滤波操作。

4.根据权利要求1所述的搭接焊缝智能焊接方法，其特征在于，所述图像分割处理中，图像的大小为M×N，以T作为分割的阈值，则可以表示为：

mG＝m₁p₁+m₂p₂ (1)

在公式(1)中，m₁、m₂分别是图像的背景区域与目标区域的均值，mG为图像的全局均值，p₁、p₂分别为背景、目标区域在整幅图像的占比，则背景和目标区域之间的间类方差为：

σ²＝p₁(m₁-mG)²+p₂(m₂-mG)² (2)

在公式(2)中，σ²表示图像以阈值T二值化后，背景和目标区域之间的间类方差，联立式(1)和式(2)可以得到：

σ²＝p₁p₁(m₁-m₂)² (3)

当σ²的取值最大时，此时背景与目标区域处于最佳的分离状态，由此得到最佳的分割阈值T₀＝max(σ²)。

5.根据权利要求1所述的搭接焊缝智能焊接方法，其特征在于，所述形态学操作中，通过腐蚀处理将图像边缘的毛刺以及噪声消除，使得目标区域的边界向内收缩，将腐蚀操作记作AΘB，定义为：

在公式(4)中，B＝{Z+b|b∈B}表示B平移至Z后的点集b是B中元素的坐标，通过膨胀操作在光条的边缘增加像素灰度值，将整体的目标区域边界扩大，消除图像中存在的部分间隙，将膨胀操作记作定义为：

6.根据权利要求1所述的搭接焊缝智能焊接方法，其特征在于，所述飞溅处理，利用相邻图像之间飞溅的随机性，类似于相邻图像之间的“和”逻辑运算，能够有效去除大部分飞溅的干扰，其用公式可表示为：

d_st(u_i,v_i)＝min(src(t)(u_i,v_i),src(t-1)(u_i,v_i)) (6)

在公式(6)中src(t)(u_i,v_i)是相机采集第t帧图像的灰度值，src(t-1)(u_i,v_i)是相机采集第t-1帧图像的灰度值。

7.根据权利要求1所述的搭接焊缝智能焊接方法，其特征在于，所述激光像素提取过程中，通过轮廓追踪算法分析所述搭接焊缝图像中灰度值的分布，根据激光条纹在图像上呈现的分布形式有连续和非连续两种情况的特点，对光条中心进行提取，流程如下：

1)以图像的左上角作为起始位置对图像进行扫描，从上到下从左到右的对图像进行搜索扫描；

2)将扫描到的像素点对其灰度值进行判断，如果该点灰度值大于或者等于设定的灰度阈值，则停止扫描，然后对该像素点使用逆时针8邻域进行搜索，进行8邻域搜索后，如果在8个方向上都没有搜索到新的满足条件的像素点，那么将该像素点视作噪声点，然后将该噪声点作为搜索下个边界点的起始点，以该起始点出发，从上到下从左到右对图像进行扫描搜索，直到搜索到新的满足条件阈值的像素点，然后对该像素点进行2)操作，直到将图像扫描完全；

3)在进行步骤2)操作时，当对符合条件的像素点做8邻域搜索时，如果搜索到周围邻域方向内还存在其他符合条件的像素点，那么将该像素点作为轮廓跟踪的起始点，搜索该行满足阈值的像素点，并保存该行满足设定阈值的灰度值以及坐标，并用灰度重心法计算该行的中心坐标，当搜索到不满足条件的像素点时结束搜索；

4)根据前两个步骤搜索到符合条件的起始点后，然后从该轮廓边界像素点开始，沿光条左侧向上下两个方向搜索同一行中满足条件的像素点，并记录这些点的灰度值以及坐标，再利用灰度重心法计算每一行的中心坐标并保存；保持轮廓跟踪和中心坐标计算，直到搜索到边界末尾点为止，结束这条边界的跟踪；

5)当搜索到光条末尾时，从n+1行，0列开始，进行步骤2)的操作，寻找下一光条轮廓的边界起始点。重复上述的步骤，直到搜索完整幅图像。

8.根据权利要求1所述的搭接焊缝智能焊接方法，其特征在于，所述搭接焊缝特征点提取过程中，通过点弦距离累积的角点检测方法提取所述搭接焊缝特征点，所述角点检测方法是利用点到弦长的距离累加和来替代曲率的计算方式，从而提取焊缝特征点，然后通过多边形逼近的方法，将不符合的角点剔除。

9.根据权利要求8所述的搭接焊缝智能焊接方法，其特征在于，所述的多边形逼近方法是用少量特征点构成的多边形来逼近曲线，从而提出伪焦点，流程如下：

1)将特征点两点用直线连接起来；

2)查找一个距离所述特征点两点最远的点，如果该点到所述特征点两点的距离大于阈值，则将该点作为所述多边形的顶点；

3)对分割后的曲线轮廓重复以上步骤，直到所有的点到所述多边形的最短距离小于阈值或者多边形的顶点数达到指定的阈值。

4)最后通过计算相邻特征点向量之间的夹角，如果计算结果大于阈值则剔除该角点，小于阈值则保留。