CN110842316B

CN110842316B - 基于双目视觉的连接件激光加工方法

Info

Publication number: CN110842316B
Application number: CN201911068495.0A
Authority: CN
Inventors: 徐琦; 王浩; 叶凯; 蔡仁树; 邱浩波; 喻露; 魏泽雄
Original assignee: Wuhan Beskys Technology Co ltd
Current assignee: Wuhan Beskys Technology Co ltd
Priority date: 2019-11-04
Filing date: 2019-11-04
Publication date: 2021-03-02
Anticipated expiration: 2039-11-04
Also published as: CN110842316A

Abstract

基于双目视觉的连接件激光加工方法。本发明涉及导电连接技术领域。本发明的方法是在导电件连接过程中，根据钎料熔化时的熔融点在深度图像中形成的灰度阶跃点对激光功率进行实时反馈，并在填充过程中根据深度图像的灰度对焊接速度进行优化，速度优化的方法是：通过图像灰度决定焊接运动速度，以灰度均值为基点，低于该值则减慢速度，高于该值则加快速度。本发明的方法根据深度图像优化了规划焊接轨迹和速度，提高导电件连接加工效率。

Description

基于双目视觉的连接件激光加工方法

本发明涉及导电连接技术领域(H01R)，特别涉及一种基于双目视觉的连接件激光加工方法。

背景技术

在工业生产中需要将不同的导电件进行连接，必须确保连接处电阻小，如果连接处存在气泡、虚焊等问题，则连接处电阻将显著增加，连接处容易出现打火、发热现象，降低了导电件电连的质量。

导电件的相互连接可以采用填充式焊接，即将焊接钎料均匀填充在指定空间内，要求填充外观平整、填充区域内部无气泡、一致性好，以确保加工后的产品满足特定的性能参数。如导电件为天线的功分端子，则在功分端子焊接时，当焊接处内部有气泡，对天线的部分电气参数有不良影响。此外，如果填充焊接不达标，由于焊接体积大，钎料多，返修工序耗时，降低了劳动生产率。尽管目前实际生产的良品率较高，但庞大的天线生产基数导致总体返修成本较高。如果将填充钎料整体熔化，所需热量非常高，容易对填充外围基材造成热影响，降低产品性能。随着5G技术的飞速发展，天线等行业的焊接需求与日俱增。因此，解决填充式焊接时的一致性差、气泡、虚焊等问题有较大意义。

中国发明专利《基于视觉传感的激光—电弧复合焊接实时自动控制装置及其焊接方法》(公开号CN106001926)给出了焊接时焊丝的熔化焊丝尖端形成熔滴，激光束照射到焊件形成激光匙孔，高速相机用于拍摄熔化焊丝尖端和激光匙孔的图像，高速相机与图像处理工控机相连，图像处理工控机分别与焊枪的复合焊接头控制装置、焊枪的焊机设备控制装置连接，图像处理工控机通过焊枪的复合焊接头控制装置控制激光匙孔与熔滴的中心点间距离，通过焊枪的焊机设备控制装置控制熔化焊丝尖端的中心点纵坐标Y值。该专利解决了熔滴与激光匙孔的中心距离过远或过近的问题，但是并没有给出通过轨迹和速度的优化解决气泡、虚焊等问题。

发明内容

针对现有技术的不足，本发明提供了一种基于双目视觉的连接件激光加工方法。本发明的方法当填充平面过线径中心线后，开始整个区域轨迹速度自动优化，速度优化的方法是：通过深度图像的灰度决定焊接运动速度，以灰度均值为基点，低于该值则减慢速度，高于该值则加快速度。本发明的方法优化了图像的深度信息规划焊接轨迹和速度，提高加工效率。

本发明的技术方案是：一种基于双目视觉的连接件激光加工方法，设定填充区域内有待焊产品，焊接基准功率P，其特征在于：包括以下步骤：

第一步：待焊产品下方尚未填钎料时采用步进堆填法，当钎料未熔化或铺开时，增加焊接功率，直至钎料熔化铺开后迅速将焊接功率降低到焊接基准功率为P，同时焊接装置步进移动，直至完成整个焊接区域堆填；

第二步：当填充平面过线径中心线后，开始整个区域轨迹速度自动优化，速度优化的方法是：通过图像灰度决定焊接运动速度，以灰度均值为基点，低于该值则减慢速度，高于该值则加快速度，具体过程为：设定焊接最高速度为激光连续焊接的最快运动速度V_max，设定焊接最低速度为焊点不会过焊老化的最慢运行速度V_min，取填充规划焊接速度为基准速度V_b，设定处理的灰度值最小即最大凹陷深度为h_min，设定处理的灰度值最大即最大凸起深度为h_max，以填充规划焊接深度h_b为基准深度，设定当前焊接点的深度为h，实际焊接速度为V，则：当h>＝h_b时，V＝h*(V_max-V_b)/(h_max-h_b)，

当h<h_b时，V＝h*(V_b-V_min)/(h_b-h_min)。

根据如上所述的一种基于双目视觉的连接件激光加工方法，其特征在于：第一步和第二步中：对激光功率实时反馈，当钎料从固态到液态时，深度图像中激光焊接点L₀处的灰度值会存在明显的变化，据此判断当前激光功率是否可以正常熔化钎料，并计算钎料熔化时间t，设定熔化最长时间为t_max，最短时间为t_min，当新补给的钎料在时间t_max内未正常熔化，则加大激光功率，当钎料熔化过快，即t<t_min时，减小激光功率，设定激光调节步长为ΔP，一次修正激光功率的大小为ΔP。

根据如上所述的一种基于双目视觉的连接件激光加工方法，其特征在于：第二步中，整个区域轨迹自动优化规则填充采用多层焊接方式，每执行一层焊接后，若该层焊接存在气泡，则对气泡处进行填钎料补焊，直至气泡被填平。

根据如上所述的一种基于双目视觉的连接件激光加工方法，其特征在于：在第一步和第二步中，实时监测钎料是否正常熔化、铺开、焊接处是否有坑洞，设定激光焊接点L₀，设定灰度阶跃点的坐标最大值为B_max，最小值为B_min，正常焊接状态下，灰度阶跃点B₀在激光焊接点L₀附近的[B_min，B_max]区间内波动，当钎料送料不足或钎料未正常熔化时，灰度阶跃点B₀会偏离[B_min，B_max]区间，据此可以判断钎料是否正常熔化，对于已焊接部分，当钎料未正常铺开时，未铺开的钎料会形成一个凸点，在深度图像中映射为一个灰度亮斑，据此可判断钎料是否正常铺开；当焊接存在气泡即凹坑时，气泡区域在深度图像中映射为一个灰度暗斑，据此可判断焊接是否存在气泡；当灰度阶跃点B₀偏出[B_min，B_max]区间时，提示人工干预。

根据如上所述的一种基于双目视觉的连接件激光加工方法，其特征在于：采用Sobel边缘检测算法计算灰度阶跃点，具体步骤如下：

(1)分别将垂直和水平两个梯度方向模板按照由左至右、从上到下的方向，沿图像中的每一个像素点，相应像素点与模板的中心点一一对应，

(2)将两个模板内各位置的权重与其对应的图像像素值进行卷积操作，卷积值分别用Gx与Gy表示，

(3)将2个卷积的最大值，赋给对应模板的图像中心位置的像素值，作为该像素点的新灰度值，用公式表达为：

Gx＝{f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)}-{f(x-1，y-1)+2f(x，y-1)+f(x+1，y-1)}

Gy＝{f(x-1，y+1)+2f(x+1，y)+f(x+1，y+1)}-{f(x-1，y-1)+2f(x，y-1)+f(x-1，y+1)}

f′(x，y)＝max{|G_x|，|G_y|}

f(x，y)表示原始图像(x，y)点的灰度值，f′(x，y)表示进行卷积运算后新深度图像(x，y)点的灰度值，f′(x，y)的最大值即为灰度阶跃点，

1	2	1
			0	0	0
-1	-2	-1

以上为垂直梯度方向模板，

-1	0	1
			-2	0	2
-1	0	1

以上为水平梯度方向模板，

亮斑和暗斑的判断方式采用阈值分割法。

根据如上所述的一种基于双目视觉的连接件激光加工方法，其特征在于：亮斑和暗斑的判断方式为：首先计算一帧深度图像的平均灰度值G_a，设定图像灰度值的容许波动范围为Δg，亮斑和暗斑的区域面积判定阈值为A_min，当某个区域的灰度值小于G_a-Δg且区域面积大于A_min时，判定该区域为暗斑；当某个区域的灰度值大于G_a+Δg且区域面积大于A_min时，判定该区域为亮斑。

本发明的有益效果是：1、在导电件连接过程中，利用双目视觉可在焊接过程中实时诊断钎料是否正常熔化铺开，并采用功率反馈算法控制焊接能量，将未正常铺开的钎料熔化铺开，降低焊接不良率。2、利用双目视觉可在焊接过程中实时诊断已焊接的区域是否有气泡，并在气泡存在的时候引导激光将气泡填平。3、在焊接收尾阶段，利用双目视觉诊断填充区域是否平整，并将不平整区域填平，实现较好的一致性。4、通过图像的深度信息规划焊接轨迹和速度，提高加工效率。5、本发明的方法特别适合于天线的功分端子等平面导电件的焊接，焊接后，导电件的平面没有气泡，严格控制焊接高度，使焊接体积小，钎料适中，解决焊接体积难以控制的不足。

附图说明

图1为系统结构图。

图2为焊接示意图。

图3为灰度阶跃点。

图4为焊接工艺区域示意图。

图5为步进堆填焊接轨迹示意图。

图6为变速平铺焊接轨迹示意图。

图7为变速平铺焊接深度曲线。

附图标记说明：光纤1、双目相机2、激光头3、二维工作台4、旋转机构5、待焊产品6、钎料7、焊接底座8、激光束9、已焊钎料10、平铺区域11、堆填区域12、线径中心线13。

具体实施方式

以下结合附图对本发明的技术方案作进一步说明。

如图1所示，本发明的基于双目视觉的连接件激光加工方法所需要采用的硬件系统包括光纤1、双目相机2、激光头3、二维工作台4、旋转机构5、钎料7、焊接底座8和待焊产品6，本发明的钎料7固定在旋转机构5上，以精确控制钎料7位置。

如图2所示，本发明的基于双目视觉的连接件激光加工方法，该方法通过双目视觉获取焊接填充区域的实时深度图像，利用深度图像获取钎料7熔化状态和填充状态，并根据填充状态对焊接移动速度(即二维工作台4的移动速度)进行动态优化，最终实现待焊产品6的表面平整的填充效果。

本方法在焊接过程中实时监测钎料7是否正常熔化、铺开、焊接处是否有坑洞。焊接对象的深度信息经双目视觉系统变换为灰度图像，又称深度图像，灰度值直接对应深度值。具体地，在沿着焊接轨迹的运动方向上，由于钎料7和焊接底座8之间存在深度差，钎料7的顶点在深度图像中映射为一个灰度阶跃点B₀。如图3所示，设定激光焊接点L₀，设定灰度阶跃点的坐标最大值为B_max，最小值为B_min，正常焊接状态下，灰度阶跃点B₀在激光焊接点L₀附近的[B_min，B_max]区间内波动。当钎料7送料不足或钎料未正常熔化时，灰度阶跃点B₀会偏离[B_min，B_max]区间，据此可以判断钎料7是否正常熔化。对于已焊接部分，当钎料7未正常铺开时，未铺开的钎料7会形成一个凸点，在深度图像中映射为一个灰度亮斑，据此可判断钎料7是否正常铺开；当焊接存在气泡即凹坑时，气泡区域在深度图像中映射为一个灰度暗斑，据此可判断焊接是否存在气泡；当灰度阶跃点B₀偏出[B_min，B_max]区间时，说明激光熔化钎料7异常，提示人工干预。

计算灰度阶跃点时，采用Sobel边缘检测算法计算，Sobel算子的基本思想：由于图像的边缘是图像中亮度变化比较显著的地方，因此将邻域内像素灰度值超过设定阈值的像素点视为边缘点，具体步骤如下：

(1)分别将垂直和水平两个梯度方向模板按照由左至右、从上到下的方向，沿图像中的每一个像素点，相应像素点与模板的中心点一一对应。

(2)将两个模板内各位置的权重与其对应的图像像素值进行卷积操作。卷积值分别用Gx与Gy表示。

(3)将2个卷积的最大值，赋给对应模板的图像中心位置的像素值，作为该像素点的新灰度值。用公式表达为：

f′(x，y)＝max{|G_x|，|G_y|}

f(x，y)表示原始图像(x，y)点的灰度值。f′(x，y)表示进行卷积运算后新深度图像(x，y)点的灰度值。本方案中，f′(x，y)的最大值即为灰度阶跃点。

水平和垂直方向的边缘检测模板分别为：

1	2	1
			0	0	0
-1	-2	-1

垂直梯度方向模板。

-1	0	1
			-2	0	2
-1	0	1

水平梯度方向模板。

亮斑和暗斑的判断方式采用阈值分割法。首先计算一帧深度图像的平均灰度值G_a，设定图像灰度值的容许波动范围为Δg，图像灰度值容许波动范围Δg为10至30之间。亮斑和暗斑的区域面积判定阈值为A_min，判定阈值为A_min的取值范围为0.01至0.25平方毫米之间，当某个区域的灰度值小于G_a-Δg且区域面积大于A_min时，判定该区域为暗斑；当某个区域的灰度值大于G_a+Δg且区域面积大于A_min时，判定该区域为亮斑。在判断亮斑和暗斑过程中，使用一个3*3的矩阵做区域开运算，减小干扰点。

该焊接方法的焊接过程分为两步，第一步是待焊产品下方尚未填钎料时采用步进堆填法，如图5所示，当钎料未熔化或铺开时，增加焊接功率，直至钎料熔化铺开后迅速将焊接功率降低到焊接基准功率为P，同时焊接装置步进移动，直至完成整个焊接区域堆填，本步骤中，针对一般的钎料材料，焊接基准功率P可以为25W至50W之间。如图4、图6所示，第二步是当填充平面过线径中心线13后，开始整个区域轨迹的规则填充，并在填充过程中对速度自动优化。具体地，通过图像灰度决定焊接运动速度，以灰度均值为基点，低于该值则减慢速度，高于该值则加快速度。整个区域轨迹自动优化规则填充采用多层焊接方式，每执行一层焊接后，若该层焊接存在气泡，则对气泡处进行填钎料补焊，直至气泡被填平。

该焊接方法还包括：焊接过程中对激光功率实时反馈，当钎料从固态到液态时，深度图像中激光焊接点L₀处的灰度值会存在明显的变化，据此判断当前激光功率是否可以正常熔化钎料，并通过计算钎料进给时间和激光焊接点L₀处的灰度跳变时间差得到钎料熔化时间t，设定熔化最长时间为t_max，最短时间为t_min。本发明中钎料熔化最长t_max在0.5秒至1秒之间，钎料熔化最短时间t_min在0.01秒至0.2秒之间。当新补给的钎料在时间t_max内未正常熔化，则加大激光功率，当钎料熔化过快，即t<t_min时，减小激光功率，设定激光调节步长为ΔP，一次修正激光功率的大小为ΔP，激光调节步长ΔP可以为0.5W至2W之间。

如图6所示，该方法对焊接移动速度进行动态优化的具体过程为：每执行一次轨迹焊接前，双目视觉采集一次图像并执行一次预焊接轨迹的深度信息计算。设定焊接最高速度为激光连续焊接的最快运动速度V_max，最快运动速度V_max可以为5M/s至10M/s。设定焊接最低速度为焊点不会过焊老化的最慢运行速度V_min，最慢运行速度V_min可以为0.5M/s至2M/s。取填充轨迹焊接速度为基准速度V_b，基准速度V_b可以为2M/s至5M/s。设定处理的灰度值最小即最大凹陷深度为h_min。设定处理的灰度值最大即最大凸起深度为h_max。以填充轨迹焊接深度h_b为基准深度。设定当前焊接点的深度为h，实际焊接速度为V，则：

当h>＝h_b时，V＝h*(V_max-V_b)/(h_max-h_b)

当h<h_b时，V＝h*(V_b-V_min)/(h_b-h_min)。

逐层焊接时，基准深度h_b逐层变化，最大凹陷深度为h_min为h_b-0.3mm至h_b-2mm，最大凸起深度为h_max为h_b+0.3mm至h_b+2mm。本发明的方法在焊接过程中，送钎料装置可通过旋转机构5旋转，满足270度范围内送料要求，可保证钎料沿着轨迹运动的反方向送料。

填充焊接时相邻两条焊接轨迹的间隔，即附图5和图6中的d，为钎料直径的1.5-3倍。

Claims

1.一种基于双目视觉的连接件激光加工方法，设定焊接基准功率为P，设定钎料熔化最长时间为t_max，最短时间为t_min，其特征在于：在焊接过程中，根据钎料熔化状态对激光功率进行实时反馈；当钎料从固态到液态时，深度图像中激光焊接点L₀处的灰度值会存在阶跃变化，据此判断当前激光功率是否可以正常熔化钎料，并计算钎料熔化时间t，当新补给的钎料在时间t_max内未正常熔化，则加大激光功率，当钎料熔化过快，即t<t_min时，减小激光功率，设定激光调节步长为ΔP，一次修正激光功率的大小为ΔP；

设定填充区域内有待焊产品，焊接过程包括以下步骤：

第二步：当填充平面过线径中心线后，开始整个区域轨迹速度自动优化，速度优化的方法是：通过深度图像灰度决定焊接运动速度，以灰度均值为基点，低于该值则减慢速度，高于该值则加快速度，具体过程为：设定焊接最高速度为激光连续焊接的最快运动速度V_max，设定焊接最低速度为焊点不会过焊老化的最慢运行速度V_min，取填充规划焊接速度为运动基准速度V_b，设定处理的灰度值最小即最大凹陷深度为h_min，设定处理的灰度值最大即最大凸起深度为h_max，以填充规划焊接深度h_b为基准深度，设定当前焊接点的深度为h，实际焊接速度为V，则：

当h>＝h_b时，V＝h*(V_max-V_b)/(h_max-h_b)

当h<h_b时，V＝h*(V_b-V_min)/(h_b-h_min)。

2.根据权利要求1所述的一种基于双目视觉的连接件激光加工方法，其特征在于：第二步中，整个区域轨迹自动优化规则填充采用多层焊接方式，每执行一层焊接后，若该层焊接存在气泡，则对气泡处进行填钎料补焊，直至气泡被填平。

3.根据权利要求1所述的一种基于双目视觉的连接件激光加工方法，其特征在于：在第一步和第二步中，实时监测钎料是否正常熔化、铺开、焊接处是否有坑洞，设定激光焊接点L₀，设定灰度阶跃点的坐标最大值为B_max，最小值为B_min，正常焊接状态下，灰度阶跃点B₀在激光焊接点L₀附近的[B_min，B_max]区间内波动，当钎料送料不足或钎料未正常熔化时，灰度阶跃点B₀会偏离[B_min，B_max]区间，据此判断钎料是否正常熔化，对于已焊接部分，当钎料未正常铺开时，未铺开的钎料形成一个凸点，在深度图像中映射为一个灰度亮斑，据此判断钎料是否正常铺开；当焊接存在气泡即凹坑时，气泡区域在深度图像中映射为一个灰度暗斑，据此判断焊接是否存在气泡；当灰度阶跃点B₀偏出[B_min，B_max]区间时，提示人工干预。

4.根据权利要求1所述的一种基于双目视觉的连接件激光加工方法，其特征在于：采用Sobel边缘检测算法计算灰度阶跃点，具体步骤如下：

Gx＝{f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)}-{f(x-1，y-1)+2f(x，y-1)+f(x+1，y-1)}；

Gy＝{f(x-1，y+1)+2f(x+1，y)+f(x+1，y+1)}-{f(x-1，y-1)+2f(x，y-1)+f(x-1，y+1)}；

f′(x，y)＝max{|G_x|，|G_y|}；

1 2 1 0 0 0 -1 -2 -1

以上为垂直梯度方向模板，

-1 0 1 -2 0 2 -1 0 1

以上为水平梯度方向模板，

亮斑和暗斑的判断方式采用阈值分割法。

5.根据权利要求4所述的一种基于双目视觉的连接件激光加工方法，其特征在于：亮斑和暗斑的判断方式为：首先计算一帧深度图像的平均灰度值G_a，设定图像灰度值的容许波动范围为Δg，亮斑和暗斑的区域面积判定阈值为A_min，当某个区域的灰度值小于G_a-Δg且区域面积大于A_min时，判定该区域为暗斑；当某个区域的灰度值大于G_a+Δg且区域面积大于A_min时，判定该区域为亮斑。

6.根据权利要求1所述的一种基于双目视觉的连接件激光加工方法，其特征在于：填充焊接时相邻两条焊接轨迹的间隔为钎料直径的1.5-3倍。