CN116117273B - 一种自适应的前馈焊接纠偏装置及方法 - Google Patents

Abstract

本发明公开了一种自适应的前馈焊接纠偏装置及方法，本装置包括有：固定支架、图像采集模块、焊接模块、直线纠偏机构和微控制器；所述固定支架的一外侧安装有焊接模块，所述固定块安装在与所述焊接模块相对的固定支架的侧面上，所述图像采集模块设置在所述固定支架的内侧；所述直线纠偏机构的底座固定在外部可动机构的末端，所述外部可动机构用于控制焊接的直线移动方向，所述直线纠偏机构的轴线与焊接移动方向保持垂直；所述微控制器与图像采集模块和外部可动机构的控制器通信连接，所述微控制器与电机电性连接。与传统技术相比，无需加装激光视觉传感器即可实现焊接过程中的实时纠偏，并且预测位置比激光传感更精确可靠。

Description

一种自适应的前馈焊接纠偏装置及方法

技术领域

本发明涉及焊接缺陷自动识别技术领域，更具体地，涉及一种自适应的前馈焊接纠偏装置及方法。

背景技术

随着工业现代化和装备制造智能化的发展，焊接自动化技术已成为一种不可缺少的金属热加工技术。由于不同产品需要不同的焊接生产线，即使是同类产品的不同型号,无论是在焊接工装夹具,还是焊接设备，乃至于生产线工位数量及平面布置都有所差别。另外，在实际焊接过程中环境和条件会不断发生变化,如焊接工件加工和安装误差造成接头位置、焊缝间隙和尺寸的分散性、示教轨迹与实际焊缝的差异、焊接过程中热变形、熔透及焊缝成形不稳定等因素都会引起焊接质量的波动,并导致焊接缺陷的产生。因此,要求焊接自动化生产线具有较高的灵活性和柔性,能对焊缝进行实时测查,检测焊缝偏差,调节焊接参数和焊接路径等,实现焊接自主智能控制,保障焊缝质量。采取焊缝跟踪技术可以降低焊接工作者劳动强度,提高焊接效率,减少焊接成本。工人在传统手工焊接作业时需要长时间逗留在恶劣工况环境，例如焊接过程中产生的强烈弧光、烟尘、电磁辐射等都会对焊接工人的身体产生不良影响。因此，焊接自动化是现代化工业的必然所需，其中，焊接自动化技术的关键就是焊缝的实时纠偏问题。

目前，国内外大量使用的弧焊机器人系统都属于第一代或准第二代。由于焊接参数和焊接路径都是根据实际情况预先设置的，在焊接过程中会因为加工或装配上的误差、焊接过程产生的热变形等导致焊道发生变形或者熔透不均等问题。为了提高机器人焊接的智能化水平，消除上述的一些不确定因素对焊接质量的影响，就需要焊接机器人系统既要实现空间焊缝的实时跟踪，又要能够在线调整焊接位置，对焊接质量进行实时控制。实现机器人智能化焊接的首要步骤就是通过传感器获取外部信息，主要包括外部环境信息和焊接区域熔池信息，传感器的主要作用就是检测焊接运行状态、获取焊接区域特征信息和提供机器人和焊接工件之间的相对位置信息。多年来，人们开发了常见的焊缝跟踪方法有机械传感法、磁光成像法、电弧式传感法、超声波传感法、视觉传感法等不同类型的焊缝检测和熔池传感器，但始终没有足够优秀的产品能在大多数工业自动化生产中被广泛应用。

现有技术公开了一种同步双旋转激光电弧传感器电流跟踪实时纠偏方法，用于焊接过程中实时纠偏，首先由同步双旋转激光电弧传感器中前置的旋转激光模块旋转扫描得到焊缝的预轨迹，然后由旋转电弧模块完成精确调节，具体采用电流跟踪电路使模拟焊接电流I实时跟踪模拟标准电流I*，同时由电流跟踪电路中引出的开关器件V3、V4控制电机的正反转来控制焊枪的左右运动，使焊枪处于对应的位置，从而使实际焊接电流紧紧跟随标准电流的变化，实现标准对中跟踪，而焊枪的运动将使电流跟踪电路中的模拟电弧负载也紧紧跟随实际电弧负载的变化处于对应的大小，从而使焊枪运动变化实时反馈到电流跟踪电路中，形成闭环负反馈，实时的完成纠偏。该方案的缺陷是，容易受环境的影响，红外成像系统对环境的适应性强，应用更加广泛。

为此，结合以上需求和现有技术的缺陷，本申请提出了一种自适应的前馈焊接纠偏装置及方法。

发明内容

本发明提供了一种自适应的前馈焊接纠偏装置及方法，可以广泛适应各种焊机以及各种焊缝条件下的焊接。无需加装激光视觉传感器即可实现焊接过程中的实时纠偏，并且预测位置比激光传感更精确可靠。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

本发明第一方面提供了一种自适应的前馈焊接纠偏装置，该装置设置在待加工工件的上方，本装置包括有：固定支架、图像采集模块、焊接模块、直线纠偏机构和微控制器；所述直线纠偏机构包括有固定块、底座和电机，所述电机与所述固定块传动连接，所述电机驱动所述固定块沿所述底座的轴线移动，所述固定支架和所述固定块位于所述固定支架的外侧且分别与所述固定支架相对的两侧面连接，所述图像采集模块设置在所述固定支架的内侧，所述焊接模块执行焊接工作的焊丝部分位于图像采集模块的图像采集区域的正中央；所述直线纠偏机构的底座固定在外部可动机构的执行末端，所述外部可动机构用于控制焊接的直线移动方向，所述直线纠偏机构的轴线与焊接移动方向保持垂直；所述微控制器与图像采集模块和外部可动机构的控制器通信连接，所述微控制器与电机电性连接。

其中，所述焊接的直线移动方向为x轴方向，所述直线纠偏机构的轴线方向为y轴方向。

进一步的，所述固定支架还包括有焊炬z轴调整件，所述焊接模块安装在焊炬z轴调整件上，所述固定支架设置有第一调整安装槽和第二调整安装槽，所述底座的轴线沿y轴方向设置，第一调整安装槽沿z轴方向设置，第二调整安装槽沿x轴方向设置，焊炬z轴调整件安装在第一调整安装槽中，使焊炬z轴调整件在z轴方向上调整其位置；所述图像采集模块安装在第二调整安装槽中，使图像采集模块可在x轴方向上调整其位置。

进一步的，所述直线纠偏机构还包括有：丝杠，所述直线纠偏机构的电机通过丝杠与所述固定块传动连接，其中所述电机的输出轴与所述丝杆的一端连接，所述丝杆的另一端支承在底座上，所述固定块套装在丝杆上，并通过所设的螺纹与丝杆组成螺旋传动副。

其中，直线纠偏机构的底座固定在外部可移动式机器人手臂的末端，该机器人手臂能够控制整个装置向焊接移动方向运动，或不同于焊接移动方向的转动。当电机带动丝杠转动时，丝杠能够带动固定块横移，进而带动固定支架横移，此时焊接模块和图像采集模块仍保持相对静止。丝杠的轴线与焊接移动方向保持垂直，使焊接纠偏时能在焊接过程中驱动焊炬进行左右方向微调。在焊接过程中，主要的焊接路径由外部可移动式机器人实现。若焊接时，工件发生脱离预期的热变形，使得焊缝偏离了规划路径，此时微控制器可以识别图像采集模块拍摄传回的图像，并通过程序分析偏离量并同步发送至外部可移动式机器人，实现实时纠偏的效果。

所述焊接模块包括有：焊炬和焊炬固定件，所述焊炬固定件安装在焊炬z轴调整件的第一安装槽上，所述焊炬安装在所述焊炬固定件上。

进一步的，所述图像采集模块包括有：摄像机、第一定位座、第二定位座、第三定位座和挡板安装平台；所述第一定位座安装在第二调整安装槽上，使第一定位座可在x轴方向上调整其位置，所述第二定位座可沿z轴方向移动地安装在所述第一定位座的表面上；所述第三定位座可绕其轴线转动地安装在第二定位座上，所述第三定位座的轴线沿y轴方向设置；所述摄像机安装在第三定位座上，所述挡板安装平台安装在所述摄像机的镜头处。

其中，固定支架用于固定摄像头和焊枪，使其不产生相对位移，令焊枪的焊炬在待加工工件的表面产生的焊丝部分始终位于摄像头的光轴上。

本发明第二方面提供了一种自适应的前馈焊接纠偏方法，该方法用于一种自适应的前馈焊接纠偏装置，该方法包括以下步骤：

S1、利用图像采集模块采集焊接部位的图像，将采集到的亮度大于预设识别阈值的图像输入至微控制器的深度学习网络进行焊缝识别，输出焊缝的感兴趣区域(ROI，region of interest)。

S2、提取感兴趣区域原图像的焊缝像素数据，采用焊缝像素数据处理方法将焊缝转化为焊缝函数。

S3、测量焊缝函数相对于图像坐标系的夹角，根据所述夹角驱动外部可动机构转动校正焊接方向，使后续识别得到的焊缝函数与图像坐标系的夹角小于设定值；计算焊接部位的焊接偏移量的像素数据，根据摄像头标定参数将像素数据转换为物理距离，并驱动直线纠偏机构带动固定支架和焊接模块进行纠偏，完成前馈纠偏。

进一步的，在步骤S1之前还包括：在正式焊接前先进行试焊接，第一轮采集试焊接工况下的焊接图片并进行参数设定和预处理，得到第一轮图像数据集；将第一轮图像数据集划分为训练集和验证集，对训练集进行标注并用于训练深度学习网络，训练完毕后对验证集的图像进行识别，得到第一轮识别结果；分别读取第一轮图像数据集每张图片的像素亮度之和，并与第一轮识别结果进行对比，得到可识别出的图像中焊缝的最低亮度和，并将该亮度和作为识别阈值。

进一步的，所述参数设定具体为：将图片像素尺寸设定为128*128；所述预处理过程包括有：传统图像处理和平滑处理；步骤S2中对训练集进行标注具体为：标注图像中的焊缝范围；训练过程具体为，深度学习网络使用空洞卷积扩大感受野，在降低计算量的同时减少图像分辨率的丢失，对输入的图像提取5个有效特征层进行合并，并且在最小的8*8的特征层上进行三次卷积。

进一步的，所述S3焊缝像素数据处理方法具体为：对感兴趣区域的原图进行图像预处理后进行边缘检测，判断焊缝的宽度是否大于设定值，若小于或等于设定值则将焊缝转化为一条直线函数，即第一类焊缝函数，宽度若大于设定值则将焊缝转化为两条直线函数，用于表示焊缝的两侧边缘线，并计算两侧边缘线的角平分线作为第二类焊缝函数。

进一步的，所述第一类焊缝函数的表达式为：

Ax+By+C＝0

所述第二类焊缝函数的表达式为：

其中x、y为图像像素坐标点，A、B、C为直线一般方程的系数，设直线中可确定的两点为(x₁,y₁)和(x₂,y₂)，则有：

A＝y₁-y₂

B＝x₂-x₁

C＝x₁×y₂-y₁×x₂

所述第一类焊缝函数的转换步骤为：S301、将边缘检测图片结果中的顶层10行像素和底层10行像素中识别出的边缘像素作为设定锚点；S302、从顶层和底层中各选取一个设定锚点，作为设定直线；S303、将设定直线函数投影至原图坐标系，将原图像中此设定直线两侧±5列的像素记为内点；S304、计算内点的所有灰度值之和；S305、遍历所有的设定锚点，每次对比其灰度值之和，保留灰度值之和最低的设定直线的数据；S306、计算得到第一类焊缝函数的参数A、B和C，其中直线函数的斜率为-A/B；其中参数A、B和C均为常数。

所述第二类焊缝函数的转换步骤为：S311、采用第一类焊缝的检测方式得到第二类焊缝的第一边缘线的焊缝函数；S312、将第一边缘线的内点的灰度值设为背景色；采用第一类焊缝的检测方式得到第二类焊缝的第二边缘线的焊缝函数；S313、计算第一边缘线和第二边缘线的角平分线作为第二类焊缝函数。

进一步的，步骤S6中计算焊接偏移量的像素数据并驱动直线纠偏机构进行前馈纠偏的过程具体为：所述焊接偏离量即为图像正中央与焊缝函数之间的距离，像素数据即焊缝偏移量的像素点个数，设工件表面点P在以摄像头为原点的物理坐标系下的坐标为(Xc，Yc，Zc)，P在成像平面的成像点p的图像平面坐标为(x,y)，f为相机焦距，则有：

得到焊缝各点所在的位置为：

再根据丝杠的导程换算为电机的转动距离，其中，移动距离＝丝杠导程*程序输出脉冲量/电机转动一圈所需的的脉冲量，具体公式为：

其中，L表示丝杠的移动距离，单位为毫米；l表示丝杠导程，单位为毫米每圈；m表示程序输出脉冲量，单位为个；n表示电机转动一圈所需的的脉冲量，单位为个；通过上述公式完成前馈纠偏。

其中，采用位置式PID公式进行脉冲量输出调节，该公式具体为：

其中，k表示本次循环序号；e表示偏差量；K_p表示比例系数；；e(k)表示本次循环中的目标位置与当前位置的偏差量；K_I表示积分系数；e(i)表示每次对偏差量求积分的总和；K_D表示微分系数；u(k)表示本次循环中的偏差数据进行PID计算后的输出值。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供了一种自适应的前馈焊接纠偏装置及方法，通过图像采集模块获取焊接熔池的图像，使用微控制器对熔池图像进行分析，根据分析驱动外部可动机构或直线纠偏机构移动达成前馈纠偏的效果，可以广泛适应各种焊机以及各种焊缝条件下的焊接。无需加装激光视觉传感器即可实现焊接过程中的实时纠偏，并且预测位置比激光传感更精确可靠。

附图说明

图1为本发明一种自适应的前馈焊接纠偏装置的结构示意图。

图2为本发明一种自适应的前馈焊接纠偏装置的正视图。

图3为本发明一种自适应的前馈焊接纠偏装置的部分拆分图。

图4为本发明一种自适应的前馈焊接纠偏装置的图像采集模块的结构示意图。

图示标记说明如下：

1-固定支架，11-第一调整安装槽，12-第二调整安装槽，13-焊炬z轴调整件，14-第一安装槽，即焊炬安装槽；15-第二安装槽，即纠偏机构安装槽；2-直线纠偏机构，21-固定块，22-丝杠，23-底座，24-电机；3-微控制器；4-图像采集模块，41-摄像机，42-第一定位座，即定位底座；43-第二定位座，即镜头z轴调整定位座；44-第三定位座，即xz面转角定位座；45-挡板安装平台；5-焊接模块，51-焊炬，52-焊炬固定件。

图5为本发明一种自适应的前馈焊接纠偏装置的检测方法的流程示意图。

图6为本发明一种实施例中检测到焊缝函数偏移的夹角θ的示意图。

图7为本发明一个实施例中第二类焊缝的示意图。

图8为本发明一个实施例中第一类焊缝的示意图。

图9为本发明一个实施例中进行前馈纠偏后的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1-图3所示，本发明提供了一种自适应的前馈焊接纠偏装置，该装置设置在待加工工件的上方，本装置包括有：固定支架1、直线纠偏机构2、微控制器3、图像采集模块4和焊接模块5；所述直线纠偏机构2包括有固定块21、底座23和电机24，所述电机24与所述固定块21传动连接，所述电机24驱动所述固定块21沿所述底座23的轴线移动，所述焊接模块5和所述固定块21位于所述固定支架1的外侧且分别与所述固定支架1相对的两侧面连接，所述图像采集模块4设置在所述固定支架1的内侧，所述焊接模块5执行焊接工作的焊丝部分位于图像采集模块4的图像采集区域的正中央；所述直线纠偏机构2的底座23固定在外部可动机构的执行末端，所述外部可动机构用于控制焊接的直线移动方向，所述直线纠偏机构2的轴线与焊接移动方向保持垂直；所述微控制器3与图像采集模块4和外部可动机构的控制器通信连接，所述微控制器3与电机24电性连接。

其中，所述焊接的直线移动方向为x轴方向，所述直线纠偏机构2的轴线方向为y轴方向。

进一步的，所述固定支架1还包括焊炬z轴调整件13，所述焊接模块5安装在焊炬z轴调整件13上，所述固定支架1设置有第一调整安装槽11和第二调整安装槽12，所述底座23的轴线沿y轴方向设置，第一调整安装槽11沿z轴方向设置，第二调整安装槽12沿x轴方向设置，焊炬z轴调整件13安装在第一调整安装槽11中，使焊炬z轴调整件13在z轴方向上调整其位置；所述图像采集模块4安装在第二调整安装槽12中，使图像采集模块4可在x轴方向上调整其位置。

其中，所述第一调整安装槽11和第二调整安装槽12均为长槽。

在一个具体的实施例中，如图3所示，所述固定支架1的一侧设置有第一调整安装槽11，相邻一侧设置有第二调整安装槽12，与第一调整安装槽11相对一侧设置有第二安装槽15；所述焊炬z轴调整件13上设置有与所述第一调整安装槽11相同间隙的长槽，二者之间通过螺纹连接件进行固定。所述焊炬z轴调整件13靠近底部一侧设置有第一安装槽14。

进一步的，所述直线纠偏机构2还包括包括有：丝杠22，所述直线纠偏机构2的电机24通过丝杠22与所述固定块21传动连接，其中所述电机24的输出轴与所述丝杆22的一端连接，所述丝杆22的另一端支承在底座23上，所述固定块21套装在丝杆22上，并通过所设的螺纹与丝杆22组成螺旋传动副。

其中，直线纠偏机构2的底座23固定在外部可动机构的末端，在一个具体的实施例中，所述外部可动机构为可移动式机器人手臂，该机器人手臂受控制器控制，包括有主动端、关节和从动端，需要控制整个装置向焊接移动方向运动时，控制器控制主动端、关节和从动端保持固定，通过控制主动端向焊接移动方向运动；需要控制整个装置向不同于焊接移动方向的转动，即调整焊接移动的方向时，控制器控制主动端保持不动，控制关节带动从动端绕z轴细微旋转，进而带动整个装置完成转动。

在一个具体的实施例中，所述直线纠偏机构2为丝杠滑台。

当电机24控制丝杠22带动固定块21移动时，固定块21将带动固定支架1横移，此时焊接模块5和图像采集模块4仍保持相对静止。丝杠22的轴线与焊接移动方向保持垂直，使焊接纠偏时能在焊接过程中驱动焊炬进行左右方向微调。在焊接过程中，主要的焊接路径由可移动式机器人实现。若焊接时，工件发生脱离预期的热变形，使得焊缝偏离了规划路径，此时微控制器3可以识别图像采集模块拍摄传回的图像，并通过程序分析偏离量，实现实时纠偏的效果。

在一个具体的实施例中，直线纠偏机构2设置在固定支架1的侧面，丝杠22的轴线与焊接移动方向保持垂直。

在一个具体的实施例中，直线纠偏机构2设置在固定支架1的顶侧，丝杠22的轴线与焊接移动方向保持垂直。

进一步的，所述焊接模块5包括有：焊炬51和焊炬固定件52，所述焊炬固定件52安装在焊炬z轴调整件13的第一安装槽14上，所述焊炬51安装在焊炬固定件52上。

进一步的，在一个具体的实施例中，如图4所示，所述图像采集模块4包括有：摄像机41、第一定位座42、第三定位座44和挡板安装平台45；所述第一定位座42安装在第二调整安装槽12上，使第一定位座42可在x轴方向上调整其位置，所述第二定位座43可沿z轴方向移动地安装在所述第一定位座42的表面上；所述第三定位座44可绕其轴线转动地安装在第二定位座43上，所述第三定位座44的轴线沿y轴方向设置；所述摄像机41安装在第三定位座44上，所述挡板安装平台45安装在所述摄像机41的镜头处。

在一个具体的实施例中，所述第一定位座42为定位，用于调整图像采集模块4的x轴位置；所述第二定位座43为镜头z轴调整定位座，用于调整图像采集模块4在z轴上的位置；所述第三定位座44为镜头xz面转角定位座，能够绕y轴旋转，用于调整图像采集模块4竖直平面的采集方向；所述挡板安装平台45上设置有四个安装孔，该安装孔用于使用螺丝固定亚力克板，用于防飞溅。

其中，固定支架1用于固定摄像机41和焊炬51，使其不产生相对位移，令焊炬51的焊炬在待加工工件的表面产生的焊丝部分位于摄像机41的光轴上。

实施例2

如图5所示，本发明还提供了一种自适应的前馈焊接纠偏装置的检测方法，该方法用于一种自适应的前馈焊接纠偏装置，该方法包括以下步骤：

S1、利用图像采集模块4采集焊接部位的图像，将采集到的亮度大于预设识别阈值的图像输入至微控制器3中，利用深度学习网络进行焊缝识别，输出焊缝的感兴趣区域(ROI，region of interest)。

S2、提取感兴趣区域原图像的焊缝像素数据，采用焊缝像素数据处理方法将焊缝转化为焊缝函数。

S3、测量焊缝函数相对于图像坐标系的夹角，根据所述夹角驱动外部可动机构转动校正焊接方向，使后续识别得到的焊缝函数与图像坐标系的夹角小于设定值；或是计算焊接部位的焊接偏移量的像素数据，根据摄像头标定参数将像素数据转换为物理距离，并驱动直线纠偏机构机构带动固定支架1和焊接模块5进行纠偏，完成前馈纠偏。

在一个具体的实施例中，所述设定值为1°，测量夹角的方式为：对焊接部位的图像建立xy坐标系，并在坐标系中高亮标注出焊缝函数，测量焊缝函数与坐标系y轴之间的夹角。

其中，获取感兴趣区域具体为：将亮度高于识别阈值的图片将被输入深度学习网络进行焊缝识别，识别结果为图片中的焊缝的ROI(region of interest)区域。

进一步的，在步骤S1之前还包括：在正式焊接前先进行试焊接，第一轮采集试焊接工况下的焊接图片并进行参数设定和预处理，得到第一轮图像数据集；将第一轮图像数据集划分为训练集和验证集，对训练集进行标注并用于训练深度学习网络，训练完毕后对验证集的图像进行识别，得到第一轮识别结果；分别读取第一轮图像数据集每张图片的像素亮度之和，并与第一轮识别结果进行对比，得到可识别出图像中焊缝的最低亮度和，并将该亮度和作为识别阈值。

其中，所述深度学习网络的网络结构如下所示。

进一步的，所述参数设定具体为：将图片像素尺寸设定为128*128；所述预处理过程包括有：传统图像处理和平滑处理；步骤S2中对训练集进行标注具体为：标注图像中的焊缝范围；训练过程具体为，深度学习网络使用空洞卷积扩大感受野，在降低计算量的同时减少图像分辨率的丢失，对输入的图像提取5个有效特征层进行合并，并且在最小的8*8的特征层上进行了三次卷积。

进一步的，所述S3焊缝像素数据处理方法具体为：对感兴趣区域的原图进行图像预处理后进行边缘检测，判断焊缝的宽度是否大于设定值，若小于或等于设定值则将焊缝转化为一条直线函数，即第一类焊缝函数，宽度若大于设定值则将焊缝转化为两条直线函数，用于表示焊缝的两侧边缘线，并计算两侧边缘线的角平分线作为第二类焊缝函数。

进一步的，所述第一类焊缝函数的表达式为：

Ax+By+C＝0

其中，第一类焊缝函数的转换步骤为：S301、将边缘检测图片结果中的顶层10行像素和底层10行像素中识别出的边缘像素作为设定锚点；S302、从顶层和底层中各选取一个设定锚点，作为设定直线；S303、将设定直线函数投影至原图坐标系，将原图像中此设定直线两侧±5列的像素记为内点；S304、计算内点的所有灰度值之和；S305、遍历所有的设定锚点，每次对比其灰度值之和，保留灰度值之和最低的设定直线的数据；S306、计算得到第一类焊缝函数的参数A、B和C，其中直线函数的斜率为-A/B；

所述第二类焊缝函数的表达式为：

其中，第二类焊缝函数的转换步骤为：S311、采用第一类焊缝的检测方式得到第二类焊缝的第一边缘线的焊缝函数；S312、将第一边缘线的内点的灰度值设为背景色；采用第一类焊缝的检测方式得到第二类焊缝的第二边缘线的焊缝函数；S313、计算第一边缘线和第二边缘线的角平分线作为第二类焊缝函数。

进一步的，步骤S6中计算焊接偏移量的像素数据并驱动直线纠偏机构进行前馈纠偏的过程具体为：所述焊接偏离量即为图像正中央与焊缝函数之间的距离，像素数据即焊缝偏移量的像素点个数，设工件表面点P在以摄像头为原点的物理坐标系下的坐标为(Xc，Yc，Zc)，P在成像平面的成像点p的图像平面坐标为(x,y)，f为相机焦距，则有：

得到焊缝各点所在的位置为：

再根据丝杠的导程换算为电机的转动距离，其中，移动距离＝丝杠导程*程序输出脉冲量/电机转动一圈所需的的脉冲量，具体公式为：

其中，L表示丝杠的移动距离，单位为毫米；l表示丝杠导程，单位为毫米每圈；m表示程序输出脉冲量，单位为个；n表示电机转动一圈所需的的脉冲量，单位为个；通过上述公式完成前馈纠偏。

其中，采用位置式PID公式进行脉冲量输出调节，该公式具体为：

其中，k表示本次循环序号；e表示偏差量；K_p表示比例系数；e(k)表示本次循环中的目标位置与当前位置的偏差量；K_I表示积分系数；e(i)表示每次对偏差量求积分的总和；K_D表示微分系数；u(k)表示本次循环中的偏差数据进行PID计算后的输出值。

实施例3

基于上述实施例1和实施例2，结合图6-图9，本实施例详细阐述本发明的一种实施方式。

在一个具体的实施例中，为保证程序能适应各种焊接情况，程序采用的是深度学习框架。因此，在正式焊接工件前应先进行试焊接，采集当前工况下的焊接图片进行参数设定、进行传统图像操作的平滑处理等预处理以及网络训练。拍摄到第一批图像后将图像平分，一半用于手动标注焊缝范围，仅需标注50至100张图片，便可投入训练以确定深度学习网络参数。以此参数对另一半图像数据进行识别，获得识别焊缝的第一轮数据。

在实际进行焊接操作时，图像拍摄过程中采集的图像首先要进行粗筛。由于电弧焊在熔滴过渡阶段没有足够的弧光照亮焊缝，若没有补光设施，拍摄的图像则无法显示焊缝特征，则此图像就应当舍弃。首先在试焊接环节读取每张图片的像素亮度之和，并且与第一轮识别焊缝的数据相对比，将可识别出焊缝的最低的亮度和为识别阈值。在焊接过程中，亮度高于识别阈值的图片将被输入深度学习网络进行焊缝识别，识别结果为图片中的焊缝的ROI(region of interest)区域。

在一个具体的实施例中，将输入图片的像素尺寸限制在128*128的大小以适应嵌入式设备的算力。应用空洞卷积扩大感受野，在降低计算量的同时减少图像分辨率的丢失。更深的网络可以更好地提取图像更深层次的特征表示，因此本案提取了5个有效特征层进行合并，并且在最小的8*8的特征层上进行了三次卷积，在有限的算力下尽量争取更高的准确性。

划分出区域以后，基于此区域的原图像素数据进行焊缝识别，利用传统图像处理和本案设计的S3焊缝像素数据处理方法将焊缝抽象为焊缝函数。

焊缝函数的具体判定方法是：首先将图片进行图像预处理后进行边缘检测，如果只需检测一条直线作为焊缝，则如图5所示将焊缝抽象为一条直线函数Ax+By+C＝0。由最符合算法的两个像素点确定一条直线，求得此直线函数的A.B.C参数，其中斜率为-A/B。

步骤是：将边缘检测图片结果中的顶层10行像素和底层10行像素中识别出的边缘像素作为预定锚点。从顶层和底层中各选取一个预定锚点，作为预定直线。将预定直线函数投影至原图坐标系，将原图中此预定直线两侧±5列的像素记为内点。计算内点的所有灰度值之和。遍历所有的预定锚点，每次对比其灰度值之和，保留灰度值之和最低的预定直线的数据。

此外如果焊缝较宽，需要检测焊缝的两侧边缘线，如图4所示：

步骤是：按单根直线的步骤识别第一根直线。将第一根直线的内点的灰度值设为背景色。按单根直线的步骤识别第二根直线。计算两根直线的角平分线作为焊缝函数。

获得焊缝函数之后，首先如图4所示检查直线函数相对图像坐标系的夹角，并驱使机械臂的末端转动，使后续识别出的焊缝函数保持竖直。角度在±1°范围内视为竖直。由于此前在固定相机与焊炬时，已将焊炬调节至图像正中央，故焊接偏离量即为图像正中央与焊缝函数之间的距离。此焊接偏离量的单位为像素点个数，即焊接偏离量的像素数据。获得像素数据后，依据相机标定参数换算至物理距离。

设工件表面点P在以摄像机为原点的物理坐标系下的坐标为(X_c，Y_c，Z_c)，P在成像平面II的成像点p的图像平面坐标为(x,y),f为相机焦距，则有

由此可计算得焊缝各点所在位置

再依据丝杠的导程换算至电机转动距离，

移动距离＝丝杠导程*程序输出脉冲量/电机转动一圈所需的的脉冲量

以此驱动焊炬进行前馈纠偏，使用位置式PID公式进行脉冲量输出调节。

就此实现焊接实时纠偏功能。最终进行纠偏的焊缝检测图如图9所示。

附图中描述结构位置关系的图标仅用于示例性说明，不能理解为对本专利的限制。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种自适应的前馈焊接纠偏方法，该方法采用了一种自适应的前馈焊接纠偏装置，其特征在于，所述纠偏装置包括有：固定支架(1)、直线纠偏机构(2)、微控制器(3)、图像采集模块(4)和焊接模块(5)；所述直线纠偏机构(2)包括有固定块(21)、底座(23)和电机(24)，所述电机(24)与所述固定块(21)传动连接，所述电机(24)驱动所述固定块(21)沿所述底座(23)的轴线移动，所述焊接模块(5)和所述固定块(21)位于所述固定支架(1)的外侧且分别与所述固定支架(1)相对的两侧面连接，所述图像采集模块(4)设置在所述固定支架(1)的内侧，所述焊接模块(5)执行焊接工作的焊丝部分位于图像采集模块(4)的图像采集区域的正中央；所述直线纠偏机构(2)的底座(23)固定在外部可动机构的执行末端，所述微控制器(3)与图像采集模块(4)和外部可动机构的控制器通信连接，所述微控制器(3)与电机(24)电性连接；

该方法包括以下步骤：

S1、利用图像采集模块(4)采集焊接部位的图像，将采集到的亮度大于预设识别阈值的图像输入至微控制器(3)的深度学习网络进行焊缝识别，输出焊缝的感兴趣区域；

S2、提取感兴趣区域原图像的焊缝像素数据，采用焊缝像素数据处理方法将焊缝转化为焊缝函数；所述焊缝像素数据处理方法具体为：对感兴趣区域的原图进行图像预处理后进行边缘检测，判断焊缝的宽度是否大于设定值，若小于或等于设定值则将焊缝转化为一条直线函数，即第一类焊缝函数，宽度若大于设定值则将焊缝转化为两条直线函数，用于表示焊缝的两侧边缘线，并计算两侧边缘线的角平分线作为第二类焊缝函数；所述第一类焊缝函数的表达式为：

Ax+By+C＝0

其中，x、y为图像像素坐标点，A、B、C为直线一般方程的系数；

第一类焊缝函数的转换步骤为：S301、将边缘检测图片结果中的顶层10行像素和底层10行像素中识别出的边缘像素作为设定锚点；S302、从顶层和底层中各选取一个设定锚点，作为设定直线；S303、将设定直线函数投影至原图坐标系，将原图像中此设定直线两侧±5列的像素记为内点；S304、计算内点的所有灰度值之和；S305、遍历所有的设定锚点，每次对比其灰度值之和，保留灰度值之和最低的设定直线的数据；S306、计算得到第一类焊缝函数的参数A、B和C，其中直线函数的斜率为-A/B；

所述第二类焊缝函数的表达式为：

其中，第二类焊缝函数的转换步骤为：S311、采用第一类焊缝的转换步骤得到第二类焊缝的第一边缘线的焊缝函数；S312、将第一边缘线的内点的灰度值设为背景色；采用第一类焊缝的检测方式得到第二类焊缝的第二边缘线的焊缝函数；S313、计算第一边缘线和第二边缘线的角平分线作为第二类焊缝函数；

S3、测量焊缝函数相对于图像坐标系的夹角，根据所述夹角驱动外部可动机构转动校正焊接方向，使后续识别得到的焊缝函数与图像坐标系的夹角小于设定值；计算焊接部位的焊接偏移量的像素数据，根据摄像头标定参数将像素数据转换为物理距离，并驱动直线纠偏机构(2)带动固定支架(1)和焊接模块(5)进行纠偏，完成前馈纠偏；具体为：所述焊接偏离量即为图像正中央与焊缝函数之间的距离，像素数据即焊缝偏移量的像素点个数，设工件表面点P在以摄像头为原点的物理坐标系下的坐标为(Xc，Yc，Zc)，，P在成像平面的成像点p的图像平面坐标为(x,y)，f为相机焦距，则有：

得到焊缝各点所在的位置为：

再根据丝杠的导程换算为电机的转动距离，具体公式为：

其中，L表示丝杠的移动距离，单位为毫米；l表示丝杠导程，单位为毫米每圈；m表示程序输出脉冲量，单位为个；n表示电机转动一圈所需的的脉冲量，单位为个；通过上述公式完成前馈纠偏。

2.根据权利要求1所述的一种自适应的前馈焊接纠偏方法，其特征在于，所述纠偏装置还包括焊炬z轴调整件(13)，所述焊接模块(5)安装在焊炬z轴调整件(13)上，所述固定支架(1)设置有第一调整安装槽(11)和第二调整安装槽(12)，所述底座(23)的轴线沿y轴方向设置，第一调整安装槽(11)沿z轴方向设置，第二调整安装槽(12)沿x轴方向设置，焊炬z轴调整件(13)安装在第一调整安装槽(11)中，使焊炬z轴调整件(13)在z轴方向上调整其位置；所述图像采集模块(4)安装在第二调整安装槽(12)中，使图像采集模块(4)可在x轴方向上调整其位置。

3.根据权利要求2所述的一种自适应的前馈焊接纠偏方法，其特征在于，所述直线纠偏机构(2)还包括有：丝杠(22)，所述直线纠偏机构(2)的电机(24)通过丝杠(22)与所述固定块(21)传动连接，其中所述电机(24)的输出轴与所述丝杠(22)的一端连接，所述丝杠(22)的另一端支承在底座(23)上，所述固定块(21)套装在丝杠(22)上，并通过固定块(21)上所设的螺纹与丝杠(22)组成螺旋传动副。

4.根据权利要求2所述的一种自适应的前馈焊接纠偏方法，其特征在于，所述焊接模块(5)包括有：焊炬(51)和焊炬固定件(52)，所述焊炬固定件(52)安装在焊炬z轴调整件(13)的第一安装槽(14)上，所述焊炬(51)安装在所述焊炬固定件(52)上。

5.根据权利要求2所述的一种自适应的前馈焊接纠偏方法，其特征在于，所述图像采集模块(4)包括有：摄像机(41)、第一定位座(42)、第二定位座(43)、第三定位座(44)和挡板安装平台(45)；所述第一定位座(42)安装在第二调整安装槽(12)上，使第一定位座(42)可在x轴方向上调整其位置，所述第二定位座(43)可沿z轴方向移动地安装在所述第一定位座(42)的表面上；所述第三定位座(44)可绕其轴线转动地安装在第二定位座(43)上，所述第三定位座(44)的轴线沿y轴方向设置；所述摄像机(41)安装在第三定位座(44)上，所述挡板安装平台(45)安装在所述摄像机(41)的镜头处。

6.根据权利要求5所述的一种自适应的前馈焊接纠偏方法，其特征在于，在步骤S1之前还包括：在正式焊接前先进行试焊接，第一轮采集试焊接工况下的焊接图片并进行参数设定和预处理，得到第一轮图像数据集；将第一轮图像数据集划分为训练集和验证集，对训练集进行标注并用于训练深度学习网络，训练完毕后对验证集的图像进行识别，得到第一轮识别结果；分别读取第一轮图像数据集每张图片的像素亮度之和，并与第一轮识别结果进行对比，得到可识别出的图像中焊缝的最低亮度和，并将该亮度和作为识别阈值；

所述参数设定具体为：将图片像素尺寸设定为128*128；所述预处理过程包括有：传统图像处理和平滑处理；步骤S2中对训练集进行标注具体为：标注图像中的焊缝范围；

训练过程具体为，深度学习网络使用空洞卷积扩大感受野，在降低计算量的同时减少图像分辨率的丢失，对输入的图像提取5个有效特征层进行合并，并且在最小的8*8的特征层上进行三次卷积。