CN112207482A - 一种用于焊接质量控制的多元信息监控和控制系统及方法 - Google Patents

Abstract

本发明涉及一种用于焊接质量控制的多元信息监控和控制系统，包括：信息采集模块，用于实时采集多种原始信息；信息处理模块，用于获取特征信息；质量预测模块，用于获取焊接质量分类信息并预测焊接质量状态信息；焊接控制模块，用于调整焊接温度；云端管理模块，用于显示各类状态和质量信息；激光焊缝跟踪模块，用于实时调整当前焊接轨迹。与现有技术相比，本发明通过多源特征信息融合算法设计实现对焊接过程的在线检测，对焊接缝成形及质量的预测、分类评估，并将焊接过程的原始信息、特征信息及焊接质量信息等实时更新后在前端显示，为更为精确焊接质量在线检测和智能控制策略提供信息处理技术，同时监控系统具有操作的便捷性。

Description

一种用于焊接质量控制的多元信息监控和控制系统及方法

技术领域

本发明涉及自动控制领域，尤其是涉及一种用于焊接质量控制的多元信息监控和控制系统及方法。

背景技术

随着机器人焊接在制造业应用越来越广泛，质量控制也成为生产线中的核心环节之一。在质量控制中，往往通过对焊前工艺参数的优化发挥减少缺陷，但是，由于焊接过程是一个高度非线性、多变量耦合，同时具有大量随机不确定性因素的典型复杂过程，因此，要做到焊缝表及内部质量的“零缺陷”几乎难以实现的。对焊接质量的检测主要集中在焊后离线进行，这严重制约了高效率的自动化焊接技术的发展。

焊接过程的传感技术以模拟焊工的角色出现，它可以实时感知动态焊接过程中的各类信息源和参数，实时收集反映焊缝质量的信息，借助信息处理技术来实现焊缝缺陷的实时检测。目前，基于网络的多元传感信息智能控制系统在焊接智能化中的应用还处于初期阶段，很多技术不能保障焊接的精确性和稳定性，而且基本上使用单一传感器采集并据此来分析焊接质量，或者只融合视觉，声音两种信息进行焊接质量分析，在信息获取的全面性及稳定性存在不足之处，不能实时在线将分析和预测结果在用户界面显示。

公开号为CN110193686A的中国发明专利公开了一种信息化焊接管理控制系统及控制方法，包括焊接设备和与焊接设备通信连接的焊接监控系统，焊接设备内设有数据采集系统、焊接信号控制器和网关服务器，不仅可以对焊接设备进行控制管理，还可对焊接设备的运行状态进行监控，从而对提高焊接车间的自动化水平和管理水平以及对提高产品焊接质量控制。但是，该焊接管理控制系统只是在前端实时显示焊接过程中的各种传感器数据，焊接质量的控制仍需要人工手动设置参数等，不能实现对焊接过程中焊接质量的自动化控制，也不能实时根据焊接状况调整焊接的温度、轨迹等。

公开号为CN109807434A的中国发明专利公开了一种多元焊接传感信息监测及控制系统及方法，同时采用多传感特征提取与多信息融合技术，实现实时的焊接质量监测，并实现反馈控制，但是，该发明只是将各类传感器数据存储在数据库中，很难直观看出焊接过程中各类参数的变化趋势，且反馈控制时直接调整焊接速度、轨、电流电压等各类控制参数，精度不够高，各类控制参数可能产生阶梯式变化。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于焊接质量控制的多元信息监控和控制系统及方法，实时采集焊接过程中的多种原始信息，根据原始信息获取焊接过程中的特征信息，并通过特征信息实现对焊接质量的检测和焊接温度的反馈控制，将焊接过程的原始信息、特征信息及焊接质量信息等实时更新后在显示前端显示，能更为精确的进行焊接质量检测和自动焊接控制，便捷性大大提升。

本发明的目的可以通过以下技术方案来实现：

一种用于焊接质量控制的多元信息监控和控制系统，包括信息采集模块，所述信息采集模块与信息处理模块连接，用于实时采集焊接过程中的多种原始信息，该系统还包括：

信息处理模块，分别与信息采集模块和质量预测模块连接，用于处理多种原始信息，得到焊接过程中的特征信息；

质量预测模块，分别与信息处理模块和焊接控制模块连接，用于根据特征信息得到焊接质量分类信息并预测焊接质量状态信息；

焊接控制模块，与质量预测模块连接，用于根据焊接质量状态信息和预设置时间内的电流值调整焊接温度；

云端管理模块，分别与信息采集模块、信息处理模块、质量预测模块和焊缝跟踪模块无线连接，用于存储和以图表形式显示原始信息、特征信息、焊接质量分类信息、焊接质量状态信息和焊接轨迹信息；

激光焊缝跟踪模块，与云端管理模块无线连接，用于实时调整当前焊接轨迹。

进一步地，所述信息采集模块包括图像传感器、声音传感器、光谱传感器和电流电压传感器。

进一步地，所述多种原始信息包括熔池图像、声音信号、光谱信号和电流电压。

进一步地，所述特征信息包括熔池图像的正面熔池特征参数、声音信号的时域特征和频域特征、光谱信号的氢原子谱峰面积和氢谱线方差、电流电压的数值。

进一步地，所述质量预测模块包括第一模型，所述第一模型的输入为降维后的特征信息，输出为焊接质量分类信息，焊接质量分类信息包括熔透状态分类结果和缺陷状态分类结果。

进一步地，所述质量预测模块还包括第二模型，所述第二模型的输入为降维后的特征信息，输出为焊接质量状态信息，焊接质量状态信息包括背面熔宽预测值和背面余高预测值。

进一步地，所述焊接控制模块包括无模型自适应控制器，所述无模型自适应控制器的输入为焊接质量状态信息和预设置时间内的电流值，输出为控制焊接温度高低的电流值。

更进一步地，所述预设置时间的取值是根据焊接质量控制的精度确定的。

进一步地，所述云端管理模块包括数据库、服务器和显示前端，所述云端管理模块还用于存储和显示焊接设备信息、耗材信息、工艺规程信息。

一种使用如上所述的用于焊接质量控制的多元信息监控和控制系统进行焊接质量监控和控制的方法，包括以下步骤：

S1：开始焊接，激光焊缝跟踪模块实时调整焊接轨迹；

S2：信息采集模块获取焊接过程中的多种原始信息并传送至信息处理模块；

S3：信息处理模块分别对每种原始信息进行处理，得到特征信息，并对特征信息进行降维；

S4：质量预测模块以降维后的特征信息为输入，输出焊接质量分类信息和焊接质量状态信息；

S5：焊接控制模块根据焊接质量状态信息和预设置时间内的电流值负反馈调节焊接温度；

S6：云端管理模块通过无线通信接收其他模块传送的数据信息，存储并以图表形式显示。

与现有技术相比，本发明具有以下有益效果：

(1)实时采集焊接过程中的多种原始信息，根据原始信息获取焊接过程中的特征信息，并通过特征信息实现对焊接质量的检测和焊接温度的反馈控制，将焊接过程的原始信息、特征信息及焊接质量信息等实时更新后在显示前端显示，能更为精确的进行焊接质量检测和自动焊接控制，便捷性大大提升。

(2)通过激光焊缝跟踪技术，实时调整当前焊接轨迹，自动化程度高，焊接质量和准确度高。

(3)云端管理模块通过无线通信连接其他模块，实现实时的在线监控和数据库管理，便于用户操作。

(4)充分利用多种传感信息源之间的互补性，融合焊接过程中的图像、声音、光谱及电压信息，多角度多方面监测焊接过程，精确度更高。

附图说明

图1为本发明的系统结构示意图；

图2为实施例中信息采集、处理和质量预测及焊接控制的流程图；

图3为实施例中基于B/S架构的Web云端管理模块工作示意图；

图4为实施例中激光焊缝跟踪模块框架图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1：

一种用于焊接质量控制的多元信息监控和控制系统及方法，系统结构示意图如图1所示，包括：

信息采集模块，与信息处理模块连接，用于实时采集焊接过程中的多种原始信息；

信息处理模块，分别与信息采集模块和质量预测模块连接，用于处理多种原始信息，得到焊接过程中的特征信息；

质量预测模块，分别与信息处理模块和焊接控制模块连接，用于根据特征信息得到焊接质量分类信息并预测焊接质量状态信息；

焊接控制模块，与质量预测模块连接，用于根据焊接质量状态信息调整焊接温度；

云端管理模块，分别与信息采集模块、信息处理模块、质量预测模块和焊缝跟踪模块无线连接，用于存储和显示原始信息、特征信息、焊接质量分类信息、焊接质量状态信息和焊接轨迹信息等；

激光焊缝跟踪模块，与云端管理模块无线连接，用于实时调整当前焊接轨迹。

本实施例以机器人焊接为实施背景，基于B/S架构设计云端管理模块，具体如下：

本实施例中信息采集、处理和质量预测及焊接控制的流程图如图2所示。

信息采集模块包括被动视觉传感器、声音传感器、棕橙WASS-I型光谱传感器、霍尔传感器和工控机，各类传感器分别采集焊接过程中的熔池图像、声音信号、光谱信号和电流电压。同时，工控机通过无线通信将传感器采集到的原始信息上传到云端管理模块的数据库中。

通过多源特征信息融合算法实现对焊接过程的在线检测，对焊接缝成形及质量的预测、分类评估和显示，主要步骤如下：

(1)信息处理模块对信息采集到的多种传感器信息分别处理，得到特征信息。熔池图像通过基于LBF特征的级联回归算法提取熔池轮廓，然后根据轮廓计算出熔宽、半熔长、熔池后托角、熔池面积等正面熔池特征参数。声音信号通过直接时域上的计算得到其时域的特征，同时通过短时傅里叶变换后计算得到其频域特征。光谱信号通过H谱线信息计算氢原子谱峰面积、氢谱线方差。电流电压直接获得其数值。处理后的特征信息通过无线通信上传到数据库中。

(2)信息处理模块处理后得到的特征信息是反映焊接质量的高维特征数据，对冗余的高维特征进行特征降维处理，作为质量预测模块的输入。

(3)将降维后的特征参数输入第一多信息融合预测模型和第二多信息融合预测模型中，得到焊接过程中的焊接质量分类信息和焊接质量状态信息。本实施例中多信息融合预测模型为基于深度学习的神经网络模型，在其他实施例中多信息融合预测模型也可以是支持向量机模型等，同时，也可以使用一个训练好的模型同时完成第一多信息融合预测模型和第二多信息融合预测模型的工作。

焊接质量分类信息包括熔透状态分类结果和缺陷状态分类结果，熔透状态分为：未熔透、正常、焊漏，缺陷状态分为气孔、下塌、错边。

焊接质量状态信息为预测值，包括背面熔宽预测值和背面余高预测值。

将特征信息对应的熔透状态、缺陷状态、背面熔宽预测值和背面余高预测值上传到数据库中。

质量预测模块得出的焊接质量状态信息作为焊接控制模块的输入，根据背面熔宽预测值和背面余高预测值，以及预设置时间内的电流一起作为质量预测模块中无模型自适应控制器的输入，输出调整焊接设备焊接温度的电流。预设置时间的取值与调节焊接质量和/或温度的精度有关，还受算法的处理速度影响，本实施例取50ms。

如图3所示，云端管理模块基于Web实现，包含数据库，显示前端以及服务器几部分。本实施例中主要是利用python的Django框架开发的，基于MVC模式构建，即模型(Model)、视图(Views)、控制器(Controllers)模式。其中模型(Model)部分采用MySQL等关系型数据库搭建，可用于存储焊接设备信息、耗材信息、工艺规程信息、焊接过程的传感数据及特征信息和这些信息对应的焊接质量信息。云端数据库对工控机提供数据写入权限，焊接工位的工控机可直接将焊接过程传感数据写入到数据库的信息表中。同时，浏览器访问服务器得到服务器与数据库交互的数据，浏览器将访问得到的数据信息展示在显示前端。服务器与其他组件采用TCP通讯协议通信。

数据库主要包含设备管理表、耗材管理表、工艺规程管理表、工艺知识与工艺规则管理表、工艺质量管理表、人员管理表、焊接过程信息表、特征表、对应时刻的焊接质量状态表，数据库提供读写权限给服务器，服务器负责对接上传的数据到数据库，并提供数据给显示前端，在显示前端以图表等形式将数据可视化。

在web前端可以看到熔池正面图像，熔池正面特征参数，声音时域特征，声音频域特征，光谱H原子普峰面积，H谱线方差，背面熔宽，背面余高等随时间变化的折线统计图，以及焊接熔透状态，焊接缺陷状态的实时刷新显示表。

如图4所示，激光焊接跟踪系统用于实现机器人能实时跟踪焊缝，包括CCD控制单元、图像处理单元和机器人通讯控制单元。CCD控制单元用于控制被动视觉传感器，调整参数和相机状态从而使得焊接过程中拍摄的图片清晰可见，调节好参数后打开激光器，调用CCD控制接口从而获得激光焊缝图像。图像处理单元负责提取焊缝中心点从而计算焊缝当前位置焊缝距离焊丝尖端点的三维偏差值，主要是通过图像处理和焊接头拟合，再将拟合后的焊缝像素坐标以标定后的激光转换矩阵和手眼矩阵转换到机器人工具坐标系，便可以计算出当前位置焊缝距离焊丝尖端点的三维偏差值。然后将实时获取的偏差值换算成调节量，通过机器人通讯控制单元将调节量输入到机器人控制器中，并调用机器人控制接口纠偏，调整焊接轨迹并将通讯获得的机器人位姿信息也上传到数据库中。

本实施例中主要操作步骤如下：

(1)打开工控机开关，通过激光焊缝跟踪模块调整主动视觉CCD参数和相机的状态，调整机器人位姿，启动焊接；

(2)信息采集模块通过传感器采集原始信息并传送至信息处理模块，包括熔池图像、声音信号、光谱信号和电流电压；

(3)信息处理模块分别对每种原始信息进行处理，得到特征信息，包括包括熔池图像的正面熔池特征参数、声音信号的时域特征和频域特征、光谱信号的氢原子谱峰面积和氢谱线方差、电流电压的数值，对特征信息进行降维；

(4)质量预测模块以降维后的特征信息为输入，根据特征信息得到熔透状态、缺陷状态、背面熔宽和背面余高等；

(5)根据背面熔宽、背面余高和预设置时间内的电流值负反馈调节焊接的温度，使得焊接较为平稳、精确；

(6)云端管理模块通过无线通信接收其他模块传送的数据信息，存储并将这些信息在Web前端以图表形式实时显示和刷新。

Claims (10)

1.一种用于焊接质量控制的多元信息监控和控制系统，包括信息采集模块，其特征在于，所述信息采集模块与信息处理模块连接，用于实时采集焊接过程中的多种原始信息，该系统还包括：

信息处理模块，分别与信息采集模块和质量预测模块连接，用于处理多种原始信息，得到焊接过程中的特征信息；

质量预测模块，分别与信息处理模块和焊接控制模块连接，用于根据特征信息得到焊接质量分类信息并预测焊接质量状态信息；

焊接控制模块，与质量预测模块连接，用于根据焊接质量状态信息和预设置时间内的电流值调整焊接温度；

云端管理模块，分别与信息采集模块、信息处理模块、质量预测模块和焊缝跟踪模块无线连接，用于存储和以图表形式显示原始信息、特征信息、焊接质量分类信息、焊接质量状态信息和焊接轨迹信息；

激光焊缝跟踪模块，与云端管理模块无线连接，用于实时调整当前焊接轨迹。

2.根据权利要求1所述的一种用于焊接质量控制的多元信息监控和控制系统，其特征在于，所述信息采集模块包括图像传感器、声音传感器、光谱传感器和电流电压传感器。

3.根据权利要求1所述的一种用于焊接质量控制的多元信息监控和控制系统，其特征在于，所述多种原始信息包括熔池图像、声音信号、光谱信号和电流电压。

4.根据权利要求1所述的一种用于焊接质量控制的多元信息监控和控制系统，其特征在于，所述特征信息包括熔池图像的正面熔池特征参数、声音信号的时域特征和频域特征、光谱信号的氢原子谱峰面积和氢谱线方差、电流电压的数值。

5.根据权利要求1所述的一种用于焊接质量控制的多元信息监控和控制系统，其特征在于，所述质量预测模块包括第一模型，所述第一模型的输入为降维后的特征信息，输出为焊接质量分类信息，焊接质量分类信息包括熔透状态分类结果和缺陷状态分类结果。

6.根据权利要求1所述的一种用于焊接质量控制的多元信息监控和控制系统，其特征在于，所述质量预测模块还包括第二模型，所述第二模型的输入为降维后的特征信息，输出为焊接质量状态信息，焊接质量状态信息包括背面熔宽预测值和背面余高预测值。

7.根据权利要求1所述的一种用于焊接质量控制的多元信息监控和控制系统，其特征在于，所述焊接控制模块包括无模型自适应控制器，所述无模型自适应控制器的输入为焊接质量状态信息和预设置时间内的电流值，输出为控制焊接温度高低的电流值。

8.根据权利要求7所述的一种用于焊接质量控制的多元信息监控和控制系统，其特征在于，所述预设置时间的取值是根据焊接质量控制的精度确定的。

9.根据权利要求1所述的一种用于焊接质量控制的多元信息监控和控制系统，其特征在于，所述云端管理模块包括数据库、服务器和显示前端，所述云端管理模块还用于存储和显示焊接设备信息、耗材信息、工艺规程信息。

10.一种使用如上述任一权利要求所述的用于焊接质量控制的多元信息监控和控制系统进行焊接质量监控和控制的方法，其特征在于，该方法包括以下步骤：

S1：开始焊接，激光焊缝跟踪模块实时调整焊接轨迹；

S2：信息采集模块获取焊接过程中的多种原始信息并传送至信息处理模块；

S3：信息处理模块分别对每种原始信息进行处理，得到特征信息，并对特征信息进行降维；

S4：质量预测模块以降维后的特征信息为输入，输出焊接质量分类信息和焊接质量状态信息；

S5：焊接控制模块根据焊接质量状态信息和预设置时间内的电流值负反馈调节焊接温度；

S6：云端管理模块通过无线通信接收其他模块传送的数据信息，存储并以图表形式显示。

Images