CN117733439B - 一种具有焊缝成形质量实时预测功能的焊接机器人 - Google Patents
一种具有焊缝成形质量实时预测功能的焊接机器人 Download PDFInfo
- Publication number
- CN117733439B CN117733439B CN202410077479.2A CN202410077479A CN117733439B CN 117733439 B CN117733439 B CN 117733439B CN 202410077479 A CN202410077479 A CN 202410077479A CN 117733439 B CN117733439 B CN 117733439B
- Authority
- CN
- China
- Prior art keywords
- welding
- weld
- data
- model
- forming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 225
- 238000000034 method Methods 0.000 claims abstract description 91
- 230000008569 process Effects 0.000 claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000003745 diagnosis Methods 0.000 claims abstract description 33
- 238000013526 transfer learning Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims description 37
- 238000011176 pooling Methods 0.000 claims description 24
- 238000013500 data storage Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000007547 defect Effects 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000155 melt Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 abstract description 4
- 230000001419 dependent effect Effects 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 11
- 230000007787 long-term memory Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000002893 slag Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005493 welding type Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 239000010953 base metal Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
为解决现有焊接机器人严重依赖工艺人员经验控制以及不具备扩展性仍需频繁开展焊接实验获取焊点实测结果的问题，本发明提出了一种具有焊缝成形质量实时预测功能的焊接机器人，该焊接机器人内置有模型训练模块，能构建并训练焊缝成形迁移学习模型、焊缝成形诊断模型和焊缝成形质量预测模型；通过焊缝成形迁移学习模型对预先存储在焊接机器人内的源域数据采用迁移学习算法进行学习，快速获取熔池图像特征，提高了焊接机器人的图像特征提取性能和泛化能力；焊缝成形诊断模型和焊缝成形质量预测模型协同作用，采用ResNet‑LSTM混合算法，将提取的空间特征与时间序列数据中的动态信息结合，保证焊接机器人能实时预测焊接质量。
Description
技术领域
本发明涉及工业机器人焊接技术领域，具体涉及一种具有焊缝成形质量实时预测功能的焊接机器人。
背景技术
在工业生产中，焊接是连接材料最常见的方法。使用自动设备(如焊接机器人)可以非常有效地完成各种焊接过程。尽管在焊接机器人自动焊接领域，焊缝自动跟踪技术已经取得了重大进展，但焊接质量检测的自动化水平仍有很大的提高空间。在焊接工艺中，焊缝成形质量对于焊接连接的强度和稳定性具有重要影响，但高温、飞溅、高强度电弧光和复杂的焊接环境会使得焊缝成形质量不理想。因此，开展焊缝成形实时预测不仅能使焊缝质量更加可靠和稳定，而且能提高生产效率，降低生产成本。
现有的焊接机器人存在着焊缝成形质量预测方法效率低、预测结果不稳定，以及焊接异常数据少导致预测精度不足的问题。这些问题使得焊接机器人的使用需要大量有经验的操作人员参与，严重制约了焊接机器人技术的应用和发展。因此，能够实时、准确预测焊缝成形质量的焊接机器人成为了企业亟需的技术需求。
近年来，为提高焊机器人的实时预测精度，在焊接机器人中进行焊缝成形质量实时预测方面的研究主要有：
广州明珞汽车装备有限公司公开的发明专利《一种基于人工智能的焊接质量预测系统及方法》(CN201911185892.6)，公开了一种基于人工智能的焊接质量预测系统及方法，通过对实时采集的焊接数据进行预判，得到焊接质量预测结果，将不良的焊接质量预测结果与该焊点的实测结果进行比对，若比对不一致，则根据该焊点的焊接数据和实测结果更新判定模型并将判定模型下发到在线判定模块中；通过对焊接数据的实时预判，及时预判出不良焊点，实现焊接质量预测。然而该方法仅通过更新在线判定模块的判定模型的方式进行质量预测，系统的预测质量精度过于依赖实时采集的焊接数据，任何数据采集过程中的误差都可能影响预测结果的准确度，因此无法实现较为广泛和准确的焊接质量预测，导致焊接质量的预测不具备扩展性，对于不同的焊接任务仍需要进行频繁焊接实验来获取焊点的实测结果。
发明内容
为了解决现有的焊接机器人严重依赖工艺人员经验进行控制，以及焊接质量预测系统不具备扩展性仍需频繁开展焊接实验获取焊点实测结果的技术问题，本发明提出了一种具有焊缝成形质量实时预测功能的焊接机器人。
本发明所采用的技术方案是：
一种具有焊缝成形质量实时预测功能的焊接机器人，包括熔池相机、焊枪、多参数传感器、机械臂、机器人控制器、计算机处理器和显示屏；
所述熔池相机用于实时获取焊接期间的熔池图像数据；
所述多参数传感器用于实时获取焊接过程参数，包括焊接电流、焊接电压和送丝速度；
所述计算机处理器上设置有通讯模块、数据处理模块、模型训练模块和数据存储模块；所述数据处理模块包括数据清洗单元、质量预测单元和参数调整单元；
其特殊之处在于：
所述数据存储模块中存储有源域数据、目标域数据、历史焊接过程参数和模型库；源域数据是从公共数据集中收集的与焊缝成形相关且具有缺陷标记的熔池图像数据；目标域数据是从企业数据库中提取的与焊接质量预测相关的熔池图像数据并作缺陷标记后得到的数据；历史焊接过程参数包括从企业数据库中提取的与所述目标域数据相应的过程数据，包括焊接电流、焊接电压和送丝速度；
所述模型训练模块为运行在所述计算机处理器上的第一计算机程序，其被计算机处理器运行时用于实现以下步骤：
步骤A1：基于CNN构建焊缝成形迁移学习模型并采用源域数据进行训练，将训练好的模型发送并存储于所述数据存储模块中以构建模型库；
步骤A2：基于ResNet构建焊缝成形诊断模型，将训练好的所述焊缝成形迁移学习模型的最后一层卷积层的权重和偏置作为所述焊缝成形诊断模型的卷积层参数的初始值，并采用目标域数据对所述焊缝成形诊断模型的卷积层参数进行修正，得到训练好的焊缝成形诊断模型，将训练好的模型发送并存储于所述数据存储模块中以构建模型库；
步骤A3：基于LSTM构建焊缝成形质量预测模型并采用所述历史焊接过程数据和所述焊缝成形诊断模型输出的一维特征向量进行训练，将训练好的模型发送并存储于所述数据存储模块中以构建模型库；
所述质量预测单元为运行在所述计算机处理器上的第二计算机程序，其被计算机处理器运行时用于实现以下步骤：
步骤B1：实时采集当前焊接任务的熔池图像数据和焊接过程数据，并进行数据清洗；
步骤B2：将步骤B1的熔池图像数据输入训练好的焊缝成形诊断模型的卷积层中提取图像特征，待焊缝成形诊断模型的全局平均池化层将所述图像特征转化为一维特征向量后，将所述一维特征向量与步骤B1的焊接过程数据拼接后输入训练好的焊缝成形质量预测模型中，得到下一时刻的焊缝时序特征向量；
步骤B3：将所述下一时刻的焊缝时序特征向量输入训练好的焊缝成形诊断模型的全连接层中，得到下一时刻的焊缝成形预测结果。
进一步地，步骤A1中所述焊缝成形迁移学习模型包括两层卷积层和两层池化层，两层卷积层的输入均为所述源域数据，两层卷积层分别用于提取源域数据中的简单特征和组合特征，两层池化层分别用于对两层卷积层提取的特征进行增强；所述简单特征包括熔池的边缘、角度和曲线；所述组合特征包括熔池的弧度和形状；训练时是采用所述源域数据对所述两层卷积层进行训练。
进一步地，步骤A2中所述焊缝成形诊断模型包括依次设置的卷积层、全局平均池化层和全连接层，卷积层的输入为熔池图像数据，卷积层的输出为从熔池图像数据中提取的图像特征，全局平均池化层的输入为卷积层输出的图像特征，全局平均池化层的输出为一维特征向量，全连接层的输入为焊缝时序特征向量，全连接层的输出为焊缝成形状态标签。
进一步地，步骤A3中所述焊缝成形质量预测模型包括遗忘门模块、输入门模块和输出门模块；遗忘门模块用于丢弃上一时刻的焊接参数中对当前焊接质量影响较小的历史数据；输入门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出，从而对细胞状态进行更新；输出门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出。
进一步地，步骤A3中对所述焊缝成形质量预测模型的训练方法是：将所述焊缝成形诊断模型训练好时其全局平均池化层输出的一维特征向量与历史焊接过程数据拼接并按时间顺序排列形成时间序列并进行划分，构建出多个焊缝时间序列数据集，用所述焊缝时间序列数据集对焊缝成形质量预测模型进行训练，得到训练好的焊缝成形质量预测模型。
与现有技术相比，本发明的优点是：
1.本发明焊接机器人能够通过其内置的焊缝成形迁移学习模型对源域数据采用迁移学习算法进行学习，从而快速获取熔池图像特征，提高了焊接机器人的图像特征提取性能和泛化能力，降低了焊接机器人对工艺人员经验的依赖和对大批量焊接数据的依赖性，进而有效缩减实验阶段的时间，解决了企业中收集到的异常数据不足造成焊接机器人无法满足实际生产需求的问题，从而提高生产效率。
2.本发明针对焊接全过程在线识别，焊接机器人内置的模型不同于传统针对图像分类识别的算法，采用了ResNet-LSTM的混合算法，ResNet可以有效提取复杂焊缝图像中的高级特征并且保留其时序特征，LSTM可以捕获焊缝成形过程中随时间变化的动态特征，为焊接机器人的焊缝成形质量实时预测功能提供充足的时序分析能力，融合焊接机器人加工过程中的时间序列信息，提高焊缝质量预测的精度和鲁棒性。通过ResNet和LSTM相互协作，将从图像数据中提取的空间特征与时间序列数据中的动态信息相结合，保证了焊接机器人能够实时预测焊接过程中的质量问题。
3.本发明焊接机器人利用多源数据综合不同类型的信息来解决焊缝成形质量实时预测问题，多源数据包括传感器收集的焊接图像数据、实时过程数据、公共图像数据和企业历史数据；焊接图像数据提供了视觉信息，而焊接过程中传感器收集到的实时过程数据可以提供关于焊接过程的物理信息，如送丝速度、焊接电流、焊接电压等，由于多源数据能够提供更多的特征和信息，可以用于训练更复杂的深度学习模型。这有助于提高焊接机器人内置焊缝成形诊断模型和质量预测模型的性能和准确性，同时多个数据源让焊缝成形质量预测模型更具鲁棒性，能够应对噪声和不确定性。如果某一数据源出现问题或噪声，其他数据源可能有助于提供焊接机器人更稳定的质量预测。
4.焊接工艺环境复杂、参数多。传统焊接机器人的质量预测模型训练方法是通过预设网络结构和训练参数遍历数据集，以确定合适参数，这样会显著增加模型的训练时间和复杂度。而本发明结合多源数据，焊接机器人内置的焊缝成形诊断模型和焊缝成形质量预测模型能够直接从数据中学习焊接过程的复杂关系，降低对专家知识或先验假设的依赖，同时焊缝成形质量预测模型能够实时处理焊接过程参数，并给出相应的焊缝成形状态预测结果，有助于及时调整焊接机器人的工艺。
附图说明
图1为本发明焊接机器人的结构示意图。
图2为图1中计算机处理器的结构示意图。
图3为本发明实施例涉及的焊缝成形质量实时预测方法的流程图。
图4为图1中显示屏的界面示意图。
具体实施方式
下面结合附图及实例对本发明做进一步的详细说明。
如图1所示，本发明所提出的具有焊缝成形质量实时预测功能的焊接机器人，包括机械臂、机器人控制器、计算机处理器和显示屏，机械臂的端口位置集成了熔池相机、多参数传感器以及焊枪，用于焊接过程中的稳定操控，以提高焊接精度、质量和效率。熔池相机、焊枪、多参数传感器、焊接机械臂、焊接机器人控制器及显示屏均为现有单元。熔池相机、多参数传感器、机器人控制器和显示屏均与计算机处理器相连；机械臂与机器人控制器相连；焊枪与机械臂相连。
熔池相机用于实时捕捉焊接过程中电弧、焊丝、熔池、焊缝、母材、以及熔池夹渣的状态，并发送给计算机处理器并且显示在显示屏上，方便焊接工艺人员通过分析熔池图像来评估焊缝成型质量并及时调整焊接参数，以保证焊接质量；焊枪用于施焊，具体为送进焊丝、输送保护气体、精准定位和控制等，从而实现焊接任务；多参数传感器用于实时采集焊接过程中的过程参数，包括：焊接电流参数、焊接电压参数和焊接装配的送丝速度，并将采集到的过程参数传输到计算机处理器中。
如图2所示，机器人控制器与机械臂连接并相互通讯，机器人控制器能够控制机械臂摆动，进而控制机械臂端口处的焊枪运动。机器人控制器与计算机处理器连接并相互通讯，计算机处理器用于发送操作指令给机器人控制器，其发送的操作指令可控制焊枪执行焊接任务和实时调整焊接过程参数。
计算机处理器上设有通讯模块、数据处理模块、模型训练模块和数据存储模块。
通讯模块采用PROFINET通讯协议通过以太网的现场总线连接实现与熔池相机、多参数传感器及机器人控制器的数据交换，从而实时接收和输出传感器数据和机器人的实时状态。通讯模块包括数据接收单元和数据发送单元；在机器人焊接期间，数据接收单元实时采集熔池相机获取的熔池图像数据以及多参数传感器获取的焊接过程参数，并通过数据发送单元发送给质量预测单元。
数据处理模块包括数据清洗单元、分别与显示屏上的质量预测输入界面和参数调整界面互通的质量预测单元和参数调整单元；数据清洗单元用于对熔池图像数据和多参数传感器采集的焊件的焊接过程参数进行数据清洗；质量预测单元用于根据接收到的质量预测指令，从数据存储模块中调用相应的模型对焊缝成形质量进行预测；参数调整单元用于接收外部输入的焊接过程参数，并发送给机器人控制器和数据存储模块。
模型训练模块用于构建与当前新任务匹配的焊缝成形迁移学习模型、焊缝成形诊断模型和焊缝成形质量预测模型并进行训练。
数据存储模块包括熔池图像存储单元、过程参数存储单元和模型存储单元，均采用MYSQL技术分别对所有的熔池图像、焊接过程参数(包括焊接电流、焊接电压和送丝速度)以及对模型训练模块所构建并训练好的焊缝成形迁移学习模型、焊缝成形诊断模型、焊缝成形质量预测模型进行存储。在对这三种模型进行存储时，可分别建立对应的模型库。各模型库中存储的模型有多个，均以.pkl文件格式存储，存储时按照不同的焊接类型对.pkl文件进行命名，实际加工时可以直接根据焊接类型调用相应的模型。
计算机处理器上的模型训练模块和数据处理模块中的质量预测单元为本发明焊接机器人的核心，以下对其做更详细的说明。
模型训练模块用于构建并训练焊缝成形迁移学习模型、焊缝成形诊断模型和焊缝成形质量预测模型。为了解决从企业中收集到的焊接数据中异常数据不足而造成焊接数据不平衡的问题，在模型训练模块构建并训练焊缝成形迁移学习模型、焊缝成形诊断模型和焊缝成形质量预测模型之前，需要先按照下述步骤进行数据准备：
步骤1.1：从Github和/或Kaggle公开的焊接图像公共数据集中收集与焊缝成形相关且已进行缺陷标记的熔池图像数据，至少包括正常焊接、烧穿、夹渣、错位和未熔合这五种常见的焊接类型的熔池图像，图像的原始大小为1280×1024，清洗后通过随机旋转、随机裁剪和随机水平翻转对原始图像进行数据增强处理，得到33254张400×487像素尺寸的图像作为输入图像，构成迁移学习的源域数据Input1；
步骤1.2：通过企业的API接口，从企业数据库中提取与当前焊接质量预测相关的500张熔池图像数据及对应的历史焊接过程数据；由技术人员对熔池图像数据进行标记缺陷，形成带有“缺陷焊缝”标签的企业焊缝图像数据集，以此构成迁移学习的目标域数据Input2。
步骤1.3：将源域数据Input1和目标域数据Input2通过计算机处理器中的数据接收单元导入并存储在熔池图像存储单元中，将步骤1.2提取的历史焊接过程数据导入并存储在过程参数存储单元中，以供模型训练模块使用。
具体的，本发明中的模型训练模块为运行在计算机处理器上的第一计算机程序，其被计算机处理器运行时用于实现以下步骤(参照图3)：
步骤1：模型构建
测试环境：本实施例中焊接机器人在ubuntu16.04操作系统、RTX3050显卡、64GB运行的硬件环境、Pytorch深度学习框架下进行性能测试。
步骤1.1：基于CNN构建焊缝成形迁移学习模型，采用数据处理模块得到的源域数据Input1来训练焊缝成形迁移学习模型，该焊缝成形迁移学习模型用于焊接机器人对熔池图像的特征自适应提取，其网络具有两层卷积层Conv1、Conv2，两层池化层Maxpool1、Maxpool2，全连接层和softmax输出层。每层卷积层包含16个核，每个核的维数为5×5，步长为1，权重和偏差为16。由于焊缝成形迁移学习模型的目的是特征提取而不是图像分类，因此在训练完成后删除了最后两层(全连接层和softmax输出层)，提取卷积层Conv2的权重和偏置作为焊缝成形迁移学习模型的输出Output1，这些权重和偏置包含了焊缝成形迁移学习模型学习到的图像特征。焊缝成形迁移学习模型的卷积层Conv1主要用于检测一些简单特征，如熔池的边缘、角度、曲线等，输出结果具有较高的空间分辨率，有利于目标的精确定位，如熔池与背景的分离，但缺乏鲁棒的特征表示。焊缝成形迁移学习模型的卷积层Conv2主要用于检测一些组合特征，如熔池的弧度、形状等，输出结果的空间分辨率由于池化操作而降低，导致定位功能较弱，但池化可以更好地保留熔池的主要纹理特征。焊缝成形迁移学习模型的池化层Maxpool1、Maxpool2分别用于对卷积层Conv1、Conv2提取的特征进行部分增强。然而，在池化层Maxpool2之后，出现了一些相对抽象的离散块，肉眼很难看到。此外，少数特征图像是黑色的或与其他特征图像非常相似，这意味着卷积核未能提取信息或类似信息是由多个卷积核提取的。因此，在分类之前有必要使用更复杂的ResNet对特征进一步提取，然后再使用LSTM网络对熔池特征信息进行选择和组合；
步骤1.2：基于ResNet构建焊缝成形诊断模型并对其进行训练；
焊缝成形诊断模型包括依次设置的卷积层、池化层和全连接层，卷积层的输入为熔池图像数据，卷积层的输出为从熔池图像数据中提取的图像特征，池化层的输入为卷积层输出的图像特征，池化层的输出为一维特征向量，全连接层的输入为焊缝时序特征向量，全连接层的输出为焊缝成形状态标签，包括焊接良好、烧穿、夹渣、错位和未熔合等焊接状态，用于判断下一焊接时刻焊缝的成形状态是否产生缺陷；
在对焊缝成形诊断模型进行训练时，将Batch_size(批尺寸)设置为64，dropout函数值设置为0.25，优化函数为Adam，初始学习率设置为0.0001，将步骤1.1中焊缝成形迁移学习模型的输出Output1作为焊缝成形诊断模型的卷积层权重和偏置的初始值，根据数据处理模块得到的目标域数据Input2对焊缝成形诊断模型的卷积层的权重和偏置进行修正，从而获得训练好的焊缝成形诊断模型，并发送给数据存储模块将其存储在模型存储单元中；
步骤1.3：基于LSTM构建焊缝成形质量预测模型，并对其进行训练；
焊缝成形质量预测模型的输入为焊接过程数据和焊缝成形诊断模型从熔池图像数据中提取的图像特征所转化的一维特征向量，输出为下一焊接时刻的焊缝时序特征向量；
焊缝成形质量预测模型为现有成熟的模型，包括遗忘门模块、输入门模块和输出门模块。遗忘门模块决定哪些信息应该被遗忘：如果之前的焊接参数对当前的焊接质量影响不大，遗忘门会决定丢弃这部分历史数据；输入门模块基于当前细胞状态(长期记忆)、隐藏状态(短期记忆)和输入，决定焊缝成形质量预测模型的输出：评估当前的输入的焊接参数和图像特征，并决定哪些信息对预测焊接质量更重要，将重要的信息添加到细胞状态(长期记忆)中，从而进行细胞状态(长期记忆)的更新，比如当前的焊接电流、焊接电压、送丝速度和熔池的图像特征；输出门模块基于当前细胞状态(长期记忆)、隐藏状态(短期记忆)和输入，决定焊缝成形质量预测模型的输出：根据更新后的细胞状态决定当前的焊接质量的预测结果，比如是否存在缺陷，具体过程以t时刻为例，
遗忘门的处理过程为：t时刻的输入特征向量和t-1时刻的隐藏层信息通过Sigmoid激活函数作用，再与t-1时刻的长期记忆信息组合，获得遗忘部分信息后的输出。
输入门的处理过程是：t时刻的输入特征向量和t-1时刻的隐藏层信息通过sigmoid激活函数作用；t时刻的输入特征向量和t-1时刻的隐藏层信息通过tanh激活函数作用；对前两步的结果相乘，尽可能的获取所有焊缝成形相关特征信息；最后，用该相乘结果与遗忘门的输出结果组合，从而获取t时刻的长期记忆信息。
输出门的处理过程是：首先，t时刻的输入特征向量和t-1时刻的隐藏层信息通过sigmoid激活函数作用；然后，对输入门输出的t时刻的长期记忆信息通过tanh激活函数处理；最后，对前两步的结果相乘，得到t时刻的隐藏信息。
至此，t时刻的所有特征提取结束。
总的来说，输入门通过评估当前的输入和细胞状态来更新模型的长期记忆(细胞状态)，而输出门则利用这些更新的长期记忆信息来生成对当前焊接质量的预测输出。这样，基于LSTM的焊缝成形质量预测模型能够有效地结合历史信息和当前输入，进行准确的预测。
对焊缝成形质量预测模型的训练过程如下：
首先在企业历史数据库中抽取包含焊接缺陷的焊缝成形相关参数，构成焊接过程数据其中/>表示焊接过程数据中的第i个样本，/>表示焊接过程数据标签，焊接过程数据包含5类样本，包括正常焊接、烧穿、夹渣、错位和未熔合，每类样本具有3个特征，包括焊接电流、焊接电压和送丝速度；
对焊接过程数据进行标准化处理，计算公式为：
式中，为焊接过程数据中的第i个样本，/>为焊接过程数据标准化后的第i个样本，mean(Xp)表示对焊接过程数据Xp按特征求取的均值，sd(Xp)表示对焊接过程数据按特征求取的标准差。
将步骤1.2焊缝成形诊断模型的全局平均池化层输出的长度为q的一维特征向量，与标准化后的焊接过程数据X′p拼接，得到长度为q+3的一维特征向量并按时间顺序排列，形成一个时间序列。以时间序列长度为20，时间间隔周期为1s，对所形成的时间序列进行划分，构建出多个焊缝时间序列数据集，每个焊缝时间序列数据集均包括20个时刻的一维向量数据。输入20个时刻的一维向量数据xT(T＝1，2，…，20)，输出为下一时刻的焊缝时序特征向量。
对焊缝成形质量预测模型训练时需要选定损失函数，这里使用均方差损失函数，假设焊缝时序特征的预测值为u＝f(x；θ)，θ表示神经网络的参数集，预测的真实值为y，均方差损失函数L的计算方法为：
式中，(x(r)，y(r))表示第r个样本，yi (r)是y(r)的第i个分量，fi(x(r)；θ)是T(x(r)；θ)的第i个分量，f(x(r)；θ)表示第r个焊缝时间序列样本的预测值，R表示焊缝时间序列样本数量，P表示u和y的维度，这里P＝1；
采用Adam算法进行网络参数更新，假设每次从数据集选取M个样本组成一个批量，参数更新的计算方法为：
Mt＝β1Mt-1+(1-β1)gt
Gt＝β2Gt-1+(1-β2)gt 2
θt＝θt-1-Δθt
式中：r表示某一个batch的样本序号，gt为随机梯度，B为批量大小，Mt是gt指数加权移动平均，Gt是gt按元素平方做指数加权移动平均，M0＝0，G0＝0，α为初始学习率，和分别为Mt、Gt的偏差修正，β1、β2为衰减率，ε表示数值计算稳定性的常数。设置B＝64，α＝0.001，β1＝0.9，β2＝0.999，ε＝10-6；
在每轮网络训练后计算均方差损失函数和所有预测变量的平均绝对误差MAE：
以均方差损失函数L和绝对误差MAE作为评价指标，均方差损失函数用于衡量焊缝成形质量预测模型训练的性能.平均绝对误差MAE用于衡量预测误差的大小，对焊缝成形质量预测模型进行调参直至评价指标在训练周期内趋于稳定，最终获得训练好的焊缝成形质量预测模型，并发送给数据存储模块将其存储在模型存储单元中。
本发明中质量预测单元为运行在计算机处理器上的第二计算机程序，其被计算机处理器运行时用于实现以下步骤：
步骤1：实时预测
步骤1.1：接收集成于焊接机器人机械臂端口的熔池相机和多参数传感器所采集的当前焊接任务中焊缝成形的熔池图像数据和焊接过程数据；
步骤1.2：将步骤1.1接收的当前熔池图像数据实时输入训练好的焊缝成形诊断模型中，将焊缝成形诊断模型的全局平均池化层输出的一维特征向量和步骤接收的焊接过程数据拼接并按时间顺序排列构建成焊缝时间序列数据集，将该焊缝时间序列数据集实时输入至训练好的焊缝成形质量预测模型中，焊缝成形质量预测模型输出下一时刻的焊缝时序特征向量的预测值。
步骤1.3：将步骤1.2焊缝成形质量预测模型输出的焊缝时序特征向量输入训练好的焊缝成形诊断模型的全连接层，完成焊缝缺陷分类预测，得到焊缝成形质量预测结果同步到显示屏的质量预测输入界面，该焊缝成形质量预测结果可用作工艺人员调整焊接工艺的依据。
显示屏与计算机处理器连接并相互通讯。显示屏用于工艺人员向计算机处理器中输入指令，从而控制计算机处理器进行相应的处理。如图4所示，显示屏上能够显示熔池图像监测界面、模型训练输入界面、质量预测输入界面和参数调整输入界面。
选择熔池图像监测界面后，可以实时显示焊接过程中的熔池图像，包括电弧、焊丝、熔池、焊缝、母材等状态，为工艺人员提供焊缝成型质量的实时评估和过程参数动态调整提供参考。
模型训练输入界面中，工艺人员根据焊接任务类型选择与其匹配的焊缝成形诊断模型和焊缝成形质量预测模型，若模型库中不存在能够匹配的焊缝成形诊断模型和焊缝成形质量预测模型，则模型训练模块为该任务类型构建匹配的焊缝成形诊断模型和焊缝成形质量预测模型并进行训练，训练好后存储于数据存储模块的模型存储单元中对模型库进行更新；训练时，如果在计算机处理器上的熔池图像存储单元和过程参数存储单元中存在该任务类型的训练数据(包括焊接电流、焊接电压和送丝速度)，则直接调用这些训练数据进行训练模型。反之，则需要通过实验构建焊接过程参数数据集和/或从企业数据库中抽取历史焊接过程参数后导入焊接机器人，进行焊缝成形诊断模型和焊缝成形质量预测模型训练。
选择质量预测输入界面后，工艺人员可以根据实际工艺需求输入焊接任务所需参数，从而向计算机处理器发送相应的质量预测指令，调用训练好且内置于焊接机器人中的焊缝成形诊断模型和焊缝成形质量预测模型，快速实现对焊缝成形质量的预测并反馈再显示屏上，从而为工艺人员及时调整焊接机器人工艺提供参考依据。
在参数调整输入界面，工艺人员可以参考熔池相机拍摄的实时熔池图像进行焊接过程参数的实时调整。
以上所述仅为本发明的一具体实施例，在其他场景中，可根据具体实际需求对上述实施例做适应性的变形，例如可将焊缝成形迁移学习模型设计为具有更多层卷积层，卷积核数量和维数等设计为其他数值。
Claims (5)
1.一种具有焊缝成形质量实时预测功能的焊接机器人，包括熔池相机、焊枪、多参数传感器、机械臂、机器人控制器、计算机处理器和显示屏；
所述熔池相机用于实时获取焊接期间的熔池图像数据；
所述多参数传感器用于实时获取焊接过程参数，包括焊接电流、焊接电压和送丝速度；
所述计算机处理器上设置有通讯模块、数据处理模块、模型训练模块和数据存储模块；所述数据处理模块包括数据清洗单元、质量预测单元和参数调整单元；
其特征在于：
所述数据存储模块中存储有源域数据、目标域数据、历史焊接过程参数和模型库；源域数据是从公共数据集中收集的与焊缝成形相关且具有缺陷标记的熔池图像数据；目标域数据是从企业数据库中提取的与焊接质量预测相关的熔池图像数据并作缺陷标记后得到的数据；历史焊接过程参数包括从企业数据库中提取的与所述目标域数据相应的过程数据，包括焊接电流、焊接电压和送丝速度；
所述模型训练模块为运行在所述计算机处理器上的第一计算机程序，其被计算机处理器运行时用于实现以下步骤：
步骤A1：基于CNN构建焊缝成形迁移学习模型并采用源域数据进行训练，将训练好的模型发送并存储于所述数据存储模块中以构建模型库；
步骤A2：基于ResNet构建焊缝成形诊断模型，将训练好的所述焊缝成形迁移学习模型的最后一层卷积层的权重和偏置作为所述焊缝成形诊断模型的卷积层参数的初始值，并采用目标域数据对所述焊缝成形诊断模型的卷积层参数进行修正，得到训练好的焊缝成形诊断模型，将训练好的模型发送并存储于所述数据存储模块中以构建模型库；
步骤A3：基于LSTM构建焊缝成形质量预测模型并采用所述历史焊接过程数据和所述焊缝成形诊断模型输出的一维特征向量进行训练，将训练好的模型发送并存储于所述数据存储模块中以构建模型库；
所述质量预测单元为运行在所述计算机处理器上的第二计算机程序，其被计算机处理器运行时用于实现以下步骤：
步骤B1：实时采集当前焊接任务的熔池图像数据和焊接过程数据，并进行数据清洗；
步骤B2：将步骤B1的熔池图像数据输入训练好的焊缝成形诊断模型的卷积层中提取图像特征，待焊缝成形诊断模型的全局平均池化层将所述图像特征转化为一维特征向量后，将所述一维特征向量与步骤B1的焊接过程数据拼接后输入训练好的焊缝成形质量预测模型中，得到下一时刻的焊缝时序特征向量；
步骤B3：将所述下一时刻的焊缝时序特征向量输入训练好的焊缝成形诊断模型的全连接层中，得到下一时刻的焊缝成形预测结果。
2.根据权利要求1所述的具有焊缝成形质量实时预测功能的焊接机器人，其特征在于：步骤A1中所述焊缝成形迁移学习模型包括两层卷积层和两层池化层，两层卷积层的输入均为所述源域数据，两层卷积层分别用于提取源域数据中的简单特征和组合特征，两层池化层分别用于对两层卷积层提取的特征进行增强；所述简单特征包括熔池的边缘、角度和曲线；所述组合特征包括熔池的弧度和形状；训练时是采用所述源域数据对所述两层卷积层进行训练。
3.根据权利要求1所述的具有焊缝成形质量实时预测功能的焊接机器人，其特征在于：步骤A2中所述焊缝成形诊断模型包括依次设置的卷积层、全局平均池化层和全连接层，卷积层的输入为熔池图像数据，卷积层的输出为从熔池图像数据中提取的图像特征，全局平均池化层的输入为卷积层输出的图像特征，全局平均池化层的输出为一维特征向量，全连接层的输入为焊缝时序特征向量，全连接层的输出为焊缝成形状态标签。
4.根据权利要求1所述的具有焊缝成形质量实时预测功能的焊接机器人，其特征在于：步骤A3中所述焊缝成形质量预测模型包括遗忘门模块、输入门模块和输出门模块；遗忘门模块用于丢弃上一时刻的焊接参数中对当前焊接质量影响较小的历史数据；输入门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出，从而对细胞状态进行更新；输出门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出。
5.根据权利要求1所述的具有焊缝成形质量实时预测功能的焊接机器人，其特征在于：步骤A3中对所述焊缝成形质量预测模型的训练方法是：将所述焊缝成形诊断模型训练好时其全局平均池化层输出的一维特征向量与历史焊接过程数据拼接并按时间顺序排列形成时间序列并进行划分，构建出多个焊缝时间序列数据集，用所述焊缝时间序列数据集对焊缝成形质量预测模型进行训练，得到训练好的焊缝成形质量预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410077479.2A CN117733439B (zh) | 2024-01-19 | 2024-01-19 | 一种具有焊缝成形质量实时预测功能的焊接机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410077479.2A CN117733439B (zh) | 2024-01-19 | 2024-01-19 | 一种具有焊缝成形质量实时预测功能的焊接机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117733439A CN117733439A (zh) | 2024-03-22 |
| CN117733439B true CN117733439B (zh) | 2024-05-28 |
Family
ID=90254680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410077479.2A Active CN117733439B (zh) | 2024-01-19 | 2024-01-19 | 一种具有焊缝成形质量实时预测功能的焊接机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117733439B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118060669B (zh) * | 2024-04-22 | 2024-06-25 | 广东工业大学 | 一种基于焊接熔池特征识别的自动焊接控制方法 |
| CN118237825B (zh) * | 2024-05-28 | 2024-08-13 | 凯沃智能装备(青岛)有限公司 | 一种基于人工智能的焊机方法及焊接机器人 |
| CN118700166A (zh) * | 2024-08-31 | 2024-09-27 | 江苏图灵智能机器人有限公司 | 一种具有参数预测功能的焊接机器人 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111069819A (zh) * | 2019-11-27 | 2020-04-28 | 广州明珞汽车装备有限公司 | 一种基于人工智能的焊接质量预测系统及方法 |
| CN115730520A (zh) * | 2022-11-24 | 2023-03-03 | 江西科骏实业有限公司 | 一种焊接焊缝的形貌预测、虚拟仿真方法及系统 |
| CN116595872A (zh) * | 2023-05-12 | 2023-08-15 | 西咸新区大熊星座智能科技有限公司 | 基于多目标学习算法的焊接参数自适应预测方法 |
| CN116618878A (zh) * | 2023-05-30 | 2023-08-22 | 江苏徐工工程机械研究院有限公司 | 一种焊前工艺参数确定方法、焊接质量在线预测方法、装置及存储介质 |
| CN116900582A (zh) * | 2023-07-19 | 2023-10-20 | 西咸新区大熊星座智能科技有限公司 | 一种具有参数预测功能的焊接机器人 |
| WO2023221476A1 (zh) * | 2022-05-19 | 2023-11-23 | 上海船舶工艺研究所(中国船舶集团有限公司第十一研究所) | 一种基于机器学习预测船舶t梁焊接机器人作业时间的算法 |
-
2024
- 2024-01-19 CN CN202410077479.2A patent/CN117733439B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111069819A (zh) * | 2019-11-27 | 2020-04-28 | 广州明珞汽车装备有限公司 | 一种基于人工智能的焊接质量预测系统及方法 |
| WO2023221476A1 (zh) * | 2022-05-19 | 2023-11-23 | 上海船舶工艺研究所(中国船舶集团有限公司第十一研究所) | 一种基于机器学习预测船舶t梁焊接机器人作业时间的算法 |
| CN115730520A (zh) * | 2022-11-24 | 2023-03-03 | 江西科骏实业有限公司 | 一种焊接焊缝的形貌预测、虚拟仿真方法及系统 |
| CN116595872A (zh) * | 2023-05-12 | 2023-08-15 | 西咸新区大熊星座智能科技有限公司 | 基于多目标学习算法的焊接参数自适应预测方法 |
| CN116618878A (zh) * | 2023-05-30 | 2023-08-22 | 江苏徐工工程机械研究院有限公司 | 一种焊前工艺参数确定方法、焊接质量在线预测方法、装置及存储介质 |
| CN116900582A (zh) * | 2023-07-19 | 2023-10-20 | 西咸新区大熊星座智能科技有限公司 | 一种具有参数预测功能的焊接机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117733439A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117733439B (zh) | 一种具有焊缝成形质量实时预测功能的焊接机器人 | |
| CN111815572B (zh) | 一种基于卷积神经网络对锂电池焊接质量的检测方法 | |
| CN106530284A (zh) | 基于图像识别的焊点类型检测和装置 | |
| CN117787480B (zh) | 基于Res-LSTM的焊缝成形质量实时预测方法 | |
| US11521120B2 (en) | Inspection apparatus and machine learning method | |
| CN110414388B (zh) | 基于深度预测网络的驼峰和熔透在线预警方法 | |
| CN114994061A (zh) | 一种基于机器视觉的钢轨智能化检测方法及系统 | |
| US11682112B2 (en) | Inspection device and machine learning method | |
| CN116900582B (zh) | 一种具有参数预测功能的焊接机器人 | |
| CN115070780B (zh) | 基于数字孪生的工业机器人抓取方法、装置及存储介质 | |
| CN116465315B (zh) | 一种网版质量自动化检测方法及系统 | |
| CN113469991B (zh) | 一种锂电池极耳激光焊点视觉在线检测方法 | |
| CN116618878A (zh) | 一种焊前工艺参数确定方法、焊接质量在线预测方法、装置及存储介质 | |
| KR102189951B1 (ko) | 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 | |
| CN112699903B (zh) | 摩托车发动机装配全流程视觉跟踪控制方法与系统 | |
| CN117422296B (zh) | 一种标准节使用优先级确定方法和系统 | |
| CN114266286A (zh) | 一种焊接过程信息的在线检测方法及装置 | |
| CN113674249A (zh) | 基于工业互联网的pcb板印刷质量检测方法 | |
| CN116843615B (zh) | 一种基于柔性光路的引线框架智能全检方法 | |
| CN115781082B (zh) | 一种标准节自动焊接方法、系统、装置和存储介质 | |
| KR20210157253A (ko) | 용접의 품질 평가 모델의 학습 장치와 방법, 및 이를 이용한 평가 장치 | |
| CN116448764A (zh) | 一种面向飞行器结构疲劳试验的裂纹自动检测方法 | |
| CN114131149A (zh) | 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质 | |
| CN118469967A (zh) | 一种pcb实时质量监测与自动纠错的方法及系统 | |
| CN117078640A (zh) | 一种gmaw焊缝缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |