CN114789307B - 一种基于数字孪生的板件焊接质量实时监控方法 - Google Patents

Abstract

本发明提出一种基于数字孪生的板件焊接质量实时监控方法，首先，通过焊装夹具将板件送入自动检测平台，基于深度学习算法实现焊缝缺陷识别分类，将板件信息和焊缝缺陷信息、焊接机器人仿真模型信息分别导入数字孪生系统中的缺陷信息库与模型库中；其次，通过模式匹配方法、特征提取分类、数据库技术等对焊缝精准定位识别分类和焊接参数调整，实现焊接质量诊断与控制；最后，根据系统语音视频模块给出的调整方案，通过VR设备使用人机交互功能对产线焊接机器人做在线参数调整，实现智能焊接。本发明运用的基于数字孪生的板件焊接质量实时监控方法能直观、全面地反映焊接过程全生命周期状态实现高效焊接质量监控，大大减少残次品，提高产线生产效率。

Description

一种基于数字孪生的板件焊接质量实时监控方法

技术领域

本发明涉及板件焊缝智能识别与分类技术领域，智能制造领域，特别是指一种基于数 字孪生的板件焊接质量实时监控方法。

背景技术

焊接缺陷检测是生产质量控制的重要环节。焊接缺陷包括表面缺陷和内部缺陷，由于 视觉感知的局限性，所提出的缺陷分类模型可能局限于表面缺陷，无法检测出气孔、裂纹 等内部缺陷，导致焊缝内部缺陷检测还是传统的检测方法，这样依靠人工的方法耗时长且 效率低，而且检测过程受外部环境影响，容易出现漏检和误检的情况。因此，基于其他类 型的传感技术，可能会提供更好的解决方案，实现表面和内部缺陷识别分类。

如今，焊缝自动跟踪和机器人焊接自动化和智能化程度已经大大提升，但是在焊接缺 陷检测方面的自动化程度则需要进一步的加强。主要目标是实现物理实体实体空间与数字 虚拟空间信息物理融合，对应焊接生产线即是实时监控虚拟产线的板件焊接质量和实际产 线的板件焊接质量，根据系统的实时反馈做出调整优化与控制，实现双向驱动。

数字孪生是物理对象的数字化模型，该模型可以通过接收来自物理对象的数据而实时 演化，并将结果反馈给物理对象，进而帮助对物理对象进行快速优化和决策。依靠物理对 象、数字孪生与基于数字孪生构成的信息物理系统可以实现深度融合。将数字孪生应用到 实际焊接生产线中，实现对板件的在线焊接质量监控，大大减少工人的劳动强度。数字孪 生的应用对于直观、全面地反映机器人焊接过程全生命周期状态，提高焊缝缺陷检测的生 产效率以及整个焊接过程的自动化程度具有非常重要的意义。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种基于数字孪生的板件焊接质量实 时监控方法，解决了现有焊接生产线难以同时检测焊缝表面和内部的缺陷，难以在线对板 件焊接质量监控的问题。

本发明的技术方案是这样实现的：

一种基于数字孪生的板件焊接质量实时监控方法，所述方法包括如下步骤：

S1、建立焊接机器人仿真模型库：所述焊接机器人仿真模型库由焊接机人焊接参数和 仿真模型信息组成,通过Modbus通讯协议实时读取焊接机器人端的数据和地址。通过三维 造型软件SolidWorks完成焊接机器人所有零件造型和整体组装，并在3DMax软件中完成 渲染；

S2、将待检测的缺陷板件通过焊装夹具送至自动化检测平台，对板件缺陷信息进行信 号采集，基于Matlab软件对超声信号做预处理，基于迁移学习训练方式和改进的ResNet 网络实现对焊缝图像的识别分类，从而分拣出不合格板件；

S3、建立焊接缺陷信息库：根据工业焊接质量标准罗列所有焊缝可能会出现的缺陷信 息，将步骤S2中的板件焊缝缺陷信息导入焊接缺陷信息库中，所述焊接缺陷信息库包含 板件编号信息、焊缝缺陷标准信息和检测后板件焊缝缺陷信息；

S4、将步骤S1中的焊接机器人模型库导入数字孪生系统数据库中的模型库中，将步 骤S3中的焊接缺陷信息库导入数字孪生系统数据库中的缺陷信息库中；

S5、根据步骤S3中的焊缝缺陷信息和步骤S1中的机器人焊接参数信息，基于数据匹 配方法得出不同焊缝缺陷的焊接参数匹配方案；

S6、对步骤S3中的板件编号信息、焊缝缺陷标准信息和检测后板件焊缝缺陷信息基 于数据库模式匹配方法进行整理、编码形成三级模型树，并给定相应的ID序号，通过步骤S5中的数据与步骤S6中的数据之间的映射关系快速找到缺陷焊缝的具体位置、查看到焊缝的缺陷信息和类别以及对应的参数调整方案；

S7、建立焊接缺陷与参数调整的方案匹配库：将步骤S5和比步骤S6中的数据导入焊 接机器人数字孪生系统中的方案匹配库中。

S8、在Unity 3D软件中通过VisualStudio编辑器编写步骤S4中的模型库、缺陷信息库和步骤S7中的方案匹配库接口，再编写脚本实现焊接参数自动更改脚本，实现机器 人数字孪生系统虚拟现实平台中的仿真机器人焊接参数自动调整；

S9、在VisualStudio编辑器中编写脚本，判断仿真机器人焊接参数的自动调整是否 正确，在没有发出警报或焊接仿真过程中没有出现异常则可以根据平台语音或视频提示对 实际产线机器人焊接参数做调整优化，对不合格板件做停止焊接操作或抽出不合格板件处 理。

S10、借助焊接机器人数字孪生系统的虚拟现实平台，工人可以实时监控虚拟产线的 板件焊接质量和实际产线的板件焊接质量，根据系统的实时反馈做出调整优化。

进一步地，所述焊接机器人包括基座，基座内安装有第一电机，第一电机的一侧安装 有第二电机，所述第二电机的输出轴与大臂的一端连接，大臂的另一端固定安装有第三电机，第三电机的输出轴与小臂的一端连接，小臂的另一端固定安装有手腕。

进一步地，步骤S2中所述对超声信号做预处理具体步骤为：

将超声波设备获取的RF信号存放在采集程序生成的.dat文件中，这些信号是超声生 成图像的原始数据；接着在Matlab软件中导入.dat文件中的原始数据，其中.dat文件中的数据格式是每个点占用位宽×点数×线数。然后是对数据格式的转换，在Matlab软件 中打开.dat文件，调用changeB2T函数将读入的一维向量数据格式转换为矩阵形式，即可 准确得到一帧数据。然后解调RF信号，由于得到的数据可能混有噪声，需要对每一线的 数据进行滤波和抽取处理。处理前先对信号进行频移处理，因为需要保留的数据是中心频 率周围的信息，其他频率的数据需要滤除。根据循环频移性质，将数据在频域内进行移动。 滤波的思想是对移频后的数据进行低通滤波，可以得到滤波之后的数据。由于数据量太大， 需要对数据进行抽取，在时域内对数据进行抽取，最后为了提高图像的质量针对图像中的 噪声采用均值方法减少噪声，使图像颗粒变得细腻，减弱尖锐部分。

进一步地，步骤S2中基于迁移学习训练方式和改进的ResNet网络实现对焊缝图像的识 别分类具体步骤为：

该网络将主体分为4部分，conv2_x，conv3_x，conv4_x，conv5_x。其中conv2_x层有3个Bottleneck，第一个Bottleneck比较特殊，下采样操作后只改变深度不改变图像大 小，步长均设置为1，而conv3_x，conv4_x，conv5_x的第一个Bottleneck下采样操作 既改变图像的大小也将特征层深度缩小到一半。在conv2_x中第二个和第三个Bottleneck， 此部分的输入通道数是256，输出通道数也是256，不需要下采样操作(下采样操作指的 就是shortcut)。在conv3_x中有4个Bottleneck，第一个Bottleneck输入通道数是 256，而输出通道数是512，需要升维。而且，在这个模块中将图像缩小了两倍，步长设置 为2，且需要下采样操作即添加1*1卷积核，并且步长设置为2，让输入和输出具有相同 结构，从而可以相加。在conv3_x的剩下3个Bottleneck，此部分的输入通道数是512， 输出通道数也是512，则不需要下采样操作，也没有出现步长为2的情况。conv4_x， conv5_x的这两部分采用上述步。

再采用迁移学习的训练方式，冻结部分ResNet网络结构和参数，使用ImageNet数据 集训练出一个预训练模型，添加针对焊缝图像的网络层进行二次训练，最终得到了一个适 用于焊缝缺陷的分类模型。

进一步地，步骤S3中所述焊缝缺陷信息为焊瘤(形状为球状，大小与飞溅类似，但要大于飞溅)、烧穿(焊缝表面形成的穿孔缺陷，呈近似圆形)、锁孔(一般存在于焊缝 收弧处)、裂纹(焊缝中原子结合遭到破坏，形成新的界面而产生的缝隙称为裂纹)、凹 坑(焊缝塌陷，余高比正常的要低且形状多元化)、咬边(是指沿着焊趾，在母材部分形 成的凹陷或沟槽，它是由于电弧将焊缝边缘的母材熔化后没有得到熔敷金属的充分补充所 留下的缺口)、气孔(熔池中的气体未在金属凝固前逸出，残存于焊缝之中所形成的空穴)、 未熔合(形状多元，连续细长或短小，两侧边缘平整)等。

进一步地，步骤S5中基于数据匹配方法得出不同焊缝缺陷的焊接参数匹配方案具体 步骤为：

在python中导入pandas库，pandas是扩展程序库，用于数据分析，能够从数字孪生系统数据库中分别导入缺陷信息表和焊接参数表。导入数据表后，用merge函数的匹配模式对两种类型的表进行匹配，从而得到不同焊缝缺陷的焊接参数匹配方案。

进一步地，步骤S7中所述焊接缺陷与参数调整的方案匹配库主要包含缺陷与参数调 整匹配、板件焊缝关系匹配。

与现有技术相比，本发明具备以下有益效果：

1、现有焊接生产线在线检测大多针对的是焊缝表面缺陷，本发明基于数字孪生的板 件焊接质量实时监控方法，借助人工智能深度学习方法不仅可以识别板件表面缺陷，还可 以识别焊缝内部缺陷。

2、现有焊接生产线无法实现实时在线焊接质量的监测，本发明基于数字孪生的板件 焊接质量实时监控方法可以实现在线焊接质量检测，能直观、全面地反映焊接过程全生命 周期状态实现高效焊接质量监控，大大减少残次品，提高产线生产效率。

3、此外本发明基于数字孪生的板件焊接质量实时监控方法还可以根据系统语音模块 和视频模块给出的调整方案，通过VR设备使用平台的人机交互功能对产线焊接机器人做 在线参数调整，根据系统反馈信息实时启停产线焊接机器人，实现智能焊接。

4、在实际产线板件焊接过程中，经自动化检测平台检测的板件如果不合格，会触发 数字孪生系统反馈机制，启动虚拟产线机器人做自动调整优化焊接参数，这是实控虚的过 程。在焊接机器人数字孪生系统中，对于不合格板件，系统会自动匹配出调整方案，在系统未发出警报或异常的情况下，工人通过VR设备使用系统的人机交互功能根据语音指示和视频指示给出的调整方案对虚拟产线机器人的焊接参数做调整，同时做出的参数调整会实时同步到实际产线焊接机器人上，这是虚控实过程。虚实结合、双向驱动、实时反馈控 制从而能直观、全面地反映焊接过程全生命周期状态，实现高效焊接质量监控。

附图说明

图1为焊接质量监控图；

图2为焊接机器人结构示意图；

图3为本发明的系统结构流程图；

图4为本发明的数字孪生系统焊接缺陷与参数调整的方案匹配库原理图；

图5为本发明的基于卷积神经网络的板件焊缝识别与分类原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，本实例的应用背景：在自动焊接产线中，焊接后的板件可以人工检查是否满足焊接 要求，但是焊接过程中的板件人工无法检查，为降低工人的劳动强度，提高检测效率，需 要对焊接质量进行实时监测控制。以便实时调整优化仿真参数，在安全可行的情况下，再 对焊接生产线做调整从而降低产线生产成本，提高生产效率和产品质量。显然，所描述的 实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领 域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保 护的范围。

一种基于数字孪生的板件焊接质量实时监控方法，所述方法包括如下步骤：

S1、建立焊接机器人仿真模型库：所述焊接机器人仿真模型库由焊接机人焊接参数和 仿真模型信息组成,通过Modbus通讯协议实时读取焊接机器人端的数据和地址。通过三维 造型软件SolidWorks完成焊接机器人所有零件造型和整体组装，并在3DMax软件中完成 渲染；

S2、将待检测的缺陷板件通过焊装夹具送至自动化检测平台，对板件缺陷信息进行信 号采集，基于Matlab软件对超声信号做预处理，基于迁移学习训练方式和改进的ResNet 网络实现对焊缝图像的识别分类，从而分拣出不合格板件；

S3、建立焊接缺陷信息库：根据工业焊接质量标准罗列所有焊缝可能会出现的缺陷信 息，将步骤S2中的板件焊缝缺陷信息导入焊接缺陷信息库中，所述焊接缺陷信息库包含 板件编号信息、焊缝缺陷标准信息和检测后板件焊缝缺陷信息；

S4、将步骤S1中的焊接机器人模型库导入数字孪生系统数据库中的模型库中，将步 骤S3中的焊接缺陷信息库导入数字孪生系统数据库中的缺陷信息库中；

S5、根据步骤S3中的焊缝缺陷信息和步骤S1中的机器人焊接参数信息，基于数据匹 配方法得出不同焊缝缺陷的焊接参数匹配方案；

S6、对步骤S3中的板件编号信息、焊缝缺陷标准信息和检测后板件焊缝缺陷信息基 于数据库模式匹配方法进行整理、编码形成三级模型树，并给定相应的ID序号，通过步骤S5中的数据与步骤S6中的数据之间的映射关系快速找到缺陷焊缝的具体位置、查看到焊缝的缺陷信息和类别以及对应的参数调整方案；

S7、建立焊接缺陷与参数调整的方案匹配库：将步骤S5和比步骤S6中的数据导入焊 接机器人数字孪生系统中的方案匹配库中。

S8、在Unity 3D软件中通过VisualStudio编辑器编写步骤S4中的模型库、缺陷信息库和步骤S7中的方案匹配库接口，再编写脚本实现焊接参数自动更改脚本，实现机器 人数字孪生系统虚拟现实平台中的仿真机器人焊接参数自动调整；

S9、在VisualStudio编辑器中编写脚本，判断仿真机器人焊接参数的自动调整是否 正确，在没有发出警报或焊接仿真过程中没有出现异常则可以根据平台语音或视频提示对 实际产线机器人焊接参数做调整优化，对不合格板件做停止焊接操作或抽出不合格板件处 理。S10、借助焊接机器人数字孪生系统的虚拟现实平台，工人可以实时监控虚拟产线的 板件焊接质量和实际产线的板件焊接质量，根据系统的实时反馈做出调整优化。在实际产 线板件焊接过程中，经自动化检测平台检测的板件如果不合格，会触发数字孪生系统反馈 机制，启动虚拟产线机器人做自动调整优化焊接参数，这是实控虚的过程。在焊接机器人 数字孪生系统中，对于不合格板件，系统会自动匹配出调整方案，在系统未发出警报或异 常的情况下，工人通过VR设备使用系统的人机交互功能根据语音指示和视频指示给出的 调整方案对虚拟产线机器人的焊接参数做调整，同时做出的参数调整会实时同步到实际产 线焊接机器人上，这是虚控实过程。虚实结合、双向驱动、实时反馈控制从而能直观、全 面地反映焊接过程全生命周期状态，实现高效焊接质量监控。

进一步地，所述焊接机器人包括基座1，基座1内安装有第一电机7，第一电机7的一侧安装有第二电机2，所述第二电机2的输出轴与大臂3的一端连接，大臂3的另一端 固定安装有第三电机4，第三电机4的输出轴与小臂5的一端连接，小臂5的另一端固定 安装有手腕6。

进一步地，步骤S2中所述对超声信号做预处理具体步骤为：

将超声波设备获取的RF信号存放在采集程序生成的.dat文件中，这些信号是超声生 成图像的原始数据；接着在Matlab软件中导入.dat文件中的原始数据，其中.dat文件中的数据格式是每个点占用位宽×点数×线数。然后是对数据格式的转换，在Matlab软件 中打开.dat文件，调用changeB2T函数将读入的一维向量数据格式转换为矩阵形式，即可 准确得到一帧数据。然后解调RF信号，由于得到的数据可能混有噪声，需要对每一线的 数据进行滤波和抽取处理。处理前先对信号进行频移处理，因为需要保留的数据是中心频 率周围的信息，其他频率的数据需要滤除。根据循环频移性质，将数据在频域内进行移动。 滤波的思想是对移频后的数据进行低通滤波，可以得到滤波之后的数据。由于数据量太大， 需要对数据进行抽取，在时域内对数据进行抽取，最后为了提高图像的质量针对图像中的 噪声采用均值方法减少噪声，使图像颗粒变得细腻，减弱尖锐部分。

进一步地，步骤S2中基于迁移学习训练方式和改进的ResNet网络实现对焊缝图像的识 别分类具体步骤为：

该网络将主体分为4部分，conv2_x，conv3_x，conv4_x，conv5_x。其中conv2_x层有3个Bottleneck，第一个Bottleneck比较特殊，下采样操作后只改变深度不改变图像大 小，步长均设置为1，而conv3_x，conv4_x，conv5_x的第一个Bottleneck下采样操作 既改变图像的大小也将特征层深度缩小到一半。在conv2_x中第二个和第三个Bottleneck， 此部分的输入通道数是256，输出通道数也是256，不需要下采样操作(下采样操作指的 就是shortcut)。在conv3_x中有4个Bottleneck，第一个Bottleneck输入通道数是 256，而输出通道数是512，需要升维。而且，在这个模块中将图像缩小了两倍，步长设置 为2，且需要下采样操作即添加1*1卷积核，并且步长设置为2，让输入和输出具有相同 结构，从而可以相加。在conv3_x的剩下3个Bottleneck，此部分的输入通道数是512， 输出通道数也是512，则不需要下采样操作，也没有出现步长为2的情况。conv4_x， conv5_x的这两部分采用上述步。

再采用迁移学习的训练方式，冻结部分ResNet网络结构和参数，使用ImageNet数据 集训练出一个预训练模型，添加针对焊缝图像的网络层进行二次训练，最终得到了一个适 用于焊缝缺陷的分类模型。

进一步地，步骤S3中所述焊缝缺陷信息为焊瘤(形状为球状，大小与飞溅类似，但要大于飞溅)、烧穿(焊缝表面形成的穿孔缺陷，呈近似圆形)、锁孔(一般存在于焊缝 收弧处)、裂纹(焊缝中原子结合遭到破坏，形成新的界面而产生的缝隙称为裂纹)、凹 坑(焊缝塌陷，余高比正常的要低且形状多元化)、咬边(是指沿着焊趾，在母材部分形 成的凹陷或沟槽，它是由于电弧将焊缝边缘的母材熔化后没有得到熔敷金属的充分补充所 留下的缺口)、气孔(熔池中的气体未在金属凝固前逸出，残存于焊缝之中所形成的空穴)、 未熔合(形状多元，连续细长或短小，两侧边缘平整)等。

进一步地，步骤S5中基于数据匹配方法得出不同焊缝缺陷的焊接参数匹配方案具体 步骤为：

在python中导入pandas库，pandas是扩展程序库，用于数据分析，能够从数字孪生系统数据库中分别导入缺陷信息表和焊接参数表。导入数据表后，用merge函数的匹配模式对两种类型的表进行匹配，从而得到不同焊缝缺陷的焊接参数匹配方案。

进一步地，步骤S7中所述焊接缺陷与参数调整的方案匹配库主要包含缺陷与参数调 整匹配、板件焊缝关系匹配。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于数字孪生的板件焊接质量实时监控方法，其特征在于，所述方法包括如下步骤：

S1、建立焊接机器人仿真模型库：所述焊接机器人仿真模型库由焊接机器 人焊接参数和仿真模型信息组成,通过Modbus通讯协议实时读取焊接机器人端的数据和地址；通过三维造型软件SolidWorks完成焊接机器人所有零件造型和整体组装，并在3DMax软件中完成渲染；

S2、将待检测的缺陷板件通过焊装夹具送至自动化检测平台，对板件缺陷信息进行信号采集，基于Matlab软件对超声信号做预处理，基于迁移学习训练方式和改进的ResNet网络实现对焊缝图像的识别分类，从而分拣出不合格板件；

S3、建立焊接缺陷信息库：根据工业焊接质量标准罗列所有焊缝可能会出现的缺陷信息，将步骤S2中的板件焊缝缺陷信息导入焊接缺陷信息库中，所述焊接缺陷信息库包含板件编号信息、焊缝缺陷标准信息和检测后板件焊缝缺陷信息；

S4、将步骤S1中的焊接机器人模型库导入数字孪生系统数据库中的模型库中，将步骤S3中的焊接缺陷信息库导入数字孪生系统数据库中的缺陷信息库中；

S5、根据步骤S3中的焊缝缺陷信息和步骤S1中的机器人焊接参数信息，基于数据匹配方法得出不同焊缝缺陷的焊接参数匹配方案；

S6、对步骤S3中的板件编号信息、焊缝缺陷标准信息和检测后板件焊缝缺陷信息基于数据库模式匹配方法进行整理、编码形成三级模型树，并给定相应的ID序号，通过步骤S5中的数据与步骤S6中的数据之间的映射关系快速找到缺陷焊缝的具体位置、查看到焊缝的缺陷信息和类别以及对应的参数调整方案；

S7、建立焊接缺陷与参数调整的方案匹配库：将步骤S5和比步骤S6中的数据导入焊接机器人数字孪生系统中的方案匹配库中；

S8、在Unity 3D软件中通过VisualStudio编辑器编写步骤S4中的模型库、缺陷信息库和步骤S7中的方案匹配库接口，再编写脚本实现焊接参数自动更改脚本，实现机器人数字孪生系统虚拟现实平台中的仿真机器人焊接参数自动调整；

S9、在VisualStudio编辑器中编写脚本，判断仿真机器人焊接参数的自动调整是否正确，在没有发出警报或焊接仿真过程中没有出现异常则根据平台语音或视频提示对实际产线机器人焊接参数做调整优化，对不合格板件做停止焊接操作或抽出不合格板件处理；

S10、借助焊接机器人数字孪生系统的虚拟现实平台，工人实时监控虚拟产线的板件焊接质量和实际产线的板件焊接质量，根据系统的实时反馈做出调整优化；

所述焊接机器人包括基座(1)，基座1内安装有第一电机(7)，第一电机(7)的一侧安装有第二电机(2)，所述第二电机(2)的输出轴与大臂(3)的一端连接，大臂(3)的另一端固定安装有第三电机(4)，第三电机(4)的输出轴与小臂(5)的一端连接，小臂(5)的另一端固定安装有手腕(6)；

步骤S2中所述对超声信号做预处理具体步骤为：

将超声波设备获取的RF信号存放在采集程序生成的.dat文件中，这些信号是超声生成图像的原始数据；接着在Matlab软件中导入.dat文件中的原始数据，其中.dat文件中的数据格式是每个点占用位宽×点数×线数；然后是对数据格式的转换，在Matlab软件中打开.dat文件，调用changeB2T函数将读入的一维向量数据格式转换为矩阵形式，即可准确得到一帧数据；然后解调RF信号，由于得到的数据可能混有噪声，需要对每一线的数据进行滤波和抽取处理；处理前先对信号进行频移处理，因为需要保留的数据是中心频率周围的信息，其他频率的数据需要滤除；根据循环频移性质，将数据在频域内进行移动；

步骤S2中基于迁移学习训练方式和改进的ResNet网络实现对焊缝图像的识别分类具体步骤为：

该网络将主体分为4部分，conv2_x，conv3_x，conv4_x，conv5_x；其中conv2_x层有3个Bottleneck，第一个Bottleneck比较特殊，下采样操作后只改变深度不改变图像大小，步长均设置为1，而conv3_x，conv4_x，conv5_x的第一个Bottleneck下采样操作既改变图像的大小也将特征层深度缩小到一半；在conv2_x中第二个和第三个Bottleneck，此部分的输入通道数是256，输出通道数也是256，不需要下采样操作；在conv3_x中有4个Bottleneck，第一个Bottleneck输入通道数是256，而输出通道数是512，需要升维；而且，在这个模块中将图像缩小了两倍，步长设置为2，且需要下采样操作即添加1*1卷积核，并且步长设置为2，让输入和输出具有相同结构，从而相加；在conv3_x的剩下3个Bottleneck，此部分的输入通道数是512，输出通道数也是512，则不需要下采样操作，也没有出现步长为2的情况；conv4_x，conv5_x的这两部分采用上述步；

再采用迁移学习的训练方式，冻结部分ResNet网络结构和参数，使用ImageNet数据集训练出一个预训练模型，添加针对焊缝图像的网络层进行二次训练，最终得到了一个适用于焊缝缺陷的分类模型。

2.如权利要求1所述的一种基于数字孪生的板件焊接质量实时监控方法，其特征在于，步骤S3中所述焊缝缺陷信息为焊瘤、烧穿、锁孔、裂纹、凹坑、咬边、气孔、未熔合。

3.如权利要求1所述的一种基于数字孪生的板件焊接质量实时监控方法，其特征在于，步骤S5中基于数据匹配方法得出不同焊缝缺陷的焊接参数匹配方案具体步骤为：

在python中导入pandas库，pandas是扩展程序库，用于数据分析，能够从数字孪生系统数据库中分别导入缺陷信息表和焊接参数表；导入数据表后，用merge函数的匹配模式对两种类型的表进行匹配，从而得到不同焊缝缺陷的焊接参数匹配方案。

4.如权利要求1所述的一种基于数字孪生的板件焊接质量实时监控方法，其特征在于，步骤S7中所述焊接缺陷与参数调整的方案匹配库主要包含缺陷与参数调整匹配、板件焊缝关系匹配。

Images