CN116275462B - 一种惯性摩擦焊机智能焊接方法和系统 - Google Patents

Abstract

本发明公开了一种惯性摩擦焊机智能焊接方法和系统，所述方法包括：根据焊接元件信息确定初始状态值，所述焊接元件信息包括待焊接元件的焊接面形状和材质；数据收集与实时监测，将传感器数据发送至数据处理单元；数据处理与异常检测，数据处理单元根据所述传感器数据分析当前焊接状态，检测是否存在异常情况，当检测到异常时触发调整焊接状态的流程；根据强化学习模型调整焊接状态；强化学习模型的更新方法包括：第一阶段基于有限元分析FEA更新所述强化学习模型，第二阶段基于有限元分析FEA和所述传感器数据更新所述强化学习模型；通过本发明的智能方法可以进行有效的调整焊接状态，提高焊接精度。

Description

一种惯性摩擦焊机智能焊接方法和系统

技术领域

本发明属于计算机技术领域，尤其涉及一种惯性摩擦焊机智能焊接方法和系统。

背景技术

惯性摩擦焊（Inertia Friction Welding，IFW）是一种固态焊接技术，这种焊接方法主要应用于航空航天、汽车制造、船舶工程、石油天然气管道等领域，特别适用于金属材料之间的连接。由于其独特的焊接过程，惯性摩擦焊具有高效率、高质量、节能环保等优点，已成为一种重要的工程焊接技术。惯性摩擦焊的基本原理是将其中一个工件固定在旋转夹具上，使其以一定的速度旋转，另一个工件则被固定在移动固定夹具上。旋转工件的旋转惯量储存了一定的能量。在焊接过程中，移动固定夹具带动非旋转工件向旋转工件移动，使两工件在轴向压力作用下发生摩擦。随着摩擦加热，工件接触表面的温度逐渐升高，直至达到接近或略低于材料的熔点。在此状态下，两工件的接触表面形成了一层塑性变形区，使工件之间产生永久连接。与传统熔融焊接方法相比，惯性摩擦焊具有以下优势：高效率：焊接过程快速，一般在几秒至几十秒之间完成。高质量：由于工件没有完全熔化，焊接接头的晶粒较细，具有较好的力学性能。节能环保：焊接过程中无需添加焊剂，无焊接烟雾和有害气体产生，对环境和操作者的影响较小。材料适应性广泛：适用于相同或不同金属材料之间的连接，包括一些难以焊接的材料，如钛合金、高强度钢等。然而，现有的惯性摩擦焊机在焊接过程中仍存在一定的问题，惯性摩擦焊过程中的振动和对接精度仍存在挑战，这些问题影响了焊接质量及精度。

在惯性摩擦焊过程中，工件被分别固定在旋转夹具和移动固定夹具内，随后移动固定夹具带动工件向旋转端移动。当两工件接触并开始摩擦加热时，会产生剧烈的高频震动。这些震动对焊接后工件的同轴度产生不利影响，从而降低了焊接精度。为了解决这一问题，市场上迫切需要一种智能化的焊接系统，以便对惯性摩擦焊机进行旋转约束，从而提高焊接精度。

针对上述问题，研究人员需要开发新型的惯性摩擦焊设备，该设备应当具备智能化控制系统，以有效地约束旋转过程中产生的高频振动。此外，该系统还应当具备自适应调节功能，以便在不同工件和焊接条件下实现高精度焊接。通过对焊接过程的优化和对设备的改进，有望显著提高惯性摩擦焊机的精度，满足各行业对高质量焊接的需求。

发明内容

针对上述现有技术中存在的缺陷，本发明提供一种惯性摩擦焊机的智能焊接方法，所述方法包括以下步骤：步骤1，根据焊接元件信息确定初始状态值，所述焊接元件信息包括待焊接元件的焊接面形状和材质；步骤2，数据收集与实时监测，将传感器数据发送至数据处理单元；步骤3，数据处理与异常检测，数据处理单元根据所述传感器数据分析当前焊接状态，检测是否存在异常情况，当检测到异常时触发调整焊接状态的流程；步骤4，根据强化学习模型调整焊接状态；步骤5，循环执行上述步骤2-4；其中，所述强化学习模型的更新方法包括：在第一阶段基于有限元分析FEA更新所述强化学习模型；以及在第二阶段基于有限元分析FEA和所述传感器数据更新所述强化学习模型。

基于有限元分析FEA用作环境模型进行生成和更新的强化学习模型，包括结合有限元分析FEA和强化学习DQN算法获得优化参数的方法，所述参数为固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力这三个参数。

其中，将有限元分析FEA用于计算振动幅值，将强化学习模型用于搜索最优的参数组合。

其中，根据焊接元件信息确定初始状态值，所述初始状态值包括固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力的初始状态值。

其中，安装加速度传感器在旋转夹紧端和固定夹紧端，通过无线通信将加速度传感器收集到的振动数据发送至数据处理单元。

其中，基于传感器数据更新强化学习模型，以及根据更新后的强化学习模型的输出，确定最优的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力这三个参数，根据最优参数调整实际设备的对应参数。

其中，在所述步骤1之前，还包括：根据焊接元件信息，从服务器载入与焊接元件信息对应的强化学习模型。

其中，从所述服务器载入的模型为基于有限元分析FEA用作环境模型进行生成和更新的强化学习模型。

其中，在检测设备异常时，基于记录的传感器数据更新强化学习模型，以及基于根据传感器数据修正后的有限元分析FEA环境模型进行强化学习模型的更新。

其中，在显示系统对数据实时监测、预警、分析、异常数据进行显示。

本发明还公开了一种惯性摩擦焊机的智能焊接系统，所述系统包含处理器、存储器，所述处理器通过执行存储器中的计算机指令实现前述的方法。

与现有技术相比，本发明通过惯性摩擦焊机智能焊接系统的应用，同时根据惯性摩擦焊设备的结构特点，旋转夹紧端的工件产生的振动量大于固定夹紧端的异常数据分析和预警，通过惯性摩擦焊机智能焊接系统进行数据分析调整固定端的结构刚性增加旋转支撑结构的压力值，降低旋转端工件的高频振动，通过惯性摩擦焊机智能焊接系统的数据实时监测、预警、分析、异常数据处理，通过软件自身的智能算法，进行有效的调整焊接状态，从而大大提高了惯性摩擦焊机焊接件的焊接精度。

附图说明

图1：根据本发明实施例的惯性摩擦焊机的智能焊接方法流程图。

图2：根据本发明实施例的结合有限元分析FEA和强化学习DQN算法的模型方法的流程图。

具体实施方式

下面结合附图详细说明本发明的可选实施例。

实施例一。

如图1所示，本发明公开了一种惯性摩擦焊机的智能焊接方法，所述方法包括：数据收集与实时监测，安装加速度传感器在旋转夹紧端和固定夹紧端，所述传感器数据可以采集收集焊接系统的振动数据，所述振动数据为振动幅值，通过无线通信将收集到的数据发送至数据处理单元。

数据处理单元进行数据分析与异常检测，数据处理单元根据传感器数据分析当前焊接状态，检测是否存在异常情况，当检测到异常时，系统会触发调整焊接状态的流程。

调整焊接状态包括根据传感器实际检测参数更新强化学习模型，以及根据更新后的强化学习模型的输出，确定最优的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力这三个参数组，然后调整实际设备以达到最佳焊接状态。

循环执行上述步骤，在焊接过程中实时调整参数，使得智能焊接系统进行实时监测、数据分析、异常处理和调整焊接状态的过程，以确保焊接质量和精度。

其中，强化学习模型更新过程包括：记录传感器监测到的数据，在监测设备异常时，可以通过监测到的数据组（振动数据和实际的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力数据）更新强化学习模型，使模型更好地适应当前设备组的工况。通过与实际环境数据进行交互、执行动作并获取奖励，学习如何在状态空间中选择最优的动作。所述强化学习模型与待焊接元件的形状、材质对应。所述待焊接元件的形状、材质可以通过手动输入，或通过采集模块自动识别并输入，用于向服务器获得初始模型，以及从服务器或系统存储器中获取或读取系统初始状态设置。

以及，由于实时数据的样本通常不够多样化，因此强化学习模型更新过程（以及生成服务器中的初始强化学习模型）还包括：将有限元分析（FEA）用作环境模型，为强化学习提供状态转换和奖励计算。

其中，数据收集与实时监测步骤之前，还包括：根据焊接元件信息，确定固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力的初始状态值，所述初始状态值和焊接元件信息是对应的，所述对应关系预存在惯性摩擦焊机的智能焊接中，或根据焊接元件信息从服务器获取。

其中，系统触发调整焊接状态之前，还包括：确定焊接元件信息，从服务器载入与焊接元件信息对应的强化学习模型。即根据焊接元件信息确定初始状态值和强化学习模型。

其中，所述服务器载入的模型只根据有限元分析（FEA）用作环境模型得到的强化学习模型，而载入所述模型后，惯性摩擦焊机的智能焊接可以将模型保存在系统存储器内，并还可以从环境（传感器反馈）中获得实时收到的奖励信息对策略进行调整，对模型进行更新，当模型训练完成后，可以将更新后的模型用于实际设备中，以实时调整参数。若所述惯性摩擦焊机配套有限元分析软件，还可以结合有限元分析软件生成更多训练数据，惯性摩擦焊机中的有限元分析软件也可以根据传感器数据和实际参数调整环境模拟生成结果，使得生成的训练数据能更契合当前设备组的实际工况。

其中，用于更新强化学习模型的参数包括振动数据、实际的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力数据。其中，振动数据包括振幅数据是由加速度传感器检测得到的，以及固定端支撑点压力和旋转支撑结构压力数据也是由固定端和旋转端上固定安装的压力传感器检测到的数据。固定端支撑点数量可由用于控制的传感器得到数据，或由系统获取读取当前的固定端支撑点（由系统控制固定端支撑点的数量）。

实施例二。

如图2所示，本发明公开了一种结合有限元分析FEA和强化学习DQN算法的模型方法，所述模型方法用于强化学习模型的学习和更新，以及生成最优参数组。所述模型（从服务器中载入的）根据有限元分析（FEA）用作环境模型得到的强化学习模型，以在监测设备振动异常时，快速获得最优的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力数据参数。

固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力这三个参数对惯性摩擦焊中旋转端工件的振动影响是密切相关的。这三个参数的优化可以提高焊接设备的刚度和稳定性，减小旋转端工件的高频振动，从而提高焊接精度和质量。通过合理设置支撑点数量和位置可以有效地提高固定端的刚性，从而减小工件振动的幅度。同时，通过增加旋转支撑结构的压力值，可以增加旋转端工件的支撑力，减小旋转端工件的振动。因此，通过优化这三个参数，可以有效地降低惯性摩擦焊中旋转端工件的振动。

在模拟加工过程中，用解析方法求解振幅、应力等参数很困难，而FEA可以准确地模拟实际问题。FEA可以为RL算法提供有关状态和动作空间的信息，使算法更容易找到最优解。通过将强化学习与有限元分析相结合，利用RL算法的优点，如避免陷入局部最优解、快速收敛等。RL算法如Q学习，可以从经验中学习并逐渐改进策略，从而找到问题的最优解。RL算法可以充分利用FEA计算出的特征，从而在整个状态空间和动作空间中进行更有效的搜索；该方法不仅可以找到更好的解决方案，而且可以更快地找到最优解。

下面结合有限元分析FEA和强化学习DQN算法获得优化这三个参数的方法，其中，将有限元分析用于计算振动幅值，而强化学习用于搜索最优的参数组合，所述方法包括如下步骤：步骤2-1，状态定义：状态空间 S 是由三个参数组成的向量 (n, F_fix, F_rot)，其中 n 为固定端支撑点数量，F_fix 为固定端支撑点压力，F_rot 为旋转支撑结构压力。

步骤2-2，动作定义：动作空间 A 是由三个基本操作组成的集合：增加/减少支撑点数量（Δn），增加/减少固定端支撑点压力（ΔF_fix），增加/减少旋转支撑结构压力（ΔF_rot）。每个动作 a ∈ A 可以表示为一个三元组 (Δn, ΔF_fix, ΔF_rot)。

步骤2-3，奖励定义：奖励函数 R(s, a, s') 是根据振动幅值 V 定义的。振动幅值越低，奖励越高。例如，奖励函数可以定义为：R(s, a, s') = K/V(s')；其中 s' 是在状态 s 下采取动作 a 后达到的新状态，K为正比例常数，用于控制奖励的大小和方向。

步骤2-4，建立策略网络：建立一个深度神经网络（DQN）来表示强化学习的策略；输入是状态向量 s = (n, F_fix, F_rot)，输出是每个动作 a 的预期奖励 Q(s, a)。网络参数用 θ 表示，即 Q(s, a; θ)。

步骤2-5，采样与更新：在每次迭代过程中，从当前状态 s_t 采样一个动作 a_t，并根据动作 a_t 更新状态 s_t+1。计算状态转移后的振动幅值 V(s_t+1)，并用奖励函数R(s_t, a_t, s_t+1) 计算得到的奖励 r_t 更新策略网络。更新公式如下（其中 α 是学习率，γ 是折扣因子）：θ ← θ + α * [r_t + γ * max_a Q(s_t+1, a; θ) - Q(s_t, a_t;θ)] * ∇_θ Q(s_t, a_t; θ)。

θ：策略网络的参数；α：学习率；r_t：当前状态s_t和动作a_t得到的奖励；γ：折扣因子；max_a Q(s_t+1, a; θ)：表示在状态s_t+1下，对所有可能动作a的Q值中最大的Q值；Q(s_t, a_t; θ)：表示在状态s_t下，执行动作a_t的Q值；∇_θ Q(s_t, a_t; θ)：表示关于策略网络参数θ的Q(s_t, a_t; θ)的梯度。

该更新公式是基于TD误差进行参数更新的。TD误差为 [r_t + γ * max_a Q(s_t+1, a; θ) - Q(s_t, a_t; θ)]，表示实际奖励与预测奖励之间的差值。通过调整策略网络的参数θ来减小TD误差，使得预测奖励更接近实际奖励。

α（学习率）：用于控制参数更新幅度的超参数。较大的学习率意味着参数更新幅度较大，可能导致收敛速度加快，但可能陷入局部最优；较小的学习率意味着参数更新幅度较小，收敛速度可能较慢，但更有可能找到全局最优解。α 的取值范围在 0 到 1 之间，本发明中α的初始值设为 0.01 或 0.001，并在训练过程中进行调整，如使用学习率衰减策略。

γ（折扣因子）：用于衡量未来奖励的相对重要性。较大的折扣因子意味着未来奖励的影响更大，而较小的折扣因子意味着当前奖励更为重要。γ 的取值范围在 0 到 1 之间，本发明中γ的取值为 0.9 或 0.99。

在基于强化学习的惯性摩擦焊智能焊接系统中，强化学习模型是在该步骤中不断更新的。具体来说，在每一次与环境交互时，强化学习模型会根据当前状态和可选动作的价值估计值（即Q值）来选择下一步的动作。然后，根据环境的反馈，计算出当前状态下的实际奖励，并使用更新公式在模型中更新当前状态和所选动作的价值估计值。随着模型与环境的不断交互，模型会逐渐收敛于最优的Q值，从而实现了模型的更新和优化。

步骤2-6，有限元分析：在每次状态转移后，使用有限元分析软件对当前状态下的结构进行分析，计算振动幅值 V(s_t+1)。这个振动幅值将作为奖励函数的输入。

目前市场上比较常用的有限元软件包括ANSYS、ABAQUS、COMSOL Multiphysics、Nastran等。

本发明中使用ANSYS软件作为有限元分析软件，具体操作如下：对于固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力的输出，可以在 ANSYS 中通过以下步骤实现：在 Mechanical APDL 中打开已经建立好的有限元模型，并在 Preprocessor 中设置固定端的支撑点数量、支撑点压力以及旋转支撑结构的压力。在解决方案步骤中，选择求解器和求解类型，例如选择 Static Structural，这个选项在 Workbench 中可以通过点击Solution 部分中的 Add Connection 来添加。在 Setup Environment 中，可以设置求解器的选项，例如迭代次数、收敛条件等等。在 Solution 中，选择需要输出的结果，例如固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力，并设置输出的格式和文件路径等。

在ANSYS中，可以通过APDL脚本实现强化学习算法与ANSYS的接口。具体步骤如下：在ANSYS中，使用APDL脚本设置参数。在强化学习算法中，读取APDL脚本，得到ANSYS的参数值。进行强化学习算法的计算和更新。将更新的参数值传递回到ANSYS中，更新ANSYS的参数。运行ANSYS计算，得到计算结果。将计算结果传递回到强化学习算法中，作为反馈信息。

此外，所述步骤2-5中，计算得到的奖励 r_t是也是由有限元分析软件实现的，所述服务器通过运行相应的有限元分析软件计算得到奖励 r_t（根据对应参数向量下的振幅确定奖励 r_t）。

步骤2-7，策略更新：利用强化学习算法（如DQN）更新策略网络的参数。通过计算梯度来更新参数，根据损失函数 L(θ) 最小化目标，损失函数定义为：L(θ) = E[(r_t + γ *max_a Q(s_t+1, a; θ) - Q(s_t, a_t; θ))^2] ；使用随机梯度下降（SGD）或其他优化算法进行更新。

其中L(θ)为损失函数，表示预测Q值与实际Q值之间的差异。我们希望通过最小化损失函数来优化策略网络的参数θ。

其中E[]为期望值，表示对所有可能状态-动作对的平均损失。在实际计算中，通常使用随机抽样的方式来估计期望值。

r_t为当前状态 s_t 和动作 a_t 得到的奖励。γ为折扣因子，用于衡量未来奖励的相对重要性。

max_a Q(s_t+1, a; θ)：表示在状态 s_t+1 下，对所有可能动作 a 的Q值中最大的Q值。该项反映了未来状态的最优动作的预期奖励。

Q(s_t, a_t; θ)：表示在状态 s_t 下，执行动作 a_t 的Q值。该项反映了当前状态和动作的预期奖励。

该步骤中，损失函数 L(θ) 表示预测Q值与实际Q值之间的差异。实际Q值可以用当前奖励 r_t 加上未来状态 s_t+1 下最优动作的折扣奖励 γ * max_a Q(s_t+1, a; θ)来估计。通过最小化损失函数 L(θ)，调整策略网络的参数θ，使得预测Q值更接近实际Q值。因此，为了更新参数θ，首先计算TD误差：r_t + γ * max_a Q(s_t+1, a; θ) - Q(s_t, a_t; θ)，这代表了实际奖励与预测奖励之间的差值。然后计算关于参数θ的Q值梯度∇_θ Q(s_t, a_t; θ)。以及用学习率α乘以TD误差乘以梯度，得到参数θ的更新量。最后将参数θ沿着更新量的方向进行更新。

损失函数中的平方项 (r_t + γ * max_a Q(s_t+1, a; θ) - Q(s_t, a_t; θ))^2 用于计算预测Q值与实际Q值之间的平方误差。平方误差可以确保损失函数是非负的，且对异常值较敏感，有利于找到较好的参数θ。最小化损失函数的过程即是调整策略网络参数θ以逼近实际Q值的过程。

其中，为了找到 max_a Q(s_t+1, a; θ)，即在状态 s_t+1 下所有可能动作a的Q值中的最大值，需要执行以下步骤：对于状态 s_t+1，列出所有可能的动作a。使用当前策略网络参数 θ 计算状态 s_t+1 下每个动作a的Q值：Q(s_t+1, a; θ)，具体地，通过将状态-动作对（s_t+1, a）输入策略网络并获得对应的 Q 值来实现。从计算得到的Q值中选择最大值。即：max_a Q(s_t+1, a; θ) = max(Q(s_t+1, a_1; θ), Q(s_t+1, a_2; θ), ..., Q(s_t+1, a_n; θ))；其中 a_1, a_2, ..., a_n 是状态 s_t+1 下所有可能的动作。这样就可以找到状态 s_t+1 下所有可能动作的最大 Q 值。

随机梯度下降（SGD）是一种优化算法，用于最小化损失函数。在每次迭代时，从训练集中随机抽取一个样本，并计算梯度。然后，使用学习率乘以梯度来更新参数。其他优化算法，如Adam、RMSprop等，是SGD的变种，它们加入了动量、自适应学习率等策略以提高优化性能。这些优化算法在深度学习框架（如TensorFlow、PyTorch等）中已实现，可以直接调用。

步骤2-8，判断终止条件：根据设定的终止条件进行判断，如达到预设的迭代次数或振动幅值满足预设阈值。如果满足终止条件，结束迭代；否则返回步骤2-5，继续采样与更新。

步骤2-9，输出最优解：根据最优策略得到的最优状态，即为全局最优的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力。此时的状态向量 s* = (n*, F_fix*,F_rot*) 表示最优解。

通过上述结合有限元分析和强化学习的方法，可以在较小的计算量下快速找到全局最优的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力。

上述方法是在服务器中根据有限元软件的模拟结果获得的强化学习模型和最优解模型，在实际过程中可能在实际设备中不能起到最优效果，此时需要根据设备实际参数（固定端支撑点数量、固定端支撑点压力和旋转支撑结构）、以及实时监测到的传感器实际监测结果（振动情况）对强化学习模型进行更新，以得到更优的参数组最优解，并根据所述根据实际参数优化后的模型对设备进行焊接控制。所述更新强化过程和前面步骤2-1~步骤2-9类似，区别在于使用实际监测参数（实际振幅）而不再需要使用有限元软件的模拟。

所述惯性摩擦焊机智能焊接系统还包括显示系统，用于对数据实时监测、预警、分析、异常数据的显示。

00HT型摩擦焊机上位机为Windows 10专业版操作系统，采用SIMATIC WinCC V7.4监控软件，支持的软件有VB6.0，SQL Server2014数据库，Office 2013等。点击操作箱上的“电脑开机”按钮，现场电脑开机，系统会自动进入WINCC画面，现场工控机上面菜单中按钮可以进入相应的画面。在启动界面，分别输入用户名和密码，并分别按下回车键，然后点击登录按钮。即可进入主画面。

所述惯性摩擦焊机智能焊接系统还包括通信模块，用于与焊接设备上的相应传感器无线通信，以及与服务器进行有线或无线通信连接。常见的无线通信模块包括WiFi、蓝牙、ZigBee等，它们可以实现无线数据传输和通信，适用于短距离和长距离通信，适用于家庭、办公室、工业自动化等领域。常见的有线通信模块包括以太网、CAN总线等，它们通过有线传输方式实现数据通信和传输，适用于数据传输速度要求较高、通信距离相对较短。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。

Claims (8)

1.一种惯性摩擦焊机的智能焊接方法，所述方法包括以下步骤：

步骤1，根据焊接元件信息确定初始状态值，所述焊接元件信息包括待焊接元件的焊接面形状和材质；步骤2，数据收集与实时监测，将传感器数据发送至数据处理单元；步骤3，数据处理与异常检测，数据处理单元根据所述传感器数据分析当前焊接状态，检测是否存在异常情况，当检测到异常时触发调整焊接状态的流程；步骤4，根据强化学习模型调整焊接状态；步骤5，循环执行上述步骤2-4；其中，所述强化学习模型的更新方法包括：在第一阶段基于有限元分析FEA更新所述强化学习模型；以及在第二阶段基于有限元分析FEA和所述传感器数据更新所述强化学习模型；

基于有限元分析FEA用作环境模型进行生成和更新的强化学习模型，包括结合有限元分析FEA和强化学习DQN算法获得优化参数的方法，所述参数为固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力这三个参数；

其中将有限元分析FEA用作环境模型用于计算振动幅值，将强化学习模型用于搜索最优的参数组合以获得优化参数的方法，具体包括如下步骤：

步骤k1，状态定义,状态空间 S 是由三个参数组成的向量 (n, F_fix, F_rot)，其中n 为固定端支撑点数量，F_fix 为固定端支撑点压力，F_rot 为旋转支撑结构压力;

步骤k2，动作定义：动作空间 A 是由三个基本操作组成的集合；增加/减少支撑点数量（Δn），增加/减少固定端支撑点压力（ΔF_fix），增加/减少旋转支撑结构压力（ΔF_rot），每个动作 a ∈ A 可以表示为一个三元组 (Δn, ΔF_fix, ΔF_rot)；

步骤k3，奖励定义：奖励函数 R(s, a, s') 是根据振动幅值 V 定义的，振动幅值越低，奖励越高，奖励函数可以定义为：R(s, a, s') = K/V(s')；其中 s' 是在状态 s 下采取动作 a 后达到的新状态，K为正比例常数，用于控制奖励的大小和方向；

步骤k4，建立策略网络：建立一个深度神经网络（DQN）来表示强化学习的策略；输入是状态向量 s = (n, F_fix, F_rot)，输出是每个动作 a 的预期奖励 Q(s, a)，网络参数用θ 表示，即 Q(s, a; θ)；

步骤k5，采样与更新：在每次迭代过程中，从当前状态 s_t 采样一个动作 a_t，并根据动作 a_t 更新状态 s_t+1，计算状态转移后的振动幅值 V(s_t+1)，并用奖励函数 R(s_t,a_t, s_t+1) 计算得到的奖励 r_t 更新策略网络，更新公式如下，其中 α 是学习率，γ是折扣因子：

θ ← θ + α * [r_t + γ * max_a Q(s_t+1, a; θ) - Q(s_t, a_t; θ)] * ∇_θ Q(s_t, a_t; θ)，

θ：策略网络的参数；α：学习率；r_t：当前状态s_t和动作a_t得到的奖励；γ：折扣因子；max_a Q(s_t+1, a; θ)：表示在状态s_t+1下，对所有可能动作a的Q值中最大的Q值；Q(s_t,a_t; θ)：表示在状态s_t下，执行动作a_t的Q值；∇_θ Q(s_t, a_t; θ)：表示关于策略网络参数θ的Q(s_t, a_t; θ)的梯度，

该更新公式是基于TD误差进行参数更新的，TD误差为 [r_t + γ * max_a Q(s_t+1,a; θ) - Q(s_t, a_t; θ)]，表示实际奖励与预测奖励之间的差值，通过调整策略网络的参数θ来减小TD误差，使得预测奖励更接近实际奖励，

α学习率用于控制参数更新幅度的超参数，α 的取值范围在 0 到 1 之间，α的初始值设为 0.01 或 0.001，并在训练过程中使用学习率衰减策略进行调整；

γ折扣因子用于衡量未来奖励的相对重要性，γ 的取值范围在 0 到 1 之间；

在基于强化学习的惯性摩擦焊智能焊接系统中，强化学习模型是在该步骤中不断更新的，在每一次与环境交互时，强化学习模型会根据当前状态和可选动作的价值估计值即Q值来选择下一步的动作，然后，根据环境的反馈，计算出当前状态下的实际奖励，并使用更新公式在模型中更新当前状态和所选动作的价值估计值，随着模型与环境的不断交互，模型会逐渐收敛于最优的Q值，从而实现了模型的更新和优化；

步骤k6，有限元分析：在每次状态转移后，使用有限元分析软件对当前状态下的结构进行分析，计算振动幅值 V(s_t+1)，所述振动幅值将作为奖励函数的输入；

步骤k7，策略更新：利用强化学习算法DQN更新策略网络的参数，通过计算梯度来更新参数，根据损失函数 L(θ) 最小化目标，损失函数定义为：L(θ) = E[(r_t + γ * max_a Q(s_t+1, a; θ) - Q(s_t, a_t; θ))^2] ；使用随机梯度下降（SGD）或其他优化算法进行更新，其中L(θ)为损失函数，表示预测Q值与实际Q值之间的差异，通过最小化损失函数来优化策略网络的参数θ；其中E[]为期望值，表示对所有可能状态-动作对的平均损失，使用随机抽样的方式来估计期望值；

r_t为当前状态 s_t 和动作 a_t 得到的奖励，γ为折扣因子，用于衡量未来奖励的相对重要性，max_a Q(s_t+1, a; θ)表示在状态 s_t+1 下，对所有可能动作 a 的Q值中最大的Q值，该项反映了未来状态的最优动作的预期奖励；

Q(s_t, a_t; θ)表示在状态 s_t 下，执行动作 a_t 的Q值，该项反映了当前状态和动作的预期奖励；

其中，为了找到 max_a Q(s_t+1, a; θ)，需要执行以下步骤：对于状态 s_t+1，列出所有可能的动作a，使用当前策略网络参数 θ 计算状态 s_t+1 下每个动作a的Q值：Q(s_t+1,a; θ)，通过将状态-动作对（s_t+1, a）输入策略网络并获得对应的 Q 值来实现，从计算得到的Q值中选择最大值，即：max_a Q(s_t+1, a; θ) = max(Q(s_t+1, a_1; θ), Q(s_t+1,a_2; θ), ..., Q(s_t+1, a_n; θ))；其中 a_1, a_2, ..., a_n 是状态 s_t+1 下所有可能的动作，这样就可以找到状态 s_t+1 下所有可能动作的最大 Q 值；

步骤k8，根据设定的终止条件进行判断，如果满足终止条件，结束迭代；否则返回步骤k5，继续采样与更新；

步骤k9，根据最优策略得到的最优状态，即为全局最优的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力，此时的状态向量 s* = (n*, F_fix*, F_rot*) 表示最优解；

其中，在第二阶段基于有限元分析FEA和所述传感器数据更新所述强化学习模型，包括：载入所述模型后，惯性摩擦焊机的智能焊接将模型保存在系统存储器内，在检测设备异常时，基于记录的传感器数据更新强化学习模型，以及基于根据传感器数据修正后的有限元分析FEA环境模型进行强化学习模型的更新。

2.根据权利要求1所述的惯性摩擦焊机的智能焊接方法，其特征在于，根据焊接元件信息确定初始状态值，所述初始状态值包括固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力的初始状态值。

3.根据权利要求1所述的惯性摩擦焊机的智能焊接方法，其特征在于，安装加速度传感器在旋转夹紧端和固定夹紧端，通过无线通信将加速度传感器收集到的振动数据发送至数据处理单元。

4.根据权利要求1所述的惯性摩擦焊机的智能焊接方法，其特征在于，基于传感器数据更新强化学习模型，以及根据更新后的强化学习模型的输出，确定最优的固定端支撑点数量、固定端支撑点压力和旋转支撑结构压力这三个参数，根据最优参数调整实际设备的对应参数。

5.根据权利要求1所述的惯性摩擦焊机的智能焊接方法，其特征在于，在所述步骤1之前，还包括：根据焊接元件信息，从服务器载入与焊接元件信息对应的强化学习模型。

6.根据权利要求5所述的惯性摩擦焊机的智能焊接方法，其特征在于，从所述服务器载入的模型为基于有限元分析FEA用作环境模型进行生成和更新的强化学习模型。

7.根据权利要求1所述的惯性摩擦焊机的智能焊接方法，其特征在于，在显示系统对数据实时监测、预警、分析、异常数据进行显示。

8.一种惯性摩擦焊机的智能焊接系统，其特征在于，所述系统包含处理器、存储器，所述处理器通过执行存储器中的计算机指令实现权利要求1-7中的任一项方法。