CN115310360A - 基于联邦学习的数字孪生辅助工业物联网可靠性优化方法 - Google Patents

Abstract

本发明公开了基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，属于工业物联领域。基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，针对要研究的可靠性和能量消耗问题，搭建解决该问题的整体架构DDTFI、为DDTFI提出了具有两级信誉值的聚合机制，进一步增强传统联邦学习方案的安全性、提出了系统可靠性模型和能量消耗模型，并制定了优化问题以及开发了数字孪生辅助的基于深度强化学习的优化算法解决系统可靠性模型和能量消耗优化问题。该发明是分布式机器学习框架，它打破了传统的云计算结构，能够在工业物联网的大数据和隐私之间进行有效的权衡，联邦学习避免了直接的数据泄露以保护用户的隐私和安全。

Description

基于联邦学习的数字孪生辅助工业物联网可靠性优化方法

技术领域

本发明涉及工业物联领域，更具体地说，本发明涉及基于联邦学习的数字孪生辅助工业物联网可靠性优化方法。

背景技术

人类社会正在迅速走向工业4.0时代，工业4.0的主要目标是提高自动化进程，在无需人工干预的情况下提高工业生产，工业物联网是实现工业4.0的关键技术之一，它能够显著地提高生产效率，并节省生产时间和人力成本，然而，由于工业环境复杂且动态变化，现有模型很难实时模拟动态的工业系统，利用数字孪生技术，可以在数字孪生虚拟模型上实时观察到物理实体的状态，并能够通过分析物理实体产生的海量状态数据去提高它的性能，随着新一代信息技术的快速发展，数字孪生已经成为一个热门的研究课题，目前，数字孪生已被应用于工业、智慧城市和医疗卫生等诸多领域，数字孪生在工业领域上的应用最多，因为它可以帮助制造商优化产业结构，节省生产成本，然而，构建数字孪生模型不仅需要传输大量的数据，还需要关注数据的隐私和安全问题。

传统的基于云计算的架构需要集中式服务器来收集原始数据和执行人工智能算法，联邦学习是分布式机器学习框架，它打破了传统的云计算结构，能够在工业物联网的大数据和隐私之间进行有效的权衡，联邦学习既避免了直接的数据泄露以保护用户的隐私和安全，又打破了数据孤岛以实现不同利益方的协作训练。

发明内容

1、本发明要解决的技术问题

本发明的实施例提供基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，以解决上述背景技术中提出的问题：

工业环境复杂且动态变化，现有模型很难实时模拟动态的工业系统，而且在大数据的传送过程中能耗大，同时存在数据泄露的安全隐患。

2、技术方案

为实现上述目的，本发明提供如下技术方案：基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，包括以下五个步骤：

S1、搭建基于联邦学习的数字孪生辅助工业物联网可靠性优化方法的整体框架得到DDTFI架构系统，DDTFI架构系统引入三层异构网络，包含物理实体平面、边缘平面和数字孪生平面；

S2、物联网设备基于联邦学习协同训练一个全局模型；

物联网设备通过传感器收集大量的实时运行数据，并在物理实体平面上训练自己的机器学习模型；在边缘平面，每个基站覆盖一定的区域；物联网设备将自己的模型参数上传到其所属的基站，基站完成模型的聚合和更新，同时为其覆盖区域内的所有物联网设备建立数字孪生模型；基站将聚合后的模型参数继续向宏基站上传；宏基站完成模型的聚合和更新，并构建出整个工厂的数字孪生模型；更新后的模型参数会逐级返回给每个物联网设备，物联网设备重复下一轮训练，直到整个训练过程收敛；

S3、测试DDTFI架构系统的设备可靠性和通信可靠性设计可靠性模型，可靠性模型包括设备可靠性模型和通信可靠性模型；

S4、测试DDTFI架构系统的可靠性和能量消耗问题进行建模；

S5、对基于联邦学习的数字孪生辅助工业物联网可靠性优化方法进行评估。

优选的，所述S1中搭建基于联邦学习的数字孪生辅助工业物联网可靠性优化方法的整体框架DDTFI的具体步骤：

物理实体平面由M个工业物联网设备组成，用V＝{v₁,v₂,...,v_M}表示，通过传感器收集数据并存储在本地；用D_{dev_i}表示设备i的数据，|D_{dev_i}|指数据集的大小；

边缘平面由P个基站组成，用B＝{B₁,B₂,...,B_P}表示；基站和宏基站都配备了边缘服务器，这些服务器拥有充足的计算、通信和AI处理能力；设备的数字孪生模型构建在相应的基站和宏基站中，形成数字孪生平面；基站收集和处理物联网设备的实时运行状态，并以数字形式动态地呈现其当前行为；

物联网设备i在t时刻的数字孪生模型表述为

其中

和

分别指设备i在t时刻的训练状态和计算能力；

由于数字孪生数据难有精确的感知，即真实值和虚拟映射值之间总是存在差异；为校准数字孪生模型的差异，引入CPU频率偏差

来衡量数字孪生模型映射到计算能力上的误差；

校准了映射偏差后，物联网设备i的数字孪生模型可以表示为

其中

和

分别指设备i在t时刻的训练状态和计算能力；这个模型在接收各设备运行状态的同时，还可以根据偏差值执行自我校准。

优选的，所述在DDTFI架构系统中物联网设备基于联邦学习协同训练一个全局模型的步骤：

在联邦学习方案中，宏基站首先初始化全局模型w₀；在收到后w₀，物理实体平面上的本地物联网设备i使用数据D_{dev_i}来训练模型参数

物联网设备i在数据集D_{dev_i}上的损失函数表示为，

使用梯度下降算法来训练模型参数，具体如下：

其中β>0是学习率，

指的是损失函数相对于

的梯度；

接下来，物联网设备将本地训练的模型参数上传到边缘平面的基站，基站收集所有设备的参数，然后聚合参数以更新全局模型。

优选的，所述DDTFI架构中提出了基于信誉的两级联邦学习聚合机制：

第一级信誉值，即每个物联网设备的信誉值表示为

通过信誉值来识别可靠的物联网设备；

定义标准中心值c^t来衡量模型参数的偏离程度：

其中v_BS是指每个基站附近的物联网设备的数量；

物联网设备i的模型训练质量表示为

物联网设备i的计算能力由CPU频率f_{dev_i}来衡量；

代表物联网设备i映射到数字孪生虚拟模型时在计算能力上的偏差值；综合考虑物联网设备的本地模型训练质量、数字孪生映射偏差这两个因素，将物联网设备i的信誉值模型表示为

其中用

作为乘数，这样当数字孪生偏差值增加时，可信度值就会降低；

在边缘平面，通过第一级信誉值进行全局聚合；物联网设备首先将训练好的模型参数上传到它所属的基站，然后基站检索在这次迭代中每个设备的声誉值

最后将本地模型参数

聚合成一个加权的全局模型；

其中v_BS是指每个基站附近的物联网设备的数量；

基站将聚合后的模型参数

继续向宏基站上传，然后宏基站检索第二层信誉值

即每个基站的信誉值，并将基站传输的模型参数聚合成加权的全局模型

其中

它表示每个基站的信誉值；

最后，更新后的模型参数

被逐层返回到物理实体平面内的每个物联网设备，这些设备重复下一次迭代训练，直到整个训练过程收敛；

在宏基站中的全局损失函数是

联邦学习的目标是最小化全局损失函数；

优选的，所述S3中所述测试DDTFI架构系统的设备可靠性和通信可靠性的具体步骤：

综合考虑自然老化和人为因素造成的老化这两个方面，系统可靠性中的设备可靠性；

物联网设备i的故障率表示为

其中b_{dev_i}表示人为因素造成老化的系数；右手边的第二项表示设备的自然老化，它遵循韦伯分布，自然老化随着运行时间的增加而增加；μ_{dev_i}和β_{dev_i}分别是设备的尺度参数和形状参数，物联网设备i的可靠性与故障率有关，表示为

系统可靠性中的通信可靠性；

DDTFI架构中，物联网设备与基站之间以及基站与宏基站之间均采用无线通信上传参数，保证工业物联网中无线通信的可靠性至关重要，表示为

其中

为噪声比；p_{dev_i}和g_{dev_i}分别代表物联网设备i的传输功率和信道功率增益；N₀为噪声功率；当信噪比高于目标阈值

时，数据继续传输，否则传输中断；

DDTFI架构中的物联网设备i的整体系统可靠性由以下公式给出

优选的，

所述S4中对DDTFI架构系统的可靠性和能量消耗问题进行建模，具体包括如下步骤：

物联网设备的能量消耗包括计算能量消耗和通信能量消耗；对于物联网设备i，执行一单元的数据所需的CPU周期数表示为a_{dev_i}；物联网设备i进行一次迭代训练所消耗的能量为

其中λ代表物联网设备i的训练能量消耗系数；

假设物联网设备和基站之间采用正交频分多址进行通信；为了向基站传输模型参数，所有物联网设备共享Q个上行子信道，用Q＝{1,2,...,Q}表示；设备i向基站传输模型参数所消耗的能量为

其中ε指物联网设备i的通信能耗的归一化系数，|w_{dev_i}|是物联网设备i传输的模型参数大小，l_{dev_i,q}是物联网设备i在子信道q上的时隙分配，每个子信道的带宽用一个常数W^q表示；ξ_{dev_i,q}表示物联网设备i在第q个子信道上的SINR；Ψ_{dev_i}表示物联网设备i的通信可靠性是否满足工业物联网要求，可通过以下方式给出

物联网设备i的总能量消耗为

优化问题可制定为

0≤δ≤1 (18-4)

其中，(18-1)和(18-2)分别是对各设备的计算能力和传输能力的约束；约束条件(18-3)意味着能量消耗不超过设定的阈值；约束条件(18-4)表示决定系统可靠性和能量消耗之间权衡的权重参数。。

优选的，所述S4测试DDTFI架构系统的可靠性和能量消耗问题进行建模的具体步骤：

马尔可夫决策过程(MDP)对系统的可靠性和能量消耗问题进行建模，MDP模型表示为M＝{S,A,R,γ}，然后使用深度确定性策略梯度(DDPG)算法进行求解问题；每一个基站都是一个深度强化学习的代理，它不断地与数字孪生模型进行交互，以获得当前的系统状态s^t；然后，代理在状态s^t下执行动作y^t，从而获得相应的奖励r^t，并使得系统状态s^t转移到下一个状态s^t+1；代理根据获得的奖励值不断地调整策略π，目标是最大化未来的累积奖励；MDP模型的关键参数描述如下；

当前状态s^t可以描述为s^t＝{f^t,z^t,p^t}，其中

表示所有设备计算能力的集合，

表示模型训练状态，

是传输功率；总的状态空间为S＝{s^t|t∈[1,τ]}；

代理根据当前状态s^t选择新的动作y^t∈A；在时隙t动作选择表示为

其中y^t表示系统的可靠性管理；

代理获得一个即时奖励r来评估其采取的动作；在s^t状态下，采取y^t动作获得的即时奖励是

深度强化学习的目标是在执行一组动作后使所有状态的累积奖励最大化，表示为

其中γ是折扣因子，0<γ<1，这可以防止状态陷入无限循环；

采用DDPG来解决该连续的MDP模型；DDPG有四个网络，包括actor网络、critic网络、actor目标网络和critic目标网络；它还引入了经验回放机制来存储代理与数字孪生模型的交互数据，其中一单位的数据用(s^t,y^t,r^t,γ^t)表示；

actor网络负责策略网络参数μ^π的迭代更新；根据当前状态s^t选择动作y^t，获得相应的即时奖励r^t和下一个状态s^t+1，然后命令数字孪生模型执行动作y^t，表示为

y^t＝π(s^t|μ^π)+x_t (22)

其中x_t是由Ornstein-Uhlenbeck过程产生的随机噪声；

从经验回放缓冲区中随机抽取N单位的数据，作为actor网络和critic网络的小型训练数据批；actor网络的策略梯度更新算法是：

critic网络负责迭代更新价值网络参数μ^Q，并计算状态动作对(s^t,y^t)的当前Q(s^t,y^t|μ^Q)值，损失函数是

目标网络的参数由软更新算法进行更新，表示为

μ^Q′＝ρμ^Q+(1-ρ)μ^Q′

μ^π′＝ρμ^π+(1-ρ)μ^π′ (25)

其中ρ是目标值的更新系数。

优选的，所述S5中对基于联邦学习的数字孪生辅助工业物联网可靠性优化方法进行评估的具体步骤：

将MNIST数据集被打乱并随机分配到各个设备，使得联邦学习的训练数据是均匀分布的，然后将识别数据集中的图像作为模拟真实工业物联网应用进行评估。

3、有益效果

(1)数字孪生架构(DDTFI)，它将物联网设备的物理特性映射到数字空间，特别地，DDTFI使用数字孪生技术来反映工厂的实时运行状态，从而提高智能决策水平。

(2)联邦学习方案来构建DDTFI，这种方案可以减少数据传输开销，同时保护数据隐私，具体而言，提出了基于信誉的两级聚合机制，以进一步提高联邦学习的安全性。

(3)DDTFI架构的提高系统可靠性和降低能量消耗的问题表述为一个优化问题，开发了数字孪生辅助的基于深度强化学习的优化算法，该算法可以同时解决系统可靠性最大化和能量消耗最小化的问题。

附图说明

图1为本发明整体架构图。

图2为本发明所述的联邦学习方法训练精度图。

图3为本发明所述的系统可靠性图。

图4为本发明所述的能量消耗图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

请参阅图1，本发明设计的是基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，包括以下四个步骤：

S1、针对要研究的可靠性和能量消耗问题，搭建解决该问题的整体架构DDTFI；

S2、为DDTFI提出了具有两级信誉值的聚合机制，进一步增强传统联邦学习方案的安全性；

S3、提出了系统可靠性模型和能量消耗模型，并制定了优化问题；

S4、开发了数字孪生辅助的基于深度强化学习的优化算法解决系统可靠性模型和能量消耗优化问题：

实施例2

请参阅图2，结合实施例1的基础有所不同的是，搭建基于联邦学习的数字孪生辅助工业物联网可靠性优化方法的整体框架，命名为DDTFI；DDTFI架构引入了一个三层异构网络，包含物理实体平面、边缘平面和数字孪生平面；物理实体平面由M个工业物联网设备组成，用V＝{v₁,v₂,...,v_M}表示，它们通过传感器收集数据并存储在本地；用D_{dev_i}表示设备i的数据，|D_{dev_i}|指数据集的大小；边缘平面由P个基站组成，用B＝{B₁,B₂,...,B_P}表示；基站和宏基站都配备了边缘服务器，这些服务器拥有充足的计算、通信和AI处理能力；设备的数字孪生模型构建在相应的基站和宏基站中，形成数字孪生平面；基站收集和处理物联网设备的实时运行状态，并以数字形式动态地呈现其当前行为。

由于数字孪生数据真实值和虚拟映射值之间总是存在差异；为了校准数字孪生模型的差异，本发明引入了CPU频率偏差来衡量数字孪生模型映射到计算能力上的误差；校准了映射偏差后，物联网设备i的数字孪生模型表示为

其中

和

分别指设备i在t时刻的训练状态和计算能力；这个模型在接收各设备运行状态的同时，还可以根据偏差值执行自我校准；

物联网设备基于联邦学习协同训练一个全局模型；如图1所示，物联网设备通过传感器收集大量的实时运行数据，并在物理实体平面上训练自己的机器学习模型；在边缘平面，每个基站覆盖一定的区域。物联网设备将自己的模型参数上传到其所属的基站，基站完成模型的聚合和更新，同时为其覆盖区域内的所有物联网设备建立数字孪生模型；基站将聚合后的模型参数继续向宏基站上传；宏基站完成模型的聚合和更新，并构建出整个工厂的数字孪生模型；更新后的模型参数会逐级返回给每个物联网设备，物联网设备重复下一轮训练，直到整个训练过程收敛。

在联邦学习方案中，宏基站首先初始化全局模型w₀；在收到后w₀，物理实体平面上的本地物联网设备i使用自己的数据D_{dev_i}来训练模型参数

物联网设备i在数据集D_{dev_i}上的损失函数表示为，

然后使用梯度下降算法来训练模型参数，具体如下：

其中β>0是学习率，

指的是损失函数相对于

的梯度；

接下来，物联网设备将本地训练的模型参数上传到边缘平面的基站，基站收集所有设备的参数，然后聚合参数以更新全局模型；然而，设备可能会被攻击从而执行不可靠的本地模型更新，这降低联邦学习全局模型的质量，并影响工业物联网的可靠性；因此，DDTFI架构中提出了基于信誉的两级联邦学习聚合机制；第一级信誉值，即每个物联网设备的信誉值表示为

物联网设备i的模型训练质量表示为

物联网设备i的计算能力由CPU频率f_{dev_i}来衡量；

代表物联网设备i映射到数字孪生虚拟模型时在计算能力上的偏差值；综合考虑物联网设备的本地模型训练质量、数字孪生映射偏差这两个因素，将物联网设备i的信誉值模型表示为

在边缘平面，通过第一级信誉值进行全局聚合；物联网设备首先将训练好的模型参数上传到它所属的基站，然后基站检索在这次迭代中每个设备的声誉值

最后将本地模型参数

聚合成一个加权的全局模型；

其中v_BS是指每个基站附近的物联网设备的数量；

基站将聚合后的模型参数

继续向宏基站上传，然后宏基站检索第二层信誉值

即每个基站的信誉值，并将基站传输的模型参数聚合成加权的全局模型

其中

表示每个基站的信誉值；

最后，更新后的模型参数

被逐层返回到物理实体平面内的每个物联网设备，这些设备重复下一次迭代训练，直到整个训练过程收敛；

在宏基站中的全局损失函数是

联邦学习的目标是最小化全局损失函数；

实施例3

请参阅图3，结合实施例1的基础有所不同的是，DDTFI架构的系统可靠性模型包括设备可靠性模型和通信可靠性模型；综合考虑自然老化和人为因素造成的老化这两个方面，物联网设备i的故障率表示为

其中b_{dev_i}表示人为因素造成老化的系数；右手边的第二项是一个韦伯分布，表示设备的自然老化；μ_{dev_i}和β_{dev_i}分别是设备的尺度参数和形状参数；物联网设备i的可靠性表示为

物联网设备与基站之间以及基站与宏基站之间均采用无线通信上传参数；然而，工业生产环境十分恶劣，如高温和工作设备产生的环境噪声等都对无线信号的接收有负面影响；因此，工业物联网中无线通信的可靠性表示为

其中

为噪声比；p_{dev_i}和g_{dev_i}分别代表物联网设备i的传输功率和信道功率增益；N₀为噪声功率；公式(12)表明，当信噪比低于目标阈值时传输中断；

DDTFI架构中的物联网设备i的整体系统可靠性表示为

物联网设备的能量消耗包括计算能量消耗和通信能量消耗；对于物联网设备i，执行一单元的数据所需的CPU周期数表示为a_{dev_} ⁱ；物联网设备i进行一次迭代训练所消耗的能量为

其中λ代表物联网设备i的训练能量消耗系数；

假设物联网设备和基站之间采用正交频分多址进行通信；为了向基站传输模型参数，所有物联网设备共享Q个上行子信道，用Q＝{1,2,...,Q}表示；设备i向基站传输模型参数所消耗的能量为

其中ε指物联网设备i的通信能耗的归一化系数，|w_{dev_i}|是物联网设备i传输的模型参数大小，l_{dev_i,q}是物联网设备i在子信道q上的时隙分配，每个子信道的带宽用一个常数W^q表示；ξ_{dev_i,q}表示物联网设备i在第q个子信道上的SINR；Ψ_{dev_i}表示物联网设备i的通信可靠性是否满足工业物联网要求，可通过以下方式给出

物联网设备i的总能量消耗为

优化问题可制定为

0≤δ≤1 (18-4)

其中，(18-1)和(18-2)分别是对各设备的计算能力和传输能力的约束；约束条件(18-3)意味着能量消耗不超过设定的阈值；约束条件(18-4)表示决定系统可靠性和能量消耗之间权衡的权重参数；

首先使用马尔可夫决策过程(MDP)对系统的可靠性和能量消耗问题进行建模，MDP模型表示为M＝{S,A,R,γ}，然后使用深度确定性策略梯度(DDPG)算法进行求解问题(18)；每一个基站都是一个深度强化学习的代理，它不断地与数字孪生模型进行交互，以获得当前的系统状态s^t；然后，代理在状态s^t下执行动作y^t，从而获得相应的奖励r^t，并使得系统状态s^t转移到下一个状态s^t+1；代理根据获得的奖励值不断地调整自己的策略π，目标是最大化未来的累积奖励；MDP模型的关键参数描述如下；

当前状态s^t可以描述为s^t＝{f^t,z^t,p^t}，其中

表示所有设备计算能力的集合，

表示模型训练状态，

是传输功率；总的状态空间为S＝{s^t|t∈[1,τ]}。

代理根据当前状态s^t选择新的动作y^t∈A；在时隙t动作选择表示为

其中y^t表示系统的可靠性管理。

代理获得一个即时奖励r来评估其采取的动作；在s^t状态下，采取y^t动作获得的即时奖励是

深度强化学习的目标是在执行一组动作后使所有状态的累积奖励最大化，表示为

其中γ是折扣因子，0<γ<1，这可以防止状态陷入无限循环；

采用DDPG来解决该连续的MDP模型；DDPG有四个网络，包括actor网络、critic网络、actor目标网络和critic目标网络；它还引入了经验回放机制来存储代理与数字孪生模型的交互数据，其中一单位的数据用(s^t,y^t,r^t,γ^t)表示。

actor网络负责策略网络参数μ^π的迭代更新；它能够根据当前状态s^t选择动作y^t，获得相应的即时奖励r^t和下一个状态s^t+1，然后命令数字孪生模型执行动作y^t，表示为

y^t＝π(s^t|μ^π)+x_t (22)

其中x_t是由Ornstein-Uhlenbeck过程产生的随机噪声；

然后，从经验回放缓冲区中随机抽取N单位的数据，作为actor网络和critic网络的小型训练数据批；actor网络的策略梯度更新算法是

critic网络负责迭代更新价值网络参数μ^Q，并计算状态动作对(s^t,y^t)的当前Q(s^t,y^t|μ^Q)值，损失函数是

目标网络的参数由软更新算法进行更新，表示为

μ^Q′＝ρμ^Q+(1-ρ)μ^Q′

μ^π′＝ρμ^π+(1-ρ)μ^π′ (25)

其中ρ是目标值的更新系数。

实施例4

请参阅图4，结合实施例1的基础有所不同的是，在MNIST数据集上对基于联邦学习的数字孪生辅助工业物联网可靠性优化方法进行评估；在实验中，MNIST数据集被打乱并随机分配到各个设备，使得联邦学习的训练数据是均匀分布的；将识别数据集中的图像作为模拟真实工业物联网应用的方式；考虑有100个设备、4个基站和1个宏基站的场景，并用卷积神经网络(CNN)作为联邦学习的本地训练模型；实验结果如图2，图3和图4所示，可以看本发明提出的方法能够有效地提高系统可靠性并降低能量消耗

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，其特征在于，包括以下五个步骤：

S1、搭建基于联邦学习的数字孪生辅助工业物联网可靠性优化方法的整体框架得到DDTFI架构系统，DDTFI架构系统引入三层异构网络，包含物理实体平面、边缘平面和数字孪生平面；

S2、在DDTFI架构系统中物联网设备基于联邦学习协同训练一个全局模型；

物联网设备通过传感器收集大量的实时运行数据，并在物理实体平面上训练自己的机器学习模型；在边缘平面，每个基站覆盖一定的区域；物联网设备将自己的模型参数上传到其所属的基站，基站完成模型的聚合和更新，同时为其覆盖区域内的所有物联网设备建立数字孪生模型；基站将聚合后的模型参数继续向宏基站上传；宏基站完成模型的聚合和更新，并构建出整个工厂的数字孪生模型；更新后的模型参数会逐级返回给每个物联网设备，物联网设备重复下一轮训练，直到整个训练过程收敛；

S3、构建DDTFI架构系统的系统可靠性模型，系统可靠性模型包括设备可靠性模型和通信可靠性模型；

S4、对DDTFI架构系统的可靠性和能量消耗问题进行建模；

S5、对基于联邦学习的数字孪生辅助工业物联网可靠性优化方法进行评估。

2.根据权利要求1所述的基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，其特征在于：所述S1中搭建基于联邦学习的数字孪生辅助工业物联网可靠性优化方法的整体框架DDTFI，具体包括如下步骤：

物理实体平面由M个工业物联网设备组成，用V＝{v₁,v₂,...,v_M}表示，通过传感器收集数据并存储在本地；用D_{dev_i}表示设备i的数据，|D_{dev_i}|指数据集的大小；

边缘平面由P个基站组成，用B＝{B₁,B₂,...,B_P}表示；

基站和宏基站都配备边缘服务器，这些服务器拥有计算、通信和AI处理能力；设备的数字孪生模型构建在相应的基站和宏基站中，形成数字孪生平面；

基站收集和处理物联网设备的实时运行状态，并以数字形式动态地呈现其当前行为；

物联网设备i在t时刻的数字孪生模型表述为

其中

和

分别指设备i在t时刻的训练状态和计算能力；

由于数字孪生数据难有精确的感知，即真实值和虚拟映射值之间总是存在差异；为校准数字孪生模型的差异，引入CPU频率偏差

来衡量数字孪生模型映射到计算能力上的误差；校准映射偏差后，物联网设备i的数字孪生模型表示为

这个模型在接收各设备运行状态的同时，还可以根据偏差值执行自我校准。

3.根据权利要求2所述的基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，其特征在于：所述S2中在DDTFI架构系统中物联网设备基于联邦学习协同训练一个全局模型，具体包括如下步骤：在联邦学习方案中，宏基站首先初始化全局模型w₀；在收到后w₀，物理实体平面上的本地物联网设备i使用数据D_{dev_i}来训练模型参数

物联网设备i在数据集D_{dev_i}上的损失函数表示为，

使用梯度下降算法来训练模型参数，具体如下：

其中β>0是学习率，

指的是损失函数相对于

的梯度；

接下来，物联网设备将本地训练的模型参数上传到边缘平面的基站，基站收集所有设备的参数，然后聚合参数以更新全局模型。

4.根据权利要求3所述的基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，其特征在于：所述DDTFI架构系统中设置基于信誉的两级联邦学习聚合机制：

第一级信誉值，即每个物联网设备的信誉值表示为

物联网设备i的模型训练质量表示为

物联网设备i的计算能力由CPU频率f_{dev_i}来衡量；

代表物联网设备i映射到数字孪生虚拟模型时在计算能力上的偏差值；综合考虑物联网设备的本地模型训练质量、数字孪生映射偏差这两个因素，将物联网设备i的信誉值模型表示为

在边缘平面，通过第一级信誉值进行全局聚合；物联网设备首先将训练好的模型参数上传到它所属的基站，然后基站检索在这次迭代中每个设备的声誉值

最后将本地模型参数

聚合成一个加权的全局模型；

其中v_BS是指每个基站附近的物联网设备的数量；

基站将聚合后的模型参数

继续向宏基站上传，然后宏基站检索第二层信誉值

即每个基站的信誉值，并将基站传输的模型参数聚合成加权的全局模型

其中

它表示每个基站的信誉值；

最后，更新后的模型参数

被逐层返回到物理实体平面内的每个物联网设备，这些设备重复下一次迭代训练，直到整个训练过程收敛；

在宏基站中的全局损失函数是

联邦学习的目标是最小化全局损失函数；

5.根据权利要求4所述的基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，其特征在于：所述S3中构建DDTFI架构系统的系统可靠性模型，系统可靠性模型包括设备可靠性模型和通信可靠性模型，具体包括如下步骤：

系统可靠性中的设备可靠性模型：

物联网设备i的故障率表示为

其中b_{dev_i}表示人为因素造成老化的系数；右手边的第二项表示设备的自然老化，它遵循韦伯分布，自然老化随着运行时间的增加而增加；μ_{dev_i}和β_{dev_i}分别是设备的尺度参数和形状参数，物联网设备i的可靠性与故障率有关，表示为

系统可靠性中的通信可靠性模型：

DDTFI架构系统中，物联网设备与基站之间以及基站与宏基站之间均采用无线通信上传参数，保证工业物联网中无线通信的可靠性至关重要，表示为

其中

为噪声比；p_{dev_i}和g_{dev_i}分别代表物联网设备i的传输功率和信道功率增益；N₀为噪声功率；当信噪比高于目标阈值

时，数据继续传输，否则传输中断；

DDTFI架构中的物联网设备i的整体系统可靠性由以下公式给出

6.根据权利要求4所述的基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，其特征在于：所述S4中对DDTFI架构系统的可靠性和能量消耗问题进行建模，具体包括如下步骤：

物联网设备的能量消耗包括计算能量消耗和通信能量消耗；对于物联网设备i，执行一单元的数据所需的CPU周期数表示为a_{dev_i}；物联网设备i进行一次迭代训练所消耗的能量为

其中λ代表物联网设备i的训练能量消耗系数；

假设物联网设备和基站之间采用正交频分多址进行通信；为了向基站传输模型参数，所有物联网设备共享Q个上行子信道，用Q＝{1,2,...,Q}表示；设备i向基站传输模型参数所消耗的能量为

其中ε指物联网设备i的通信能耗的归一化系数，|w_{dev_i}|是物联网设备i传输的模型参数大小，l_{dev_i,q}是物联网设备i在子信道q上的时隙分配，每个子信道的带宽用一个常数W^q表示；ξ_{dev_i,q}表示物联网设备i在第q个子信道上的SINR；Ψ_{dev_i}表示物联网设备i的通信可靠性是否满足工业物联网要求，可通过以下方式给出

物联网设备i的总能量消耗为

优化问题可制定为

0≤δ≤1 (18-4)

其中，(18-1)和(18-2)分别是对各设备的计算能力和传输能力的约束；约束条件(18-3)意味着能量消耗不超过设定的阈值；约束条件(18-4)表示决定系统可靠性和能量消耗之间权衡的权重参数。

7.根据权利要求6所述的基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，其特征在于：

使用马尔可夫决策过程MDP对系统的可靠性和能量消耗问题进行建模，MDP模型表示为M＝{S,A,R,γ}，然后使用深度确定性策略梯度算法DDPG进行求解问题；每一个基站都是一个深度强化学习的代理，它不断地与数字孪生模型进行交互，以获得当前的系统状态s^t；然后，代理在状态s^t下执行动作y^t，从而获得相应的奖励r^t，并使得系统状态s^t转移到下一个状态s^t+1；代理根据获得的奖励值不断地调整策略π，目标是最大化未来的累积奖励；MDP模型的关键参数描述如下；

当前状态s^t描述为s^t＝{f^t,z^t,p^t}，其中

表示所有设备计算能力的集合，

表示模型训练状态，

是传输功率；总的状态空间为S＝{s^t|t∈[1,τ]}；

代理根据当前状态s^t选择新的动作y^t∈A；在时隙t动作选择可以表示为

其中y^t表示系统的可靠性管理；

代理获得一个即时奖励r来评估其采取的动作；在s^t状态下，采取y^t动作获得的即时奖励是

深度强化学习的目标是在执行一组动作后使所有状态的累积奖励最大化，这表示为

其中γ是折扣因子，0<γ<1，这防止状态陷入无限循环；

采用DDPG来解决该连续的MDP模型；DDPG有四个网络，包括actor网络、critic网络、actor目标网络和critic目标网络；它还引入了经验回放机制来存储代理与数字孪生模型的交互数据，其中一单位的数据用(s^t,y^t,r^t,γ^t)表示；

actor网络负责策略网络参数μ^π的迭代更新；根据当前状态s^t选择动作y^t，获得相应的即时奖励r^t和下一个状态s^t+1，然后命令数字孪生模型执行动作y^t，这可以表示为

y^t＝π(s^t|μ^π)+x_t (22)

其中x_t是由Ornstein-Uhlenbeck过程产生的随机噪声；

从经验回放缓冲区中随机抽取N单位的数据，作为actor网络和critic网络的小型训练数据批；actor网络的策略梯度更新算法是：

critic网络负责迭代更新价值网络参数μ^Q，并计算状态动作对(s^t,y^t)的当前Q(s^t,y^t|μ^Q)值，损失函数是

目标网络的参数由软更新算法进行更新，可表示为

μ^Q′＝ρμ^Q+(1-ρ)μ^Q′

μ^π′＝ρμ^π+(1-ρ)μ^π′ (25)

其中ρ是目标值的更新系数。

8.根据权利要求7所述的基于联邦学习的数字孪生辅助工业物联网可靠性优化方法，其特征在于：所述S5中对基于联邦学习的数字孪生辅助工业物联网可靠性优化方法进行评估的具体步骤：

将MNIST数据集被打乱并随机分配到各个设备，使得联邦学习的训练数据是均匀分布的，然后将识别数据集中的图像作为模拟真实工业物联网应用进行评估。

Images