CN115802389B - 一种利用数字孪生辅助模型训练的联邦学习方法 - Google Patents

Abstract

本发明公开了一种利用数字孪生辅助模型训练的联邦学习方法，包括：首先，根据设备的时延和能耗限制，一部分设备选择在本地进行训练得到局部模型然后上传到小基站；另一部分设备选择与小基站进行边缘关联，用小基站上部署的边缘服务器构建数字孪生，利用数字孪生训练得到局部模型；本发明将上述局部模型训练策略问题分解为一个两阶段的问题，包括设备的训练方式选择问题，以及边缘关联问题；其次，小基站将收集到的这些局部模型进行边缘聚合得到边缘模型；最后，各个小基站将自己的边缘模型再次上传到宏基站进行云聚合，得到最终的全局模型；在本发明提出的边缘关联算法下，系统能耗得到有效优化。

Description

一种利用数字孪生辅助模型训练的联邦学习方法

技术领域

本发明涉及联邦学习与边缘计算技术领域，尤其涉及一种利用数字孪生辅助模型训练的联邦学习方法。

背景技术

工业物联网中随机的通信延迟和不断增长的运行数据使得移动边缘计算服务器很难通过收集和分析物联网设备的信道状态信息等运行数据来进行在线优化。因此，数字孪生模式被提出，将物理机器与网络系统连接起来，以更好地优化制造过程。数字孪生作为一种将物理设备即时映射到数字空间的有前途的技术，可以实时捕获工业物联网设备的动态状态信息。此外，借助先进的传感器技术，6G中的数字孪生实现了虚拟对象和物理实体之间极其可靠的即时连接。

尽管数字孪生很重要，但关于数字孪生在无线网络中的建模和应用的证据仍然很少。需要同步的大量数据以及有限的计算和通信资源阻碍了网络中数字孪生的建模。而且，人们对数据隐私和安全的担忧与日俱增，对数字孪生的建设提出了新的挑战。除此之外，出于商业竞争和隐私保护的目的，不同运营商的不同服务器在数字空间交换其捕获的工业物联网设备的传感器数据的意愿低迷，这还带来了“数据孤岛”的问题，对基于人工智能的工业物联网提出了很大的挑战。联邦学习通过交换梯度或模型参数而不是数据来构建所需的模型，是一种很有前途的技术，可以避免数据孤岛问题以及安全和隐私问题。我们可以利用联邦学习来缓解数字孪生建模中的上述问题。联邦学习可以在边缘设备上进行分布式机器学习，而无需收集其原始数据进行训练。客户端用户在本地训练模型并且只将他们的参数传输到服务器。它允许分布式训练的不同设备或服务器构建智能模型。在工业物联网系统中，这些工业物联网设备和服务器可以根据系统的各种动态变化的状态信息，通过联邦学习训练智能神经网络模型，从而做出智能决策。由于大多数物联网设备的计算、存储和通信资源有限，以及移动边缘计算提供的快速任务卸载，移动边缘计算有望成为支持延迟关键的移动和物联网应用程序的关键技术。事实上，将边缘服务器引入物联网以促进联邦学习也是非常有前景的。

然而，对于数字孪生的应用，还存在诸多挑战：目前对于数字孪生的研究还处于早期阶段。大多数现有的研究仅考虑将数字孪生作为网络系统架构中的一层，而没有考虑数字孪生在系统中具体发挥什么作用。虽然已经有研究考虑将数字孪生和联邦学习技术相结合，但是，大多数现有的研究都没有考虑到如何合理的利用数字孪生辅助联邦学习进行模型训练。除此之外，数字孪生的具体构建，以及具体在什么条件下需要为设备构建数字孪生也很少被考虑到。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种利用数字孪生辅助模型训练的联邦学习方法解决系统能耗较高的问题。

为解决上述技术问题，本发明提供如下技术方案：

依据设备的时延和能耗的参数限制选择在本地进行训练或者利用数字孪生进行训练得到局部模型，包括，

选择在本地进行训练的设备，获取第一局部模型；

选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型。

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：

选择在本地进行训练的设备将训练获取的第一局部模型上传到小基站；

小基站将收集到的所有局部模型进行边缘聚合，得到边缘模型；

小基站将得到的边缘模型上传到宏基站进行云聚合，得到全局模型，使系统能耗得到有效优化。

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：所述设备根据时延和能耗的限制选择在本地进行训练或者利用数字孪生进行训练得到局部模型，还包括规定E₀是设备k进行局部模型训练的能耗门限值，τ_k是设备k进行局部模型训练的时延门限值，对于训练方式选择。

若设备k满足在设备处进行局部模型训练的时延和能耗的门限值范围时，则选择在本地进行训练，若设备k不满足本地训练的时延和能耗的门限值范围时，则连接到小基站利用数字孪生进行训练。

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：所述选择在本地进行训练的设备，获取第一局部模型中，还包括每个设备k采集的数据集的数据量大小表示为D_k(bit)，设备k在本地进行训练的时延表示为：

其中，ε1表示训练每bit数据所需要的CPU周期数，表示设备k的计算能力；

设备k在本地进行训练的能耗表示为：

其中，k₀表示有效开关电容，为正常数，取决于芯片结构。

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：所述选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型，还包括边缘关联算法步骤：

A1：选择需要上传状态信息数据量S_k最大的设备k^*，即k^*的数据量为使得

A2：若子载波平均的分配给每个工业物联网设备，则设备k^*分配的子载波数为I＝N/K，其中N表示当前剩余的子载波数量，K表示当前剩余工业物联网设备数量，否则I＝[N/K]+1；

A3：更新K′，K′＝K′\{k^*}；

A4：判断S是否为空集，若不是，则为状态信息为的工业物联网设备k^*，选择距离即最近的小基站

A5：判断小基站s^*可分配的计算资源是否够用，即若够用，则在i∈I范围内循环下述过程：在确定设备和服务器的情况下，找到它们之间信道增益最大的子载波，将找出的信道增益最大的子载波给设备k^*，即选择子载波更新

A6：更新返回A1，开始为下一个设备执行边缘关联策略；

A7：若小基站s^*可分配的计算资源不够用，则返回A4重新选择合适的小基站；

A8：若小基站可分配的计算资源耗尽，则将小基站移出集合S，如果S是空集，则已经没有能为工业物联网设备构建数字孪生的小基站了，构建阶段结束。

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：所述选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型，还包括设备k在小基站s中构建的数字孪生表示为DT_k，状态信息的数据量大小表示为S_k(bit)，设备k向小基站s上传状态信息所需时延和能耗分别表示为：

小基站s为设备k的数字孪生DT_k分配用于进行联邦学习训练的计算资源f_k，s，计算资源分配矩阵表示为F＝{f_k，s，k∈K，s∈S}，小基站s能分配的最大计算资源为F_s，利用数字孪生进行训练产生的时延表示为：

利用数字孪生进行训练产生的时延表示为：

利用数字孪生进行训练产生的能耗表示为：

其中，k₁表示有效开关电容，它是一个正常数，只取决于芯片的结构；除此之外，能量消耗还包括在数字空间维护数字孪生的能耗

在联邦学习训练的持续时间内，为工业物联网设备构建数字孪生，该能耗表示为：

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：所述选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型，对于连接到小基站上的数字空间使用数字孪生进行训练的设备k，训练得到局部模型的总时延和总能耗分别表示为：

这部分利用数字孪生进行训练的设备集合表示为K’，K′是所有设备集合K的子集。

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：所述选择在本地进行训练的设备将训练获取的第一局部模型上传到小基站，还包括从设备k到小基站的上行链路数据传输采用OFDMA机制，由N个可用的子载波为K个工业物联网设备提供服务，子载波集合表示为N＝{1，2，3，...，N}，由于独占子载波分配，干扰被忽略，所以数据传输速率R_k，s(W)表示为：

其中，B_N表示每个子载波的带宽，g_k，n，s表示设备k和小基站s之间使用子载波n时的信道增益，W＝{w_k，n，s|w_k，n，s∈{0，1}，k∈K，n∈N，s∈S}表示子载波分配的矩阵，P_k为设备k的发射功率，本地训练得到的局部模型参数为ω_k，数据量大小表示为|ω_k|；由此，从设备k上传模型参数到小基站s所需时延和能耗分别表示为：

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：所述小基站将收集到的所有局部模型进行边缘聚合，得到边缘模型，还包括选择在本地进行训练的设备的局部模型参数和选择利用数字孪生进行训练的设备的局部模型参数，

设小基站s处总共有L个训练好的模型参数，模型参数的聚合方法ω_s表示为：

小基站s用于聚合的计算频率表示为ε二表示聚合每bit数据所需要的CPU周期数，小基站s处进行参数聚合产生的时延表示为：

小基站s处进行参数聚合产生的能耗表示为：

作为本发明所述的利用数字孪生辅助模型训练的联邦学习方法的一种优选方案，其中：所述小基站将得到的边缘模型上传到宏基站进行云聚合，得到全局模型，使系统能耗得到有效优化，还包括S个小基站都完成边缘聚合后，再将各自聚合得到的边缘模型上传到宏基站上的云服务器中进行全局聚合表示为：

之后云服务器再将最终聚合得到的全局模型参数下发给各个终端设备作为下一轮迭代的初始模型。

本发明的有益效果：本发明具体考虑了数字孪生在联邦学习训练过程中发挥的作用，为工业物联网设备构建了数字孪生模型，并且利用设备的数字孪生模型，辅助工业物联网设备进行局部模型的训练。本发明对于工业物联网设备的训练方式选择，即在本地训练还是利用数字孪生训练，进行了研究，并做出了合理的规划，解决了具体在什么条件下为哪些设备构建数字孪生的问题。此外，本发明对于需要构建数字孪生的设备设计了合理的边缘关联策略，与其他策略相比，数字孪生参与的联邦学习训练系统的能耗得到有效优化。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明一个实施例提供的一种利用数字孪生辅助模型训练的联邦学习方法的流程示意图；

图2为本发明一个实施例提供的一种利用数字孪生辅助模型训练的联邦学习方法的系统模型图；

图3为本发明一个实施例提供的一种利用数字孪生辅助模型训练的联邦学习方法的边缘关联算法流程图；

图4为本发明一个实施例提供的一种利用数字孪生辅助模型训练的联邦学习方法的边缘关联算法设备数对比图；

图5为本发明一个实施例提供的一种利用数字孪生辅助模型训练的联邦学习方法的边缘关联算法小基站数对比图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特 的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1-3，为本发明的一个实施例，提供了一种利用数字孪生辅助模型训练的联邦学习方法，如图1所示，包括：

系统模型包括设备本地训练过程、设备利用数字孪生训练过程、聚合过程、训练方式选择过程、边缘关联过程。

如图2所示，本发明的场景中包括K个工业物联网设备，S个带有边缘服务器的小基站和一个带有云服务器的宏基站，边缘服务器具有足够的计算能力，可以为某些终端设备构建数字孪生。小基站的集合S表示：S＝{1，2，3，...，S}，工业物联网设备K的集合表示为：K＝{1，2，3，...，K}；工业物联网设备k的数字孪生模型DT_k表示为DT_k＝{M_k，S_k}，M_k是设备的行为模型，S_k是维持DT_k所需的实时状态信息。

训练方式选择过程具体描述为：

S1：依据设备的时延和能耗的参数限制选择在本地进行训练或者利用数字孪生进行训练得到局部模型；

更进一步的，还包括规定E₀是设备k进行局部模型训练的能耗门限值，τ_k是设备k进行局部模型训练的时延门限值，对于训练方式选择，若设备k满足在设备处进行局部模型训练的时延和能耗的门限值范围时，则选择在本地进行训练；若设备k不满足本地训练的时延和能耗的门限值范围时，则连接到小基站利用数字孪生进行训练。

设备本地训练过程具体描述为：

S2：选择在本地进行训练的设备，获取第一局部模型；

更进一步的，每个设备k采集的数据集的数据量大小表示为D_k(bit)，设备k在本地进行训练的时延表示为：

其中，ε₁表示训练每bit数据所需要的CPU周期数，表示设备k的计算能力；

设备k在本地进行训练的能耗表示为：

其中，k₀表示有效开关电容，它是一个正常数，只取决于芯片的结构。本地训练得到的局部模型参数为ω_k，数据量大小表示为|ω_k|。

S3：选择在本地进行训练的设备将训练获取的第一局部模型上传到小基站；

更进一步的，从设备k到小基站s的上行链路数据传输采用OFDMA机制，由N个可用的子载波为K个工业物联网设备提供服务，子载波集合表示为N＝{1，2，3，...，N}。由于独占子载波分配，干扰被忽略，所以数据传输速率R_k，s(W)表示为：

B_N表示每个子载波的带宽，g_k，n，s表示工业物联网设备k和小基站s之间使用子载波n时的信道增益，W＝{w_k，n，s|w_k，n，s∈{0，1}，k∈K，n∈N，s∈S}表示子载波分配的矩阵，P_k为工业物联网设备k的发射功率，所以，从设备k上传模型参数到小基站s所需时延和能耗分别表示为：

工业物联网设备选择在本地进行局部模型的训练，所花费总时延T_k表示为：

总能耗E_k表示为：

设备利用数字孪生训练过程和边缘关联过程具体描述为：

S4：选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型；

更进一步的，如图3所示，还包括边缘关联算法步骤：

A1：选择需要上传状态信息数据量S_k最大的设备k^*，即k^*的数据量为使得

A2：若子载波可以平均的分配给每个工业物联网设备，则设备k^*分配的子载波数为I＝N/K，其中N表示当前剩余的子载波数量，K表示当前剩余工业物联网设备数量，否则I＝[N/K]+1；

A3：更新K′，K′＝K′\{k^*}；

A4：判断S是否为空集，若不是，则为状态信息为的工业物联网设备k^*，选择距离即最近的小基站

A5：判断小基站s^*可分配的计算资源是否够用，即若够用，则在i∈I范围内循环下述过程：在确定设备和服务器的情况下，找到它们之间信道增益最大的子载波，将找出的信道增益最大的子载波给设备k^*，即选择子载波更新

A6：更新返回A1，开始为下一个设备执行边缘关联策略；

A7：若小基站s^*可分配的计算资源不够用，则返回A4重新选择合适的小基站；

A8：若小基站可分配的计算资源耗尽，则将小基站移出集合S，如果S是空集，则已经没有能为工业物联网设备构建数字孪生的小基站了，构建阶段结束。

更进一步的，设备k在小基站s上的边缘服务器中构建的数字孪生表示为DT_k。注意，我们没有将设备的所有数据同步到数字孪生，这会导致巨大的通信负载和数据泄露风险，而是只上传维持设备运行的状态信息，状态信息的数据量大小表示为S_k(bit)。工业物联网设备向小基站s上传状态信息所需时延表示为：

工业物联网设备向小基站s上传状态信息所需能耗表示为：

小基站根据工业物联网设备上传的状态信息构建工业物联网设备的数字孪生，然后，利用工业物联网设备的数字孪生进行训练。小基站s为设备k的数字孪生DT_k分配进行联邦学习训练所需的计算资源f_k，s，计算资源分配矩阵表示为F＝{f_k，s，k∈K，s∈S}，小基站s能分配的最大计算资源为F_s。利用数字孪生进行训练产生的时延表示为：

因为训练数据的数据量D_k和状态信息的数据量S_k相当，所以，利用数字孪生进行训练产生的时延又可以近似表示为：

利用数字孪生进行训练产生的能耗表示为：

其中，k₁表示有效开关电容，它是一个正常数，只取决于芯片的结构。除此之外，能量消耗还包括在数字空间维护数字孪生的能耗我们在联邦学习训练的持续时间内，为工业物联网设备构建数字孪生，该能耗表示为：

对于利用数字孪生进行局部模型训练的设备k，所花费总时延表示为：

总能耗表示为：

这部分利用数字孪生进行训练的设备集合表示为K′，K′是所有设备集合K的子集；

应说明的是，我们定义了工业物联网设备的训练方式选择问题，它可以进一步地分解为两个子问题：

1.工业物联网设备是否选择连接到小基站上的数字孪生，利用数字孪生进行训练；

2.选择使用数字孪生进行训练的设备，要选择哪个小基站为其构建数字孪生；

我们首先根据能耗和时延限制条件，判断为哪些工业物联网设备构建数字孪生，该阶段称为“选择阶段”；然后，针对选择使用数字孪生训练的设备，我们解决边缘关联问题，即哪个小基站为哪些设备构建数字孪生，该阶段称为“构建阶段”。

选择阶段：

由于设备受到能耗的限制、联邦学习最大训练时延的限制，我们需要为设备构建数字孪生；同时，在数字空间中维持设备的数字孪生也需要消耗能量，边缘服务器可供给维持数字孪生的计算资源是有限的，所以，为进行联邦学习训练的所有设备都构建数字孪生是不切实际的。因为，我们要对设备的训练方式选择做合理的规划。

我们用C＝{c_k,s|c_k，s∈{0，1}，k∈K，s∈S}表示工业物联网设备训练方式选择和边缘关联的向量。c_k，0＝1表示工业物联网设备k不选择利用数字孪生，而选择在设备处进行本地训练，否则，c_k，0＝0。

c_k，s＝1表示工业物联网设备k选择连接到小基站s上的数字空间，利用数字孪生进行训练，否则，c_k，s＝0。表示边缘关联的矩阵如下所示：

规定E₀是工业物联网设备k进行局部模型训练的能耗门限值，τ_k是工业物联网设备k进行局部模型训练的时延门限值，对于训练方式选择，我们有：当设备k满足在设备处进行本地训练的时延和能耗都在门限值范围内时，c_k，0＝1：{E_k＜E₀}∩{T_k＜τ_k}，否则也就是说，当设备满足在设备处进行本地训练的时延和能耗都在限制范围内时，我们令该设备在本地进行局部模型的训练，否则，就为该设备构建数字孪生，利用数字孪生进行局部模型的训练。

构建阶段：

根据上一阶段的处理，我们得到了选择利用数字孪生进行训练的设备集合K′，K′是所有设备集合K的子集，对于下面要解决的边缘关联问题，我们将设备集合K更新为K′，注意，此时我们关注的重点并不再是所有设备，而是需要构建数字孪生，利用数字孪生进行训练的设备子集K′。因为解决系统开销最小化的关键思想是，在构建数字孪生的阶段，将设备合理地分配给每个边缘服务器。所以，我们联合考虑边缘关联，计算资源分配和通信资源分配，将最小化数字孪生训练系统的能耗建立为一个优化问题，表示如下：

约束(20b)和(20c)表明每个工业物联网设备k只能选择一个小基站s构建数字孪生，选择使用数字孪生进行训练；约束(20d)表示给设备和小基站之间分配子载波的变量是二进制变量；约束(20e)表示，一个子载波只分配给一组设备和小基站，即每个子载波由一组设备和小基站独占；约束(20f)表示，分配给所有设备和小基站的子载波不能超过最大可用的子载波；约束(20g)表示小基站s分配给工业物联网设备k的计算频率不能超过最大计算频率；约束(20h)表示当工业物联网设备k选择在小基站s构建数字孪生进行训练时，小基站s才给工业物联网设备k分配计算资源；约束(20i)表示对于每个选择使用数字孪生进行训练所消耗的总时延不能超过时延门限值。

针对上述优化问题，我们首先将目标问题分解为各个设备选择合适的小基站构建数字孪生进行训练产生的能耗最小化的问题。利用贪心原理，得到各个子问题的局部最优解，然后，根据各个子问题的局部最优解，通过累加得到问题的最终解。

应说明的是，聚合过程包括边缘聚合过程和云聚合过程；

边缘聚合过程具体描述为：首先考虑所有选择利用数字孪生进行训练的设备中，所需要上传维持数字孪生的状态信息的数据量最大的设备k^*，设它的状态信息为数据量的大小为距离该设备最近的小基站具有最高的优先级来为其构建数字孪生，该小基站表示为s^*，当小基站s^*具有足够的计算资源能为设备k^*构建数字孪生进行模型训练并在时延门限值内完成时，小基站s^*根据约束(20i)为设备k^*分配计算资源但是如果小基站没有足够的计算资源，设备将会继续查找适当的小基站。在通信资源的分配上，子载波被尽可能公平的分配给每个设备。为了使得系统的性能更好，需要大量的状态信息的上传来维持数字孪生的设备被分配更多的子载波。

S5：小基站将收集到的所有局部模型进行边缘聚合，得到边缘模型；

更进一步的，选择在本地进行局部训练的工业物联网设备的局部模型和选择利用数字孪生进行训练的工业物联网设备的局部模型，假设小基站s处总共有L个训练好的模型参数，模型参数的聚合方法可以表示为：

小基站s用于聚合的计算频率表示为ε₂表示聚合每bit数据所需要的CPU周期，小基站s处进行参数聚合产生的时延表示为：

小基站s处进行参数聚合产生的能耗表示为：

云聚合过程具体描述为：

S6：小基站将得到的边缘模型上传到宏基站进行云聚合，得到全局模型，使系统能耗得到有效优化；

更进一步的，S个小基站都完成边缘聚合后，再将各自聚合的模型上传到宏基站上的云服务器中进行全局聚合：

之后云服务器再将最终聚合得到的参数下发给各个终端设备作为下一轮迭代的初始模型。

实施例2

参照图4-5，为本发明的一个实施例，提供了一种利用数字孪生辅助模型训练的联邦学习方法，为了验证其有益效果，提供了仿真实验的对比结果。

图4为边缘关联算法设备数对比图，图5为边缘关联算法小基站数对比图，图4和图5展示了本文提出的启发式智能算法和另外两种算法的性能比较，另外两种算法分别是贪婪关联和平均资源分配算法，随机关联和联合资源分配算法。

图4展示了当设备数量增加时，三种不同的算法性能的比较。随着设备数量的增加，需要构建数字孪生模型的数量也增加，导致数字孪生训练系统中的总能耗增加。从图4中可以看出，本发明提出的启发式智能算法的性能优于其他两种算法。与本发明提出的算法相比，随机关联和联合资源分配算法的能耗与本发明提出的启发式智能算法的能耗相差较大，而贪婪关联和平均资源分配算法与本发明提出的算法的能耗相差较小，这说明对系统能耗影响较大的因素是关联策略。

图5展示了当小基站数量增加时，本发明提出的启发式智能算法始终保持最佳性能。而且，本发明提出的算法以及贪婪关联和平均资源分配算法的能耗随着小基站数量的增加而降低，而随机关联和联合资源分配算法受小基站数量的影响不大。这是因为本发明提出的算法以及贪婪关联和平均资源分配算法对关联策略很敏感。当小基站数量增加时，设备可以选择更多的小基站，他们有更大的机会选择对自己更有利的小基站，从而降低系统能耗。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种利用数字孪生辅助模型训练的联邦学习方法，其特征在于，包括以下步骤：

依据设备的时延和能耗的参数限制选择在本地进行训练或者利用数字孪生进行训练得到局部模型，包括，

选择在本地进行训练的设备，获取第一局部模型；

选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型；

还包括以下步骤：

选择在本地进行训练的设备将训练获取的第一局部模型上传到小基站；

小基站将收集到的所有局部模型进行边缘聚合，得到边缘模型；

小基站将得到的边缘模型上传到宏基站进行云聚合，得到全局模型，使系统能耗得到有效优化；

所述依据设备的时延和能耗的参数限制选择在本地进行训练或者利用数字孪生进行训练得到局部模型，还包括规定E₀是设备k进行局部模型训练的能耗门限值，τ_k是设备k进行局部模型训练的时延门限值，对于训练方式选择，

若设备k满足在设备处进行局部模型训练的时延和能耗的门限值范围时，则选择在本地进行训练；

若设备k不满足本地训练的时延和能耗的门限值范围时，则连接到小基站利用数字孪生进行训练；

所述选择在本地进行训练的设备，获取第一局部模型中，还包括每个设备k采集的数据集的数据量大小表示为D_k(bit)，设备k在本地进行训练的时延表示为：

其中，ε₁表示训练每bit数据所需要的CPU周期数，表示设备k的计算能力；

设备k在本地进行训练的能耗表示为：

其中，k₀表示有效开关电容，为正常数，取决于芯片结构；

所述选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型，还包括边缘关联算法步骤：

A1：选择需要上传状态信息数据量S_k最大的设备k^*，即k^*的数据量为使得

A2：若子载波平均的分配给每个工业物联网设备，则设备k^*分配的子载波数为I＝N/K，其中N表示当前剩余的子载波数量，K表示当前剩余工业物联网设备数量，否则I＝[N/K]+1；

A3：更新K′，K′＝K′\{k^*}；

A4：判断S是否为空集，若不是，则为状态信息为的工业物联网设备k^*，选择距离即最近的小基站

A5：判断小基站s^*可分配的计算资源是否够用，即若够用，则在i∈I范围内循环下述过程：在确定设备和服务器的情况下，找到它们之间信道增益最大的子载波，将找出的信道增益最大的子载波给设备k^*，即选择子载波更新

A6：更新返回A1，开始为下一个设备执行边缘关联策略；

A7：若小基站s^*可分配的计算资源不够用，则返回A4重新选择合适的小基站；

A8：若小基站可分配的计算资源耗尽，则将小基站移出集合S，如果S是空集，则已经没有能为工业物联网设备构建数字孪生的小基站了，构建阶段结束；

所述选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型，还包括设备k在小基站s中构建的数字孪生表示为DT_k，状态信息的数据量大小表示为S_k(bit)，设备k向小基站s上传状态信息所需时延和能耗分别表示为：

小基站s为设备k的数字孪生DT_k分配用于进行联邦学习训练的计算资源f_k，s，计算资源分配矩阵表示为F＝{f_k，s，k∈K，s∈S}，小基站s能分配的最大计算资源为F_s，利用数字孪生进行训练产生的时延表示为：

利用数字孪生进行训练产生的时延表示为：

利用数字孪生进行训练产生的能耗表示为：

其中，k₁表示有效开关电容，它是一个正常数，只取决于芯片的结构；除此之外，能量消耗还包括在数字空间维护数字孪生的能耗

在联邦学习训练的持续时间内，为工业物联网设备构建数字孪生，该能耗表示为：

所述选择利用数字孪生进行训练的设备，并根据边缘关联算法进行边缘关联，选择小基站为其构建数字孪生，并利用数字孪生训练，获取第二局部模型，对于连接到小基站上的数字空间使用数字孪生进行训练的设备k，训练得到局部模型的总时延和总能耗分别表示为：

这部分利用数字孪生进行训练的设备集合表示为K′，K′是所有设备集合K的子集；

所述选择在本地进行训练的设备将训练获取的第一局部模型上传到小基站，还包括从设备k到小基站的上行链路数据传输采用OFDMA机制，由N个可用的子载波为K个工业物联网设备提供服务，子载波集合表示为N＝{1，2，3，...，N}，由于独占子载波分配，干扰被忽略，所以数据传输速率R_k，s(W)表示为：

其中，B_N表示每个子载波的带宽，g_k，n，s表示设备k和小基站s之间使用子载波n时的信道增益，W＝{w_k，n，s|w_k，n，s∈{0，1}，k∈K，n∈N，s∈S}表示子载波分配的矩阵，P_k为设备k的发射功率，本地训练得到的局部模型参数为ω_k，数据量大小表示为|ω_k|；由此，从设备k上传模型参数到小基站s所需时延和能耗分别表示为：

所述小基站将收集到的所有局部模型进行边缘聚合，得到边缘模型，还包括选择在本地进行训练的设备的局部模型参数和选择利用数字孪生进行训练的设备的局部模型参数，

设小基站s处总共有L个训练好的模型参数，模型参数的聚合方法ω_s表示为：

小基站s用于聚合的计算频率表示为f_s ^ag，ε₂表示聚合每bit数据所需要的CPU周期数，小基站s处进行参数聚合产生的时延表示为：

小基站s处进行参数聚合产生的能耗表示为：

所述小基站将得到的边缘模型上传到宏基站进行云聚合，得到全局模型，使系统能耗得到有效优化，还包括S个小基站都完成边缘聚合后，再将各自聚合得到的边缘模型上传到宏基站上的云服务器中进行全局聚合表示为：

之后云服务器再将最终聚合得到的全局模型参数下发给各个终端设备作为下一轮迭代的初始模型。

Images