CN114219354A - 一种基于联邦学习资源分配优化方法及系统 - Google Patents

Abstract

本发明公开了一种基于联邦学习资源分配优化方法及系统，方法按如下步骤：S1.初始化训练任务和全局模型，并广播给所有用户；S2.用户根据本地数据更新本地模型；S3.计算时延、能耗；S4.确定优化目标函数；S5.交替迭代求解发射功率和计算频率；S6.检查模型精度是否满足要求或达到本地最大迭代次数，若是，则执行S7；若否，则执行S2；S7.雾服务器接收本地模型，聚合所有用户并生成一个新的全局模型，广播至所有用户；判断全局损失函数是否达到收敛或达到最大全局更新次数，若否，则重复S2‑S6；若是，则结束。本发明在联邦学习模型更新中利用NOMA技术作为传输方案，以减少传输延迟，提高频谱效率。本发明根据实际要求，考虑双用户的情况，以降低SIC的解码复杂度。

Description

一种基于联邦学习资源分配优化方法及系统

技术领域

本发明属于联邦学习技术领域，特别是涉及一种联邦学习系统的通信资源和计算资源分配优化方法及系统。

背景技术

随着物联网和5G技术的快速发展，万物互联正在成为现实，预计数百亿的物联网设备(例如智能手机，智能传感器，可穿戴设备)将会连接到物联网中。由于物联网设备自身资源的局限性，计算任务往往被传输至远程云计算，但是巨大的传输量会给通信链路造成不能接受的延迟。雾计算(Fog Computing)被认为是有前景的计算范式，通过在网络边缘提供类似云的服务，可以显著减少数据传输的延迟，降低链路阻塞概率。与云相比，雾节点的能耗也显著降低。

在物联网中，机器学习技术在人工智能领域取得了巨大成功，图像识别、智能推荐早已深入人们的生活。传统上，由服务商收集大量的用户数据，通过数据中心大量的样本训练，来提升模型的效果。但是用户个人数据关系着个人的隐私和安全，一旦数据中心受到攻击或者用户数据被泄露，后果不堪设想。联邦学习(Federated learning)的提出为隐私保护提供破解之法，通过由用户设备利用各自数据训练模型，再经过模型参数聚合成一个全局模型，使得所有用户的数据都被利用，进而得到全局优化模型并且保护数据不被泄露。因为雾节点距离用户的距离近，故由雾节点汇聚全局模型被认为是一个有前景的方法。

时延和能耗是系统的关键性能，时延直接影响了系统的稳定和用户体验度，能耗则关乎设备的生命周期，传统的技术只关注时延或者只关注能耗，这都会对系统整体性能产生影响，通过对时延能耗的权衡，可以针对不同用户的需求提供不同的资源分配方案。引入非正交多址接入(Non-Orthogonal Multiple Access)技术与雾计算相结合，以同时支持多个用户服务，更进一步降低时延和能耗。基于此，本发明提出了一种基于联邦学习资源分配优化方法及系统。

发明内容

基于本领域上述现状，本发明提出了一种基于雾计算辅助联邦学习的通信资源和计算资源优化分配方法及系统，以实现时延与能耗权重和的最小化。本发明考虑终端用户基于非正交多址接入(NOMA)传输协议向雾节点上传模型参数，量化系统内时延、能耗，确定时延能耗加权和为优化目标，针对目标函数为NP-hard问题，采用交替迭代算法，利用凸优化分析理论推导出通信资源和计算资源的最优封闭解。

为了实现以上目的，本发明采用如下技术方案：

本发明提出一种面向联邦学习的资源分配方法，包括以下步骤：

S1.初始化训练任务和全局模型，并广播给所有用户；

S2.用户根据本地数据更新本地模型；

S3.计算时延、能耗；

S4.确定优化目标函数；

S5.交替迭代求解发射功率和计算频率；

S6.检查模型精度是否满足要求或达到本地最大迭代次数，若是，则执行S7；若否，则执行S2；

S7.雾服务器接收本地模型，聚合所有用户并生成一个新的全局模型，广播至所有用户；判断全局损失函数是否达到收敛或达到最大全局更新次数，若否，则重复S2-S6；若是，则结束。

作为优选，S1.本地模型训练：初始化训练任务和全局模型。在初始阶段，雾服务器决定任务需求和目标应用程序。初始化一个全局模型

雾服务器将该全局模型广播给所有本地用户。

作为优选，S2.更新本地模型：本地移动用户i(i∈N)接收到全局模型参数

(其中t为第t次迭代)，利用本地数据通过本地计算，对于给定的精确度θ，第t次迭代中第i个用户寻找最小化局部损失函数

的最优参数

作为优选，S3.性能分析：计算时延、能耗。

由于雾服务器的发射功率较大且一般为有线供电，忽略下行时延和雾服务器的能耗，主要集中考虑在本地用户的计算能耗和传输能耗。而时延主要集中在本地计算时延和由本地传输至雾服务器的上行时延，本地时延可以表达为：

其中，I表示本地模型收敛下的最小循环次数，I＝llog(1/ξ),l表示与本地数据类型有关的常数，ξ表示预设的局部精度。本地时延与迭代循环次数有关，并且预设精度越高，迭代循环次数越多，本地时延越大。C_i表示处理第i个用户一个数据样本的CPU周期数，D_i表示第i个用户数据大小，f_i表示第i个用户的计算频率，可以动态调节。

根据NOMA理论，基站的雾服务器端采用连续干扰消除(SIC)编码技术。定义

为第i个用户到雾服务器的信道增益，在不失一般性的情况下，用户的信道增益排序为

根据已有研究，采用块衰落信道，因此信道状态信息(CSI)在一个资源块中保持不变，但是在不同的资源块中独立变化。假设基站知道所有用户的完美信道状态信息。在上行NOMA系统中，信道增益较高的用户应分配较大的发射功率。因此，假定SIC译码顺序是与信道增益有关的递减序列，即雾服务器先解码第N个用户传输的信息，再解码第N-1个用户，直至第一个用户。定义p_i代表第i个用户的传输功率，则雾服务器接收到第i个用户的信噪比(接收端接收到的信号S₀与噪声强度N₀之比)为：

其中，σ²代表信道的中零均值复加高斯白噪声功率(AWGN)。

那么第i个用户可以实现的信道速率为：

因此进行上行传输时，总传输速率为：

此时传输时延为：

这里L_i表示第i个用户传输数据的大小。

用户能量主要用于本地模型训练和无线数据传输，用户处理单个CPU周期的能耗为kf_i ²，其中k代表电容系数，f_i表示第i个用户的计算频率，因此用于本地计算的能耗表示为：

其中，C_iD_i代表一次本地模型训练迭代所需的CPU周期数，I表示本地模型收敛下的最小循环次数。第i个用户本地模型参数上传至雾服务器的传输能耗表示为：

引理：考虑单小区中的NOMA雾网络，所有用户在相同的传输时间将他们的数据传输到雾服务器。即

证明：首先假设N个用户通过一个子通道同时将数据传输到雾服务器上，雾服务器上接收端采用串行干扰消除(SIC)技术，并且根据N个用户

的信道增益按照增益递减的顺序进行解码。先假设N个用户在相同的传输时间将他们的数据传输到雾服务器。即：

也就是：

因为：

故有：

因此：

因为总传输速率可以被表示为：

定义传输的数据大小为

传输速率为

传输时间为：

此时令N＝1，可以得到T＝L₁/R₁。一方面当N＝2时，T＝(L₁+L₂)/(R₁+R₂)。另一方面，L₁/R₁＝(L₁+L₂)/(R₁+R₂)，因此有L₁/R₁＝L₂/R₂。同理，可得L₁/R₁＝L₂/R₂＝…＝L_N/R_N，证明完毕。

在现有的研究工作中，为降低SIC技术的译码复杂度，通常会采用多用户分组方法，考虑实际场景下不同用户的信道增益不同，因此采用复杂度较低的信道增益间隔用户组合方法，即基于用户信道状态信息划分用户，将信道条件好的用户与信道条件差的用户组合在一起，然后根据二进制错位原理完成用户分组。考虑系统中共有N个用户，则可分为

组，其中

代表向上取整。在本发明中，将重点放在分组后的双用户情况。

因此已知双用户情景下传输时延为：

相应的传输能耗为：

作为优选，S4.确定优化目标函数

考虑以时延能耗权重和最小化为优化目标，建立优化函数：

st:(C1):L_ip_iγ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

(C4):0≤f_i≤f_max i＝1,2

其中R_1,2＝Blog₂(p₁|h₁|²+p₂|h₂|²+σ²)，

其中C1代表用户单次局部迭代完成时最大能耗的约束，C2代表用户单次局部迭代完成时最大时延约束，C3，C4表示发射功率和计算频率的大小受用户本身资源限制。

作为优选，S5.优化问题求解

考虑P0是一个非凸问题，求解具有挑战性，因此本发明提出将P0分解成两个子问题P1和P2，利用交替优化求解方案依次求解该子问题，直至所求解收敛。

进一步的，所述步骤S5包括步骤：

S5.1:求解子问题P1；

S5.2:求解子问题P2。

并且在步骤S5.1中，求解子问题P1，根据初始值求解最优计算频率：

(C2):IC_iD_i(T_max-L_iR_1,2 ^-1)≤f_i

(C3):0≤p_i≤p_max

引理1：P1是一个凸问题。

证明：不妨假设F(f_i)＝α_iI*kC_iD_if_i ²+(1-α_i)IC_iD_i/f_i，对其求二次导，可以得到F”(f_i)＝2α_iIkC_iD_i+2(1-α_i)IC_iD_i/f_i ³＞0，因此P1是一个凸函数。

根据凸优化理论，令F'(f_i)＝2(1-α_i)IkC_iD_if_i-Iα_iC_iD_i/f_i ²＝0，整理可得：

步骤S5.2中，通过求解问题P2得到最优发射功率：

st:(C1):p_i(L₁+L₂)R_1,2 ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

考虑P2为非凸问题，引入变量w，且

因此可以将P2转化为P3:

st:(C1):p_i(L₁+L₂)R_1,2 ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

(C4):(L₁+L₂)(α₁p₁+α₁p₁+2-α₁-α₂)≤wR_1,2

此时问题P3的拉格朗日函数为：

其中，λ₁,λ₂,λ₃,λ₄,λ₅代表拉格朗日乘子，由于它是凸函数，并且满足Slater条件，因此KKT条件是得到最优解的充要条件，因此取得可行解的必要条件为：

其中Q＝(p₁|h₁|²+p₂|h₂|²+σ²)|h_i|²ln2

对偶条件为：

λ₁(p_i(L₁+L₂)+R_1,2(I*kC_iD_if_i ²-E_max))＝0 (25)

λ₃p_i＝0,λ₄(p_i-p_max)＝0 (27)

λ₅((L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2)＝0 (28)

λ₁≥0,λ₂≥0,λ₃≥0,λ₄≥0,λ₅≥0 (29)

原始条件为：

p_i(L₁+L₂)+R_1,2(I*kC_iD_if_i ²-E_max)≤0 (30)

-p_i≤0,p_i-p_max≤0 (32)

(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2≤0 (33)

同理，由(23)有λ₅＝1/(wR_1,2)≠0，(27)成立则(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2＝0。因为发射功率p_i不为0，则λ₃＝0。同时可知，当λ₄≠0时，p_i＝p_max，此时讨论λ₄＝0,λ₁,λ₂的情况：

1)当λ₄＝0,λ₁≠0,λ₂＝0时，为满足式(25)，即

λ₁(p_i(L₁+L₂)+R_1,2(I*kC_iD_if_i ²-E_max))＝0 (34)

利用朗伯W函数可以解得：

其中a＝(L₁+L₂)/B(E_max-I*kC_iD_if_i ²),

d＝p_j|h_j|²+σ²,j＝3-i。

2)当λ₄＝0,λ₂≠0,λ₁＝0，为满足式(27)可以得到下式：

可以解得：

其中τ＝(L₁+L₂)/(B(T_max-IC_iD_i/f_i))。

3)当λ₄＝0,λ₂＝0,λ₁＝0时，为满足式(24)，(28)此时p_i满足下式：

由(28)可得p₁＝(wBθ^-1-σ²-p₂|h₂|²)(|h₁|²)^-1，代入(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2＝0，

则有：

其中θ＝(L₁+L₂)α_i|h_i|²ln2，A_1,2＝α₂|h₁|²-α₁|h₂|²。此时再将p₂代回(38)即可求得p₁。

4)当λ₄＝0,λ₂≠0,λ₁≠0，此时为满足式(25)，(26)，(27)。可以求得：

p_i＝(T_max-IC_iD_if_i ^-1)(E_max-I*kC_iD_if_i ²)/(L₁+L₂)²，(i＝1,2) (40)

此时分别求出以上四种解，判断是否满足约束条件，将其带入P2，最小值即为最优发射功率。将最小发射功率代入S5.1，直至最优值收敛。

作为优选，S6：假设在第t次局部迭代后，模型精度满足要求或者达到最大迭代次数χ_max，用户i通过无线传输将第t次模型参数

传递到雾服务器进行全局聚合。

作为优选，S7：在接收到用户发送的本地模型后，雾服务器执行聚合并生成一个更新的全局模型

最新的全局模型再次发送至所有参与者。通过最小化全局损失函数

重复S2-S6，直到全局损失函数

达到收敛或者达到终止条件。

本发明还公开了一种基于联邦学习资源分配优化系统，包括如下模块：

初始化模块：初始化训练任务和全局模型，并广播给所有用户；

本地模型更新模块：用户根据本地数据更新本地模型；

计算模块：计算时延、能耗；

确定函数模块：确定优化目标函数；

求解模块：交替迭代求解发射功率和计算频率；

判断模型精度模块：检查模型精度是否满足要求或达到本地最大迭代次数；

全局损失函数判断模块：雾服务器接收本地模型，聚合所有用户并生成一个新的全局模型，广播至所有用户；判断全局损失函数是否达到收敛或达到最大全局更新次数。

相对于现有技术，本发明具有如下技术效果：

一，本发明在联邦学习模型更新中利用NOMA技术作为传输方案，以减少传输延迟，提高频谱效率。本发明根据实际要求，考虑双用户的情况，以降低SIC的解码复杂度。

二，本发明提出以最小化时延能耗权重和为优化目标，通过调整权衡因子可以满足不同设备对时延或者能耗的特殊要求，利用凸优化理论推导出最优发射功率和最优计算频率，得到全局最优解。

附图说明

图1为一种联邦学习系统的通信资源和计算资源分配优化方法网络模型图。

图2为一种联邦学习系统的通信资源和计算资源分配优化方法流程图。

图3为一种联邦学习系统的通信资源和计算资源分配优化系统框图。

具体实施方式

以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

实施例一：

如图1所示，本实施例基于时延能耗权衡的联邦学习系统的通信资源和计算资源分配优化方法，基于雾辅助物联网场景，通过凸优化理论推导出用户上行发射功率和计算频率。

具体包括如下步骤：

S1.本地模型训练：初始化训练任务和全局模型。在初始阶段，雾服务器决定任务需求和目标应用程序。初始化一个全局模型

雾服务器将该全局模型广播给所有本地用户。

S2.更新本地模型：本地移动用户i(i∈N)接收到全局模型参数

(其中t为第t次迭代)，利用本地数据通过本地计算，对于给定的精确度θ，第t次迭代中第i个用户寻找最小化局部损失函数

的最优参数

S3.性能分析：计算时延、能耗。

由于雾服务器的发射功率较大且一般为有线供电，忽略下行时延和雾服务器的能耗，主要集中考虑在本地用户的计算能耗和传输能耗。而时延主要集中在本地计算时延和由本地传输至雾服务器的上行时延，本地时延可以表达为：

其中，I表示本地模型收敛下的最小循环次数，I＝llog(1/ξ),l表示与本地数据类型有关的常数，ξ表示预设的局部精度。本地时延与迭代循环次数有关，并且预设精度越高，迭代循环次数越多，本地时延越大。C_i表示处理第i个用户一个数据样本的CPU周期数，D_i表示第i个用户数据大小，f_i表示第i个用户的计算频率，可以动态调节。

根据NOMA理论，基站的雾服务器端采用连续干扰消除(SIC)编码技术。定义

为第i个用户到雾服务器的信道增益，在不失一般性的情况下，用户的信道增益排序为

根据已有研究，采用块衰落信道，因此信道状态信息(CSI)在一个资源块中保持不变，但是在不同的资源块中独立变化。假设基站知道所有用户的完美信道状态信息。在上行NOMA系统中，信道增益较高的用户应分配较大的发射功率。因此，假定SIC译码顺序是与信道增益有关的递减序列，即雾服务器先解码第N个用户传输的信息，再解码第N-1个用户，直至第一个用户。定义p_i代表第i个用户的传输功率，则雾服务器接收到第i个用户的信噪比(接收端接收到的信号S₀与噪声强度N₀之比)为：

其中，σ²代表信道的中零均值复加高斯白噪声功率(AWGN)。

那么第i个用户可以实现的信道速率为：

因此进行上行传输时，总传输速率为：

此时传输时延为：

这里L_i表示第i个用户传输数据的大小。

用户能量主要用于本地模型训练和无线数据传输，用户处理单个CPU周期的能耗为kf_i ²，其中k代表电容系数，f_i表示第i个用户的计算频率，因此用于本地计算的能耗表示为：

其中，C_iD_i代表一次本地模型训练迭代所需的CPU周期数，I表示本地模型收敛下的最小循环次数。第i个用户本地模型参数上传至雾服务器的传输能耗表示为：

引理：考虑单小区中的NOMA雾网络，所有用户在相同的传输时间将他们的数据传输到雾服务器。即

证明：首先假设N个用户通过一个子通道同时将数据传输到雾服务器上，雾服务器上接收端采用串行干扰消除(SIC)技术，并且根据N个用户

的信道增益按照增益递减的顺序进行解码。先假设N个用户在相同的传输时间将他们的数据传输到雾服务器。即：

也就是：

因为：

故有：

因此：

因为总传输速率可以被表示为：

定义传输的数据大小为

传输速率为

传输时间为：

此时令N＝1，可以得到T＝L₁/R₁。一方面当N＝2时，T＝(L₁+L₂)/(R₁+R₂)。另一方面，L₁/R₁＝(L₁+L₂)/(R₁+R₂)，因此有L₁/R₁＝L₂/R₂。同理，可得L₁/R₁＝L₂/R₂＝…＝L_N/R_N，证明完毕。

在现有的研究工作中，为降低SIC技术的译码复杂度，通常会采用多用户分组方法，考虑实际场景下不同用户的信道增益不同，因此采用复杂度较低的信道增益间隔用户组合方法，即基于用户信道状态信息划分用户，将信道条件好的用户与信道条件差的用户组合在一起，然后根据二进制错位原理完成用户分组。考虑系统中共有N个用户，则可分为

组，其中

代表向上取整。在本发明中，将重点放在分组后的双用户情况。

因此已知双用户情景下传输时延为：

相应的传输能耗为：

S4.确定优化目标函数

考虑以时延能耗权重和最小化为优化目标，建立优化函数：

st:(C1):L_ip_iγ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

(C4):0≤f_i≤f_max i＝1,2

其中R_1,2＝Blog₂(p₁|h₁|²+p₂|h₂|²+σ²)，

C1代表用户单次局部迭代完成时最大能耗的约束，C2代表用户单次局部迭代完成时最大时延约束，C3，C4表示发射功率和计算频率的大小受用户本身资源限制。

S5.优化问题求解

考虑P0是一个非凸问题，求解具有挑战性，因此本发明提出将P0分解成两个子问题P1和P2，利用交替优化求解方案依次求解该子问题，直至所求解收敛。

进一步的，所述步骤S5包括步骤：

S5.1:求解子问题P1；

S5.2:求解子问题P2。

并且在步骤S5.1中，求解子问题P1，根据初始值求解最优计算频率：

(C2):IC_iD_i(T_max-L_iR_1,2 ^-1)≤f_i

(C3):0≤p_i≤p_max

引理1：P1是一个凸问题。

证明：假设F(f_i)＝α_iI*kC_iD_if_i ²+(1-α_i)IC_iD_i/f_i，对其进行二次求导，可以得到F”(f_i)＝2α_iIkC_iD_i+2(1-α_i)IC_iD_i/f_i ³＞0，因此P1是一个凸函数。

根据凸优化理论，令F'(f_i)＝2(1-α_i)IkC_iD_if_i-Iα_iC_iD_i/f_i ²＝0，整理可得：

步骤S5.2中，通过求解问题P2得到最优发射功率：

st:(C1):p_i(L₁+L₂)R_1,2 ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

考虑P2为非凸问题，引入w，且

因此可以将P2转化为P3:

st:(C1):p_i(L₁+L₂)R_1,2 ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

(C4):(L₁+L₂)(α₁p₁+α₁p₁+2-α₁-α₂)≤wR_1,2

此时问题P3的拉格朗日函数为：

其中，λ₁,λ₂,λ₃,λ₄,λ₅代表拉格朗日乘子，由于它是凸函数，并且满足Slater条件，因此KKT条件是得到最优解的充要条件，因此取得可行解的必要条件为：

其中Q＝(p₁|h₁|²+p₂|h₂|²+σ²)|h_i|²ln2

对偶条件为：

λ₁(p_i(L₁+L₂)+R_1,2(I*kC_iD_if_i ²-E_max))＝0 (25)

λ₃p_i＝0,λ₄(p_i-p_max)＝0 (27)

λ₅((L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2)＝0 (28)

λ₁≥0,λ₂≥0,λ₃≥0,λ₄≥0,λ₅≥0 (29)

原始条件为：

p_i(L₁+L₂)+R_1,2(I*kC_iD_if_i ²-E_max)≤0 (30)

-p_i≤0,p_i-p_max≤0 (32)

(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2≤0 (33)

同理，根据公式(23)可得λ₅＝1/(wR_1,2)≠0；此时为满足(27)，可以得到(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2＝0。因为发射功率p_i不可能为0，因此为满足式(27)，λ₃＝0。同时，可知当λ₄≠0时，p_i＝p_max，此时讨论λ₄＝0,λ₁,λ₂的情况：

1)当λ₄＝0,λ₁≠0,λ₂＝0时，为满足式(25)，即

λ₁(p_i(L₁+L₂)+R_1,2(I*kC_iD_if_i ²-E_max))＝0 (34)

利用朗伯W函数可以解得：

其中a＝(L₁+L₂)/B(E_max-I*kC_iD_if_i ²),

d＝p_j|h_j|²+σ²,j＝3-i。

2)当λ₄＝0,λ₂≠0,λ₁＝0，为满足式(27)可以得到下式：

可以解得：

其中τ＝(L₁+L₂)/(B(T_max-IC_iD_i/f_i))。

3)当λ₄＝0,λ₂＝0,λ₁＝0时，为满足式(24)，(28)此时p_i满足下式：

由式(28)可得p₁＝(wBθ^-1-σ²-p₂|h₂v²)(|h₁|²)^-1，代入(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2＝0，

整理得到：

其中θ＝(L₁+L₂)α_i|h_i|²ln2，A_1,2＝α₂|h₁|²-α₁|h₂|²。此时再将p₂回代(38)即可求得p₁。

4)当λ₄＝0,λ₂≠0,λ₁≠0，此时为满足式(25)，(26)，(27)。可以求得：

p_i＝(T_max-IC_iD_if_i ^-1)(E_max-I*kC_iD_if_i ²)/(L₁+L₂)²，(i＝1,2) (40)

此时分别求出以上四种解，判断是否满足约束条件，将其带入P2，最小值即为最优发射功率。将最小发射功率代入S5.1，直至最优值收敛。

S6：假设在第t次局部迭代后，模型精度满足要求或者达到最大迭代次数χ_max，用户i通过无线传输将第t次模型参数

传递到雾服务器进行全局聚合。

S7：在接收到用户发送的本地模型后，雾服务器执行聚合并生成一个更新的全局模型

最新的全局模型再次发送至所有参与者。通过最小化全局损失函数

重复S2-S6，直到全局损失函数

达到收敛或者达到终止条件。

实施例二

如图3所示，一种基于联邦学习资源分配优化系统，包括如下模块：

初始化模块：初始化训练任务和全局模型，并广播给所有用户；

本地模型更新模块：用户根据本地数据更新本地模型；

计算模块：计算时延、能耗；

确定函数模块：确定优化目标函数；

求解模块：交替迭代求解发射功率和计算频率；

判断模型精度模块：检查模型精度是否满足要求或达到本地最大迭代次数；

全局损失函数判断模块：雾服务器接收本地模型，聚合所有用户并生成一个新的全局模型，广播至所有用户；判断全局损失函数是否达到收敛或达到最大全局更新次数。

以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (9)

1.一种基于联邦学习资源分配优化方法，其特征是按如下步骤：

S1.初始化训练任务和全局模型，并广播给所有用户；

S2.用户根据本地数据更新本地模型；

S3.计算时延、能耗；

S4.确定优化目标函数；

S5.交替迭代求解发射功率和计算频率；

S6.检查模型精度是否满足要求或达到本地最大迭代次数，若是，则执行S7；若否，则执行S2；

S7.雾服务器接收本地模型，聚合所有用户并生成一个新的全局模型，广播至所有用户；判断全局损失函数是否达到收敛或达到最大全局更新次数，若否，则重复S2-S6；若是，则结束。

2.如权利要求1所述一种基于联邦学习资源分配优化方法，其特征是，S1具体如下：在初始阶段，雾服务器决定任务需求和目标应用程序；初始化一个全局模型

雾服务器将该全局模型广播给所有本地用户。

3.如权利要求2所述一种基于联邦学习资源分配优化方法，其特征是，S2具体如下：本地移动用户i(i∈N)接收到全局模型参数

其中t为第t次迭代，利用本地数据通过本地计算，对于给定的精确度θ，第i个用户寻找最小化局部损失函数

的最优参数

4.如权利要求3所述一种基于联邦学习资源分配优化方法，其特征是，S3具体如下：时延主要集中在本地计算时延和由本地传输至雾服务器的上行时延，本地时延表达为：

其中，I表示本地模型收敛下的最小循环次数，I＝llog(1/ξ),l表示与本地数据类型有关的常数，ξ表示预设的局部精度；本地时延与迭代循环次数有关，并且预设精度越高，迭代循环次数越多，本地时延越大；C_i表示处理第i个用户一个数据样本的CPU周期数，D_i表示第i个用户数据大小，f_i表示第i个用户的计算频率，能动态调节；

定义

为第i个用户到雾服务器的信道增益，在不失一般性的情况下，用户的信道增益排序为

假定SIC译码顺序是与信道增益有关的递减序列，即雾服务器先解码第N个用户传输的信息，在解码第N-1个用户，直至第一个用户；定义p_i代表第i个用户的传输功率，则雾服务器接收到第i个用户的信噪比为：

其中，σ²代表信道的中零均值复加高斯白噪声功率；

第i个用户实现的信道速率为：

进行上行传输时，总传输速率为：

此时传输时延为：

用户能量主要用于本地模型训练和无线数据传输，用户处理单个CPU周期的能耗为kf_i ²，其中k代表电容系数，因此用于本地计算的能耗表示为：

其中，C_iD_i代表一次本地模型训练迭代所需的CPU周期数；本地模型参数上传至雾服务器的传输能耗表示为：

考虑单小区中的NOMA雾网络，所有用户在相同的传输时间将他们的数据传输到雾服务器，即

假设N个用户通过一个子通道同时将数据传输到雾服务器上，根据N个用户

的信道增益按照增益递减的顺序进行解码；假设N个用户在相同的传输时间将他们的数据传输到雾服务器，即：

也就是：

因为：

故有：

因此：

因为总传输速率被表示为：

定义传输的数据大小为

传输速率为

传输时间为：

此时令N＝1，得到T＝L₁/R₁；一方面当N＝2时，T＝(L₁+L₂)/(R₁+R₂)；另一方面，L₁/R₁＝(L₁+L₂)/(R₁+R₂)，因此有L₁/R₁＝L₂/R₂；同理，可得L₁/R₁＝L₂/R₂＝…＝L_N/R_N；

已知双用户情景下传输时延为：

相应的传输能耗为：

5.如权利要求4所述一种基于联邦学习资源分配优化方法，其特征是，S4具体如下：考虑以时延能耗权重和最小化为优化目标，建立优化函数：

P0:

st:(C1):L_ip_iγ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

(C4):0≤f_i≤f_max i＝1,2

其中，R_1,2＝Blog₂(p₁|h₁|²+p₂|h₂|²+σ²)，

C1代表用户单次局部迭代完成时最大能耗的约束，C2代表用户单次局部迭代完成时最大时延约束，C3，C4表示发射功率和计算频率的大小受用户本身资源限制。

6.如权利要求5所述一种基于联邦学习资源分配优化方法，其特征是，S5具体如下：

S5.1，求解子问题P1，根据初始值求解最优计算频率：

P1:

(C2):IC_iD_i(T_max-L_iR_1,2 ^-1)≤f_i

(C3):0≤p_i≤p_max

P1是一个凸问题；

假设F(f_i)＝α_iIkC_iD_if_i ²+(1-α_i)IC_iD_i/f_i，则F”(f_i)＝2α_iIkC_iD_i+2(1-α_i)IC_iD_i/f_i ³＞0，因此P1是一个凸函数；

根据凸优化理论，令F'(f_i)＝2(1-α_i)I*kC_iD_if_i-Iα_iC_iD_i/f_i ²＝0，整理得：

S5.2，通过求解问题P2得到最优发射功率：

P2：

st:(C1):p_i(L₁+L₂)R_1,2 ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

考虑P2为非凸问题，引入w，且

因此将P2转化为P3:

P3:

st:(C1):p_i(L₁+L₂)R_1,2 ^-1+I*kC_iD_if_i ²≤E_max i＝1,2

(C3):0≤p_i≤p_max i＝1,2

(C4):(L₁+L₂)(α₁p₁+α₁p₁+2-α₁-α₂)≤wR_1,2

此时问题P3的拉格朗日函数为：

其中，λ₁,λ₂,λ₃,λ₄,λ₅代表拉格朗日乘子，由于它是凸函数，并且满足Slater条件，因此KKT条件是得到最优解的充要条件，因此取得可行解的必要条件为：

其中Q＝(p₁|h₁|²+p₂|h₂|²+σ²)|h_i|²ln2。

对偶条件为：

λ₁(p_i(L₁+L₂)+R_1,2(IkC_iD_if_i ²-E_max))＝0 (25)

λ₃p_i＝0,λ₄(p_i-p_max)＝0 (27)

λ₅((L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2)＝0 (28)

λ₁≥0,λ₂≥0,λ₃≥0,λ₄≥0,λ₅≥0 (29)

原始条件为：

p_i(L₁+L₂)+R_1,2(I*kC_iD_if_i ²-E_max)≤0 (30)

-p_i≤0,p_i-p_max≤0 (32)

(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2≤0 (33)

同理，根据(23)可得λ₅＝1/(wR_1,2)≠0。此时为满足(27)，可以得到(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2＝0，因为发射功率p_i不可能为0，因此为满足式(27)，λ₃＝0，同时知道当λ₄≠0时，p_i＝p_max，此时讨论λ₄＝0,λ₁,λ₂的情况：

1)当λ₄＝0,λ₁≠0,λ₂＝0时，为满足式(25)，即

λ₁(p_i(L₁+L₂)+R_1,2(IkC_iD_if_i ²-E_max))＝0 (34)

利用朗伯W函数解得：

其中a＝(L₁+L₂)/B(E_max-IkC_iD_if_i ²),c＝h_i ²,d＝p_j|h_j|²+σ²,(j＝3-i)；

2)当λ₄＝0,λ₂≠0,λ₁＝0，为满足式(27)得到下式：

解得：

其中τ＝(L₁+L₂)/(B(T_max-IC_iD_i/f_i))

3)当λ₄＝0,λ₂＝0,λ₁＝0时，为满足式(24)，(28)此时p_i满足下式：

由(28)有

代入(L₁+L₂)(α₁p₁+α₂p₂+2-α₁-α₂)-wR_1,2＝0，可得：

其中

A_1,2＝α₂|h₁|²-α₁|h₂|²；此时再将p₂回代(38)即可求得p₁；

4)当λ₄＝0,λ₂≠0,λ₁≠0，此时为满足式(25)，(26)，(27)，求得：

p_i＝(T_max-IC_iD_if_i ^-1)(E_max-IkC_iD_if_i ²)/(L₁+L₂)²，(i＝1,2) (40)

分别求出以上四种解，判断是否满足约束条件，将其带入P2，最小值即为最优发射功率；将最小发射功率代入S5.1，直至最优值收敛。

7.如权利要求6所述一种基于联邦学习资源分配优化方法，其特征是，S6具体如下：假设在第t次局部迭代后，模型精度满足要求或者达到最大迭代次数χ_max，用户i通过无线传输将第t次模型参数

传递到雾服务器进行全局聚合。

8.如权利要求7所述一种基于联邦学习资源分配优化方法，其特征是，S7具体如下；在接收到用户发送的本地模型后，雾服务器执行聚合并生成一个更新的全局模型

最新的全局模型再次发送至所有参与者；通过最小化全局损失函数

重复S2-S6，直到全局损失函数

达到收敛或者达到终止条件。

9.一种基于联邦学习资源分配优化系统，其特征是包括如下模块：

初始化模块：初始化训练任务和全局模型，并广播给所有用户；

本地模型更新模块：用户根据本地数据更新本地模型；

计算模块：计算时延、能耗；

确定函数模块：确定优化目标函数；

求解模块：交替迭代求解发射功率和计算频率；

判断模型精度模块：检查模型精度是否满足要求或达到本地最大迭代次数；

全局损失函数判断模块：雾服务器接收本地模型，聚合所有用户并生成一个新的全局模型，广播至所有用户；判断全局损失函数是否达到收敛或达到最大全局更新次数。

Images