CN116484976A - 一种无线网络中异步联邦学习方法 - Google Patents

Abstract

本发明涉及联邦学习技术领域，具体涉及一种无线网络中异步联邦学习方法，包括：构建包括N个用户和一个基站的基于联邦学习的无线网络系统架构；在每轮训练开始时，基站对用户进行分组，并选择每组通信链路状态最好的用户作为“header”，将全局模型发送给每组的“header”；每组的“header”将全局模型发送给给定用户，进行本地模型的训练；各“header”按预设规则对训练完成的组内用户进行调度，接收被调度用户上传的本地模型进行聚合，生成组模型；各“header”将生成的组模型同步上传到基站，基站再对各个组模型进行聚合，生成全局模型。本发明考虑无线网络中复杂的信道环境，提高模型的训练精度。

Description

一种无线网络中异步联邦学习方法

技术领域

本发明涉及联邦学习技术领域，更具体的说是涉及一种无线网络中异步联邦学习方法。

背景技术

近年来，联邦学习(FL，Federated Learning)能够以分布式方式进行机器学习模型训练，越来越多地应用于无线通信领域，用于通信网络系统操作、监控、优化等，能够有效地分析用户收集的大量数据，以进行推断、预测和决策。联邦学习利用每个用户的分布式计算资源，使用其本地数据进行本地机器学习模型训练，只与基站共享模型参数，也有效保护了数据隐私。

联邦学习已应用于各种无线通信场景，如车载通信，本地化，语义通信。在无线网络中联邦学习的实现是由用户和基站协同完成的。在每一轮全局通信中，用户从基站接收全局模型，并使用他们的本地数据集执行进一步的训练。然后基站聚合来自用户的局部模型，以更新全局模型。现有的大多数研究假设，只有当每个用户完成其本地模型更新时，基站才能聚合，也就是同步联邦学习(SynFL，Synchronous Federated Learning)，但最慢的用户会显著降低学习性能。因此，异步联邦学习(AsynFL，Asynchronous FederatedLearning)被提出，其中服务器一旦从每个用户接收到本地模型更新就执行模型聚合，而不需要等到接收到所有本地更新。然而，频繁的与基站通信给用户造成了巨大的通信资源浪费。

在无线网络中，每个用户总是在不同的路径上移动或在不同的目标区域移动，以收集整个环境的数据，这导致每个用户将获得不同类型和数量的数据集。有前途的应用程序，特别是元宇宙(Metaverse)场景创建需要分析所有用户生成的数据，因此，在训练机器学习模型时应考虑数据的全面性。

这意味着在整个训练过程中，任何用户的本地模型更新都不应该被丢弃。但由于通信资源有限，信道环境随机衰落，在每轮通信中只能有有限数量的用户上传其本地模型更新，部分用户可能由于计算能力有限而无法及时上传。因此，设计适当的用户调度策略以包括来自尽可能多用户的本地更新是非常重要的。近年来，已有的大部分工作研究了基于本地模型更新显著性、信道条件和数据不确定性、更新传输成功概率和用户的模型更新年龄(AoU，Age-of-Update)信息的用户调度策略设计。然而，在无线网络中，通信性能对机器学习模型的训练性能有显著影响，因此在设计用户调度策略时应考虑这一点。

因此，如何在无线网络中设计一种高效的联邦学习策略，既要考虑无线网络中复杂的信道环境、用户数据异构性以及有限的通信资源，又要提高模型训练精度与效率是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种无线网络中异步联邦学习方法，考虑无线网络中复杂的信道环境，提高模型的训练精度。

为了实现上述目的，本发明采用如下技术方案：

一种无线网络中异步联邦学习方法，包括以下步骤：

构建基于联邦学习的无线网络系统架构，所述系统架构包括N个用户和一个基站，每个用户以不同的移动路径在给定的目标区域内移动，并不断收集数据；所有用户收集到的数据集用于协同训练一个机器学习模型；

在每轮训练开始时，基站按照每个用户本地模型更新的重要度对用户进行分组，并选择每组通信链路状态最好的用户作为“header”，将全局模型发送给每组的“header”；

每组的“header”将全局模型发送给给定用户，用户基于全局模型以及本地数据集进行本地模型的训练；各“header”在规定时间内收集来自组内用户的训练完成信号，并按预设规则对训练完成的组内用户进行调度，接收被调度用户上传的本地模型进行聚合，生成组模型；

各“header”将生成的组模型以同步的方式上传到基站，基站再对各个组模型进行聚合，生成全局模型；

以找到使全局模型的损失函数F(ω)最小的参数向量为训练目标，直至得到最终的机器学习模型。

进一步的，使用集合表示用户集合，设定每个用户/>都有一个本地数据集D_i，数据集大小为|D_i|；设/>表示无线网络中所有用户收集的整个数据集，大小记为|D|，且每个用户的数据集都不相同，即/>

进一步的，被调度用户的本地模型进行聚合时，组模型更新表示为：

其中，表示来自第j个组G^j的组模型更新；/>表示被调度用户集合；/>表示t-1轮训练中生成的用户i的本地模型；ω^t-1表示第t-1轮训练中生成的全局模型；

当组模型在基站处聚合时，全局模型更新表示为：

其中，H(j)表示聚合的权重系数，与模型更新重要度j有关； 表示用户集群的重要度集合，将用户按本地模型更新的重要度分为J个组。

进一步的，当用户接收到“header”发送的全局模型之后，开始本地训练之前，执行初始化过程：对接收到的全局模型与之前训练所得的局部模型进行模型加权求和，作为当前训练的初始模型，表示为：

其中，表示在t轮之前未能传递给基站的用户i的最新局部模型参数，/>表示与模型年龄相关的权重系数；/>表示用户i第t轮训练时接收到的全局模型；

在规定时间内完成本地训练的用户从基站接收更新后的全局模型，继续执行下一次初始化过程，并使用在线梯度下降算法更新各自的局部模型。

进一步的，在用户进行本地训练时，各组“header”在时间阈值内接受来自组内用户的训练完成信号，在时间阈值内完成训练的用户集合用Γ表示，在集合中选择一组用户上传其本地模型，被选择的用户集合表示为在规定时间内没有完成本地训练的用户不参与当前的全局聚合过程，将训练好的模型参数保存在本地，等待下一轮的更新。

进一步的，各“header”在规定时间内收集到来自组内用户的训练完成信号时，采用基于优先级的用户调度策略，对组内完成训练的所有用户的优先级进行排序后，按降序对用户进行调度；优先级表示为信道状态信息g、模型年龄η以及本地模型更新重要性j的权衡，表示为：

c＝λ₁·η+λ₂·g+λ₃·j

其中，λ₁,λ₂,λ₃表示权重系数，η表示模型更新年龄，g表示信道状态信息，j表示用户本地模型更新的重要度。

进一步的，以用户i的本地更新上传的通信时延评估信道状态，表示为：

R_i＝γ_iBlog₂(1+SNR_i)

其中，S_model表示模型更新的大小，R_i表示用户i到基站的传输速率；γ_iB表示分配给用户i的带宽，SNR_i表示在基站处接收到用户i的信噪比，定义为其中，P_i表示用户i到基站的传输功率，N₀表示噪声方差，/>表示用户i到基站之间的路径损耗。

进一步的，用户i在第t轮训练中的模型年龄指数表示为：

其中，表示用户i在第t轮全局迭代之前被调度的最新一轮，ε_i(r)表示用户i在第r轮中的传输调度指标，r＝1表示用户i在第r轮中被调度传输其本地模型，r＝0表示未被调度。

进一步的，将用户i的局部模型更新的重要度j表示为本地模型更新的2范数用户的本地模型更新/>为：

其中，表示学习率，/>表示用户i处计算的梯度；ω^t表示第t轮训练中生成的全局模型；/>表示第t+1轮训练中生成的用户i的本地模型。

进一步的，全局模型的损失函数的形式是一组局部模型的损失函数的和；

定义用户i的本地模型的损失函数为：

其中，ω_i(η_i)表示用户i的本地模型，它是一个与模型年龄有关的参数，η_i表示用户i的模型年龄；表示用户i的本地数据集；k表示来自数据集D_i的数据样本D_i表示用户i的本地数据集；用户i提交给数据点(x_k,y_k)后，会显示一些关于损失函数F_i的信息作为反馈，并且在此之前这些信息是未知的；

全局模型的损失函数表示为：

以找到使全局模型的损失函数F(ω)最小的最佳参数向量ω^*优化目标，表示为：

其中，表示被调度用户集合；D表示无线网络中所有用户收集的整个数据集。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种无线网络中异步联邦学习方法，针对无线网络中复杂的信道环境、用户异构性与多样性以及信道资源有限等现状，考虑无线网络特性，基于本地更新和用户调度的周期性聚合分组异步学习机制，大大提高模型训练精度以及联邦学习的高效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的无线网络中异步联邦学习方法的流程图；

图2为本发明提供的无线网络系统架构的示意图；

图3为本发明提供的无线网络中异步联邦学习方法的时隙示意图；

图4为本发明提供的用户、组和基站间的数据流传输示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种无线网络中异步联邦学习方法，包括以下步骤：

构建基于联邦学习的无线网络系统架构，系统架构包括N个用户和一个基站，每个用户以不同的移动路径在给定的目标区域内移动，并不断收集数据(例如图像数据或视频数据)；所有用户收集到的数据集用于协同训练一个机器学习模型；具体来说，使用集合表示用户集合，设定每个用户/>都有一个本地数据集D_i，数据集大小为|D_i|；设/>表示无线网络中所有用户收集的整个数据集，大小记为|D|，且每个用户的数据集都不相同，即/>

在每轮训练开始时，基站按照每个用户本地模型更新的重要度对用户进行分组，并选择每组通信链路状态最好的用户作为“header(组长)”，将全局模型发送给每组的“header”；

每组的“header”将全局模型发送给给定用户(即上一轮训练时在规定时间阈值内完成训练的用户)，用户基于全局模型以及本地数据集进行本地模型的训练；各“header”在规定时间内收集来自组内用户的训练完成信号，并按预设规则对训练完成的组内用户进行调度，接收被调度用户上传的本地模型进行聚合，生成组模型；其中，将在规定时间阈值内完成训练的用户集合表示为Γ，将被调度的用户集合表示为

各“header”将生成的组模型以同步的方式上传到基站，基站再对各个组模型进行聚合，生成全局模型；

以找到使全局模型的损失函数F(ω)最小的参数向量为训练目标，直至得到最终的机器学习模型。全局模型的优化问题是用分布在异构网络中的每个用户的本地数据集、基站与无线网络中的用户联合训练一个机器学习模型，训练目标是找到最优的参数向量ω^*，使经验损失函数F(ω)最小化。全局模型的损失函数的形式是一组局部模型的损失函数的和；

定义用户i的本地模型的损失函数为：

其中，ω_i(η_i)表示用户i的本地模型，它是一个与模型年龄有关的参数，η_i表示用户i的模型年龄；D_i表示用户i的本地数据集；k表示来自数据集D_i的数据样本；(x_k,y_k)表示数据点；用户i提交给(x_k,y_k)后，会显示一些关于损失函数F_i的信息作为反馈，并且在此之前这些信息是未知的；

全局模型的损失函数表示为：

以找到使全局模型的损失函数F(ω)最小的最佳参数向量ω^*优化目标，表示为：

其中，u表示被调度用户集合；D表示无线网络中所有用户收集的整个数据集。

具体来说，训练过程主要分为以下几部分，以第t轮全局训练为例：

1)基站设置时间阈值。

2)基站计算每个用户的通信链路状态和各自的本地模型更新重要性。根据每个用户的本地模型更新的重要性将用户分类为J个组。在每个组 中，选择每个组内通信链路状态最好的用户作为“header”，负责进行组内的模型聚合，并与基站通信。

3)基站将全局模型ω^t-1广播给每个组的“header”。

4)“header”接收到全局模型后，将它们分配给所在组内的部分用户。

5)当用户收到全局模型时，用户开始本地训练。

6)“header”在时间阈值内接受来自用户的训练完成信号，在时间阈值内完成训练的用户集合用Γ表示，在集合中选择一组用户上传其本地模型，用表示被调度用户集合。被调度的用户上传其本地模型，用于全局模型生成。

在规定时间内没有完成本地训练的用户称为“掉队者”，它将不参与当前的全局聚合过程。他们不能参与这一轮的全局模型更新，而是将训练好的模型参数保存在本地，等待下一轮的更新。

7)“header”接收到来自用户的本地模型后，基于FedAvg算法进行模型聚合，生成组模型。

8)基站以同步联邦学习的方式聚合各个“header”上传的模型更新。当聚类模型在基站处聚合时，聚合的权重系数与每个组的重要程度j有关。

9)全局模型广播

当用户在指定的时间内完成他们的局部更新时，它们可以接收基站广播的更新后的全局模型。

在一个具体实施例中，第5)部分中，当用户接收到“header”发送的全局模型之后，开始本地训练之前，执行初始化过程：对接收到的全局模型与之前训练所得的局部模型进行模型加权求和，作为当前训练的初始模型，表示为：

其中，表示在t轮之前未能传递给基站的用户i的最新局部模型参数，/>表示与模型年龄(AoU，Age-of-Update)相关的权重系数；/>表示用户i第t轮训练时接收到的全局模型；

在规定时间内完成本地训练的用户从基站接收更新后的全局模型，继续执行下一次初始化过程，并使用在线梯度下降算法更新各自的局部模型。

在线学习(OL，Online Learning)是一种实时数据的机器学习范式，它使用从数据中获得的连续反馈来学习和更新未来数据的最佳预测器。在线学习的主要目标是最小化整个数据序列的累积误差。在线学习基于动态流数据，无法直接优化这一目标。在线梯度下降(OGD，Online Gradient Descent)算法是最流行的在线学习优化算法之一。事实上，在线梯度下降类似于批处理学习中的随机梯度下降。观测结果按顺序处理，不重复使用。OGD权重更新规则可以写成:

其中，α_t是学习率；是利益损失函数的梯度。我们将各个模型在t处的预测表示为f_t。

在一个具体实施例中，第6)部分，在用户进行本地训练时，各组“header”在时间阈值内接受来自组内用户的训练完成信号，在时间阈值内完成训练的用户集合用Γ表示，在集合中选择一组用户上传其本地模型，被选择的用户集合表示为在规定时间内没有完成本地训练的用户不参与当前的全局聚合过程，将训练好的模型参数保存在本地，等待下一轮的更新。

具体来说，各“header”在规定时间内收集到来自组内用户的训练完成信号时，采用基于优先级的用户调度策略，对组内完成训练的所有用户的优先级进行排序后，按降序对用户进行调度，排名靠前的用户被调度；优先级表示为信道状态信息g、模型年龄η以及本地模型更新重要性j的权衡，表示为：

c＝λ₁·η+λ₂·g+λ₃·j

其中，λ₁,λ₂,λ₃表示权重系数，η表示模型更新年龄，g表示信道状态信息，j表示用户本地模型更新的重要度。

本发明实施例结合信道状态信息、模型年龄和本地模型重要度确定调度用户的优先级顺序。

①对于信道状态，在每个通信回合中，假设用户使用频分多址(FDMA，FrequencyDivision Multiple Access)技术访问基站，每个用户被分配到电磁频谱中的特定频带，在通话过程中，只有一个用户有权访问特定频带。假设每隔几轮全局迭代就重新分配用户通道，并且在通信轮中，用户通道保持不变。

以用户i的本地更新上传的通信时延评估信道状态，表示为：

其中，S_model表示模型更新的大小，R_i表示用户i到基站的传输速率。

对于用户i，将用户i到基站的传输速率定义为：

R_i＝γ_iBlog₂(1+SNR_i)

其中，γ_iB表示分配给用户i的带宽，SNR_i表示在基站处接收到用户i的信噪比，定义为其中，P_i表示用户i到基站的传输功率，N₀表示噪声方差，/>表示用户i到基站之间的路径损耗。

②对于模型年龄，用户i在第t轮训练中的模型年龄指数表示为：

其中，表示用户i在第t轮全局迭代之前被调度的最新一轮，ε_i(r)表示用户i在第r轮中的传输调度指标，r＝1表示用户i在第r轮中被调度传输其本地模型，r＝0表示未被调度。

③对于本地模型更新重要性：

将用户i的局部模型更新的重要度j表示为本地模型更新的2范数用户的本地模型更新/>为：

其中，表示学习率，/>表示用户i处计算的梯度；ω^t表示第t轮训练中生成的全局模型；/>表示第t+1轮训练中生成的用户i的本地模型。

在一个具体实施例中，联邦学习是一种经典的分布式学习方法。它允许用户使用本地数据集进行本地训练，然后将训练后的模型参数共享给基站进行模型聚合，从而更新全局模型。在联邦学习中，用户和基站之间只共享模型参数，而不共享原始数据，各用户之间也不需要共享信息。“header”接收到来自用户的本地模型后，采用联邦平均(FedAvg，Federated Average)作为模型聚合方法，基于FedAvg算法进行模型聚合，生成组模型。

第t轮训练中，在接收到来自被调度用户集合的本地模型更新后，“header”聚合接收到的信息并将组模型更新为：

其中，表示来自第j个组G^j的组模型更新；/>表示被调度用户集合；/>表示t-1轮训练中生成的用户i的本地模型；ω^t-1表示第t-1轮训练中生成的全局模型。

第8)部分中，基站以同步联邦学习的方式聚合各个“header”上传的模型更新。当聚类模型在基站处聚合时，聚合权重可以表示为一个与j值成反比的函数。在第t次全局迭代时，全局模型更新表示为：

其中，H(j)表示聚合的权重系数，与模型更新重要度j有关； 表示用户集群的重要度集合，将用户按本地模型更新的重要度分为J个组。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种无线网络中异步联邦学习方法，其特征在于，包括以下步骤：

构建基于联邦学习的无线网络系统架构，所述系统架构包括N个用户和一个基站，每个用户以不同的移动路径在给定的目标区域内移动，并不断收集数据；所有用户收集到的数据集用于协同训练一个机器学习模型；

在每轮训练开始时，基站按照每个用户本地模型更新的重要度对用户进行分组，并选择每组通信链路状态最好的用户作为“header”，将全局模型发送给每组的“header”；

每组的“header”将全局模型发送给给定用户，用户基于全局模型以及本地数据集进行本地模型的训练；各“header”在规定时间内收集来自组内用户的训练完成信号，并按预设规则对训练完成的组内用户进行调度，接收被调度用户上传的本地模型进行聚合，生成组模型；

各“header”将生成的组模型以同步的方式上传到基站，基站再对各个组模型进行聚合，生成全局模型；

以找到使全局模型的损失函数F(ω)最小的参数向量为训练目标，直至得到最终的机器学习模型。

2.根据权利要求1所述的无线网络中异步联邦学习方法，其特征在于，使用集合表示用户集合，设定每个用户/>都有一个本地数据集D_i，数据集大小为|D_i|；设/>表示无线网络中所有用户收集的整个数据集，大小记为|D|，且每个用户的数据集都不相同，即/>

3.根据权利要求2所述的无线网络中异步联邦学习方法，其特征在于，第t轮训练中，被调度用户的本地模型进行聚合时，组模型更新表示为：

其中，表示来自第j个组G^j的组模型更新；/>表示被调度用户集合；/>表示t-1轮训练中生成的用户i的本地模型；ω^t-1表示第t-1轮训练中生成的全局模型；

当组模型在基站处聚合时，全局模型更新表示为：

其中，H(j)表示聚合的权重系数，与模型更新重要度j有关； 表示用户集群的重要度集合，将用户按本地模型更新的重要度分为J个组。

4.根据权利要求1所述的无线网络中异步联邦学习方法，其特征在于，当用户接收到“header”发送的全局模型之后，开始本地训练之前，执行初始化过程：对接收到的全局模型与之前训练所得的局部模型进行模型加权求和，作为当前训练的初始模型，表示为：

其中，表示在t轮之前未能传递给基站的用户i的最新局部模型参数，/>表示与模型年龄相关的权重系数；/>表示用户i第t轮训练时接收到的全局模型；

在规定时间内完成本地训练的用户从基站接收更新后的全局模型，继续执行下一次初始化过程，并使用在线梯度下降算法更新各自的局部模型。

5.根据权利要求1所述的无线网络中异步联邦学习方法，其特征在于，在用户进行本地训练时，各组“header”在时间阈值内接受来自组内用户的训练完成信号，在时间阈值内完成训练的用户集合用Γ表示，在集合中选择一组用户上传其本地模型，被选择的用户集合表示为在规定时间内没有完成本地训练的用户不参与当前的全局聚合过程，将训练好的模型参数保存在本地，等待下一轮的更新。

6.根据权利要求1所述的无线网络中异步联邦学习方法，其特征在于，各“header”在规定时间内收集到来自组内用户的训练完成信号时，采用基于优先级的用户调度策略，对组内完成训练的所有用户的优先级进行排序后，按降序对用户进行调度；优先级表示为信道状态信息g、模型年龄η以及本地模型更新重要性j的权衡，表示为：

c＝λ₁·η+λ₂·g+λ₃·j

其中，λ₁,λ₂,λ₃表示权重系数，η表示模型更新年龄，g表示信道状态信息，j表示用户本地模型更新的重要度。

7.根据权利要求6所述的无线网络中异步联邦学习方法，其特征在于，以用户i的本地更新上传的通信时延评估信道状态，表示为：

R_i＝γ_iBlog₂(1+SNR_i)

其中，S_model表示模型更新的大小，R_i表示用户i到基站的传输速率；γ_iB表示分配给用户i的带宽，SNR_i表示在基站处接收到用户i的信噪比，定义为其中，P_i表示用户i到基站的传输功率，N₀表示噪声方差，/>表示用户i到基站之间的路径损耗。

8.根据权利要求6所述的无线网络中异步联邦学习方法，其特征在于，用户i在第t轮训练中的模型年龄指数表示为：

其中，表示用户i在第t轮全局迭代之前被调度的最新一轮，ε_i(r)表示用户i在第r轮中的传输调度指标，r＝1表示用户i在第r轮中被调度传输其本地模型，r＝0表示未被调度。

9.根据权利要求6所述的无线网络中异步联邦学习方法，其特征在于，将用户i的局部模型更新的重要度j表示为本地模型更新的2范数用户的本地模型更新/>为：

其中，表示学习率，/>表示用户i处计算的梯度；ω^t表示第t轮训练中生成的全局模型；/>表示第t+1轮训练中生成的用户i的本地模型。

10.根据权利要求1所述的无线网络中异步联邦学习方法，其特征在于，全局模型的损失函数的形式是一组局部模型的损失函数的和；

定义用户i的本地模型的损失函数为：

其中，ω_i(η_i)表示用户i的本地模型，它是一个与模型年龄有关的参数，η_i表示用户i的模型年龄；D_i表示用户i的本地数据集；k表示来自数据集D_i的数据样本；用户i提交给数据点(x_k,y_k)后，会显示一些关于损失函数F_i的信息作为反馈，并且在此之前这些信息是未知的；

全局模型的损失函数表示为：

以找到使全局模型的损失函数F(ω)最小的最佳参数向量ω^*优化目标，表示为：

其中，表示被调度用户集合；D表示无线网络中所有用户收集的整个数据集。