CN113504999A

CN113504999A - 一种面向高性能分层联邦边缘学习的调度与资源分配方法

Info

Publication number: CN113504999A
Application number: CN202110896173.6A
Authority: CN
Inventors: 温万里; 张毅; 贾云健
Original assignee: Chongqing University
Current assignee: Chongqing University
Priority date: 2021-08-05
Filing date: 2021-08-05
Publication date: 2021-10-15
Anticipated expiration: 2041-08-05
Also published as: CN113504999B

Abstract

本发明涉及一种面向高性能分层联邦边缘学习的调度与资源分配方法，属于无线通信技术领域。该方法为：设置H‑FEEL系统，包括一个单天线基站，若干个辅助器和它们服务的多个边缘设备；基站将初始模型广播给各个边缘设备，各个边缘设备根据收到的模型计算本地梯度，随后将计算结果上传到对应的辅助器，各个辅助器计算加权梯度，然后依照基站指示的调度和资源分配策略，通过无线信道上传加权梯度，基站根据辅助器上传的加权。本发明综合考虑了梯度散度和无线资源分配对学习模型训练收敛性的影响，通过最小化设备能耗和梯度散度的加权和，选择最合适的边缘设备参与学习模型更新，从而提高H‑FEEL系统模型训练准确度。

Description

一种面向高性能分层联邦边缘学习的调度与资源分配方法

技术领域

本发明属于无线通信技术领域，涉及一种面向高性能分层联邦边缘学习的调度与资源分配方法。

背景技术

随着联网设备数量的激增，大量数据可以被用于机器学习应用，例如消费品设计和科学研究等。但是，出于隐私考虑，终端用户可能不愿意与远程服务中心共享设备上的敏感数据，因此，联邦边缘学习(以下简称FEEL)的概念被提出并用于解决协作式机器学习模型训练中存在的隐私问题。利用终端设备的计算能力，FEEL可以将机器学习模型直接发送给终端用户；对于本地计算，终端用户只需要将计算得到的结果上传到服务中心进行全局聚合，服务中心将更新后的模型发送回终端进行下一次本地训练。这样的过程在模型收敛之前需要进行多轮迭代，使得每个参与者都可以从更好的机器学习结果中受益。在设备内进行训练这一显著特点减轻了许多系统的隐私风险和通信开销，因此FEEL与下一代无线网络密切相关。

为了提高FEEL系统在无线网络中操作的效率，需要优化用户调度和无线资源分配。学术界高度关注这一新兴研究方向，提出了包括客户端调度、资源管理以及联合客户端调度和资源管理等关键课题。对客户端调度的研究包括分析传统调度方案的收敛速率，利用信息年龄的概念设计新的调度方案以提高FEEL的收敛速率，以及最大化给定时间预算内的通信客户数量等。对于客户调度和资源分配联合优化的研究包括最大化每轮通信中的调度客户数量，最小化训练时间、训练损失和调度用户的能耗等。

传统的FEEL系统包括一个远程服务中心和大量分散的客户端，由于服务器和客户端之间的远距离传输，系统在达到目标精确度之前会产生大量的通信和能耗开销。为了克服这一问题，最近一系列研究提出了一种有三层结构的分层联邦边缘计算系统(以下简称H-FEEL)，在服务器和客户端之间部署了被称为辅助器的中间节点。在H-FEEL系统中，首先，辅助器将附近的客户端本地计算的梯度或模型聚合起来，然后，辅助器将聚合后的梯度或模型上传到远程服务器。现有研究分析了训练算法的收敛速率、H-FEEL系统中端到端通信延时，并提出了联合计算、通信资源分配和客户端关联问题来最小化模型训练中每一轮通信的能量和时延。但是已有研究要么忽略了客户端调度的问题，要么没有分析模型训练的收敛性能，并且没有考虑到无线通信媒介的关键性能，所以，无线信道将如何影响H-FEEL系统中模型训练的收敛问题还没有被考虑到。

发明内容

有鉴于此，本发明的目的在于提供一种面向高性能分层联邦边缘学习的调度与资源分配方法。

为达到上述目的，本发明提供如下技术方案：

一种面向高性能分层联邦边缘学习的联合用户调度与资源分配方法，包括：

设置H-FEEL系统，该系统包括一个单天线基站，若干个辅助器和它们服务的多个边缘设备。基站将初始模型广播给各个边缘设备，各个边缘设备根据收到的模型计算本地梯度，随后将计算结果上传到对应的辅助器，各个辅助器计算加权梯度，然后依照基站指示的调度和资源分配策略，通过无线信道上传加权梯度，基站根据辅助器上传的加权梯度对学习模型进行更新，再次广播到各个边缘设备，上述过程不断迭代，直到模型收敛为止。

进一步地，所述H-FEEL系统，包括：

假定H-FEEL系统中有一个基站，共有N个辅助器，用集合

表示，每个辅助器通过无线信道和基站通信，对于其中某个辅助器n，它管理一组边缘设备，记为

K_n表示在第n组中的用户设备数量。对于在第n组中的用户k，其本地数据集可以用集合

表示，其中

表示一个V维的输入向量，

表示

对应的标签值。因此，总的用户数可以用

表示，所有用户保存的数据样本可以用

表示。

所述H-FEEL系统的任务是在不牺牲用户隐私的前提下利用所有用户的数据集训练一个通用的有监督机器学习模型。首先，为每个数据样本

定义一个损失函数

用以量化机器学习模型

的输入

与真值标签

之间的预测误差，在数据集

上的机器学习模型w的本地损失函数被定义为

那么，在整个数据集

上的全局损失函数可以表示为

因此，从本质上来说，训练一个机器学习模型就是要找到一个最优模型向量w^*，使得全局损失函数L(w)最小，即

本发明提供了一种高效寻找使得全局损失函数最小的最优模型向量w^*的联合调度和资源分配方法。

进一步地，所述边缘设备计算本地梯度和辅助器计算加权梯度，包括：

辅助器n管理的边缘设备k根据本地数据集

和从基站广播信息中接收到的模型w⁽ⁱ⁾，计算本地损失函数梯度：

其中

表示本地损失函数L_k，n(w)在w＝w⁽ⁱ⁾处的梯度；辅助器n收集它管理的每个用户更新后的梯度，并计算它们的加权和：

进一步地，所述基站指示的调度和资源分配策略，包括基站对辅助器的调度和辅助器上传加权梯度过程中的无线资源分配：

由于带宽和无线资源有限，每轮训练中只有一部分辅助器可以被调度上传加权梯度到基站。本发明提出一种基于概率的调度方法，定义概率

表示在第i轮模型训练中，辅助器n被调度的概率，令向量

表示第i轮通信中被选中的辅助器的概率分布。P⁽ⁱ⁾由无线信道条件和所有辅助器的加权梯度共同决定，所以在考虑辅助器调度方案的同时，还要考虑无线信道的分配方案。基于上述分析，假设每轮通信中最多调度C个辅助器，用

表示第i次迭代中的随机调度状态，因此随机调度状态的概率分布可以表示为

其中

如前所述，根据每轮训练选中的辅助器序号得到对应概率分布，从而设计辅助器调度方案。

进一步地，由于辅助器调度的概率分布与无线信道的分配有关，所以在确定了被调度的辅助器集合

之后，需要考虑加权梯度上传过程中的无线信道分配。假定被调度的辅助器将通过OFDMA系统上传加权梯度到基站，该OFDMA系统共有S个子信道，用集合

表示。每个辅助器上传加权梯度时会有相应的能量消耗E_n，每轮训练中所有被调度的辅助器上传加权梯度的总能耗可以通过计算所有随机调度状态对应的平均传输总能耗得到。

进一步地，所述基站根据辅助器上传的加权梯度对学习模型进行更新，包括：

计算模型中的全局梯度

基站计算的全局梯度是对梯度真值g⁽ⁱ⁾的无偏估计。得到全局梯度之后，根据模型更新公式对学习模型进行更新

进一步地，上述步骤，即本地梯度计算、加权梯度上传和学习模型更新将会被重复执行直到模型收敛为止。

假定全局损失函数的梯度

满足μ-Lipschitz条件，则有：

其中，

根据上述训练算法的一轮训练收敛速度表达式，辅助器调度策略对训练算法收敛速度有直接影响。因此，定义“梯度散度”这一概念来量化每个辅助器上传的加权梯度的重要性，用I(p⁽ⁱ⁾)表示，并且，收敛表达式表明梯度散度越小，训练算法收敛越快。

通过上述分析，发现调度和资源分配策略都与能耗和学习模型的收敛性有关。因此，需要设计一种调度和资源分配策略以同时最小化能耗和梯度散度。但在实际应用中，可能无法同时实现两个影响因素的最小化，所以需要在能耗和梯度散度之间做权衡。

进一步地，本发明构造了一个优化问题来设计联合辅助器调度和无线资源分配方案，该方案同时刻画了无线信道的不确定性和加权梯度的重要性，通过最优调度和资源分配最小化能耗和梯度散度的加权和，即

由于优化问题的目标函数中存在未知项，所以本发明通过适当的方法将目标函数等效转化为可求解的形式，但转化后的问题仍然是一个求解困难的非凸混合整数规划问题，进一步地，将转化后的问题按照其数学结构性质分解为两个子问题：数据和子信道分配问题、辅助器调度问题分别求解。

进一步地，所述第一个子问题是一个可以求解的混合整数规划凸优化问题，通常采用分支定界法(BnB)获得最优解，但是这种方法在最坏情况下时间复杂度较高(具有指数级别的时间复杂度)，针对这一问题，本发明首先求解对应的松弛凸问题，然后对最优解进行适当的取整，进而得到一个低复杂度的次优解。

进一步地，第二个子问题的目标函数是一个最小化线性约束集上的可微(一般是非凸的)函数，利用惩罚凸凹法可以得到调度多个辅助器的一般情况下的次优解。此外，在只调度一个辅助器的特殊情况下，可以利用KKT条件求解问题得到该子问题的最优解。

基于上述理论分析，进一步地，本发明利用大量流行数据集的实验评估所提方案的性能，数据结果表明，该方案的性能明显优于其他传统的具有代表性的训练方案。

本发明的有益效果在于：

(1)本发明综合考虑了梯度散度和无线资源分配对学习模型训练收敛性的影响，提出了一种联合调度和资源分配的方法，通过最小化设备能耗和梯度散度的加权和，选择最合适的边缘设备参与学习模型更新，从而提高H-FEEL系统模型训练准确度。

(2)本发明能根据边缘设备的数据信息和辅助器的能耗情况调整H-FEEL系统的更新和优化，从而达到准确处理数据和降低能耗，提高能源利用效率的目的。本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明一个具体实施例的流程示意图；

图2为分层联邦边缘学习的系统概念图；

图3为解决优化问题1的流程图；

图4为算法4与BnB方法的设备能耗在辅助器数量增加的情况下的变化情况图；

图5为算法4与BnB方法的计算时间在辅助器数量增加的情况下的变化情况图；

图6为应用于MNIST数据集的不同方案的训练准确度在训练轮次增加的情况下的变化情况图；

图7为应用于MNIST数据集的不同方案的设备能耗在训练轮次增加的情况下的变化情况图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明考虑一种面向分层联邦边缘学习的联合调度与无线通信资源分配方法，旨在设计调度和无线通信资源分配方案。在“联邦边缘学习”进行模型训练之前，根据本发明提出的联合调度与无线通信资源分配方案，选择经过筛选的辅助器上传其负责的边缘设备的本地梯度，以达到提升分层边缘联邦学习系统模型训练性能，同时降低设备能耗的目的。

一种面向高性能分层联邦边缘学习的联合用户调度与资源分配方法，如图1所示，包括以下步骤：

步骤1，初始化全局机器学习模型w为初始模型w⁽⁰⁾，指定训练次数。

所述初始模型w⁽⁰⁾通过加载机器学习模型多层感知机到边缘服务器实现。另外，将应用数据集MNIST随机地加载到各个边缘设备中，每个边缘设备的数据样本数目不相同，这样做是为了实现数据的不均衡。

该步骤将初始模型加载到边缘服务器中，将应用数据集随机地加载到各个边缘设备中，实现数据的不均衡，以模拟实际分层联邦边缘学习系统的情况，使本发明可以应用到实际系统的设计中。

步骤2，本地梯度计算。本步骤包括三个阶段：边缘服务器将全局模型广播到边缘设备中；边缘设备根据收到的全局模型和本地数据集计算本地梯度；辅助器计算其管理的边缘设备本地梯度的加权和。

所述分层联邦边缘学习系统的系统概念图如图2所示。本申请的系统装置包括三种设备，一为边缘服务器，设置在基站处，负责调度辅助器和全局模型更新；二是辅助器，负责聚合其管理的边缘设备的本地梯度，计算加权梯度，将加权梯度通过无线信道上传到边缘服务器；三是边缘设备，如手机、笔记本电脑等，负责模型参数的本地更新。如图2所示，本发明考虑的系统包括一个单天线基站，共有N个辅助器，用集合

表示，每个辅助器通过无线信道和基站通信，对于其中某个辅助器n，它服务一组边缘设备，记为

表示，其中

表示一个V维的输入向量，

表示

对应的标签。因此，总的用户数可以用

表示，所有用户保存的数据样本可以用

表示。

所述边缘服务器向边缘设备广播全局模型，第一轮训练过程中，边缘服务器向边缘设备广播的全局模型为步骤1中加载的初始模型w⁽⁰⁾。不失一般性地，在第i轮训练中，边缘服务器向

中的边缘设备广播的全局模型为w⁽ⁱ⁾。

所述边缘设备根据收到的全局模型和本地数据计算本地梯度，首先为每个数据样本

定义一个损失函数

用以量化机器学习模型

的输入

与真值标签

之间的预测误差。那么，在数据集

上的机器学习模型w的本地损失函数被定义为：

进一步地，在整个数据集

上的全局损失函数可以表示为：

在第i轮训练中，第n组中的边缘设备k根据收到的全局模型w⁽ⁱ⁾和本地数据计算本地损失函数L_k，n(w⁽ⁱ⁾)的本地梯度：

其中

表示本地损失函数L_k，n(w)在w＝w⁽ⁱ⁾处的梯度。

所述辅助器计算其管理的边缘设备本地梯度的加权和，集合

中的每个辅助器n收集集合

中的所有边缘设备k更新后的本地梯度

计算这些梯度的加权和：

该步骤是收集所有边缘设备的本地梯度并计算加权和，以进行下一步加权梯度上传和后续全局模型更新，只有收集边缘设备的本地信息才能完成准确的全局模型训练。

步骤3，加权梯度上传。本步骤包括三个阶段：边缘服务器决定可行的调度和资源分配方案；边缘服务器根据方案调度辅助器；被调度的辅助器上传加权梯度。

所述边缘服务器决定可行的调度和资源分配方案，边缘服务器根据梯度散度和辅助器信道状态，按照本发明提出的调度方法，决定可行的调度和资源分配方案。由于无线信道的带宽有限，所以每轮训练只能调度一部分辅助器上传它们的加权梯度到边缘服务器。本发明提出的调度方法是一种基于概率的调度。进一步地，定义概率

表示辅助器n在第i轮联邦学习训练中被调度的概率，那么概率

需要满足以下关系：

因此，定义长度为N的向量

表示第i轮训练中选择结果的概率分布。因为频谱稀缺且有限，所以每轮训练最多只能调度C个辅助器。然后，依照概率分布p⁽ⁱ⁾从集合

中无放回抽样随机抽取C个序号，可以得到C个随机变量，即

表示第i轮训练中被调度的辅助器的序号。定义

表示第i轮训练的随机调度状态。因此随机调度状态的概率分布可以表示为

其中

给定第i轮训练的随机调度状态Y⁽ⁱ⁾后，定义

表示该轮训练中所有被调度辅助器的序号集合。集合

中的每个辅助器都可以通过无线信道向边缘服务器上传它的加权梯度。本发明中考虑一个有S个子信道的OFDMA系统，用集合

表示。给定一个随机调度状态Y⁽ⁱ⁾，定义

作为辅助器n的子信道分配指标，当

时表示子信道s分配给辅助器n用于梯度上传，而当

时表示子信道s没有被分配给辅助器n。为了便于实现，本发明设定每个子信道最多只能分配给一个辅助器，而一个被调度的辅助器至少可以分配到一个子信道，即：

其中，

表示指示函数。此外，如果辅助器n没有被调度，那么它不会被分配任何子信道，即：

定义

表示辅助器n分配到子信道s上的比特数，然后，将每个被调度的辅助器的加权梯度上传到边缘服务器需要满足以下比特分配约束条件：

其中M表示加权梯度和的大小。

定义T表示梯度上传的持续时间，在这个时间段内，被调度集合

内的每个辅助器n会消耗一定的能量。定义h_n，s和q_n，s分别表示辅助器n在子信道s上的信道功率增益和传输功率。然后，被调度辅助器在这个子信道上能够达到的速率可以表示为：

其中B和σ²分别表示每个子信道的带宽和噪声功率。因此，有

将辅助器n的加权梯度上传到边缘服务器对应的能量消耗可以表示为：

其中

因此，所有随机调度状态

的平均总能耗可以表示为：

其中，

将

称为联合辅助器调度和资源分配的设计参数。

假定全局损失函数的梯度

满足μ-Lipschitz条件，通过数学推导，得到一轮训练收敛上界：

其中，

表示第i轮训练的聚合全局梯度和全局梯度真值的差异。根据上述训练算法的一轮训练收敛上界表达式，辅助器调度策略对训练算法收敛速度有直接影响。因此，定义“梯度散度”这一概念来量化每个辅助器上传的加权梯度的重要性，用I(p⁽ⁱ⁾)表示，并且，收敛表达式表明梯度散度越小，训练算法收敛越快。

根据前面的设置和分析，构造优化问题1(P1)：

本发明提出的求解优化问题1的流程，如图3所示。优化问题1应该在边缘服务器侧求解。但是，由于真值梯度g⁽ⁱ⁾未知，所以P1不能直接求解，然而可以通过变换将未知量去除，得到P1的等效替换优化问题2(P2)：

其中，目标函数

表示为：

尽管P2中不包含未知量，P2仍然难以求解。为了便于数学处理，本发明利用P2的结构性质，将P2分解成两个子问题：一为比特和子信道分配问题，二是辅助器调度问题，这样可以极大地促进问题优化。比特和子信道分配问题表示为优化问题3，被调度辅助器集合

中的每个随机调度状态y的比特和子信道分配问题(P3)：

其中，

表示最优解。

给定比特和子信道分配

后，辅助器调度问题表示为优化问题4(P4)：

其中，p^*(i)表示最优解。

根据上述分析，本发明将优化问题2的求解转化为优化问题3和优化问题4的求解，并且，优化问题3的结果将作为优化问题4的输入变量。所以，本发明先解决优化问题3。

由于优化问题3是一个混合整数非线性规划问题，通常采用BnB方法获得最优解，但该方法计算复杂度较高。因此，本发明提出一种由四个阶段组成的低复杂度的次优算法Algorithm4，包括：连续松弛、二进制取整、可行域投影和比特重分配。接下来将详细描述各阶段。

所述连续松弛阶段，通过将整数约束条件

松弛为：

得到优化问题P3的连续松弛形式(P5)：

令

表示优化问题P5的最优解。由于P5是一个凸优化问题，可以采用内点法求得最优解。

所述二进制取整阶段，由于优化问题P5的最优解通常不是整数解，所以不在优化问题P3的可行域内。所以，需要对连续解

进行取整操作。依照

越大，辅助器n占用子信道s的时间越多，子信道s分配给辅助器n的概率就越大这个取整原则，本发明采用保序取整法，即图3中的算法3，进行取整操作。

进一步地，采用保序取整法得到的整数解为

表示Q个二进制解。其中：

其中

其中

进一步地，上述二进制取整阶段得到的整数解满足约束条件：

但可能会不满足其他约束条件，因此，所述可行域投影阶段，就是在

基础上构造可行解

令

表示其他约束条件集合，进一步地，将集合

中的每个q投影到可行域中，构造问题P6：

其中，

由于P6是一个整数非线性规划问题，求解困难，因此，本发明引入下面这个问题(P7)：

其中，

表示一个最优解。通过分析优化问题P6的性质，可以发现P7和P6是等价的，也就是说

进一步地，所述比特重分配阶段，依照上述阶段得到的最优解

重新分配每个子信道上的数据比特，构造优化问题(P8)：

其中，

表示一个最优解。由于P8是一个凸优化问题，并且满足Slater条件，本发明采用KKT条件得到最优解的闭合表达式：

其中

满足

至此，优化问题3的最优解均已得到。如前所述，本发明提出的低复杂度算法与传统求解方法BnB方法相比，计算复杂度显著下降。图4和图5分别比较了本发明所提算法Algorithm3和BnB方法的能耗及运行时间，实验参数设置如下：

C＝6，S＝8，T＝30ms，B＝1MHz，σ²＝10^-9，M＝6×10⁵bits，其中，算法3的情况1表示Q＝NS，算法3的情况2表示

BnB方法的所有点都是通过平均50个信道和调度状态实现得到的。观察图4和图5可以发现，当辅助器个数和子信道个数越多时，能耗越小，但是运行时间越长。此外，还可以看到本发明所提算法实现了几乎与BnB方法相同的性能，但其运行时间远远小于BnB方法，验证了本发明所提算法的适用性和有效性。

进一步地，在优化问题3的最优解的基础上，求解优化问题4。所述优化问题4是一个可微的非凸函数。本发明利用惩罚凸凹法Algorithm5求解优化问题4。

进一步地，通过引入变量

将所有辅助器的调度概率变量变换为：

于是，将优化问题4等效转化为优化问题(P9)：

其中，目标函数表示为：

由于优化问题P9的第三个约束条件是凹的，P9是一个凸差函数，可以利用惩罚凸凹法求解。

进一步地，引入松弛变量到P9的第三个约束条件中，并惩罚违反该约束的行为，构造惩罚凸差问题(P10)：

ψ≥0,

其中τ＞0是惩罚参数，ψ是引入的松弛变量。

进一步地，本发明利用惩罚凸凹法求解P10，令j＝0，1，2，…表示惩罚凸凹法的迭代序号，解决第j+1次迭代需要解决下述问题：

ψ≥0，

其中τ^(j)表示第j轮迭代的惩罚值，(t^(j+1)，ψ^(j+1))表示最优解。

考虑一种特殊情况，被选中设备数目C＝1。此时，优化问题P4是一个凸优化问题，本发明利用KKT条件求得其最优解为：

其中，

并且μ^*满足：

进一步地，观察C＝1时优化问题P4的最优解表达式，梯度范数和能耗联合影响调度概率。具体地说，梯度范数越大，调度概率越高；而上传能耗越高的辅助器被调度的概率越低。

至此，所述边缘服务器根据梯度散度和辅助器传输信道状态，按照本发明提出的调度方法，决定可行的调度和资源分配方案，已经全部完成。

所述边缘服务器根据方案调度辅助器，边缘服务器经上述阶段决定辅助器调度方案后，执行调度操作。

所述被调度的辅助器上传加权梯度，上述阶段边缘服务器决定了调度辅助器集合

以及资源分配策略

集合

中的辅助器n按照资源分配策略

向基站上传聚合梯度

该步骤完成更新后的本地梯度上传工作，以进行下一步全局模型更新，完成上述步骤之后，全局机器学习模型更新操作才能得到所有需要的参数。

步骤4，机器学习模型更新。本步骤包括两个阶段：边缘服务器计算全局梯度；边缘服务器更新全局模型。

所述边缘服务器计算全局梯度，在上述步骤得到的随机调度状态Y⁽ⁱ⁾下，位于基站的边缘服务器计算聚合全局梯度：

所述边缘服务器更新全局模型，边缘服务器利用上述阶段得到的全局梯度

更新第i+1轮机器学习模型：

该步骤完成全局梯度计算和全局机器学习模型更新，完成一轮训练所有环节，得到第i轮训练结果和第i+1轮初始全局模型。

上述过程中，步骤4完成后，回到步骤2，进行下一轮训练。如此迭代，完成指定次数训练后，联邦学习训练结束。

图6为应用于MNIST数据集的不同方案的训练准确度在训练轮次增加的情况下的变化情况图。

对比方案1表示统一调度方案，辅助器集合

中的每个辅助器n被调度的概率相同：

对比方案2表示梯度感知调度，调度决策只受加权梯度影响，辅助器集合

中的每个辅助器n被调度的概率与它的加权梯度

成正比，即：

对比方案3表示能量感知调度，调度决策只受能耗影响，辅助器集合

中的每个辅助器n被调度的概率与它在所有随机调度状态

上的总能耗成反比，即：

其中，

表示辅助器n在所有随机调度状态

上的总能耗。

观察图6可以发现，首先，平均调度(即对比方案1)比梯度感知调度(即对比方案2)和能量感知调度(即对比方案3)获得更高的测试精度，这表明不能仅利用梯度散度来确定待调度的集合，也不能仅仅根据无线信道状态来确定待调度的集合，这是因为如果调度策略仅依赖于梯度散度时，被调度的设备结合可能拥有较差的无限信道条件，因此它们可能不能把梯度上传到边缘服务器；如果调度策略仅依赖于信道状态时，被调度集群可能有较大的梯度散度，这会降低学习性能。然后，本发明提出的调度方法在测试精度方面普遍优于其它对比方案，但是，如果平均总能耗和梯度散度加权系数λ取值不同时，本发明所提方案测试精确度可能差异较大，因此，需要说明的是，在利用本发明方案时，需要选取适当的λ值。

图7表示应用于MNIST数据集的不同方案的设备总能耗在训练轮次增加的情况下的变化情况，观察图中曲线可以发现，首先，本发明所提方案的设备总能耗整体小于其它对比方案，说明本发明所提方案可以减少系统能耗，达到加速模型训练的同时降低设备总能耗、提高系统能效的目的。另外，当平均总能耗和梯度散度加权系数λ取值不同时，本发明所提方案的设备总能耗差异较大，因此，需要说明的是，在利用本发明方案时，需要选取适当的λ值。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：该方法为：设置H-FEEL系统，包括一个单天线基站，若干个辅助器和它们服务的多个边缘设备；基站将初始模型广播给各个边缘设备，各个边缘设备根据收到的模型计算本地梯度，随后将计算结果上传到对应的辅助器，各个辅助器计算加权梯度，然后依照基站指示的调度和资源分配策略，通过无线信道上传加权梯度，基站根据辅助器上传的加权梯度对学习模型进行更新，再次广播到各个边缘设备，不断迭代，直到模型收敛为止。

2.根据权利要求1所述的一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：所述H-FEEL系统，包括：

一个基站，共有N个辅助器，用集合