CN113504999A - 一种面向高性能分层联邦边缘学习的调度与资源分配方法 - Google Patents
一种面向高性能分层联邦边缘学习的调度与资源分配方法 Download PDFInfo
- Publication number
- CN113504999A CN113504999A CN202110896173.6A CN202110896173A CN113504999A CN 113504999 A CN113504999 A CN 113504999A CN 202110896173 A CN202110896173 A CN 202110896173A CN 113504999 A CN113504999 A CN 113504999A
- Authority
- CN
- China
- Prior art keywords
- gradient
- scheduling
- base station
- model
- resource allocation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013468 resource allocation Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000005265 energy consumption Methods 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000053208 Porcellio laevis Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种面向高性能分层联邦边缘学习的调度与资源分配方法，属于无线通信技术领域。该方法为：设置H‑FEEL系统，包括一个单天线基站，若干个辅助器和它们服务的多个边缘设备；基站将初始模型广播给各个边缘设备，各个边缘设备根据收到的模型计算本地梯度，随后将计算结果上传到对应的辅助器，各个辅助器计算加权梯度，然后依照基站指示的调度和资源分配策略，通过无线信道上传加权梯度，基站根据辅助器上传的加权。本发明综合考虑了梯度散度和无线资源分配对学习模型训练收敛性的影响，通过最小化设备能耗和梯度散度的加权和，选择最合适的边缘设备参与学习模型更新，从而提高H‑FEEL系统模型训练准确度。
Description
技术领域
本发明属于无线通信技术领域，涉及一种面向高性能分层联邦边缘学习的调度与资源分配方法。
背景技术
随着联网设备数量的激增，大量数据可以被用于机器学习应用，例如消费品设计和科学研究等。但是，出于隐私考虑，终端用户可能不愿意与远程服务中心共享设备上的敏感数据，因此，联邦边缘学习(以下简称FEEL)的概念被提出并用于解决协作式机器学习模型训练中存在的隐私问题。利用终端设备的计算能力，FEEL可以将机器学习模型直接发送给终端用户；对于本地计算，终端用户只需要将计算得到的结果上传到服务中心进行全局聚合，服务中心将更新后的模型发送回终端进行下一次本地训练。这样的过程在模型收敛之前需要进行多轮迭代，使得每个参与者都可以从更好的机器学习结果中受益。在设备内进行训练这一显著特点减轻了许多系统的隐私风险和通信开销，因此FEEL与下一代无线网络密切相关。
为了提高FEEL系统在无线网络中操作的效率，需要优化用户调度和无线资源分配。学术界高度关注这一新兴研究方向，提出了包括客户端调度、资源管理以及联合客户端调度和资源管理等关键课题。对客户端调度的研究包括分析传统调度方案的收敛速率，利用信息年龄的概念设计新的调度方案以提高FEEL的收敛速率，以及最大化给定时间预算内的通信客户数量等。对于客户调度和资源分配联合优化的研究包括最大化每轮通信中的调度客户数量，最小化训练时间、训练损失和调度用户的能耗等。
传统的FEEL系统包括一个远程服务中心和大量分散的客户端，由于服务器和客户端之间的远距离传输，系统在达到目标精确度之前会产生大量的通信和能耗开销。为了克服这一问题，最近一系列研究提出了一种有三层结构的分层联邦边缘计算系统(以下简称H-FEEL)，在服务器和客户端之间部署了被称为辅助器的中间节点。在H-FEEL系统中，首先，辅助器将附近的客户端本地计算的梯度或模型聚合起来，然后，辅助器将聚合后的梯度或模型上传到远程服务器。现有研究分析了训练算法的收敛速率、H-FEEL系统中端到端通信延时，并提出了联合计算、通信资源分配和客户端关联问题来最小化模型训练中每一轮通信的能量和时延。但是已有研究要么忽略了客户端调度的问题，要么没有分析模型训练的收敛性能，并且没有考虑到无线通信媒介的关键性能，所以，无线信道将如何影响H-FEEL系统中模型训练的收敛问题还没有被考虑到。
发明内容
有鉴于此，本发明的目的在于提供一种面向高性能分层联邦边缘学习的调度与资源分配方法。
为达到上述目的，本发明提供如下技术方案：
一种面向高性能分层联邦边缘学习的联合用户调度与资源分配方法，包括：
设置H-FEEL系统，该系统包括一个单天线基站，若干个辅助器和它们服务的多个边缘设备。基站将初始模型广播给各个边缘设备，各个边缘设备根据收到的模型计算本地梯度，随后将计算结果上传到对应的辅助器，各个辅助器计算加权梯度，然后依照基站指示的调度和资源分配策略，通过无线信道上传加权梯度，基站根据辅助器上传的加权梯度对学习模型进行更新，再次广播到各个边缘设备，上述过程不断迭代，直到模型收敛为止。
进一步地，所述H-FEEL系统，包括：
假定H-FEEL系统中有一个基站，共有N个辅助器，用集合
表示，每个辅助器通过无线信道和基站通信，对于其中某个辅助器n，它管理一组边缘设备，记为
Kn表示在第n组中的用户设备数量。对于在第n组中的用户k，其本地数据集可以用集合
表示，其中
表示一个V维的输入向量，
表示
对应的标签值。因此，总的用户数可以用
表示，所有用户保存的数据样本可以用
表示。
所述H-FEEL系统的任务是在不牺牲用户隐私的前提下利用所有用户的数据集训练一个通用的有监督机器学习模型。首先，为每个数据样本
定义一个损失函数
用以量化机器学习模型
的输入
与真值标签
之间的预测误差，在数据集
上的机器学习模型w的本地损失函数被定义为
那么，在整个数据集
上的全局损失函数可以表示为
因此，从本质上来说，训练一个机器学习模型就是要找到一个最优模型向量w*，使得全局损失函数L(w)最小，即
本发明提供了一种高效寻找使得全局损失函数最小的最优模型向量w*的联合调度和资源分配方法。
进一步地，所述边缘设备计算本地梯度和辅助器计算加权梯度，包括：
辅助器n管理的边缘设备k根据本地数据集
和从基站广播信息中接收到的模型w(i)，计算本地损失函数梯度：
其中
表示本地损失函数Lk，n(w)在w＝w(i)处的梯度；辅助器n收集它管理的每个用户更新后的梯度，并计算它们的加权和：
进一步地，所述基站指示的调度和资源分配策略，包括基站对辅助器的调度和辅助器上传加权梯度过程中的无线资源分配：
由于带宽和无线资源有限，每轮训练中只有一部分辅助器可以被调度上传加权梯度到基站。本发明提出一种基于概率的调度方法，定义概率
表示在第i轮模型训练中，辅助器n被调度的概率，令向量
表示第i轮通信中被选中的辅助器的概率分布。P(i)由无线信道条件和所有辅助器的加权梯度共同决定，所以在考虑辅助器调度方案的同时，还要考虑无线信道的分配方案。基于上述分析，假设每轮通信中最多调度C个辅助器，用
表示第i次迭代中的随机调度状态，因此随机调度状态的概率分布可以表示为
其中
如前所述，根据每轮训练选中的辅助器序号得到对应概率分布，从而设计辅助器调度方案。
进一步地，由于辅助器调度的概率分布与无线信道的分配有关，所以在确定了被调度的辅助器集合
之后，需要考虑加权梯度上传过程中的无线信道分配。假定被调度的辅助器将通过OFDMA系统上传加权梯度到基站，该OFDMA系统共有S个子信道，用集合
表示。每个辅助器上传加权梯度时会有相应的能量消耗En，每轮训练中所有被调度的辅助器上传加权梯度的总能耗可以通过计算所有随机调度状态对应的平均传输总能耗得到。
进一步地，所述基站根据辅助器上传的加权梯度对学习模型进行更新，包括：
计算模型中的全局梯度
基站计算的全局梯度是对梯度真值g(i)的无偏估计。得到全局梯度之后，根据模型更新公式对学习模型进行更新
进一步地，上述步骤，即本地梯度计算、加权梯度上传和学习模型更新将会被重复执行直到模型收敛为止。
假定全局损失函数的梯度
满足μ-Lipschitz条件，则有：
其中，
根据上述训练算法的一轮训练收敛速度表达式，辅助器调度策略对训练算法收敛速度有直接影响。因此，定义“梯度散度”这一概念来量化每个辅助器上传的加权梯度的重要性，用I(p(i))表示，并且，收敛表达式表明梯度散度越小，训练算法收敛越快。
通过上述分析，发现调度和资源分配策略都与能耗和学习模型的收敛性有关。因此，需要设计一种调度和资源分配策略以同时最小化能耗和梯度散度。但在实际应用中，可能无法同时实现两个影响因素的最小化，所以需要在能耗和梯度散度之间做权衡。
进一步地，本发明构造了一个优化问题来设计联合辅助器调度和无线资源分配方案，该方案同时刻画了无线信道的不确定性和加权梯度的重要性，通过最优调度和资源分配最小化能耗和梯度散度的加权和，即
由于优化问题的目标函数中存在未知项，所以本发明通过适当的方法将目标函数等效转化为可求解的形式，但转化后的问题仍然是一个求解困难的非凸混合整数规划问题，进一步地，将转化后的问题按照其数学结构性质分解为两个子问题：数据和子信道分配问题、辅助器调度问题分别求解。
进一步地，所述第一个子问题是一个可以求解的混合整数规划凸优化问题，通常采用分支定界法(BnB)获得最优解，但是这种方法在最坏情况下时间复杂度较高(具有指数级别的时间复杂度)，针对这一问题，本发明首先求解对应的松弛凸问题，然后对最优解进行适当的取整，进而得到一个低复杂度的次优解。
进一步地，第二个子问题的目标函数是一个最小化线性约束集上的可微(一般是非凸的)函数，利用惩罚凸凹法可以得到调度多个辅助器的一般情况下的次优解。此外，在只调度一个辅助器的特殊情况下，可以利用KKT条件求解问题得到该子问题的最优解。
基于上述理论分析，进一步地，本发明利用大量流行数据集的实验评估所提方案的性能，数据结果表明，该方案的性能明显优于其他传统的具有代表性的训练方案。
本发明的有益效果在于：
(1)本发明综合考虑了梯度散度和无线资源分配对学习模型训练收敛性的影响，提出了一种联合调度和资源分配的方法，通过最小化设备能耗和梯度散度的加权和，选择最合适的边缘设备参与学习模型更新，从而提高H-FEEL系统模型训练准确度。
(2)本发明能根据边缘设备的数据信息和辅助器的能耗情况调整H-FEEL系统的更新和优化，从而达到准确处理数据和降低能耗，提高能源利用效率的目的。本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明一个具体实施例的流程示意图；
图2为分层联邦边缘学习的系统概念图；
图3为解决优化问题1的流程图；
图4为算法4与BnB方法的设备能耗在辅助器数量增加的情况下的变化情况图；
图5为算法4与BnB方法的计算时间在辅助器数量增加的情况下的变化情况图；
图6为应用于MNIST数据集的不同方案的训练准确度在训练轮次增加的情况下的变化情况图；
图7为应用于MNIST数据集的不同方案的设备能耗在训练轮次增加的情况下的变化情况图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明考虑一种面向分层联邦边缘学习的联合调度与无线通信资源分配方法，旨在设计调度和无线通信资源分配方案。在“联邦边缘学习”进行模型训练之前，根据本发明提出的联合调度与无线通信资源分配方案，选择经过筛选的辅助器上传其负责的边缘设备的本地梯度，以达到提升分层边缘联邦学习系统模型训练性能，同时降低设备能耗的目的。
一种面向高性能分层联邦边缘学习的联合用户调度与资源分配方法，如图1所示，包括以下步骤：
步骤1，初始化全局机器学习模型w为初始模型w(0)，指定训练次数。
所述初始模型w(0)通过加载机器学习模型多层感知机到边缘服务器实现。另外，将应用数据集MNIST随机地加载到各个边缘设备中，每个边缘设备的数据样本数目不相同，这样做是为了实现数据的不均衡。
该步骤将初始模型加载到边缘服务器中，将应用数据集随机地加载到各个边缘设备中，实现数据的不均衡，以模拟实际分层联邦边缘学习系统的情况，使本发明可以应用到实际系统的设计中。
步骤2，本地梯度计算。本步骤包括三个阶段：边缘服务器将全局模型广播到边缘设备中；边缘设备根据收到的全局模型和本地数据集计算本地梯度；辅助器计算其管理的边缘设备本地梯度的加权和。
所述分层联邦边缘学习系统的系统概念图如图2所示。本申请的系统装置包括三种设备，一为边缘服务器，设置在基站处，负责调度辅助器和全局模型更新；二是辅助器，负责聚合其管理的边缘设备的本地梯度，计算加权梯度，将加权梯度通过无线信道上传到边缘服务器；三是边缘设备，如手机、笔记本电脑等，负责模型参数的本地更新。如图2所示，本发明考虑的系统包括一个单天线基站，共有N个辅助器，用集合
表示，每个辅助器通过无线信道和基站通信，对于其中某个辅助器n，它服务一组边缘设备，记为
Kn表示在第n组中的用户设备数量。对于在第n组中的用户k，其本地数据集可以用集合
表示，其中
表示一个V维的输入向量，
表示
对应的标签。因此，总的用户数可以用
表示，所有用户保存的数据样本可以用
表示。
所述边缘服务器向边缘设备广播全局模型，第一轮训练过程中，边缘服务器向边缘设备广播的全局模型为步骤1中加载的初始模型w(0)。不失一般性地，在第i轮训练中，边缘服务器向
中的边缘设备广播的全局模型为w(i)。
所述边缘设备根据收到的全局模型和本地数据计算本地梯度，首先为每个数据样本
定义一个损失函数
用以量化机器学习模型
的输入
与真值标签
之间的预测误差。那么，在数据集
上的机器学习模型w的本地损失函数被定义为：
进一步地，在整个数据集
上的全局损失函数可以表示为：
在第i轮训练中，第n组中的边缘设备k根据收到的全局模型w(i)和本地数据计算本地损失函数Lk，n(w(i))的本地梯度：
所述辅助器计算其管理的边缘设备本地梯度的加权和，集合
中的每个辅助器n收集集合
中的所有边缘设备k更新后的本地梯度
计算这些梯度的加权和：
该步骤是收集所有边缘设备的本地梯度并计算加权和，以进行下一步加权梯度上传和后续全局模型更新，只有收集边缘设备的本地信息才能完成准确的全局模型训练。
步骤3，加权梯度上传。本步骤包括三个阶段：边缘服务器决定可行的调度和资源分配方案；边缘服务器根据方案调度辅助器；被调度的辅助器上传加权梯度。
所述边缘服务器决定可行的调度和资源分配方案，边缘服务器根据梯度散度和辅助器信道状态，按照本发明提出的调度方法，决定可行的调度和资源分配方案。由于无线信道的带宽有限，所以每轮训练只能调度一部分辅助器上传它们的加权梯度到边缘服务器。本发明提出的调度方法是一种基于概率的调度。进一步地，定义概率
表示辅助器n在第i轮联邦学习训练中被调度的概率，那么概率
需要满足以下关系：
因此，定义长度为N的向量
表示第i轮训练中选择结果的概率分布。因为频谱稀缺且有限，所以每轮训练最多只能调度C个辅助器。然后，依照概率分布p(i)从集合
中无放回抽样随机抽取C个序号，可以得到C个随机变量，即
表示第i轮训练中被调度的辅助器的序号。定义
表示第i轮训练的随机调度状态。因此随机调度状态的概率分布可以表示为
其中
给定第i轮训练的随机调度状态Y(i)后，定义
表示该轮训练中所有被调度辅助器的序号集合。集合
中的每个辅助器都可以通过无线信道向边缘服务器上传它的加权梯度。本发明中考虑一个有S个子信道的OFDMA系统，用集合
表示。给定一个随机调度状态Y(i)，定义
作为辅助器n的子信道分配指标，当
时表示子信道s分配给辅助器n用于梯度上传，而当
时表示子信道s没有被分配给辅助器n。为了便于实现，本发明设定每个子信道最多只能分配给一个辅助器，而一个被调度的辅助器至少可以分配到一个子信道，即：
其中，
表示指示函数。此外，如果辅助器n没有被调度，那么它不会被分配任何子信道，即：
定义
表示辅助器n分配到子信道s上的比特数，然后，将每个被调度的辅助器的加权梯度上传到边缘服务器需要满足以下比特分配约束条件：
其中M表示加权梯度和的大小。
定义T表示梯度上传的持续时间，在这个时间段内，被调度集合
内的每个辅助器n会消耗一定的能量。定义hn，s和qn，s分别表示辅助器n在子信道s上的信道功率增益和传输功率。然后，被调度辅助器在这个子信道上能够达到的速率可以表示为：
其中B和σ2分别表示每个子信道的带宽和噪声功率。因此，有
将辅助器n的加权梯度上传到边缘服务器对应的能量消耗可以表示为：
其中
因此，所有随机调度状态
的平均总能耗可以表示为：
其中，
将
称为联合辅助器调度和资源分配的设计参数。
假定全局损失函数的梯度
满足μ-Lipschitz条件，通过数学推导，得到一轮训练收敛上界：
其中，
表示第i轮训练的聚合全局梯度和全局梯度真值的差异。根据上述训练算法的一轮训练收敛上界表达式，辅助器调度策略对训练算法收敛速度有直接影响。因此，定义“梯度散度”这一概念来量化每个辅助器上传的加权梯度的重要性，用I(p(i))表示，并且，收敛表达式表明梯度散度越小，训练算法收敛越快。
根据前面的设置和分析，构造优化问题1(P1)：
本发明提出的求解优化问题1的流程，如图3所示。优化问题1应该在边缘服务器侧求解。但是，由于真值梯度g(i)未知，所以P1不能直接求解，然而可以通过变换将未知量去除，得到P1的等效替换优化问题2(P2)：
其中，目标函数
表示为：
尽管P2中不包含未知量，P2仍然难以求解。为了便于数学处理，本发明利用P2的结构性质，将P2分解成两个子问题：一为比特和子信道分配问题，二是辅助器调度问题，这样可以极大地促进问题优化。比特和子信道分配问题表示为优化问题3，被调度辅助器集合
中的每个随机调度状态y的比特和子信道分配问题(P3)：
其中，
表示最优解。
给定比特和子信道分配
后，辅助器调度问题表示为优化问题4(P4)：
其中，p*(i)表示最优解。
根据上述分析，本发明将优化问题2的求解转化为优化问题3和优化问题4的求解，并且，优化问题3的结果将作为优化问题4的输入变量。所以，本发明先解决优化问题3。
由于优化问题3是一个混合整数非线性规划问题，通常采用BnB方法获得最优解，但该方法计算复杂度较高。因此，本发明提出一种由四个阶段组成的低复杂度的次优算法Algorithm4，包括：连续松弛、二进制取整、可行域投影和比特重分配。接下来将详细描述各阶段。
所述连续松弛阶段，通过将整数约束条件
松弛为：
得到优化问题P3的连续松弛形式(P5)：
令
表示优化问题P5的最优解。由于P5是一个凸优化问题，可以采用内点法求得最优解。
所述二进制取整阶段，由于优化问题P5的最优解通常不是整数解，所以不在优化问题P3的可行域内。所以，需要对连续解
进行取整操作。依照
越大，辅助器n占用子信道s的时间越多，子信道s分配给辅助器n的概率就越大这个取整原则，本发明采用保序取整法，即图3中的算法3，进行取整操作。
进一步地，采用保序取整法得到的整数解为
表示Q个二进制解。其中：
进一步地，上述二进制取整阶段得到的整数解满足约束条件：
但可能会不满足其他约束条件，因此，所述可行域投影阶段，就是在
基础上构造可行解
令
表示其他约束条件集合，进一步地，将集合
中的每个q投影到可行域中，构造问题P6：
其中，
由于P6是一个整数非线性规划问题，求解困难，因此，本发明引入下面这个问题(P7)：
其中，
表示一个最优解。通过分析优化问题P6的性质，可以发现P7和P6是等价的，也就是说
进一步地，所述比特重分配阶段，依照上述阶段得到的最优解
重新分配每个子信道上的数据比特，构造优化问题(P8)：
其中，
表示一个最优解。由于P8是一个凸优化问题，并且满足Slater条件，本发明采用KKT条件得到最优解的闭合表达式：
其中
满足
至此，优化问题3的最优解均已得到。如前所述，本发明提出的低复杂度算法与传统求解方法BnB方法相比，计算复杂度显著下降。图4和图5分别比较了本发明所提算法Algorithm3和BnB方法的能耗及运行时间，实验参数设置如下：
C＝6，S＝8，T＝30ms，B＝1MHz，σ2＝10-9，M＝6×105bits，其中，算法3的情况1表示Q＝NS，算法3的情况2表示
BnB方法的所有点都是通过平均50个信道和调度状态实现得到的。观察图4和图5可以发现，当辅助器个数和子信道个数越多时，能耗越小，但是运行时间越长。此外，还可以看到本发明所提算法实现了几乎与BnB方法相同的性能，但其运行时间远远小于BnB方法，验证了本发明所提算法的适用性和有效性。
进一步地，在优化问题3的最优解的基础上，求解优化问题4。所述优化问题4是一个可微的非凸函数。本发明利用惩罚凸凹法Algorithm5求解优化问题4。
进一步地，通过引入变量
将所有辅助器的调度概率变量变换为：
于是，将优化问题4等效转化为优化问题(P9)：
其中，目标函数表示为：
由于优化问题P9的第三个约束条件是凹的，P9是一个凸差函数，可以利用惩罚凸凹法求解。
进一步地，引入松弛变量到P9的第三个约束条件中，并惩罚违反该约束的行为，构造惩罚凸差问题(P10)：
ψ≥0,
其中τ＞0是惩罚参数，ψ是引入的松弛变量。
进一步地，本发明利用惩罚凸凹法求解P10，令j＝0，1，2，…表示惩罚凸凹法的迭代序号，解决第j+1次迭代需要解决下述问题：
ψ≥0，
其中τ(j)表示第j轮迭代的惩罚值，(t(j+1)，ψ(j+1))表示最优解。
考虑一种特殊情况，被选中设备数目C＝1。此时，优化问题P4是一个凸优化问题，本发明利用KKT条件求得其最优解为：
其中，
并且μ*满足：
进一步地，观察C＝1时优化问题P4的最优解表达式，梯度范数和能耗联合影响调度概率。具体地说，梯度范数越大，调度概率越高；而上传能耗越高的辅助器被调度的概率越低。
至此，所述边缘服务器根据梯度散度和辅助器传输信道状态，按照本发明提出的调度方法，决定可行的调度和资源分配方案，已经全部完成。
所述边缘服务器根据方案调度辅助器，边缘服务器经上述阶段决定辅助器调度方案后，执行调度操作。
所述被调度的辅助器上传加权梯度，上述阶段边缘服务器决定了调度辅助器集合
以及资源分配策略
集合
中的辅助器n按照资源分配策略
向基站上传聚合梯度
该步骤完成更新后的本地梯度上传工作，以进行下一步全局模型更新，完成上述步骤之后，全局机器学习模型更新操作才能得到所有需要的参数。
步骤4，机器学习模型更新。本步骤包括两个阶段：边缘服务器计算全局梯度；边缘服务器更新全局模型。
所述边缘服务器计算全局梯度，在上述步骤得到的随机调度状态Y(i)下，位于基站的边缘服务器计算聚合全局梯度：
所述边缘服务器更新全局模型，边缘服务器利用上述阶段得到的全局梯度
更新第i+1轮机器学习模型：
该步骤完成全局梯度计算和全局机器学习模型更新，完成一轮训练所有环节，得到第i轮训练结果和第i+1轮初始全局模型。
上述过程中，步骤4完成后，回到步骤2，进行下一轮训练。如此迭代，完成指定次数训练后，联邦学习训练结束。
图6为应用于MNIST数据集的不同方案的训练准确度在训练轮次增加的情况下的变化情况图。
对比方案1表示统一调度方案，辅助器集合
中的每个辅助器n被调度的概率相同：
对比方案2表示梯度感知调度，调度决策只受加权梯度影响，辅助器集合
中的每个辅助器n被调度的概率与它的加权梯度
成正比，即：
对比方案3表示能量感知调度，调度决策只受能耗影响，辅助器集合
中的每个辅助器n被调度的概率与它在所有随机调度状态
上的总能耗成反比，即：
其中，
表示辅助器n在所有随机调度状态
上的总能耗。
观察图6可以发现，首先，平均调度(即对比方案1)比梯度感知调度(即对比方案2)和能量感知调度(即对比方案3)获得更高的测试精度，这表明不能仅利用梯度散度来确定待调度的集合，也不能仅仅根据无线信道状态来确定待调度的集合，这是因为如果调度策略仅依赖于梯度散度时，被调度的设备结合可能拥有较差的无限信道条件，因此它们可能不能把梯度上传到边缘服务器；如果调度策略仅依赖于信道状态时，被调度集群可能有较大的梯度散度，这会降低学习性能。然后，本发明提出的调度方法在测试精度方面普遍优于其它对比方案，但是，如果平均总能耗和梯度散度加权系数λ取值不同时，本发明所提方案测试精确度可能差异较大，因此，需要说明的是，在利用本发明方案时，需要选取适当的λ值。
图7表示应用于MNIST数据集的不同方案的设备总能耗在训练轮次增加的情况下的变化情况，观察图中曲线可以发现，首先，本发明所提方案的设备总能耗整体小于其它对比方案，说明本发明所提方案可以减少系统能耗，达到加速模型训练的同时降低设备总能耗、提高系统能效的目的。另外，当平均总能耗和梯度散度加权系数λ取值不同时，本发明所提方案的设备总能耗差异较大，因此，需要说明的是，在利用本发明方案时，需要选取适当的λ值。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：该方法为：设置H-FEEL系统，包括一个单天线基站，若干个辅助器和它们服务的多个边缘设备；基站将初始模型广播给各个边缘设备，各个边缘设备根据收到的模型计算本地梯度，随后将计算结果上传到对应的辅助器，各个辅助器计算加权梯度，然后依照基站指示的调度和资源分配策略，通过无线信道上传加权梯度，基站根据辅助器上传的加权梯度对学习模型进行更新，再次广播到各个边缘设备，不断迭代，直到模型收敛为止。
2.根据权利要求1所述的一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：所述H-FEEL系统，包括：
一个基站，共有N个辅助器，用集合
表示，每个辅助器通过无线信道和基站通信，对于其中某个辅助器n，它管理一组边缘设备，记为
Kn表示在第n组中的用户设备数量；对于在第n组中的用户k，其本地数据集用集合
表示，其中
表示一个V维的输入向量，
表示
对应的标签值；总的用户数用
表示，所有用户保存的数据样本可以用
表示；
所述H-FEEL系统的任务是在不牺牲用户隐私的前提下利用所有用户的数据集训练一个通用的有监督机器学习模型；首先，为每个数据样本
定义一个损失函数
用以量化机器学习模型
的输入
与真值标签
之间的预测误差，在数据集
上的机器学习模型w的本地损失函数被定义为
在整个数据集
上的全局损失函数表示为
训练一个机器学习模型就是要找到一个最优模型向量w*，使得全局损失函数L(w)最小，即
3.根据权利要求2所述的一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：所述各个边缘设备根据收到的模型计算本地梯度，随后将计算结果上传到对应的辅助器，各个辅助器计算加权梯度具体为：
辅助器n管理的边缘设备k根据本地数据集
和从基站广播信息中接收到的模型w(i)，计算本地损失函数梯度：
其中
表示本地损失函数Lk，n(w)在w＝w(i)处的梯度；辅助器n收集它管理的每个用户更新后的梯度，并计算它们的加权和：
4.根据权利要求3所述的一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：所述基站指示的调度和资源分配策略包括基站对辅助器的调度和辅助器上传加权梯度过程中的无线资源分配：
由于带宽和无线资源有限，每轮训练中只有一部分辅助器可以被调度上传加权梯度到基站；定义概率
表示在第i轮模型训练中，辅助器n被调度的概率，令向量
表示第i轮通信中被选中的辅助器的概率分布；p(i)由无线信道条件和所有辅助器的加权梯度共同决定，在考虑辅助器调度方案的同时，还要考虑无线信道的分配方案；设每轮通信中最多调度C个辅助器，用
表示第i次迭代中的随机调度状态，随机调度状态的概率分布可以表示为
其中
根据每轮训练选中的辅助器序号得到对应概率分布，从而设计辅助器调度方案。
5.根据权利要求4所述的一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：所述设计辅助器调度方案为：在确定被调度的辅助器集合
之后，考虑加权梯度上传过程中的无线信道分配；假定被调度的辅助器将通过OFDMA系统上传加权梯度到基站，该OFDMA系统共有S个子信道，用集合
表示；每个辅助器上传加权梯度时会有相应的能量消耗En，每轮训练中所有被调度的辅助器上传加权梯度的总能耗可以通过计算所有随机调度状态对应的平均传输总能耗得到。
6.根据权利要求5所述的一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：所述基站根据辅助器上传的加权梯度对学习模型进行更新具体为：
计算模型中的全局梯度
基站计算的全局梯度是对梯度真值g(i)的无偏估计；得到全局梯度之后，根据模型更新公式对学习模型进行更新
本地梯度计算、加权梯度上传和学习模型更新将会被重复执行直到模型收敛为止；
假定全局损失函数的梯度
满足μ-Lipschitz条件，则有：
其中，
根据上述训练算法的一轮训练收敛速度表达式，辅助器调度策略对训练算法收敛速度有直接影响；定义“梯度散度”来量化每个辅助器上传的加权梯度的重要性，用I(p(i))表示，收敛表达式表明梯度散度越小，训练算法收敛越快。
7.根据权利要求6所述的一种面向高性能分层联邦边缘学习的调度与资源分配方法，其特征在于：该方法还包括通过最优调度和资源分配最小化能耗和梯度散度的加权和，即
将目标函数等效转化为可求解的形式，将转化后的问题按照其数学结构性质分解为两个子问题：数据和子信道分配问题、辅助器调度问题分别求解；
第一个子问题是一个可以求解的混合整数规划凸优化问题，通常采用分支定界法BnB获得最优解，求解对应的松弛凸问题，然后对最优解进行适当的取整，进而得到一个低复杂度的次优解；
第二个子问题的目标函数是一个最小化线性约束集上的可微函数，利用惩罚凸凹法得到调度多个辅助器的一般情况下的次优解；在只调度一个辅助器的特殊情况下，利用KKT条件求解问题得到该子问题的最优解。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110896173.6A CN113504999B (zh) | 2021-08-05 | 2021-08-05 | 一种面向高性能分层联邦边缘学习的调度与资源分配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110896173.6A CN113504999B (zh) | 2021-08-05 | 2021-08-05 | 一种面向高性能分层联邦边缘学习的调度与资源分配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113504999A true CN113504999A (zh) | 2021-10-15 |
| CN113504999B CN113504999B (zh) | 2023-07-04 |
Family
ID=78015044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110896173.6A Active CN113504999B (zh) | 2021-08-05 | 2021-08-05 | 一种面向高性能分层联邦边缘学习的调度与资源分配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113504999B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114051222A (zh) * | 2021-11-08 | 2022-02-15 | 北京工业大学 | 一种车联网环境下基于联邦学习的无线资源分配和通信优化方法 |
| CN114302421A (zh) * | 2021-11-29 | 2022-04-08 | 北京邮电大学 | 通信网络架构的生成方法、装置、电子设备及介质 |
| CN114363911A (zh) * | 2021-12-31 | 2022-04-15 | 哈尔滨工业大学（深圳） | 一种部署分层联邦学习的无线通信系统及资源优化方法 |
| CN114363923A (zh) * | 2021-11-30 | 2022-04-15 | 山东师范大学 | 一种基于联邦边缘学习的工业物联网资源分配方法及系统 |
| CN114546608A (zh) * | 2022-01-06 | 2022-05-27 | 上海交通大学 | 一种基于边缘计算的任务调度方法 |
| CN114650228A (zh) * | 2022-03-18 | 2022-06-21 | 南京邮电大学 | 一种异构网络中基于计算卸载的联邦学习调度方法 |
| CN115278708A (zh) * | 2022-07-25 | 2022-11-01 | 中国电子科技集团公司第五十四研究所 | 一种面向联邦学习的移动边缘计算资源管理方法 |
| WO2023071789A1 (zh) * | 2021-10-26 | 2023-05-04 | 展讯通信（上海）有限公司 | 联邦学习方法及装置、通信方法及装置 |
| CN116074939A (zh) * | 2023-03-07 | 2023-05-05 | 南京邮电大学 | 一种基于动态优化的物联网边缘设备协同接入方法 |
| WO2023093238A1 (zh) * | 2021-11-29 | 2023-06-01 | 北京邮电大学 | 利用学习模型进行业务处理的方法以及装置 |
| WO2023102754A1 (zh) * | 2021-12-07 | 2023-06-15 | Oppo广东移动通信有限公司 | 一种通信方法及装置、通信设备 |
| CN116484922A (zh) * | 2023-04-23 | 2023-07-25 | 深圳大学 | 一种联邦学习方法、系统、设备及存储介质 |
| CN117596592A (zh) * | 2023-12-01 | 2024-02-23 | 广西大学 | 一种基于区块链的无人机联邦学习的梯度选择方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10002029B1 (en) * | 2016-02-05 | 2018-06-19 | Sas Institute Inc. | Automated transfer of neural network definitions among federated areas |
| US20180349508A1 (en) * | 2016-02-05 | 2018-12-06 | Sas Institute Inc. | Automated transfer of neural network definitions among federated areas |
| CN110417605A (zh) * | 2019-09-16 | 2019-11-05 | 重庆大学 | 一种基于网络功能虚拟化的移动边缘计算节点放置方法 |
| CN110839075A (zh) * | 2019-11-08 | 2020-02-25 | 重庆大学 | 边缘计算环境下基于粒子群的服务迁移方法 |
| CN111401552A (zh) * | 2020-03-11 | 2020-07-10 | 浙江大学 | 一种基于调整批量大小与梯度压缩率的联邦学习方法和系统 |
| CN112070240A (zh) * | 2020-09-07 | 2020-12-11 | 清华大学 | 一种高效通信的分层联邦学习框架及其优化方法和系统 |
| CN112235062A (zh) * | 2020-10-10 | 2021-01-15 | 中国科学技术大学 | 一种对抗通信噪声的联邦学习方法和系统 |
| CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
| CN112804107A (zh) * | 2021-01-28 | 2021-05-14 | 南京邮电大学 | 一种物联网设备能耗自适应控制的分层联邦学习方法 |
| CN112817653A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 一种基于云边端的联邦学习计算卸载计算系统及方法 |
-
2021
- 2021-08-05 CN CN202110896173.6A patent/CN113504999B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10002029B1 (en) * | 2016-02-05 | 2018-06-19 | Sas Institute Inc. | Automated transfer of neural network definitions among federated areas |
| US20180349508A1 (en) * | 2016-02-05 | 2018-12-06 | Sas Institute Inc. | Automated transfer of neural network definitions among federated areas |
| CN110417605A (zh) * | 2019-09-16 | 2019-11-05 | 重庆大学 | 一种基于网络功能虚拟化的移动边缘计算节点放置方法 |
| CN110839075A (zh) * | 2019-11-08 | 2020-02-25 | 重庆大学 | 边缘计算环境下基于粒子群的服务迁移方法 |
| CN111401552A (zh) * | 2020-03-11 | 2020-07-10 | 浙江大学 | 一种基于调整批量大小与梯度压缩率的联邦学习方法和系统 |
| CN112070240A (zh) * | 2020-09-07 | 2020-12-11 | 清华大学 | 一种高效通信的分层联邦学习框架及其优化方法和系统 |
| CN112235062A (zh) * | 2020-10-10 | 2021-01-15 | 中国科学技术大学 | 一种对抗通信噪声的联邦学习方法和系统 |
| CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
| CN112817653A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 一种基于云边端的联邦学习计算卸载计算系统及方法 |
| CN112804107A (zh) * | 2021-01-28 | 2021-05-14 | 南京邮电大学 | 一种物联网设备能耗自适应控制的分层联邦学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| S. D. EROKHIN等: "The possibilities of using machine learning methods to solve political problems", 《2018SYSTEMS OF SIGNAL SYNCHRONIZATION, GENERATING AND PROCESSING IN TELECOMMUNICATIONS (SYNCHROINFO)》 * |
| 徐明枫: "雾无线接入网络计算和通信协同性能分析与优化", 《中国优秀硕士学位毕业论文全文数据库》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023071789A1 (zh) * | 2021-10-26 | 2023-05-04 | 展讯通信（上海）有限公司 | 联邦学习方法及装置、通信方法及装置 |
| CN114051222A (zh) * | 2021-11-08 | 2022-02-15 | 北京工业大学 | 一种车联网环境下基于联邦学习的无线资源分配和通信优化方法 |
| CN114302421A (zh) * | 2021-11-29 | 2022-04-08 | 北京邮电大学 | 通信网络架构的生成方法、装置、电子设备及介质 |
| WO2023093238A1 (zh) * | 2021-11-29 | 2023-06-01 | 北京邮电大学 | 利用学习模型进行业务处理的方法以及装置 |
| CN114363923A (zh) * | 2021-11-30 | 2022-04-15 | 山东师范大学 | 一种基于联邦边缘学习的工业物联网资源分配方法及系统 |
| CN114363923B (zh) * | 2021-11-30 | 2024-03-26 | 山东师范大学 | 一种基于联邦边缘学习的工业物联网资源分配方法及系统 |
| WO2023102754A1 (zh) * | 2021-12-07 | 2023-06-15 | Oppo广东移动通信有限公司 | 一种通信方法及装置、通信设备 |
| CN114363911B (zh) * | 2021-12-31 | 2023-10-17 | 哈尔滨工业大学（深圳） | 一种部署分层联邦学习的无线通信系统及资源优化方法 |
| CN114363911A (zh) * | 2021-12-31 | 2022-04-15 | 哈尔滨工业大学（深圳） | 一种部署分层联邦学习的无线通信系统及资源优化方法 |
| CN114546608A (zh) * | 2022-01-06 | 2022-05-27 | 上海交通大学 | 一种基于边缘计算的任务调度方法 |
| CN114546608B (zh) * | 2022-01-06 | 2024-06-07 | 上海交通大学 | 一种基于边缘计算的任务调度方法 |
| CN114650228A (zh) * | 2022-03-18 | 2022-06-21 | 南京邮电大学 | 一种异构网络中基于计算卸载的联邦学习调度方法 |
| CN114650228B (zh) * | 2022-03-18 | 2023-07-25 | 南京邮电大学 | 一种异构网络中基于计算卸载的联邦学习调度方法 |
| CN115278708B (zh) * | 2022-07-25 | 2024-05-14 | 中国电子科技集团公司第五十四研究所 | 一种面向联邦学习的移动边缘计算资源管理方法 |
| CN115278708A (zh) * | 2022-07-25 | 2022-11-01 | 中国电子科技集团公司第五十四研究所 | 一种面向联邦学习的移动边缘计算资源管理方法 |
| CN116074939B (zh) * | 2023-03-07 | 2023-08-15 | 南京邮电大学 | 一种基于动态优化的物联网边缘设备协同接入方法 |
| CN116074939A (zh) * | 2023-03-07 | 2023-05-05 | 南京邮电大学 | 一种基于动态优化的物联网边缘设备协同接入方法 |
| CN116484922A (zh) * | 2023-04-23 | 2023-07-25 | 深圳大学 | 一种联邦学习方法、系统、设备及存储介质 |
| CN116484922B (zh) * | 2023-04-23 | 2024-02-06 | 深圳大学 | 一种联邦学习方法、系统、设备及存储介质 |
| CN117596592A (zh) * | 2023-12-01 | 2024-02-23 | 广西大学 | 一种基于区块链的无人机联邦学习的梯度选择方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113504999B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113504999B (zh) | 一种面向高性能分层联邦边缘学习的调度与资源分配方法 | |
| Yu et al. | Toward resource-efficient federated learning in mobile edge computing | |
| CN113242568B (zh) | 一种不确定网络环境中的任务卸载和资源分配方法 | |
| Wang et al. | Machine learning for 5G and beyond: From model-based to data-driven mobile wireless networks | |
| Yoshida et al. | MAB-based client selection for federated learning with uncertain resources in mobile networks | |
| CN110505644B (zh) | 用户任务卸载与资源分配联合优化方法 | |
| CN112105062B (zh) | 时敏条件下移动边缘计算网络能耗最小化策略方法 | |
| Wen et al. | Joint parameter-and-bandwidth allocation for improving the efficiency of partitioned edge learning | |
| CN112839382B (zh) | 一种车联网中视频语义驱动的通信和计算资源联合分配方法 | |
| Shen et al. | Transfer learning for mixed-integer resource allocation problems in wireless networks | |
| Kim et al. | Green, quantized federated learning over wireless networks: An energy-efficient design | |
| Shang et al. | Computation offloading and resource allocation in NOMA–MEC: A deep reinforcement learning approach | |
| CN114650228A (zh) | 一种异构网络中基于计算卸载的联邦学习调度方法 | |
| CN111328146B (zh) | 一种基于遗传算法优化传输速率权重的业务调度方法 | |
| CN104168569A (zh) | 一种认知异构网络的动态频谱分配方法 | |
| CN114554495B (zh) | 一种面向联邦学习的用户调度和资源分配方法 | |
| Huang et al. | Wireless federated learning with hybrid local and centralized training: A latency minimization design | |
| CN115866787A (zh) | 融合终端直传通信和多接入边缘计算的网络资源分配方法 | |
| Chen et al. | Semi-asynchronous hierarchical federated learning for cooperative intelligent transportation systems | |
| CN116089091A (zh) | 基于物联网边缘计算的资源分配和任务卸载方法 | |
| Lin et al. | CFLIT: Coexisting federated learning and information transfer | |
| Liu et al. | FedAGL: A communication-efficient federated vehicular network | |
| Merluzzi et al. | Energy-efficient classification at the wireless edge with reliability guarantees | |
| Wen et al. | Adaptive subcarrier, parameter, and power allocation for partitioned edge learning over broadband channels | |
| Chen et al. | Semi-asynchronous hierarchical federated learning over mobile edge networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |