CN117808123A - 一种基于多中心分层联邦学习的边缘服务器再分配方法 - Google Patents
一种基于多中心分层联邦学习的边缘服务器再分配方法 Download PDFInfo
- Publication number
- CN117808123A CN117808123A CN202410219428.9A CN202410219428A CN117808123A CN 117808123 A CN117808123 A CN 117808123A CN 202410219428 A CN202410219428 A CN 202410219428A CN 117808123 A CN117808123 A CN 117808123A
- Authority
- CN
- China
- Prior art keywords
- edge server
- cost
- representing
- edge
- federation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000012549 training Methods 0.000 claims abstract description 108
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000007728 cost analysis Methods 0.000 claims abstract description 8
- 238000002910 structure generation Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 27
- 238000004220 aggregation Methods 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 7
- 238000002474 experimental method Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 241000209510 Liliopsida Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 125000005842 heteroatom Chemical group 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229920003087 methylethyl cellulose Polymers 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于移动边缘计算与分布式机器学习应用领域，公开了一种基于多中心分层联邦学习的边缘服务器再分配方法。基于多中心分层联邦学习架构，提出了一种边缘服务器重新分配方案。通过建立MHFL的训练成本分析模型，从理论上分析了联邦学习训练消耗，并量化了边缘服务器分配对联邦学习收敛性的影响。为重新分配边缘服务器，提高MHFL的训练效率，将其建模为一个基于多项目拍卖边缘服务器再分配问题。由于该问题是混合整数线性规划问题，无法在多项式内求解，为了简化问题和改善决策，提出了一种基于联盟结构生成的算法及其贪婪匹配的版本。最后，通过进行了大量的数值实验，结果验证了该方案的有效性。
Description
技术领域
本发明涉及移动边缘计算与分布式机器学习应用领域，尤其涉及一种基于多中心分层联邦学习的边缘服务器再分配方法。
背景技术
在移动边缘计算（Mobile Edge Computing, MEC）网络中，人工智能应用不断产生大量数据，需要对这些数据进行分析，以获得对业务优势和决策有价值的模式。同时，为了促进人工智能的大规模高效部署，人工智能和MEC的融合产生了边缘智能（EdgeIntelligence，EI）。EI使分布式数据所有者能够协作生成全局模型，而无需共享他们的原始数据。因此，提出了一种新的分布式机器学习（Machine Learning， ML）方法，称为联邦学习（Federated Learning，FL）。与集中式训练范式相比，FL将ML任务卸载到数千个地理分布的用户设备（User Equipment，UE），UE使用本地数据协作训练ML模型，用于服务器中的模型聚合。
为了大规模部署EI应用，分层FL正在成为在MEC中实现高效FL的解决方案，它由云级聚合器和多个边缘级聚合器组成。在分层FL中，边缘级聚合器组合本地UE模型以产生多个边缘级模型。然后，云级聚合器通过聚合边缘级模型获得全局模型，并将更新后的全局模型返回给其UE，用于下一轮局部训练。为了简单起见，系统实现了一个分层的FL进程，可以称之为单个分层联邦。然而，由于海量UE、异构数据和有限的资源，单一层次联邦可能会导致通信失败、长周期训练过程和训练精度下降。为此，通过选择具有较高能力和数据质量的客户，提出了资源管理方法，如客户选择和激励机制设计。这些研究旨在通过优化技术和强化学习来提高训练效率，合理消耗资源。
然而，在MEC部署这样的架构涉及几个进一步的实际挑战。首先，利用单个分层联邦来大规模地服务于大规模UE导致更低效的联邦学习训练流程。例如，跨网络运营商的设备共享、网络基础设施的多样性以及不均匀的地理基础设施分布可能会消耗大量资源来构建单个联邦。其次，MEC中的UE通常缺乏很强的通信能力，这可能导致UE选择最近的边缘服务器作为其网络接入点。由于网络基础设施分配不均，UE中缺乏对数据隔离的考虑，基于邻近度的UE-边缘服务器连接可能会放大数据异构性的影响，降低相应的边缘级模型，从而降低训练效率。第三，FL中现有的客户端选择方法缺乏对快速增长的UE的考虑。由于一个FL过程中有多个客户端参与，现有的资源管理和客户端调度问题的规模可能会超线性增加，使问题难以解决。最后，大多数现有的研究需要客户的额外隐私来做出决定，例如通信和计算能力、本地数据的质量和数量以及预训练结果。这种信息收集可能会导致客户隐私的泄露，这与FL的初衷背道而驰。
发明内容
为了缓解这些挑战，我们提出了一种称为多中心分层联邦学习（MultipleHierarchical Federated Learning, MHFL）的架构，然后设计了一种隐私保护的边缘服务器重新分配方案来提高MHFL中的训练效率。
本发明的技术方案如下：一种基于多中心分层联邦学习的边缘服务器再分配方法，建立一种多中心分层联邦学习架构MHFL；建立多中心分层联邦学习架构MHFL的训练成本分析模型；根据训练成本分析模型将边缘服务器分配问题建模为一个基于多项目拍卖边缘服务器再分配问题；设计一种基于联盟结构生成方法，将待分配边缘服务器组合为联盟，对联盟进行分配；针对无法被基于联盟结构生成方法简化的边缘服务器再分配问题，设计一种基于贪婪匹配的再分配决策方法，最终得到分配后的边缘服务器分配方案。
所述多中心分层联邦学习架构建立如下：
多中心分层联邦学习架构中存在多个联邦学习系统，每个联邦学习系统拥有自己的边缘服务器与中心云服务器，为对应区域的用户设备提供服务，组织联邦学习训练；在多中心分层联邦学习架构中，一个网络区域被多个联邦学习系统划分和覆盖，用户设备选择最近的边缘服务器作为其网络接入点；移动边缘计算网络MEC表示为 ，其中/>表示边缘服务器集，/>表示中心云服务器集；每个边缘服务器按地理位置部署在特定区域，为其覆盖范围内的用户设备UE 提供服务，并分配给指定的联邦学习系统；联邦学习系统通过中心云服务器管理和控制各自的边缘服务器；每个边缘服务器/>的资源限制由决定，其中/>代表计算资源，/>代表带宽资源；每个中心云服务器/>的容量限制其访问指定数量的边缘服务器/>；每个边缘服务器与其覆盖范围内的用户设备UE 建立无线连接，与中心云服务器建立有线连接；/>表示一个用户设备UE，/>表示用户设备对应的数据，其中/>为整数，/>表示边缘计算网络中用户设备的总数；/>的数据量由/>给出。
所述训练成本分析模型包括通信成本模型、聚合成本、训练成本模型和经济成本消耗；
所述通信成本模型具体为： 表示在第/>次迭代中从/>向边缘服务器/>传输单位量数据的成本，/>更新其模型到分配的边缘服务器/>的通信开销显示为，
（1）
其中表示边缘服务器/>下用户设备/>的模型参数的数量；
表示从边缘服务器/>到中心云服务器/>传输单位量数据的成本，/>和之间的通信成本表述为，
其中表示边缘服务器/>的模型参数的数量；联邦学习系统处理期间的通信成本/>表述为，
（2）
其中表示全局通信轮次，/>表示边缘通信轮次，每当进行/>次边缘通信后，进行一次全局通信，整个训练流程共进行全局通信/>轮； />表示在第/>次迭代中从/>向边缘服务器/>传输单位量数据的成本；
聚合成本：表示参与联邦学习过程的/>的注册UE的集合，边缘服务器/>的数据聚合开销显示为，
（3）
其中表示在/>中聚合局部模型的成本；
中心云服务器的聚合成本是，
（4）
其中是一个指示符变量，表示/>是否被选中参与联邦学习训练过程；联邦学习训练过程中的总数据聚合成本为
（5）
训练成本模型：表示客户端的训练成本，/>表示处理单位数据量的成本，训练成本为，
（6）
经济成本消耗包括维护成本、计算成本和传输成本，提出一个联邦学习训练运行时间模型，根据联邦学习训练运行时间模型并结合单位时间维护成本、单位计算成本和单位传输成本分别将维护成本、计算成本和传输成本转化为对应的经济成本消耗；将分配给边缘服务器的UE最长训练时间表示为/>，其中/>表示每个单独的边缘通信轮，相当于/>的运行时间；中心云服务器的运行时间由所有边缘服务器中最长的运行时间/>决定，即，
（7）
维护成本的经济成本消耗为，
（8）
其中因子和/>分别表示边缘服务器/>和中心服务器的单位时间的经济消耗；
传输成本的经济成本消耗取决于无线通信成本和有线通信成本；
（9）
其中表示单位无线通信成本的经济成本，/>表示单位有线通信成本的经济成本；
计算成本的经济成本消耗由数据聚合计算资源消耗和云服务器或边缘服务器的异构能力决定，表述为，
（10）
其中和/>表示边缘服务器/>和云中心服务器聚合的经济消耗；承担分层联邦学习任务的总经济成本消耗如下，
（11）。
所述基于多项目拍卖边缘服务器再分配问题的构建如下：
提出一种度量联邦学习训练效率的评估指标作为训练效率Te，定义如下，
（12）
其中表示对应边缘服务器的编号， />表示该边缘服务器的模型与其他模型的相似程度，/>表示边缘服务器/>运行在/>个迭代轮次的总经济成本消耗；/>表示对应的全局迭代轮次；/>表示在t时刻的边缘服务器i上聚合所有对应的用户设备的模型生成的边缘服务器模型，/>表示对应边缘服务器模型的损失函数；
根据公式(12)计算训练效率并设定阈值，作为判断联邦中边缘服务器运行效率的评估指标，将不满足对应阈值的边缘服务器分类为需要进行再分配的低训练效率边缘服务器；根据一种基于联盟结构生成技术，生成多个联盟结构，作为边缘服务器再分配问题的输入，将各联盟结构生成的模型性能作为指标，根据连通成分 找出模型性能最优的联盟结构，得到的最优子联盟存储在/>，
（13）
其中和/>；
以低训练效率的边缘服务器组成的最优联盟结构、联邦集合/>、出价矩阵作为边缘服务器再分配问题的输入参数；
输出重新分配矩阵和支付向量/>。
所述基于多项目拍卖边缘服务器再分配问题的求解步骤如下，
首先初始化和/>后，求解以下ILP问题，使公式给出目标函数最大化的分配，即再分配收益最大化；
(c1)
(c2)
(c3)
(c4)
(c5)
(c6)
(c7)
(c8)
其中，表示在价值矩阵/>下的联邦/>出价向量，/>表示联邦/>对于联盟/>的估计价值，/>表示在价值矩阵/>下联邦/>对联盟h的分配结果，为0或者1，/>表示在价值矩阵/>下联邦e对联盟h的分配结果，其中/>，/>表示/>中不包含联邦e的部分，/>表示在价值矩阵/>下联邦e对联盟h的分配结果，表示在价值矩阵/> 下联邦e对联盟h的出价结果，表示在价值矩阵/>下联邦e对联盟h的出价结果，/>表示联邦e整个训练过程中的经济成本，/>表示联邦e整个训练过程中的经济成本上限，/>表示联邦e整个训练过程的训练时间，/>表示联邦e整个训练过程的训练时间上限；
约束条件c1,c2和c5分别确保每个联盟的分配满足个人理性、激励相容和负载可行的属性；约束条件c3表示分配的 CS 数量不能超过的大小；约束条件c4表明了/>的资源约束；/>表示/>能够访问的边缘服务器的最大数量；约束c6展示了按训练时间重新分配的效率；约束条件 c7 和c8分别表示是否分配和非负支付；/>定义为；/>表示联邦集合，/>表示所有价值向量的集合，/>表示联邦/>内符合训练效率阈值的边缘服务器的集合；
在每个联盟结构均被分配后，每个联邦确定其支付规则并给出对应的支付向量，支付结果如式所示；
（14）
其中，表示经过CSG过程生成的边缘服务器联盟结构集合，/>表示所有参与再分配的联邦集合，/>表示边缘服务器/>对于联邦/>的价值，/>表示最优的分配结果，表示在价值矩阵/>下的分配结果，/>表示联邦d对边缘服务器联盟c在最优情况下的分配结果，最后，会输出分配矩阵/>和支付向量/>。
所述基于联盟结构生成技术具体为：定义享乐偏好表征边缘服务器加入联盟的偏好；
享乐偏好的特征是每个边缘服务器只关心哪些边缘服务器在其联盟中，而不关心其他联盟中的边缘服务器如何分组；设计一个基于享乐偏好的联盟生成博弈来组织这些不合格的边缘服务器并重新分配它们；
基于享乐偏好的CSG博弈的形式定义如下，设是带分配的低效率边缘服务器的集合；设/>是包含/>中边缘服务器/>的所有联盟的集合；联盟结构是将边缘服务器/>的划分为不相交的联盟，基于享乐偏好的联盟生成博弈是一对/>，其中是偏好配置文件；偏好关系为CS中的每个代理/>上的自反、完全和传递二元关系；
为描述边缘服务器之间的偏好，引入选择集和最高响应的特性；选择集是最高响应度的基础，代表了个人希望与之联系的边缘服务器；边缘服务器/>的选择集定义为
（15）
，/>表示两个不同的/>的子集；
当属于集的每个边缘服务器/>都满足以下三个条件时，该博弈拥有最高响应的性质；
对于每个；对于每对/>, />；当， 对于/>中的每X,Y，如果/>并且/>，则/>；
这里， 代表边缘服务器/>根据/>在/>上的不同最大集合；
将挑选出的低训练效率的边缘服务器作为个体进行联盟生成，具体流程如下：
提出一种基于最高响应的算法来获得最优联盟结构；若边缘服务器属于某个边缘服务器的选择集，即/>，定义为/>，则称对于每一个/>，存在关于/> 的关系/>；边缘服务器/>被称为/>在/>中的邻居，/>相对于/>的连通成分/>定义如下，
（16）
基于最高响应的特性，利用连通成分，按照连通成分的集合大小依次为边缘服务器找出最优的联盟，并生成最优联盟结构。
所述基于贪婪匹配的再分配决策方法，具体如下：
贪婪匹配方案分别由分配阶段和支付阶段组成；分配阶段旨在为每个联盟选择候选边缘服务器；分配过程中根据不同联盟的重要性来分配所选的联盟结构；当每个联盟选择其分配的边缘服务器联盟结构时，贪婪匹配方案进入支付阶段；支付阶段称为其所有者要求的价格，作为对应的边缘服务器联盟结构的价值，记为/>；在分配阶段首先对联邦集合/>中每个/>的出价进行排序；之后，进行分配流程，其中如果/>没有分配给任何联盟，并且联邦/>没有超过其访问限制/>和预算/>，那么/>将被分配给有序集合/>中的第一个联邦/>；支付阶段将每个中标联盟所有者支付的价格定义为未中标联盟集合的最大投标值；联邦/>的最终付款市场结算价/>和分配矩阵/>计算得出。
本发明的有益效果：
（1）提出了一种多中心分层联邦学习架构，建立了训练成本分析模型，从理论上分析了训练消耗，量化了边缘服务器分配不合理对FL收敛的影响。
（2）此外，我们将边缘服务器重新分配问题公式化为一个多项目拍卖边缘服务器再分配问题，并集中讨论MHFL中的利润最大化问题。为了简化问题和增强决策，我们提出了联盟结构生成方法。
（3）此外，设计了一个新的基于Vickrey-Clarke-Groves（VCG）方案的支付规则，并证明了它在保证个体理性和激励相容性（即真实性）方面的能力。此外，我们提出了有效的贪婪算法来解决利润最大化问题，即使在大规模重新分配问题的情况下也能解决问题。
本发明所提出的方法进行全面的数值分析和大量的实验，验证了该方案在降低决策复杂度的同时，可以达到相同的训练效率。
附图说明
图1是单个联邦结构和多中心分层联邦学习结构的对比示意图。
图2是多中心分层联邦学习框架的详细示意图。
图3是联邦1基于MNIST数据集下不同边缘服务器再分配方案的模型精度结果图。
图4是联邦2基于MNIST数据集下不同边缘服务器再分配方案的模型精度结果图。
图5是联邦3基于MNIST数据集下不同边缘服务器再分配方案的模型精度结果图
图6是不同方案决策复杂度随重新分配的边缘服务器规模增大而变化的趋势的示意图一。
图7是不同方案决策复杂度随重新分配的边缘服务器规模增大而变化的趋势的示意图二。
具体实施方式
下面对本发明的具体实施方式做详细说明。
图1给出了单个分层联邦结构FL和多中心分层联邦学习结构MHFL之间的体系结构比较。具体来说，多中心分层联邦学习结构MHFL由一个区域中的多个分层联邦组成，其中每个联邦都有其云级、边缘级聚合器和相应的UE。MHFL不是在大范围内构建单一的分层联邦，而是将其划分为几个联邦，这可以减轻大规模参与UE的影响。此外，为了进一步提高MHFL中分层联邦的训练效率，我们提出了一种隐私保护的边缘服务器重新分配方案。据我们所知，这项工作是MHFL第一项关注训练效率与成本之间权衡的工作。我们提出了一种边缘服务器重新分配方案来缓解数据非独立同分布现象的影响并提高培训效率，而不需要UE信息。为了适应不同的场景，我们提出了多个版本的方案，以方便实践中的决策。
本实施方式的方法为：操作系统为linux，深度学习框架为pytorch与FedML。
步骤一：实现基于联盟结构生成的不合格边缘服务器的再分配算法。
第一步：本申请先提出一种度量联邦学习训练效率的评估指标即训练效率(Training Efficiency, TE)，定义如下
其中表示对应边缘服务器的编号，/>表示该边缘服务器的模型与其他模型的相似程度，/>表示边缘服务器/>运行在/>个迭代轮次的总经济成本消耗，包括计算与通信资源带来的经济成本，/>表示对应的全局迭代轮次。
如果边缘服务器的损失函数方差变化大、模型相似度小且经济消耗适当，那么它就执行了高效的 FL 训练过程，因此选择对应的/>可以提高 FL 效率并降低总经济消耗。
在根据选择出低效率的边缘服务器后，本发明提出了一种基于联盟结构生成(Coalition Structure Generation, CSG)的技术，降低再分配问题的规模以提升决策效率，具体来说利用利用连通成分/>找出最优联盟结构，得到的最优子联盟存储在/>，即
其中 和/>。
第二步：算法以不合格边缘服务器的最优联盟结构 、用/> 表示的联盟集合、出价矩阵/>作为输入参数。
算法的输出包括重新分配矩阵 和支付向量/>。
算法的步骤如下。
首先初始化和/>后，求解 ILP 问题，以确定使公式给出的目标函数最大化的分配。
(c1)
(c2)
(c3)
(c4)
(c5)
(c6)
(c7)
(c8)
其中，表示在价值矩阵/>下的联邦/>出价向量，/>表示联邦/>对于联盟/>的估计价值，/>表示在价值矩阵/>下联邦/>对联盟h的分配结果，为0或者1，/>表示在价值矩阵/>下联邦e对联盟h的分配结果，其中/>，/>表示/>中不包含联邦e的部分，/>表示在价值矩阵/>下联邦e对联盟h的分配结果，/>表示在价值矩阵/> 下联邦e对联盟h的出价结果，/>表示在价值矩阵下联邦e对联盟h的出价结果，/>表示联邦e整个训练过程中的经济成本，表示联邦e整个训练过程中的经济成本上限，/>表示联邦e整个训练过程的训练时间，/>表示联邦e整个训练过程的训练时间上限；
其中约束条件c1,c2和c5分别确保每个联盟的分配满足个人理性、激励相容和负载可行的属性；约束条件c3表示分配的 CS 数量不能超过的大小；约束条件c4表明了的资源约束；/>表示/>能够访问的边缘服务器的最大数量；约束c6展示了按训练时间重新分配的效率；约束条件 c7 和c8分别表示是否分配和非负支付；/>定义为；/>表示所有联邦集合，/>表示所有价值向量的集合，/>表示联邦/>内符合训练效率阈值的边缘服务器的集合。
在得到每个CS的分配结果后，每个联邦确定其支付规则并给出对应的支付向量，支付结果如公式所示。
最后，算法会输出重新分配矩阵和支付向量/>。
步骤二：设计基于贪婪匹配的最优分配算法的简化方案。
贪婪匹配方案分别由分配阶段和支付阶段组成。分配阶段旨在为每个联盟选择候选边缘服务器，以提高其训练效率。分配过程中的主要矛盾是多个联盟同时选择中的同一个边缘服务器。为了避免这一重叠问题，可以根据不同联盟的重要性来分配所选的联盟结构。当每个联盟选择其分配的边缘服务器联盟结构时，算法就会进入支付阶段。这种支付方案广泛应用于二价拍卖，以得出真实的出价。这一阶段也称为其所有者要求的价格，作为对应的边缘服务器联盟结构/>的临界值，记为/>。
在贪婪分配阶段首先对联邦集中每个/>的出价进行排序。之后，进行分配流程，其中如果/>没有分配给任何联盟，并且联邦/>没有超过其访问限制/>和预算/>，那么/>将被分配给有序集合/>中的第一个联邦/>。
支付阶段将每个中标联盟所有者支付的价格定义为未中标联盟集合的最大投标值。联邦的最终付款市场结算价/>和分配矩阵/>计算得出。
算法的决策复杂度取决于价值矩阵。让/>，/>的维度可能达到，这导致搜索最优解的成本很高。因此，我们使用每个联盟的保留值矩阵/>而不是/>来降低决策复杂度。与/>类似，/>由每个联邦的保留向量组成。但是，保留向量是通过贪婪搜索进行的，也就是说，每个联盟需要评估包含单个元素的/>子集（即单子集）的贡献，而不是搜索/>的幂集。因此，让/>, /> 是一个/>矩阵，它比小很多。
详细的估算过程如下。
首先将边缘服务器联盟结构，合格的边缘服务器集/>作为输入参数。之后进行贪婪搜索阶段，联邦/>在此阶段会找到能提高联盟性能的/>的单子集，并将其添加到/>。然后，根据它们的边际贡献对/>的值进行评估。最后，可以得到/>的保留值向量。此外，我们还可以将所有联邦的保留值向量合并，得出保留矩阵/>。
性能验证阶段
实现对应的边缘服务器再分配方法后，本发明对其进行了检测与验证。具体步骤如下：
第一步，为验证本发明的有效性，需构造对应的测试环境，我们考虑了一个有三个分层联盟的 MHFL 场景，将1000个客户端初始化并随机分配给10个边缘服务器。每个边缘服务器随机分配给一个联盟。为了模拟计算成本、通信成本和经济消耗，每个 UE 中的模型参数大小在[0.05, 0.5]MB 范围内随机抽取，该参数基于现有的机器学习模型（如 CNN、Logistic 等）计算和验证。通过无线链路传输 1MB 数据的成本取自 [0.1, 0.3] $ 单位，通过有线链路传输 1MB 数据的成本取自 [0.05, 0.2]单位。聚合 1MB 数据的成本，即单位计算成本，从云服务器的[0,0.1]单位和边缘服务器的 [0, 0.05] 单位中提取，分别代表云服务器和边缘服务器的不同容量。边缘服务器每单位时间内维持服务器在线的成本为[0, 0.1]$单位，云服务器为[0, 0.2]单位。运行时间由 FL 过程的总迭代次数和最长的设备训练时间决定，取值为 [0.3,0.5]。对应参数设置如下表所示。
表1 系统配置参数
| 字段名 | 字段值 | 含义 |
| batch size | 10 | 每次训练载入的数据量 |
| partition method | hetero | 异构的数据划分 |
| number of UE in total | 1000 | 参与训练的设备总数 |
| client num per round | 10 | 每轮训练选中的客户端 |
| client sampling method | Random | 如何选择每轮的客户端 |
| edge server participation | Uniform | 边缘服务器在每轮训练的参与方式 |
| learning rate | 0.001 | 步长 |
| frequency of the test | 25 for MNIST | 全局模型性能的测试频率 |
第二步，确定本算法的比较对象。主要为以下三种即基础配置，最优机制，贪婪选择机制，具体细节如下：
基础配置表示将10台边缘服务器随机分配给3个联盟，这可以视为MHFL的基线。基础配置中每个联盟的边缘服务器分配在现有工作中被广泛使用。将 MHFL 的基线配置设为第一个方案。它由三个联盟组成，所有10个边缘服务器都被随机分配到一个联盟中。
最优机制方案表示边缘服务器重新分配问题的最优解，表示不利用CSG简化问题的再分配方案。然而，由于 IPL 问题的求解难度，它的算法复杂度也是最高的。最优机制通常被用作训练精度的上界。
贪婪选择机制使用贪婪匹配法将每个不合格的边缘服务器分配给出价最高的联盟，从而得到边缘服务器再分配方案的近似解。在最近的研究中，基于贪婪的方法被广泛应用于预算激励机制中。
第三步，本地客户端对网络分类器进行初始化操作。各客户端载入训练数据，把转换好的数据放到数据文件下，这样pytorch框架会自动读取。设置本算法的训练参数和网络结构路径，系统会根据配置好的参数进行读取。
第四步，各个联邦进行训练。首先，中央服务器将初始模型下发给边缘服务器，再由边缘服务器转发客户端作为本地训练的基准模型。客户端利用本地数据训练局部模型，并记录训练消耗。随后，客户端将各自的本地模型参数上传至边缘服务器，边缘服务器聚合参数，在非全局聚合轮次，将聚合模型发送客户端继续训练，否则发送给中央服务器，并记录训练消耗。最后，中央服务器聚合模型参数，形成统一的全局模型参数，覆盖旧参数。重复以上步骤，直到达到预设的通信轮数，联邦学习过程结束。
第五步，性能比较。
为了训练和测试更加方便，本发明将训练过程封装为脚本文件，训练开始时首先调用封装好的训练脚本，该脚本中会设置命令行的参数，包括要训练所需要的支撑文件和工具类的路径、预训练权重等等。封装好后用户不必了解底层细节，直接调用脚本即可。本系统在python下完成配置文件、命令行参数的读取操作，然后通过调用训练函数完成训练的核心过程。最终并把结果保存到指定目录下。
精度相关结果：如图3、图4和图5所示与基本配置相比，重新分配方案显著提高了训练效率。例如，考虑到联邦1中的 Logistic MNIST 训练任务，经过 500 次迭代后，最佳拍卖方案、贪婪拍卖方案、基于联盟结构生成的不合格边缘服务器的再分配算法和其贪婪匹配版本的准确率分别为 75.79%、65.67%、73.22% 和 65.35%。相比之下，基本配置的准确率仅为 65.17%。具体来说，在 Logistic MNIST 训练任务中，最优拍卖和基于 CSG 的最优拍卖都比基本配置的准确率提高了近 10%。尽管考虑了经济消耗和模型相似性等多种因素，但每种重新分配方案都比基本配置获得了更高的准确率得分。
复杂度相关结果：图 6和图7展示了随着重新分配的边缘服务器的增加，决策复杂度的变化趋势。如图 6和图7所示，最优解的复杂度呈指数增长，其规模增长速度远高于其他解。然而，通过基于 CSG 的预处理，合并边缘服务器进行重新分配并缩小决策空间，我们可以将最优解的复杂度降低到合理的范围内。结合图3、图4和图5，本发明提出的基于 CSG的拍卖可以在较低的复杂度下获得相似的模型精度。同时，图6和图7中两种贪婪方式的解决方案都实现了决策复杂度随问题规模增大而线性增长的速率。
Claims (7)
1.一种基于多中心分层联邦学习的边缘服务器再分配方法，其特征在于，建立一种多中心分层联邦学习架构MHFL；建立多中心分层联邦学习架构MHFL的训练成本分析模型；根据训练成本分析模型将边缘服务器分配问题建模为一个基于多项目拍卖边缘服务器再分配问题；设计一种基于联盟结构生成方法，将待分配边缘服务器组合为联盟，对联盟进行分配；针对无法被基于联盟结构生成方法简化的边缘服务器再分配问题，设计一种基于贪婪匹配的再分配决策方法，最终得到分配后的边缘服务器分配方案。
2.根据权利要求1所述的基于多中心分层联邦学习的边缘服务器再分配方法，其特征在于，所述多中心分层联邦学习架构建立如下：
多中心分层联邦学习架构中存在多个联邦学习系统，每个联邦学习系统拥有自己的边缘服务器与中心云服务器，为对应区域的用户设备提供服务，组织联邦学习训练；在多中心分层联邦学习架构中，一个网络区域被多个联邦学习系统划分和覆盖，用户设备选择最近的边缘服务器作为其网络接入点；移动边缘计算网络MEC表示为 ，其中/>表示边缘服务器集，/>表示中心云服务器集；每个边缘服务器按地理位置部署在特定区域，为其覆盖范围内的用户设备UE 提供服务，并分配给指定的联邦学习系统；联邦学习系统通过中心云服务器管理和控制各自的边缘服务器；每个边缘服务器/>的资源限制由/>决定，其中/>代表计算资源，/>代表带宽资源；每个中心云服务器/>的容量限制其访问指定数量的边缘服务器/>；每个边缘服务器与其覆盖范围内的用户设备UE 建立无线连接，与中心云服务器建立有线连接；/>表示一个用户设备UE，/>表示用户设备对应的数据，其中/>为整数，/>表示边缘计算网络中用户设备的总数；/>的数据量由给出。
3.根据权利要求1所述的基于多中心分层联邦学习的边缘服务器再分配方法，其特征在于，所述训练成本分析模型包括通信成本模型、聚合成本、训练成本模型和经济成本消耗；
所述通信成本模型具体为： 表示在第/>次迭代中从/>向边缘服务器/>传输单位量数据的成本，/>更新其模型到分配的边缘服务器/>的通信开销显示为，
（1）
其中表示边缘服务器/>下用户设备/>的模型参数的数量；
表示从边缘服务器/>到中心云服务器/>传输单位量数据的成本，/>和/>之间的通信成本表述为，
其中表示边缘服务器/>的模型参数的数量；联邦学习系统处理期间的通信成本表述为，
（2）
其中表示全局通信轮次，/>表示边缘通信轮次，每当进行/>次边缘通信后，进行一次全局通信，整个训练流程共进行全局通信/>轮； />表示在第/>次迭代中从/>向边缘服务器/>传输单位量数据的成本；
聚合成本：表示参与联邦学习过程的/>的注册UE的集合，边缘服务器/>的数据聚合开销显示为，
（3）
其中表示在/>中聚合局部模型的成本；
中心云服务器的聚合成本是，
（4）
其中是一个指示符变量，表示/>是否被选中参与联邦学习训练过程；联邦学习训练过程中的总数据聚合成本为
（5）
训练成本模型：表示客户端的训练成本，/>表示处理单位数据量的成本，训练成本为，
（6）
经济成本消耗包括维护成本、计算成本和传输成本，提出一个联邦学习训练运行时间模型，根据联邦学习训练运行时间模型并结合单位时间维护成本、单位计算成本和单位传输成本分别将维护成本、计算成本和传输成本转化为对应的经济成本消耗；将分配给边缘服务器的UE最长训练时间表示为/>，其中/>表示每个单独的边缘通信轮，相当于/>的运行时间；中心云服务器的运行时间由所有边缘服务器中最长的运行时间/>决定，即，
（7）
维护成本的经济成本消耗为，
（8）
其中因子和/>分别表示边缘服务器/>和中心服务器的单位时间的经济消耗；
传输成本的经济成本消耗取决于无线通信成本和有线通信成本；
（9）
其中表示单位无线通信成本的经济成本，/>表示单位有线通信成本的经济成本；
计算成本的经济成本消耗由数据聚合计算资源消耗和云服务器或边缘服务器的异构能力决定，表述为，
（10）
其中和/>表示边缘服务器/>和云中心服务器聚合的经济消耗；承担分层联邦学习任务的总经济成本消耗如下，
（11）。
4.根据权利要求3所述的基于多中心分层联邦学习的边缘服务器再分配方法，其特征在于，所述基于多项目拍卖边缘服务器再分配问题的构建如下：
提出一种度量联邦学习训练效率的评估指标作为训练效率Te，定义如下，
（12）
其中表示对应边缘服务器的编号， />表示该边缘服务器的模型与其他模型的相似程度，/>表示边缘服务器/>运行在/>个迭代轮次的总经济成本消耗；/>表示对应的全局迭代轮次；/>表示在t时刻的边缘服务器i上聚合所有对应的用户设备的模型生成的边缘服务器模型，/>表示对应边缘服务器模型的损失函数；
根据公式(12)计算训练效率并设定阈值，作为判断联邦中边缘服务器运行效率的评估指标，将不满足对应阈值的边缘服务器分类为需要进行再分配的低训练效率边缘服务器；根据一种基于联盟结构生成技术，生成多个联盟结构，作为边缘服务器再分配问题的输入，将各联盟结构生成的模型性能作为指标，根据连通成分 找出模型性能最优的联盟结构，得到的最优子联盟存储在/>，
（13）
其中和/>；
以低训练效率的边缘服务器组成的最优联盟结构、联邦集合/>、出价矩阵/>作为边缘服务器再分配问题的输入参数；
输出重新分配矩阵和支付向量/>。
5.根据权利要求4所述的基于多中心分层联邦学习的边缘服务器再分配方法，其特征在于，所述基于多项目拍卖边缘服务器再分配问题的求解步骤如下，
首先初始化和/>后，求解以下ILP问题，使公式给出目标函数最大化的分配，即再分配收益最大化；
(c1)
(c2)
(c3)
(c4)
(c5)
(c6)
(c7)
(c8)
其中，表示在价值矩阵/>下的联邦/>出价向量，/>表示联邦/>对于联盟/>的估计价值，/>表示在价值矩阵/>下联邦/>对联盟h的分配结果，为0或者1，/>表示在价值矩阵/>下联邦e对联盟h的分配结果，其中/>，/>表示/>中不包含联邦e的部分，/>表示在价值矩阵/>下联邦e对联盟h的分配结果，/>表示在价值矩阵/> 下联邦e对联盟h的出价结果，/>表示在价值矩阵/>下联邦e对联盟h的出价结果，/>表示联邦e整个训练过程中的经济成本，/>表示联邦e整个训练过程中的经济成本上限，/>表示联邦e整个训练过程的训练时间，/>表示联邦e整个训练过程的训练时间上限；
约束条件c1,c2和c5分别确保每个联盟的分配满足个人理性、激励相容和负载可行的属性；约束条件c3表示分配的 CS 数量不能超过的大小；约束条件c4表明了/>的资源约束；/>表示/>能够访问的边缘服务器的最大数量；约束c6展示了按训练时间重新分配的效率；约束条件 c7 和c8分别表示是否分配和非负支付；/>定义为；/>表示联邦集合，/>表示所有价值向量的集合，/>表示联邦/>内符合训练效率阈值的边缘服务器的集合；
在每个联盟结构均被分配后，每个联邦确定其支付规则并给出对应的支付向量，支付结果如式所示；
（14）
其中，表示经过CSG过程生成的边缘服务器联盟结构集合，/>表示所有参与再分配的联邦集合，/>表示边缘服务器/>对于联邦/>的价值，/>表示最优的分配结果，/>表示在价值矩阵/>下的分配结果，/>表示联邦d对边缘服务器联盟c在最优情况下的分配结果，最后，会输出分配矩阵/>和支付向量/>。
6.根据权利要求4所述的基于多中心分层联邦学习的边缘服务器再分配方法，其特征在于，所述基于联盟结构生成技术具体为：定义享乐偏好表征边缘服务器加入联盟的偏好；
享乐偏好的特征是每个边缘服务器只关心哪些边缘服务器在其联盟中，而不关心其他联盟中的边缘服务器如何分组；设计一个基于享乐偏好的联盟生成博弈来组织这些不合格的边缘服务器并重新分配它们；
基于享乐偏好的CSG博弈的形式定义如下，设是带分配的低效率边缘服务器的集合；设/>是包含/>中边缘服务器/>的所有联盟的集合；联盟结构是将边缘服务器/>的划分为不相交的联盟，基于享乐偏好的联盟生成博弈是一对/>，其中/>是偏好配置文件；偏好关系为CS中的每个代理/>上的自反、完全和传递二元关系/>；
为描述边缘服务器之间的偏好，引入选择集和最高响应的特性；选择集是最高响应度的基础，代表了个人希望与之联系的边缘服务器；边缘服务器/>的选择集定义为
（15）
，/>表示两个不同的/>的子集；
当属于集的每个边缘服务器/>都满足以下三个条件时，该博弈拥有最高响应的性质；
对于每个；对于每对/>, />；当， 对于/>中的每X,Y，如果/>并且/>，则/>；
这里， 代表边缘服务器/>根据/>在/>上的不同最大集合；
将挑选出的低训练效率的边缘服务器作为个体进行联盟生成，具体流程如下：
提出一种基于最高响应的算法来获得最优联盟结构；若边缘服务器属于某个边缘服务器的选择集，即/>，定义为/>，则称对于每一个/>，存在关于 的关系/>；边缘服务器/>被称为/>在/>中的邻居，/>相对于/>的连通成分定义如下，
（16）
基于最高响应的特性，利用连通成分，按照连通成分的集合大小依次为边缘服务器找出最优的联盟，并生成最优联盟结构。
7.根据权利要求6所述的基于多中心分层联邦学习的边缘服务器再分配方法，其特征在于，所述基于贪婪匹配的再分配决策方法，具体如下：
贪婪匹配方案分别由分配阶段和支付阶段组成；分配阶段旨在为每个联盟选择候选边缘服务器；分配过程中根据不同联盟的重要性来分配所选的联盟结构；当每个联盟选择其分配的边缘服务器联盟结构时，贪婪匹配方案进入支付阶段；支付阶段称为其所有者要求的价格，作为对应的边缘服务器联盟结构的价值，记为/>；在分配阶段首先对联邦集合中每个/>的出价进行排序；之后，进行分配流程，其中如果/>没有分配给任何联盟，并且联邦/>没有超过其访问限制/>和预算/>，那么/>将被分配给有序集合中的第一个联邦/>；支付阶段将每个中标联盟所有者支付的价格定义为未中标联盟集合的最大投标值；联邦/>的最终付款市场结算价/>和分配矩阵/>计算得出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410219428.9A CN117808123A (zh) | 2024-02-28 | 2024-02-28 | 一种基于多中心分层联邦学习的边缘服务器再分配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410219428.9A CN117808123A (zh) | 2024-02-28 | 2024-02-28 | 一种基于多中心分层联邦学习的边缘服务器再分配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117808123A true CN117808123A (zh) | 2024-04-02 |
Family
ID=90425881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410219428.9A Pending CN117808123A (zh) | 2024-02-28 | 2024-02-28 | 一种基于多中心分层联邦学习的边缘服务器再分配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117808123A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026547A (zh) * | 2019-11-28 | 2020-04-17 | 云南大学 | 基于拍卖机制的边缘计算服务器资源分配方法 |
| US20200259896A1 (en) * | 2019-02-13 | 2020-08-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Industrial Automation with 5G and Beyond |
| CN113301158A (zh) * | 2021-05-25 | 2021-08-24 | 东北大学 | 一种移动边缘计算环境下基于拍卖理论的资源分配方法 |
| CN115278708A (zh) * | 2022-07-25 | 2022-11-01 | 中国电子科技集团公司第五十四研究所 | 一种面向联邦学习的移动边缘计算资源管理方法 |
| CN116149838A (zh) * | 2022-09-30 | 2023-05-23 | 中国人民解放军国防科技大学 | 云边端融合的隐私增强联邦学习系统 |
| CN116595094A (zh) * | 2023-05-12 | 2023-08-15 | 广东省农村信用社联合社 | 基于区块链的联邦学习激励方法、装置、设备和存储介质 |
| CN116933893A (zh) * | 2023-07-25 | 2023-10-24 | 南京邮电大学 | 一种无人机辅助联邦学习的方法 |
| CN117390664A (zh) * | 2023-08-28 | 2024-01-12 | 北京邮电大学 | 面向联邦学习的博弈驱动隐私自适应定价方法和装置 |
-
2024
- 2024-02-28 CN CN202410219428.9A patent/CN117808123A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200259896A1 (en) * | 2019-02-13 | 2020-08-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Industrial Automation with 5G and Beyond |
| CN111026547A (zh) * | 2019-11-28 | 2020-04-17 | 云南大学 | 基于拍卖机制的边缘计算服务器资源分配方法 |
| CN113301158A (zh) * | 2021-05-25 | 2021-08-24 | 东北大学 | 一种移动边缘计算环境下基于拍卖理论的资源分配方法 |
| CN115278708A (zh) * | 2022-07-25 | 2022-11-01 | 中国电子科技集团公司第五十四研究所 | 一种面向联邦学习的移动边缘计算资源管理方法 |
| CN116149838A (zh) * | 2022-09-30 | 2023-05-23 | 中国人民解放军国防科技大学 | 云边端融合的隐私增强联邦学习系统 |
| CN116595094A (zh) * | 2023-05-12 | 2023-08-15 | 广东省农村信用社联合社 | 基于区块链的联邦学习激励方法、装置、设备和存储介质 |
| CN116933893A (zh) * | 2023-07-25 | 2023-10-24 | 南京邮电大学 | 一种无人机辅助联邦学习的方法 |
| CN117390664A (zh) * | 2023-08-28 | 2024-01-12 | 北京邮电大学 | 面向联邦学习的博弈驱动隐私自适应定价方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| MING XIE 等: "Multi-Center Federated Learning", 《ARXIV:2108.08647V1 [CS.LG]》, 19 August 2021 (2021-08-19), pages 1 - 9 * |
| 任守纲;何自明;周正己;顾兴健;熊迎军;袁培森;徐焕良;: "基于CSBFT区块链的农作物全产业链信息溯源平台设计", 农业工程学报, no. 03, 8 February 2020 (2020-02-08) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiao et al. | Toward an automated auction framework for wireless federated learning services market | |
| Shakarami et al. | A review on the computation offloading approaches in mobile edge computing: A g ame‐theoretic perspective | |
| CN111757354B (zh) | 一种基于竞争博弈的多用户切片资源分配方法 | |
| Gandhi et al. | Towards real-time dynamic spectrum auctions | |
| Bouachir et al. | Federatedgrids: Federated learning and blockchain-assisted p2p energy sharing | |
| Lin et al. | Friend-as-learner: Socially-driven trustworthy and efficient wireless federated edge learning | |
| CN113615137B (zh) | Cdn优化平台 | |
| Lim et al. | Incentive mechanism design for resource sharing in collaborative edge learning | |
| Guerrero et al. | Genetic-based optimization in fog computing: Current trends and research opportunities | |
| Liu et al. | On spectrum allocation in cognitive radio networks: a double auction-based methodology | |
| Pang et al. | An incentive auction for heterogeneous client selection in federated learning | |
| Gomez et al. | Market-driven stochastic resource allocation framework for wireless network virtualization | |
| Ebadifard et al. | Federated geo-distributed clouds: optimizing resource allocation based on request type using autonomous and multi-objective resource sharing model | |
| Seid et al. | Blockchain-empowered resource allocation in multi-uav-enabled 5g-ran: A multi-agent deep reinforcement learning approach | |
| Seo et al. | Resource-efficient federated learning with non-iid data: An auction theoretic approach | |
| Fantacci et al. | A d2d-aided federated learning scheme with incentive mechanism in 6G networks | |
| Németh et al. | A snapshot of the frontiers of client selection in federated learning | |
| Seo et al. | Auction-based Federated Learning using Software-defined Networking for resource efficiency | |
| Zou et al. | ST-EUA: Spatio-temporal edge user allocation with task decomposition | |
| Zhao et al. | Profit optimization in spatial crowdsourcing: Effectiveness and efficiency | |
| Nguyen et al. | Blockchain as a service for multi-access edge computing: A deep reinforcement learning approach | |
| CN117808123A (zh) | 一种基于多中心分层联邦学习的边缘服务器再分配方法 | |
| Zhang et al. | Truthful mechanism for crowdsourcing task assignment | |
| Kumar et al. | Backhaul-aware storage allocation and pricing mechanism for RSU-based caching networks | |
| Li et al. | An efficient multi-model training algorithm for federated learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |