CN113919512A - 基于计算资源逻辑分层的联邦学习通信优化方法及系统 - Google Patents

基于计算资源逻辑分层的联邦学习通信优化方法及系统 Download PDF

Info

Publication number
CN113919512A
CN113919512A CN202111139211.XA CN202111139211A CN113919512A CN 113919512 A CN113919512 A CN 113919512A CN 202111139211 A CN202111139211 A CN 202111139211A CN 113919512 A CN113919512 A CN 113919512A
Authority
CN
China
Prior art keywords
clst
cluster
head
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111139211.XA
Other languages
English (en)
Other versions
CN113919512B (zh
Inventor
李开菊
王豪
张清华
夏英
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202111139211.XA priority Critical patent/CN113919512B/zh
Publication of CN113919512A publication Critical patent/CN113919512A/zh
Application granted granted Critical
Publication of CN113919512B publication Critical patent/CN113919512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于计算资源逻辑分层的联邦学习通信优化方法及系统，属于联邦机器学习领域，首先，云中心根据所有终端参与设备的本地计算资源大小将其划分为多个计算资源大小均衡的计算簇，并在每个计算簇中筛选一个计算资源最多的终端设备作为簇的Head节点，构建基于“云中心‑Head节点‑终端设备”一体的分层通信架构，实现粗粒度的簇间计算资源均衡。然后，在每个簇中，设计加权平均全局模型更新机制，将混合权重设置为Staleness的函数，使计算资源丰富的终端设备能够与Head节点进行更多轮通信，从而实现簇内协作训练，进而以细粒度的方式对计算资源进行再分配。本发明从本质上解决了联邦学习技术中的高通信代价问题。

Description

基于计算资源逻辑分层的联邦学习通信优化方法及系统
技术领域
本发明属于联邦机器学习领域，涉及一种基于计算资源逻辑分层的联邦学习通信优化方法及系统。
背景技术
随着科学技术的飞速发展，终端设备(如智能手机，可穿戴设备等)的使用量急剧增长。使用智能设备已成为人们生活不可或缺的一部分，然而，由终端设备所产生的大量数据为训练机器学习模型提供了巨大支撑。传统的机器学习模型训练通常采用基于云中心的方法，它需要终端设备上传所收集的所有本地数据至云中心，并由云中心集中完成推理模型的训练。但由于基于云训练的方式会造成用户隐私信息的泄露，导致越来越多的本地用户不愿共享其本地所搜集的数据参与模型的训练。因此，为保护用户个人隐私信息同时得到可用的机器学习模型，一种分布式的隐私保护人工智能框架-联邦学习应运而生。联邦学习可以使得在保护用户隐私的前提下，所有终端设备协作完成全局模型的训练。在联邦学习环境中，终端用户无需上传其本地敏感数据至云中心，在每轮迭代，终端用户只需传输其本地模型更新参数(如模型更新权重)参与模型聚集。
然而，由于在联邦学习环境中通常涉及大量的异构设备，这些设备通常具有不同的本地计算资源，网络带宽等。因此，终端设备如何与云中心通信是联邦学习实现的一个重要挑战。目前，联邦学习的通信方式大致可以划分为两类：1)同步通信；2)异步通信。在同步通信机制中，服务器同步聚集所有上传的本地模型更新参数。然而，在实际场景中，终端设备大多资源受限或者数据异构，因此，服务器必须等待终端设备中响应最慢的终端设备参与模型聚集，这就极大地延长了联邦学习的模型训练时间，从而造成了严重的通信开销(即Straggle问题)。为解决Straggle问题，异步通信机制被相继提出。异步通信机制要求云中心无需等待响应最慢的终端设备，而在收到一个本地模型更新后就会聚集全局模型，这种方式极大的减少了云中心的训练等待时间，从而提高了联邦学习的通信效率。但是，现有研究大都是从全局模型更新方式的角度出发解决Straggle问题，他们并没有探究引起Straggle问题的本质原因，从而没有从本质上提高联邦学习的通信效率。因此，如何从本质上解决Straggle问题依然是提高联邦学习通信效率需要深入研究的开放性问题。
事实上，终端设备资源异构是引起Straggle问题的本质原因，联邦学习系统涉及大量的异构设备，这些设备通常具备不同的计算能力。而且，计算能力是决定模型训练时间最重要的因素。因此，计算能力不同是导致联邦学习通信等待的本质原因。如果我们能够使得设备间计算资源均衡，那么，联邦学习的Straggle问题就可以从根本上得到解决。
综合所述，为弥补基于云中心训练所引起的用户敏感数据泄露问题，联邦学习应运而生。然而，由于终端设备资源异构，如何与云中心通信是联邦学习实现的重要挑战。现有同步通信机制要求云中心必须等待终端设备中响应最慢的设备参与模型聚集，极大的延长了整个模型训练时间(Straggle问题)；而异步通信机制要求云中心收到一个本地模型更新后就聚集全局模型，而无需等待响应最慢的终端设备。现有异步通信机制虽然从模型更新参数的聚集方式上进行了改进，在一定程度上减少了模型训练的等待时间，但他们并没有探索引起Straggle问题的本质原因，也就没有从根本上改善联邦学习的通信效率。而终端设备资源异构是引起Straggle问题的本质原因，因此，为更高效的联邦学习通信，需充分地对本地计算资源异构性进行合理调节，从本质上减少资源的异构性，从而达到提高联邦学习训练速度的目的。
发明内容
有鉴于此，本发明的目的在于提供一种基于计算资源逻辑分层的联邦学习通信优化方法及系统，用于解决联邦学习技术中，由于计算资源异构，云中心需长时间等待计算最慢的终端设备上传本地模型更新所导致的高通信代价问题。
为达到上述目的，本发明提供如下技术方案：
一方面，本发明提供一种基于计算资源逻辑分层的联邦学习通信优化方法，包括以下步骤：
S1：分层通信架构构建：给定设备集合C＝{c1,c2,...,ck,cN}、设备计算能力P＝{p1,p2,...,pk,pN}、拟划分的簇集合clst＝{clst1,clst2,...,clstM}以及分组方向变量direction，初始条件下，direction＝true，表示分组方向从左至右；根据设备计算能力P对设备逻辑分组，构建基于“云中心-Head节点-终端设备”的分层通信架构；
S2：云中心初始化：云中心初始化全局模型参数ω0，全局模型训练轮数T，簇内训练轮数H，初始Staleness函数影响因子α0；
S3：簇内协作训练：簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure BDA0003280251740000021
S4：簇间模型聚集：每个簇clsti的Headi节点上传其簇内训练模型更新参数
Figure BDA0003280251740000022
至云中心，并计算得到下一轮迭代的全局模型更新参数ωt+1；
S5：全局模型分发：云中心将计算得到的全局模型更新参数ωt+1下发给每个簇的Head，模型训练进入下一轮迭代。
进一步，步骤S1具体包括以下步骤：
S11：根据设备的计算能力P＝{p1,p2,...,pk,pN}，对设备的计算能力排序，并得到排序后的集合
Figure BDA0003280251740000031
且
Figure BDA0003280251740000032
以及相应的设备集合
Figure BDA0003280251740000033
S12：判断当前设备集合
Figure BDA0003280251740000034
中的所有设备是否分组完成，若
Figure BDA0003280251740000035
表示集合
Figure BDA0003280251740000036
中所有的设备已分组完成，则返回已分组的结果；反之，若
Figure BDA0003280251740000037
表示集合
Figure BDA0003280251740000038
中所有的设备尚未分组完成，则继续判断分组方向变量direction的值。若direction＝true，则将集合
Figure BDA0003280251740000039
中的前M个设备依次分配给clst＝{clst1,clst2,...,clstM}，并置direction＝false，
Figure BDA00032802517400000310
反之，若direction＝false，则将集合
Figure BDA00032802517400000311
中的前M个设备依次分配给clst＝{clstM,clstM-1,...,clst1}，并置direction＝true，
Figure BDA00032802517400000312
不断重复步骤S12，直至集合
Figure BDA00032802517400000320
中的所有设备分组完成为止；
S13：并行地从已分组完成的簇clst＝{clst1,clst2,...,clstM}中，选取一个计算能力最强的终端设备Head＝{Head1,Head2,...,HeadM}，并由每个簇的Headi节点代替每个簇clsti中所有其他节点与云中心通信，从而构建一个基于“云中心-Head节点-终端设备”的分层通信架。
进一步，所述步骤S3包括以下步骤，
S31：簇clsti的头节点Headi从云中心获取当前全局模型迭代轮数t的全局模型参数ωt，并置
Figure BDA00032802517400000313
得到簇clsti的初始模型更新参数；
S32：头节点Headi将簇内初始模型更新参数
Figure BDA00032802517400000314
分发给簇clsti内所有参与的终端设备；
S33：簇clsti内的所有终端设备并行的进行本地模型训练；在这一步骤中，为了进一步减少簇内计算设备的计算资源异构性，对异构的计算资源进行再分配，即将响应时间快的计算设备与其头节点进行更多的通信交互，加速模型的训练速度。假设对于簇clsti中任意的参与设备ck，置簇内迭代轮数变量τ←h，
Figure BDA00032802517400000315
其中，
Figure BDA00032802517400000316
表示簇clsti中设备在第τ轮迭代的初始模型参数，
Figure BDA00032802517400000317
表示表示簇clsti中设备在第h轮迭代的初始模型参数，初始条件下h＝0，设备ck经过L轮本地模型更新得到簇内模型更新参数
Figure BDA00032802517400000318
及得到该模型更新时的簇内迭代轮数信息τ，其计算公式如下：
Figure BDA00032802517400000319
其中，l∈L，η表示学习率，b表示最小的训练块大小，▽f(.)表示梯度函数；
S34：设备ck上传
Figure BDA0003280251740000041
和τ至Headi节点；
S35：头节点Headi计算当前簇内迭代轮数h的Staleness的影响因子αh，其计算公式为：
Figure BDA0003280251740000042
其中，e表示一个自然指数对数，用来描述时间的影响；
S36：头节点Headi计算当前簇内迭代轮数h的模型更新参数
Figure BDA0003280251740000043
其计算公式为：
Figure BDA0003280251740000044
其中，
Figure BDA0003280251740000045
表示簇clsti在簇内迭代轮数(h-1)的模型更新参数。
另一方面，本发明提供一种基于计算资源逻辑分层的联邦学习通信优化系统，包括：
分层通信架构构建模块，用于将给定的终端设备集合C＝{c1,c2,...,ck,cN}，根据其设备的计算资源P＝{p1,p2,...,pk,pN}，对设备进行逻辑分组，构建基于“云中心-Head节点-终端设备”的分层通信架构；
云中心初始化模块，用于初始化全局模型参数ω0，全局模型训练轮数T，簇内训练轮数H，以及初始Staleness函数影响因子α0；
簇内协作训练模块，用于簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure BDA0003280251740000046
簇间模型聚集模块，用于每个簇clsti的Headi节点上传其获得的更新参数
Figure BDA0003280251740000047
至云中心，并计算得到下一轮迭代的全局模型更新参数ωt+1；
全局模型分发模块，用于云中心将计算得到的全局模型更新参数ωt+1分发给每个计算簇的头节点，模型训练进入下一轮迭代。
进一步，所述分层通信架构构建模块包含以下子模块：
计算资源排序子模块，用于根据设备计算资源集合P＝{p1,p2,...,pk,pN}，按照其计算能力大小排序，得到排序后的集合
Figure BDA0003280251740000048
以及相应的设备集合
Figure BDA0003280251740000049
设备分组判断子模块，用于判断集合
Figure BDA00032802517400000410
中所有终端设备是否已分组完成，若
Figure BDA00032802517400000411
表示集合
Figure BDA0003280251740000051
中所有的设备已分组完成，则返回设备分组结果；反之，若
Figure BDA0003280251740000052
表示集合
Figure BDA0003280251740000053
中所有的设备尚未分组完成，则进入设备分组方向判断子模块；
设备分组方向判断子模块，用于判断分组方向变量direction的值，若direction＝true，则将集合
Figure BDA0003280251740000054
中的前M个设备依次分配给clst＝{clst1,clst2,...,clstM}；反之，若direction＝false，则将集合
Figure BDA0003280251740000055
中的前M个设备依次分配给clst＝{clstM,clstM-1,...,clst1}；
变量重置子模块，用于重置设备分组方向变量direction以及集合
Figure BDA0003280251740000056
即置direction＝false/true，
Figure BDA0003280251740000057
第一迭代子模块，用于重复以上子模块，直至集合
Figure BDA0003280251740000058
为止，返回clst＝{clst1,clst2,...,clstM}分组结果；
Head节点选取子模块，用于并行地已分组完成的簇clst＝{clst1,clst2,...,clstM}中，选取一个计算能力最强的终端设备Head＝{Head1,Head2,...,HeadM}，并由每个簇的Headi节点代替每个簇clsti中所有其他节点与云中心通信，从而构建一个基于“云中心-Head节点-终端设备”的分层通信架。
进一步，所述簇内协作训练模块包含以下子模块：
Head节点模型参数获取子模块，用于头节点Headi从云中心获取当前全局模型迭代轮数t的全局模型参数ωt，并置
Figure BDA0003280251740000059
得到簇clsti的初始模型更新参数；
Head节点参数分发子模块，用于头节点Headi将簇内模型更新参数
Figure BDA00032802517400000510
分发给簇clsti内的所有终端设备；
变量存储子模块，用于簇clsti内任意的终端设备ck，存储模型更新时的簇内迭代轮数信息τ←h以及在第τ轮迭代的初始模型参数
Figure BDA00032802517400000511
本地模型训练子模块，用于终端设备ck，计算得到经过L轮本地模型更新的簇内模型更新参数
Figure BDA00032802517400000512
及得到该模型更新时的簇内迭代轮数信息τ；
本地模型更新上传子模块，用于簇clsti内任意的终端设备ck上传
Figure BDA00032802517400000513
和τ至头节点Headi；
Staleness计算子模块，用于终端设备ck计算当前簇内迭代轮数h的Staleness的影响因子
Figure BDA00032802517400000514
簇内模型更新参数计算子模块，用于计算簇clsti内迭代轮数h的模型更新参数
Figure BDA0003280251740000061
第二迭代子模块，用于Headi得到簇clsti经过簇内训练迭代轮数H的更新参数
Figure BDA0003280251740000062
并行子模块，用于簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure BDA0003280251740000063
进一步，所述簇间模型聚集模块包含以下子模块：
簇内模型更新上传子模块，用于每一个簇clsti的Headi节点上传其簇内训练模型更新参数
Figure BDA0003280251740000064
至云中心；
云中心聚集子模块，用于云中心聚集
Figure BDA0003280251740000065
得到下一轮迭代的全局模型更新参数
Figure BDA0003280251740000066
本发明通过分析引邦学习Straggle问题产生的本质原因，对资源异构的终端设备进行逻辑分组，构建基于“云中心-Head节点-终端设备”一体的分层通信架构；设计新的加权平均全局模型更新机制，分别从粗粒度和细粒度两个角度均衡了资源异构的计算设备，从本质上加快了模型的训练速度，减少了全局模型聚集的等待时间，从而达到了减少通信代价的目的。与现有技术相比，本发明具有以下有益效果：
(1)本发明所提方法及系统，从均衡异构的终端计算资源的角度，提出了一个解决联邦学习高通信代价问题的新思路，从本质上加快了模型的训练速度，减少了全局模型更新聚集的等待时间；
(2)本发明所提方法及系统，通过构建基于“云中心-Head节点-终端设备”一体的分层通信架构，改变了传统的终端设备与云中心通信方式，减少了终端设备与云中心的模型更新传输，从而减少了终端与云中心的通信开销，同时具有较低的算法复杂度，更有利于联邦学习在实际场景中的应用。本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明实施例提供的基于计算资源逻辑分层的联邦学习通信优化方法总体流程图；
图2为本发明实施例提供的基于计算资源逻辑分层的联邦学习通信优化方法具体流程图；
图3为本发明实施例提供的基于计算资源逻辑分层的联邦学习通信优化方法工作原理图；
图4为本发明实施例提供的基于计算资源逻辑分层的联邦学习通信优化系统的模块示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
下面以20个终端设备使用MNIST数据集，联合训练多层感知机(MLP)模型为例，来阐述本发明的具体实施步骤，目标是减少全局模型的训练等待时间，从而达到减少通信代价的目的。记MLP模型的表达式为
Figure BDA0003280251740000071
其中N表示总的样本数，xi为样本的特征向量，ωi为模型参数，b为偏置，σ为激活函数，y为模型的输出。
本发明技术方案所提供方法可采用计算机软件技术实现自动运行流程，图1是本发明实施例的总体方法流程图，参见图1，结合图2本发明实施例的具体步骤流程图以及图3本发明实施例工作原理图，本发明基于计算资源逻辑分层的联邦学习通信优化方法的实施例具体步骤包括：
步骤S1，分层通信架构构建。给定设备集合C＝{c1,c2,...,ck,cN}，设备计算能力P＝{p1,p2,...,pk,pN}，拟划分的簇集合clst＝{clst1,clst2,...,clstM}，以及分组方向变量direction，初始条件下，direction＝true，表示分组方向从左至右。根据设备计算能力P，对设备逻辑分组，构建基于“云中心-Head节点-终端设备”的分层通信架构，包括以下子步骤：
实施例中，给定设备集合C＝{c1,c2,...,ck,c20}，设备计算能力P＝{p1,p2,...,pk,p20}，拟划分的簇集合clst＝{clst1,clst2,clst3,clst4,clst5}，我们分配4个CPU,2个CPU,1个CPU,1/3CPU,1/5CPU从clst1到clst5的每个终端设备模拟资源异构性。初始化分组方向变量direction＝true，根据给定的这些参数对设备集合C逻辑分组，构建基于“云中心-Head节点-终端设备”的分层通信架构，具体实现如下：
步骤S1-1，根据设备的计算能力P＝{p1,p2,...,pk,pN}，对设备的计算能力排序，并得到排序后的集合
Figure BDA0003280251740000081
且
Figure BDA0003280251740000082
以及相应的设备集合
Figure BDA0003280251740000083
实施例中，根据给定的设备计算能力P＝{p1,p2,...,pk,p20}，对设备的计算能力排序，得到排序后的集合
Figure BDA0003280251740000084
以及相应的设备集合
Figure BDA0003280251740000085
步骤S1-2，判断当前设备集合
Figure BDA0003280251740000086
中的所有设备是否分组完成，若
Figure BDA0003280251740000087
表示集合
Figure BDA0003280251740000088
中所有的设备已分组完成，则返回已分组的结果；反之，若
Figure BDA0003280251740000089
表示集合
Figure BDA00032802517400000810
中所有的设备尚未分组完成，则继续判断分组方向变量direction的值。若direction＝true，则将集合
Figure BDA00032802517400000811
中的前M个设备依次分配给clst＝{clst1,clst2,...,clstM}，并置direction＝false，
Figure BDA00032802517400000812
反之，若direction＝false，则将集合
Figure BDA00032802517400000813
中的前M个设备依次分配给clst＝{clstM,clstM-1,...,clst1}，并置direction＝true，
Figure BDA00032802517400000814
不断重复步骤S1-2，直至集合
Figure BDA00032802517400000815
中的所有设备分组完成为止；
实施例中，若当前集合
Figure BDA00032802517400000816
且方向变量direction＝true，则将集合
Figure BDA00032802517400000817
中的前5个设备依次分配给clst＝{clst1,clst2,clst3,clst4,clst5}，同时置direction＝false，
Figure BDA00032802517400000818
不断重复步骤S1-2，直至集合
Figure BDA00032802517400000819
中的所有设备分组完成为止，得到分组完成的集合clst＝{clst1,clst2,clst3,clst4,clst5}；若当前集合
Figure BDA00032802517400000820
则返回分组完成的集合clst＝{clst1,clst2,clst3,clst4,clst5}；
步骤S1-3，并行地从已分组完成的簇clst＝{clst1,clst2,...,clstM}中，选取一个计算能力最强的终端设备Head＝{Head1,Head2,...,HeadM}，并由每个簇的Headi节点代替每个簇clsti中所有其他节点与云中心通信，从而构建一个基于“云中心-Head节点-终端设备”的分层通信架。
实施例中，并行地从已分组完成的簇clst＝{clst1,clst2,clst3,clst4,clst5}中，选取一个计算能力最强的终端设备Head＝{Head1,Head2,Head3,Head4,Head5}，并由每个簇的Headi节点代替每个簇clsti中所有其他节点与云中心通信，从而构建一个基于“云中心-Head节点-终端设备”的分层通信架。
步骤S2，云中心初始化。云中心初始化全局模型参数ω0，全局模型训练轮数T，簇内训练轮数H，初始Staleness函数影响因子α0。
实施例中，初始化全局模型参数ω0，迭代轮数T＝10，H＝10以及初始Staleness函数影响因子α0＝0.6。
步骤S3，簇内协作训练。簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure BDA0003280251740000091
下面以簇clsti为例，包括以下子步骤：
实施例中，簇集合clst＝{clst1,clst2,clst3,clst4,clst5}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,Head3,Head4,Head5}，分别得到经过簇内训练迭代轮数H＝10的更新参数
Figure BDA0003280251740000092
下面以簇集合clst中任意的簇clst2为例，具体实现如下：
步骤S3-1，簇clsti的头节点Headi从云中心获取当前全局模型迭代轮数t的全局模型参数ωt，并置
Figure BDA0003280251740000093
得到簇clsti的初始模型更新参数；
实施例中，簇clst2的头节点Head2从云中心获取当前全局模型迭代轮数t＝3的全局模型参数ω3，并置
Figure BDA0003280251740000094
得到簇clst2的初始模型更新参数；
步骤S3-2，头节点Headi将簇内初始模型更新参数
Figure BDA0003280251740000095
分发给簇clsti内所有参与的终端设备；
实施例中，Head2将
Figure BDA0003280251740000096
发给簇clst2内的所有参与的终端设备；
步骤S3-3，簇clsti内的所有终端设备并行的进行本地模型训练。在这一步骤中，为了进一步减少簇内计算设备的计算资源异构性，对异构的计算资源进行再分配，即将响应时间快的计算设备与其头节点进行更多的通信交互，加速模型的训练速度。假设对于簇clsti中任意的参与设备ck，置簇内迭代轮数变量τ←h，
Figure BDA0003280251740000097
其中，
Figure BDA0003280251740000098
表示簇clsti中设备在第τ轮迭代的初始模型参数，
Figure BDA0003280251740000101
表示表示簇clsti中设备在第h轮迭代的初始模型参数(初始条件下h＝0)，设备ck经过L轮本地模型更新得到簇内模型更新参数
Figure BDA0003280251740000102
及得到该模型更新时的簇内迭代轮数信息τ，其计算公式如下：
Figure BDA0003280251740000103
其中，l∈L，η表示学习率，b表示最小的训练块大小，▽f(.)表示梯度函数。
实施例中，clst2内的所有终端设备D＝{d1,d2,d3,d4}并行的进行本地模型训练。这里假设，终端设备d3计算能力最强，其模型训练响应时间最快，则d3经过5轮本地训练之后得到簇内模型更新参数
Figure BDA0003280251740000104
及得到该模型更新时的簇内迭代轮数信息τ＝1；
步骤S3-4，设备ck上传
Figure BDA0003280251740000105
和τ至Headi节点。
实施例中，clst2内的终端设备d3传
Figure BDA0003280251740000106
和τ＝1至Head2节点；
步骤S3-5，头节点Headi计算当前簇内迭代轮数h的Staleness的影响因子αh，其计算公式为：
Figure BDA0003280251740000107
其中，e表示一个自然指数对数，用来描述时间的影响。
实施例中，头节点Head2计算当前簇内迭代轮数h＝1的Staleness的影响因子
Figure BDA0003280251740000108
步骤S3-6，头节点Headi计算当前簇内迭代轮数h的模型更新参数
Figure BDA0003280251740000109
其计算公式为：
Figure BDA00032802517400001010
其中，
Figure BDA00032802517400001011
表示簇clsti在簇内迭代轮数(h-1)的模型更新参数。
实施例中，头节点Head2计算当前簇内迭代轮数h＝1的模型更新参数
Figure BDA00032802517400001012
不断重复S3-2，S3-3，S3-4，S3-5及S3-6，直至簇内训练结束，Headi得到簇clsti经过簇内训练迭代轮数H的更新参数
Figure BDA00032802517400001013
实施例中，不断重S3-2，S3-3，S3-4，S3-5及S3-6，直至簇内训练结束，Head2得到簇clst2经过簇内训练迭代轮数H＝10的更新参数
Figure BDA00032802517400001014
步骤S4，簇间模型聚集。每个簇clsti的Headi节点上传其获得的更新参数
Figure BDA00032802517400001015
至云中心，并计算得到下一轮迭代的全局模型更新参数ωt+1，包括以下子步骤：
实施例中，簇集合clst＝{clst1,clst2,clst3,clst4,clst5}中的每个簇，其对应得头节点集合{Head1,Head2,Head3,Head4,Head5}分别上传其得到更新参数
Figure BDA0003280251740000111
至云中心，同时计算局模型迭代轮数t＝4的全局模型更新参数ω4，具体实现如下：
步骤S4-1，每一个簇clsti的Headi节点上传其簇内训练模型更新参数
Figure BDA0003280251740000112
至云中心；
实施例中，头节点{Head1,Head2,Head3,Head4,Head5}分别上传其得到更新参数
Figure BDA0003280251740000113
至云中心；
步骤S4-2，云中心聚集
Figure BDA0003280251740000114
得到下一轮迭代的全局模型更新参数ωt+1，其计算公式如下：
Figure BDA0003280251740000115
实施例中，云中心聚集
Figure BDA0003280251740000116
得到全局模型更新参数
Figure BDA0003280251740000117
步骤S5，全局模型分发。云中心将计算得到的全局模型更新参数ωt+1下发给每个簇的Head，模型训练进入下一轮迭代。
实施例中，云中心将ω4下发给每个簇的{Head1,Head2,Head3,Head4,Head5}，模型训练进入下一轮迭代。
不断重复步骤S3～S5，直至T轮迭代为止，模型训练结束，得到收敛后的全局模型ωT。
实施例中，不断重复步骤S3～S5，直至T＝10轮迭代为止，模型训练结束，得到收敛后的全局模型ω10。
如图4所示，本发明还相应提供了一种基于计算资源逻辑分层的联邦学习通信优化系统，如图4所示，包含：
分层通信架构构建模块，用于将给定的终端设备集合C＝{c1,c2,...,ck,cN}，根据其设备的计算资源P＝{p1,p2,...,pk,pN}，对设备进行逻辑分组，构建基于“云中心-Head节点-终端设备”的分层通信架构，包含以下子模块：
计算资源排序子模块，用于根据设备计算资源集合P＝{p1,p2,...,pk,pN}，按照其计算能力大小排序，得到排序后的集合
Figure BDA0003280251740000118
以及相应的设备集合
Figure BDA0003280251740000119
设备分组判断子模块，用于判断集合
Figure BDA0003280251740000121
中所有终端设备是否已分组完成，若
Figure BDA0003280251740000122
表示集合
Figure BDA0003280251740000123
中所有的设备已分组完成，则返回设备分组结果；反之，若
Figure BDA0003280251740000124
表示集合
Figure BDA0003280251740000125
中所有的设备尚未分组完成，则进入设备分组方向判断子模块；
设备分组方向判断子模块，用于判断分组方向变量direction的值，若direction＝true，则将集合
Figure BDA0003280251740000126
中的前M个设备依次分配给clst＝{clst1,clst2,...,clstM}；反之，若direction＝false，则将集合
Figure BDA0003280251740000127
中的前M个设备依次分配给clst＝{clstM,clstM-1,...,clst1}；
变量重置子模块，用于重置设备分组方向变量direction以及集合
Figure BDA0003280251740000128
即置direction＝false/true，
Figure BDA0003280251740000129
迭代子模块，用于重复以上子模块，直至集合
Figure BDA00032802517400001210
为止，返回clst＝{clst1,clst2,...,clstM}分组结果；
Head节点选取子模块，用于并行地已分组完成的簇clst＝{clst1,clst2,...,clstM}中，选取一个计算能力最强的终端设备Head＝{Head1,Head2,...,HeadM}，并由每个簇的Headi节点代替每个簇clsti中所有其他节点与云中心通信，从而构建一个基于“云中心-Head节点-终端设备”的分层通信架。
云中心初始化模块，用于初始化全局模型参数ω0，全局模型训练轮数T，簇内训练轮数H，以及初始Staleness函数影响因子α0。
簇内协作训练模块，用于簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure BDA00032802517400001211
包含以下子模块：
Head节点模型参数获取子模块，用于头节点Headi从云中心获取当前全局模型迭代轮数t的全局模型参数ωt，并置
Figure BDA00032802517400001212
得到簇clsti的初始模型更新参数；
Head节点参数分发子模块，用于头节点Headi将簇内模型更新参数
Figure BDA00032802517400001213
分发给簇clsti内的所有终端设备；
变量存储子模块，用于簇clsti内任意的终端设备ck，存储模型更新时的簇内迭代轮数信息τ←h以及在第τ轮迭代的初始模型参数
Figure BDA00032802517400001214
本地模型训练子模块，用于终端设备ck，计算得到经过L轮本地模型更新的簇内模型更新参数
Figure BDA00032802517400001215
及得到该模型更新时的簇内迭代轮数信息τ；
本地模型更新上传子模块，用于簇clsti内任意的终端设备ck上传
Figure BDA00032802517400001216
和τ至头节点Headi；
Staleness计算子模块，用于终端设备ck计算当前簇内迭代轮数h的Staleness的影响因子
Figure BDA0003280251740000131
簇内模型更新参数计算子模块，用于计算簇clsti内迭代轮数h的模型更新参数
Figure BDA0003280251740000132
迭代子模块，用于Headi得到簇clsti经过簇内训练迭代轮数H的更新参数
Figure BDA0003280251740000133
并行子模块，用于簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure BDA0003280251740000134
簇间模型聚集，用于每个簇clsti的Headi节点上传其获得的更新参数
Figure BDA0003280251740000135
至云中心，并计算得到下一轮迭代的全局模型更新参数ωt+1，包含以下子模块：
簇内模型更新上传子模块，用于每一个簇clsti的Headi节点上传其簇内训练模型更新参数
Figure BDA0003280251740000136
至云中心；
云中心聚集子模块，用于云中心聚集
Figure BDA0003280251740000137
得到下一轮迭代的全局模型更新参数
Figure BDA0003280251740000138
全局模型分发模块，用于云中心将计算得到的全局模型更新参数ωt+1分发给每个计算簇的头节点，模型训练进入下一轮迭代。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于计算资源逻辑分层的联邦学习通信优化方法，其特征在于：包括以下步骤：
S1：分层通信架构构建：给定设备集合C＝{c1,c2,...,ck,cN}、设备计算能力P＝{p1,p2,...,pk,pN}、拟划分的簇集合clst＝{clst1,clst2,...,clstM}以及分组方向变量direction，初始条件下，direction＝true，表示分组方向从左至右；根据设备计算能力P对设备逻辑分组，构建基于“云中心-Head节点-终端设备”的分层通信架构；
S2：云中心初始化：云中心初始化全局模型参数ω0，全局模型训练轮数T，簇内训练轮数H，初始Staleness函数影响因子α0；
S3：簇内协作训练：簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure RE-FDA0003376642820000011
S4：簇间模型聚集：每个簇clsti的Headi节点上传其簇内训练模型更新参数
Figure RE-FDA0003376642820000012
至云中心，并计算得到下一轮迭代的全局模型更新参数ωt+1；
S5：全局模型分发：云中心将计算得到的全局模型更新参数ωt+1下发给每个簇的Head，模型训练进入下一轮迭代。
2.根据权利要求1所述的基于计算资源逻辑分层的联邦学习通信优化方法，其特征在于：步骤S1具体包括以下步骤：
S11：根据设备的计算能力P＝{p1,p2,...,pk,pN}，对设备的计算能力排序，并得到排序后的集合
Figure RE-FDA0003376642820000013
且
Figure RE-FDA0003376642820000014
以及相应的设备集合
Figure RE-FDA0003376642820000015
S12：判断当前设备集合
Figure RE-FDA0003376642820000016
中的所有设备是否分组完成，若
Figure RE-FDA0003376642820000017
表示集合
Figure RE-FDA0003376642820000018
中所有的设备已分组完成，则返回已分组的结果；反之，若
Figure RE-FDA0003376642820000019
表示集合
Figure RE-FDA00033766428200000110
中所有的设备尚未分组完成，则继续判断分组方向变量direction的值。若direction＝true，则将集合
Figure RE-FDA00033766428200000111
中的前M个设备依次分配给clst＝{clst1,clst2,...,clstM}，并置direction＝false，
Figure RE-FDA00033766428200000112
反之，若direction＝false，则将集合
Figure RE-FDA00033766428200000113
中的前M个设备依次分配给clst＝{clstM,clstM-1,...,clst1}，并置direction＝true，
Figure RE-FDA00033766428200000114
不断重复步骤S12，直至集合
Figure RE-FDA00033766428200000115
中的所有设备分组完成为止；
S13：并行地从已分组完成的簇clst＝{clst1,clst2,...,clstM}中，选取一个计算能力最强的终端设备Head＝{Head1,Head2,...,HeadM}，并由每个簇的Headi节点代替每个簇clsti中所有其他节点与云中心通信，从而构建一个基于“云中心-Head节点-终端设备”的分层通信架。
3.根据权利要求1所述的基于计算资源逻辑分层的联邦学习通信优化方法，其特征在于：所述步骤S3包括以下步骤，
S31：簇clsti的头节点Headi从云中心获取当前全局模型迭代轮数t的全局模型参数ωt，并置
Figure RE-FDA0003376642820000021
得到簇clsti的初始模型更新参数；
S32：头节点Headi将簇内初始模型更新参数
Figure RE-FDA0003376642820000022
分发给簇clsti内所有参与的终端设备；
S33：簇clsti内的所有终端设备并行的进行本地模型训练；对异构的计算资源进行再分配，即将响应时间快的计算设备与其头节点进行更多的通信交互；假设对于簇clsti中任意的参与设备ck，置簇内迭代轮数变量τ←h，
Figure RE-FDA0003376642820000023
其中，
Figure RE-FDA0003376642820000024
表示簇clsti中设备在第τ轮迭代的初始模型参数，
Figure RE-FDA0003376642820000025
表示表示簇clsti中设备在第h轮迭代的初始模型参数，初始条件下h＝0，设备ck经过L轮本地模型更新得到簇内模型更新参数
Figure RE-FDA0003376642820000026
及得到该模型更新时的簇内迭代轮数信息τ，其计算公式如下：
Figure RE-FDA0003376642820000027
其中，l∈L，η表示学习率，b表示最小的训练块大小，
Figure RE-FDA0003376642820000028
表示梯度函数；
S34：设备ck上传
Figure RE-FDA0003376642820000029
和τ至Headi节点；
S35：头节点Headi计算当前簇内迭代轮数h的Staleness的影响因子αh，其计算公式为：
Figure RE-FDA00033766428200000210
其中，e表示一个自然指数对数，用来描述时间的影响；
S36：头节点Headi计算当前簇内迭代轮数h的模型更新参数
Figure RE-FDA00033766428200000211
其计算公式为：
Figure RE-FDA00033766428200000212
其中，
Figure RE-FDA00033766428200000213
表示簇clsti在簇内迭代轮数(h-1)的模型更新参数。
4.一种基于计算资源逻辑分层的联邦学习通信优化系统，其特征在于：包括：
分层通信架构构建模块，用于将给定的终端设备集合C＝{c1,c2,...,ck,cN}，根据其设备的计算资源P＝{p1,p2,...,pk,pN}，对设备进行逻辑分组，构建基于“云中心-Head节点-终端设备”的分层通信架构；
云中心初始化模块，用于初始化全局模型参数ω0，全局模型训练轮数T，簇内训练轮数H，以及初始Staleness函数影响因子α0；
簇内协作训练模块，用于簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure RE-FDA0003376642820000031
簇间模型聚集模块，用于每个簇clsti的Headi节点上传其获得的更新参数
Figure RE-FDA0003376642820000032
至云中心，并计算得到下一轮迭代的全局模型更新参数ωt+1；
全局模型分发模块，用于云中心将计算得到的全局模型更新参数ωt+1分发给每个计算簇的头节点，模型训练进入下一轮迭代。
5.根据权利要求4所述的基于计算资源逻辑分层的联邦学习通信优化系统，其特征在于：所述分层通信架构构建模块包含以下子模块：
计算资源排序子模块，用于根据设备计算资源集合P＝{p1,p2,...,pk,pN}，按照其计算能力大小排序，得到排序后的集合
Figure RE-FDA0003376642820000033
以及相应的设备集合
Figure RE-FDA0003376642820000034
设备分组判断子模块，用于判断集合
Figure RE-FDA0003376642820000035
中所有终端设备是否已分组完成，若
Figure RE-FDA0003376642820000036
表示集合
Figure RE-FDA0003376642820000037
中所有的设备已分组完成，则返回设备分组结果；反之，若
Figure RE-FDA0003376642820000038
表示集合
Figure RE-FDA0003376642820000039
中所有的设备尚未分组完成，则进入设备分组方向判断子模块；
设备分组方向判断子模块，用于判断分组方向变量direction的值，若direction＝true，则将集合
Figure RE-FDA00033766428200000310
中的前M个设备依次分配给clst＝{clst1,clst2,...,clstM}；反之，若direction＝false，则将集合
Figure RE-FDA00033766428200000311
中的前M个设备依次分配给clst＝{clstM,clstM-1,...,clst1}；
变量重置子模块，用于重置设备分组方向变量direction以及集合
Figure RE-FDA00033766428200000312
即置direction＝false/true，
Figure RE-FDA00033766428200000313
第一迭代子模块，用于重复以上子模块，直至集合
Figure RE-FDA00033766428200000314
为止，返回clst＝{clst1,clst2,...,clstM}分组结果；
Head节点选取子模块，用于并行地已分组完成的簇clst＝{clst1,clst2,...,clstM}中，选取一个计算能力最强的终端设备Head＝{Head1,Head2,...,HeadM}，并由每个簇的Headi节点代替每个簇clsti中所有其他节点与云中心通信，从而构建一个基于“云中心-Head节点-终端设备”的分层通信架。
6.根据权利要求4所述的基于计算资源逻辑分层的联邦学习通信优化系统，其特征在于：所述簇内协作训练模块包含以下子模块：
Head节点模型参数获取子模块，用于头节点Headi从云中心获取当前全局模型迭代轮数t的全局模型参数ωt，并置
Figure RE-FDA0003376642820000041
得到簇clsti的初始模型更新参数；
Head节点参数分发子模块，用于头节点Headi将簇内模型更新参数
Figure RE-FDA0003376642820000042
分发给簇clsti内的所有终端设备；
变量存储子模块，用于簇clsti内任意的终端设备ck，存储模型更新时的簇内迭代轮数信息τ←h以及在第τ轮迭代的初始模型参数
Figure RE-FDA0003376642820000043
本地模型训练子模块，用于终端设备ck，计算得到经过L轮本地模型更新的簇内模型更新参数
Figure RE-FDA0003376642820000044
及得到该模型更新时的簇内迭代轮数信息τ；
本地模型更新上传子模块，用于簇clsti内任意的终端设备ck上传
Figure RE-FDA0003376642820000045
和τ至头节点Headi；
Staleness计算子模块，用于终端设备ck计算当前簇内迭代轮数h的Staleness的影响因子
Figure RE-FDA0003376642820000046
簇内模型更新参数计算子模块，用于计算簇clsti内迭代轮数h的模型更新参数
Figure RE-FDA0003376642820000047
第二迭代子模块，用于Headi得到簇clsti经过簇内训练迭代轮数H的更新参数
Figure RE-FDA0003376642820000048
并行子模块，用于簇clst＝{clst1,clst2,...,clstM}中的每个簇并行地进行簇内协作训练，簇内头节点Head＝{Head1,Head2,...,HeadM}分别得到经过簇内训练迭代轮数H的更新参数
Figure RE-FDA0003376642820000049
7.根据权利要求4所述的基于计算资源逻辑分层的联邦学习通信优化系统，其特征在于：所述簇间模型聚集模块包含以下子模块：
簇内模型更新上传子模块，用于每一个簇clsti的Headi节点上传其簇内训练模型更新参数
Figure RE-FDA00033766428200000410
至云中心；
云中心聚集子模块，用于云中心聚集
Figure RE-FDA00033766428200000411
得到下一轮迭代的全局模型更新参数
Figure RE-FDA00033766428200000412
CN202111139211.XA 2021-09-26 2021-09-26 基于计算资源逻辑分层的联邦学习通信优化方法及系统 Active CN113919512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111139211.XA CN113919512B (zh) 2021-09-26 2021-09-26 基于计算资源逻辑分层的联邦学习通信优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111139211.XA CN113919512B (zh) 2021-09-26 2021-09-26 基于计算资源逻辑分层的联邦学习通信优化方法及系统

Publications (2)

Publication Number Publication Date
CN113919512A true CN113919512A (zh) 2022-01-11
CN113919512B CN113919512B (zh) 2022-09-23

Family

ID=79236544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111139211.XA Active CN113919512B (zh) 2021-09-26 2021-09-26 基于计算资源逻辑分层的联邦学习通信优化方法及系统

Country Status (1)

Country Link
CN (1) CN113919512B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710330A (zh) * 2022-03-22 2022-07-05 华东师范大学 一种基于异构分层联邦学习的异常检测方法
WO2024026846A1 (zh) * 2022-08-05 2024-02-08 华为技术有限公司 一种人工智能模型处理方法及相关设备
CN117829274A (zh) * 2024-02-29 2024-04-05 浪潮电子信息产业股份有限公司 模型融合方法、装置、设备、联邦学习系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882133A (zh) * 2020-08-03 2020-11-03 重庆大学 一种基于预测的联邦学习通信优化方法及系统
US20210042575A1 (en) * 2019-08-08 2021-02-11 Nvidia Corporation Domain Restriction of Neural Networks Through Synthetic Data Pre-Training
CN112365006A (zh) * 2021-01-12 2021-02-12 深圳致星科技有限公司 用于联邦学习的并行训练方法及系统
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN112598150A (zh) * 2020-11-09 2021-04-02 西安君能清洁能源有限公司 一种在智能电厂中基于联邦学习提升火灾检测效果的方法
CN112749010A (zh) * 2020-12-31 2021-05-04 中南大学 融合推荐系统的边缘计算任务分配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210042575A1 (en) * 2019-08-08 2021-02-11 Nvidia Corporation Domain Restriction of Neural Networks Through Synthetic Data Pre-Training
CN111882133A (zh) * 2020-08-03 2020-11-03 重庆大学 一种基于预测的联邦学习通信优化方法及系统
CN112598150A (zh) * 2020-11-09 2021-04-02 西安君能清洁能源有限公司 一种在智能电厂中基于联邦学习提升火灾检测效果的方法
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN112749010A (zh) * 2020-12-31 2021-05-04 中南大学 融合推荐系统的边缘计算任务分配方法
CN112365006A (zh) * 2021-01-12 2021-02-12 深圳致星科技有限公司 用于联邦学习的并行训练方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710330A (zh) * 2022-03-22 2022-07-05 华东师范大学 一种基于异构分层联邦学习的异常检测方法
WO2024026846A1 (zh) * 2022-08-05 2024-02-08 华为技术有限公司 一种人工智能模型处理方法及相关设备
CN117829274A (zh) * 2024-02-29 2024-04-05 浪潮电子信息产业股份有限公司 模型融合方法、装置、设备、联邦学习系统及存储介质
CN117829274B (zh) * 2024-02-29 2024-05-24 浪潮电子信息产业股份有限公司 模型融合方法、装置、设备、联邦学习系统及存储介质

Also Published As

Publication number Publication date
CN113919512B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN113919512B (zh) 基于计算资源逻辑分层的联邦学习通信优化方法及系统
Yan et al. Automatic virtual network embedding: A deep reinforcement learning approach with graph convolutional networks
Wang et al. Evolutionary Markov dynamics for network community detection
CN105989408B (zh) 用于将神经网络映射到神经突触基板上的系统和方法
CN110263280B (zh) 一种基于多视图的动态链路预测深度模型及应用
Yao et al. RDAM: A reinforcement learning based dynamic attribute matrix representation for virtual network embedding
CN103108031B (zh) 云边拓扑
CN113011282A (zh) 图数据处理方法、装置、电子设备及计算机存储介质
Huo et al. Multi-objective service composition model based on cost-effective optimization
CN108111335B (zh) 一种调度和链接虚拟网络功能的方法及系统
CN115392481A (zh) 一种基于响应时间实时均衡的联邦学习高效通信方法
Wang et al. A multitask learning-based network traffic prediction approach for SDN-enabled industrial Internet of Things
CN107291337A (zh) 一种提供业务访问的方法及装置
Wang et al. Distributed and weighted extreme learning machine for imbalanced big data learning
CN107911300B (zh) 基于鲸鱼算法的组播路由优化方法及其在Spark平台上的应用
CN108665089A (zh) 一种用于选址问题的鲁棒优化模型求解方法
Li et al. Research on QoS service composition based on coevolutionary genetic algorithm
CN111176784A (zh) 一种基于极限学习机和蚁群系统的虚拟机整合方法
Li et al. Data analytics for fog computing by distributed online learning with asynchronous update
CN114548416A (zh) 数据模型训练方法及装置
Zhou et al. Growable Genetic Algorithm with Heuristic-based Local Search for multi-dimensional resources scheduling of cloud computing
Huang Design of personalised English distance teaching platform based on artificial intelligence
Zhang Storage optimization algorithm design of cloud computing edge node based on artificial intelligence technology
Zhou et al. Tree-structured data placement scheme with cluster-aided top-down transmission in erasure-coded distributed storage systems
CN114546609A (zh) 一种面向异构集群的dnn推理任务批调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant