CN113469325B - 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 - Google Patents
一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 Download PDFInfo
- Publication number
- CN113469325B CN113469325B CN202110641363.3A CN202110641363A CN113469325B CN 113469325 B CN113469325 B CN 113469325B CN 202110641363 A CN202110641363 A CN 202110641363A CN 113469325 B CN113469325 B CN 113469325B
- Authority
- CN
- China
- Prior art keywords
- edge
- training
- local
- aggregation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004220 aggregation Methods 0.000 title claims abstract description 123
- 230000002776 aggregation Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims description 7
- 230000007786 learning performance Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Electrically Operated Instructional Devices (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种边缘聚合间隔自适应控制的分层联邦学习方法,包括如下步骤:1)搭建以边缘设备,边缘服务器,云服务器为主要元素的分层联邦学习系统;2)在每个训练周期的起始阶段,云服务器根据当前的训练情况,优化边缘聚合间隔以及当前周期的训练时延预算;3)在训练过程中,边缘设备训练本地模型;并且根据边缘聚合间隔将本地模型发送到边缘服务器进行边缘聚合从而生成边缘模型;在每个周期的结束阶段,边缘服务器将边缘模型上传到云服务器进行全局聚合从而生成全局模型。该发明能够自适应地调整边缘聚合的间隔,在学习性能和训练时延中取得平衡。
Description
技术领域
本发明涉及机器学习和移动通信技术领域,特别是一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质。
背景技术
随着人工智能技术的广泛应用,为更好的保护用户隐私,联邦学习的概念被提出。在联邦学习系统中,设备不直接将本地数据上传到云服务器,而是先进行本地计算,将训练之后的神经网络模型上传到云服务器进行全局聚合。云服务器会将生成的全局模型反馈给设备,从而进行下一个周期的训练。然而,由于云服务器与设备距离较远,并且无线资源有限,直接和云服务器通信可靠性较低,并且会产生较大的传输时延。为解决该问题,分层的联邦学习框架被提出,其中具体做法为训练过程中,边缘设备训练本地模型;并且根据边缘聚合间隔将本地模型发送到边缘服务器进行边缘聚合;然后边缘服务器将更新之后的边缘模型发送给关联的边缘设备从而继续进行本地训练;在每个周期的结束阶段,边缘设备通过边缘服务器将边缘模型上传到云服务器进行全局聚合;最后云服务器将全局模型广播给所有边缘设备从而进行下一轮的训练。分层联邦学习能够提高本地模型传输的可靠性,并且能采集更多的本地模型,提高学习性能。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供的一种边缘聚合间隔自适应控制的分层联邦学习方法,其目标最小化训练损失和训练时延的加权和。
本发明为解决上述技术问题采用以下技术方案:本发明提出一种边缘聚合间隔自适应控制的分层联邦学习方法,通过部署边缘服务器协助联邦学习训练;云服务器根据当前的训练情况,优化边缘聚合间隔以及当前周期的训练时延预算;根据优化之后的边缘聚合间隔以及训练时延预算,边缘设备,边缘服务器,云服务器协作地完成联邦学学习训练,具体步骤如下:
步骤1,搭建以边缘设备,边缘服务器,云服务器为元素的分层联邦学习系统;该系统部署在无线环境中;其中包含多个边缘设备,多个边缘服务器,以及一个云服务器;边缘设备集合定义为K={1,2,...k,...,K},边缘服务器集合定义为S={1,2,...s,...,S};边缘设备k本地的数据集为其中,i是样本的索引,xk,i是第i个输入样本,yk,i是该样本的标签,Dk设训练样本的数目,这些数据可以来自任意的学习任务;由于边缘服务器覆盖范围有限,每个边缘服务器只关联一部分的边缘设备,定义被边缘服务器s服务的设备集合为Vs;边缘设备,边缘服务器,云服务器协助地完成联邦学习训练,目标为训练出模型w使得全局损失最小:
其中,是全局损失函数值,/>是总样本,l(w,xk,i,yk,i)是边缘设备k在给定模型w情况下在训练数据{xk,i,yk,i}上的损函数失值,l是任意损失函数;
步骤2,联邦学习的训练过程是一个迭代过程,需要多个训练周期,并且在每一个周期边缘设备要进行多次本地训练,边缘设备利用自己的本地数据训练本地模型,多次边缘聚合,边缘聚合就边缘服务器对采集到的本地模型进行加权平均,边缘设备将更新之后的本地模型上传到与其相关联的边缘服务器,边缘服务器对收集的边缘模型进行加权平均运算生成新的边缘模型,以及一次全局聚合,边缘服务器将更新之后的边缘模型上传到云服务器,云服务器对收集的边缘模型进行加权平均运算生成新的全局模型,训练周期的集合定义R={1,2,..,r,...,R},其中R为总的训练周期数,在训练周期r的开始阶段,云服务器根据当前训练情况优化边缘聚合间隔I(r),该变量定义为训练周期r中边缘设备在两次边缘聚合之间本地训练的次数;此外云服务器优化当前周期的训练时延预算τ(r),该变量为训练周期r消耗的时间;当前周期边缘设备最多需要进行G次本地训练,其中在训练周期r,边缘设备需要将本地模型上传给边缘服务器次,则训练周期r内实际的本地训练次数为:/>
由于当前周期的训练时延预算已经给定,训练周期r内两次边缘聚合之间的训练时延预算为并且有些边缘设备无法在两次边缘聚合之间完成本地训练和模型上传,用变量/>来表示边缘设备k可以在两次边缘聚合之间的时间内完成本地训练和模型上传,反之/>来表示边缘设备k无法在两次边缘聚合之间的时间内完成本地训练和模型上传,其中1≤tr≤G是边缘设备k在训练周期r进行本地训练的次数的索引;
步骤3,具体训练过程如下:
在训练周期r,边缘设备k基于自己的本地数据训练本地模型;更新过程为:
其中,是在训练周期r内第tr次本地训练后的本地模型,γ是学习率,/>是边缘设备k在本地模型/>上基于本地数据训练出的梯度,该更新过程所用的优化器为随机梯度下降;
经过I(r)次本地训练后,边缘设备将更新之后的本地模型发送给与其相关联的边缘服务器进行边缘聚合从而生成边缘模型,边缘服务器s的边缘聚合的过程为;
其中,是在训练周期r内第tr次本地训练后边缘聚合更新的边缘模型,/>用于表示边缘设备能否在两次边缘聚合之间完成本地训练和模型上传,Vs是与边缘服务器s相关联的边缘设备集合,在进行边缘聚合之后,边缘服务器会根据边缘设备本地训练的次数来决定是否进行全局聚合,具体来说,如果本周期内边缘设备本地训练的次数没有达到G(r)次,边缘服务器会将更新之后的边缘模型发送给与其相关联的边缘设备,用于替换边缘设备的本地模型,从而继续本地训练;如果本地训练的次数已经达到G(r)次,边缘服务器会将更新之后的边缘模型上传到云服务器进行全局聚合从而生成全局模型,全局聚合的过程为:
其中,是在训练周期r内第tr次本地训练后通过全局聚合更新的全局模型,用于表示边缘设备能否在两次边缘聚合之间完成本地训练和模型上传,Vs是与边缘服务器s相关联的边缘设备集合。该全局模型会被发送给所有的边缘设备用于替换边缘设备的本地模型,并且用于下一个周期的训练。
作为本发明的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,步边缘聚合间隔以及训练时延预算是依据最小化训练损失和训练时延的加权和的原则,优化问题为:
其中,I={I(1),I(2),...,I(r)...,I(R)}是每个周期边缘聚合间隔组成的集合;
τ={τ(1),τ(2),...,τ(R)}是每个周期训练时延预算组成的集合;
F(w(T))是T次本地计算之后基于全局模型w(T)的损失函数值,其中
系数ρ用于调节时延和模型重要性的权重;
采用漂移指数分布来描述设备的本地计算能力,在训练周期r,边缘设备k进行I(r)次本地计算的时延用如下概率分布表示,即本地计算时延小于χ的概率,其中,χ是一个大于0的变量,符号c表示该时延是计算时延:
其中,I(r)Dkqk是最小的本地计算时延,μk和qk是描述边缘设备k本地计算能力的常数;
经过I(r)次本地计算后,边缘设备k需要将本地模型上传给边缘服务器,该上传时延为符号u表示该时延是上传时延,其中,M本地模型的数据量,/>是边缘设备k的上传速率;
在边缘聚合阶段,边缘设备k在两次边缘聚合之间的时间内完成本地训练和模型上传的概率为:
作为本发明的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,损失函数值F(w(T))受到收敛性参数,边缘聚合间隔以及成功参与的设备数目影响,具体来说,降低边缘聚合间隔或者提高边缘设备成功参与的学习的概率,可以提高学习性能,因此原问题1等效为:
其中,Γ(I(r))和γ(I(r))都是关于边缘聚合间隔和训练过程中收敛性参数的增函数,其中,收敛性参数λ是损失函数的凸性系数或者是损失函数的平滑性系数,这些收敛性参数都随着训练过程呈现下降趋势。
作为本发明的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于在,问题2分为两步优化边缘聚合间隔以及该周期的时延预算,第一步,给定该周期的时延预算,由于边缘聚合间隔是整数,并且满足1≤I(r)≤G,可以直接搜索最优的边缘聚合间隔,第二步,基于获得的边缘聚合间隔以及凸优化理论优化该周期的时延预算,上述两步不断重复直到目标函数值不再降低。
此外,本发明还提出一种计算机设备,该计算机设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现所述的一种边缘聚合间隔自适应控制的分层联邦学习方法的步骤。
此外、本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种边缘聚合间隔自适应控制的分层联邦学习方法的步骤。
有益效果:本发明采用以上技术方案与现有技术相比,具有以下有益效果:
(1)本发明在实现了在分层联邦学习系统中自适应地调节边缘聚合频率,提高了训练的效率。
(2)本发明同时考虑学习性能和训练时延。
附图说明
图1为一种分层联邦学习框架架构图。
图2为基于一种边缘聚合间隔自适应控制的分层联邦学习方法的流程图。
图3为本发明实施实例提供的训练损失和训练时延关系图。
图4为本发明实施实例提供的测试准确率和训练时延关系图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明进行详细描述。
根据本发明提供的一种边缘聚合间隔自适应控制的分层联邦学习方法。本发明的分层联邦学习框架架构如图1所示,包含1个云服务器,多个边缘服务器和多个边缘设备。
如图2所示,本发明实施提供的一种边缘设备能耗自适应控制的分层联邦学习方法的流程图,该方法包括以下步骤。
步骤201:
在边缘设备和云服务器之间部署边缘服务器,并且每个边缘服务器关联一部分边缘设备,搭建以云服务器,边缘服务器以及边缘设备为主要元素的分层联邦学习系统;
步骤202:
边缘聚合间隔以及训练时延预算是依据最小化训练损失和训练时延的加权和的原则,优化问题为:
其中,I={I(1),I(2),...,I(r)...,I(R)}是每个周期边缘聚合间隔组成的集合;
τ={τ(1),τ(2),...,τ(R)}是每个周期训练时延预算组成的集合;
F(w(T))是T次本地计算之后基于全局模型w(T)的损失函数值,其中
系数ρ用于调节时延和模型重要性的权重;
采用漂移指数分布来描述设备的本地计算能力,则边缘设备k进行I(r)次本地计算的时延用如下概率分布表示,即本地计算时延小于χ的概率,其中,χ是一个大于0的变量,符号c表示该时延是计算时延:
其中,I(r)Dkqk是最小的本地计算时延,μk和qk是描述本地计算能力的常数;
经过I(r)次本地计算后,边缘设备k需要将本地模型上传给边缘服务器,该上传时延为符号u表示该时延是上传时延,其中,M本地模型的数据量,/>是边缘设备k的上传速率;
从而在边缘聚合阶段,边缘设备k在两次边缘聚合之间的时间内完成本地训练和模型上传的概率为:
由于损失函数值F(w(T))受到收敛性参数,边缘聚合间隔以及成功参与的设备数目影响,具体来说,降低边缘聚合间隔或者提高边缘设备成功参与的学习的概率,可以提高学习性能,因此原问题1可以等效为
其中,Γ(I(r))和γ(I(r))都是关于边缘聚合间隔和训练过程中收敛性参数的增函数,其中收敛性参数λ可以是损失函数的凸性系数,或者是损失函数的平滑性系数,这些收敛性参数都随着训练过程呈现下降趋势。问题2分两步优化边缘聚合间隔以及该周期的时延预算。第一步,给定该周期的时延预算,由于边缘聚合间隔是整数,并且满足1≤I(r)≤G,可以直接搜索最优的边缘聚合间隔,第二步,基于获得的边缘聚合间隔以及凸优化理论优化该周期的时延预算,上述两步不断重复直到目标函数值不再降低。
步骤203:
基于优化得到的边缘聚合间隔以及训练时延预算,开始进行分层联邦学习训练。在训练周期r,边缘设备k基于自己的本地数据训练本地模型;更新过程为:
其中,是在训练周期r内第tr次本地训练后的本地模型,γ是学习率,/>是边缘设备k在本地模型/>上基于本地数据训练出的梯度,该更新过程所用的优化器为随机梯度下降;
经过I(r)次本地训练后,边缘设备将更新之后的本地模型发送给与其相关联的边缘服务器进行边缘聚合从而生成边缘模型,边缘服务器s的边缘聚合的过程为;
其中,是在训练周期r内第tr次本地训练后边缘聚合更新的边缘模型,/>用于表示边缘设备能否在两次边缘聚合之间完成本地训练和模型上传,Vs是与边缘服务器s相关联的边缘设备集合,在进行边缘聚合之后,边缘服务器会根据边缘设备本地训练的次数来决定是否进行全局聚合,具体来说,如果本周期内边缘设备本地训练的次数没有达到G(r)次,边缘服务器会将更新之后的边缘模型发送给与其相关联的边缘设备,用于替换边缘设备的本地模型,从而继续本地训练;如果本地训练的次数已经达到G(r)次,边缘服务器会将更新之后的边缘模型上传到云服务器进行全局聚合从而生成全局模型,全局聚合的过程为:
其中,是在训练周期r内第tr次本地训练后通过全局聚合更新的全局模型,用于表示边缘设备能否在两次边缘聚合之间完成本地训练和模型上传,Vs是与边缘服务器s相关联的边缘设备集合。该全局模型会被发送给所有的边缘设备用于替换边缘设备的本地模型,并且用于下一个周期的训练。
下面通过具体实施例对本发明提供的技术方案进一步阐述。我们采用MNIST数据集。主要参数设置如下:
图3和图4给出了训练损失和测试准确率关于训练时延变化趋势。可以看出本发明提出的一种边缘聚合频率自适应控制的分层联邦学习方法,和最大边缘聚合间隔训练基准算法相比可以提高了学习性能;和最小边缘聚合间隔训练相比降低了训练时延。这些结果说明了我们所提方案的有效性。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围内。
Claims (10)
1.一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,通过部署边缘服务器协助联邦学习训练;云服务器根据当前的训练情况,优化边缘聚合间隔以及当前周期的训练时延预算;根据优化之后的边缘聚合间隔以及训练时延预算,边缘设备,边缘服务器,云服务器协作地完成联邦学学习训练,具体步骤如下:
步骤1,搭建以边缘设备,边缘服务器,云服务器为元素的分层联邦学习系统;该系统部署在无线环境中;其中包含多个边缘设备,多个边缘服务器,以及一个云服务器;边缘设备集合定义为K={1,2,...k,...,K},边缘服务器集合定义为S={1,2,...s,...,S};边缘设备k本地的数据集为其中,i是样本的索引,xk,i是第i个输入样本,yk,i是该样本的标签,Dk设训练样本的数目;由于边缘服务器覆盖范围有限,每个边缘服务器只关联一部分的边缘设备,定义被边缘服务器s服务的设备集合为Vs;边缘设备,边缘服务器,云服务器协助地完成联邦学习训练,目标为训练出模型w使得全局损失最小:
其中,是全局损失函数值,/>是总样本,l(w,xk,i,yk,i)是边缘设备k在给定模型w情况下在训练数据{xk,i,yk,i}上的损函数失值,l是任意损失函数;
步骤2,联邦学习的训练过程是一个迭代过程,需要多个训练周期,并且在每一个周期边缘设备要进行多次本地训练,边缘设备利用自己的本地数据训练本地模型,多次边缘聚合,边缘聚合就边缘服务器对采集到的本地模型进行加权平均,边缘设备将更新之后的本地模型上传到与其相关联的边缘服务器,边缘服务器对收集的边缘模型进行加权平均运算生成新的边缘模型,以及一次全局聚合,边缘服务器将更新之后的边缘模型上传到云服务器,云服务器对收集的边缘模型进行加权平均运算生成新的全局模型,训练周期的集合定义R={1,2,..,r,...,R},其中,R为总的训练周期数,在训练周期r的开始阶段,云服务器根据当前训练情况优化边缘聚合间隔I(r),该变量定义为训练周期r中边缘设备在两次边缘聚合之间本地训练的次数;此外云服务器优化当前周期的训练时延预算τ(r),该变量为训练周期r消耗的时间;当前周期边缘设备最多需要进行G次本地训练,其中在训练周期r,边缘设备需要将本地模型上传给边缘服务器次,则训练周期r内实际的本地训练次数为:/>
由于当前周期的训练时延预算已经给定,训练周期r内两次边缘聚合之间的训练时延预算为并且有些边缘设备无法在两次边缘聚合之间完成本地训练和模型上传,用变量/>来表示边缘设备k可以在两次边缘聚合之间的时间内完成本地训练和模型上传,反之/>来表示边缘设备k无法在两次边缘聚合之间的时间内完成本地训练和模型上传,其中,1≤tr≤G是边缘设备k在训练周期r进行本地训练的次数的索引;
步骤3,具体训练过程如下:
在训练周期r,边缘设备k基于自己的本地数据训练本地模型;更新过程为:
其中,是在训练周期r内第tr次本地训练后的本地模型,γ是学习率,/>是边缘设备k在本地模型/>上基于本地数据训练出的梯度,该更新过程所用的优化器为随机梯度下降;经过I(r)次本地训练后,边缘设备将更新之后的本地模型发送给与其相关联的边缘服务器进行边缘聚合从而生成边缘模型,边缘服务器s的边缘聚合的过程为:
其中,是在训练周期r内第tr次本地训练后边缘聚合更新的边缘模型,/>用于表示边缘设备k能否在两次边缘聚合之间完成本地训练和模型上传,Vs是与边缘服务器s相关联的边缘设备集合,在进行边缘聚合之后,边缘服务器会根据边缘设备本地训练的次数来决定是否进行全局聚合,具体来说,如果本周期内边缘设备本地训练的次数没有达到G(r)次,边缘服务器会将更新之后的边缘模型发送给与其相关联的边缘设备,用于替换边缘设备的本地模型,从而继续本地训练;如果本地训练的次数已经达到G(r)次,边缘服务器会将更新之后的边缘模型上传到云服务器进行全局聚合从而生成全局模型,全局聚合的过程为:
其中,是在训练周期r内第tr次本地训练后通过全局聚合更新的全局模型,/>用于表示边缘设备k能否在两次边缘聚合之间完成本地训练和模型上传,Vs是与边缘服务器s相关联的边缘设备集合,该全局模型被发送给所有的边缘设备用于替换边缘设备的本地模型,并且用于下一个周期的训练。
2.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,每一个训练周期包含多次的本地计算过程,多次的边缘聚合过程,以及1次全局聚合过程。
3.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,全局聚合以及全局模型广播发生在每个训练周期的结束阶段。
4.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,同一个周期内的边缘聚合间隔是一样的,不同周期的边缘聚合间隔可以不同。
5.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,同一个周期内的利用的是相同的信道信息,即平均信道信息,而不同周期的信道消息不同。
6.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,步骤2中,边缘聚合间隔以及训练时延预算是依据最小化训练损失和训练时延的加权和的原则,优化问题为:
其中,I={I(1),I(2),...,I(r)...,I(R)}是每个周期边缘聚合间隔组成的集合;
τ={τ(1),τ(2),...,τ(R)}是每个周期训练时延预算组成的集合;
F(w(T))是T次本地计算之后基于全局模型w(T)的损失函数值,其中
系数ρ用于调节时延和模型重要性的权重;
采用漂移指数分布来描述设备的本地计算能力,在训练周期r,边缘设备k进行I(r)次本地计算的时延用如下概率分布表示,即本地计算时延小于χ的概率,其中,χ是一个大于0的变量,符号c表示该时延是计算时延:
其中,I(r)Dkqk是最小的本地计算时延,μk和qk是描述边缘设备k本地计算能力的常数;
经过I(r)次本地计算后,边缘设备k需要将本地模型上传给边缘服务器,该上传时延为符号u表示该时延是上传时延,其中,M本地模型的数据量,/>是边缘设备k的上传速率;
在边缘聚合阶段,边缘设备k在两次边缘聚合之间的时间内完成本地训练和模型上传的概率为:
7.根据权利要求6所述的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于,损失函数值F(w(T))受到收敛性参数,边缘聚合间隔以及成功参与的设备数目影响,具体来说,降低边缘聚合间隔或者提高边缘设备成功参与的学习的概率,以提高学习性能,原问题1等效为:
其中,Γ(I(r))和γ(I(r))都是关于边缘聚合间隔和训练过程中收敛性参数的增函数,其中,收敛性参数λ是损失函数的凸性系数或者是损失函数的平滑性系数。
8.根据权利要求7所述的一种边缘聚合间隔自适应控制的分层联邦学习方法,其特征在于在,问题2分为两步优化边缘聚合间隔以及该周期的时延预算,第一步,给定该周期的时延预算,边缘聚合间隔是整数,并且满足1≤I(r)≤G,直接搜索最优的边缘聚合间隔,第二步,基于获得的边缘聚合间隔以及凸优化理论优化该周期的时延预算,上述两步不断重复直到目标函数值不再降低。
9.一种计算机设备,其特征在于,该计算机设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现权利要求1-8所述的一种边缘聚合间隔自适应控制的分层联邦学习方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8所述的一种边缘聚合间隔自适应控制的分层联邦学习方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110641363.3A CN113469325B (zh) | 2021-06-09 | 2021-06-09 | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110641363.3A CN113469325B (zh) | 2021-06-09 | 2021-06-09 | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113469325A CN113469325A (zh) | 2021-10-01 |
CN113469325B true CN113469325B (zh) | 2023-07-25 |
Family
ID=77869439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110641363.3A Active CN113469325B (zh) | 2021-06-09 | 2021-06-09 | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113469325B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113971090B (zh) * | 2021-10-21 | 2022-09-13 | 中国人民解放军国防科技大学 | 分布式深度神经网络的分层联邦学习方法及装置 |
CN114065951A (zh) * | 2021-11-17 | 2022-02-18 | 黑龙江大学 | 基于non-IID数据的半监督联邦学习方法 |
CN114065863B (zh) * | 2021-11-18 | 2023-08-29 | 北京百度网讯科技有限公司 | 联邦学习的方法、装置、系统、电子设备及存储介质 |
CN114422454A (zh) * | 2021-12-27 | 2022-04-29 | 北京百度网讯科技有限公司 | 分布式机器学习方法、系统、服务器、设备及存储介质 |
CN114462573B (zh) * | 2022-01-20 | 2023-11-14 | 内蒙古工业大学 | 一种面向边缘智能的高效层次化参数传输时延优化方法 |
CN114638357B (zh) * | 2022-02-28 | 2024-05-31 | 厦门大学 | 基于自动联邦学习的边缘计算系统及其学习方法 |
CN115048869B (zh) * | 2022-06-30 | 2024-08-02 | 合肥工业大学 | 基于联邦学习的风电机组故障诊断方法及系统 |
CN116843042A (zh) * | 2023-07-10 | 2023-10-03 | 湖南工商大学 | 高速车联网场景下的分层联邦学习聚合频率优化方法 |
CN117221122B (zh) * | 2023-09-12 | 2024-02-09 | 南京邮电大学 | 一种基于带宽预分配的异步分层联合学习训练方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070240A (zh) * | 2020-09-07 | 2020-12-11 | 清华大学 | 一种高效通信的分层联邦学习框架及其优化方法和系统 |
CN112422346A (zh) * | 2020-11-19 | 2021-02-26 | 北京航空航天大学 | 一种考虑多资源限制的变周期移动边缘计算卸载决策方法 |
CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
CN112804107A (zh) * | 2021-01-28 | 2021-05-14 | 南京邮电大学 | 一种物联网设备能耗自适应控制的分层联邦学习方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210073639A1 (en) * | 2018-12-04 | 2021-03-11 | Google Llc | Federated Learning with Adaptive Optimization |
-
2021
- 2021-06-09 CN CN202110641363.3A patent/CN113469325B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070240A (zh) * | 2020-09-07 | 2020-12-11 | 清华大学 | 一种高效通信的分层联邦学习框架及其优化方法和系统 |
CN112422346A (zh) * | 2020-11-19 | 2021-02-26 | 北京航空航天大学 | 一种考虑多资源限制的变周期移动边缘计算卸载决策方法 |
CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
CN112804107A (zh) * | 2021-01-28 | 2021-05-14 | 南京邮电大学 | 一种物联网设备能耗自适应控制的分层联邦学习方法 |
Non-Patent Citations (1)
Title |
---|
联邦学习在5G云边协同场景中的原理和应用综述;刘耕;赵立君;陈庆勇;唐小勇;游正鹏;;通讯世界(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113469325A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113469325B (zh) | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 | |
CN110928654B (zh) | 一种边缘计算系统中分布式的在线任务卸载调度方法 | |
Chen et al. | Performance optimization of federated learning over wireless networks | |
CN113222179B (zh) | 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 | |
US12035380B2 (en) | Industrial 5G dynamic multi-priority multi-access method based on deep reinforcement learning | |
CN111629380B (zh) | 面向高并发多业务工业5g网络的动态资源分配方法 | |
CN113568727B (zh) | 一种基于深度强化学习的移动边缘计算任务分配方法 | |
CN110366193B (zh) | 一种智能电网的网络编排层承载的切片部署方法及装置 | |
Jiang et al. | Fedmp: Federated learning through adaptive model pruning in heterogeneous edge computing | |
CN110968426A (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
CN111026548B (zh) | 一种逆向深度强化学习的电力通信设备测试资源调度方法 | |
CN117313789A (zh) | 使用神经网络的黑盒优化 | |
CN113518007A (zh) | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 | |
CN112287990A (zh) | 一种基于在线学习的边云协同支持向量机的模型优化方法 | |
Hua et al. | GAN-based deep distributional reinforcement learning for resource management in network slicing | |
CN112667406A (zh) | 一种云边融合异构网络中任务卸载与数据缓存方法 | |
CN116009677A (zh) | 一种基于Cell-Free mMIMO网络的联邦学习设备端能耗优化方法 | |
CN116389270A (zh) | 联邦学习中基于drl联合优化客户端选择和带宽分配的方法 | |
Li et al. | A meta-learning based framework for cell-level mobile network traffic prediction | |
CN116542319A (zh) | 边缘计算环境中基于数字孪生的自适应联邦学习方法及系统 | |
CN113743012B (zh) | 一种多用户场景下的云-边缘协同模式任务卸载优化方法 | |
CN115499876A (zh) | Msde场景下基于dqn算法的计算卸载策略 | |
CN114997422A (zh) | 一种异构通信网络的分组式联邦学习方法 | |
CN115250156A (zh) | 一种基于联邦学习的无线网络多信道频谱接入方法 | |
CN113033653A (zh) | 一种边-云协同的深度神经网络模型训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |