CN114580498A - 一种无线通信场景下高通信效率的联邦学习方法 - Google Patents
一种无线通信场景下高通信效率的联邦学习方法 Download PDFInfo
- Publication number
- CN114580498A CN114580498A CN202210093550.7A CN202210093550A CN114580498A CN 114580498 A CN114580498 A CN 114580498A CN 202210093550 A CN202210093550 A CN 202210093550A CN 114580498 A CN114580498 A CN 114580498A
- Authority
- CN
- China
- Prior art keywords
- local
- global
- model
- matrix
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Operations Research (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种无线通信场景下高通信效率的联邦学习方法,该方法包括:S1、从无线通信场景下的联邦学习系统、训练算法、通信模型三方面出发构建联邦学习框架;S2、针对构建的联邦学习框架,对其训练过程进行收敛性分析;S3、根据收敛性分析的结果构建一个关于该联邦学习框架的优化问题,并通过一种针对设备选择和波束赋形的联合优化方法来解决该问题。本发明基于空中计算和二阶训练算法,一方面通过信道的波形叠加特性实现低延迟的模型聚合,另一方面通过二阶算法的快速收敛特性减少了训练所需的迭代轮数,解决了目前大部分无线联邦学习方法所存在的通信瓶颈问题。同时,通过所提出的针对联邦学习框架的联合优化方法进一步提升了训练的精确度。
Description
技术领域
本发明涉及无线通信和联邦学习领域,特别地涉及一种无线通信场景下高通信效率的联邦学习方法。
背景技术
现今人工智能(AI)的相关技术正处于飞速发展的阶段,在各种场景中被研究与应用。作为一种数据驱动的技术,其可靠性和准确性很大程度上取决于数据源的大小和质量。然而,对于大部分的企业来说,获取一个用于AI模型训练的、高质量的数据集并不容易。同时,数据隐私问题也逐渐被人们所重视,现实应用中的数据也形成了一个个数据孤岛,导致在云端汇聚数据进行AI模型训练的工作愈发困难。因此,联邦学习成为了一种新的学习范式来解决上述这些问题。一个普适的联邦学习框架可以被描述为一个分布式的训练过程,并且每一轮的迭代过程可以被描述为以下三步:首先,中心服务器将当前的全局模型参数广播给所有参与训练的设备;随后,每个设备基于其自身的数据集进行本地模型训练并将更新回传给服务器;最后,服务器将所有设备的更新值汇聚并计算得到用于下一轮训练的全局模型参数。本质上来看,这一过程就是服务器和设备共同解决一个分布式的优化问题,而这种模式通常被称为联邦优化。与中心化的优化不同,联邦优化面临着许多挑战,包括通信效率、数据异构、安全、系统复杂度等。而在这些挑战中,由于服务器与设备间的通信常会收到不可靠的网络连接、有限资源、延迟等因素影响,通信效率问题也被认为是联邦优化中的一项核心挑战。
为了处理联邦学习中的通信效率问题,近年来大批学者在其上进行了大量的研究工作。一方面,减少每一轮迭代过程中的通信量被认为是一种有效的方法。具体来看,量化和稀疏化的技术被用来减少传输的比特数以及移除参数中多余的更新,同时,还有一些学者采用了低秩的压缩方法来到达较高的压缩率并维持模型的质量。这些压缩技术在处理高维模型展现出了显著的效果,然而,它们的设计都需要考虑到与通信模型的兼容性问题。另一方面,减少总的通信轮数被视作是核心目标。在某些特殊情况(如非光滑目标函数、黑盒攻击)下,零阶算法由于其仅需利用目标函数值来近似梯度信息的特性而被广泛采用。而在梯度信息可得的情况下,一阶算法,如梯度下降等,是更为人熟悉的算法。通过在其基础上,增加本地计算量,总的迭代轮数被证明是可以有效减少,一系列的方法也随之研究开发。
由于无线信道存在噪声干扰,并且资源有限、延迟较高的特性,联邦学习模型参数的传输在无线信道中面临着更加严峻的挑战。上述提到现有的零阶和一阶方法在最优条件下也只能达到线性的收敛速度,从而导致达到需求准确率所需的迭代轮数相对较多。因此,二阶优化算法由于其二次的收敛速度在无线环境中展现出了较大的潜力。尽管如此,标准的二阶牛顿更新方向的构建同时需要Hessian矩阵和梯度信息,而Hessian矩阵的信息聚合会带来巨大的通信负担,为了处理这个问题,许多近似的分布式二阶优化算法被提出,主要包括显式利用Hessian信息和隐式利用Hessian信息这两大类。
发明内容
针对现有方法中所存在的通信效率问题,本发明的目的旨在提供一种无线通信场景下高通信效率的联邦学习方法,解决通信效率的瓶颈问题。
为了实现上述目的,本发明所采用的具体技术方案是:
一种无线通信场景下高通信效率的联邦学习方法,包括以下具体步骤:
S1、联邦学习框架的构建;
首先对由服务器、设备、无线信道三者构成的联邦学习系统进行建模,并完成对模型训练任务的建模;随后确立用于完成模型训练任务的算法;接着对服务器和设备间的通信模型进行建模;最后将三者整合得到完整的联邦学习框架;具体为:
S11、建立无线联邦学习系统的模型:
将无线场景下所进行的联邦学习视作m个单天线设备与一个装有k根天线的服务器共同完成一个模型训练任务的过程;用和来分别表示整体的样本集合和设备集合;设备上存储着数据量大小均为s的本地数据集并有其中∪为集合并操作,ui,j为特征向量,vi,j为对应的标签,并通过zi,j来表示(ui,j,vi,j)的元组;
接下来将模型训练的任务建模为最小化一个全局的损失函数;每个设备i本地的损失函数建模为其中w∈Rd为模型的参数向量,∑为求和函数,函数f用于衡量模型参数的误差,γ为正则化参数,|·|表示集合大小,||·||为l2范数;基于该本地损失函数,将全局损失函数建模为设备集里所有设备的本地损失函数的平均:
S12、确立用于完成模型训练任务的算法;
将采用的算法描述为一个迭代的训练过程,并且第t轮迭代的具体过程如下;
2)全局模型广播:服务器将当前的全局模型参数wt广播给参与本轮训练的设备;
3)本地模型更新:在设备i接收到全局模型参数后,首先根据本地的损失函数计算得到本地梯度值其中f′()为一阶导数;随后进一步计算得到本地Hessian矩阵其中f″()为二阶导数,Id为d维单位矩阵;最后根据本地梯度和本地Hessian矩阵计算得到本地Newton更新方向其中为二阶偏导,为一阶偏导;
S13、建立S12中模型聚合过程中服务器与设备间的通信模型;
首先将服务器与设备间的无线信道视作一个分块的衰落信道,其中每个时间块又被进一步分为d个时间槽来满足一个更新方向向量的传输;采用空中计算来实现模型聚合的过程,令所有设备同时传输其本地的更新方向,并通过无线信道的叠加特性在空中完成求和操作;
随后将传输信号的每一项xt,F[l],l∈[1,d]表示为:xt,i[l]=bt,ist,i[l],其中bt,i∈R为传输能量控制因子;同时每个设备传输能量限制为其中表示任意,E()为取均值的操作,P0为最大传输能量;
服务器接收到信号后,通过后处理操作得到一个估计值向量,其每一项表示为 其中at∈Ck代表服务器接受端的波束成形向量,ηt为调节因子,()H为共轭转置;记为信道系数矩阵, 为能量传输矩阵,其中diag()表示对角矩阵,为信号传输矩阵,其中()T为矩阵转置,Et=[et,1,…,et,d]为噪声矩阵,其中et,i为与et相同的高斯白噪音向量,据此将总的估计值向量rt=[rt[1],…,rt[d]]化简为 其中能量传输矩阵的每一项设置为以提升空中计算的准确度;将该能量传输矩阵的值代入总的估计值向量中得到rt的一个进一步简化形式
S14、整合得到完整的联邦学习框架;
将S11中的无线联邦学习系统模型,S12中针对无线联邦学习模型的训练算法,以及S13中针对训练过程中模型聚合操作的通信模型整合,得到完整的基于空中计算和二阶算法的联邦学习框架,该框架中第t轮训练迭代的过程如下:
服务器首先选择参与本轮迭代训练的设备并将其存为随后服务器将当前的模型参数向量wt广播给参与本轮迭代的设备;接收到参数向量后,每个设备i首先计算得到本地梯度值随后计算得到本地Hessian矩阵 并在这两项的基础上计算得到本地的牛顿更新方向接下来,每个设备i将该更新方向编码为 并将传输信号xt,i[l]=bt,ist,i[l],l∈[1,d]通过无线信道传输;服务器通过空中计算接受到参与训练的设备同时发送的信号聚合后的结果并通过一系列解码操作最终得到全局更新方向最后在服务器根据该全局更新方向完成本轮训练对全局模型参数的更新S2、通过二阶辅助函数以及向量分解的方式对提出的联邦学习框架的训练过程进行收敛性分析;
首先,给出全局和本地梯度、全局和本地Hessian矩阵便于进行收敛性分析的表示形式;令其中则全局Hessian矩阵表示为 令Nt=[n1,…,nn]∈Rd×n,其中ni=f′(wt,zi,j),则全局的梯度值表示为 令为sketching矩阵,其中Li∈Rn×s为每列仅有一个非零项且该非零项代表被设备i持有的数据的特殊矩阵,将本地Hessian矩阵和本地梯度值分别表示为 和
接下来,将S14中所给出的每轮迭代过程中的全局更新方向拆解为如下形式 其中为所给出的联邦学习框架中所采用的全局更新方向,为对参与本轮迭代的设备的本地更新方向的平均结果,为不进行设备选择处理直接对所有设备的本地更新方向平均后的结果,为采用全局梯度来计算本地更新方向并进一步得到全局更新方向的结果;
随后,根据本地Hessian矩阵的性质: 其中U为矩阵Mt的正交基,λ为0到1的常数,L为拼接得到的矩阵;以及本地梯度值的性质:其中δ为0到1的常数,ln()为自然对数;推算得出本联邦学习框架中的全局更新方向与准确的牛顿更新方向p*间关于辅助函数φ(p)的关系如下:其中 其中σmin和σmax分别表示该矩阵的最小和最大奇异值;
S3、针对收敛性分析结果中每轮训练时存在的误差项来构建最小化误差项的优化问题,并通过一种针对设备选择和波束赋形的联合优化方法来解决该问题以提升训练所得到的联邦学习框架模型的精确度。
S31、优化问题构建;
在系统优化的第k轮迭代过程中,首先生成当前设备选择集合的邻居集合的集对于中的每个设备选择集合将其代入原系统优化问题中得到一个新的针对波束成形向量的优化问题令且rank(A)=1,通过矩阵提升和凸函数差的性质将该问题转化为s.t.A≥0,Tr(A)>0,Tr(AQi)≥1其中<·,·>为矩阵内积,θ||Aj||2为||Aj||的次梯度,Tr()表示矩阵的迹,Aj为循环迭代变量;将A0初始化为任意正定矩阵,循环求解该问题直至|Tr(Aj)-||Aj||2|<ξ,最终得到所对应的最优的波束成形向量
本发明的有益效果:
本发明中提出了一种无线通信场景下高通信效率的联邦学习方法,通过二阶算法对损失函数信息的充分利用以及无线信道的叠加特性实现了通信轮数和通信延迟的同时减少,极大地缓解了现有的联邦学习框架中的通信瓶颈问题;同时,针对训练过程中产生的误差项,本发明提出了一种针对设备选择和接受方波束成形向量的联合优化方法,有效地提升了模型训练的精确度。
附图说明
图1是本发明中联邦学习框架图;
图2是本发明与另外两种无线联邦学习方法的实验对比图。
具体实施方式
以下结合附图及实施例对本发明进行详细描述。显然,所列举的实例只用于解释本发明,并非用于限定本发明的范围。
参阅图1,本发明所述的一种无线通信场景下高通信效率的联邦学习方法,是基于空中计算和二阶优化算法的无线联邦学习方法,包括以下步骤:
S1、联邦学习框架的构建;
S11、建立无线联邦学习系统的模型:
将无线场景下所进行的联邦学习视作m个单天线设备与一个装有k根天线的服务器共同完成一个模型训练任务的过程;用和来分别表示整体的样本集合和设备集合;设备上存储着数据量大小均为s的本地数据集并有其中∪为集合并操作,ui,j为特征向量,vi,j为对应的标签,并通过zi,j来表示(ui,j,vi,j)的元组;
接下来将模型训练的任务建模为最小化一个全局的损失函数;每个设备i本地的损失函数建模为其中w∈Rd为模型的参数向量,∑为求和函数,函数f用于衡量模型参数的误差,γ为正则化参数,|·|表示集合大小,||·||为l2范数;基于该本地损失函数,将全局损失函数建模为设备集里所有设备的本地损失函数的平均:
S12、确立用于完成模型训练任务的算法;
将采用的算法描述为一个迭代的训练过程,并且第t轮迭代的具体过程如下;
2)全局模型广播:服务器将当前的全局模型参数wt广播给参与本轮训练的设备;
3)本地模型更新:在设备i接收到全局模型参数后,首先根据本地的损失函数计算得到本地梯度值其中f′()为一阶导数;随后进一步计算得到本地Hessian矩阵其中f″()为二阶导数,Id为d维单位矩阵;最后根据本地梯度和本地Hessian矩阵计算得到本地Newton更新方向其中为二阶偏导,为一阶偏导;
S13、建立S12中模型聚合过程中服务器与设备间的通信模型;
首先将服务器与设备间的无线信道视作一个分块的衰落信道,其中每个时间块又被进一步分为d个时间槽来满足一个更新方向向量的传输;采用空中计算来实现模型聚合的过程,令所有设备同时传输其本地的更新方向,并通过无线信道的叠加特性在空中完成求和操作;
随后将传输信号的每一项xt,F[l],l∈[1,d]表示为:xt,F[l]=bt,ist,i[l],其中bt,i∈R为传输能量控制因子;同时每个设备传输能量限制为其中表示任意,E()为取均值的操作,P0为最大传输能量;
服务器接收到信号后,通过后处理操作得到一个估计值向量,其每一项表示为 其中at∈Ck代表服务器接受端的波束成形向量,ηt为调节因子,()H为共轭转置;记为信道系数矩阵, 为能量传输矩阵,其中diag()表示对角矩阵,为信号传输矩阵,其中()T为矩阵转置,Et=[et,1,…,et,d]为噪声矩阵,其中et,F为与et相同的高斯白噪音向量,据此将总的估计值向量rt=[rt[1],…,rt[d]]化简为 其中能量传输矩阵的每一项设置为以提升空中计算的准确度;将该能量传输矩阵的值代入总的估计值向量中得到rt的一个进一步简化形式
S14、整合得到完整的联邦学习框架;
将S11中的无线联邦学习系统模型,S12中针对无线联邦学习模型的训练算法,以及S13中针对训练过程中模型聚合操作的通信模型整合,得到完整的基于空中计算和二阶算法的联邦学习框架,该框架中第t轮训练迭代的过程如下:
服务器首先选择参与本轮迭代训练的设备并将其存为随后服务器将当前的模型参数向量wt广播给参与本轮迭代的设备;接收到参数向量后,每个设备i首先计算得到本地梯度值随后计算得到本地Hessian矩阵 并在这两项的基础上计算得到本地的牛顿更新方向接下来,每个设备i将该更新方向编码为 并将传输信号xt,F[l]=bt,ist,i[l],l∈[1,d]通过无线信道传输;服务器通过空中计算接受到参与训练的设备同时发送的信号聚合后的结果并通过一系列解码操作最终得到全局更新方向最后在服务器根据该全局更新方向完成本轮训练对全局模型参数的更新S2、通过二阶辅助函数以及向量分解的方式对提出的联邦学习框架的训练过程进行收敛性分析;
首先,给出全局和本地梯度、全局和本地Hessian矩阵便于进行收敛性分析的表示形式;令其中则全局Hessian矩阵表示为 令Nt=[n1,…,nn]∈Rd×n,其中ni=f′(wt,zi,j),则全局的梯度值表示为 令为sketching矩阵,其中Li∈Rn×s为每列仅有一个非零项且该非零项代表被设备i持有的数据的特殊矩阵,将本地Hessian矩阵和本地梯度值分别表示为 和
接下来,将S14中所给出的每轮迭代过程中的全局更新方向拆解为如下形式 其中为所给出的联邦学习框架中所采用的全局更新方向,为对参与本轮迭代的设备的本地更新方向的平均结果,为不进行设备选择处理直接对所有设备的本地更新方向平均后的结果,为采用全局梯度来计算本地更新方向并进一步得到全局更新方向的结果;
随后,根据本地Hessian矩阵的性质: 其中U为矩阵Mt的正交基,λ为0到1的常数,L为拼接得到的矩阵;以及本地梯度值的性质:其中δ为0到1的常数,ln()为自然对数;推算得出本联邦学习框架中的全局更新方向与准确的牛顿更新方向p*间关于辅助函数φ(p)的关系如下:其中 其中σmin和σmax分别表示该矩阵的最小和最大奇异值;
S3、针对收敛性分析结果中每轮训练时存在的误差项来构建最小化该误差的优化问题,并通过一种针对设备选择和波束赋形的联合优化方法来解决该问题以提升训练所得到的模型的精确度。
S31、问题构建;
在系统优化的第k轮迭代过程中,首先生成当前设备选择集合的邻居集合的集对于中的每个设备选择集合将其代入原系统优化问题中得到一个新的针对波束成形向量的优化问题令且rank(A)=1,通过矩阵提升和凸函数差的性质将该问题转化为s.t.A≥0,Tr(A)>0,Tr(AQi)≥1其中<·,·>为矩阵内积,θ||Aj||2为||Aj||的次梯度,Tr()表示矩阵的迹,Aj为循环迭代变量;将A0初始化为任意正定矩阵,循环求解该问题直至|Tr(Aj)-||Aj||2|<ξ,最终得到所对应的最优的波束成形向量
为验证本发明的有效性,将本发明与两种现有的无线联邦学习方法进行了对比,其中对比方法1为基于FedAvg算法和空中计算的联邦学习方法,对比方法2为基于Fedsplit算法和空中计算的联邦学习方法。实验在Covtype,a9a,w8a,和phishing这四个不同的数据集上进行,实验结果如图2所示,其中横坐标为通信轮数,纵坐标为损失函数值。可以看出本发明仅需10轮左右的通信轮数即可将损失函数值降低到较低水平(10-5,10-3,0.02,0.002),而对比方法在经过50轮的通信轮数后,损失函数仍维持在较高水平(0.1,0.01,0.05,0.1)。本发明通过利用损失函数的二阶信息加速训练的收敛速度,从而有效地减少了训练所需的通信轮数,提升了无线环境中联邦学习的通信效率。
Claims (4)
1.一种无线通信场景下高通信效率的联邦学习方法,其特征在于,该方法包括以下具体步骤:
S1、联邦学习框架的构建
首先对由服务器、设备、无线信道三者构成的联邦学习系统进行建模,并完成对模型训练任务的建模;随后确立用于完成模型训练任务的算法;接着对服务器和设备间的通信模型进行建模;最后将三者整合得到完整的联邦学习框架;
S2、通过二阶辅助函数以及向量分解的方式对步骤S1提出的联邦学习框架的训练过程进行收敛性分析;
S3、针对收敛性分析结果中每轮训练存在的误差项来构建最小化误差项的优化问题,并通过一种针对设备选择和波束赋形的联合优化方法来解决误差项的优化问题,以提升训练所得到的联邦学习框架模型的精确度。
2.根据权利要求1所述的无线通信场景下高通信效率的联邦学习方法,其特征在于,所述步骤S1具体包括:
S11、建立无线联邦学习系统的模型
将无线场景下所进行的联邦学习视作m个单天线设备与一个装有k根天线的服务器共同完成一个模型训练任务的过程;用和来分别表示整体的样本集合和设备集合;设备上存储着数据量大小均为s的本地数据集并有其中∪为集合并操作,ui,j为特征向量,vi,j为对应的标签,并通过zi,j来表示(ui,j,vi,j)的元组;
w∈Rd为模型的参数向量,∑为求和函数,函数f用于衡量模型参数的误差,γ为正则化参数,|·|表示集合大小,||·||为l2范数;基于该本地损失函数,将全局损失函数建模为设备集里所有设备的本地损失函数的平均:
S12、确立用于完成模型训练任务的算法
将采用的算法描述为一个迭代的训练过程,并且第t轮迭代的具体过程如下;
2)全局模型广播:服务器将当前的全局模型参数wt广播给参与本轮训练的设备;
3)本地模型更新:在设备i接收到全局模型参数后,首先根据本地的损失函数计算得到本地梯度值其中f′()为一阶导数;随后进一步计算得到本地Hessian矩阵其中f″()为二阶导数,Id为d维单位矩阵;最后根据本地梯度和本地Hessian矩阵计算得到本地Newton更新方向其中为二阶偏导,为一阶偏导;
S13、建立S12中模型聚合过程中服务器与设备间的通信模型
首先将服务器与设备间的无线信道视作一个分块的衰落信道,其中每个时间块又被进一步分为d个时间槽来满足一个更新方向向量的传输;采用空中计算来实现模型聚合的过程,令所有设备同时传输其本地的更新方向,并通过无线信道的叠加特性在空中完成求和操作;
随后将传输信号的每一项xt,i[l],l∈[1,d]表示为:xt,i[l]=bt,ist,i[l],其中bt,i∈R为传输能量控制因子;同时每个设备传输能量限制为 其中表示任意,E()为取均值的操作,P0为最大传输能量;
服务器接收到信号后,通过后处理操作得到一个估计值向量,其每一项表示为 其中at∈Ck代表服务器接受端的波束成形向量,ηt为调节因子,()H为共轭转置;记为信道系数矩阵, 为能量传输矩阵,其中diag()表示对角矩阵,为信号传输矩阵,其中()T为矩阵转置,Et=[et,1,...,et,d]为噪声矩阵,其中et,i为与et相同的高斯白噪音向量,据此将总的估计值向量rt=[rt[1],...,rt[d]]化简为其中能量传输矩阵的每一项设置为以提升空中计算的准确度;将该能量传输矩阵的值代入总的估计值向量中得到rt的一个进一步简化形式
S14、整合得到完整的联邦学习框架
将S11中的无线联邦学习系统模型,S12中针对无线联邦学习模型的训练算法,以及S13中针对训练过程中模型聚合操作的通信模型整合,得到完整的基于空中计算和二阶算法的联邦学习框架,该框架中第t轮训练迭代的过程如下:
3.根据权利要求1所述的无线通信场景下高通信效率的联邦学习方法,其特征在于,所述步骤S2具体包括:
首先,给出全局和本地梯度、全局和本地Hessian矩阵便于进行收敛性分析的表示形式;令其中则全局Hessian矩阵表示为 令Nt=[n1,...,nn]∈Rd×n,其中ni=f′(wt,zi,j),则全局的梯度值表示为 令为sketching矩阵,其中Li∈Rn×s为每列仅有一个非零项且该非零项代表被设备i持有的数据的特殊矩阵,将本地Hessian矩阵和本地梯度值分别表示为 和
接下来,将S14中所给出的每轮迭代过程中的全局更新方向拆解为如下形式 其中为所给出的联邦学习框架中所采用的全局更新方向,为对参与本轮迭代的设备的本地更新方向的平均结果,为不进行设备选择处理直接对所有设备的本地更新方向平均后的结果,为采用全局梯度来计算本地更新方向并进一步得到全局更新方向的结果;
随后,根据本地Hessian矩阵的性质: 其中U为矩阵Mt的正交基,λ为0到1的常数,L为拼接得到的矩阵;以及本地梯度值的性质:其中δ为0到1的常数,ln()为自然对数;推算得出本联邦学习框架中的全局更新方向与精确的牛顿更新方向p*间关于辅助函数φ(p)的关系如下:其中 其中σmin和σmax分别表示该矩阵的最小和最大奇异值;
4.根据权利要求1所述的无线通信场景下高通信效率的联邦学习方法,其特征在于,所述步骤S3具体包括:
S31、优化问题构建
在系统优化的第k轮迭代过程中,首先生成当前设备选择集合的邻居集合的集对于中的每个设备选择集合将其代入原系统优化问题中得到一个新的针对波束成形向量的优化问题令且rank(A)=1,通过矩阵提升和凸函数差的性质将该问题转化为 其中<·,·>为矩阵内积,为||Aj||的次梯度,Tr()表示矩阵的迹,Aj为循环迭代变量;将A0初始化为任意正定矩阵,循环求解该问题直至|Tr(Aj)-||Aj||2|<ξ,最终得到所对应的最优的波束成形向量
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210093550.7A CN114580498A (zh) | 2022-01-26 | 2022-01-26 | 一种无线通信场景下高通信效率的联邦学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210093550.7A CN114580498A (zh) | 2022-01-26 | 2022-01-26 | 一种无线通信场景下高通信效率的联邦学习方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114580498A true CN114580498A (zh) | 2022-06-03 |
Family
ID=81771242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210093550.7A Pending CN114580498A (zh) | 2022-01-26 | 2022-01-26 | 一种无线通信场景下高通信效率的联邦学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114580498A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115412906A (zh) * | 2022-08-23 | 2022-11-29 | 福州大学 | 基于混合中继-智能反射面和联邦学习的无线通信方法 |
CN115618960A (zh) * | 2022-09-21 | 2023-01-17 | 清华大学 | 联邦学习优化方法、装置、电子设备及存储介质 |
CN115664471A (zh) * | 2022-08-31 | 2023-01-31 | 东南大学 | 基于宽学习的毫米波mimo基站协作波束选择方法 |
CN115659212A (zh) * | 2022-09-27 | 2023-01-31 | 南京邮电大学 | 跨域异质场景下基于tdd通信的联邦学习效率评测方法 |
CN116017507A (zh) * | 2022-12-05 | 2023-04-25 | 上海科技大学 | 基于无线空中计算和二阶优化的去中心化联邦学习方法 |
CN116527173A (zh) * | 2023-05-11 | 2023-08-01 | 山东大学 | 一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统 |
CN116567652A (zh) * | 2023-05-19 | 2023-08-08 | 上海科技大学 | 全向超表面辅助的空中计算赋能垂直联邦学习方法 |
-
2022
- 2022-01-26 CN CN202210093550.7A patent/CN114580498A/zh active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115412906A (zh) * | 2022-08-23 | 2022-11-29 | 福州大学 | 基于混合中继-智能反射面和联邦学习的无线通信方法 |
CN115664471B (zh) * | 2022-08-31 | 2024-01-02 | 东南大学 | 基于宽学习的毫米波mimo基站协作波束选择方法 |
CN115664471A (zh) * | 2022-08-31 | 2023-01-31 | 东南大学 | 基于宽学习的毫米波mimo基站协作波束选择方法 |
CN115618960A (zh) * | 2022-09-21 | 2023-01-17 | 清华大学 | 联邦学习优化方法、装置、电子设备及存储介质 |
CN115618960B (zh) * | 2022-09-21 | 2024-04-19 | 清华大学 | 联邦学习优化方法、装置、电子设备及存储介质 |
CN115659212A (zh) * | 2022-09-27 | 2023-01-31 | 南京邮电大学 | 跨域异质场景下基于tdd通信的联邦学习效率评测方法 |
CN115659212B (zh) * | 2022-09-27 | 2024-04-09 | 南京邮电大学 | 跨域异质场景下基于tdd通信的联邦学习效率评测方法 |
CN116017507B (zh) * | 2022-12-05 | 2023-09-19 | 上海科技大学 | 基于无线空中计算和二阶优化的去中心化联邦学习方法 |
CN116017507A (zh) * | 2022-12-05 | 2023-04-25 | 上海科技大学 | 基于无线空中计算和二阶优化的去中心化联邦学习方法 |
CN116527173B (zh) * | 2023-05-11 | 2023-11-24 | 山东大学 | 一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统 |
CN116527173A (zh) * | 2023-05-11 | 2023-08-01 | 山东大学 | 一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统 |
US11956726B1 (en) | 2023-05-11 | 2024-04-09 | Shandong University | Dynamic power control method and system for resisting multi-user parameter biased aggregation in federated learning |
CN116567652A (zh) * | 2023-05-19 | 2023-08-08 | 上海科技大学 | 全向超表面辅助的空中计算赋能垂直联邦学习方法 |
CN116567652B (zh) * | 2023-05-19 | 2024-02-23 | 上海科技大学 | 全向超表面辅助的空中计算赋能垂直联邦学习方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114580498A (zh) | 一种无线通信场景下高通信效率的联邦学习方法 | |
CN108566257B (zh) | 一种基于反向传播神经网络的信号恢复方法 | |
CN113222179B (zh) | 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 | |
CN113014524B (zh) | 一种基于深度学习的数字信号调制识别方法 | |
CN110336594B (zh) | 一种基于共轭梯度下降法的深度学习信号检测方法 | |
CN109150775B (zh) | 自适应噪声环境动态变化的鲁棒性在线信道状态估计方法 | |
CN111242849B (zh) | 一种基于深度卷积神经网络的频谱超分辨率在线重建方法 | |
CN114338301B (zh) | 一种基于压缩感知的ris辅助毫米波系统的信道估计方法 | |
CN114896887B (zh) | 一种基于深度学习的用频设备射频指纹识别方法 | |
WO2021088465A1 (zh) | 基于多分布测试数据融合的多层感知器快速调制识别方法 | |
CN116017507B (zh) | 基于无线空中计算和二阶优化的去中心化联邦学习方法 | |
CN114998958A (zh) | 一种基于轻量化卷积神经网络的人脸识别方法 | |
CN109547376A (zh) | 一种基于调制特性的高斯混合模型的调制识别方法 | |
CN112836822A (zh) | 基于宽度学习的联邦学习策略优化方法和装置 | |
CN114513394B (zh) | 一种基于注意力机制图神经网络的信号调制格式识别方法、系统、装置及存储介质 | |
CN116841732A (zh) | 一种基于单比特量化的联邦学习资源优化设计方法 | |
Jensen et al. | Simulation of conditioned semimartingales on riemannian manifolds | |
CN107181705A (zh) | 一种半盲信道估计方法及系统 | |
CN116939681A (zh) | 一种基于智能超表面和空中计算的联邦学习系统 | |
Chen et al. | Federated meta-learning framework for few-shot fault diagnosis in industrial IoT | |
CN114584441A (zh) | 一种基于深度学习的数字信号调制识别方法 | |
CN116128070A (zh) | 基于无线空中计算和多比特量化压缩感知的联邦学习方法 | |
CN113743012B (zh) | 一种多用户场景下的云-边缘协同模式任务卸载优化方法 | |
CN101924718B (zh) | 模糊神经网络控制的混合小波神经网络盲均衡方法 | |
CN113033653A (zh) | 一种边-云协同的深度神经网络模型训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |