CN114580498A - 一种无线通信场景下高通信效率的联邦学习方法 - Google Patents

一种无线通信场景下高通信效率的联邦学习方法 Download PDF

Info

Publication number
CN114580498A
CN114580498A CN202210093550.7A CN202210093550A CN114580498A CN 114580498 A CN114580498 A CN 114580498A CN 202210093550 A CN202210093550 A CN 202210093550A CN 114580498 A CN114580498 A CN 114580498A
Authority
CN
China
Prior art keywords
local
global
model
matrix
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210093550.7A
Other languages
English (en)
Inventor
王廷
杨芃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202210093550.7A priority Critical patent/CN114580498A/zh
Publication of CN114580498A publication Critical patent/CN114580498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种无线通信场景下高通信效率的联邦学习方法，该方法包括：S1、从无线通信场景下的联邦学习系统、训练算法、通信模型三方面出发构建联邦学习框架；S2、针对构建的联邦学习框架，对其训练过程进行收敛性分析；S3、根据收敛性分析的结果构建一个关于该联邦学习框架的优化问题，并通过一种针对设备选择和波束赋形的联合优化方法来解决该问题。本发明基于空中计算和二阶训练算法，一方面通过信道的波形叠加特性实现低延迟的模型聚合，另一方面通过二阶算法的快速收敛特性减少了训练所需的迭代轮数，解决了目前大部分无线联邦学习方法所存在的通信瓶颈问题。同时，通过所提出的针对联邦学习框架的联合优化方法进一步提升了训练的精确度。

Description

一种无线通信场景下高通信效率的联邦学习方法
技术领域
本发明涉及无线通信和联邦学习领域，特别地涉及一种无线通信场景下高通信效率的联邦学习方法。
背景技术
现今人工智能(AI)的相关技术正处于飞速发展的阶段，在各种场景中被研究与应用。作为一种数据驱动的技术，其可靠性和准确性很大程度上取决于数据源的大小和质量。然而，对于大部分的企业来说，获取一个用于AI模型训练的、高质量的数据集并不容易。同时，数据隐私问题也逐渐被人们所重视，现实应用中的数据也形成了一个个数据孤岛，导致在云端汇聚数据进行AI模型训练的工作愈发困难。因此，联邦学习成为了一种新的学习范式来解决上述这些问题。一个普适的联邦学习框架可以被描述为一个分布式的训练过程，并且每一轮的迭代过程可以被描述为以下三步：首先，中心服务器将当前的全局模型参数广播给所有参与训练的设备；随后，每个设备基于其自身的数据集进行本地模型训练并将更新回传给服务器；最后，服务器将所有设备的更新值汇聚并计算得到用于下一轮训练的全局模型参数。本质上来看，这一过程就是服务器和设备共同解决一个分布式的优化问题，而这种模式通常被称为联邦优化。与中心化的优化不同，联邦优化面临着许多挑战，包括通信效率、数据异构、安全、系统复杂度等。而在这些挑战中，由于服务器与设备间的通信常会收到不可靠的网络连接、有限资源、延迟等因素影响，通信效率问题也被认为是联邦优化中的一项核心挑战。
为了处理联邦学习中的通信效率问题，近年来大批学者在其上进行了大量的研究工作。一方面，减少每一轮迭代过程中的通信量被认为是一种有效的方法。具体来看，量化和稀疏化的技术被用来减少传输的比特数以及移除参数中多余的更新，同时，还有一些学者采用了低秩的压缩方法来到达较高的压缩率并维持模型的质量。这些压缩技术在处理高维模型展现出了显著的效果，然而，它们的设计都需要考虑到与通信模型的兼容性问题。另一方面，减少总的通信轮数被视作是核心目标。在某些特殊情况(如非光滑目标函数、黑盒攻击)下，零阶算法由于其仅需利用目标函数值来近似梯度信息的特性而被广泛采用。而在梯度信息可得的情况下，一阶算法，如梯度下降等，是更为人熟悉的算法。通过在其基础上，增加本地计算量，总的迭代轮数被证明是可以有效减少，一系列的方法也随之研究开发。
由于无线信道存在噪声干扰，并且资源有限、延迟较高的特性，联邦学习模型参数的传输在无线信道中面临着更加严峻的挑战。上述提到现有的零阶和一阶方法在最优条件下也只能达到线性的收敛速度，从而导致达到需求准确率所需的迭代轮数相对较多。因此，二阶优化算法由于其二次的收敛速度在无线环境中展现出了较大的潜力。尽管如此，标准的二阶牛顿更新方向的构建同时需要Hessian矩阵和梯度信息，而Hessian矩阵的信息聚合会带来巨大的通信负担，为了处理这个问题，许多近似的分布式二阶优化算法被提出，主要包括显式利用Hessian信息和隐式利用Hessian信息这两大类。
发明内容
针对现有方法中所存在的通信效率问题，本发明的目的旨在提供一种无线通信场景下高通信效率的联邦学习方法，解决通信效率的瓶颈问题。
为了实现上述目的，本发明所采用的具体技术方案是：
一种无线通信场景下高通信效率的联邦学习方法，包括以下具体步骤：
S1、联邦学习框架的构建；
首先对由服务器、设备、无线信道三者构成的联邦学习系统进行建模，并完成对模型训练任务的建模；随后确立用于完成模型训练任务的算法；接着对服务器和设备间的通信模型进行建模；最后将三者整合得到完整的联邦学习框架；具体为：
S11、建立无线联邦学习系统的模型：
将无线场景下所进行的联邦学习视作m个单天线设备与一个装有k根天线的服务器共同完成一个模型训练任务的过程；用
Figure BDA0003490012290000021
和
Figure BDA0003490012290000022
来分别表示整体的样本集合和设备集合；设备
Figure BDA0003490012290000023
上存储着数据量大小均为s的本地数据集
Figure BDA0003490012290000024
并有
Figure BDA0003490012290000025
其中∪为集合并操作，ui,j为特征向量，vi,j为对应的标签，并通过zi,j来表示(ui,j,vi,j)的元组；
接下来将模型训练的任务建模为最小化一个全局的损失函数；每个设备i本地的损失函数建模为
Figure BDA0003490012290000026
其中w∈Rd为模型的参数向量，∑为求和函数，函数f用于衡量模型参数的误差，γ为正则化参数,|·|表示集合大小，||·||为l2范数；基于该本地损失函数，将全局损失函数建模为设备集里所有设备的本地损失函数的平均：
Figure BDA0003490012290000027
S12、确立用于完成模型训练任务的算法；
将采用的算法描述为一个迭代的训练过程，并且第t轮迭代的具体过程如下；
1)设备选择：服务器决定参与本轮迭代的设备集，并将其记作
Figure BDA0003490012290000028
2)全局模型广播：服务器将当前的全局模型参数wt广播给参与本轮训练的设备；
3)本地模型更新：在设备i接收到全局模型参数后，首先根据本地的损失函数计算得到本地梯度值
Figure BDA0003490012290000031
其中f′()为一阶导数；随后进一步计算得到本地Hessian矩阵
Figure BDA0003490012290000032
其中f″()为二阶导数，Id为d维单位矩阵；最后根据本地梯度和本地Hessian矩阵计算得到本地Newton更新方向
Figure BDA0003490012290000033
其中
Figure BDA0003490012290000034
为二阶偏导，
Figure BDA0003490012290000035
为一阶偏导；
4)模型聚合：参与本轮训练的设备将其本地Newton更新方向传输给服务器，服务器聚合平均后得到全局的更新方向
Figure BDA0003490012290000036
其中
Figure BDA0003490012290000037
为第t轮训练过程中所选择的设备集合；
5)全局模型更新：服务器通过全局更新方向进行对全局模型参数的更新
Figure BDA0003490012290000038
其中α为学习率；
S13、建立S12中模型聚合过程中服务器与设备间的通信模型；
首先将服务器与设备间的无线信道视作一个分块的衰落信道，其中每个时间块又被进一步分为d个时间槽来满足一个更新方向向量的传输；采用空中计算来实现模型聚合的过程，令所有设备同时传输其本地的更新方向，并通过无线信道的叠加特性在空中完成求和操作；
具体来说，将空中计算表示为nomographic函数的形式：
Figure BDA0003490012290000039
其中pt,F为设备i在该轮的本地更新方向，
Figure BDA00034900122900000310
为服务器接受到的全局更新方向，
Figure BDA00034900122900000311
和ψ为预处理和后处理函数，并分别对应于归一化和去归一化处理；
在传输前，首先将设备i的本地更新方向pt,F归一化预处理为st,i:
Figure BDA00034900122900000312
Figure BDA00034900122900000313
其中
Figure BDA00034900122900000314
随后将传输信号的每一项xt,F[l],l∈[1,d]表示为：xt,i[l]＝bt,ist,i[l]，其中bt,i∈R为传输能量控制因子；同时每个设备传输能量限制为
Figure BDA00034900122900000315
其中
Figure BDA00034900122900000316
表示任意，E()为取均值的操作，P0为最大传输能量；
记ht,i∈Ck为设备i与服务器之间的信道相关系数，将服务器端接收到的信号yt∈Ck表示为
Figure BDA00034900122900000317
其中et∈Ck为有着σ2大小能量的高斯白噪音向量，同时将信噪比(SNR)定义为P0/σ2；
服务器接收到信号后，通过后处理操作得到一个估计值向量,其每一项表示为
Figure BDA0003490012290000041
Figure BDA0003490012290000042
其中at∈Ck代表服务器接受端的波束成形向量，ηt为调节因子，()H为共轭转置；记
Figure BDA0003490012290000043
为信道系数矩阵，
Figure BDA0003490012290000044
Figure BDA0003490012290000045
为能量传输矩阵，其中diag()表示对角矩阵，
Figure BDA0003490012290000046
为信号传输矩阵，其中()T为矩阵转置，Et＝[et,1,…,et,d]为噪声矩阵，其中et,i为与et相同的高斯白噪音向量，据此将总的估计值向量rt＝[rt[1],…,rt[d]]化简为
Figure BDA0003490012290000047
Figure BDA0003490012290000048
其中能量传输矩阵的每一项设置为
Figure BDA0003490012290000049
以提升空中计算的准确度；将该能量传输矩阵的值代入总的估计值向量中得到rt的一个进一步简化形式
Figure BDA00034900122900000410
Figure BDA00034900122900000411
最后，通过后处理函数ψ的去归一化操作，服务器得到一个无线场景下的全局更新方向
Figure BDA00034900122900000412
其中
Figure BDA00034900122900000413
为S12中模型聚合操作对本地更新方向平均后的结果；
S14、整合得到完整的联邦学习框架；
将S11中的无线联邦学习系统模型，S12中针对无线联邦学习模型的训练算法，以及S13中针对训练过程中模型聚合操作的通信模型整合，得到完整的基于空中计算和二阶算法的联邦学习框架，该框架中第t轮训练迭代的过程如下：
服务器首先选择参与本轮迭代训练的设备并将其存为
Figure BDA00034900122900000414
随后服务器将当前的模型参数向量wt广播给参与本轮迭代的设备；接收到参数向量后，每个设备i首先计算得到本地梯度值
Figure BDA00034900122900000415
随后计算得到本地Hessian矩阵
Figure BDA00034900122900000416
Figure BDA00034900122900000417
并在这两项的基础上计算得到本地的牛顿更新方向
Figure BDA00034900122900000418
接下来，每个设备i将该更新方向编码为
Figure BDA00034900122900000419
Figure BDA00034900122900000420
并将传输信号xt,i[l]＝bt,ist,i[l],l∈[1,d]通过无线信道传输；服务器通过空中计算接受到参与训练的设备同时发送的信号聚合后的结果
Figure BDA00034900122900000421
并通过一系列解码操作最终得到全局更新方向
Figure BDA0003490012290000051
最后在服务器根据该全局更新方向完成本轮训练对全局模型参数的更新
Figure BDA0003490012290000052
S2、通过二阶辅助函数以及向量分解的方式对提出的联邦学习框架的训练过程进行收敛性分析；
首先，给出全局和本地梯度、全局和本地Hessian矩阵便于进行收敛性分析的表示形式；令
Figure BDA0003490012290000053
其中
Figure BDA0003490012290000054
则全局Hessian矩阵表示为
Figure BDA0003490012290000055
Figure BDA0003490012290000056
令Nt＝[n1,…,nn]∈Rd×n，其中ni＝f′(wt,zi,j)，则全局的梯度值表示为
Figure BDA0003490012290000057
Figure BDA0003490012290000058
令
Figure BDA0003490012290000059
为sketching矩阵，其中Li∈Rn×s为每列仅有一个非零项且该非零项代表被设备i持有的数据的特殊矩阵，将本地Hessian矩阵和本地梯度值分别表示为
Figure BDA00034900122900000510
Figure BDA00034900122900000511
和
Figure BDA00034900122900000512
随后，给出用于刻画全局更新方向
Figure BDA00034900122900000513
的准确程度的辅助函数
Figure BDA00034900122900000514
Figure BDA00034900122900000515
根据该辅助函数为二次函数的特性计算得出其最优点：
Figure BDA00034900122900000516
Figure BDA00034900122900000517
所得结果为精确的牛顿更新方向，其中arg minφ()为使函数φ取得最小值的参数；
接下来，将S14中所给出的每轮迭代过程中的全局更新方向
Figure BDA00034900122900000518
拆解为如下形式
Figure BDA00034900122900000519
Figure BDA00034900122900000520
其中
Figure BDA00034900122900000521
为所给出的联邦学习框架中所采用的全局更新方向，
Figure BDA00034900122900000522
为对参与本轮迭代的设备的本地更新方向的平均结果，
Figure BDA00034900122900000523
为不进行设备选择处理直接对所有设备的本地更新方向平均后的结果，
Figure BDA00034900122900000524
为采用全局梯度来计算本地更新方向并进一步得到全局更新方向的结果；
同时，做出以下假设：(1)全局损失函数F是光滑的，且光滑系数为L；(2)全局损失函数F为强凸的；(3)本地损失函数Fi是二阶可微，光滑和凸的；(4)本地数据估计值
Figure BDA00034900122900000525
Figure BDA00034900122900000526
小于某个常量
Figure BDA00034900122900000527
随后，根据本地Hessian矩阵的性质：
Figure BDA00034900122900000528
Figure BDA00034900122900000529
其中U为矩阵Mt的正交基，λ为0到1的常数，L为
Figure BDA00034900122900000530
拼接得到的矩阵；以及本地梯度值的性质：
Figure BDA0003490012290000061
其中δ为0到1的常数，ln()为自然对数；推算得出本联邦学习框架中的全局更新方向
Figure BDA0003490012290000062
与准确的牛顿更新方向p*间关于辅助函数φ(p)的关系如下：
Figure BDA0003490012290000063
其中
Figure BDA0003490012290000064
Figure BDA0003490012290000065
Figure BDA0003490012290000066
其中σmin和σmax分别表示该矩阵的最小和最大奇异值；
最后，根据该全局更新方向与准确牛顿更新方向的性质，推算得出模型参数迭代Δt＝wt-w*的收敛性质：
Figure BDA0003490012290000067
其中κt为Ht的条件数，每轮训练迭代的误差项为
Figure BDA0003490012290000068
Figure BDA0003490012290000069
S3、针对收敛性分析结果中每轮训练时存在的误差项来构建最小化误差项的优化问题，并通过一种针对设备选择和波束赋形的联合优化方法来解决该问题以提升训练所得到的联邦学习框架模型的精确度。
S31、优化问题构建；
根据最小化每轮迭代时的误差项∈′以提升训练模型的准确度的目标，将系统优化的问题构建为：
Figure BDA00034900122900000610
Figure BDA00034900122900000611
S32、设备选择
Figure BDA00034900122900000612
和波束成形向量at的联合优化方法；
首先，完成系统优化的初始化；确定当前的信道系数{ht,i}，设置初始温度系数T(0)，温度衰减系数ρ，系统优化迭代轮数K，惩罚系数θ，阈值ξ；并将设备选择集合初始化为
Figure BDA00034900122900000613
Figure BDA00034900122900000614
在系统优化的第k轮迭代过程中，首先生成当前设备选择集合的邻居集合的集
Figure BDA0003490012290000071
对于
Figure BDA0003490012290000072
中的每个设备选择集合
Figure BDA0003490012290000073
将其代入原系统优化问题中得到一个新的针对波束成形向量的优化问题
Figure BDA0003490012290000074
令
Figure BDA0003490012290000075
且rank(A)＝1，
Figure BDA0003490012290000076
通过矩阵提升和凸函数差的性质将该问题转化为
Figure BDA0003490012290000077
s.t.A≥0,Tr(A)>0,Tr(AQi)≥1
Figure BDA0003490012290000078
其中<·,·>为矩阵内积，θ||Aj||2为||Aj||的次梯度，Tr()表示矩阵的迹，Aj为循环迭代变量；将A0初始化为任意正定矩阵，循环求解该问题直至|Tr(Aj)-||Aj||2|<ξ，最终得到
Figure BDA0003490012290000079
所对应的最优的波束成形向量
Figure BDA00034900122900000710
根据概率分布
Figure BDA00034900122900000711
来从
Figure BDA00034900122900000712
中采样得到新的设备选择集合
Figure BDA00034900122900000713
其中exp()为指数函数，J()为系统优化问题
Figure BDA00034900122900000714
的目标函数值；并将采样得到的设备选择集合
Figure BDA00034900122900000715
设为新一轮迭代的集合
Figure BDA00034900122900000716
同时更新温度参数T(k+1)←ρT(k)；
最终K轮迭代后所输出的设备选择集
Figure BDA00034900122900000717
及其对应的波束成形向量即为系统优化的结果。
本发明的有益效果：
本发明中提出了一种无线通信场景下高通信效率的联邦学习方法，通过二阶算法对损失函数信息的充分利用以及无线信道的叠加特性实现了通信轮数和通信延迟的同时减少，极大地缓解了现有的联邦学习框架中的通信瓶颈问题；同时，针对训练过程中产生的误差项，本发明提出了一种针对设备选择和接受方波束成形向量的联合优化方法，有效地提升了模型训练的精确度。
附图说明
图1是本发明中联邦学习框架图；
图2是本发明与另外两种无线联邦学习方法的实验对比图。
具体实施方式
以下结合附图及实施例对本发明进行详细描述。显然，所列举的实例只用于解释本发明，并非用于限定本发明的范围。
参阅图1，本发明所述的一种无线通信场景下高通信效率的联邦学习方法，是基于空中计算和二阶优化算法的无线联邦学习方法，包括以下步骤：
S1、联邦学习框架的构建；
S11、建立无线联邦学习系统的模型：
将无线场景下所进行的联邦学习视作m个单天线设备与一个装有k根天线的服务器共同完成一个模型训练任务的过程；用
Figure BDA0003490012290000081
和
Figure BDA0003490012290000082
来分别表示整体的样本集合和设备集合；设备
Figure BDA0003490012290000083
上存储着数据量大小均为s的本地数据集
Figure BDA0003490012290000084
并有
Figure BDA0003490012290000085
其中∪为集合并操作，ui,j为特征向量，vi,j为对应的标签，并通过zi,j来表示(ui,j,vi,j)的元组；
接下来将模型训练的任务建模为最小化一个全局的损失函数；每个设备i本地的损失函数建模为
Figure BDA0003490012290000086
其中w∈Rd为模型的参数向量，∑为求和函数，函数f用于衡量模型参数的误差，γ为正则化参数,|·|表示集合大小，||·||为l2范数；基于该本地损失函数，将全局损失函数建模为设备集里所有设备的本地损失函数的平均：
Figure BDA0003490012290000087
S12、确立用于完成模型训练任务的算法；
将采用的算法描述为一个迭代的训练过程，并且第t轮迭代的具体过程如下；
1)设备选择：服务器决定参与本轮迭代的设备集，并将其记作
Figure BDA00034900122900000816
2)全局模型广播：服务器将当前的全局模型参数wt广播给参与本轮训练的设备；
3)本地模型更新：在设备i接收到全局模型参数后，首先根据本地的损失函数计算得到本地梯度值
Figure BDA0003490012290000088
其中f′()为一阶导数；随后进一步计算得到本地Hessian矩阵
Figure BDA0003490012290000089
其中f″()为二阶导数，Id为d维单位矩阵；最后根据本地梯度和本地Hessian矩阵计算得到本地Newton更新方向
Figure BDA00034900122900000810
其中
Figure BDA00034900122900000811
为二阶偏导，
Figure BDA00034900122900000812
为一阶偏导；
4)模型聚合：参与本轮训练的设备将其本地Newton更新方向传输给服务器，服务器聚合平均后得到全局的更新方向
Figure BDA00034900122900000813
其中
Figure BDA00034900122900000814
为第t轮训练过程中所选择的设备集合；
5)全局模型更新：服务器通过全局更新方向进行对全局模型参数的更新
Figure BDA00034900122900000815
其中α为学习率；
S13、建立S12中模型聚合过程中服务器与设备间的通信模型；
首先将服务器与设备间的无线信道视作一个分块的衰落信道，其中每个时间块又被进一步分为d个时间槽来满足一个更新方向向量的传输；采用空中计算来实现模型聚合的过程，令所有设备同时传输其本地的更新方向，并通过无线信道的叠加特性在空中完成求和操作；
具体来说，将空中计算表示为nomographic函数的形式：
Figure BDA0003490012290000091
其中pt,i为设备i在该轮的本地更新方向，
Figure BDA0003490012290000092
为服务器接受到的全局更新方向，
Figure BDA0003490012290000093
和ψ为预处理和后处理函数，并分别对应于归一化和去归一化处理；
在传输前，首先将设备i的本地更新方向pt,F归一化预处理为st,i:
Figure BDA0003490012290000094
Figure BDA0003490012290000095
其中
Figure BDA0003490012290000096
随后将传输信号的每一项xt,F[l],l∈[1,d]表示为：xt,F[l]＝bt,ist,i[l]，其中bt,i∈R为传输能量控制因子；同时每个设备传输能量限制为
Figure BDA0003490012290000097
其中
Figure BDA0003490012290000098
表示任意，E()为取均值的操作，P0为最大传输能量；
记ht,i∈Ck为设备i与服务器之间的信道相关系数，将服务器端接收到的信号yt∈Ck表示为
Figure BDA0003490012290000099
其中et∈Ck为有着σ2大小能量的高斯白噪音向量，同时将信噪比(SNR)定义为P0/σ2；
服务器接收到信号后，通过后处理操作得到一个估计值向量,其每一项表示为
Figure BDA00034900122900000910
Figure BDA00034900122900000911
其中at∈Ck代表服务器接受端的波束成形向量，ηt为调节因子，()H为共轭转置；记
Figure BDA00034900122900000912
为信道系数矩阵，
Figure BDA00034900122900000913
Figure BDA00034900122900000914
为能量传输矩阵，其中diag()表示对角矩阵，
Figure BDA00034900122900000915
为信号传输矩阵，其中()T为矩阵转置，Et＝[et,1,…,et,d]为噪声矩阵，其中et,F为与et相同的高斯白噪音向量，据此将总的估计值向量rt＝[rt[1],…,rt[d]]化简为
Figure BDA00034900122900000916
Figure BDA00034900122900000917
其中能量传输矩阵的每一项设置为
Figure BDA00034900122900000918
以提升空中计算的准确度；将该能量传输矩阵的值代入总的估计值向量中得到rt的一个进一步简化形式
Figure BDA00034900122900000919
Figure BDA00034900122900000920
最后，通过后处理函数ψ的去归一化操作，服务器得到一个无线场景下的全局更新方向
Figure BDA0003490012290000101
其中
Figure BDA0003490012290000102
为S12中模型聚合操作对本地更新方向平均后的结果；
S14、整合得到完整的联邦学习框架；
将S11中的无线联邦学习系统模型，S12中针对无线联邦学习模型的训练算法，以及S13中针对训练过程中模型聚合操作的通信模型整合，得到完整的基于空中计算和二阶算法的联邦学习框架，该框架中第t轮训练迭代的过程如下：
服务器首先选择参与本轮迭代训练的设备并将其存为
Figure BDA00034900122900001024
随后服务器将当前的模型参数向量wt广播给参与本轮迭代的设备；接收到参数向量后，每个设备i首先计算得到本地梯度值
Figure BDA0003490012290000103
随后计算得到本地Hessian矩阵
Figure BDA0003490012290000104
Figure BDA0003490012290000105
并在这两项的基础上计算得到本地的牛顿更新方向
Figure BDA0003490012290000106
接下来，每个设备i将该更新方向编码为
Figure BDA0003490012290000107
Figure BDA0003490012290000108
并将传输信号xt,F[l]＝bt,ist,i[l],l∈[1,d]通过无线信道传输；服务器通过空中计算接受到参与训练的设备同时发送的信号聚合后的结果
Figure BDA0003490012290000109
并通过一系列解码操作最终得到全局更新方向
Figure BDA00034900122900001010
最后在服务器根据该全局更新方向完成本轮训练对全局模型参数的更新
Figure BDA00034900122900001011
S2、通过二阶辅助函数以及向量分解的方式对提出的联邦学习框架的训练过程进行收敛性分析；
首先，给出全局和本地梯度、全局和本地Hessian矩阵便于进行收敛性分析的表示形式；令
Figure BDA00034900122900001012
其中
Figure BDA00034900122900001013
则全局Hessian矩阵表示为
Figure BDA00034900122900001014
Figure BDA00034900122900001015
令Nt＝[n1,…,nn]∈Rd×n，其中ni＝f′(wt,zi,j)，则全局的梯度值表示为
Figure BDA00034900122900001016
Figure BDA00034900122900001017
令
Figure BDA00034900122900001018
为sketching矩阵，其中Li∈Rn×s为每列仅有一个非零项且该非零项代表被设备i持有的数据的特殊矩阵，将本地Hessian矩阵和本地梯度值分别表示为
Figure BDA00034900122900001019
Figure BDA00034900122900001020
和
Figure BDA00034900122900001021
随后，给出用于刻画全局更新方向
Figure BDA00034900122900001022
的准确程度的辅助函数
Figure BDA00034900122900001023
Figure BDA0003490012290000111
根据该辅助函数为二次函数的特性计算得出其最优点：
Figure BDA0003490012290000112
Figure BDA0003490012290000113
所得结果为精确的牛顿更新方向，其中arg minφ()为使函数φ取得最小值的参数；
接下来，将S14中所给出的每轮迭代过程中的全局更新方向
Figure BDA0003490012290000114
拆解为如下形式
Figure BDA0003490012290000115
Figure BDA0003490012290000116
其中
Figure BDA0003490012290000117
为所给出的联邦学习框架中所采用的全局更新方向，
Figure BDA0003490012290000118
为对参与本轮迭代的设备的本地更新方向的平均结果，
Figure BDA0003490012290000119
为不进行设备选择处理直接对所有设备的本地更新方向平均后的结果，
Figure BDA00034900122900001110
为采用全局梯度来计算本地更新方向并进一步得到全局更新方向的结果；
同时，做出以下假设：(1)全局损失函数F是光滑的，且光滑系数为L；(2)全局损失函数F为强凸的；(3)本地损失函数Fi是二阶可微，光滑和凸的；(4)本地数据估计值
Figure BDA00034900122900001111
Figure BDA00034900122900001112
小于某个常量
Figure BDA00034900122900001113
随后，根据本地Hessian矩阵的性质：
Figure BDA00034900122900001114
Figure BDA00034900122900001115
其中U为矩阵Mt的正交基，λ为0到1的常数，L为
Figure BDA00034900122900001116
拼接得到的矩阵；以及本地梯度值的性质：
Figure BDA00034900122900001117
其中δ为0到1的常数，ln()为自然对数；推算得出本联邦学习框架中的全局更新方向
Figure BDA00034900122900001118
与准确的牛顿更新方向p*间关于辅助函数φ(p)的关系如下：
Figure BDA00034900122900001119
其中
Figure BDA00034900122900001120
Figure BDA00034900122900001121
Figure BDA00034900122900001122
其中σmin和σmax分别表示该矩阵的最小和最大奇异值；
最后，根据该全局更新方向与准确牛顿更新方向的性质，推算得出模型参数迭代Δt＝wt-w*的收敛性质：
Figure BDA00034900122900001123
其中κt为Ht的条件数，每轮训练迭代的误差项为
Figure BDA00034900122900001124
Figure BDA0003490012290000121
S3、针对收敛性分析结果中每轮训练时存在的误差项来构建最小化该误差的优化问题，并通过一种针对设备选择和波束赋形的联合优化方法来解决该问题以提升训练所得到的模型的精确度。
S31、问题构建；
根据最小化每轮迭代时的误差项∈′以提升训练模型的准确度的目标，将系统优化的问题构建为：
Figure BDA0003490012290000122
Figure BDA0003490012290000123
S32、设备选择
Figure BDA0003490012290000124
和波束成形向量at的联合优化方法；
首先，完成系统优化的初始化；确定当前的信道系数{ht,F}，设置初始温度系数T(0)，温度衰减系数ρ，系统优化迭代轮数K，惩罚系数θ，阈值ξ；并将设备选择集合初始化为
Figure BDA0003490012290000125
Figure BDA0003490012290000126
在系统优化的第k轮迭代过程中，首先生成当前设备选择集合的邻居集合的集
Figure BDA0003490012290000127
对于
Figure BDA0003490012290000128
中的每个设备选择集合
Figure BDA0003490012290000129
将其代入原系统优化问题中得到一个新的针对波束成形向量的优化问题
Figure BDA00034900122900001210
令
Figure BDA00034900122900001211
且rank(A)＝1，
Figure BDA00034900122900001212
通过矩阵提升和凸函数差的性质将该问题转化为
Figure BDA00034900122900001213
s.t.A≥0,Tr(A)>0,Tr(AQi)≥1
Figure BDA00034900122900001214
其中<·,·>为矩阵内积，θ||Aj||2为||Aj||的次梯度，Tr()表示矩阵的迹，Aj为循环迭代变量；将A0初始化为任意正定矩阵，循环求解该问题直至|Tr(Aj)-||Aj||2|<ξ，最终得到
Figure BDA00034900122900001215
所对应的最优的波束成形向量
Figure BDA00034900122900001216
根据概率分布
Figure BDA00034900122900001217
来从
Figure BDA00034900122900001218
中采样得到新的设备选择集合
Figure BDA00034900122900001219
其中exp()为指数函数，J()为系统优化问题
Figure BDA00034900122900001220
的目标函数值；并将采样得到的设备选择集合
Figure BDA00034900122900001221
设为新一轮迭代的集合
Figure BDA00034900122900001222
同时更新温度参数T(k+1)←ρT(k)；
最终K轮迭代后所输出的设备选择集
Figure BDA00034900122900001223
及其对应的波束成形向量即为系统优化的结果。
为验证本发明的有效性，将本发明与两种现有的无线联邦学习方法进行了对比，其中对比方法1为基于FedAvg算法和空中计算的联邦学习方法，对比方法2为基于Fedsplit算法和空中计算的联邦学习方法。实验在Covtype，a9a，w8a,和phishing这四个不同的数据集上进行，实验结果如图2所示，其中横坐标为通信轮数，纵坐标为损失函数值。可以看出本发明仅需10轮左右的通信轮数即可将损失函数值降低到较低水平(10-5，10-3，0.02，0.002)，而对比方法在经过50轮的通信轮数后，损失函数仍维持在较高水平(0.1，0.01，0.05，0.1)。本发明通过利用损失函数的二阶信息加速训练的收敛速度，从而有效地减少了训练所需的通信轮数，提升了无线环境中联邦学习的通信效率。

Claims (4)

1.一种无线通信场景下高通信效率的联邦学习方法，其特征在于，该方法包括以下具体步骤：
S1、联邦学习框架的构建
首先对由服务器、设备、无线信道三者构成的联邦学习系统进行建模，并完成对模型训练任务的建模；随后确立用于完成模型训练任务的算法；接着对服务器和设备间的通信模型进行建模；最后将三者整合得到完整的联邦学习框架；
S2、通过二阶辅助函数以及向量分解的方式对步骤S1提出的联邦学习框架的训练过程进行收敛性分析；
S3、针对收敛性分析结果中每轮训练存在的误差项来构建最小化误差项的优化问题，并通过一种针对设备选择和波束赋形的联合优化方法来解决误差项的优化问题，以提升训练所得到的联邦学习框架模型的精确度。
2.根据权利要求1所述的无线通信场景下高通信效率的联邦学习方法，其特征在于，所述步骤S1具体包括：
S11、建立无线联邦学习系统的模型
将无线场景下所进行的联邦学习视作m个单天线设备与一个装有k根天线的服务器共同完成一个模型训练任务的过程；用
Figure FDA0003490012280000011
和
Figure FDA0003490012280000012
来分别表示整体的样本集合和设备集合；设备
Figure FDA0003490012280000013
上存储着数据量大小均为s的本地数据集
Figure FDA0003490012280000014
并有
Figure FDA0003490012280000015
其中∪为集合并操作，ui，j为特征向量，vi，j为对应的标签，并通过zi，j来表示(ui，j，vi，j)的元组；
接下来将模型训练的任务建模为最小化一个全局的损失函数；每个设备i本地的损失函数建模为
Figure FDA0003490012280000016
其中
w∈Rd为模型的参数向量，∑为求和函数，函数f用于衡量模型参数的误差，γ为正则化参数，|·|表示集合大小，||·||为l2范数；基于该本地损失函数，将全局损失函数建模为设备集里所有设备的本地损失函数的平均：
Figure FDA0003490012280000017
S12、确立用于完成模型训练任务的算法
将采用的算法描述为一个迭代的训练过程，并且第t轮迭代的具体过程如下；
1)设备选择：服务器决定参与本轮迭代的设备集，并将其记作
Figure FDA0003490012280000018
2)全局模型广播：服务器将当前的全局模型参数wt广播给参与本轮训练的设备；
3)本地模型更新：在设备i接收到全局模型参数后，首先根据本地的损失函数计算得到本地梯度值
Figure FDA0003490012280000019
其中f′()为一阶导数；随后进一步计算得到本地Hessian矩阵
Figure FDA0003490012280000021
其中f″()为二阶导数，Id为d维单位矩阵；最后根据本地梯度和本地Hessian矩阵计算得到本地Newton更新方向
Figure FDA0003490012280000022
其中
Figure FDA0003490012280000023
为二阶偏导，
Figure FDA0003490012280000024
为一阶偏导；
4)模型聚合：参与本轮训练的设备将其本地Newton更新方向传输给服务器，服务器聚合平均后得到全局的更新方向
Figure FDA0003490012280000025
其中
Figure FDA0003490012280000026
为第t轮训练过程中所选择的设备集合；
5)全局模型更新：服务器通过全局更新方向进行对全局模型参数的更新
Figure FDA0003490012280000027
其中α为学习率；
S13、建立S12中模型聚合过程中服务器与设备间的通信模型
首先将服务器与设备间的无线信道视作一个分块的衰落信道，其中每个时间块又被进一步分为d个时间槽来满足一个更新方向向量的传输；采用空中计算来实现模型聚合的过程，令所有设备同时传输其本地的更新方向，并通过无线信道的叠加特性在空中完成求和操作；
具体来说，将空中计算表示为nomographic函数的形式：
Figure FDA0003490012280000028
其中pt，i为设备i在该轮的本地牛顿更新方向，
Figure FDA0003490012280000029
为服务器接受到的全局更新方向，
Figure FDA00034900122800000210
和ψ为预处理和后处理函数，并分别对应于归一化和去归一化处理；
在传输前，首先将设备i的本地更新方向pt，i归一化预处理为st，i：
Figure FDA00034900122800000211
Figure FDA00034900122800000212
其中
Figure FDA00034900122800000213
随后将传输信号的每一项xt，i[l]，l∈[1，d]表示为：xt，i[l]＝bt，ist，i[l]，其中bt，i∈R为传输能量控制因子；同时每个设备传输能量限制为
Figure FDA00034900122800000214
Figure FDA00034900122800000215
其中
Figure FDA00034900122800000216
表示任意，E()为取均值的操作，P0为最大传输能量；
记ht，i∈Ck为设备i与服务器之间的信道相关系数，将服务器端接收到的信号yt∈Ck表示为
Figure FDA00034900122800000217
其中et∈Ck为有着σ2大小能量的高斯白噪音向量，同时将信噪比(SNR)定义为P0/σ2；
服务器接收到信号后，通过后处理操作得到一个估计值向量，其每一项表示为
Figure FDA00034900122800000218
Figure FDA00034900122800000219
其中at∈Ck代表服务器接受端的波束成形向量，ηt为调节因子，()H为共轭转置；记
Figure FDA00034900122800000221
为信道系数矩阵，
Figure FDA00034900122800000220
Figure FDA0003490012280000031
为能量传输矩阵，其中diag()表示对角矩阵，
Figure FDA0003490012280000032
为信号传输矩阵，其中()T为矩阵转置，Et＝[et，1，...，et，d]为噪声矩阵，其中et，i为与et相同的高斯白噪音向量，据此将总的估计值向量rt＝[rt[1]，...，rt[d]]化简为
Figure FDA0003490012280000033
其中能量传输矩阵的每一项设置为
Figure FDA0003490012280000034
以提升空中计算的准确度；将该能量传输矩阵的值代入总的估计值向量中得到rt的一个进一步简化形式
Figure FDA0003490012280000035
最后，通过后处理函数ψ的去归一化操作，服务器得到一个无线场景下的全局更新方向
Figure FDA0003490012280000036
其中
Figure FDA0003490012280000037
为S12中模型聚合操作对本地更新方向平均后的结果；
S14、整合得到完整的联邦学习框架
将S11中的无线联邦学习系统模型，S12中针对无线联邦学习模型的训练算法，以及S13中针对训练过程中模型聚合操作的通信模型整合，得到完整的基于空中计算和二阶算法的联邦学习框架，该框架中第t轮训练迭代的过程如下：
服务器首先选择参与本轮迭代训练的设备并将其存为
Figure FDA0003490012280000038
随后服务器将当前的模型参数向量wt广播给参与本轮迭代的设备；接收到参数向量后，每个设备i首先计算得到本地梯度值
Figure FDA0003490012280000039
随后计算得到本地Hessian矩阵
Figure FDA00034900122800000310
Figure FDA00034900122800000311
并在这两项的基础上计算得到本地的牛顿更新方向
Figure FDA00034900122800000312
接下来，每个设备i将该更新方向编码为
Figure FDA00034900122800000313
其中
Figure FDA00034900122800000314
并将传输信号xt，i[l]＝bt，ist，i[l]，l∈[1，d]通过无线信道传输；服务器通过空中计算接受到参与训练的设备同时发送的信号聚合后的结果
Figure FDA00034900122800000315
Figure FDA00034900122800000316
并通过一系列解码操作最终得到全局更新方向
Figure FDA00034900122800000317
最后在服务器根据该全局更新方向完成本轮训练对全局模型参数的更新
Figure FDA00034900122800000318
3.根据权利要求1所述的无线通信场景下高通信效率的联邦学习方法，其特征在于，所述步骤S2具体包括：
首先，给出全局和本地梯度、全局和本地Hessian矩阵便于进行收敛性分析的表示形式；令
Figure FDA0003490012280000041
其中
Figure FDA0003490012280000042
则全局Hessian矩阵表示为
Figure FDA0003490012280000043
Figure FDA0003490012280000044
令Nt＝[n1，...，nn]∈Rd×n，其中ni＝f′(wt，zi，j)，则全局的梯度值表示为
Figure FDA0003490012280000045
Figure FDA0003490012280000046
令
Figure FDA0003490012280000047
为sketching矩阵，其中Li∈Rn×s为每列仅有一个非零项且该非零项代表被设备i持有的数据的特殊矩阵，将本地Hessian矩阵和本地梯度值分别表示为
Figure FDA0003490012280000048
Figure FDA0003490012280000049
和
Figure FDA00034900122800000410
随后，给出用于刻画全局更新方向
Figure FDA00034900122800000411
的准确程度的辅助函数
Figure FDA00034900122800000412
Figure FDA00034900122800000413
根据该辅助函数为二次函数的特性计算得出其最优点：
Figure FDA00034900122800000414
Figure FDA00034900122800000415
所得结果为精确的牛顿更新方向，其中arg minφ()为使函数φ取得最小值的参数；
接下来，将S14中所给出的每轮迭代过程中的全局更新方向
Figure FDA00034900122800000416
拆解为如下形式
Figure FDA00034900122800000417
Figure FDA00034900122800000418
其中
Figure FDA00034900122800000419
为所给出的联邦学习框架中所采用的全局更新方向，
Figure FDA00034900122800000420
为对参与本轮迭代的设备的本地更新方向的平均结果，
Figure FDA00034900122800000421
为不进行设备选择处理直接对所有设备的本地更新方向平均后的结果，
Figure FDA00034900122800000422
为采用全局梯度来计算本地更新方向并进一步得到全局更新方向的结果；
同时，做出以下假设：(1)全局损失函数F是光滑的，且光滑系数为L；(2)全局损失函数F为强凸的；(3)本地损失函数Fi是二阶可微，光滑和凸的；(4)本地数据估计值
Figure FDA00034900122800000423
Figure FDA00034900122800000424
小于某个常量
Figure FDA00034900122800000433
随后，根据本地Hessian矩阵的性质：
Figure FDA00034900122800000425
Figure FDA00034900122800000426
其中U为矩阵Mt的正交基，λ为0到1的常数，L为
Figure FDA00034900122800000427
拼接得到的矩阵；以及本地梯度值的性质：
Figure FDA00034900122800000428
其中δ为0到1的常数，ln()为自然对数；推算得出本联邦学习框架中的全局更新方向
Figure FDA00034900122800000429
与精确的牛顿更新方向p*间关于辅助函数φ(p)的关系如下：
Figure FDA00034900122800000430
其中
Figure FDA00034900122800000431
Figure FDA00034900122800000432
Figure FDA0003490012280000051
其中σmin和σmax分别表示该矩阵的最小和最大奇异值；
最后，根据该全局更新方向与准确牛顿更新方向的性质，推算得出模型参数迭代Δt＝wt-w*的收敛性质：
Figure FDA0003490012280000052
其中κt为Ht的条件数，每轮训练迭代的误差项为
Figure FDA0003490012280000053
Figure FDA0003490012280000054
4.根据权利要求1所述的无线通信场景下高通信效率的联邦学习方法，其特征在于，所述步骤S3具体包括：
S31、优化问题构建
根据最小化每轮迭代时的误差项∈′以提升训练模型的准确度的目标，将系统优化问题构建为：
Figure FDA0003490012280000055
Figure FDA0003490012280000056
S32、设备选择
Figure FDA0003490012280000057
和波束成形向量at的联合优化方法
首先，完成系统优化的初始化；确定当前的信道系数{ht，i}，设置初始温度系数T(0)，温度衰减系数ρ，系统优化迭代轮数K，惩罚系数θ，阈值ξ；并将设备选择集合初始化为
Figure FDA0003490012280000058
Figure FDA0003490012280000059
在系统优化的第k轮迭代过程中，首先生成当前设备选择集合的邻居集合的集
Figure FDA00034900122800000510
对于
Figure FDA00034900122800000511
中的每个设备选择集合
Figure FDA00034900122800000512
将其代入原系统优化问题中得到一个新的针对波束成形向量的优化问题
Figure FDA00034900122800000513
令
Figure FDA00034900122800000514
且rank(A)＝1，
Figure FDA00034900122800000515
通过矩阵提升和凸函数差的性质将该问题转化为
Figure FDA00034900122800000516
Figure FDA00034900122800000517
Figure FDA00034900122800000518
其中<·，·>为矩阵内积，
Figure FDA00034900122800000519
为||Aj||的次梯度，Tr()表示矩阵的迹，Aj为循环迭代变量；将A0初始化为任意正定矩阵，循环求解该问题直至|Tr(Aj)-||Aj||2|＜ξ，最终得到
Figure FDA0003490012280000061
所对应的最优的波束成形向量
Figure FDA0003490012280000062
根据概率分布
Figure FDA0003490012280000063
来从
Figure FDA0003490012280000064
中采样得到新的设备选择集合
Figure FDA0003490012280000065
其中exp()为指数函数，J()为系统优化问题
Figure FDA0003490012280000066
的目标函数值；并将采样得到的设备选择集合
Figure FDA0003490012280000067
设为新一轮迭代的集合
Figure FDA0003490012280000068
同时更新温度参数T(k+1)←ρT(k)；
最终K轮迭代后所输出的设备选择集
Figure FDA0003490012280000069
及其对应的波束成形向量即为系统优化的结果。
CN202210093550.7A 2022-01-26 2022-01-26 一种无线通信场景下高通信效率的联邦学习方法 Pending CN114580498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210093550.7A CN114580498A (zh) 2022-01-26 2022-01-26 一种无线通信场景下高通信效率的联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210093550.7A CN114580498A (zh) 2022-01-26 2022-01-26 一种无线通信场景下高通信效率的联邦学习方法

Publications (1)

Publication Number Publication Date
CN114580498A true CN114580498A (zh) 2022-06-03

Family

ID=81771242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210093550.7A Pending CN114580498A (zh) 2022-01-26 2022-01-26 一种无线通信场景下高通信效率的联邦学习方法

Country Status (1)

Country Link
CN (1) CN114580498A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618960A (zh) * 2022-09-21 2023-01-17 清华大学 联邦学习优化方法、装置、电子设备及存储介质
CN115659212A (zh) * 2022-09-27 2023-01-31 南京邮电大学 跨域异质场景下基于tdd通信的联邦学习效率评测方法
CN115664471A (zh) * 2022-08-31 2023-01-31 东南大学 基于宽学习的毫米波mimo基站协作波束选择方法
CN116017507A (zh) * 2022-12-05 2023-04-25 上海科技大学 基于无线空中计算和二阶优化的去中心化联邦学习方法
CN116527173A (zh) * 2023-05-11 2023-08-01 山东大学 一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统
CN116567652A (zh) * 2023-05-19 2023-08-08 上海科技大学 全向超表面辅助的空中计算赋能垂直联邦学习方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115664471A (zh) * 2022-08-31 2023-01-31 东南大学 基于宽学习的毫米波mimo基站协作波束选择方法
CN115664471B (zh) * 2022-08-31 2024-01-02 东南大学 基于宽学习的毫米波mimo基站协作波束选择方法
CN115618960A (zh) * 2022-09-21 2023-01-17 清华大学 联邦学习优化方法、装置、电子设备及存储介质
CN115618960B (zh) * 2022-09-21 2024-04-19 清华大学 联邦学习优化方法、装置、电子设备及存储介质
CN115659212A (zh) * 2022-09-27 2023-01-31 南京邮电大学 跨域异质场景下基于tdd通信的联邦学习效率评测方法
CN115659212B (zh) * 2022-09-27 2024-04-09 南京邮电大学 跨域异质场景下基于tdd通信的联邦学习效率评测方法
CN116017507B (zh) * 2022-12-05 2023-09-19 上海科技大学 基于无线空中计算和二阶优化的去中心化联邦学习方法
CN116017507A (zh) * 2022-12-05 2023-04-25 上海科技大学 基于无线空中计算和二阶优化的去中心化联邦学习方法
CN116527173B (zh) * 2023-05-11 2023-11-24 山东大学 一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统
CN116527173A (zh) * 2023-05-11 2023-08-01 山东大学 一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统
US11956726B1 (en) 2023-05-11 2024-04-09 Shandong University Dynamic power control method and system for resisting multi-user parameter biased aggregation in federated learning
CN116567652A (zh) * 2023-05-19 2023-08-08 上海科技大学 全向超表面辅助的空中计算赋能垂直联邦学习方法
CN116567652B (zh) * 2023-05-19 2024-02-23 上海科技大学 全向超表面辅助的空中计算赋能垂直联邦学习方法

Similar Documents

Publication Publication Date Title
CN114580498A (zh) 一种无线通信场景下高通信效率的联邦学习方法
CN113222179B (zh) 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN108566257B (zh) 一种基于反向传播神经网络的信号恢复方法
CN110855585B (zh) 一种毫米波大规模mimo系统的信道估计方法
CN113014524B (zh) 一种基于深度学习的数字信号调制识别方法
CN109150775B (zh) 自适应噪声环境动态变化的鲁棒性在线信道状态估计方法
CN109474388B (zh) 基于改进梯度投影法的低复杂度mimo-noma系统信号检测方法
CN111242849B (zh) 一种基于深度卷积神经网络的频谱超分辨率在线重建方法
CN112911608B (zh) 一种面向边缘智能网络的大规模接入方法
CN114338301B (zh) 一种基于压缩感知的ris辅助毫米波系统的信道估计方法
CN114896887B (zh) 一种基于深度学习的用频设备射频指纹识别方法
CN116017507B (zh) 基于无线空中计算和二阶优化的去中心化联邦学习方法
CN114998958A (zh) 一种基于轻量化卷积神经网络的人脸识别方法
CN110808932B (zh) 基于多分布测试数据融合的多层感知器快速调制识别方法
CN109547376A (zh) 一种基于调制特性的高斯混合模型的调制识别方法
CN114513394B (zh) 一种基于注意力机制图神经网络的信号调制格式识别方法、系统、装置及存储介质
CN116841732A (zh) 一种基于单比特量化的联邦学习资源优化设计方法
Jensen et al. Simulation of conditioned semimartingales on riemannian manifolds
CN112836822A (zh) 基于宽度学习的联邦学习策略优化方法和装置
CN107181705A (zh) 一种半盲信道估计方法及系统
CN116939681A (zh) 一种基于智能超表面和空中计算的联邦学习系统
Chen et al. Federated meta-learning framework for few-shot fault diagnosis in industrial IoT
CN114584441A (zh) 一种基于深度学习的数字信号调制识别方法
CN116128070A (zh) 基于无线空中计算和多比特量化压缩感知的联邦学习方法
CN113743012B (zh) 一种多用户场景下的云-边缘协同模式任务卸载优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination