CN114169243B - Mimo干扰信道下空中计算多任务联邦学习方法 - Google Patents

Mimo干扰信道下空中计算多任务联邦学习方法 Download PDF

Info

Publication number
CN114169243B
CN114169243B CN202111509287.7A CN202111509287A CN114169243B CN 114169243 B CN114169243 B CN 114169243B CN 202111509287 A CN202111509287 A CN 202111509287A CN 114169243 B CN114169243 B CN 114169243B
Authority
CN
China
Prior art keywords
gradient
multitask
task
parameter server
central parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111509287.7A
Other languages
English (en)
Other versions
CN114169243A (zh
Inventor
袁晓军
钟晨曦
黄浩
秦浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Chenshi Technology Group Co ltd
Original Assignee
Zhejiang Chenshi Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Chenshi Technology Group Co ltd filed Critical Zhejiang Chenshi Technology Group Co ltd
Priority to CN202111509287.7A priority Critical patent/CN114169243B/zh
Publication of CN114169243A publication Critical patent/CN114169243A/zh
Application granted granted Critical
Publication of CN114169243B publication Critical patent/CN114169243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0837—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station using pre-detection combining
    • H04B7/0842—Weighted combining
    • H04B7/086—Weighted combining using weights depending on external parameters, e.g. direction of arrival [DOA], predetermined weights or beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Radio Transmission System (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)

Abstract

本发明公开了一种MIMO干扰信道下空中计算多任务联邦学习方法，多任务联邦学习系统由MIMO干扰信道中的多个共享时频资源的子系统组成。系统根据信道和梯度间相关性设计接收端对齐因子，进而采用交替优化和分式规划设计MIMO波束赋形收发器，消除梯度上传过程中的任务间干扰。还提出一种新颖的方法设计接收端对齐因子。这种设计方案增加了优化发端功率的自由度，从而避免了现有方案中为了解决离群者问题而采用的高复杂度的用户选择算法。在优化中利用了同一任务内来自不同设备梯度之间的空间相关性，从而实现更优越的优化和学习性能。

Description

MIMO干扰信道下空中计算多任务联邦学习方法
技术领域
本发明属于信息与通信技术领域，具体涉及一种MIMO干扰信道下空中计算多任务联邦学习方法。
背景技术
为了充分利用大量无线数据的多样性，集中式机器学习(ML)需要边缘设备将其本地数据上传到中心参数服务器(PS)以进行模型训练。然而，通过无线信道上传本地数据会带来通信资源的巨大开销，并可能威胁到用户隐私数据的安全。作为一种有前途的分布式学习技术，联邦学习(FL)被提出以应对上述挑战。在FL框架中，每个边缘设备都在自己的本地数据集上进行训练，并将本地更新的模型参数或梯度传输到PS。然后，PS通过聚合局部模型参数或梯度来更新全局模型参数，并广播到边缘设备。FL中模型参数或梯度的传输代替直接的数据传输，显着减轻了通信负担，也降低了用户数据泄露的潜在风险。
尽管FL具备上述优势，当边缘设备通过无线信道上传高维模型参数时，通信开销仍然是FL的关键瓶颈。近来，通过利用无线信道的物理层特性的空中计算技术已被应用于提高FL模型聚合中的通信效率。在空中计算中，边缘设备共享无线电资源以发送本地模型参数，PS则从无线信道中模拟叠加的电磁波中计算聚合后的模型。已有工作证实，空中计算联邦学习(OA-FL)具有很强的噪声容限，与基于传统正交多址(OMA)协议的方案相比，大大减少了延迟。现有的方法通过多输入多输出(MIMO)和可重构智能表面(RIS)等先进的通信技术来克服不可靠无线信道的不利影响。
空中计算联邦学习的研究还处于起步阶段，许多针对OA-FL设计面临一系列挑战。首先，最先进的OA-FL方法存在离群者问题。其中整体模型聚合误差由信道条件最差的设备(即离群者)。原因是聚合模型的不对齐误差在上述方法中不被允许，这要求具有更好信道条件的设备必须降低其发射功率以将局部梯度与离群者对齐。现有技术提出从模型聚合中排除掉队者以缓解离群者问题。然而，在模型聚合中排除设备会减少FL训练数据集的大小，从而降低FL性能。因此，需要探索更有效的设计策略来处理离群者问题。
同时，智能系统的快速发展催生了大量的模型训练任务，以满足各种需求。当通过公共无线网络同时训练多个任务时，OA-FL训练的通信瓶颈会进一步加剧。一种直接的方法是通过无线网络正交地上传本地模型或梯度，不幸的是，这会导致巨大的通信开销。由于频谱资源的稀缺性，通过任务间共享时频资源的非正交模型上传和聚合成为更优选的解决方案，但不可避免地会引入任务间干扰。因此，如何有效地管理任务间干扰成为亟待解决的问题。
发明内容
本发明提供了一种MIMO干扰信道下空中计算多任务联邦学习方法，包括一种新颖的接收端合并因子设计方法和利用梯度空间相关性的MIMO收发波束赋形的交替优化算法，旨在解决上述提到的多任务同时训练的干扰问题、空间相关性问题以及离群者问题。采用如下的技术方案：
一种MIMO干扰信道下空中计算多任务联邦学习方法，应用于多任务联邦学习系统；
多任务联邦学习系统包含K个FL子系统，每个FL子系统包含一个NK根天线的中心参数服务器PS和Mk个NT根天线的边缘设备；
MIMO干扰信道下空中计算多任务联邦学习方法包含以下步骤：
S1：在多任务联邦学习系统中部署K个不同的FL任务，每个FL子系统处理一个FL任务；
S2：FL任务训练的最大通信轮次为T，对于通信轮次t，每个边缘设备在本地进行梯度下降，计算局部梯度
Figure BDA0003404646420000021
再计算局部梯度
Figure BDA0003404646420000022
的均值
Figure BDA0003404646420000023
和方差
Figure BDA0003404646420000024
通过无差错信道将均值
Figure BDA0003404646420000025
和方差
Figure BDA0003404646420000026
上传至中心参数服务器PS；
S3：中心参数服务器PS和边缘设备进行信道信息的估计，每一通信轮次中梯度上传时信道保持不变，并且中心参数服务器PS拥有全局的信道信息
Figure BDA0003404646420000027
S4：中心参数服务器PS估计来自不同边缘设备间的梯度相关性，通过凸优化方法设计发端天线波束赋形
Figure BDA0003404646420000028
和收端天线波束赋形
Figure BDA0003404646420000029
S5：中心参数服务器PS对每个k∈[K]，i∈[Mk]，优化发端天线波束赋形u<k，i>；
S6：中心参数服务器PS对每个k∈[K]，i∈[Mk]，优化收端天线波束赋形fk；
S7：中心参数服务器PS计算目标函数obj的值，若obj的值收敛则跳入S8，否则跳入S5；
S8：中心参数服务器PS计算收端合并因子ζk；
S9：中心参数服务器PS将优化结果通过无差错信道回传给边缘设备；
S10：边缘设备根据优化后的发端天线波束赋形u<k，i>上传本地梯度至中心参数服务器PS；
S11：中心参数服务器PS根据接收到的信息恢复出聚合梯度
Figure BDA00034046464200000210
并根据聚合梯度
Figure BDA00034046464200000211
对模型进行更新；
S12：中心参数服务器PS将更新后的全局模型通过无差错信道回传至每个边缘设备；
S13；重复上述过程直至通信轮次t＞T，否则跳入S2。
进一步地，在步骤S1中，多任务联邦学习系统的全局损失函数定义为：
Figure BDA0003404646420000031
式中，
Figure BDA0003404646420000032
为各个任务模型参数的全集，wk表示FL任务k的模型参数，Fk(·)为FL任务k的损失函数，Fk(wk)具体表示为：
Figure BDA0003404646420000033
式中，Qk为FL任务k数据集的样本数目，Q<k，i>为第<k，i>个边缘设备上本地数据集的样本数目，F<k，i>为第<k，i>个边缘设备的本地损失函数。
进一步地，在S2中，根据下述公式计算均值
Figure BDA0003404646420000034
和方差
Figure BDA0003404646420000035
Figure BDA0003404646420000036
Figure BDA0003404646420000037
式中，D为梯度向量长度，
Figure BDA0003404646420000038
表示梯度向量
Figure BDA0003404646420000039
的第d个元素。
进一步地，在S4中，定义
Figure BDA00034046464200000310
为轮次t时FL任务k内Mk个边缘设备发送的梯度组成的矩阵，FL任务k内边缘设备间梯度的相关系数矩阵
Figure BDA00034046464200000311
定义如下：
Figure BDA00034046464200000312
式中，
Figure BDA00034046464200000313
为同一系统内第d维梯度组成的向量。
进一步地，在S5中，优化设备发端波束赋形u<k，i>的具体方法为：
固定住其他
Figure BDA00034046464200000314
的波束赋形向量和收端波束赋形fk，进行如下优化：
Figure BDA00034046464200000315
s.t.||u<k，i>||2≤P0
其中，P0为最大功率，系数矩阵
Figure BDA00034046464200000316
和向量
Figure BDA00034046464200000317
由如下公式给出：
Figure BDA00034046464200000318
Figure BDA0003404646420000041
其中，
Figure BDA0003404646420000042
为分式规划引入的辅助变量，由如下公式给出：
Figure BDA0003404646420000043
其中，σ2为高斯白噪声分布的方差。
进一步地，在S6中，优化收端天线波束赋形fk的具体方法为：
固定
Figure BDA0003404646420000044
进行如下优化：
Figure BDA0003404646420000045
s.t.||fk||2≤1
其中，系数矩阵
Figure BDA0003404646420000046
和向量
Figure BDA0003404646420000047
由如下公式给出：
Figure BDA0003404646420000048
Figure BDA0003404646420000049
其中，
Figure BDA00034046464200000410
表示NR×NR维的单位矩阵。
进一步地，在S7中，通过下式计算目标函数obj的值：
Figure BDA00034046464200000411
进一步地，在S8中，通过下述公式计算收端合并因子ζk：
Figure BDA00034046464200000412
进一步地，在S10中，边缘设备在本地梯度下降得到更新的梯度
Figure BDA00034046464200000413
通过
Figure BDA00034046464200000414
进行逐元素归一化，随后，边缘设备对梯度进行正交调制：
Figure BDA00034046464200000415
边缘设备将复数化的梯度
Figure BDA00034046464200000416
按照
Figure BDA00034046464200000417
发送到信道内。
进一步地，在S11中，
Figure BDA0003404646420000051
Figure BDA0003404646420000052
其中，
Figure BDA0003404646420000053
为第k个中心参数服务器PS接收的信号，具体表示为，
Figure BDA0003404646420000054
式中，
Figure BDA0003404646420000055
表示来自第<k，i>个边缘设备的发送信号，
Figure BDA0003404646420000056
为
Figure BDA0003404646420000057
的第c列，为第c个时隙内第<k，i>个边缘设备的发送信号，
Figure BDA0003404646420000058
表示噪声矩阵，
Figure BDA0003404646420000059
表示第c个时隙内天线接收到的噪声，
Figure BDA00034046464200000510
中元素服从独立同分布的零均值圆周对称复高斯分布，方差为σ2，
Figure BDA00034046464200000511
为梯度均值关于数据集大小的加权和；
中心参数服务器PS根据下式进行模型更新：
Figure BDA00034046464200000512
式中，ηk为学习率，
Figure BDA00034046464200000513
为损失函数在
Figure BDA00034046464200000514
处的梯度。
本发明的有益之处在于所提供的MIMO干扰信道下空中计算多任务联邦学习方法，多任务联邦学习系统由MIMO干扰信道中的多个共享时频资源的子系统组成。系统根据信道和梯度间相关性设计接收端对齐因子，进而采用交替优化(AO)和分式规划(FP)设计MIMO波束赋形收发器，消除梯度上传过程中的任务间干扰。
本发明的有益之处还在于所提供的MIMO干扰信道下空中计算多任务联邦学习方法，提出一种新颖的方法设计接收端对齐因子。这种设计方案增加了优化发端功率的自由度，从而避免了现有方案中为了解决离群者问题而采用的高复杂度的用户选择算法。
本发明的有益之处还在于所提供的MIMO干扰信道下空中计算多任务联邦学习方法，在优化中利用了同一任务内来自不同设备梯度之间的空间相关性，从而实现更优越的优化和学习性能，与理论最佳曲线的差距也非常小。
附图说明
图1是本发明的多任务联邦学习系统的示意图；
图2是本发明的多任务联邦学习系统内的梯度示意图；
图3是本发明的多任务联邦学习系统的边缘设备上传梯度的流程图示意图；
图4是本发明的多任务联邦学习系统的一种具体实施方式的示意图；
图5是本发明的多任务联邦学习系统下使用不同优化算法的功率分配方案统计直方图；
图6是本发明的多任务联邦学习系统下使用不同优化算法的FL学习准确率曲线。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
本申请公开了一种MIMO((Multiple-input Multiple-output)，多输入多输出)干扰信道下空中计算多任务联邦学习(OA-MTFL)方法，应用于多任务联邦学习系统。该方案包括一种新颖的接收端合并因子设计方法和利用梯度空间相关性的MIMO收发波束赋形的交替优化算法，旨在解决上述提到的多任务同时训练的干扰问题、空间相关性问题以及离群者问题。如图1所示，多任务联邦学习系统包含K个FL(Federated Learning)子系统，每个FL子系统包含一个NK根天线的中心参数服务器PS和Mk个NT根天线的边缘设备。边缘设备的总数由
Figure BDA0003404646420000061
表示。子系统间共享时频资源，因此在模型上传和广播中通常会相互干扰。系统采用交替优化(AO)和分式规划(FP)设计MIMO波束赋形收发器，随后根据信道和梯度间相关性设计接收端对齐因子。在本申请中，K为3。每个FL子系统内包含20个设备。3个基站在半径为100m的圆上对称分布。设备在圆内均匀分布。设备有2根天线，基站有8根天线。如图2所示。每个任务数据集大小为60000个样本，每个设备上有3000个样本。我们训练一个2层卷积层(每层包含5x5卷积核、2x2最大池化和ReLU激活函数)，1层全连接层和1层softmax输出层。学习率设置为0.002。训练通信轮次设置为T＝200。
具体的，本申请的MIMO干扰信道下空中计算多任务联邦学习方法包含以下步骤：
S1：在多任务联邦学习系统中部署K个不同的FL任务，每个FL子系统处理一个FL任务。
在步骤S1中，多任务联邦学习系统的全局损失函数定义为：
Figure BDA0003404646420000062
式中，
Figure BDA0003404646420000063
为各个任务模型参数的全集，wk表示FL任务k的模型参数，Fk为FL任务k的损失函数，Fk(wk)具体表示为：
Figure BDA0003404646420000064
式中，Qk为FL任务k数据集的样本数目，Q<k，i>为第<k，i>个边缘设备上本地数据集的样本数目，F<k，i>为第<k，i>个边缘设备的本地损失函数。
S2：FL任务训练的最大通信轮次为T，对于通信轮次t，每个边缘设备在本地进行梯度下降，计算局部梯度
Figure BDA0003404646420000071
再计算局部梯度
Figure BDA0003404646420000072
的均值
Figure BDA0003404646420000073
和方差
Figure BDA0003404646420000074
通过无差错信道将均值
Figure BDA0003404646420000075
和方差
Figure BDA0003404646420000076
上传至中心参数服务器PS，其中，[Mk]表示集合{i|1≤i≤Mk}。
在S2中，根据下述公式计算均值
Figure BDA0003404646420000077
和方差
Figure BDA0003404646420000078
Figure BDA0003404646420000079
Figure BDA00034046464200000710
式中，D为梯度向量长度，
Figure BDA00034046464200000711
表示梯度向量
Figure BDA00034046464200000712
的第d个元素。
S3：中心参数服务器PS和边缘设备进行信道信息的估计，每一通信轮次中梯度上传时信道保持不变，并且中心参数服务器PS拥有全局的信道信息
Figure BDA00034046464200000713
其中，
Figure BDA00034046464200000714
表示第<l，i>个边缘设备到第k个中心参数服务器PS的信道系数。
S4：中心参数服务器PS估计来自不同边缘设备间的梯度相关性，通过凸优化方法设计发端天线波束赋形
Figure BDA00034046464200000715
和收端天线波束赋形
Figure BDA00034046464200000716
在S4中，如图3所示，定义
Figure BDA00034046464200000717
为轮次t时FL任务k内Mk个边缘设备发送的梯度组成的矩阵，FL任务k内边缘设备间梯度的相关系数矩阵
Figure BDA00034046464200000718
定义如下：
Figure BDA00034046464200000719
式中，
Figure BDA00034046464200000720
为同一系统内第d维梯度组成的向量。即
Figure BDA00034046464200000721
为
Figure BDA00034046464200000722
的第d行，
Figure BDA00034046464200000723
为相关系数矩阵
Figure BDA00034046464200000724
的第(i，j)个元素，表示FL任务k内第<k，i>个边缘设备和第<k，j>个边缘设备间梯度相关性。在本申请中，使用全1矩阵近似相关系数矩阵
Figure BDA00034046464200000725
即
Figure BDA00034046464200000726
S5：中心参数服务器PS对每个k∈[K]，i∈[Mk]，优化发端天线波束赋形u<k，i>。
在S5中，优化设备发端波束赋形u<k，i>的具体方法为：
固定住其他
Figure BDA00034046464200000727
的波束赋形向量和收端波束赋形fk，进行如下优化：
Figure BDA0003404646420000081
s.t.||u<k，i>||2≤P0
其中，P0为最大功率，系数矩阵
Figure BDA0003404646420000082
和向量
Figure BDA0003404646420000083
由如下公式给出：
Figure BDA0003404646420000084
Figure BDA0003404646420000085
其中，
Figure BDA0003404646420000086
为分式规划引入的辅助变量，由如下公式给出：
Figure BDA0003404646420000087
其中，σ2为高斯白噪声分布的方差。
S6：中心参数服务器PS对每个k∈[K]，i∈[Mk]，优化收端天线波束赋形fk。
在S6中，优化收端天线波束赋形fk的具体方法为：
固定
Figure BDA0003404646420000088
进行如下优化：
Figure BDA0003404646420000089
s.t.||fk||2≤1
其中，系数矩阵
Figure BDA00034046464200000810
和向量
Figure BDA00034046464200000811
由如下公式给出：
Figure BDA00034046464200000812
Figure BDA00034046464200000813
其中，
Figure BDA00034046464200000814
表示NR×NR维的单位矩阵。
S7：中心参数服务器PS计算目标函数obj的值，若obj的值收敛则跳入S8，否则跳入S5。
在S7中，更新y并计算目标函数obj的值：
Figure BDA00034046464200000815
式中，
Figure BDA00034046464200000816
Figure BDA0003404646420000091
S8：中心参数服务器PS计算收端合并因子ζk。
在S8中，通过下述公式计算收端合并因子ζk：
Figure BDA0003404646420000092
其中，我们假设来自各个边缘设备的局部梯度方差
Figure BDA0003404646420000093
等于
Figure BDA0003404646420000094
即
Figure BDA0003404646420000095
S9：中心参数服务器PS将优化结果通过无差错信道回传给边缘设备。
S10：边缘设备根据优化后的发端天线波束赋形u<k，i>上传本地梯度至中心参数服务器PS。
如图4所示，给出多任务联邦学习系统在一个通信轮次内本地梯度上传到中心参数服务器PS的信号流图。
在S10中，边缘设备在本地梯度下降得到更新的梯度
Figure BDA0003404646420000096
通过
Figure BDA0003404646420000097
进行逐元素归一化，随后，边缘设备对梯度进行正交调制：
Figure BDA0003404646420000098
边缘设备将复数化的梯度
Figure BDA0003404646420000099
安照
Figure BDA00034046464200000910
发送到信道内。发端功率须满足约束
Figure BDA00034046464200000911
S11：中心参数服务器PS根据接收到的信息恢复出聚合梯度
Figure BDA00034046464200000912
并根据聚合梯度
Figure BDA00034046464200000913
对模型进行更新。
在S11中，采用如下公式从
Figure BDA00034046464200000914
中恢复出聚合梯度
Figure BDA00034046464200000915
Figure BDA00034046464200000916
Figure BDA00034046464200000917
其中，
Figure BDA00034046464200000918
为第k个中心参数服务器PS接收的信号，具体表示为，
Figure BDA00034046464200000919
式中，
Figure BDA0003404646420000101
表示来自第<k，i>个边缘设备的发送信号，
Figure BDA0003404646420000102
为
Figure BDA0003404646420000103
的第c列，为第c个时隙内第<k，i>个边缘设备的发送信号，
Figure BDA0003404646420000104
表示噪声矩阵，
Figure BDA0003404646420000105
表示第c个时隙内天线接收到的噪声，
Figure BDA0003404646420000106
中元素服从独立同分布的零均值圆周对称复高斯分布，方差为σ2。
Figure BDA0003404646420000107
为梯度均值关于数据集大小的加权和。
中心参数服务器PS根据下式进行模型更新：
Figure BDA0003404646420000108
式中，ηk为学习率，
Figure BDA0003404646420000109
为损失函数在
Figure BDA00034046464200001010
处的梯度。
S12：中心参数服务器PS将更新后的全局模型通过无差错信道回传至每个边缘设备。
S13。重复上述过程直至通信轮次t＞T，否则跳入S2。
在图5中，给出了多任务联邦学习系统下使用各种优化方法的分配发送功率的直方图。可以看到大多数设备的传输功率在本发明所提出的算法中得到了充分分配。这是因为我们提出的方案放宽了所有设备将其梯度与离群者者对齐的约束，这为设备充分利用功率提供了自由度。
在图6中，给出了多任务联邦学习系统下使用不同优化算法的FL学习准确率曲线。如图6所示，本发明所提出的算法在所有三个FL任务中都达到了接近无错误界限的精度，并且明显优于所有基线，这清楚地证明了本发明提出的方案的优越性。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种MIMO干扰信道下空中计算多任务联邦学习方法，应用于多任务联邦学习系统；
多任务联邦学习系统包含K个FL子系统，每个FL子系统包含一个NK根天线的中心参数服务器PS和Mk个NT根天线的边缘设备；其特征在于，
所述MIMO干扰信道下空中计算多任务联邦学习方法包含以下步骤：
S1：在多任务联邦学习系统中部署K个不同的FL任务，每个FL子系统处理一个FL任务；
S2：FL任务训练的最大通信轮次为T，对于通信轮次t，每个边缘设备在本地进行梯度下降，计算局部梯度
Figure FDA0003404646410000011
再计算局部梯度
Figure FDA0003404646410000012
的均值
Figure FDA0003404646410000013
和方差
Figure FDA0003404646410000014
通过无差错信道将均值
Figure FDA0003404646410000015
和方差
Figure FDA0003404646410000016
上传至中心参数服务器PS；
S3：中心参数服务器PS和边缘设备进行信道信息的估计，每一通信轮次中梯度上传时信道保持不变，并且中心参数服务器PS拥有全局的信道信息
Figure FDA0003404646410000017
S4：中心参数服务器PS估计来自不同边缘设备间的梯度相关性，通过凸优化方法设计发端天线波束赋形
Figure FDA0003404646410000018
和收端天线波束赋形
Figure FDA0003404646410000019
S5：中心参数服务器PS对每个k∈[K]，i∈[Mk]，优化发端天线波束赋形u<k，i>；
S6：中心参数服务器PS对每个k∈[K]，i∈[Mk]，优化收端天线波束赋形fk；
S7：中心参数服务器PS计算目标函数obj的值，若obj的值收敛则跳入S8，否则跳入S5；
S8：中心参数服务器PS计算收端合并因子ζk；
S9：中心参数服务器PS将优化结果通过无差错信道回传给边缘设备；
S10：边缘设备根据优化后的发端天线波束赋形u<k，i>上传本地梯度至中心参数服务器PS；
S11：中心参数服务器PS根据接收到的信息恢复出聚合梯度
Figure FDA00034046464100000110
并根据聚合梯度
Figure FDA00034046464100000111
对模型进行更新；
S12：中心参数服务器PS将更新后的全局模型通过无差错信道回传至每个边缘设备；
S13；重复上述过程直至通信轮次t＞T，否则跳入S2。
2.根据权利要求1所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，
在步骤S1中，多任务联邦学习系统的全局损失函数定义为：
Figure FDA00034046464100000112
式中，
Figure FDA0003404646410000021
为各个任务模型参数的全集，wk表示FL任务k的模型参数，Fk(·)为FL任务k的损失函数，Fk(wk)具体表示为：
Figure FDA0003404646410000022
式中，Qk为FL任务k数据集的样本数目，Q<k，i>为第<k，i>个边缘设备上本地数据集的样本数目，F<k，i>为第<k，i>个边缘设备的本地损失函数。
3.根据权利要求2所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，
在S2中，根据下述公式计算均值
Figure FDA0003404646410000023
和方差
Figure FDA0003404646410000024
Figure FDA0003404646410000025
Figure FDA0003404646410000026
式中，D为梯度向量长度，
Figure FDA0003404646410000027
表示梯度向量
Figure FDA0003404646410000028
的第d个元素。
4.根据权利要求3所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，
在S4中，定义
Figure FDA0003404646410000029
为轮次t时FL任务k内Mk个边缘设备发送的梯度组成的矩阵，FL任务k内边缘设备间梯度的相关系数矩阵
Figure FDA00034046464100000210
定义如下：
Figure FDA00034046464100000211
式中，
Figure FDA00034046464100000212
为同一系统内第d维梯度组成的向量。
5.根据权利要求4所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，
在S5中，优化设备发端波束赋形u<k，i>的具体方法为：
固定住其他
Figure FDA00034046464100000213
的波束赋形向量和收端波束赋形fk，进行如下优化：
Figure FDA00034046464100000214
s.t.||u<k，i>||2≤P0
其中，P0为最大功率，系数矩阵
Figure FDA00034046464100000215
和向量
Figure FDA00034046464100000216
由如下公式给出：
Figure FDA00034046464100000217
Figure FDA00034046464100000218
其中，
Figure FDA0003404646410000031
为分式规划引入的辅助变量，由如下公式给出：
Figure FDA0003404646410000032
其中，σ2为高斯白噪声分布的方差。
6.根据权利要求5所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，
在S6中，优化收端天线波束赋形fk的具体方法为：
固定
Figure FDA0003404646410000033
进行如下优化：
Figure FDA0003404646410000034
s.t.||fk||2≤1
其中，系数矩阵
Figure FDA0003404646410000035
和向量
Figure FDA0003404646410000036
由如下公式给出：
Figure FDA0003404646410000037
Figure FDA0003404646410000038
其中，
Figure FDA0003404646410000039
表示NR×NR维的单位矩阵。
7.根据权利要求6所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，
在S7中，通过下式计算目标函数obj的值：
Figure FDA00034046464100000310
8.根据权利要求7所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，在S8中，通过下述公式计算收端合并因子ζk：
Figure FDA00034046464100000311
9.根据权利要求8所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，在S10中，边缘设备在本地梯度下降得到更新的梯度
Figure FDA00034046464100000312
通过
Figure FDA00034046464100000313
进行逐元素归一化，随后，边缘设备对梯度进行正交调制：
Figure FDA00034046464100000314
边缘设备将复数化的梯度
Figure FDA0003404646410000041
按照
Figure FDA0003404646410000042
发送到信道内。
10.根据权利要求9所述的MIMO干扰信道下空中计算多任务联邦学习方法，其特征在于，
在S11中，
Figure FDA0003404646410000043
Figure FDA0003404646410000044
其中，
Figure FDA0003404646410000045
为第k个中心参数服务器PS接收的信号，具体表示为，
Figure FDA0003404646410000046
式中，
Figure FDA0003404646410000047
表示来自第<k，i>个边缘设备的发送信号，
Figure FDA0003404646410000048
为
Figure FDA0003404646410000049
的第c列，为第c个时隙内第<k，i>个边缘设备的发送信号，
Figure FDA00034046464100000410
表示噪声矩阵，
Figure FDA00034046464100000411
表示第c个时隙内天线接收到的噪声，
Figure FDA00034046464100000412
中元素服从独立同分布的零均值圆周对称复高斯分布，方差为σ2，
Figure FDA00034046464100000413
为梯度均值关于数据集大小的加权和；
中心参数服务器PS根据下式进行模型更新：
Figure FDA00034046464100000414
式中，ηk为学习率，
Figure FDA00034046464100000415
为损失函数在
Figure FDA00034046464100000416
处的梯度。
CN202111509287.7A 2021-12-10 2021-12-10 Mimo干扰信道下空中计算多任务联邦学习方法 Active CN114169243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111509287.7A CN114169243B (zh) 2021-12-10 2021-12-10 Mimo干扰信道下空中计算多任务联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111509287.7A CN114169243B (zh) 2021-12-10 2021-12-10 Mimo干扰信道下空中计算多任务联邦学习方法

Publications (2)

Publication Number Publication Date
CN114169243A CN114169243A (zh) 2022-03-11
CN114169243B true CN114169243B (zh) 2022-07-29

Family

ID=80485725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111509287.7A Active CN114169243B (zh) 2021-12-10 2021-12-10 Mimo干扰信道下空中计算多任务联邦学习方法

Country Status (1)

Country Link
CN (1) CN114169243B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866545B (zh) * 2022-04-19 2023-04-25 郑州大学 一种基于空中计算的半异步分层联邦学习方法及系统
CN116131892A (zh) * 2022-07-12 2023-05-16 上海前瞻创新研究院有限公司 异构智能反射面系统的联合波束赋形方法、系统、介质、终端
CN116506072B (zh) * 2023-06-19 2023-09-12 华中师范大学 基于多任务联邦学习的mimo-noma系统的信号检测方法
CN117614780A (zh) * 2023-11-23 2024-02-27 杭州辰时医联科技有限公司 一种联邦边缘学习梯度聚合方法、装置、系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139662A (zh) * 2021-04-23 2021-07-20 深圳市大数据研究院 联邦学习的全局及局部梯度处理方法、装置、设备和介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738925B2 (en) * 2006-03-03 2010-06-15 Nokia Corporation Adaptive multi-beamforming systems and methods for communication systems
WO2018094565A1 (zh) * 2016-11-22 2018-05-31 深圳大学 脉冲噪声下的波束成形方法及装置
CN109379752B (zh) * 2018-09-10 2021-09-24 中国移动通信集团江苏有限公司 Massive MIMO的优化方法、装置、设备及介质
EP3855364A1 (en) * 2020-01-24 2021-07-28 Secondmind Limited Training machine learning models
CN111830495B (zh) * 2020-07-08 2023-07-21 中国人民解放军空军工程大学 一种基于凸优化学习的机载雷达自适应波束形成算法
CN113115344B (zh) * 2021-04-19 2021-12-14 中国人民解放军火箭军工程大学 基于噪声优化的无人机基站通信资源分配策略预测方法
CN113435604B (zh) * 2021-06-16 2024-05-07 清华大学 一种联邦学习优化方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139662A (zh) * 2021-04-23 2021-07-20 深圳市大数据研究院 联邦学习的全局及局部梯度处理方法、装置、设备和介质

Also Published As

Publication number Publication date
CN114169243A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN114169243B (zh) Mimo干扰信道下空中计算多任务联邦学习方法
CN109005551B (zh) 一种非理想信道状态信息的多用户noma下行功率分配方法
CN110881010B (zh) 统计csi辅助的多用户noma下行传输方法
CN112804695A (zh) 可重构智能表面辅助的无线通信方法及装置
CN108234101A (zh) 能效最大化导频信号设计方法及大规模多天线系统
CN109905917B (zh) 基于无线携能的noma通信系统中无线资源分配方法
CN102892123B (zh) 多天线多用户中继认知无线电网络中鲁棒波束成形方法
CN113825159A (zh) 基于智能反射面的无线携能通信系统鲁棒资源分配方法
CN112272232A (zh) 毫米波车联网资源调度方法、装置、电子设备及存储介质
EP4295492A1 (en) Wireless telecommunications network including a multi-layer transmissive reconfigureable intelligent surface
CN114219354A (zh) 一种基于联邦学习资源分配优化方法及系统
CN116192209A (zh) 一种mimo信道下空中计算联邦学习的梯度上传方法
CN112994770A (zh) 基于部分csi的ris辅助多用户下行鲁棒无线传输方法
CN116017507A (zh) 基于无线空中计算和二阶优化的去中心化联邦学习方法
CN106788631A (zh) 一种基于局部校准的大规模mimo互易性校准方法
CN112994762B (zh) 基于统计csi的mimo-noma下行自适应无线传输方法
CN111917444B (zh) 一种适用于毫米波mimo-noma系统的资源分配方法
CN116567652B (zh) 全向超表面辅助的空中计算赋能垂直联邦学习方法
CN114337902B (zh) 一种irs辅助的毫米波多小区间干扰的抑制方法
CN115714612A (zh) 基于感知的通信波束跟踪方法
CN110012489A (zh) 非理想信道下全双工mimo蜂窝系统的通信处理方法
CN105656666A (zh) 协作网络下行链路非完美信道下的总功率联合优化方法
CN113206694B (zh) 一种基于混合波束成形的毫米波移动边缘计算系统中计算效率优化方法
WO2023041045A1 (zh) 多天线信号传输中的用户调度方法、电子设备及存储介质
WO2024027424A1 (zh) 一种数据质量度量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Multi-task federated learning method for air computing in MIMO jamming channel

Effective date of registration: 20230106

Granted publication date: 20220729

Pledgee: Zhejiang Mintai Commercial Bank Co.,Ltd. Hangzhou Shishan Road Small and Micro Enterprises Specialized Sub branch

Pledgor: Zhejiang Chenshi Technology Group Co.,Ltd.

Registration number: Y2023330000064

PE01 Entry into force of the registration of the contract for pledge of patent right