CN116192209A - 一种mimo信道下空中计算联邦学习的梯度上传方法 - Google Patents

一种mimo信道下空中计算联邦学习的梯度上传方法 Download PDF

Info

Publication number
CN116192209A
CN116192209A CN202310195126.8A CN202310195126A CN116192209A CN 116192209 A CN116192209 A CN 116192209A CN 202310195126 A CN202310195126 A CN 202310195126A CN 116192209 A CN116192209 A CN 116192209A
Authority
CN
China
Prior art keywords
matrix
gradient
module
variance
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310195126.8A
Other languages
English (en)
Inventor
袁晓军
钟晨曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310195126.8A priority Critical patent/CN116192209A/zh
Publication of CN116192209A publication Critical patent/CN116192209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0456—Selection of precoding matrices or codebooks, e.g. using matrices antenna weighting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0202—Channel estimation
    • H04L25/024—Channel estimation channel estimation algorithms
    • H04L25/0242—Channel estimation channel estimation algorithms using matrix methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Power Engineering (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明基于MIMO技术提出一种空中计算联邦学习(OA‑FL)系统的上行通信设计方案。该方案包括一种新颖的稀疏编码多路复用(SCoM,Sparse‑Coded Multiplexing)方案。该方案集成了稀疏压缩编码和MIMO多路复用技术，旨在解决的空中计算联邦学习通信开销较大的问题和学习性能损失问题。

Description

一种MIMO信道下空中计算联邦学习的梯度上传方法
技术领域
本发明属于信息与通信技术领域，涉及一种MIMO信道下空中计算联邦学习的梯度上传方法。
背景技术
第六代(6G)无线通信将支持每平方公里数百万个无线设备的连接密度。这将为实现泛在智能的愿景提供坚实的基础。开发强大的智能模型需要利用在大量边缘设备上的数据多样性。一个简单的范例是要求边缘设备将本地数据上传到中心参数服务器(PS)以进行集中式模型训练。然而，上传原始数据会产生巨大的通信开销，并可能威胁到用户隐私。为了避免这些缺点，联邦学习(FL)是一种很有前景的替代方法，它使边缘设备能够联合训练机器学习(ML)模型，同时保持用户本地数据。与上传原始数据不同，在联邦学习训练中，每个边缘设备将其梯度更新发送到中心服务器，服务器聚合局部梯度，更新全局模型并将全局模型发送回边缘设备。
由于有限的通信资源(例如时间，带宽和空间)难以支持大规模边缘设备的通信需求，梯度上传成为了FL部署在无线网络上的关键瓶颈。近年来，人工智能模型参数数量日益增长，例如，Resnet152具有6000万个参数，而GPT-3具有1750亿个参数。然而，由于带宽和延迟限制，可用的无线通信带宽通常较小，例如1个LTE帧包含5MHz带宽和10ms相干时间只能携带50000个符号。幸运的是，在联邦学习中，相比于每个设备的局部梯度，服务器更关心局部梯度聚合后的梯度。聚合的梯度通常是所有局部梯度的平均值。基于联邦学习的这个特性，空中计算联邦学习(OA-FL)被提出，其中边缘设备通过共享无线资源来传输局部梯度。利用电磁波的模拟叠加，局部梯度在无线传输中完成聚合。与传统的正交多址接入(OMA)方法相比，空中计算联邦学习所需的通信资源并不随着设备的数量而增加，这在很大程度上缓解通信对于联邦学习的瓶颈效应。
由于空中计算联邦学习的广阔前景，许多研究工作已致力于设计更为高效的空中计算联邦学习系统。现有技术提出，局部梯度可以稀疏，压缩和量化后上传以减少通信开销而不会造成明显的学习准确率损失。使用部分正交压缩矩阵和Turbs-CS，可实现低复杂度的梯度稀疏压缩编码的方案。采用上述方案的空中计算联邦学习系统具有较低的通信开销和更快的收敛速率。
然而，现有的梯度压缩编码方案全部是基于单输入单输出(SISO)系统。具有阵列信号处理的多输入多输出(MIMO)已被广泛认为是增强系统容量的强大技术。MIMO多路复用通过天线阵列并行传输多个数据流，可显着减少信道使用的数量。但是，MIMO多路复用会导致数据流间干扰，从而破坏了OA-FL的聚合梯度和测试精度。通过合理设计设备端的预编码矩阵和服务器端的后处理矩阵，可以抑制流间干扰的影响。现有技术使用信道矩阵的伪逆矩阵作为预编码矩阵，并使用微分几何优化技术得出了闭式的后处理矩阵，或根据接收天线选择部分数据流。然而，上述方法均基于信道矩阵求逆，这可能会显着扩大噪声并因此加剧了梯度的聚集误差。尤其是当某些设备处于深度衰落时，上述方案将产生巨大的性能损失。
发明内容
本发明基于MIMO技术提出一种空中计算联邦学习(OA-FL)系统的上行通信设计方案。该方案包括一种新颖的稀疏编码多路复用(SCoM,Sparse-Coded Multiplexing)方案。该方案集成了稀疏压缩编码和MIMO多路复用技术，旨在解决上述提到的空中计算联邦学习通信开销较大的问题和学习性能损失问题。
本发明考虑一个由1个参数服务器(PS,Parameter Server)和M个边缘设备组成的OA-FL系统，其中PS上有NR根天线，每个边缘设备上有NT根天线。尽管采用MIMO多路复用技术在天线阵列上并行传输多数据流降低了上行通信开销，但这同样导致了梯度在上传中受到数据流间干扰，进而导致梯度聚合误差，影响学习准确率。系统采用交替优化(AO)和交替方向乘子法(ADMM)设计MIMO收发预编码矩阵，减少梯度聚合误差。
本发明采用的技术方案包括以下步骤：
S1、如图1所示，OA-FL系统由1个PS和M个边缘设备组成，全局损失函数定义为
Figure BDA0004106858900000021
式中，
Figure BDA0004106858900000022
整个系统内数据集的样本数目，Qm为设备m本地数据集的样本数目。/>
Figure BDA0004106858900000023
为网络模型参数，D为模型参数总数。Fm(·)为设备m的本地损失函数，具体表示为
Figure BDA0004106858900000024
式中，f(θ；ξm，n)为关于样本ξm，n的逐点损失函数。假设FL任务训练的最大通信轮次为T。
S2、服务器(PS)生成压缩矩阵
Figure BDA0004106858900000031
和翻转向量/>
Figure BDA0004106858900000032
下发至所有的边缘设备，其中，C表示压缩后的梯度长度。压缩矩阵A＝SΞ，其中/>
Figure BDA0004106858900000033
为选择矩阵，通过随机选取D/2×D/2维单位矩阵的C行并重排列得到；/>
Figure BDA0004106858900000034
为离散傅里叶变换(DFT)矩阵，其第(d，d′)个元素表示为/>
Figure BDA0004106858900000035
Figure BDA00041068589000000313
为虚数单位。翻转向量s的每个元素由{-1，1}的二元分布中均匀采样得到。A和s稍后用于计算发送的梯度。
在通信轮次t内，执行如下步骤：
S3、服务器与设备进行信道信息(CSI)的估计，假设在每一通信轮次中梯度上传时信道保持不变，并且服务器拥有全局的信道信息矩阵
Figure BDA0004106858900000036
S4、服务器通过交替优化方法设计发端预编码矩阵
Figure BDA0004106858900000037
和收端后处理矩阵
Figure BDA0004106858900000038
具体来说，服务器通过求解以下优化问题，得到最优的/>
Figure BDA0004106858900000039
/>
Figure BDA00041068589000000310
Figure BDA00041068589000000311
其中，，m和m′分别指示设备m和设备m′，qm′＝Qm′/Q为归一化的数据集大小，σnoise为信道中高斯白噪声的方差，
Figure BDA00041068589000000312
为设备m′的梯度矩阵Gm′与设备m的梯度矩阵Gm之间的相关系数，梯度矩阵Gm的定义在SX中给出。P0为发端功率限制。[M]＝{m|1≤m≤M}。tr(·)为矩阵求迹操作。||·||F为求矩阵Frobenius范数操作。
S5、收端后处理矩阵F(t)的最优值由如下公式给出：
Figure BDA0004106858900000041
其中，I为单位阵。
S6、每个发端预编码矩阵
Figure BDA0004106858900000042
由以下更新公式给出
Pm←(Bm+γI)-1(Cm+γ(Zm+Vm))；
Figure BDA0004106858900000043
Figure BDA0004106858900000044
Vm←Vm+Zm-Pm.
其中，
Figure BDA0004106858900000045
Figure BDA0004106858900000046
为中间变量矩阵，γ为惩罚因子，Zm为ADMM算法引入的辅助变量，ζm、Vm为对偶变量。
S7、通过迭代S5和S6，直至S4中优化问题的目标函数值收敛。此时得到最优的
Figure BDA0004106858900000047
服务器将预编码矩阵/>
Figure BDA0004106858900000048
和全局模型θ(t)下发至各个边缘设备。
S8、各个设备在本地进行梯度下降，计算局部梯度
Figure BDA0004106858900000049
S9、如图2所示，为SCoM在一个通信轮次内本地梯度上传到PS的信号流图。设备使用优化后的预编码矩阵将本地梯度上传。轮次t内，边缘设备将梯度映射为复数版本，如以下公式给出
Figure BDA00041068589000000410
式中，
Figure BDA00041068589000000411
为取实部操作，/>
Figure BDA00041068589000000412
为取复数操作。基于/>
Figure BDA00041068589000000413
设备根据如下公式计算累计梯度：
Figure BDA00041068589000000414
式中，
Figure BDA00041068589000000415
表示在设备m在第t轮的稀疏误差累计向量。基于累计梯度/>
Figure BDA00041068589000000416
设备计算稀疏化梯度/>
Figure BDA00041068589000000417
如下公式所示：/>
Figure BDA00041068589000000418
其中，λ∈[0，1]表示稀疏度。sp(·)保留累计梯度
Figure BDA0004106858900000051
中绝对值最大的λD/2个梯度元素。基于/>
Figure BDA0004106858900000052
设备根据如下公式更新稀疏误差累计向量：
Figure BDA0004106858900000053
随后设备基于稀疏梯度
Figure BDA0004106858900000054
计算归一化梯度/>
Figure BDA0004106858900000055
Figure BDA0004106858900000056
其中，⊙为逐元素乘积，
Figure BDA0004106858900000057
为稀疏梯度/>
Figure BDA0004106858900000058
的方差，
Figure BDA0004106858900000059
为/>
Figure BDA00041068589000000510
的第d个元素。设备基于归一化梯度/>
Figure BDA00041068589000000511
使用S2中提到的矩阵A对/>
Figure BDA00041068589000000512
压缩：
Figure BDA00041068589000000513
其中，C为压缩后梯度的长度，
Figure BDA00041068589000000514
为压缩率。
S10、为传输多流数据，设备将压缩梯度
Figure BDA00041068589000000515
拆分为多流，构成如下矩阵
Figure BDA00041068589000000516
其中，Ns为数据流数，
Figure BDA00041068589000000517
为矩阵/>
Figure BDA00041068589000000518
的第n行，/>
Figure BDA00041068589000000519
为矩阵的列数。最后，设备基于优化后的发端预编码矩阵/>
Figure BDA00041068589000000520
和梯度矩阵/>
Figure BDA00041068589000000526
计算传输信号矩阵/>
Figure BDA00041068589000000521
Figure BDA00041068589000000522
设备将
Figure BDA00041068589000000523
发送至MIMO信道中。
S11、在PS端，采用后处理矩阵F(t)得到处理后的信号
Figure BDA00041068589000000524
如下
Figure BDA00041068589000000525
PS对处理后的矩阵
Figure BDA0004106858900000061
进行向量化，得到如下的压缩感知问题
Figure BDA0004106858900000062
其中，vec(·)为向量化操作，
Figure BDA0004106858900000063
为处理后的矩阵/>
Figure BDA0004106858900000064
与无差错聚合矩阵/>
Figure BDA0004106858900000065
的误差矩阵，/>
Figure BDA0004106858900000066
和w(t)＝vec(W(t)T)。
S12、如图3所示，服务器采用TurboCS算法求解S11中压缩感知问题。TurboCS算法迭代求解聚合后的梯度
Figure BDA0004106858900000067
首先，模块A给出线性最小均方误差(LMMSE)估计器的估计结果
Figure BDA0004106858900000068
Figure BDA0004106858900000069
其中，
Figure BDA00041068589000000610
为模块A的先验均值，/>
Figure BDA00041068589000000611
为模块A的先验方差，
Figure BDA00041068589000000612
为噪声向量w(t)的方差，/>
Figure BDA00041068589000000613
为模块A的后验均值，
Figure BDA00041068589000000614
为模块A的后验方差。根据LMMSE输出结果，计算模块A给出的外信息。
Figure BDA00041068589000000615
Figure BDA00041068589000000616
其中，
Figure BDA00041068589000000617
为模块A的外信息均值，/>
Figure BDA00041068589000000618
为模块A的外信息方差。.二者被作为模块B的先验信息，即/>
Figure BDA00041068589000000619
然后，在模块B，根据先验信息
Figure BDA00041068589000000620
最小均方误差(MMSE)估计器给出后验估计
Figure BDA00041068589000000621
Figure BDA00041068589000000622
其中，
Figure BDA0004106858900000071
计算条件方差，/>
Figure BDA0004106858900000072
为模块B的后验均值，/>
Figure BDA0004106858900000073
为模块B的后验方差。模块B输出的外信息为
Figure BDA0004106858900000074
Figure BDA0004106858900000075
其中，
Figure BDA0004106858900000076
为模块B的外信息均值，/>
Figure BDA0004106858900000077
为模块B的外信息方差。.二者被作为模块B的先验信息，即/>
Figure BDA0004106858900000078
模块AB相互迭代直至/>
Figure BDA0004106858900000079
收敛，此时估计的梯度为/>
Figure BDA00041068589000000710
S13、PS依照如下公式得到估计的聚合梯度
Figure BDA00041068589000000711
其中，
Figure BDA00041068589000000712
PS依照如下公式进行模型更新：
Figure BDA00041068589000000713
式中，η为学习率。
S14、服务器将更新后的全局模型通过无差错广播信道回传给每个设备。
S15、若达到通信轮次t＞T则结束，否则转S3。
本发明的改进可作如下总结：首先，本发明提出了一种新颖的空中计算联邦学习本地梯度上传方案SCoM，利用了MIMO多路复用技术和压缩编码技术组成。所提出的方案在达到相同的学习准确率时显著减少了上传梯度的通信开销。其次，本发明开发了一种基于交替优化(AO)和交替方向乘数法(ADMM)的低复杂度算法来优化预编码和后处理矩阵，从而避免了现有方案中信道反转而导致梯度聚合误差显著增大的问题。最后，本发明给出了最小化梯度聚合误差的最优多路复用数据流数，即发端和收端天线数的最小值。
附图说明
图1：系统模型
图2：SCoM方案中的Turbo-CS算法示意图
图3：SCoM方案中设备上传梯度的流程图
图4：仿真设备分布示意图
图5：SCoM方案中使用学习准确率随不同复用数据流数变化的曲线
图6：使用不同传输方案达到相同学习准确率时信道使用次数的曲线
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
具体方法的参数设置如下：
考虑一个由20个设备和一个中心服务器组成的FL系统。设备在以基站为中心、半径为100m的圆内均匀分布，如图4所示。基站高度为10米。每个任务数据集大小为60000个样本，每个设备上有3000个样本。本发明的实验训练了两个FL任务，分别基于MNIST和FMNIST两个数据集。每个数据集有两种数据分布，分别为1)独立同分布(i.i.d.)，其中所有的数据都被打乱，然后平均分配给20个设备；2)非独立同分布(non-i.i.d.)，其中每个设备随机选择4个类别，然后从每个所选类别中随机抽取750个样本。FL任务的模型由一个2层卷积层(每层包含5x5卷积核、2x2最大池化、ReLU激活函数和batchnorm层)，1层全连接层和1层softmax输出层组成。学习率设置为0.001。训练通信轮次设置为T＝500.
根据以上参数设置，该仿真的具体步骤如下：
S1、如图1所示，OA-FL系统由1个PS和M个边缘设备组成，全局损失函数定义为
Figure BDA0004106858900000081
式中，
Figure BDA0004106858900000082
整个系统内数据集的样本数目，Qm为设备m本地数据集的样本数目。/>
Figure BDA0004106858900000083
为网络模型参数，D为模型参数总数。Fm(·)为设备m的本地损失函数，具体表示为
Figure BDA0004106858900000084
式中，f(θ；ξm，n)为关于样本ξm，n的逐点损失函数。假设FL任务训练的最大通信轮次为T。
S2、服务器(PS)生成压缩矩阵
Figure BDA0004106858900000091
和翻转向量/>
Figure BDA0004106858900000092
下发至所有的边缘设备，其中，C表示压缩后的梯度长度。压缩矩阵A＝SΞ，其中/>
Figure BDA0004106858900000093
为选择矩阵，通过随机选取D/2×D/2维单位矩阵的C行并重排列得到；/>
Figure BDA0004106858900000094
为离散傅里叶变换(DFT)矩阵，其第(d，d′)个元素表示为/>
Figure BDA00041068589000000914
为虚数单位。翻转向量s的每个元素由{-1，1}的二元分布中均匀采样得到。A和s稍后用于计算发送的梯度。在通信轮次t内，执行如下步骤：
S3、服务器与设备进行信道信息(CSI)的估计，假设在每一通信轮次中梯度上传时信道保持不变，并且服务器拥有全局的信道信息矩阵
Figure BDA0004106858900000096
S4、服务器通过交替优化方法设计发端预编码矩阵
Figure BDA0004106858900000097
和收端后处理矩阵
Figure BDA0004106858900000098
具体来说，服务器通过求解以下优化问题，得到最优的/>
Figure BDA0004106858900000099
Figure BDA00041068589000000910
Figure BDA00041068589000000911
其中，，m和m′分别指示设备m和设备m′，qm′＝Qm′/Q为归一化的数据集大小，σnoise为信道中高斯白噪声的方差，
Figure BDA00041068589000000912
为设备m′的梯度矩阵Gm′与设备m的梯度矩阵Gm之间的相关系数，梯度矩阵Gm的定义在SX中给出。P0为发端功率限制。[M]＝{m|1≤m≤M}。tr(·)为矩阵求迹操作。||·||F为求矩阵Frobenius范数操作。
S5、收端后处理矩阵F(t)的最优值由如下公式给出：
Figure BDA00041068589000000913
其中，I为单位阵。
S6、每个发端预编码矩阵
Figure BDA0004106858900000101
由以下更新公式给出
Pm←(Bm+γI)-1(Cm+γ(Zm+Vm))；
Figure BDA0004106858900000102
Figure BDA0004106858900000103
Vm←Vm+Zm-Pm.
其中，
Figure BDA0004106858900000104
Figure BDA0004106858900000105
为中间变量矩阵，γ为惩罚因子，Zm为ADMM算法引入的辅助变量，ζm、Vm为对偶变量。
S7、通过迭代S5和S6，直至S4中优化问题的目标函数值收敛。此时得到最优的
Figure BDA0004106858900000106
服务器将预编码矩阵/>
Figure BDA0004106858900000107
和全局模型θ(t)下发至各个边缘设备。
S8、各个设备在本地进行梯度下降，计算局部梯度
Figure BDA0004106858900000108
S9、如图2所示，给SCoM在一个通信轮次内本地梯度上传到PS的信号流图。设备使用优化后的预编码矩阵将本地梯度上传。轮次t内，边缘设备将梯度映射为复数版本，如以下公式给出
Figure BDA0004106858900000109
式中，
Figure BDA00041068589000001010
为取实部操作，/>
Figure BDA00041068589000001011
为取复数操作。基于/>
Figure BDA00041068589000001012
设备根据如下公式计算累计梯度：
Figure BDA00041068589000001013
式中，
Figure BDA00041068589000001014
表示在设备m在第t轮的稀疏误差累计向量。基于累计梯度/>
Figure BDA00041068589000001015
设备计算稀疏化梯度/>
Figure BDA00041068589000001016
如下公式所示：
Figure BDA00041068589000001017
其中，γ∈[0，1]表示稀疏度。sp(·)保留累计梯度
Figure BDA00041068589000001018
中绝对值最大的γD/2个梯度元素。基于/>
Figure BDA0004106858900000111
设备根据如下公式更新稀疏误差累计向量：
Figure BDA0004106858900000112
随后设备基于稀疏梯度
Figure BDA0004106858900000113
计算归一化梯度/>
Figure BDA0004106858900000114
Figure BDA0004106858900000115
其中，⊙为逐元素乘积，
Figure BDA0004106858900000116
为稀疏梯度/>
Figure BDA0004106858900000117
的方差，
Figure BDA0004106858900000118
为/>
Figure BDA0004106858900000119
的第d个元素。设备基于归一化梯度/>
Figure BDA00041068589000001110
使用S2中提到的矩阵A对/>
Figure BDA00041068589000001111
压缩：
Figure BDA00041068589000001112
其中，C为压缩后梯度的长度，
Figure BDA00041068589000001113
为压缩率。
S10、为传输多流数据，设备将压缩梯度
Figure BDA00041068589000001114
拆分为多流，构成如下矩阵
Figure BDA00041068589000001115
其中，Ns为数据流数，
Figure BDA00041068589000001116
为矩阵/>
Figure BDA00041068589000001117
的第n行，/>
Figure BDA00041068589000001118
为矩阵的列数。最后，设备基于优化后的发端预编码矩阵/>
Figure BDA00041068589000001119
和梯度矩阵/>
Figure BDA00041068589000001120
计算传输信号矩阵/>
Figure BDA00041068589000001121
Figure BDA00041068589000001122
设备将
Figure BDA00041068589000001123
发送至MIMO信道中。/>
S11、在PS端，采用后处理矩阵F(t)得到处理后的信号
Figure BDA00041068589000001124
如下
Figure BDA00041068589000001125
PS对处理后的矩阵
Figure BDA0004106858900000121
进行向量化，得到如下的压缩感知问题
Figure BDA0004106858900000122
其中，vec(·)为向量化操作，
Figure BDA0004106858900000123
为处理后的矩阵/>
Figure BDA0004106858900000124
与无差错聚合矩阵/>
Figure BDA0004106858900000125
的误差矩阵，/>
Figure BDA0004106858900000126
和w(t)＝vec(W(t)T)。
S12、如图3所示，服务器采用TurboCS算法求解S11中压缩感知问题。TurboCS算法迭代求解聚合后的梯度
Figure BDA0004106858900000127
首先，模块A给出线性最小均方误差(LMMSE)估计器的估计结果
Figure BDA0004106858900000128
Figure BDA0004106858900000129
其中，
Figure BDA00041068589000001210
为模块A的先验均值，/>
Figure BDA00041068589000001211
为模块A的先验方差，
Figure BDA00041068589000001212
为噪声向量w(t)的方差，/>
Figure BDA00041068589000001213
为模块A的后验均值，
Figure BDA00041068589000001214
为模块A的后验方差。根据LMMSE输出结果，计算模块A给出的外信息。
Figure BDA00041068589000001215
Figure BDA00041068589000001216
其中，
Figure BDA00041068589000001217
为模块A的外信息均值，/>
Figure BDA00041068589000001218
为模块A的外信息方差。.二者被作为模块B的先验信息，即/>
Figure BDA00041068589000001219
然后，在模块B，根据先验信息
Figure BDA00041068589000001220
最小均方误差(MMSE)估计器给出后验估计
Figure BDA00041068589000001221
Figure BDA00041068589000001222
其中，
Figure BDA0004106858900000131
计算条件方差，/>
Figure BDA0004106858900000132
为模块B的后验均值，/>
Figure BDA0004106858900000133
为模块B的后验方差。模块B输出的外信息为
Figure BDA0004106858900000134
/>
Figure BDA0004106858900000135
其中，
Figure BDA0004106858900000136
为模块B的外信息均值，/>
Figure BDA0004106858900000137
为模块B的外信息方差。.二者被作为模块B的先验信息，即/>
Figure BDA0004106858900000138
模块AB相互迭代直至/>
Figure BDA0004106858900000139
收敛，此时估计的梯度为/>
Figure BDA00041068589000001310
S13、PS依照如下公式得到估计的聚合梯度
Figure BDA00041068589000001311
其中，
Figure BDA00041068589000001312
PS依照如下公式进行模型更新：
Figure BDA00041068589000001313
式中，η为学习率。
S14、服务器将更新后的全局模型通过无差错广播信道回传给每个设备。
S15、若达到通信轮次t＞T则结束，否则转S3。
在图5中，研究了多路复用数据流的数量Ns对SCoM方法学习性能的影响，其中发射天线的数量设置为NT＝4，接收天线数量设置为NR＝8，稀疏度设置为λ＝0.05，信道使用次数设置为K＝1584。实验结果为10次蒙特卡洛试验的平均。图5展示了测试精度与多路复用数据流的数量NS的情况。可以看出在四种数据分布的情况下，模型学习准确率的峰值出现在NS＝NT处。这是因为对于固定信道使用次数K，较小的NS需要较小的压缩比κ，这导致稀疏编码中更多的信息丢失；而较大的NS由于天线数量的瓶颈导致更大的压缩梯度聚合均方误差
Figure BDA0004106858900000141
在图6中，本发明展示了多种传输方案所需的信道使用总数与相对学习准确率的关系。如图6所示，在四种数据分布中，本发明所提出的算法在达到相同的学习准确率时消耗了最少的通信开销，并且明显优于所有基线，这清楚地证明了本发明提出的方案的优越性。

Claims (1)

1.一种MIMO信道下空中计算联邦学习的梯度上传方法，其特征在于，包括以下步骤：
S1、定义联邦学习系统由1个中心参数服务器PS和M个边缘设备组成，全局损失函数定义为：
Figure FDA0004106858890000011
式中，
Figure FDA0004106858890000012
为整个系统内数据集的样本数目，Qm为设备m本地数据集的样本数目，
Figure FDA0004106858890000013
为网络模型参数，D为模型参数总数，Fm(·)为设备m的本地损失函数：
Figure FDA0004106858890000014
式中，f(θ；ξm，n)为关于样本ξm，n的逐点损失函数，设定FL任务训练的最大通信轮次为T；
S2、令PS生成压缩矩阵
Figure FDA0004106858890000015
和翻转向量/>
Figure FDA0004106858890000016
下发至所有的边缘设备，其中，C表示压缩后的梯度长度，压缩矩阵A＝SΞ，其中/>
Figure FDA0004106858890000017
为选择矩阵，通过随机选取D/2×D/2维单位矩阵的C行并重排列得到；/>
Figure FDA0004106858890000018
为离散傅里叶变换矩阵，其第(d，d′)个元素表示为/>
Figure FDA0004106858890000019
为虚数单位，翻转向量s的每个元素由{-1，1}的二元分布中均匀采样得到；A和s用于计算发送的梯度；
S3、服务器与设备进行信道信息的估计，假设在每一通信轮次中梯度上传时信道保持不变，并且服务器拥有全局的信道信息矩阵
Figure FDA00041068588900000110
其中t是指通信轮次t；
S4、服务器通过交替优化方法设计发端预编码矩阵
Figure FDA00041068588900000111
和收端后处理矩阵
Figure FDA00041068588900000112
具体来说，服务器通过求解以下优化问题，得到最优的/>
Figure FDA00041068588900000113
Figure FDA00041068588900000114
Figure FDA00041068588900000115
其中，m和m′分别指设备m和设备m′，qm′＝Qm′/Q为归一化的数据集大小，σnoise为信道中高斯白噪声的方差，
Figure FDA0004106858890000021
为设备m′的梯度矩阵Gm′与设备m的梯度矩阵Gm之间的相关系数，梯度矩阵Gm的定义在SX中给出，P0为发端功率限制，[M]＝{m|1≤m≤M}，tr(·)为矩阵求迹操作，||·||F为求矩阵Frobenius范数操作；
S5、收端后处理矩阵F(t)的最优值由如下公式给出：
Figure FDA0004106858890000022
其中，I为单位阵；
S6、每个发端预编码矩阵
Figure FDA0004106858890000023
由以下更新公式给出
Pm←(Bm+γI)-1(Cm+γ(Zm+Vm))；
Figure FDA0004106858890000024
/>
Figure FDA0004106858890000025
Vm←Vm+Zm-Pm.
其中，
Figure FDA0004106858890000026
为中间变量矩阵，γ为惩罚因子，Zm为ADMM算法引入的辅助变量，ζm、Vm为对偶变量；
S7、通过迭代S5和S6，直至S4中优化问题的目标函数值收敛，此时得到最优的
Figure FDA0004106858890000027
服务器将预编码矩阵/>
Figure FDA0004106858890000028
和全局模型θ(t)下发至各个边缘设备；
S8、各个设备在本地进行梯度下降，计算局部梯度
Figure FDA0004106858890000029
S9、设备使用优化后的预编码矩阵将本地梯度上传，轮次t内，边缘设备将梯度映射为复数：
Figure FDA00041068588900000210
式中，
Figure FDA0004106858890000031
为取实部操作，/>
Figure FDA0004106858890000032
为取复数操作，基于/>
Figure FDA0004106858890000033
设备根据如下公式计算累计梯度：
Figure FDA0004106858890000034
式中，
Figure FDA0004106858890000035
表示在设备m在第t轮的稀疏误差累计向量，基于累计梯度/>
Figure FDA0004106858890000036
设备计算稀疏化梯度/>
Figure FDA0004106858890000037
如下公式所示：
Figure FDA0004106858890000038
其中，λ∈[0，1]表示稀疏度，sp(·)保留累计梯度
Figure FDA0004106858890000039
中绝对值最大的λD/2个梯度元素，基于/>
Figure FDA00041068588900000310
设备根据如下公式更新稀疏误差累计向量：
Figure FDA00041068588900000311
随后设备基于稀疏梯度
Figure FDA00041068588900000312
计算归一化梯度/>
Figure FDA00041068588900000313
Figure FDA00041068588900000314
其中，⊙为逐元素乘积，
Figure FDA00041068588900000315
为稀疏梯度/>
Figure FDA00041068588900000316
的方差，/>
Figure FDA00041068588900000317
为
Figure FDA00041068588900000318
的第d个元素，设备基于归一化梯度/>
Figure FDA00041068588900000319
使用S2中提到的矩阵A对/>
Figure FDA00041068588900000320
压缩：
Figure FDA00041068588900000321
其中，C为压缩后梯度的长度，
Figure FDA00041068588900000322
为压缩率；
S10、为传输多流数据，设备将压缩梯度
Figure FDA00041068588900000323
拆分为多流，构成如下矩阵
Figure FDA00041068588900000324
其中，Ns为数据流数，
Figure FDA00041068588900000325
为矩阵/>
Figure FDA00041068588900000326
的第n行，
Figure FDA00041068588900000327
为矩阵的列数，最后，设备基于优化后的发端预编码矩阵/>
Figure FDA00041068588900000328
和梯度矩阵
Figure FDA00041068588900000329
计算传输信号矩阵/>
Figure FDA0004106858890000041
Figure FDA0004106858890000042
/>
设备将
Figure FDA0004106858890000043
发送至MIMO信道中；
S11、在PS端，采用后处理矩阵F(t)得到处理后的信号
Figure FDA0004106858890000044
如下
Figure FDA0004106858890000045
PS对处理后的矩阵
Figure FDA0004106858890000046
进行向量化，得到如下的压缩感知问题：
Figure FDA0004106858890000047
其中，vec(·)为向量化操作，
Figure FDA0004106858890000048
为处理后的矩阵/>
Figure FDA0004106858890000049
与无差错聚合矩阵
Figure FDA00041068588900000410
的误差矩阵，/>
Figure FDA00041068588900000411
S12、服务器采用TurboCS算法求解S11中压缩感知问题，TurboCS算法迭代求解聚合后的梯度
Figure FDA00041068588900000412
首先，模块A给出线性最小均方误差(LMMSE)估计器的估计结果
Figure FDA00041068588900000413
Figure FDA00041068588900000414
其中，
Figure FDA00041068588900000415
为模块A的先验均值，/>
Figure FDA00041068588900000416
为模块A的先验方差，
Figure FDA00041068588900000417
为噪声向量w(t)的方差，/>
Figure FDA00041068588900000418
为模块A的后验均值，
Figure FDA00041068588900000419
为模块A的后验方差；根据LMMSE输出结果，计算模块A给出的外信息：
Figure FDA00041068588900000420
Figure FDA00041068588900000421
其中，
Figure FDA0004106858890000051
为模块A的外信息均值，/>
Figure FDA0004106858890000052
为模块A的外信息方差，二者被作为模块B的先验信息，即/>
Figure FDA0004106858890000053
然后，在模块B，根据先验信息
Figure FDA0004106858890000054
最小均方误差(MMSE)估计器给出后验估计
Figure FDA0004106858890000055
Figure FDA0004106858890000056
其中，
Figure FDA0004106858890000057
计算条件方差，/>
Figure FDA0004106858890000058
为模块B的后验均值，
Figure FDA0004106858890000059
为模块B的后验方差；模块B输出的外信息为
Figure FDA00041068588900000510
Figure FDA00041068588900000511
其中，
Figure FDA00041068588900000512
为模块B的外信息均值，/>
Figure FDA00041068588900000513
为模块B的外信息方差，二者被作为模块B的先验信息，即/>
Figure FDA00041068588900000514
模块AB相互迭代直至/>
Figure FDA00041068588900000515
收敛，此时估计的梯度为/>
Figure FDA00041068588900000516
S13、PS依照如下公式得到估计的聚合梯度：
Figure FDA00041068588900000517
其中，
Figure FDA00041068588900000518
PS依照如下公式进行模型更新：
Figure FDA00041068588900000519
式中，η为学习率；
S14、服务器将更新后的全局模型通过无差错广播信道回传给每个设备；
S15、若达到通信轮次t＞T则结束，否则转S3。
CN202310195126.8A 2023-03-03 2023-03-03 一种mimo信道下空中计算联邦学习的梯度上传方法 Pending CN116192209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310195126.8A CN116192209A (zh) 2023-03-03 2023-03-03 一种mimo信道下空中计算联邦学习的梯度上传方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310195126.8A CN116192209A (zh) 2023-03-03 2023-03-03 一种mimo信道下空中计算联邦学习的梯度上传方法

Publications (1)

Publication Number Publication Date
CN116192209A true CN116192209A (zh) 2023-05-30

Family

ID=86434358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310195126.8A Pending CN116192209A (zh) 2023-03-03 2023-03-03 一种mimo信道下空中计算联邦学习的梯度上传方法

Country Status (1)

Country Link
CN (1) CN116192209A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216596A (zh) * 2023-08-16 2023-12-12 中国人民解放军总医院 基于梯度聚类的联邦学习优化通信方法、系统及存储介质
CN117436515A (zh) * 2023-12-07 2024-01-23 四川警察学院 联邦学习方法、系统、装置以及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216596A (zh) * 2023-08-16 2023-12-12 中国人民解放军总医院 基于梯度聚类的联邦学习优化通信方法、系统及存储介质
CN117216596B (zh) * 2023-08-16 2024-04-30 中国人民解放军总医院 基于梯度聚类的联邦学习优化通信方法、系统及存储介质
CN117436515A (zh) * 2023-12-07 2024-01-23 四川警察学院 联邦学习方法、系统、装置以及存储介质
CN117436515B (zh) * 2023-12-07 2024-03-12 四川警察学院 联邦学习方法、系统、装置以及存储介质

Similar Documents

Publication Publication Date Title
CN112737985B (zh) 基于深度学习的大规模mimo信道联合估计和反馈方法
CN108390706B (zh) 一种基于深度学习的大规模mimo信道状态信息反馈方法
Liao et al. CSI feedback based on deep learning for massive MIMO systems
Wang et al. Compressive sampled CSI feedback method based on deep learning for FDD massive MIMO systems
CN116192209A (zh) 一种mimo信道下空中计算联邦学习的梯度上传方法
CN111698182A (zh) 一种基于压缩感知的时频分块稀疏的信道估计方法
CN109951214B (zh) 一种适用于大规模mimo系统的信号检测方法
CN107332598A (zh) 一种基于深度学习的mimo系统联合预编码和天线选择方法
CN113748614A (zh) 一种信道估计模型训练方法及设备
Wang et al. Pilot-assisted channel estimation and signal detection in uplink multi-user MIMO systems with deep learning
CN113472706A (zh) 一种基于深度神经网络的mimo-ofdm系统信道估计方法
CN108964725B (zh) 时变大规模mimo网络中信道参数的稀疏估计方法
CN111555781B (zh) 一种基于深度学习注意力机制的大规模mimo信道状态信息压缩及重建方法
CN108881076A (zh) 一种基于压缩感知的mimo-fbmc/oqam系统信道估计方法
CN108259397B (zh) 基于自适应正则化子空间追踪压缩感知算法的大规模mimo系统信道估计方法
Xie et al. Dictionary learning for channel estimation in hybrid frequency-selective mmWave MIMO systems
Guo et al. Deep learning for joint channel estimation and feedback in massive MIMO systems
CN113114313A (zh) 一种mimo-noma系统导频辅助信号检测方法、系统及存储介质
CN115865145A (zh) 一种基于Transformer的大规模MIMO信道状态信息反馈方法
CN112769462B (zh) 一种基于联合参数学习的毫米波mimo宽带信道估计方法
CN114650199A (zh) 一种基于数据驱动的深度神经网络信道估计方法及系统
CN115065446B (zh) 一种基于流形学习的信道信息反馈方法
CN107733487B (zh) 一种大规模多输入多输出系统的信号检测方法及装置
Anu et al. CNN-based Channel Estimation using NOMA for mmWave Massive MIMO System
CN115021787A (zh) 一种基于复数卷积神经网络的信道状态信息反馈方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination