CN116192209A - 一种mimo信道下空中计算联邦学习的梯度上传方法 - Google Patents
一种mimo信道下空中计算联邦学习的梯度上传方法 Download PDFInfo
- Publication number
- CN116192209A CN116192209A CN202310195126.8A CN202310195126A CN116192209A CN 116192209 A CN116192209 A CN 116192209A CN 202310195126 A CN202310195126 A CN 202310195126A CN 116192209 A CN116192209 A CN 116192209A
- Authority
- CN
- China
- Prior art keywords
- matrix
- gradient
- module
- variance
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000004891 communication Methods 0.000 claims abstract description 33
- 230000006835 compression Effects 0.000 claims abstract description 26
- 238000007906 compression Methods 0.000 claims abstract description 26
- 238000013461 design Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 89
- 230000006870 function Effects 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000012805 post-processing Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000007786 learning performance Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
- H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
- H04B7/0413—MIMO systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
- H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
- H04B7/0413—MIMO systems
- H04B7/0456—Selection of precoding matrices or codebooks, e.g. using matrices antenna weighting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/0202—Channel estimation
- H04L25/024—Channel estimation channel estimation algorithms
- H04L25/0242—Channel estimation channel estimation algorithms using matrix methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Power Engineering (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明基于MIMO技术提出一种空中计算联邦学习(OA‑FL)系统的上行通信设计方案。该方案包括一种新颖的稀疏编码多路复用(SCoM,Sparse‑Coded Multiplexing)方案。该方案集成了稀疏压缩编码和MIMO多路复用技术,旨在解决的空中计算联邦学习通信开销较大的问题和学习性能损失问题。
Description
技术领域
本发明属于信息与通信技术领域,涉及一种MIMO信道下空中计算联邦学习的梯度上传方法。
背景技术
第六代(6G)无线通信将支持每平方公里数百万个无线设备的连接密度。这将为实现泛在智能的愿景提供坚实的基础。开发强大的智能模型需要利用在大量边缘设备上的数据多样性。一个简单的范例是要求边缘设备将本地数据上传到中心参数服务器(PS)以进行集中式模型训练。然而,上传原始数据会产生巨大的通信开销,并可能威胁到用户隐私。为了避免这些缺点,联邦学习(FL)是一种很有前景的替代方法,它使边缘设备能够联合训练机器学习(ML)模型,同时保持用户本地数据。与上传原始数据不同,在联邦学习训练中,每个边缘设备将其梯度更新发送到中心服务器,服务器聚合局部梯度,更新全局模型并将全局模型发送回边缘设备。
由于有限的通信资源(例如时间,带宽和空间)难以支持大规模边缘设备的通信需求,梯度上传成为了FL部署在无线网络上的关键瓶颈。近年来,人工智能模型参数数量日益增长,例如,Resnet152具有6000万个参数,而GPT-3具有1750亿个参数。然而,由于带宽和延迟限制,可用的无线通信带宽通常较小,例如1个LTE帧包含5MHz带宽和10ms相干时间只能携带50000个符号。幸运的是,在联邦学习中,相比于每个设备的局部梯度,服务器更关心局部梯度聚合后的梯度。聚合的梯度通常是所有局部梯度的平均值。基于联邦学习的这个特性,空中计算联邦学习(OA-FL)被提出,其中边缘设备通过共享无线资源来传输局部梯度。利用电磁波的模拟叠加,局部梯度在无线传输中完成聚合。与传统的正交多址接入(OMA)方法相比,空中计算联邦学习所需的通信资源并不随着设备的数量而增加,这在很大程度上缓解通信对于联邦学习的瓶颈效应。
由于空中计算联邦学习的广阔前景,许多研究工作已致力于设计更为高效的空中计算联邦学习系统。现有技术提出,局部梯度可以稀疏,压缩和量化后上传以减少通信开销而不会造成明显的学习准确率损失。使用部分正交压缩矩阵和Turbs-CS,可实现低复杂度的梯度稀疏压缩编码的方案。采用上述方案的空中计算联邦学习系统具有较低的通信开销和更快的收敛速率。
然而,现有的梯度压缩编码方案全部是基于单输入单输出(SISO)系统。具有阵列信号处理的多输入多输出(MIMO)已被广泛认为是增强系统容量的强大技术。MIMO多路复用通过天线阵列并行传输多个数据流,可显着减少信道使用的数量。但是,MIMO多路复用会导致数据流间干扰,从而破坏了OA-FL的聚合梯度和测试精度。通过合理设计设备端的预编码矩阵和服务器端的后处理矩阵,可以抑制流间干扰的影响。现有技术使用信道矩阵的伪逆矩阵作为预编码矩阵,并使用微分几何优化技术得出了闭式的后处理矩阵,或根据接收天线选择部分数据流。然而,上述方法均基于信道矩阵求逆,这可能会显着扩大噪声并因此加剧了梯度的聚集误差。尤其是当某些设备处于深度衰落时,上述方案将产生巨大的性能损失。
发明内容
本发明基于MIMO技术提出一种空中计算联邦学习(OA-FL)系统的上行通信设计方案。该方案包括一种新颖的稀疏编码多路复用(SCoM,Sparse-Coded Multiplexing)方案。该方案集成了稀疏压缩编码和MIMO多路复用技术,旨在解决上述提到的空中计算联邦学习通信开销较大的问题和学习性能损失问题。
本发明考虑一个由1个参数服务器(PS,Parameter Server)和M个边缘设备组成的OA-FL系统,其中PS上有NR根天线,每个边缘设备上有NT根天线。尽管采用MIMO多路复用技术在天线阵列上并行传输多数据流降低了上行通信开销,但这同样导致了梯度在上传中受到数据流间干扰,进而导致梯度聚合误差,影响学习准确率。系统采用交替优化(AO)和交替方向乘子法(ADMM)设计MIMO收发预编码矩阵,减少梯度聚合误差。
本发明采用的技术方案包括以下步骤:
S1、如图1所示,OA-FL系统由1个PS和M个边缘设备组成,全局损失函数定义为
式中,f(θ;ξm,n)为关于样本ξm,n的逐点损失函数。假设FL任务训练的最大通信轮次为T。
S2、服务器(PS)生成压缩矩阵和翻转向量/>下发至所有的边缘设备,其中,C表示压缩后的梯度长度。压缩矩阵A=SΞ,其中/>为选择矩阵,通过随机选取D/2×D/2维单位矩阵的C行并重排列得到;/>为离散傅里叶变换(DFT)矩阵,其第(d,d′)个元素表示为/> 为虚数单位。翻转向量s的每个元素由{-1,1}的二元分布中均匀采样得到。A和s稍后用于计算发送的梯度。
在通信轮次t内,执行如下步骤:
其中,,m和m′分别指示设备m和设备m′,qm′=Qm′/Q为归一化的数据集大小,σnoise为信道中高斯白噪声的方差,为设备m′的梯度矩阵Gm′与设备m的梯度矩阵Gm之间的相关系数,梯度矩阵Gm的定义在SX中给出。P0为发端功率限制。[M]={m|1≤m≤M}。tr(·)为矩阵求迹操作。||·||F为求矩阵Frobenius范数操作。
S5、收端后处理矩阵F(t)的最优值由如下公式给出:
其中,I为单位阵。
Pm←(Bm+γI)-1(Cm+γ(Zm+Vm));
Vm←Vm+Zm-Pm.
S9、如图2所示,为SCoM在一个通信轮次内本地梯度上传到PS的信号流图。设备使用优化后的预编码矩阵将本地梯度上传。轮次t内,边缘设备将梯度映射为复数版本,如以下公式给出
S13、PS依照如下公式得到估计的聚合梯度
式中,η为学习率。
S14、服务器将更新后的全局模型通过无差错广播信道回传给每个设备。
S15、若达到通信轮次t>T则结束,否则转S3。
本发明的改进可作如下总结:首先,本发明提出了一种新颖的空中计算联邦学习本地梯度上传方案SCoM,利用了MIMO多路复用技术和压缩编码技术组成。所提出的方案在达到相同的学习准确率时显著减少了上传梯度的通信开销。其次,本发明开发了一种基于交替优化(AO)和交替方向乘数法(ADMM)的低复杂度算法来优化预编码和后处理矩阵,从而避免了现有方案中信道反转而导致梯度聚合误差显著增大的问题。最后,本发明给出了最小化梯度聚合误差的最优多路复用数据流数,即发端和收端天线数的最小值。
附图说明
图1:系统模型
图2:SCoM方案中的Turbo-CS算法示意图
图3:SCoM方案中设备上传梯度的流程图
图4:仿真设备分布示意图
图5:SCoM方案中使用学习准确率随不同复用数据流数变化的曲线
图6:使用不同传输方案达到相同学习准确率时信道使用次数的曲线
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
具体方法的参数设置如下:
考虑一个由20个设备和一个中心服务器组成的FL系统。设备在以基站为中心、半径为100m的圆内均匀分布,如图4所示。基站高度为10米。每个任务数据集大小为60000个样本,每个设备上有3000个样本。本发明的实验训练了两个FL任务,分别基于MNIST和FMNIST两个数据集。每个数据集有两种数据分布,分别为1)独立同分布(i.i.d.),其中所有的数据都被打乱,然后平均分配给20个设备;2)非独立同分布(non-i.i.d.),其中每个设备随机选择4个类别,然后从每个所选类别中随机抽取750个样本。FL任务的模型由一个2层卷积层(每层包含5x5卷积核、2x2最大池化、ReLU激活函数和batchnorm层),1层全连接层和1层softmax输出层组成。学习率设置为0.001。训练通信轮次设置为T=500.
根据以上参数设置,该仿真的具体步骤如下:
S1、如图1所示,OA-FL系统由1个PS和M个边缘设备组成,全局损失函数定义为
式中,f(θ;ξm,n)为关于样本ξm,n的逐点损失函数。假设FL任务训练的最大通信轮次为T。
S2、服务器(PS)生成压缩矩阵和翻转向量/>下发至所有的边缘设备,其中,C表示压缩后的梯度长度。压缩矩阵A=SΞ,其中/>为选择矩阵,通过随机选取D/2×D/2维单位矩阵的C行并重排列得到;/>为离散傅里叶变换(DFT)矩阵,其第(d,d′)个元素表示为/>为虚数单位。翻转向量s的每个元素由{-1,1}的二元分布中均匀采样得到。A和s稍后用于计算发送的梯度。在通信轮次t内,执行如下步骤:
其中,,m和m′分别指示设备m和设备m′,qm′=Qm′/Q为归一化的数据集大小,σnoise为信道中高斯白噪声的方差,为设备m′的梯度矩阵Gm′与设备m的梯度矩阵Gm之间的相关系数,梯度矩阵Gm的定义在SX中给出。P0为发端功率限制。[M]={m|1≤m≤M}。tr(·)为矩阵求迹操作。||·||F为求矩阵Frobenius范数操作。
S5、收端后处理矩阵F(t)的最优值由如下公式给出:
其中,I为单位阵。
Pm←(Bm+γI)-1(Cm+γ(Zm+Vm));
Vm←Vm+Zm-Pm.
S9、如图2所示,给SCoM在一个通信轮次内本地梯度上传到PS的信号流图。设备使用优化后的预编码矩阵将本地梯度上传。轮次t内,边缘设备将梯度映射为复数版本,如以下公式给出
S13、PS依照如下公式得到估计的聚合梯度
式中,η为学习率。
S14、服务器将更新后的全局模型通过无差错广播信道回传给每个设备。
S15、若达到通信轮次t>T则结束,否则转S3。
在图5中,研究了多路复用数据流的数量Ns对SCoM方法学习性能的影响,其中发射天线的数量设置为NT=4,接收天线数量设置为NR=8,稀疏度设置为λ=0.05,信道使用次数设置为K=1584。实验结果为10次蒙特卡洛试验的平均。图5展示了测试精度与多路复用数据流的数量NS的情况。可以看出在四种数据分布的情况下,模型学习准确率的峰值出现在NS=NT处。这是因为对于固定信道使用次数K,较小的NS需要较小的压缩比κ,这导致稀疏编码中更多的信息丢失;而较大的NS由于天线数量的瓶颈导致更大的压缩梯度聚合均方误差
在图6中,本发明展示了多种传输方案所需的信道使用总数与相对学习准确率的关系。如图6所示,在四种数据分布中,本发明所提出的算法在达到相同的学习准确率时消耗了最少的通信开销,并且明显优于所有基线,这清楚地证明了本发明提出的方案的优越性。
Claims (1)
1.一种MIMO信道下空中计算联邦学习的梯度上传方法,其特征在于,包括以下步骤:
S1、定义联邦学习系统由1个中心参数服务器PS和M个边缘设备组成,全局损失函数定义为:
式中,f(θ;ξm,n)为关于样本ξm,n的逐点损失函数,设定FL任务训练的最大通信轮次为T;
S2、令PS生成压缩矩阵和翻转向量/>下发至所有的边缘设备,其中,C表示压缩后的梯度长度,压缩矩阵A=SΞ,其中/>为选择矩阵,通过随机选取D/2×D/2维单位矩阵的C行并重排列得到;/>为离散傅里叶变换矩阵,其第(d,d′)个元素表示为/>为虚数单位,翻转向量s的每个元素由{-1,1}的二元分布中均匀采样得到;A和s用于计算发送的梯度;
其中,m和m′分别指设备m和设备m′,qm′=Qm′/Q为归一化的数据集大小,σnoise为信道中高斯白噪声的方差,为设备m′的梯度矩阵Gm′与设备m的梯度矩阵Gm之间的相关系数,梯度矩阵Gm的定义在SX中给出,P0为发端功率限制,[M]={m|1≤m≤M},tr(·)为矩阵求迹操作,||·||F为求矩阵Frobenius范数操作;
S5、收端后处理矩阵F(t)的最优值由如下公式给出:
其中,I为单位阵;
Pm←(Bm+γI)-1(Cm+γ(Zm+Vm));
Vm←Vm+Zm-Pm.
S9、设备使用优化后的预编码矩阵将本地梯度上传,轮次t内,边缘设备将梯度映射为复数:
S13、PS依照如下公式得到估计的聚合梯度:
式中,η为学习率;
S14、服务器将更新后的全局模型通过无差错广播信道回传给每个设备;
S15、若达到通信轮次t>T则结束,否则转S3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310195126.8A CN116192209A (zh) | 2023-03-03 | 2023-03-03 | 一种mimo信道下空中计算联邦学习的梯度上传方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310195126.8A CN116192209A (zh) | 2023-03-03 | 2023-03-03 | 一种mimo信道下空中计算联邦学习的梯度上传方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116192209A true CN116192209A (zh) | 2023-05-30 |
Family
ID=86434358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310195126.8A Pending CN116192209A (zh) | 2023-03-03 | 2023-03-03 | 一种mimo信道下空中计算联邦学习的梯度上传方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116192209A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117216596A (zh) * | 2023-08-16 | 2023-12-12 | 中国人民解放军总医院 | 基于梯度聚类的联邦学习优化通信方法、系统及存储介质 |
CN117436515A (zh) * | 2023-12-07 | 2024-01-23 | 四川警察学院 | 联邦学习方法、系统、装置以及存储介质 |
-
2023
- 2023-03-03 CN CN202310195126.8A patent/CN116192209A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117216596A (zh) * | 2023-08-16 | 2023-12-12 | 中国人民解放军总医院 | 基于梯度聚类的联邦学习优化通信方法、系统及存储介质 |
CN117216596B (zh) * | 2023-08-16 | 2024-04-30 | 中国人民解放军总医院 | 基于梯度聚类的联邦学习优化通信方法、系统及存储介质 |
CN117436515A (zh) * | 2023-12-07 | 2024-01-23 | 四川警察学院 | 联邦学习方法、系统、装置以及存储介质 |
CN117436515B (zh) * | 2023-12-07 | 2024-03-12 | 四川警察学院 | 联邦学习方法、系统、装置以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112737985B (zh) | 基于深度学习的大规模mimo信道联合估计和反馈方法 | |
CN108390706B (zh) | 一种基于深度学习的大规模mimo信道状态信息反馈方法 | |
Liao et al. | CSI feedback based on deep learning for massive MIMO systems | |
Wang et al. | Compressive sampled CSI feedback method based on deep learning for FDD massive MIMO systems | |
CN116192209A (zh) | 一种mimo信道下空中计算联邦学习的梯度上传方法 | |
CN111698182A (zh) | 一种基于压缩感知的时频分块稀疏的信道估计方法 | |
CN109951214B (zh) | 一种适用于大规模mimo系统的信号检测方法 | |
CN107332598A (zh) | 一种基于深度学习的mimo系统联合预编码和天线选择方法 | |
CN113748614A (zh) | 一种信道估计模型训练方法及设备 | |
CN111555781B (zh) | 一种基于深度学习注意力机制的大规模mimo信道状态信息压缩及重建方法 | |
Wang et al. | Pilot-assisted channel estimation and signal detection in uplink multi-user MIMO systems with deep learning | |
CN113472706A (zh) | 一种基于深度神经网络的mimo-ofdm系统信道估计方法 | |
CN108964725B (zh) | 时变大规模mimo网络中信道参数的稀疏估计方法 | |
Kim et al. | Towards deep learning-aided wireless channel estimation and channel state information feedback for 6G | |
CN108881076A (zh) | 一种基于压缩感知的mimo-fbmc/oqam系统信道估计方法 | |
CN108259397B (zh) | 基于自适应正则化子空间追踪压缩感知算法的大规模mimo系统信道估计方法 | |
Guo et al. | Deep learning for joint channel estimation and feedback in massive MIMO systems | |
Xie et al. | Dictionary learning for channel estimation in hybrid frequency-selective mmWave MIMO systems | |
CN113114313A (zh) | 一种mimo-noma系统导频辅助信号检测方法、系统及存储介质 | |
CN112769462B (zh) | 一种基于联合参数学习的毫米波mimo宽带信道估计方法 | |
CN114650199A (zh) | 一种基于数据驱动的深度神经网络信道估计方法及系统 | |
CN115065446B (zh) | 一种基于流形学习的信道信息反馈方法 | |
CN107733487B (zh) | 一种大规模多输入多输出系统的信号检测方法及装置 | |
Anu et al. | CNN-based Channel Estimation using NOMA for mmWave Massive MIMO System | |
CN115021787A (zh) | 一种基于复数卷积神经网络的信道状态信息反馈方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |