CN116128070A - 基于无线空中计算和多比特量化压缩感知的联邦学习方法 - Google Patents

基于无线空中计算和多比特量化压缩感知的联邦学习方法 Download PDF

Info

Publication number
CN116128070A
CN116128070A CN202310031820.6A CN202310031820A CN116128070A CN 116128070 A CN116128070 A CN 116128070A CN 202310031820 A CN202310031820 A CN 202310031820A CN 116128070 A CN116128070 A CN 116128070A
Authority
CN
China
Prior art keywords
model
quantization
central server
compressed sensing
model difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310031820.6A
Other languages
English (en)
Other versions
CN116128070B (zh
Inventor
石远明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202310031820.6A priority Critical patent/CN116128070B/zh
Publication of CN116128070A publication Critical patent/CN116128070A/zh
Application granted granted Critical
Publication of CN116128070B publication Critical patent/CN116128070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明采用多比特量化压缩感知，结合空中计算技术，提出了一种基于无线空中计算和多比特量化压缩感知的联邦学习方法。本发明通过在各个设备上对模型差进行稀疏、压缩感知、量化的操作，将原来维度较大的模型差压缩成维度较小的向量进行传输，进而大大减少整个训练过程中的通信开销，并有着较快收敛速度，提升了无线联邦学习的通信效率。同时，在迭代训练信息聚合的这一过程中，通过空中计算技术在中心服务器端进行信息聚合，利用多址接入信道的波形叠加特性使多个设备同时同频进行传输，很大程度上减少了联邦学习中设备的每轮通信的开销。

Description

基于无线空中计算和多比特量化压缩感知的联邦学习方法
技术领域
本发明涉及一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，属于无线通信领域。
背景技术
联邦学习是一种分布式机器学习模型，其运用分布在各个不同设备上的数据进行训练推理。联邦学习近年来也被广泛运用于保护数据安全、保护用户数据隐私的场景之下。联邦学习的训练的步骤大致如下：各个设备基于本地数据进行训练；而后将本地模型的更新参数上传到中心节点处；在中心节点处，将各个设备发来的参数进行聚合更新；而后将聚合得到的结果用于更新中心节点处的全局模型；最后中心节点会把已经更新后的模型参数重新传回各个设备；如此往复直到模型最终收敛。通过这样的更新方式，最终训练的模型可以达到数据集中式训练的性能。但联邦学习的好处在于避免了本地数据传输，保护了用户隐私和安全。同时，随着当前机器学习旨在应对现实中更复杂的场景和应用，其模型也日益复杂，例如神经网络模型，其模型参数量可达十几万甚至更多。当训练复杂深度学习模型的时候，通常面临的问题是庞大的参数量需要传输，但在资源有限的无线通信场景中，进行庞大参数量的通信开销也是巨大的，且难以在现实系统中实现，也难以满足现实对通信时延的要求。目前针对模型参数量巨大的问题，在机器学习领域稀疏化、压缩感知和量化是用于压缩模型参数的典型方案。其中稀疏化指的是将参数中某些的维度置为零，一般来说倾向于保留那些对于模型更新较为重要的维度，帮助模型训练并达到最终收敛。而量化指的是将原本连续取值的值近似为有限多个离散的值的过程。利于以上这三个方法，可以有效减轻通信传输量，缓解通信瓶颈的问题。
为了设计高通信效率的联邦学习并将其应用于实际中，目前有大量文献和研究工作。然而，现有的工作主要是基于数字通信考虑量化压缩感知或者是在模拟通信场景下的单比特量化压缩感知无线通信，而没有考虑到使用多比特量化压缩感知。在数字通信的场景下，联邦学习的通信瓶颈和传输时延的开销正比于参与学习的用户数量，因此当用户数量很大的情况下，系统很可能产生难以接受的通信时延，并产生通信瓶颈的问题。而在模拟通信下的单比特量化压缩感知，受限于单比特量化技术，其产生的量化误差是远远大于多比特量化的。而因为误差的增大，会进一步需要较多的训练轮数以达到所需的模型精度，造成总体通信开销的增大。因此，为了设计高通信效率的联邦学习，发明人决定采用基于无线空中计算的多比特量化压缩感知技术来实现训练过程中的模型更新，通过无线空中计算技术来达到多个用户同时传输模型更新参数的效果，并利用多比特量化压缩感知技术进一步减少通信传输量，有效减少量化误差，达到更快的收敛速度和训练出表现更好的模型。其中，无线空中计算技术是通过多址接入信道的波形叠加的特性让多个用户设备能够做到同时同频传输，从而使得通信开销大大减少、减少通信时延。因此，设计高通信效率的联邦学习是无线场景下的重要目标。
发明内容
本发明要解决的技术问题是：针对无线通信场景下的联邦学习，缺乏通信高效的解决方案。
为了解决上述技术问题，本发明的技术方案是公开了一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，其特征在于，包括以下步骤：
步骤一、初始化：
每个设备i对本地模型参数
Figure BDA0004047451660000021
进行随机初始化，并将模型差估计值初始化为当前梯度
Figure BDA0004047451660000022
其中，
Figure BDA0004047451660000023
表示根据本地损失函数求梯度的操作；
中心服务器将模型参数估计值随机初始化为w(0)，并将模型差估计值初始化为
Figure BDA0004047451660000024
其中，
Figure BDA0004047451660000025
表示根据全局损失函数求梯度的操作；
步骤二、稀疏化：
每个设备i对本地梯度估计值进行稀疏化操作，通过稀疏化后得到的向量可以表示为
Figure BDA0004047451660000026
t表示第t轮迭代，S表示稀疏率；
步骤三、压缩感知：
将每个设备i稀疏化后的本地模型差估计值进行压缩操作，其中，每个设备i都用测量矩阵A进行压缩操作，
Figure BDA0004047451660000027
压缩后的模型差向量为
Figure BDA0004047451660000028
Figure BDA0004047451660000029
步骤四、量化：
每个设备i对已经压缩后的模型差向量进行量化操作，得到量化后的模型差向量为
Figure BDA0004047451660000031
Q为量化比特数；
步骤五、信息混合：
通过空中计算技术，每个设备i同时将量化后的模型差向量
Figure BDA0004047451660000032
传输给中心服务器，中心服务器基于当前信道信息进行信息聚合，包括以下步骤：
步骤501、根据设备i与中心服务器的信道状态信息
Figure BDA0004047451660000033
以及待传输的模型差参数信息完成传输过程中功率
Figure BDA0004047451660000034
以及功率控制因子
Figure BDA0004047451660000035
的优化，获得功率控制因子
Figure BDA0004047451660000036
的最优解，使噪声影响最小；
步骤502、各个设备i通过时钟技术同步地分别将量化后的模型差向量
Figure BDA0004047451660000037
上传至中心服务器，中心服务器利用多址信道的波形叠加性质，使用空中计算技术对来自各个设备的模型差估计值分别进行聚合后进行解码；
步骤六、恢复信号：
在中心服务器得到解码后的信号
Figure BDA0004047451660000038
后，使用压缩感知恢复算法将信号
Figure BDA0004047451660000039
恢复出来；
步骤七、估计值更新：
中心服务器在得到恢复后得到的模型差估计值后，将全局模型参数估计值更新为：
Figure BDA00040474516600000310
其中，η(t)为学习率，w(t)为第t轮迭代的全局模型参数估计值；
步骤八、本地更新：
在中心服务器得到更新后的全局模型参数估计值后，中心服务器将更新的全局模型参数估计值发送给各个设备i，本地设备根据本地数据集、收到的全局模型参数估计值更新本地模型参数值，且在本地做E轮迭代梯度下降，表示为：
Figure BDA00040474516600000311
其中η(t)为学习率,
Figure BDA00040474516600000312
各个设备i根据本地迭代前后的模型得到传输模型差
Figure BDA0004047451660000041
Figure BDA0004047451660000042
且该模型差
Figure BDA0004047451660000043
也是下一轮迭代需要进行稀疏化、压缩感知、量化操作后进行传输的向量。
优选地，步骤四中，进行量化操作时使用非均匀量化器。
优选地，步骤501中，功率
Figure BDA0004047451660000044
以及功率控制因子
Figure BDA0004047451660000045
的优化问题表示为下式：
Figure BDA0004047451660000046
式中：
Figure BDA0004047451660000047
Figure BDA0004047451660000048
为设备i本地数据集合，
Figure BDA0004047451660000049
为本地数据集的数量，
Figure BDA00040474516600000410
为一个比例因子，
Figure BDA00040474516600000411
Figure BDA00040474516600000412
为一个与量化相关的常数；N为原模型差向量维度；
Figure BDA00040474516600000413
为有效模型差方差，
Figure BDA00040474516600000414
为设备i数据集所占整体系统数据集的比例，
Figure BDA00040474516600000415
为有效高斯白噪声的方差，
Figure BDA00040474516600000416
为信道高斯白噪声的方差；
Figure BDA00040474516600000417
为整体等效噪声的方差，
Figure BDA00040474516600000418
为量化产生的常数，
Figure BDA00040474516600000419
du也是一个与量化相关的常数，
Figure BDA00040474516600000420
为有效模型差均值；P0为最大传输能量；R＝N/M为压缩率，0<R<1；
Figure BDA00040474516600000421
为系统用户数量；
用相关凸优化算法对上式进行求解得到最优解b(t)，使噪声影响最小。
优选地，步骤502中，聚合得到的信号表示为：
Figure BDA00040474516600000422
式中，n(t)为方差为
Figure BDA00040474516600000423
的高斯白噪声；
根据接收到的信号，将相关参数取值带入化简后，中心服务器将其解码得到：
Figure BDA0004047451660000051
式中，
Figure BDA0004047451660000052
为有效量化噪声，
Figure BDA0004047451660000053
为原始量化噪声，
Figure BDA0004047451660000054
为比例因子，
Figure BDA0004047451660000055
为有效高斯白噪声。
本发明采用多比特量化压缩感知，结合空中计算技术，提出了一个具有高通信效率的联邦学习方法。本发明通过在各个设备上对模型差进行稀疏、压缩感知、量化的操作，将原来维度较大的模型差压缩成维度较小的向量进行传输，进而大大减少整个训练过程中的通信开销，并有着较快收敛速度，提升了无线联邦学习的通信效率。同时，在迭代训练信息聚合的这一过程中，通过空中计算技术在中心服务器端进行信息聚合，利用多址接入信道的波形叠加特性使多个设备同时同频进行传输，很大程度上减少了联邦学习中设备的每轮通信的开销。
附图说明
图1为本发明一实施例提供的基于空中计算的多比特量化压缩感知联邦学习系统架构图；
图2为本发明一实施例提供的基于空中计算和多比特量化压缩感知技术的联邦学习方法流程图；
图3为本发明提出的方法与另两种联邦学习方法在MNIST数据集下的学习性能对比，其中两种方法分别为基于单比特量化压缩感知的模拟通信无线联邦学习方法，以及基于数字通信的多比特量化压缩感知的无线联邦学习方法。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本实施例公开的一种基于无线空中计算和多比特量化压缩感知的联邦学习方法包括以下步骤：
步骤一、初始化：
每个设备i首先对本地模型参数
Figure BDA0004047451660000056
进行随机初始化，并将模型差估计值初始化为当前梯度
Figure BDA0004047451660000061
表示根据本地损失函数求梯度的操作。
对于中心服务器而言，将模型参数估计值随机初始化为w(0)，并将模型差估计值初始化为
Figure BDA0004047451660000062
表示根据全局损失函数求梯度的操作。
步骤二、稀疏化：
每个设备i对本地梯度估计值进行稀疏化操作。假设稀疏率为S，其中0<S<1，表示保留模型差
Figure BDA0004047451660000063
中的梯度的绝对大小前S比例的维数，选取其余1-的比例的维数全部设置为0，则通过稀疏化后得到的向量可以表示为
Figure BDA0004047451660000064
t表示第t轮迭代。
步骤三、压缩感知：
将每个设备i稀疏化后的本地模型差估计值进行压缩操作。假设每个设备i以及中心服务器共享测量矩阵
Figure BDA0004047451660000065
且每个设备i都用测量矩阵A进行压缩操作，其中，测量矩阵A满足如下性质：
Figure BDA0004047451660000066
<N，则对于每个设备i可得压缩后的模型差向量为
Figure BDA0004047451660000067
其中，
Figure BDA0004047451660000068
步骤四、量化：
每个设备i对已经压缩后的模型差向量进行量化操作。假设每个设备i的目标量化比特数相同，令量化比特数为Q∈N+，则可得到量化后的模型差向量为
Figure BDA0004047451660000069
这里使用非均匀量化器，以使量化误差更下，帮助模型更快收敛，减少全局训练通信量。
步骤五、信息混合：
每个设备i将量化后的模型差向量
Figure BDA00040474516600000610
通过空中计算技术，各个设备同时将量化后的模型差向量传输给中心服务器，中心服务器基于当前信道信息进行信息聚合，进一步包括以下步骤：
首先，假设当前为第t轮训练迭代。假设设备与设备之间的无线信道视为一个分块的衰落信道，每个时间块被分为M个时间槽来满足模型差估计值的传输，其中，M为传输量化后模型差估计值的维度。
随后根据设备i与中心服务器的信道状态信息
Figure BDA0004047451660000071
以及待传输的模型差参数信息完成传输过程中相关系统参数：功率
Figure BDA0004047451660000072
以及功率控制因子
Figure BDA0004047451660000073
的优化，来减少噪声对传输造成的影响以提高多比特量化压缩感知空中计算联邦学习的性能。这里假设各个设备i和中心服务器均为单天线。系统优化过程中首先将功率和功率控制因子的取值建模为如下问题
Figure BDA0004047451660000074
式中：
Figure BDA0004047451660000075
为设备i本地数据集合，
Figure BDA0004047451660000076
为本地数据集的数量，
Figure BDA0004047451660000077
为一个比例因子，
Figure BDA0004047451660000078
Figure BDA0004047451660000079
为一个与量化相关的常数；N为原模型差向量维度；
Figure BDA00040474516600000710
为有效模型差方差，
Figure BDA00040474516600000711
为设备i数据集所占整体系统数据集的比例，
Figure BDA00040474516600000712
为有效高斯白噪声的方差，
Figure BDA00040474516600000713
为信道高斯白噪声的方差；
Figure BDA00040474516600000714
为整体等效噪声的方差，
Figure BDA00040474516600000715
为量化产生的常数，
Figure BDA00040474516600000716
du也是一个与量化相关的常数，
Figure BDA00040474516600000717
为有效模型差均值；P0为最大传输能量；R＝N/M为压缩率，0<R<1，
Figure BDA00040474516600000718
为系统用户数量。
从以上问题可以看出这个优化是一个凸问题，因此可以用相关凸优化算法进行求解得到最优解b(t)，使噪声影响最小。
接下来，各个设备通过时钟技术同步地分别将模型差估计值上传至中心服务器。中心服务器利用多址信道的波形叠加性质，使用空中计算技术对来自各个设备的模型差估计值分别进行聚合，聚合得到的信号如下：
Figure BDA00040474516600000719
式中，n(t)为方差为
Figure BDA00040474516600000720
的高斯白噪声。根据接收到的信号，将相关参数取值带入化简后，中心服务器将其解码得到：
Figure BDA0004047451660000081
式中，
Figure BDA0004047451660000082
为有效量化噪声，
Figure BDA0004047451660000083
为量化噪声，
Figure BDA0004047451660000084
为比例因子，
Figure BDA0004047451660000085
为有效高斯白噪声。
该步骤充分利用了空中计算技术的同时同频传输的特性，从而实现各设备从各个设备上聚合模型模型差估计值的过程，能够极大地节省了通信、计算开销。
步骤六、恢复信号：
在中心服务器得到解码后的信号
Figure BDA0004047451660000086
后，需要使用压缩感知恢复算法将信号
Figure BDA0004047451660000087
恢复出来。利用压缩感知恢复算法，中心服务器恢复得到的信号可以表示为：
Figure BDA0004047451660000088
其中，
Figure BDA0004047451660000089
为压缩感知恢复算法。该步骤利用压缩感知恢复算法，将原各个设备模型差聚合的值恢复出来，用恢复后的信号进行后续的模型更新操作。
步骤七、估计值更新：中心服务器在得到恢复后得到的模型差估计值后，将全局模型参数估计值更新为：
Figure BDA00040474516600000810
其中，η(t)为学习率，w(t)为第t轮迭代的全局模型参数估计值。该步骤通过梯度下降的方式完成全局模型差估计值。
步骤八、本地更新：
在中心服务器得到更新后的全局模型参数估计值后，中心服务器将更新的全局模型参数估计值发送给各个设备i，本地设备根据本地数据集、收到的全局模型参数估计值更新本地模型参数值，且在本地做E轮迭代梯度下降，可以表示为：
Figure BDA00040474516600000811
其中η(t)为学习率,
Figure BDA00040474516600000812
各个设备i根据本地迭代前后的模型得到传输模型差
Figure BDA00040474516600000813
Figure BDA00040474516600000814
且该模型差
Figure BDA0004047451660000091
也是下一轮迭代需要进行稀疏化、压缩感知、量化操作后进行传输的向量。该步骤通过梯度下降对本地模型参数进行多轮更新，得到模型差，使得整个训练迭代过程中能更快收敛，减少通信轮数，提升通信效率。
上述技术方案与现有两种联邦学习方法在MNIST数据集下的学习性能对比如图3所示，图中，损失值越小或测试集准确率越高代表模型性能越好。由图3可见，与另两种联邦学习方法相比，本发明所提出的方法能够获得与数字通信相似的损失值和测试准确率，且效果好于单比特量化压缩感知的模拟通信无线联邦学习方法，实现了高通信效率的多比特量化压缩感知联邦学习。

Claims (4)

1.一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，其特征在于，包括以下步骤：
步骤一、初始化：
每个设备i对本地模型参数
Figure FDA0004047451650000011
进行随机初始化，并将模型差估计值初始化为当前梯度
Figure FDA0004047451650000012
其中，
Figure FDA0004047451650000013
表示根据本地损失函数求梯度的操作；
中心服务器将模型参数估计值随机初始化为w(0)，并将模型差估计值初始化为
Figure FDA0004047451650000014
其中，
Figure FDA0004047451650000015
表示根据全局损失函数求梯度的操作；
步骤二、稀疏化：
每个设备i对本地梯度估计值进行稀疏化操作，通过稀疏化后得到的向量可以表示为
Figure FDA0004047451650000016
t表示第t轮迭代，S表示稀疏率；
步骤三、压缩感知：
将每个设备i稀疏化后的本地模型差估计值进行压缩操作，其中，每个设备i都用测量矩阵A进行压缩操作，
Figure FDA0004047451650000017
压缩后的模型差向量为
Figure FDA0004047451650000018
Figure FDA0004047451650000019
步骤四、量化：
每个设备i对已经压缩后的模型差向量进行量化操作，得到量化后的模型差向量为
Figure FDA00040474516500000110
Q为量化比特数；
步骤五、信息混合：
通过空中计算技术，每个设备i同时将量化后的模型差向量
Figure FDA00040474516500000111
传输给中心服务器，中心服务器基于当前信道信息进行信息聚合，包括以下步骤：
步骤501、根据设备i与中心服务器的信道状态信息
Figure FDA00040474516500000112
以及待传输的模型差参数信息完成传输过程中功率
Figure FDA00040474516500000113
以及功率控制因子
Figure FDA00040474516500000114
的优化，获得功率控制因子
Figure FDA00040474516500000115
的最优解，使噪声影响最小；
步骤502、各个设备i通过时钟技术同步地分别将量化后的模型差向量
Figure FDA00040474516500000116
上传至中心服务器，中心服务器利用多址信道的波形叠加性质，使用空中计算技术对来自各个设备的模型差估计值分别进行聚合后进行解码；
步骤六、恢复信号：
在中心服务器得到解码后的信号
Figure FDA0004047451650000024
后，使用压缩感知恢复算法将信号
Figure FDA0004047451650000025
恢复出来；
步骤七、估计值更新：
中心服务器在得到恢复后得到的模型差估计值后，将全局模型参数估计值更新为：
Figure FDA0004047451650000021
其中，η(t)为学习率，w(t)为第t轮迭代的全局模型参数估计值；
步骤八、本地更新：
在中心服务器得到更新后的全局模型参数估计值后，中心服务器将更新的全局模型参数估计值发送给各个设备i，本地设备根据本地数据集、收到的全局模型参数估计值更新本地模型参数值，且在本地做E轮迭代梯度下降，表示为：
Figure FDA0004047451650000022
其中η(t)为学习率,
Figure FDA0004047451650000026
各个设备i根据本地迭代前后的模型得到传输模型差
Figure FDA0004047451650000027
Figure FDA0004047451650000023
且该模型差
Figure FDA0004047451650000028
也是下一轮迭代需要进行稀疏化、压缩感知、量化操作后进行传输的向量。
2.如权利要求1所述的一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，其特征在于，步骤四中，进行量化操作时使用非均匀量化器。
3.如权利要求1所述的一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，其特征在于，步骤501中，功率
Figure FDA0004047451650000029
以及功率控制因子
Figure FDA00040474516500000210
的优化问题表示为下式：
Figure FDA0004047451650000031
式中：
Figure FDA00040474516500000320
为设备i本地数据集合，
Figure FDA00040474516500000321
为本地数据集的数量，
Figure FDA00040474516500000319
为一个比例因子，
Figure FDA00040474516500000318
Figure FDA00040474516500000315
为一个与量化相关的常数；N为原模型差向量维度；
Figure FDA00040474516500000316
为有效模型差方差，
Figure FDA00040474516500000317
为设备i数据集所占整体系统数据集的比例，
Figure FDA00040474516500000314
为有效高斯白噪声的方差，
Figure FDA00040474516500000310
为信道高斯白噪声的方差；
Figure FDA00040474516500000311
为整体等效噪声的方差，
Figure FDA00040474516500000312
为量化产生的常数，
Figure FDA00040474516500000313
也是一个与量化相关的常数，
Figure FDA0004047451650000039
为有效模型差均值；P0为最大传输能量；R＝N/M为压缩率，0<R<1；
Figure FDA00040474516500000322
为系统用户数量；
用相关凸优化算法对上式进行求解得到最优解b(t)，使噪声影响最小。
4.如权利要求3所述的一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，其特征在于，步骤502中，聚合得到的信号表示为：
Figure FDA0004047451650000032
式中，n(t)为方差为
Figure FDA0004047451650000038
的高斯白噪声；
根据接收到的信号，将相关参数取值带入化简后，中心服务器将其解码得到：
Figure FDA0004047451650000033
式中，
Figure FDA0004047451650000034
为有效量化噪声，
Figure FDA0004047451650000036
为量化噪声，
Figure FDA0004047451650000035
为比例因子，
Figure FDA0004047451650000037
为有效高斯白噪声。
CN202310031820.6A 2023-01-10 2023-01-10 基于无线空中计算和多比特量化压缩感知的联邦学习方法 Active CN116128070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310031820.6A CN116128070B (zh) 2023-01-10 2023-01-10 基于无线空中计算和多比特量化压缩感知的联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310031820.6A CN116128070B (zh) 2023-01-10 2023-01-10 基于无线空中计算和多比特量化压缩感知的联邦学习方法

Publications (2)

Publication Number Publication Date
CN116128070A true CN116128070A (zh) 2023-05-16
CN116128070B CN116128070B (zh) 2023-09-19

Family

ID=86302346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310031820.6A Active CN116128070B (zh) 2023-01-10 2023-01-10 基于无线空中计算和多比特量化压缩感知的联邦学习方法

Country Status (1)

Country Link
CN (1) CN116128070B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116567652A (zh) * 2023-05-19 2023-08-08 上海科技大学 全向超表面辅助的空中计算赋能垂直联邦学习方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901829A (zh) * 2020-07-10 2020-11-06 江苏智能交通及智能驾驶研究院 基于压缩感知和量化编码的无线联邦学习方法
CN113591145A (zh) * 2021-07-28 2021-11-02 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN114466309A (zh) * 2021-12-20 2022-05-10 上海科技大学 一种基于无人机的高效通信无线联邦学习架构构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901829A (zh) * 2020-07-10 2020-11-06 江苏智能交通及智能驾驶研究院 基于压缩感知和量化编码的无线联邦学习方法
CN113591145A (zh) * 2021-07-28 2021-11-02 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN114466309A (zh) * 2021-12-20 2022-05-10 上海科技大学 一种基于无人机的高效通信无线联邦学习架构构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG, KAI等: "Federated Learning via Over-the-Air Computation", IEEE TRANSACTIONS ON WIRELESS COMMUNICATIONS, vol. 19, no. 3, pages 2022 - 2035, XP011777915, DOI: 10.1109/TWC.2019.2961673 *
YANG, PENG 等: "Over-the-Air Federated Learning via Second-Order Optimization", HTTPS://ARXIV.ORG/PDF/2203.15488.PDF, pages 1 - 30 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116567652A (zh) * 2023-05-19 2023-08-08 上海科技大学 全向超表面辅助的空中计算赋能垂直联邦学习方法
CN116567652B (zh) * 2023-05-19 2024-02-23 上海科技大学 全向超表面辅助的空中计算赋能垂直联邦学习方法

Also Published As

Publication number Publication date
CN116128070B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN110474716B (zh) 基于降噪自编码器的scma编解码器模型的建立方法
CN113222179B (zh) 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN112817653A (zh) 一种基于云边端的联邦学习计算卸载计算系统及方法
CN112052086A (zh) 一种移动边缘计算网络中的多用户安全节能资源分配方法
CN112911608B (zh) 一种面向边缘智能网络的大规模接入方法
CN116128070B (zh) 基于无线空中计算和多比特量化压缩感知的联邦学习方法
CN114580498A (zh) 一种无线通信场景下高通信效率的联邦学习方法
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
Lan et al. Communication-efficient federated learning for resource-constrained edge devices
CN116488748B (zh) 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质
CN116017507B (zh) 基于无线空中计算和二阶优化的去中心化联邦学习方法
CN112968853A (zh) 一种mmtc系统多用户接入检测和信道估计的方法
CN116841732A (zh) 一种基于单比特量化的联邦学习资源优化设计方法
Xue et al. FedOComp: Two-timescale online gradient compression for over-the-air federated learning
CN109618311B (zh) 基于m2m通信频谱共享与共存的盲检测算法
CN115146307A (zh) 一种用于隐私保护的联邦学习方法、装置及介质
CN116170066B (zh) 一种面向低轨卫星物联网的负载预测方法
WO2023126007A1 (zh) 信道信息传输方法及装置
CN107809399B (zh) 一种针对量化接收信号的多天线毫米波信道估计方法
Zhou et al. Dynamic Coded Distributed Convolution for UAV-based Networked Airborne Computing
CN115174397A (zh) 联合梯度量化与带宽分配的联邦边缘学习训练方法及系统
US12015507B2 (en) Training in communication systems
Lin et al. Channel-adaptive quantization for wireless federated learning
CN106911431B (zh) 应用于稀疏编码多址接入系统解调过程中改进的部分边缘信息传递方法
CN114827289B (zh) 一种通信压缩方法、系统、电子装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant