CN115099419B - 一种面向无线联邦学习的用户协同传输方法 - Google Patents
一种面向无线联邦学习的用户协同传输方法 Download PDFInfo
- Publication number
- CN115099419B CN115099419B CN202211032064.0A CN202211032064A CN115099419B CN 115099419 B CN115099419 B CN 115099419B CN 202211032064 A CN202211032064 A CN 202211032064A CN 115099419 B CN115099419 B CN 115099419B
- Authority
- CN
- China
- Prior art keywords
- user
- data center
- data
- iteration
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0958—Management thereof based on metrics or performance parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明公开了一种面向无线联邦学习的用户协同传输方法,包括以下步骤:S1.用户接收到全局模型后,根据自己的训练数据计算重要性指标发给数据中心,数据中心根据用户的位置和用户的数据重要性进行分簇;S2.根据分簇结果,各个簇组内的从属用户按照将计算得到的梯度向量发送给该簇组的领导用户;S3.每个簇组的领导用户将自己收到的信号直接转发给数据中心,数据根据去噪声系数对接收到的信号进行处理,并获得最终的去噪声结果;S4.构建传输过程中的发射功率和去噪声系数优化问题,并进行求解得到最优的发射功率和去噪声系数。本发明减少了无线信道衰落和加性噪声对数据中心进行梯度融合时造成的影响。
Description
技术领域
本发明涉及无线联邦学习,特别是涉及一种面向无线联邦学习的用户协同传输方法。
背景技术
激增的移动边缘设备及其产生的大量数据使得在无线网络边缘通过训练高级机器学习模型实现广泛的智能应用成为可能。联邦学习,作为一种极具前途的分布式机器学习方法,允许边缘设备仅在本地训练机器学习模型,只需要上传本地梯度至参数服务器,从而保护了本地数据隐私。
然而,当联邦学习部署在无线通信系统中时,由于参数服务器和边缘设备之间大量的高纬度梯度和全局模型的交换,其不可避免地会遭受通信瓶颈,因此需要针对通信效率和学习效率来进行联合优化设计。
发明内容
本发明的目的在于克服现有技术的不足,提供一种面向无线联邦学习的用户协同传输方法,能够基于用户位置和数据重要性对用户进行分簇,并基于功率和去噪声系数的优化,实现用户协同传输,减少无线信道衰落和加性噪声对数据中心进行梯度融合时造成的影响。
本发明的目的是通过以下技术方案来实现的:一种面向无线联邦学习的用户协同传输方法,包括以下步骤:
S2.根据分簇结果,各个簇组内的从属用户按照将计算得到的梯度向量发送给该簇组的领导用户;
S3.每个簇组的领导用户将自己收到的信号直接转发给数据中心,数据根据去噪声系数对接收到的信号进行处理,并获得最终的去噪声结果;
S4.构建传输过程中的发射功率和去噪声系数优化问题,并进行求解得到最优的发射功率和去噪声系数。
步骤S1中,数据中心根据用户的位置和用户的数据重要性进行分簇的过程包括:
S102.计算不同集合之间的连接值,连接值的计算方法为:
合并两个集合作为一个新的集合,该集合里面所有的用户根据自身与集合内其他用户的位置,计算自身与集合内其他用户的之间的距离,选取最远的距离将其定义为该用户在此集合中的用户半径;
然后定义集合的半径为最小的用户半径,最后连接值的定义为集合半径和集合内用户数据重要性的最大值的加权和,加权权重需要通过预先设定得到;
S103.将所有集合组合成一个大集合,并通过迭代获取用户分簇,迭代过程如下:
(1)遍历大集合并选择集合连接值最小的两个集合;
(2)将集合连接值最小的两个集合合并为新的集合,然后删掉原来大集合里面的选择出来的两个集合,此时得到更新后的大集合;
S104.对于每个用户分簇,选择该分簇距离数据中心最近的用户作为领导用户,其余用户作为从属用户,其中每个用户分簇内用户与数据中心的距离,通过数据中心与用户的位置来计算。
其中,所述步骤S2包括以下子步骤:
其中,所述步骤S3包括以下子步骤:
所有簇组的领导用户同时向数据中心发射预编码以后的向量,基于空中计算,数据中心接收到的信号向量为
在簇间梯度传输结束以后,数据中心对接收到的向量进行去噪声和逆归一化操作,从而得到最终的梯度聚合结果
其中,所述步骤S4包括以下子步骤:
S401.计算联邦学习每轮迭代过程上下行无线信道衰落和加性噪声造成的影响,表示为
其中,发射功率与去噪声系数联合控制问题建模为如下的优化问题:
S403.采用交替优化算法对步骤S402中的优化问题进行求解,得到最优变量。
所述步骤S403包括:
优选地,所述用户协同传输方法还包括:按照求得到的最优变量进行用户的协同传输,即利用最终输出结果替换步骤S2中的,利用最终输入的替换步骤S3中,利用最终输出的替换步骤S3中的,并按照步骤S2~S3进行用户协同传输。
本发明的有益效果是:本发明能够基于用户位置和数据重要性对用户进行分簇,能够同时平衡通信效率和学习效率;并基于功率控制和去噪声系数优化实现用户协同传输,减少无线信道衰落和加性噪声对数据中心进行梯度融合时造成的影响。
附图说明
图1为无线联邦学习系统的原理示意图;
图2为本发明的方法流程图;
图3为实施例中测试准确率随训练次数的变化情况示意图;
图4为实施例中最终测试准确度与最大功率约束的关系示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
本申请针对部署在无线通信系统中的联邦学习算法,设计了一种基于空中计算的用户协同传输方法。其中包括:用户与数据中心之间协同信号传输建模;基于用户位置与数据重要性的分簇方案;用户的梯度上行传输的功率控制方案;如图1所示,考虑联邦学习算法部署在一个无线通信系统中,该系统包括一个数据中心以及多个用户,用户之间通过协同传输将梯度上传给数据中心进行梯度聚合,数据中心将聚合以后的梯度用于更新全局模型再分发给所有用户进行新的梯度计算,通过多次数据中心和用户之间的协同迭代,训练得到一个全局的最优模型。
对于具有一个数据中心和个用户的无线联邦学习系统,在每一轮训练过程中,这些用户被分成个簇组,如图1所示。为了训练得到全局的机器学习模型且保护所有用户的本地训练数据的隐私,用户只会将本地计算的梯度上传给数据中心用于更新全局模型。本发明仅考虑梯度上传过程,用户被分成不同的簇组以后通过基于空中计算的协同传输,把梯度上传给数据中心进行梯度融合,具体地:
如图2所示,一种面向无线联邦学习的用户协同传输方法,包括以下步骤:
数据中心根据用户的位置和用户的数据重要性进行分簇的过程包括:
S102.计算不同集合之间的连接值,连接值的计算方法为:
合并两个集合作为一个新的集合,该集合里面所有的用户根据自身与集合内其他用户的位置,计算自身与集合内其他用户的之间的距离,选取最远的距离将其定义为该用户在此集合中的用户半径;
然后定义集合的半径为最小的用户半径,最后连接值的定义为集合半径和集合内用户数据重要性的最大值的加权和,加权权重需要通过预先设定得到;
S103.将所有集合组合成一个大集合,并通过迭代获取用户分簇,迭代过程如下:
(1)遍历大集合并选择集合连接值最小的两个集合;
(2)将集合连接值最小的两个集合合并为新的集合,然后删掉原来大集合里面的选择出来的两个集合,此时得到更新后的大集合;
S104.对于每个用户分簇,选择该分簇距离数据中心最近的用户作为领导用户,其余用户作为从属用户,其中每个用户分簇内用户与数据中心的距离,通过数据中心与用户的位置来确定。
S2.根据分簇结果,各个簇组内的从属用户按照将计算得到的梯度向量发送给该簇组的领导用户:
S3.每个簇组的领导用户将自己收到的信号直接转发给数据中心,数据根据去噪声系数对接收到的信号进行处理,并获得最终的去噪声结果:
所有簇组的领导用户同时向数据中心发射预编码以后的向量,基于空中计算,数据中心接收到的信号向量为
在簇间梯度传输结束以后,数据中心对接收到的向量进行去噪声和逆归一化操作,从而得到最终的梯度聚合结果
S4.构建传输过程中的发射功率和去噪声系数优化问题,并进行求解得到最优的发射功率和去噪声系数:
S401. 在每一轮得到分簇的结果以后,为了减少无线信道衰落和加性噪声对数据中心进行梯度融合时造成的影响,我们需要进行功率控制。
经过收敛性分析,可以推导得到本发明所考虑的无线联邦学习系统在经过T次迭代以后,其损失函数值与最优的损失函数值的差值之间的上界,该上界可以当作衡量模型在迭代T次以后训练效果的一个指标。我们将该上界称为最优间隔,最优间隔最小,说明训练得到的模型效果越好。本发明所考虑的无线联邦学习系统的随机梯度的方差和无线通信引入的信道衰落和加性噪声都会影响最优间隔的值。为了降低无线通信对模型训练的影响,我们需要最小化最优间隔里面与信道衰落和加性噪声有关的部分,该可以表示为每一轮迭代过程上下行无线信道衰落和加性噪声造成的影响的加权和。因此,我们只需要最小化每一轮迭代过程上下行无线信道衰落和加性噪声造成的影响,即可最小化最优间隔里面与无线通信有关的部分。计算联邦学习每轮迭代过程上下行无线信道衰落和加性噪声造成的影响,表示为
S402.确定优化目标为最小化,优化变量包括用户的发射功率和数据中心的去噪声系数;显然,用户的发射功率有功率约束,考虑每个用户各自有独立的功率约束,发射功率与去噪声系数联合控制问题建模为如下的优化问题:
S403.采用交替优化算法对步骤S402中的优化问题进行求解,得到最优变量,包括:
在本申请的实施例中,所述用户协同传输方法还包括:按照求得到的最优变量进行用户的协同传输,即利用最终输出结果替换步骤S2中的,利用最终输入的替换步骤S3中,利用最终输出的替换步骤S3中的,并按照步骤S2~S3进行用户协同传输。
在本申请的实施例中,给出仿真结果验证本发明的方案。除了本发明提出的用户协同传输方案,无协同直接传输方案和分簇以后最大功率传输方案也作为对比方案。在仿真中,我们训练卷积神经网络来识别MNIST数据集,评判标准是测试准确度。仿真参数设置为:dBm,信道建模为,其中dB是参考距离下的信道衰减值,是大尺度衰落系数,表示用户之间以及用户到数据中心之间的距离,是小尺度衰落随机变量,即零均值单位方差的复对称圆高斯变量,,,,学习率设置为0.001。考虑每个边缘设备都拥有1200个训练数据,且训练数据考虑非独立同分布。
首先,考察在本发明提出的方案的收敛效果,如图3所示。结果表明,随着迭代次数的增加,本发明所提出的方案的测试准确度逐渐上升并最终收敛,并且在收敛速度和最终的测试准确度都优于对比的方案,可以表明本发明的方案的有效性。
然后,考察不同的最大功率约束对于本发明的方案的影响,如图4所示。结果表明,除最大功率传输方案外,所有方案的测试精度都随着最大传输功率预算的增加而增加。在足够大的发射功率预算下,无协同传输方案与所提出的方案相比具有略高的测试精度。这是因为所提出的方案受到数据利用不足的负面影响,而梯度传输方案则没有。然而,当发射功率预算不够大时,所提出的方案优于所有对比方案。
以上所述是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应该看作是对其他实施例的排除,而可用于其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (7)
1.一种面向无线联邦学习的用户协同传输方法,其特征在于:包括以下步骤:
S2.根据分簇结果,各个簇组内的从属用户按照将计算得到的梯度向量发送给该簇组的领导用户;
S3.每个簇组的领导用户将自己收到的信号直接转发给数据中心,数据中心根据去噪声系数对接收到的信号进行处理,并获得最终的去噪声结果;
所述步骤S3包括以下子步骤:
所有簇组的领导用户同时向数据中心发射预编码以后的向量,基于空中计算,数据中心接收到的信号向量为
在簇间梯度传输结束以后,数据中心对接收到的向量进行去噪声和逆归一化操作,从而得到最终的梯度聚合结果
S4.构建传输过程中的发射功率和去噪声系数优化问题,并进行求解得到最优的发射功率和去噪声系数。
3.根据权利要求1所述的一种面向无线联邦学习的用户协同传输方法,其特征在于:步骤S1中,数据中心根据用户的位置和用户的数据重要性进行分簇的过程包括:
S102.计算不同集合之间的连接值,连接值的计算方法为:
合并两个集合作为一个新的集合,该集合里面所有的用户根据自身与集合内其他用户的位置,计算自身与集合内其他用户的之间的距离,选取最远的距离将其定义为该用户在此集合中的用户半径;
然后定义集合的半径为最小的用户半径,最后连接值的定义为集合半径和集合内用户数据重要性的最大值的加权和,加权权重需要通过预先设定得到;
S103.将所有集合组合成一个大集合,并通过迭代获取用户分簇,迭代过程如下:
(1)遍历大集合并选择集合连接值最小的两个集合;
(2)将集合连接值最小的两个集合合并为新的集合,然后删掉原来大集合里面的选择出来的两个集合,此时得到更新后的大集合;
S104.对于每个用户分簇,选择该分簇距离数据中心最近的用户作为领导用户,其余用户作为从属用户,其中每个用户分簇内用户与数据中心的距离,通过数据中心与用户的位置来确定。
4.根据权利要求1所述的一种面向无线联邦学习的用户协同传输方法,其特征在于:所述步骤S2包括以下子步骤:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211032064.0A CN115099419B (zh) | 2022-08-26 | 2022-08-26 | 一种面向无线联邦学习的用户协同传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211032064.0A CN115099419B (zh) | 2022-08-26 | 2022-08-26 | 一种面向无线联邦学习的用户协同传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115099419A CN115099419A (zh) | 2022-09-23 |
CN115099419B true CN115099419B (zh) | 2022-11-18 |
Family
ID=83300026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211032064.0A Active CN115099419B (zh) | 2022-08-26 | 2022-08-26 | 一种面向无线联邦学习的用户协同传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115099419B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117592112B (zh) * | 2024-01-17 | 2024-04-05 | 蓝象智联(杭州)科技有限公司 | 一种基于图融合的联邦页面排名计算方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021169577A1 (zh) * | 2020-02-27 | 2021-09-02 | 山东大学 | 一种基于加权联邦学习的无线业务流量预测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210365841A1 (en) * | 2020-05-22 | 2021-11-25 | Kiarash SHALOUDEGI | Methods and apparatuses for federated learning |
EP4158558A1 (en) * | 2020-06-01 | 2023-04-05 | Intel Corporation | Federated learning optimizations |
CN113973204A (zh) * | 2021-09-26 | 2022-01-25 | 西安交通大学 | 一种mimo-noma系统的非线性预编码方法及系统 |
CN114204971B (zh) * | 2021-12-10 | 2024-01-30 | 东南大学 | 一种迭代的聚合波束成形设计和用户设备选择方法 |
CN114553661B (zh) * | 2022-01-29 | 2023-08-18 | 南京邮电大学 | 一种面向无线联邦学习的移动用户设备分簇训练方法 |
-
2022
- 2022-08-26 CN CN202211032064.0A patent/CN115099419B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021169577A1 (zh) * | 2020-02-27 | 2021-09-02 | 山东大学 | 一种基于加权联邦学习的无线业务流量预测方法 |
Non-Patent Citations (1)
Title |
---|
Joint Device Selection and Power Controlfor Wireless Federated Learning;Wei,GUO,etc;《IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS》;20220610;第2395-2410页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115099419A (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113139662B (zh) | 联邦学习的全局及局部梯度处理方法、装置、设备和介质 | |
CN110531617B (zh) | 多无人机3d悬停位置联合优化方法、装置和无人机基站 | |
CN111629380B (zh) | 面向高并发多业务工业5g网络的动态资源分配方法 | |
CN113469325B (zh) | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 | |
Hayashi et al. | A study on the variety and size of input data for radio propagation prediction using a deep neural network | |
CN115099419B (zh) | 一种面向无线联邦学习的用户协同传输方法 | |
CN113537514A (zh) | 一种高能效的基于数字孪生的联邦学习框架 | |
CN113132943B (zh) | 一种车联网中车边协同的任务卸载调度及资源分配方法 | |
CN112911608B (zh) | 一种面向边缘智能网络的大规模接入方法 | |
CN114553661B (zh) | 一种面向无线联邦学习的移动用户设备分簇训练方法 | |
CN116582871B (zh) | 一种基于拓扑优化的无人机集群联邦学习模型优化方法 | |
CN110300075A (zh) | 一种无线信道估计方法 | |
Careem et al. | Real-time prediction of non-stationary wireless channels | |
CN113518007B (zh) | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 | |
CN115099420A (zh) | 一种面向无线联邦学习的模型聚合权重动态分配方法 | |
CN114327889A (zh) | 一种面向分层联邦边缘学习的模型训练节点选择方法 | |
Zhao et al. | Performance-oriented design for intelligent reflecting surface assisted federated learning | |
CN113382060B (zh) | 一种物联网数据收集中的无人机轨迹优化方法及系统 | |
US11489560B2 (en) | Method of parameter estimation for a multi-input multi-output system | |
CN116362328A (zh) | 一种基于公平性特征表示的联邦学习异构模型聚合方法 | |
CN116611535A (zh) | 一种用于异构数据的边缘联邦学习训练方法及其系统 | |
Li et al. | Derivative-free placement optimization for multi-UAV wireless networks with channel knowledge map | |
CN108400948B (zh) | 一种环境自适应感知无线通信信道估计与信号重构方法 | |
Li et al. | DCSaNet: Dilated convolution and self-attention based neural network for channel estimation in IRS-aided multi-user communication system | |
Careem et al. | Channel Analytics for V2X Communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |