CN113139662B - 联邦学习的全局及局部梯度处理方法、装置、设备和介质 - Google Patents

联邦学习的全局及局部梯度处理方法、装置、设备和介质 Download PDF

Info

Publication number
CN113139662B
CN113139662B CN202110442750.4A CN202110442750A CN113139662B CN 113139662 B CN113139662 B CN 113139662B CN 202110442750 A CN202110442750 A CN 202110442750A CN 113139662 B CN113139662 B CN 113139662B
Authority
CN
China
Prior art keywords
edge
global
local
gradient
federal learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110442750.4A
Other languages
English (en)
Other versions
CN113139662A (zh
Inventor
朱光旭
曹晓雯
许杰
崔曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Shenzhen Research Institute of Big Data SRIBD
Original Assignee
Chinese University of Hong Kong Shenzhen
Shenzhen Research Institute of Big Data SRIBD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen, Shenzhen Research Institute of Big Data SRIBD filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202110442750.4A priority Critical patent/CN113139662B/zh
Publication of CN113139662A publication Critical patent/CN113139662A/zh
Application granted granted Critical
Publication of CN113139662B publication Critical patent/CN113139662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及信息技术领域，公开了一种联邦学习的全局及局部梯度处理方法、装置、设备和介质，该方法包括：接收预设时频块上传输的第n次迭代训练的聚合信号，聚合信号为联邦学习中多个边缘设备同时通过预设时频块发送局部梯度时叠加产生的；根据聚合信号和联邦学习中边缘设备的数量，获取联邦学习第n次迭代训练的全局梯度；广播全局梯度，以便于多个边缘设备根据第n次迭代训练的全局梯度对本地模型进行再次更新。本发明中多个边缘设备可以同时通过预设时频块发送局部梯度，使得边缘服务器可以直接采用该聚合信号与联邦学习中边缘设备的数量获取全局梯度进行广播，简化了边缘服务器获取全局梯度的步骤，保证了极低的聚合延迟。

Description

联邦学习的全局及局部梯度处理方法、装置、设备和介质
技术领域
本发明涉及信息技术领域，尤其涉及一种联邦学习的全局及局部梯度处理方法、装置、设备和介质。
背景技术
联邦学习能够在边缘设备不进行原始数据共享的情况下，充分挖掘边缘网络蕴藏的分布式计算存储能力，进行高效的模型训练，凭借其用户隐私和数据安全方面具有的独特优势，获得了非常广泛的应用。
相关技术中，在进行联邦学习时，各边缘设备在边缘服务器的协调下，利用本地数据联合训练共享的机器学习模型。具体的，可以基于分布式梯度下降法进行迭代训练，在每一次迭代中，不同边缘设备根据各自的本地数据，更新局部模型的参数，并通过无线信道将各自的局部模型的梯度上传至边缘服务器。边缘服务器对各个边缘设备上传的梯度进行汇总后获取全局梯度，然后广播该全局梯度，以便于各个边缘设备根据该全局梯度更新局部模型再次进行训练。上述步骤迭代进行，直至全局模型参数收敛。
然而，传统的联邦学习中边缘设备与边缘服务器采用多址接入方法(如正交频分复用，时分多址接入等)进行无线通信，即各个边缘设备独立的将局部模型的梯度方发送至边缘服务器，边缘服务器在接收到各个边缘设备上传的梯度还需要进行汇总处理。当边缘设备数目很大以及训练迭代次数很多的情况下，将带来巨大的无线通信资源开销，进而导致模型训练的效率较低。
发明内容
为了解决相关技术中存在的问题，本公开实施例提供一种联邦学习的全局及局部梯度处理方法、装置、设备和介质。
第一方面，本公开实施例提供的一种联邦学习的全局梯度处理方法。
具体地，所述联邦学习的全局梯度处理方法，应用于边缘服务器，包括：
接收预设时频块上传输的第n次迭代训练的聚合信号，所述聚合信号为联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的，所述局部梯度为边缘设备根据所述边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型后得到的；其中，所述n为大于或等于2的整数；
根据所述聚合信号和所述联邦学习中边缘设备的数量，获取所述联邦学习第n次迭代训练的全局梯度；
广播所述全局梯度，以便于所述多个边缘设备根据所述第n次迭代训练的全局梯度对本地模型进行再次更新。
可选地，所述聚合信号为
Figure BDA0003035773200000031
且
Figure BDA0003035773200000032
所述第n次迭代训练的全局梯度为
Figure BDA0003035773200000033
其中，
Figure BDA0003035773200000034
表示第n次迭代训练中边缘设备k到边缘服务器的复数信道系数；
Figure BDA0003035773200000035
为第n次迭代训练中边缘设备k的传输功率；
Figure BDA0003035773200000036
第n次迭代训练中边缘设备k的局部梯度；z(n)为加性高斯白噪声，服从z(n)～CN(0,N0I)；N0为噪声功率密度，I为单位矩阵；
Figure BDA0003035773200000037
为边缘设备k的本地数据集，xi和yi为第i个样本的真实标签；fi(w(n))表示联邦学习模型w在样本xi对于其标签yi的预测误差的逐样本损失函数；R(w)为强凸正则化函数；超参数ρ≥0为缩放因子；n≤N，k≤K，N为总的迭代次数，K为联邦学习中边缘设备的总数量。
第二方面，本公开实施例中提供了一种联邦学习的局部梯度处理方法。
具体地，所述联邦学习的局部梯度处理方法，应用于边缘设备，包括：
根据联邦学习中的边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型获取第n次迭代训练的局部梯度；其中，所述n为大于或等于2的整数；
采用预设时频块发送所述局部梯度，以便于所述边缘服务器接收所述预设时频块上传输的由联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的聚合信号，进而根据该聚合信号确定第n次迭代训练的全局梯度。
可选地，所述方法还包括：
获取功率优化函数，所述功率优化函数为：
Figure BDA0003035773200000041
Figure BDA0003035773200000042
Figure BDA0003035773200000043
Figure BDA0003035773200000044
其中，
Figure BDA0003035773200000045
为第n次迭代训练中边缘设备k的传输功率，且n≤N，k≤K，N为总的迭代次数，K为联邦学习中边缘设备的总数量；η为学习率，μ为常数；F(n)为第n次迭代训练的全局损失函数；F*为全局损失函数的最小值；L为非负向量；q为联邦学习模型的大小；
Figure BDA0003035773200000046
表示第n次迭代训练中边缘设备k到边缘服务器的复数信道系数；σ为非负常数向量；
根据优化条件对所述功率优化函数进行优化，获取在所述优化条件下所述功率优化函数取得最优解或者次优解时的
Figure BDA0003035773200000047
所述优化条件为：
Figure BDA0003035773200000048
Figure BDA0003035773200000051
其中，
Figure BDA0003035773200000052
为边缘设备k的最大传输功率；
Figure BDA0003035773200000053
为边缘设备k的平均传输功率；
在第n次迭代训练中边缘设备k采用发射功率
Figure BDA0003035773200000054
发射所述局部梯度。
第三方面，本公开实施例中提供了一种联邦学习的全局梯度处理装置。
具体地，所述联邦学习的全局梯度处理装置，包括：
接收模块，用于接收预设时频块上传输的第n次迭代训练的聚合信号，所述聚合信号为联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的，所述局部梯度为边缘设备根据所述边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型后得到的；其中，所述n为大于或等于2的整数；
获取模块，用于根据所述聚合信号和所述联邦学习中边缘设备的数量，获取所述联邦学习第n次迭代训练的全局梯度；
广播模块，用于广播所述全局梯度，以便于所述多个边缘设备根据所述第n次迭代训练的全局梯度对本地模型进行再次更新。
第四方面，本公开实施例中提供了一种联邦学习的局部梯度处理装置。
具体地，所述联邦学习的局部梯度处理装置，包括：
更新模块，用于根据联邦学习中的边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型获取第n次迭代训练的局部梯度；其中，所述n为大于或等于2的整数；
发送模块，用于采用预设时频块发送所述局部梯度，以便于所述边缘服务器接收所述预设时频块上传输的由联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的聚合信号，进而根据该聚合信号确定第n次迭代训练的全局梯度。
第五方面，本公开实施例提供了一种电子设备，包括第一存储器和第一处理器，其中，所述第一存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第一处理器执行以实现如第一方面任一实施例所述的方法。
第六方面，本公开实施例提供了一种电子设备，包括第二存储器和第二处理器，其中，所述第二存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第二处理器执行以实现如第二方面任一实施例所述的方法。
第七方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有第一计算机指令，该第一计算机指令被处理器执行时实现如第一方面任一实施例所述的方法。
第八方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有第二计算机指令，该第二计算机指令被处理器执行时实现如第二方面任一实施例所述的方法。
本公开实施例提供的技术方案可以包括以下有益效果：
根据本公开实施例提供的技术方案，联邦学习时多个边缘设备可以同时通过预设时频块发送局部梯度，即边缘服务器通过该预设时频块接收到的聚合信号反映了多个边缘设备的梯度汇总信息，此时边缘服务器可以直接采用该聚合信号与联邦学习中边缘设备的数量获取全局梯度进行广播，即无论边缘设备的数量为多少，边缘服务器均可以随着聚合信号的接收一次性获取到全局梯度，简化了边缘服务器获取全局梯度的步骤，保证了极低的聚合延迟，提高了边缘服务器获取全局梯度的效率，进而提高了模型训练的效率。
附图说明
图1示出根据本公开一实施例的联邦学习的全局梯度处理方法的流程图；
图2示出一种空中联邦边缘学习系统的结构示意图；
图3示出根据本公开一实施例的联邦学习的局部梯度处理方法的流程图；
图4示出根据本公开一实施例的联邦学习的全局梯度处理装置的结构图；
图5示出根据本公开一实施例的联邦学习的局部梯度处理装置的结构图；
图6示出根据本公开一实施例的电子设备的结构图；
图7示出根据本公开一实施例的另一电子设备的结构图；
图8示出根据本公开一实施例的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出根据本公开一实施例的联邦学习的全局梯度处理方法的流程图，该方法应用于空中联邦边缘学习系统中的边缘服务器。
如图1所示，所述联邦学习的全局梯度处理方法包括以下步骤101-步骤103：
在步骤101中，接收预设时频块上传输的第n次迭代训练的聚合信号，所述聚合信号为联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的，所述局部梯度为边缘设备根据所述边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型后得到的。
其中，所述n为大于或等于2的整数。
在步骤102中，根据所述聚合信号和所述联邦学习中边缘设备的数量，获取所述联邦学习第n次迭代训练的全局梯度。
在步骤103中，广播所述全局梯度，以便于所述多个边缘设备根据所述第n次迭代训练的全局梯度对本地模型进行再次更新。
本实施例以图2所示的空中联邦边缘学习系统为例进行说明，该系统包括边缘服务器201，K≥0个边缘设备202，每个边缘设备202均存在本地数据集。为了使整个系统更加清晰，本实施例做出以下假设：1、在边缘服务器201的协调下，边缘设备202通过无线更新，聚合协作训练共享的机器学习模型；2、信道在每个时间块内保持不变，且所有边缘设备202能准确地得到所有的信道状态信息和与计算相关的信息，以便后续完成功率控制。
实际训练时，假设迭代训练的总次数为N，那么每个边缘设备202可以采用本地数据集和边缘服务器在第n-1次迭代训练时广播的全局梯度对本地模型进行训练，并根据训练后的损失函数计算局部梯度
Figure BDA0003035773200000091
然后每个边缘设备202将获取到的第n次迭代训练的局部梯度
Figure BDA0003035773200000092
均采用同一个预设时频块发送给边缘服务器201。其中，n≤N。
此时边缘服务器201即可在该预设时频块接收到第n次迭代训练的聚合信号，该聚合信号为：
Figure BDA0003035773200000093
其中，
Figure BDA0003035773200000101
表示第n次迭代训练中边缘设备k到边缘服务器的复数信道系数；
Figure BDA0003035773200000102
为第n次迭代训练中边缘设备k的传输功率；z(n)为加性高斯白噪声，服从z(n)～CN(0,N0I)；N0为噪声功率密度，I为单位矩阵；n≤N，k≤K，N为总的迭代次数，K为联邦学习中边缘设备的总数量。
并且，该
Figure BDA0003035773200000103
为第n次迭代训练中边缘设备k的局部梯度，其函数表示如下：
Figure BDA0003035773200000104
其中，
Figure BDA0003035773200000105
为边缘设备k的本地数据集，xi和yi为第i个样本的真实标签；fi(w(n))表示联邦学习模型w在样本xi对于其标签yi的预测误差的逐样本损失函数；R(w)为强凸正则化函数；超参数ρ≥0为缩放因子。
获取到聚合信号之后，基于该聚合信号对K个边缘设备的局部梯度的聚合效应，可以根据该聚合信号和联邦学习中边缘设备的数量K，获取边缘服务器第n次迭代训练的全局梯度为：
Figure BDA0003035773200000106
由于该聚合信号并不能完全表示K个局部梯度的平均值，因此该全局梯度
Figure BDA0003035773200000107
为近似值，以下推导过程中称为估计全局梯度。
边缘服务器获取到全局梯度
Figure BDA0003035773200000108
之后，可以广播该全局梯度
Figure BDA0003035773200000109
K个边缘设备即可接收到该边缘服务器发送的第n次迭代训练的全局梯度，并采用该第n次迭代训练的全局梯度对本地模型进行第n+1次迭代训练。
以上步骤迭代进行，直至该空中联邦边缘学习系统的全局联邦学习模型满足收敛标准或达到最大迭代次数为止。
推导过程如下：
令参数向量
Figure BDA0003035773200000111
表示该空中联邦边缘学习系统的联邦学习模型，其中q表示模型大小；令
Figure BDA0003035773200000112
表示边缘设备k的本地数据集，xi和yi为第i个样本的真实标签。则在
Figure BDA0003035773200000113
上的模型向量w的局部损失函数为:
Figure BDA0003035773200000114
其中，f(w,xi,yi)联邦学习模型w在样本xi对于其标签yi的预测误差的逐样本损失函数；R(w)为强凸正则化函数；超参数ρ≥0为缩放因子。因此，所有分布数据集的全局损失函数为:
Figure BDA0003035773200000115
其中，
Figure BDA0003035773200000116
且为了简化符号，假设所有边缘设备中本地数据集的大小都是一致的，即
Figure BDA0003035773200000117
模型训练过程的目标是使全局损失函数最小化，即w*＝arg minw F(w)。
为方便，使用fi(w)替代f(w,xi,yi)。在第n个迭代训练中，机器学习模型由w(n)表示，且每个边缘设备k都可以使用其本地数据集
Figure BDA0003035773200000118
计算局部梯度，即可得到第n次迭代训练中边缘设备k的局部梯度
Figure BDA0003035773200000119
Figure BDA00030357732000001110
其中，
Figure BDA0003035773200000121
为梯度运算符，此处假设整个局部数据集均用于估算局部梯度。
在K个边缘设备均通过上述方法获取到局部梯度之后，可以同时或依次将局部梯度均发送至边缘服务器。此时边缘服务器可以对接收到的局部梯度进行平均运算以获得如下标准全局梯度:
Figure BDA0003035773200000122
由此可知，全局梯度实际是K个边缘设备的局部梯度的聚合。如果该K个边缘设备在获取到局部梯度之后，采用同一预设时频块将局部梯度发送至边缘放服务器，那么边缘服务器即可在该预设时频块接收到聚合信号y(n)，该聚合信号y(n)表示如下：
Figure BDA0003035773200000123
由上式可知边缘服务器接收到的聚合信号y(n)存在K个局部梯度的聚合效应，结合标准全局梯度
Figure BDA0003035773200000124
的公式，可以可以将边缘服务器的全局梯度估计为
Figure BDA0003035773200000125
即边缘服务器可以将该估计全局梯度
Figure BDA0003035773200000126
作为第n次迭代训练的全局梯度进行广播。K个边缘设备即可接收到该边缘服务器发送的第n次迭代训练的全局梯度
Figure BDA0003035773200000127
并采用该全局梯度
Figure BDA0003035773200000128
对本地模型进行第n+1次迭代训练，即采用该全局梯度
Figure BDA0003035773200000129
对本地模型w进行更新，得到第n+1次迭代训练的
Figure BDA00030357732000001210
以上步骤迭代进行，直至该空中联邦边缘学习系统的全局联邦学习模型满足收敛标准或达到最大迭代次数为止。
本公开实施例提供一种联邦学习的全局梯度处理方法，在进行联邦学习时多个边缘设备可以同时通过预设时频块发送局部梯度，即边缘服务器通过该预设时频块接收到的聚合信号反映了多个边缘设备的梯度汇总信息，此时边缘服务器可以直接采用该聚合信号与联邦学习中边缘设备的数量获取全局梯度进行广播，即无论边缘设备的数量为多少，边缘服务器均可以随着聚合信号的接收一次性获取到全局梯度，简化了边缘服务器获取全局梯度的步骤，保证了极低的聚合延迟，提高了边缘服务器获取全局梯度的效率，进而提高了模型训练的效率。
图3示出根据本公开一实施例的联邦学习的局部梯度处理方法的流程图，该方法应用于空中联邦边缘学习系统中的边缘设备，该空中联邦边缘学习系统如图2所示，即该空中联邦边缘学习系统包括边缘服务器201，K≥0个边缘设备202，每个边缘设备202均存在本地数据集
Figure BDA0003035773200000131
如图3所示，所述联邦学习的局部梯度处理方法包括以下步骤301-步骤302：
在步骤301中，根据联邦学习中的边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型获取第n次迭代训练的局部梯度。
其中，所述n为大于或等于2的整数。
在步骤302中，采用预设时频块发送所述局部梯度，以便于所述边缘服务器接收所述预设时频块上传输的由联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的聚合信号，进而根据该聚合信号确定第n次迭代训练的全局梯度。
示例的，根据上述推导过程可知边缘服务器在第n-1次迭代训练时广播的全局梯度为：
Figure BDA0003035773200000141
其中，y(n-1)为边缘服务器在第n-1次迭代训练时采用预设时频块接收到的聚合信号；K为边缘设备的数量。
边缘设备k在接收到该全局梯度
Figure BDA0003035773200000142
之后，可以根据该全局梯度
Figure BDA0003035773200000143
对本地模型w进行更新，得到第n次迭代训练的本地模型w(n)，该w(n)表示如下：
Figure BDA0003035773200000144
然后边缘设备k根据该w(n)获取第n次迭代训练的局部梯度
Figure BDA0003035773200000145
该局部梯度
Figure BDA0003035773200000146
表示如下：
Figure BDA0003035773200000147
在K个边缘设备均获取到第n次迭代训练的局部梯度
Figure BDA0003035773200000148
之后，可以通过预设时频块同时将获取到的局部梯度
Figure BDA0003035773200000149
发送至边缘服务器。此时，边缘服务器接收到的该预设时频块上传输的聚合信号y(n)对该K个边缘设备发送的局部梯度存在聚合效应，因此边缘服务器可以采用该聚合信号y(n)和边缘设备的数量K确定第n次迭代训练的全局梯度
Figure BDA0003035773200000151
该
Figure BDA0003035773200000152
表示如下：
Figure BDA0003035773200000153
以上步骤迭代进行，直至该空中联邦边缘学习系统的全局联邦学习模型满足收敛标准或达到最大迭代次数为止。
但是实际应用中边缘设备上的不均匀信道衰落和噪声扰动可能引起聚集误差，这种聚集误差会导致边缘服务器获取的全局梯度出现误差，进而导致学习性能下降。为了克服这个问题，可以对边缘设备的发射功率进行优化，以增强学习性能。
示例的，以提高联邦学习性能为目的优化边缘设备的发射功率，需要首先确定优化的目标函数和优化条件。
具体的，令N为所需迭代训练的总次数，并使用F(n+1)表示F(w(n+1))。经过N次通信之后，联邦学习模型的损失函数的最优间隙F(N+1)-F*，即可表征空中联邦边缘学习的收敛性能，具体如下：
Figure BDA0003035773200000154
Figure BDA0003035773200000155
Figure BDA0003035773200000156
Figure BDA0003035773200000161
其中，
Figure BDA0003035773200000162
为第n次迭代训练中边缘设备k的传输功率，且n≤N，k≤K，N为总的迭代次数，K为联邦学习中边缘设备的总数量；η为学习率，μ为常数；F(n)为第n次迭代训练的全局损失函数；F*为全局损失函数的最小值；L为非负向量；q为联邦学习模型的大小；
Figure BDA0003035773200000163
表示第n次迭代训练中边缘设备k到边缘服务器的复数信道系数；σ为非负常数向量。
本实施例的主要目标在于基于边缘设备的最大和平均功率约束，最小化上述最优间隙F(N+1)-F*，以提高空中联邦边缘学习的收敛速度，该问题可建模为:
Figure BDA0003035773200000164
优化条件s.t.为：
Figure BDA0003035773200000165
Figure BDA0003035773200000166
其中，
Figure BDA0003035773200000167
为边缘设备k的最大传输功率；
Figure BDA0003035773200000168
为边缘设备k的平均传输功率。由于上述问题中功率控制
Figure BDA0003035773200000169
和学习率η之间的耦合，该问题是非凸优化问题，难以得到最优解。
优化过程：
令
Figure BDA0003035773200000171
表示基于任意给定学习速率η下的
Figure BDA0003035773200000172
在给定η的情况下，目标函数
Figure BDA0003035773200000173
中，不同设备和不同次数的迭代训练的发射功率相互耦合，从而导致高度非凸的问题：
Figure BDA0003035773200000174
Figure BDA0003035773200000175
Figure BDA0003035773200000176
此时，上述
Figure BDA0003035773200000177
即为优化的目标函数。
为解决上述问题，本实施例利用连续凸近似(Successive ConvexApproximation，SCA)技术提出一种迭代算法获得算法解。其关键思路在于，根据每次迭代的任何给定局部点，将非凸函数近似为构造的凸函数。因此，通过迭代求解一系列近似的凸问题，可以获得
Figure BDA0003035773200000178
的次优解。
令
Figure BDA0003035773200000179
表示第i次迭代的局部点，
Figure BDA00030357732000001710
表示通信次数的集合。通过检查
Figure BDA00030357732000001711
在局部点下
Figure BDA00030357732000001713
的一阶泰勒展开，可以得到如下函数：
Figure BDA00030357732000001714
其中，
Figure BDA0003035773200000181
表示
Figure BDA0003035773200000182
的一阶展开式，表示为:
Figure BDA0003035773200000183
Figure BDA0003035773200000184
由此可见，
Figure BDA0003035773200000185
为关于
Figure BDA0003035773200000186
的线性函数。为了确保近似精度，需要考虑以下信任区间约束：
Figure BDA0003035773200000187
Figure BDA0003035773200000188
其中Γ[i]为信任区间的半径。
利用
Figure BDA0003035773200000189
替代
Figure BDA00030357732000001810
的近似函数，并引入变量γ，则第i次迭代中的近似问题为：
Figure BDA00030357732000001811
Figure BDA00030357732000001812
Figure BDA00030357732000001813
Figure BDA00030357732000001814
Figure BDA00030357732000001815
上述问题为凸优化问题，可以用CVX工具直接求解。
令
Figure BDA0003035773200000191
表示
Figure BDA0003035773200000192
对于局部点
Figure BDA0003035773200000193
的最优功率控制。接下来将介绍求解
Figure BDA0003035773200000194
的迭代算法：在每次迭代i≥1中，通过针对局部点
Figure BDA0003035773200000195
求解
Figure BDA0003035773200000196
功率控制变量可更新为
Figure BDA0003035773200000197
且满足
Figure BDA0003035773200000198
其中
Figure BDA0003035773200000199
为为初始功率控；通过替换
Figure BDA00030357732000001910
为
Figure BDA00030357732000001911
计算
Figure BDA00030357732000001912
若
Figure BDA00030357732000001913
是递减的，则将进入下一迭代，否则，更新Γ[i]＝Γ[i]/2并继续求解
Figure BDA00030357732000001914
该算法将会停止直到Γ[i]足够小。至此，
Figure BDA00030357732000001915
得解。
此时，边缘设备k可以获取
Figure BDA00030357732000001916
得最优解或者次优解时的
Figure BDA00030357732000001917
然后在第n次迭代训练中采用发射功率
Figure BDA00030357732000001918
发射其局部梯度。
具体的，通过上述陈述可知为了获取优化的目标函数
Figure BDA00030357732000001919
需要首先计算
Figure BDA00030357732000001920
以下介绍如何计算
Figure BDA00030357732000001921
的过程：
首先，介绍联邦学习模型的基本特性:
(1)模型平滑度:令
Figure BDA00030357732000001922
表示损失函数在点
Figure BDA00030357732000001923
上的计算梯度，则存在一组非负向量
Figure BDA00030357732000001924
满足:
Figure BDA00030357732000001925
(2)Polyak-Lojasiewicz不等式:存在常数μ>0使全局损失函数F(w)满足Polyak-Lojasiewicz不等式：
Figure BDA00030357732000001926
(3)方差约束:假设局部梯度估计{gk}(忽略上标(n))是
Figure BDA0003035773200000201
的独立且无偏估计，满足
Figure BDA0003035773200000202
和
Figure BDA0003035773200000203
Figure BDA0003035773200000204
其中gk,i和
Figure BDA0003035773200000205
分别表示{gk}和
Figure BDA0003035773200000206
的第i个元素，σ＝[σ1,…,σq]为非负常数向量。
该证明主要遵循了被广泛采用的策略，即将梯度范数与在单个算法步骤中进行的预期改进值相关联，并将其与期望的改进值进行比较。
Figure BDA0003035773200000207
其中，不等式(a)和(b)是由于上述特性(1)和
Figure BDA0003035773200000208
通过减去F*获得期望，每个通信回合的收敛速度由下式给出:
Figure BDA0003035773200000209
Figure BDA0003035773200000211
接着，根据特性(2)，可以得到
Figure BDA0003035773200000212
然后，通过N次迭代反复使用上述不等式，经过一些简单的代数运算，可以得到:
Figure BDA0003035773200000213
Figure BDA0003035773200000214
Figure BDA0003035773200000215
Figure BDA0003035773200000216
由此，证明完毕。
本公开实施例提供一种联邦学习的局部梯度处理方法，在进行联邦学习时多个边缘设备可以同时通过预设时频块发送局部梯度，使得边缘服务器可以直接采用该聚合信号与联邦学习中边缘设备的数量获取全局梯度进行广播，即无论边缘设备的数量为多少，边缘服务器均可以随着聚合信号的接收一次性获取到全局梯度，简化了边缘服务器获取全局梯度的步骤，保证了极低的聚合延迟，提高了边缘服务器获取全局梯度的效率，进而提高了模型训练的效率。
图4示出根据本公开的实施例的联邦学习的全局梯度处理装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图4所示，所述联邦学习的全局梯度处理装置40包括接收模块401、获取模块402和广播模块403。
其中，接收模块401，用于接收预设时频块上传输的第n次迭代训练的聚合信号，所述聚合信号为联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的，所述局部梯度为边缘设备根据所述边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型后得到的；其中，所述n为大于或等于2的整数.
获取模块402，用于根据所述聚合信号和所述联邦学习中边缘设备的数量，获取所述联邦学习第n次迭代训练的全局梯度；
广播模块403，用于广播所述全局梯度，以便于所述多个边缘设备根据所述第n次迭代训练的全局梯度对本地模型进行再次更新。
本公开实施例提供一种联邦学习的全局梯度处理装置，在进行联邦学习时多个边缘设备可以同时通过预设时频块发送局部梯度，使得该装置可以直接采用该聚合信号与联邦学习中边缘设备的数量获取全局梯度并进行广播，即无论边缘设备的数量为多少，该装置均可以随着聚合信号的接收一次性获取到全局梯度，简化了获取全局梯度的步骤，保证了极低的聚合延迟，提高了获取全局梯度的效率，进而提高了模型训练的效率。
图5示出根据本公开的实施例的联邦学习的局部梯度处理装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图5所示，所述联邦学习的局部梯度处理装置50包括更新模块501和发送模块502。
其中，更新模块501，用于根据联邦学习中的边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型获取第n次迭代训练的局部梯度；其中，所述n为大于或等于2的整数。
发送模块502，用于采用预设时频块发送所述局部梯度，以便于所述边缘服务器接收所述预设时频块上传输的由联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的聚合信号。
本公开实施例提供一种联邦学习的局部梯度处理装置，在进行联邦学习时多个该装置可以同时通过预设时频块发送局部梯度，使得边缘服务器可以直接采用该聚合信号与联邦学习中该装置的数量获取全局梯度并进行广播，即无论该装置的数量为多少，边缘服务器均可以随着聚合信号的接收一次性获取到全局梯度，简化了边缘服务器获取全局梯度的步骤，保证了极低的聚合延迟，提高了边缘服务器获取全局梯度的效率，进而提高了模型训练的效率。
本公开还公开了一种电子设备，图6示出根据本公开的实施例的电子设备的结构框图。
如图6所示，所述电子设备600包括第一存储器601和第一处理器602，其中，第一存储器601用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第一处理器602执行以实现根据本公开的边缘服务器侧的方法。
本公开还公开了一种电子设备，图7示出根据本公开的实施例的电子设备的结构框图。
如图7所示，所述电子设备700包括第二存储器701和第二处理器702，其中，第二存储器701用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第二处理器702执行以实现根据本公开的边缘设备侧的方法。
图8示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
如图8所示，计算机系统800包括处理单元801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述实施例中的各种方法。在RAM 803中，还存储有系统800操作所需的各种程序和数据。处理单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信过程。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中，所述处理单元801可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述边缘设备侧或者边缘服务器侧实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质可以存储有第一计算机指令，该第一计算机指令被处理器执行时实现边缘服务器侧的方法步骤；或者计算机可读存储介质可以存储有第二计算机指令，该第二计算机指令被处理器执行时实现边缘设备侧的方法步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种联邦学习的全局梯度处理方法，其特征在于，应用于边缘服务器，所述边缘服务器属于空中联邦边缘学习系统，所述空中联邦边缘学习系统还包括K个边缘设备，其中K≥0，所述方法包括：
接收预设时频块上传输的第n次迭代训练的聚合信号，所述聚合信号为联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的，所述局部梯度为边缘设备根据所述边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型后得到的；其中，所述n为大于或等于2的整数；边缘设备用于在边缘服务器的协调下，通过无线更新，聚合协作训练共享的机器学习模型；
根据所述聚合信号和所述联邦学习中边缘设备的数量，获取所述联邦学习第n次迭代训练的全局梯度；
广播所述全局梯度，以便于所述多个边缘设备根据所述第n次迭代训练的全局梯度对本地模型进行再次更新；
所述联邦学习的全局梯度处理方法至少能够应用于无线通信技术领域；
所述聚合信号为
Figure FDA0004172562700000011
且
Figure FDA0004172562700000012
所述第n次迭代训练的全局梯度为
Figure FDA0004172562700000021
其中，
Figure FDA0004172562700000022
表示第n次迭代训练中边缘设备k到边缘服务器的复数信道系数；
Figure FDA0004172562700000023
为第n次迭代训练中边缘设备k的传输功率；
Figure FDA0004172562700000024
为第n次迭代训练中边缘设备k的局部梯度；z(n)为加性高斯白噪声，服从z(n)～CN(0,N0I)；N0为噪声功率密度，I为单位矩阵；
Figure FDA0004172562700000025
为边缘设备k的本地数据集，xi和yi为第i个样本的真实标签；fi(w(n))表示联邦学习模型w在样本xi对于其标签yi的预测误差的逐样本损失函数；R(w)为强凸正则化函数；超参数ρ≥0为缩放因子；n≤N，k≤K，N为总的迭代次数，K为联邦学习中边缘设备的总数量。
2.一种联邦学习的局部梯度处理方法，其特征在于，应用于边缘设备，所述边缘设备属于空中联邦边缘学习系统，所述空中联邦边缘学习系统包括K个所述边缘设备以及边缘服务器，其中K≥0，边缘设备用于在边缘服务器的协调下，通过无线更新，聚合协作训练共享的机器学习模型；所述方法包括：
根据联邦学习中的边缘服务器在第n-1次迭代训练时广播的全局梯度更新本地模型获取第n次迭代训练的局部梯度；其中，所述n为大于或等于2的整数；
采用预设时频块发送所述局部梯度，以便于所述边缘服务器接收所述预设时频块上传输的由联邦学习中多个边缘设备同时通过所述预设时频块发送局部梯度时叠加产生的聚合信号，进而根据该聚合信号确定第n次迭代训练的全局梯度；
所述联邦学习的局部梯度处理方法至少能够应用于无线通信技术领域；
获取功率优化函数，所述功率优化函数为：
Figure FDA0004172562700000031
Figure FDA0004172562700000032
Figure FDA0004172562700000033
Figure FDA0004172562700000034
其中，
Figure FDA0004172562700000035
为第n次迭代训练中边缘设备k的传输功率，且n≤N，k≤K，N为总的迭代次数，K为联邦学习中边缘设备的总数量；η为学习率，μ为常数；F(n)为第n次迭代训练的全局损失函数；F*为全局损失函数的最小值；L为非负向量；q为联邦学习模型的大小；
Figure FDA0004172562700000036
表示第n次迭代训练中边缘设备k到边缘服务器的复数信道系数；σ为非负常数向量；
根据优化条件对所述功率优化函数进行优化，获取在所述优化条件下所述功率优化函数取得最优解或者次优解时的
Figure FDA0004172562700000037
所述优化条件为：
Figure FDA0004172562700000038
Figure FDA0004172562700000041
其中，为边缘设备k的最大传输功率；
Figure FDA0004172562700000043
为边缘设备k的平均传输功率；
在第n次迭代训练中边缘设备k采用发射功率
Figure FDA0004172562700000044
发射所述局部梯度。
3.一种电子设备，其特征在于，包括第一存储器和第一处理器；其中，所述第一存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第一处理器执行以实现权利要求1所述的方法步骤。
4.一种电子设备，其特征在于，包括第二存储器和第二处理器；其中，所述第二存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述第二处理器执行以实现权利要求2所述的方法步骤。
5.一种可读存储介质，其上存储有第一计算机指令，其特征在于，该第一计算机指令被处理器执行时实现权利要求1所述的方法步骤。
6.一种可读存储介质，其上存储有第二计算机指令，其特征在于，该第二计算机指令被处理器执行时实现权利要求2所述的方法步骤。
CN202110442750.4A 2021-04-23 2021-04-23 联邦学习的全局及局部梯度处理方法、装置、设备和介质 Active CN113139662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110442750.4A CN113139662B (zh) 2021-04-23 2021-04-23 联邦学习的全局及局部梯度处理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110442750.4A CN113139662B (zh) 2021-04-23 2021-04-23 联邦学习的全局及局部梯度处理方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113139662A CN113139662A (zh) 2021-07-20
CN113139662B true CN113139662B (zh) 2023-07-14

Family

ID=76812149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110442750.4A Active CN113139662B (zh) 2021-04-23 2021-04-23 联邦学习的全局及局部梯度处理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113139662B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902128B (zh) * 2021-10-12 2022-09-16 中国人民解放军国防科技大学 改善边缘设备利用效率的异步联邦学习方法、装置及介质
CN113923605B (zh) * 2021-10-25 2022-08-09 浙江大学 一种面向工业互联网的分布式边缘学习系统和方法
CN114065863B (zh) * 2021-11-18 2023-08-29 北京百度网讯科技有限公司 联邦学习的方法、装置、系统、电子设备及存储介质
CN114125861B (zh) * 2021-11-26 2024-09-24 北京邮电大学 一种无线联邦学习方法及装置
CN113873047B (zh) * 2021-12-03 2022-02-15 江苏电力信息技术有限公司 一种面向流式数据的协作计算方法
CN116264684A (zh) * 2021-12-10 2023-06-16 华为技术有限公司 一种无线网络中的人工智能ai模型训练方法及装置
CN114169243B (zh) * 2021-12-10 2022-07-29 浙江辰时科技集团有限公司 Mimo干扰信道下空中计算多任务联邦学习方法
CN114548421B (zh) * 2022-01-10 2024-10-01 清华大学 一种针对联邦学习通信开销的优化处理方法及装置
CN114844889B (zh) * 2022-04-14 2023-07-07 北京百度网讯科技有限公司 视频处理模型的更新方法、装置、电子设备及存储介质
CN114726706B (zh) * 2022-04-15 2023-03-14 河海大学 一种面向多层无线网络联邦学习的模型同步方法及系统
CN115618960B (zh) * 2022-09-21 2024-04-19 清华大学 联邦学习优化方法、装置、电子设备及存储介质
CN115424079B (zh) * 2022-09-30 2023-11-24 深圳市大数据研究院 基于联邦边缘学习的图像分类方法以及相关设备
CN115834580B (zh) * 2022-11-17 2023-05-30 清华大学 面向海洋大数据的分布式数据处理方法、装置和设备
WO2024152290A1 (zh) * 2023-01-19 2024-07-25 华为技术有限公司 一种网络量化方法、装置及相关设备
CN116527173B (zh) * 2023-05-11 2023-11-24 山东大学 一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统
CN116911403B (zh) * 2023-06-06 2024-04-26 北京邮电大学 联邦学习的服务器和客户端的一体化训练方法及相关设备
CN116546567B (zh) * 2023-07-06 2023-11-24 深圳市大数据研究院 基于贝叶斯联邦学习的数据处理方法、系统及电子设备
CN116562399A (zh) * 2023-07-10 2023-08-08 支付宝(杭州)信息技术有限公司 端边云协同的模型训练方法及装置
CN117010485B (zh) * 2023-10-08 2024-01-26 之江实验室 边缘场景下的分布式模型训练系统及梯度规约方法
CN117614780A (zh) * 2023-11-23 2024-02-27 杭州辰时医联科技有限公司 一种联邦边缘学习梯度聚合方法、装置、系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553484A (zh) * 2020-04-30 2020-08-18 同盾控股有限公司 联邦学习的方法、装置及系统
CN111708640A (zh) * 2020-06-23 2020-09-25 苏州联电能源发展有限公司 一种面向边缘计算的联邦学习方法和系统
CN111723947A (zh) * 2020-06-19 2020-09-29 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN112232528A (zh) * 2020-12-15 2021-01-15 之江实验室 一种联邦学习模型训练方法、装置及联邦学习系统
CN112257774A (zh) * 2020-10-20 2021-01-22 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN112506753A (zh) * 2020-12-14 2021-03-16 德清阿尔法创新研究院 一种联邦学习场景中高效的贡献评估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553484A (zh) * 2020-04-30 2020-08-18 同盾控股有限公司 联邦学习的方法、装置及系统
CN111723947A (zh) * 2020-06-19 2020-09-29 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN111708640A (zh) * 2020-06-23 2020-09-25 苏州联电能源发展有限公司 一种面向边缘计算的联邦学习方法和系统
CN112257774A (zh) * 2020-10-20 2021-01-22 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN112506753A (zh) * 2020-12-14 2021-03-16 德清阿尔法创新研究院 一种联邦学习场景中高效的贡献评估方法
CN112232528A (zh) * 2020-12-15 2021-01-15 之江实验室 一种联邦学习模型训练方法、装置及联邦学习系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
联邦学习及其在电信行业的应用;李鉴 等;信息通信技术与政策(第9期);第35-41页 *

Also Published As

Publication number Publication date
CN113139662A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN113139662B (zh) 联邦学习的全局及局部梯度处理方法、装置、设备和介质
Zhang et al. Gradient statistics aware power control for over-the-air federated learning
CN109871702B (zh) 联邦模型训练方法、系统、设备及计算机可读存储介质
CN113469325B (zh) 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN113222179B (zh) 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN111176929A (zh) 一种面向边缘联邦学习的高能效计算通信联合优化方法
CN114125785A (zh) 数字孪生网络低时延高可靠传输方法、装置、设备及介质
Zhang et al. Gradient statistics aware power control for over-the-air federated learning in fading channels
CN114580498A (zh) 一种无线通信场景下高通信效率的联邦学习方法
CN105379412A (zh) 一种控制多个无线接入节点的系统和方法
CN116681126B (zh) 一种自适应等待时长的异步加权联邦学习方法
Nguyen et al. FedFog: Network-aware optimization of federated learning over wireless fog-cloud systems
Yu et al. Convolutional autoencoder-based phase shift feedback compression for intelligent reflecting surface-assisted wireless systems
Bot et al. Forward-backward-forward methods with variance reduction for stochastic variational inequalities
CN116776155A (zh) 一种基于联邦学习的模型训练方法、装置、设备和介质
CN112235062A (zh) 一种对抗通信噪声的联邦学习方法和系统
Behmandpoor et al. Federated learning based resource allocation for wireless communication networks
Wang et al. Variational Bayesian inference for the identification of FIR systems via quantized output data
CN113543271A (zh) 一种面向有效容量的资源分配方法及系统
Lin et al. Relay-assisted over-the-air federated learning
Zheng et al. Data-driven extreme events modeling for vehicle networks by personalized federated learning
CN116128070A (zh) 基于无线空中计算和多比特量化压缩感知的联邦学习方法
Zhang et al. Accelerating federated edge learning via optimized probabilistic device scheduling
CN112398543B (zh) 用于光通信的方法、设备、系统、装置和计算机可读介质
US12015507B2 (en) Training in communication systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant