CN117216596B - 基于梯度聚类的联邦学习优化通信方法、系统及存储介质 - Google Patents
基于梯度聚类的联邦学习优化通信方法、系统及存储介质 Download PDFInfo
- Publication number
- CN117216596B CN117216596B CN202311035419.6A CN202311035419A CN117216596B CN 117216596 B CN117216596 B CN 117216596B CN 202311035419 A CN202311035419 A CN 202311035419A CN 117216596 B CN117216596 B CN 117216596B
- Authority
- CN
- China
- Prior art keywords
- gradient
- parameters
- parameter
- model
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005457 optimization Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 54
- 230000006835 compression Effects 0.000 claims abstract description 25
- 238000007906 compression Methods 0.000 claims abstract description 25
- 230000002776 aggregation Effects 0.000 claims abstract description 20
- 238000004220 aggregation Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 230000009977 dual effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000001939 inductive effect Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011478 gradient descent method Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于梯度聚类的联邦学习优化通信方法、系统及存储介质，该方法包括如下步骤：接收服务端所发送的初始学习模型和聚合梯度；结合所述聚合梯度和预设的本地数据集对所述初始学习模型进行本地训练，得到本地训练模型，并计算得到所述本地训练的梯度参数；基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，得到压缩梯度参数；将所述压缩梯度参数传输至所述服务端。本发明具有优化联邦学习通信且不容易影响模型精度的效果。
Description
技术领域
本发明属于联邦学习技术领域，具体是涉及到一种基于梯度聚类的联邦学习优化通信方法、系统及存储介质。
背景技术
随着人们对隐私保护意识的提高，联邦学习在人工智能领域发挥了重要的作用，然而，由于联邦学习中的参与方与中央服务器需要不断交换大量模型参数。但在实际应用中，联邦学习的客户端设备往往部署在通信带宽有限的端设备上，导致通信开销和通信效率成了联邦学习的关键瓶颈之一，研究如何降低联邦学习的通信开销是本领域亟待解决的关键问题。
联邦学习需要大量的训练迭代轮次，训练过程中伴有客户端和服务端之间的大量通信，并且复杂神经网络的参数庞大，因此可以通过通信压缩方法优化客户端与服务端之间的通信，以提高联邦学习的通信效率。现有技术中，通信压缩方法会采用量化压缩的方式，量化压缩通过将元素低精度表示或者映射到预定义的一组码字来减少参数中每个元素的位数，虽然量化压缩的方法可以达到通信压缩的效果，但在实际应用中由于各个客户端存在异质性，预定义码字难度较大，并且预定码字不合适的话容易造成模型精度的降低。
发明内容
本发明提供一种基于梯度聚类的联邦学习优化通信方法、系统及存储介质，以解决采用量化压缩优化联邦学习通信的过程容易造成模型精度降低的问题。
第一方面，本发明提供一种基于梯度聚类的联邦学习优化通信方法，该方法包括如下步骤：
接收服务端所发送的初始学习模型和聚合梯度；
结合所述聚合梯度和预设的本地数据集对所述初始学习模型进行本地训练，得到本地训练模型，并计算得到所述本地训练的梯度参数；
基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，得到压缩梯度参数；
将所述压缩梯度参数传输至所述服务端。
可选的，所述基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，得到压缩梯度参数包括如下步骤：
结合所述初始学习模型、所述本地训练模型和所述梯度参数计算得到通信参数，所述通信参数计算过程中包含约束参数；
结合所述通信参数和所述本地训练模型计算微分稀疏正则化器，并生成所述约束参数的等式约束条件；
利用交替方向乘子法求解所述等式约束条件，得到求解结果；
根据所述求解结果归纳出所述梯度参数的类簇结构，得到压缩梯度参数。
可选的，所述通信参数的计算公式如下：
式中：v表示所述通信参数，表示所述梯度参数，y表示所述初始学习模型，Λ表示满秩矩阵，/>表示所述本地训练模型，ηt表示学习率，Υ表示调节因子，t表示训练轮次，r表示所述约束参数。
可选的，所述满秩矩阵的表达公式如下：
可选的，微分稀疏正则化器的计算公式如下：
式中：表示所述微分稀疏正则化器。
可选的，所述等式约束条件为所述利用交替方向乘子法求解所述等式约束条件，得到求解结果包括如下步骤：
基于所述等式约束条件生成所述通信参数的增广拉格朗日函数；
利用交替方向乘子法对所述增广拉格朗日函数中的参数进行更新迭代，并最终得到所述等式约束条件的求解结果。
可选的，所述增广拉格朗日函数的表达公式如下：
式中：L表示所述增广拉格朗日函数，r表示所述约束参数，y表示权重参数、w表示对偶变量参数，ρ表示常量且ρ＞0。
可选的，利用所述交替方向乘子法对所述信息约束参数进行更新迭代的计算公式如下：
式中：rj+1表示更新后的所述约束参数，yj表示初始权重参数，wj表示初始对偶变量参数，Prox表示近端算子；
利用所述交替方向乘子法对所述权重参数进行更新迭代的计算公式如下：
式中：P表示特征矩阵，I表示单位矩阵，yj+1表示更新后的所述权重参数；
利用所述交替方向乘子法对所述对偶变量参数进行更新迭代的计算公式如下：
式中：wj+1表示更新后的所述对偶变量参数。
第二方面，本发明还提供一种基于梯度聚类的联邦学习优化通信系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中所述的方法。
第三方面，本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述方法的步骤。
本发明的有益效果是：
在接收服务端所发送的初始学习模型和聚合梯度后，结合所述聚合梯度和预设的本地数据集对所述初始学习模型进行本地训练，得到本地训练模型，并计算得到所述本地训练的梯度参数。基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，微分稀疏正则化器鼓励参数更新到自己的类簇结构。当微分稀疏正则化器的元素具有类簇结构时，可以用更少的字节数进行编码并得到压缩梯度参数，从而大幅缩短梯度参数进行通信传输时的码长，以此实现在不降低模型精度的情况下提高了联邦学习过程中的通信效率。
附图说明
图1为本发明中基于梯度聚类的联邦学习优化通信方法的流程示意图。
图2为本发明其中一种实施方式中微分稀疏正则化器未处理为类簇结构的初始状态的元素示意图。
图3为本发明其中一种实施方式中微分稀疏正则化器初始状态下的元素差异示意图。
图4为本发明其中一种实施方式中微分稀疏正则化器处理为类簇结构后的元素示意图。
图5为本发明其中一种实施方式中微分稀疏正则化器处理为类簇结构后的元素差异示意图。
图6为本发明其中一种实施方式中通过微分稀疏正则化器归纳出梯度参数的类簇结构的流程示意图。
图7为本发明其中一种实施方式中利用交替方向乘子法求解所述等式约束条件的流程示意图。
具体实施方式
本发明公开一种基于梯度聚类的联邦学习优化通信方法。
参照图1，基于梯度聚类的联邦学习优化通信方法具体包括如下步骤：
S101.接收服务端所发送的初始学习模型和聚合梯度。
其中，本发明的实施客体主要为联邦学习中的客户端，服务端通常指联邦学习中的中央服务器，初始学习模型为全局模型，初始学习模型通常是一种轻量级的模型，例如卷积神经网络(CNN)或循环神经网络(RNN)。在联邦学习中，每个参与者(例如设备或客户端)都拥有自己的本地数据集，这些数据集通常是不同的，而且数据量也可能不同。因此，为了保证模型的泛化能力和准确性，服务端的全局模型需要具有一定的灵活性和可扩展性，能够适应各种不同的本地数据集。
另外，由于联邦学习需要在参与者之间进行通信，因此全局模型的大小和复杂度也需要考虑通信的效率和成本。因此，选择轻量级的模型可以减少通信量和计算量，提高训练的效率和速度。总之，联邦学习中服务端的全局模型通常是一种轻量级的模型，具有灵活性和可扩展性，能够适应各种不同的本地数据集，并且考虑通信的效率和成本，以提高训练的效率和速度。
聚合梯度是指将所有本地梯度加权平均后得到的全局梯度，聚合梯度的计算可以在中央服务器上完成。具体地，中央服务器将所有本地梯度加权平均后得到聚合梯度，并将其发送给每个客户端，以更新客户端本地模型的参数。
S102.结合聚合梯度和预设的本地数据集对初始学习模型进行本地训练，得到本地训练模型，并计算得到本地训练的梯度参数。
其中，接收到聚合梯度后使用本地数据集进行本地训练，计算本轮的本地训练模型，利用随机梯度下降法(SGD，stochastic gradient descent)训练得到更新后的本地训练模型，并通过随机梯度下降法计算得到本轮训练的梯度参数。
步骤S102的具体过程也可表示为：
式中：表示第t+1轮的梯度参数，/>表示第t轮的本地训练模型，/>表示本地数据集，/>表示第t+1轮的本地训练模型，由于在实际的联邦学习中通常会存在多个客户端，因此用n表示第n个客户端。
通常来说求解权值和阈值的方法是梯度下降法。梯度下降法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长，使初始解根据这个方向和步长移动后，能使目标函数的输出(在学习模型中就是预测误差)下降。然后将它更新为新的解，再继续寻找下一步的移动方向的步长，这样不断地迭代下去，目标函数(学习模型中的预测误差)也不断下降，最终就能找到一个解，使得目标函数(预测误差)比较小。算法在寻解过程，会借助梯度来确定目标函数的下降方向，梯度可以理解为单变量时的导数，梯度下降的方法就是目标函数的下降方向。
S103.基于本地训练模型并通过微分稀疏正则化器归纳出梯度参数的类簇结构，得到压缩梯度参数。
其中，微分稀疏正则化器是一种用于稀疏化模型参数的正则化方法。在机器学习和深度学习中，正则化是一种常用的技术，用于避免过拟合和提高模型的泛化能力。而微分稀疏正则化器是一种新型的正则化方法，可以将模型参数稀疏化，从而减少模型的复杂度和存储空间。具体地，微分稀疏正则化器可以通过对模型参数的一阶导数进行约束，鼓励模型参数更新到自己所属的类簇结构中，实现元素的聚集和稀疏化。其中，类簇结构是指具有相似特征的模型参数元素的聚集。通过将相似的元素聚集成类簇，可以使模型参数具有一定的结构性，从而更容易进行压缩和编码，减少通信量，提高通信效率。
类簇(Clustering)是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即类簇后同一类的数据尽可能聚集到一起，不同类数据尽量分离。
微分稀疏正则化器的优点是可以实现对模型参数的稀疏化，从而减少模型的复杂度和存储空间。同时，它还可以提高模型的泛化能力和鲁棒性，从而在机器学习和深度学习领域具有一定的应用前景。总之，微分稀疏正则化器是一种用于稀疏化模型参数的正则化方法，可以通过对模型参数的一阶导数进行约束，鼓励模型参数更新到自己所属的类簇结构中，实现元素的聚集和稀疏化，从而减少通信量，提高通信效率。
举例说明，参照图2和图3，图2为微分稀疏正则化器未处理为类簇结构时的初始状态，初始状态包含4、2、3、8、6、7六种元素，通过图3可以看出，在初始状态下每种元素之间都具有差异，而且元素之间的差异是密集的，此时由于元素差异较大，因此需要传输的字节数为48。
利用微分稀疏正则化器归纳梯度参数的类簇结构，参照图4和图5，图4为微分稀疏正则化器经过处理后具有类簇结构的示意图，可以看出归纳类簇结构后，微分稀疏正则化器中的元素仅包含3和7两种元素。根据图5可以看出微分稀疏正则化器中元素之间的差异变得稀疏，具有类簇结构的微分稀疏正则化器可以使用更少的比特进行压缩，需要传输的字节数也大大减小。
S104.将压缩梯度参数传输至服务端。
其中，当微分稀疏正则化器中的元素具有类簇结构时，可以用更少的字节数对压缩梯度参数进行编码，大幅缩短通信传输的码长，以此实现通信效率的提高。
本实施方式的实施原理为：
在接收服务端所发送的初始学习模型和聚合梯度后，结合所述聚合梯度和预设的本地数据集对所述初始学习模型进行本地训练，得到本地训练模型，并计算得到所述本地训练的梯度参数。基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，微分稀疏正则化器鼓励参数更新到自己的类簇结构。当微分稀疏正则化器的元素具有类簇结构时，可以用更少的字节数进行编码并得到压缩梯度参数，从而大幅缩短梯度参数进行通信传输时的码长，以此实现在不降低模型精度的情况下提高了联邦学习过程中的通信效率。
在其中一种实施方式中，参照图6，步骤S103即基于本地训练模型并通过微分稀疏正则化器归纳出梯度参数的类簇结构，得到压缩梯度参数具体包括如下步骤：
S201.结合初始学习模型、本地训练模型和梯度参数计算得到通信参数。
其中，通信参数是为了精简优化通信而抽象出的数学表达，数学表达更接近问题实质，也更便于实现具体步骤和操作，并通过计算一步步实现优化。通信参数计算过程中包含约束参数，约束参数是将复合函数问题归纳表示为更容易优化的数学结构。
S202.结合通信参数和本地训练模型计算微分稀疏正则化器，并生成约束参数的等式约束条件。
其中，等式约束条件是指在优化问题中，约束条件为等式形式的限制条件，即将某些变量的取值限制在等于某个常数或其他变量的取值上。计算微分稀疏正则化器的目的是得到具有类簇结构的状态。
S203.利用交替方向乘子法求解等式约束条件，得到求解结果。
其中，交替方向乘子法ADMM(Alternating Direction Method of Multipliers，ADMM)是一种求解具有可分结构的凸优化问题的方法，在大规模数据分析处理领域具有处理速度快、收敛性能好的良好表现。交替方向乘子法主要作用是将原问题转化为一系列无约束条件的子问题，然后通过交替求解这些子问题来逐步逼近原问题的最优解。交替方向乘子法是求解微分稀疏正则化器的一种方法。
S204.根据求解结果归纳出梯度参数的类簇结构，得到压缩梯度参数。
在本实施方式中，通信参数的计算公式如下：
式中：v表示所述通信参数，表示所述梯度参数，y表示所述初始学习模型，Λ表示满秩矩阵，/>表示所述本地训练模型，ηt表示学习率，Υ表示调节因子，t表示训练轮次，r表示所述约束参数。
其中，满秩矩阵是指行列式不为零的矩阵。在线性代数中，满秩矩阵具有以下性质：它的每一行(或每一列)线性无关，即矩阵的秩等于它的行数(或列数)；它的列空间(或行空间)是整个向量空间，即任意向量都可以由矩阵的列向量(或行向量)线性组合而成。满秩矩阵的表达公式如下：
微分稀疏正则化器的计算公式如下：
式中：表示微分稀疏正则化器。
在其中一种实施方式中，约束参数的等式约束条件为参照图7，步骤S203即利用交替方向乘子法求解等式约束条件，得到求解结果具体包括如下步骤：
S301.基于等式约束条件生成通信参数的增广拉格朗日函数。
S302.利用交替方向乘子法对增广拉格朗日函数中的参数进行更新迭代，并最终得到等式约束条件的求解结果。
在本实施方式中，增广拉格朗日函数和拉格朗日函数的区别在于，增广拉格朗日函数加了个平方的正则项。增广拉格朗日函数的表达公式如下：
式中：L表示所述增广拉格朗日函数，r表示所述约束参数，y表示权重参数、w表示对偶变量参数，ρ表示常量且ρ＞0。
利用交替方向乘子法对信息约束参数进行更新迭代的计算公式如下：
式中：rj+1表示更新后的所述约束参数，yj表示初始权重参数，wj表示初始对偶变量参数，Prox表示近端算子；
利用所述交替方向乘子法对所述权重参数进行更新迭代的计算公式如下：
式中：P表示特征矩阵，I表示单位矩阵，yj+1表示更新后的所述权重参数；
利用所述交替方向乘子法对所述对偶变量参数进行更新迭代的计算公式如下：
式中：wj+1表示更新后的所述对偶变量参数。
本发明还公开一种基于梯度聚类的联邦学习优化通信系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于梯度聚类的联邦学习优化通信方法。
本实施方式的实施原理为：
通过程序的调取，在接收服务端所发送的初始学习模型和聚合梯度后，结合聚合梯度和预设的本地数据集对初始学习模型进行本地训练，得到本地训练模型，并计算得到本地训练的梯度参数。基于本地训练模型并通过微分稀疏正则化器归纳出梯度参数的类簇结构，微分稀疏正则化器鼓励参数更新到自己的类簇结构。当微分稀疏正则化器的元素具有类簇结构时，可以用更少的字节数进行编码并得到压缩梯度参数，从而大幅缩短梯度参数进行通信传输时的码长，以此实现在不降低模型精度的情况下提高了联邦学习过程中的通信效率。
本发明还公开一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述基于梯度聚类的联邦学习优化通信方法的步骤。
本实施方式的实施原理为：
通过程序的调取，在接收服务端所发送的初始学习模型和聚合梯度后，结合聚合梯度和预设的本地数据集对初始学习模型进行本地训练，得到本地训练模型，并计算得到本地训练的梯度参数。基于本地训练模型并通过微分稀疏正则化器归纳出梯度参数的类簇结构，微分稀疏正则化器鼓励参数更新到自己的类簇结构。当微分稀疏正则化器的元素具有类簇结构时，可以用更少的字节数进行编码并得到压缩梯度参数，从而大幅缩短梯度参数进行通信传输时的码长，以此实现在不降低模型精度的情况下提高了联邦学习过程中的通信效率。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的保护范围限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上的本申请中一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本申请中一个或多个实施例旨在涵盖落入本申请的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请中一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (6)
1.一种基于梯度聚类的联邦学习优化通信方法，其特征在于，包括如下步骤：
接收服务端所发送的初始学习模型和聚合梯度；
结合所述聚合梯度和预设的本地数据集对所述初始学习模型进行本地训练，得到本地训练模型，并计算得到所述本地训练的梯度参数；
结合所述初始学习模型、所述本地训练模型和所述梯度参数计算得到通信参数，所述通信参数计算过程中包含约束参数；
所述通信参数的计算公式如下：
式中：υ表示所述通信参数，表示所述梯度参数，y表示所述初始学习模型，Λ表示满秩矩阵，/>表示所述本地训练模型，ηt表示学习率，Υ表示调节因子，t表示训练轮次，r表示所述约束参数；
结合所述通信参数和所述本地训练模型计算微分稀疏正则化器，并生成所述约束参数的等式约束条件，所述等式约束条件为
所述微分稀疏正则化器的计算公式如下：
式中：表示所述微分稀疏正则化器；
基于所述等式约束条件生成所述通信参数的增广拉格朗日函数；
利用交替方向乘子法对所述增广拉格朗日函数中的参数进行更新迭代，并最终得到所述等式约束条件的求解结果；
根据所述求解结果归纳出所述梯度参数的类簇结构，得到压缩梯度参数；
将所述压缩梯度参数传输至所述服务端。
2.根据权利要求1所述的基于梯度聚类的联邦学习优化通信方法，其特征在于，所述满秩矩阵的表达公式如下：
3.根据权利要求1所述的基于梯度聚类的联邦学习优化通信方法，其特征在于，所述增广拉格朗日函数的表达公式如下：
式中：L表示所述增广拉格朗日函数，r表示所述约束参数，y表示权重参数、w表示对偶变量参数，ρ表示常量且ρ＞0。
4.根据权利要求3所述的基于梯度聚类的联邦学习优化通信方法，其特征在于，利用所述交替方向乘子法对所述约束参数进行更新迭代的计算公式如下：
式中：rj+1表示更新后的所述约束参数，yj表示初始权重参数，wj表示初始对偶变量参数，Prox表示近端算子；
利用所述交替方向乘子法对所述权重参数进行更新迭代的计算公式如下：
式中：P表示特征矩阵，I表示单位矩阵，yj+1表示更新后的所述权重参数；
利用所述交替方向乘子法对所述对偶变量参数进行更新迭代的计算公式如下：
式中：wj+1表示更新后的所述对偶变量参数。
5.一种基于梯度聚类的联邦学习优化通信系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的方法。
6.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311035419.6A CN117216596B (zh) | 2023-08-16 | 2023-08-16 | 基于梯度聚类的联邦学习优化通信方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311035419.6A CN117216596B (zh) | 2023-08-16 | 2023-08-16 | 基于梯度聚类的联邦学习优化通信方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117216596A CN117216596A (zh) | 2023-12-12 |
| CN117216596B true CN117216596B (zh) | 2024-04-30 |
Family
ID=89037872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311035419.6A Active CN117216596B (zh) | 2023-08-16 | 2023-08-16 | 基于梯度聚类的联邦学习优化通信方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117216596B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112825132A (zh) * | 2019-11-21 | 2021-05-21 | 腾讯美国有限责任公司 | 用于生成特征图的方法、装置和可读存储介质 |
| CN113222179A (zh) * | 2021-03-18 | 2021-08-06 | 北京邮电大学 | 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 |
| CN115278709A (zh) * | 2022-07-29 | 2022-11-01 | 南京理工大学 | 一种基于联邦学习的通信优化方法 |
| CN115796271A (zh) * | 2022-11-11 | 2023-03-14 | 中国科学技术大学苏州高等研究院 | 基于客户端选择和梯度压缩的联邦学习方法 |
| CN115840900A (zh) * | 2022-09-16 | 2023-03-24 | 河海大学 | 一种基于自适应聚类分层的个性化联邦学习方法及系统 |
| CN116192209A (zh) * | 2023-03-03 | 2023-05-30 | 电子科技大学 | 一种mimo信道下空中计算联邦学习的梯度上传方法 |
| CN116542322A (zh) * | 2023-04-28 | 2023-08-04 | 河南师范大学 | 一种联邦学习方法 |
-
2023
- 2023-08-16 CN CN202311035419.6A patent/CN117216596B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112825132A (zh) * | 2019-11-21 | 2021-05-21 | 腾讯美国有限责任公司 | 用于生成特征图的方法、装置和可读存储介质 |
| CN113222179A (zh) * | 2021-03-18 | 2021-08-06 | 北京邮电大学 | 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 |
| CN115278709A (zh) * | 2022-07-29 | 2022-11-01 | 南京理工大学 | 一种基于联邦学习的通信优化方法 |
| CN115840900A (zh) * | 2022-09-16 | 2023-03-24 | 河海大学 | 一种基于自适应聚类分层的个性化联邦学习方法及系统 |
| CN115796271A (zh) * | 2022-11-11 | 2023-03-14 | 中国科学技术大学苏州高等研究院 | 基于客户端选择和梯度压缩的联邦学习方法 |
| CN116192209A (zh) * | 2023-03-03 | 2023-05-30 | 电子科技大学 | 一种mimo信道下空中计算联邦学习的梯度上传方法 |
| CN116542322A (zh) * | 2023-04-28 | 2023-08-04 | 河南师范大学 | 一种联邦学习方法 |
Non-Patent Citations (1)
| Title |
|---|
| "提升联邦学习通信效率的梯度压缩算法";田金箫;《计算机系统应用》;20220628;第31卷(第10期);199-205 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117216596A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kang et al. | Forget-free continual learning with winning subnetworks | |
| CN111247537B (zh) | 有效存储稀疏神经网络和稀疏卷积神经网络的方法及系统 | |
| WO2020094060A1 (zh) | 推荐方法及装置 | |
| CN106297774B (zh) | 一种神经网络声学模型的分布式并行训练方法及系统 | |
| US11436065B2 (en) | System for efficient large-scale data distribution in distributed and parallel processing environment | |
| Li et al. | Efficient and accurate conversion of spiking neural network with burst spikes | |
| Lee et al. | Tornadoaggregate: Accurate and scalable federated learning via the ring-based architecture | |
| CN109840154B (zh) | 一种移动云环境下基于任务依赖的计算迁移方法 | |
| US20170132515A1 (en) | Learning system, learning program, and learning method | |
| Liu et al. | Resource-constrained federated edge learning with heterogeneous data: Formulation and analysis | |
| CN113595993B (zh) | 边缘计算下模型结构优化的车载感知设备联合学习方法 | |
| Liu et al. | Finch: Enhancing federated learning with hierarchical neural architecture search | |
| CN113392919A (zh) | 基于客户端选择的联邦注意力dbn协同检测系统 | |
| Sun et al. | Efficient federated learning via local adaptive amended optimizer with linear speedup | |
| Luo et al. | A novel adaptive gradient compression scheme: Reducing the communication overhead for distributed deep learning in the Internet of Things | |
| CN115879542A (zh) | 一种面向非独立同分布异构数据的联邦学习方法 | |
| Xie et al. | Accurate and fast recovery of network monitoring data: A gpu accelerated matrix completion | |
| Fan et al. | Cb-dsl: Communication-efficient and byzantine-robust distributed swarm learning on non-iid data | |
| Liu et al. | Online graph regularized non-negative matrix factorization for large-scale datasets | |
| CN117216596B (zh) | 基于梯度聚类的联邦学习优化通信方法、系统及存储介质 | |
| CN117875454A (zh) | 一种基于多级智联的数据异构性联邦学习方法及存储介质 | |
| Liu et al. | Fedcd: A hybrid federated learning framework for efficient training with iot devices | |
| Zhang et al. | Dpp-based client selection for federated learning with non-iid data | |
| Nanor et al. | FedSULP: A communication-efficient federated learning framework with selective updating and loss penalization | |
| CN111788584A (zh) | 一种神经网络计算方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |