CN113988308A - 一种基于延迟补偿机制的异步联邦梯度平均算法 - Google Patents
一种基于延迟补偿机制的异步联邦梯度平均算法 Download PDFInfo
- Publication number
- CN113988308A CN113988308A CN202111252128.3A CN202111252128A CN113988308A CN 113988308 A CN113988308 A CN 113988308A CN 202111252128 A CN202111252128 A CN 202111252128A CN 113988308 A CN113988308 A CN 113988308A
- Authority
- CN
- China
- Prior art keywords
- gradient
- central server
- global model
- asynchronous
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012935 Averaging Methods 0.000 title claims description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 70
- 230000006870 function Effects 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 31
- 230000003044 adaptive effect Effects 0.000 claims description 21
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000001360 synchronised effect Effects 0.000 description 5
- 208000026753 anterior segment dysgenesis Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于延迟补偿机制的异步联邦梯度平均算法，涉及机器学习技术领域。该算法一方面将梯度数据加密后上传，使得中央服务器无法获得本地客户端的真实原始数据，提高了数据安全性；另一方面通过设置一个超参数和自适应函数，实现该超参数根据梯度数据异步上传过程中产生的延时周期进行动态调整。在不引入额外复杂计算的情况下，将该自适应超参数作为全局模型的权重，利用加权平均，实现通过调整超参数的值达到减小全局模型误差的目的。第三方面将泰勒展开以及Hession近似相结合，为了更快捷方便地计算出泰勒展开下的Hession矩阵，本发明找到了一个Hession矩阵的近似器，在不损失模型精度的前提下只计算一阶梯度信息，几乎不增加存储代价。
Description
技术领域
本发明涉及机器学习技术领域，具体涉及一种基于延迟补偿机制的异步联邦梯度平均算法。
背景技术
联邦学习是一种分布式机器学习技术，其目的是在保证数据隐私安全及合法合规的基础上，实现多个本地客户端共同建模，提升共建AI模型的效果，同时打破数据孤岛。针对用户数据，中央服务器只收集参与训练的各本地客户端(终端设备)训练完局部模型上传的梯度信息，而不是上传用户原始数据。
联邦梯度平均算法实现了分布式联邦学习场景下如何进行梯度计算。目前大多数的联邦梯度平均算法一般采用同步的方法，也就是将参与训练的全部本地客户端训练完局部模型获得的本地梯度数据统一同步上传到中央服务器后，再在中央服务器使用梯度下降算法训练全局模型。当处理大批量终端设备场景下，由于同步进入的设备过多会导致中央服务器端的网络阻塞，因此中央服务器仅限于从可用设备的子集中选择若干设备以触发训练任务，从而同步联邦梯度平均算法只能并行处理数百台设备，存在着不可拓展以及各设备与中央服务器的通信不可靠且缓慢，无法适用于终端设备数量较多的场景，低效和不灵活的问题。因此，一些研究者开始使用异步框架算法，无需参与训练的全部本地客户端集中同步上传其各自的梯度信息，而是参与训练的各本地客户端训练完模型以后直接将产生的本地梯度信息异步上传到中央服务器，再在中央服务器中使用梯度下降算法训练全局模型。但是由于通过异步的方式上传的本地梯度数据，对中央服务器而言是有延迟的，称之为延时梯度。也就是说中央服务器已经根据当前接收的其他客户端上传的梯度信息更新过全局模型了。由于存在延迟梯度，使得全局模型的更新过程使用的梯度数据不完整，在训练的过程中会导致梯度爆炸，不能收敛到最优解，最终导致训练失败。
发明内容
针对现有技术存在的问题，本发明提供了一种基于延迟补偿机制的异步联邦梯度平均算法，旨在提高联邦学习并发接入终端设备的能力和提高异步联邦梯度平均算法的精度。
本发明的技术方案是：
一种基于延迟补偿机制的异步联邦梯度平均算法，该算法包括如下步骤：
步骤1：中央服务器与参与模型训练的各本地客户端进行通讯，触发模型训练任务；
步骤2：所述中央服务器通知所述各本地客户端从所述中央服务器下载最新全局模型；
步骤3：每一所述本地客户端利用本地数据对其在当前第t计算周期从所述中央服务器下载的最新全局模型wt进行更新，获得本地最新的局部模型及其梯度信息g′(wt)；
步骤4：每一所述本地客户端对本地最新的梯度信息g′(wt)进行加密，获得本地的加密梯度信息g(wt)；
步骤5：参与模型训练的每一本地客户端将第t计算周期中产生的本地加密梯度信息g(wt)异步上传到中央服务器，中央服务器接收到本地客户端异步上传的本地加密梯度信息时，所述中央服务器已经接收其他客户端上传的加密梯度信息，训练了τ个计算周期，此时中央服务器已经得到t+τ计算周期的全局模型wt+τ，训练下一个计算周期也就是t+τ+1周期的全局模型wt+τ+1，训练t+τ+1计算周期的全局模型wt+τ+1需要用到g(wt+τ)，因此相对于接收到的本地客户端上传的加密梯度信息g(wt)，产生的延迟计算周期为τ，产生的延迟梯度为g(wt+τ)-g(wt)；
步骤6：在中央服务器设置一个自适应超参数α以及自适应函数，通过所述自适应函数实现自适应超参数α数值的大小自适应动态调整，且以超参数α作为权重对中央服务器中已有的全局模型进行加权平均，中央服务器在延时计算周期τ，也就是训练了t+τ个计算周期的基础上，计算获得下一个计算周期也就是t+τ+1计算周期的全局模型；
步骤7：对步骤6中获得的第t+τ+1计算周期的全局模型wt+τ+1中的梯度函数使用泰勒一阶展开，进行延时梯度补偿；
步骤8：对步骤7泰勒展开计算结果中的Hessian矩阵进行近似计算；
步骤9：综合步骤6、步骤7和步骤8的结果，获得全局模型的更新规则；
步骤10：中央服务器通过所述全局模型的更新规则来更新第t+τ+1计算周期的全局模型wt+τ+1；
步骤11：假设联邦学习的计算周期总数为T，从t＝0开始不断重复步骤1-10，直到执行完T计算周期。
进一步地，根据所述的基于延迟补偿机制的异步联邦梯度平均算法，所述自适应超参数α分布于(0～1)。
进一步地，根据所述的基于延迟补偿机制的异步联邦梯度平均算法，所述自适应函数为：
其中，t代表第t计算周期；τ代表延迟的计算周期数。
进一步地，根据所述的基于延迟补偿机制的异步联邦梯度平均算法，所述通过所述自适应函数实现自适应超参数α数值的大小自适应动态调整如下式：
αt＝α×sτ
其中，αt为自适应超参数α在第t+τ计算周期通过自适应函数sτ调整得到的具体数值。
进一步地，根据所述的基于延迟补偿机制的异步联邦梯度平均算法，按照公式(1)以超参数α作为权重对中央服务器中已有的全局模型进行加权平均，获得带有延迟参数的全局模：
wt+τ+1＝(1-αt)wt+τ+αt*wt+1-η*g(wt+τ) (1)
上式中，wt+τ+1为第t+τ+1计算周期获得的全局模型；wt+1为第t+1计算周期获得的全局模型；wt+τ为第t+τ计算周期获得的全局模型；η为学习率。
进一步地，根据所述的基于延迟补偿机制的异步联邦梯度平均算法，按照公式(5)对步骤6中获得的第t+τ+1计算周期的全局模型wt+τ+1中的梯度函数g(wt+τ)使用泰勒一阶展开，将g(wt+τ)用g(wt)进行表示，实现延时梯度补偿：
其中，g(wt+τ)为t+τ计算周期的梯度信息g(wt+τ)。
进一步地，根据所述的基于延迟补偿机制的异步联邦梯度平均算法，所述对步骤7泰勒展开计算结果中的Hessian矩阵进行近似计算的方法为：利用矩阵的乘积运算和设置一个影响因子λ，通过修改λ的值对Hession矩阵进行公式(6)所示的有效近似计算：
进一步地，根据所述的基于延迟补偿机制的异步联邦梯度平均算法，所述全局模型的更新规则如式(7)所示：
wt+τ+1＝(1-αt)wt+τ+αt*wt+1-η*(g(wt)+λg(wt)⊙g(wt)⊙(wt+τ-wt)) (7)
与现有技术相比，本发明具有如下有益效果：
(1)本地客户端训练后的局部模型只上传梯度信息，而在梯度数据上传到中央服务器之前，利用加密算法对要上传的梯度进行加密，中央服务器无法获得本地客户端的真实原始数据，使得数据安全性大大提高；
(2)本发明使用异步上传梯度信息的方式，中央服务器不必每次都得等所有本地设备训练完局部模型后再将加密的梯度信息集中上传到中央服务器，解决了联邦学习场景下中央服务器与本地客户端连接不稳定不能及时上传梯度信息的问题，在提升精度的同时也大大提升了效率；
(3)本发明通过设置一个超参数以及找到了一个该超参数的自适应函数，实现该超参数可以根据梯度信息异步上传过程中产生的延时周期进行动态调整。在不引入额外复杂计算的情况下，将该自适应超参数作为已有全局模型的权重，利用加权平均，实现通过调整超参数的值达到减小全局模型误差的目的。
(4)本发明将泰勒展开以及Hession近似相结合起来，为了能够更快捷方便地计算出泰勒一阶展开下产生的Hession矩阵，本发明找到了一个Hession矩阵的近似器，通过计算近似结果，在不损失模型精度的前提下只计算一次梯度信息，几乎不增加存储代价。
附图说明
图1为本实施方式基于延迟补偿机制的异步联邦梯度平均算法的流程示意图；
图2为同步联邦梯度平均算法的流程示意图；
图3为异步联邦梯度平均算法的流程示意图；
图4(a)为滞时周期τ≤4时本发明算法与其他现有的联邦学习梯度平均方法的检测结果对比图；(b)为滞时周期τ≤16时本发明算法与其他现有的联邦学习梯度平均方法的检测结果对比图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
图1是本发明的基于延迟补偿机制的异步联邦梯度平均算法的流程图。下面结合图1对该方法做详细描述，如图1所示，该方法包括如下步骤：
步骤1：中央服务器与参与模型训练的各本地客户端进行通讯，触发模型训练任务。
步骤2：所述中央服务器通知所述各本地客户端从所述中央服务器下载最新全局模型。
步骤3：每一所述本地客户端利用本地数据对其在当前第t计算周期从所述中央服务器下载的最新全局模型wt进行更新，获得本地最新的局部模型及其梯度信息g′(wt)。
在本实施方式，本地客户端首先从中央服务器下载当前t计算周期最新的全局模型wt，然后本地客户端利用本地数据对该模型Wnew进行更新，获得本地当前t计算周期最新的局部模型及其梯度信息g′(wt)。
步骤4：每一所述本地客户端对本地最新的梯度信息g′(wt)进行加密，获得本地的加密梯度信息g(wt)。
所述本地客户端可以利用例如同态加密、差分隐私等加密算法对本地最新的梯度信息g′(wt)进行加密，获得加密后的本地梯度信息g(wt)。
步骤5：参与模型训练的各本地客户端将第t个计算周期中产生的本地加密梯度信息异步上传到中央服务器，异步上传时产生的延迟周期为τ。
具体而言，本地客户端与中央服务器进行通信，本地客户端以异步的方式上传中央服务器在第t计算周期加密后的本地梯度信息g(wt)。其中异步是指：每个本地客户端计算完自己的加密梯度信息后就直接将其推送到中央服务器上，中央服务器接收到某个本地客户端推送的加密梯度信息后，中央服务器就直接更新全局模型，而不需等待其他的本地客户端推送梯度信息，也就是说中央服务器不需等待参与模型训练的所有本地客户端训练完梯度信息，再将这些梯度信息集中上传到中央服务器，同步去更新中央服务器的全局模型。由于本地客户端上传给中央服务器的数据都是加密后的梯度信息，中央服务器得到的是数据的特征参数，而不是具体的原始数据，这样保护了用户本地数据的安全。但是由于是通过异步方式上传本地的加密梯度信息，因此中央服务器在更新全局模型时存在延迟计算周期τ，且τ越大，更新的全局模型误差越大。
步骤6：在中央服务器设置一个分布于(0～1)的自适应超参数α和对应的自适应函数，通过所述自适应函数实现自适应超参数α数值大小的自适应动态调整，且以超参数α作为权重对中央服务器中现有的全局模型进行加权平均，获得第t+τ+1计算周期的带有延迟参数τ的全局模型wt+τ+1。
为解决延时计算周期τ给全局模型更新带来的延时梯度问题，本实施方式在中央服务器设置一个分布于(0～1)的自适应超参数α和对应的自适应函数，且以超参数α作为权重，并通过对应的自适应函数来实现权重的自适应动态调整。根据权重和公式(1)中央服务器对其现有的全局模型进行加权平均，获得第t+τ+1计算周期的带有延迟参数的全局模型。
wt+τ+1＝(1-αt)wt+τ+αt*wt+1-η*g(wt+τ) (1)
上式中，wt+τ+1为第t+τ+1计算周期获得的全局模型；wt+1为第t+1计算周期获得的全局模型；wt+τ为第t+τ计算周期获得的全局模型；η为学习率；αt为自适应超参数α按照公式(2)在第t+τ计算周期通过公式(3)所示的自适应函数sτ得到的具体数值；
αt＝α×sτ (2)
在同步的情况下，如图2所示，所有参与训练的本地客户端在第t计算周期拉取中央服务器的全局模型wt，在本地训练后将得到的本地梯度信息加密后统一上传到中央服务器，进行下一轮也就是训练t+1计算周期的全局模型wt+1。
由于本发明方法采用异步上传梯度信息的方式，所以当某一本地客户端在t计算周期拉取中央服务器的全局模型wt后，通过计算得到相应的加密梯度信息g(wt)并且上传到中央服务器这一过程的时间段内，其他客户端已经向中央服务器上传了其训练完的加密梯度信息，如图3所示，中央服务器的全局模型因此已经训练了τ轮，此时中央服务器的计算周期应为t+τ，因此本地客户端通过训练t计算周期下的全局模型wt得到的加密梯度信息g(wt)用于参加中央服务器训练了τ轮以后的全局模型wt+τ的下一轮训练也就是t+τ+1轮的全局模型wt+τ+1的训练，产生了延迟梯度，也就是g(wt+τ)-g(wt)。
步骤7：对步骤6中获得的第t+τ+1计算周期的全局模型wt+τ+1中的梯度函数使用泰勒一阶展开，进行延时梯度补偿。
如果本地客户端通过同步方式上传本地客户端加密后的梯度信息就不会存在延迟计算周期τ，中央服务器在t计算周期接收到本地客户端上传的加密梯度信息g(wt)后，通过公式(4)来更新下一计算周期也就是t+1计算周期的全局模型：
wt+1＝wt+1-η*g(wt) (4)
而在本实施方式中本地客户端是异步上传加密后的梯度信息g(wt)，当服务器接收到本地客户端上传的加密梯度信息g(wt)时，产生了延迟周期τ，也就是中央服务器已经利用其他本地客户端上传的梯度信息对全局模型完成了τ计算周期的更新，此时中央服务器上的全局模型已经是wt+τ，若要获得下一个计算周期的全局模型wt+τ+1，按照公式(4)应该是需要更新t+τ计算周期的梯度信息g(wt+τ)，然而现在本地客户端只上传了g(wt)，因此产生了延迟梯度，对全局模型的精度将产生影响，在训练过程中误差不断累加将导致全局模型不能收敛到最优解。为了减小延迟梯度对全局模型精度产生的影响，本实施方式按照公式(5)对梯度函数g(wt+τ)使用泰勒一阶展开，将g(wt+τ)用g(wt)进行表示，实现延时梯度补偿。
由于使用高阶泰勒展开将会使得需要计算矩阵的复杂程度将大大提升，收敛速度得不到保障。因此本实施方式对g(wt+τ)进行泰勒一阶展开。
步骤8：对步骤7泰勒展开计算结果中的Hessian矩阵进行近似计算；
具体而言，对于公式(5)中
是指g(wt)的梯度，梯度函数g(wt)的一阶导数对应于原全局模型wt的二阶导数，就是梯度的梯度，也就是Hession矩阵。Hession矩阵计算和存储复杂度都是极高的。
通过利用矩阵的乘积运算和设置一个影响因子λ，可以通过修改λ的值就可以对Hession矩阵进行公式(6)所示的有效近似计算：
步骤9：综合步骤6、步骤7和步骤8的结果，获得全局模型的更新规则；
结合公式(1)、(5)、(6)，获得公式(7)所示的全局模型的更新规则：
wt+τ+1＝(1-αt)wt+τ+αt*wt+1-η*(g(wt)+λg(wt)⊙g(wt)⊙(wt+τ-wt)) (7)
步骤10：在第t个计算周期中，本地客户端将本地的加密梯度信息g(wt)上传中央服务器后，由于存在延时计算周期τ，中央服务器已经更新过τ个计算周期，因此中央服务器通过所述全局模型的更新规则来更新下一个计算周期t+τ+1计算周期的全局模型wt+τ+1。
步骤11：假设联邦学习的计算周期总数为T，从t＝0开始不断重复步骤1-10，直到执行完T计算周期。
图4是本发明算法与其他现有的联邦学习梯度平均方法的检测结果对比图。在CIFAR-10数据集上，设置本地客户端的数量为100，利用DNN算法进行建模，对该数据集进行训练。其中，纵坐标表示模型的准确率，横坐标表示应用到全局模型的梯度数量。在图4中，FedDgd是指本发明基于延迟补偿机制的异步联邦梯度平均算法的英文缩写，FedDgd-a后面a的值是指超参数α的值，FedAvg代表同步联邦平均梯度算法。ASGD是指异步随机梯度下降算法。图4(a)为滞时周期τ≤4的情况，图4(b)为滞时周期τ≤16的情况，设置α＝0.6和0.9进行直观对比，从结果图可以看出，本发明在滞时性较大的情况下超参数α可以提高准确率。当把α设置成一个特殊值0时，超参数失去作用，此时与同步联邦平均梯度算法FedAvg和异步随机下降算法ASGD进行比较可以得出本发明的梯度补偿机制可以有效提高全局模型的准确率。
应当理解的是，本领域技术人员在本发明技术构思的启发下，在不脱离本发明内容的基础上，可以根据上述说明做出各种改进或变换，这仍落在本发明的保护范围之内。
Claims (8)
1.一种基于延迟补偿机制的异步联邦梯度平均算法，其特征在于，该算法包括如下步骤：
步骤1：中央服务器与参与模型训练的各本地客户端进行通讯，触发模型训练任务；
步骤2：所述中央服务器通知所述各本地客户端从所述中央服务器下载最新全局模型；
步骤3：每一所述本地客户端利用本地数据对其在当前第t计算周期从所述中央服务器下载的最新全局模型wt进行更新，获得本地最新的局部模型及其梯度信息g′(wt)；
步骤4：每一所述本地客户端对本地最新的梯度信息g′(wt)进行加密，获得本地的加密梯度信息g(wt)；
步骤5：参与模型训练的每一本地客户端将第t计算周期中产生的本地加密梯度信息g(wt)异步上传到中央服务器，参与模型训练的本地客户端异步上传本地加密梯度信息时，与中央服务器产生相对的延迟计算周期τ，产生的延迟梯度为g(wt+τ)-g(wt)；
步骤6：在中央服务器设置一个自适应超参数α以及自适应函数，通过所述自适应函数实现自适应超参数α数值大小的自适应动态调整，且以超参数α作为权重对中央服务器中已有的全局模型进行加权平均，中央服务器在延时计算周期τ基础上，计算获得下一个计算周期t+τ+1计算周期的全局模型；
步骤7：对步骤6中获得的第τ+τ+1计算周期的全局模型wt+τ+1中的梯度函数使用泰勒一阶展开，进行延时梯度补偿；
步骤8：对步骤7泰勒展开计算结果中的Hessian矩阵进行近似计算；
步骤9：综合步骤6、步骤7和步骤8的结果，获得全局模型的更新规则；
步骤10：中央服务器通过所述全局模型的更新规则来更新第t+τ+1计算周期的全局模型wt+τ+1；
步骤11：假设联邦学习的计算周期总数为T，从t＝0开始不断重复步骤1-10，直到执行完T计算周期。
2.根据权利要求1所述的基于延迟补偿机制的异步联邦梯度平均算法，其特征在于，所述自适应超参数α分布于(0～1)。
3.根据权利要求1所述的基于延迟补偿机制的异步联邦梯度平均算法，其特征在于，所述自适应函数为：
其中，t代表第t计算周期；τ代表延迟的计算周期数。
4.根据权利要求2所述的基于延迟补偿机制的异步联邦梯度平均算法，其特征在于，所述通过所述自适应函数实现自适应超参数α数值大小的自适应动态调整如下式：
αt＝α×sτ
其中，at为自适应超参数α在第t+τ计算周期通过自适应函数Sτ调整得到的具体数值。
5.根据权利要求3所述的基于延迟补偿机制的异步联邦梯度平均算法，其特征在于，按照公式(1)以超参数α作为权重对中央服务器中已有的全局模型进行加权平均，获得带有延迟参数的全局模型：
wt+τ+1＝(1-αt)wt+τ+αt*wt+1-η*g(wt) (1)
上式中，wt+τ+1为第t+τ+1计算周期获得的全局模型；wt+1为第t+1计算周期获得的全局模型；wt+τ为第t+τ计算周期获得的全局模型；η为学习率。
6.根据权利要求5所述的基于延迟补偿机制的异步联邦梯度平均算法，其特征在于，按照公式(5)对对步骤6中获得的第t+τ+1计算周期的全局模型wt+τ+1中的梯度函数g(wt+τ)使用泰勒一阶展开，将g(wt+τ)用g(wt)进行表示，实现延时梯度补偿：
其中，g(wt+τ)为t+τ计算周期的梯度信息g(wt+τ)。
7.根据权利要求6所述的基于延迟补偿机制的异步联邦梯度平均算法，其特征在于，所述对步骤7泰勒展开计算结果中的Hessian矩阵进行近似计算的方法为：利用矩阵的乘积运算和设置一个影响因子λ，通过修改λ的值对Hession矩阵进行公式(6)所示的有效近似计算：
8.根据权利要求7所述的基于延迟补偿机制的异步联邦梯度平均算法，其特征在于，所述全局模型的更新规则如式(7)所示：
wt+τ+1＝(1-αt)wt+τ+αt*wt+1-η*(g(wt)+λg(wt)⊙g(wt)⊙(wt+τ-wt)) (7)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111252128.3A CN113988308A (zh) | 2021-10-27 | 2021-10-27 | 一种基于延迟补偿机制的异步联邦梯度平均算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111252128.3A CN113988308A (zh) | 2021-10-27 | 2021-10-27 | 一种基于延迟补偿机制的异步联邦梯度平均算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113988308A true CN113988308A (zh) | 2022-01-28 |
Family
ID=79742144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111252128.3A Pending CN113988308A (zh) | 2021-10-27 | 2021-10-27 | 一种基于延迟补偿机制的异步联邦梯度平均算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113988308A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117151208A (zh) * | 2023-08-07 | 2023-12-01 | 大连理工大学 | 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质 |
| CN117436515A (zh) * | 2023-12-07 | 2024-01-23 | 四川警察学院 | 联邦学习方法、系统、装置以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010050592A1 (en) * | 1999-07-13 | 2001-12-13 | Wright Andrew S. | Amplifier measurement and modeling processes for use in generating predistortion parameters |
| US20200034740A1 (en) * | 2017-08-01 | 2020-01-30 | Alibaba Group Holding Limited | Method and apparatus for encrypting data, method and apparatus for training machine learning model, and electronic device |
| CN113011602A (zh) * | 2021-03-03 | 2021-06-22 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
| CN113011599A (zh) * | 2021-03-23 | 2021-06-22 | 上海嗨普智能信息科技股份有限公司 | 基于异构数据的联邦学习系统 |
| CN113435604A (zh) * | 2021-06-16 | 2021-09-24 | 清华大学 | 一种联邦学习优化方法及装置 |
-
2021
- 2021-10-27 CN CN202111252128.3A patent/CN113988308A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010050592A1 (en) * | 1999-07-13 | 2001-12-13 | Wright Andrew S. | Amplifier measurement and modeling processes for use in generating predistortion parameters |
| US20200034740A1 (en) * | 2017-08-01 | 2020-01-30 | Alibaba Group Holding Limited | Method and apparatus for encrypting data, method and apparatus for training machine learning model, and electronic device |
| CN113011602A (zh) * | 2021-03-03 | 2021-06-22 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
| CN113011599A (zh) * | 2021-03-23 | 2021-06-22 | 上海嗨普智能信息科技股份有限公司 | 基于异构数据的联邦学习系统 |
| CN113435604A (zh) * | 2021-06-16 | 2021-09-24 | 清华大学 | 一种联邦学习优化方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 高胜等: "一种基于区块链的隐私保护异步联邦学习", 《信息科学》, 14 October 2021 (2021-10-14) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117151208A (zh) * | 2023-08-07 | 2023-12-01 | 大连理工大学 | 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质 |
| CN117151208B (zh) * | 2023-08-07 | 2024-03-22 | 大连理工大学 | 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质 |
| CN117436515A (zh) * | 2023-12-07 | 2024-01-23 | 四川警察学院 | 联邦学习方法、系统、装置以及存储介质 |
| CN117436515B (zh) * | 2023-12-07 | 2024-03-12 | 四川警察学院 | 联邦学习方法、系统、装置以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113988308A (zh) | 一种基于延迟补偿机制的异步联邦梯度平均算法 | |
| Chen et al. | Kernel least mean square with adaptive kernel size | |
| CN111353582B (zh) | 一种基于粒子群算法的分布式深度学习参数更新方法 | |
| CN113112027A (zh) | 一种基于动态调整模型聚合权重的联邦学习方法 | |
| CN106684885B (zh) | 基于多场景分析的风电机组配电网无功优化方法 | |
| CN108153259B (zh) | 一种基于卡尔曼滤波的多控制器最优状态估计控制策略设计方法 | |
| Wang et al. | Event-triggered consensus control for second-order multi-agent system subject to saturation and time delay | |
| CN116781369B (zh) | 一种基于参数不确定惯性神经网络的图像加密方法及系统 | |
| CN114398634A (zh) | 一种基于信息熵的联邦学习参与方权重计算方法 | |
| CN114169543A (zh) | 一种基于模型陈旧性与用户参与度感知的联邦学习算法 | |
| CN109981103A (zh) | 一种双二阶广义积分器锁频环的参数优化方法及系统 | |
| KR20200049422A (ko) | 시뮬레이션-가이드된 반복적 프루닝을 사용하는 효율적인 네트워크 압축 | |
| CN114545767A (zh) | 一种基于pid控制器的悬浮控制性能实时优化方法、装置 | |
| Peng et al. | SVRG for policy evaluation with fewer gradient evaluations | |
| Yang et al. | Horizontal federated learning | |
| CN108132600B (zh) | Mimo紧格式无模型控制器基于偏导信息的参数自整定方法 | |
| CN112749403B (zh) | 一种适用于边缘物联代理装置的边缘数据加密方法 | |
| Haghrah et al. | Analysis of incremental LMS adaptive algorithm over wireless sensor networks with delayed-links | |
| CN112702280A (zh) | 一种网络数据延迟控制方法 | |
| CN112861991A (zh) | 一种面向神经网络异步训练的学习率调整方法 | |
| Peng et al. | Maximum allowable equivalent delay bound of networked control systems | |
| CN116962588B (zh) | 基于比例时滞参数不确定神经网络的图像加密方法及系统 | |
| Zhao et al. | Adaptive dynamic programming-based state quantized networked control system without value and/or policy iterations | |
| Yuan et al. | Multi-sensor sequential fusion for random delay systems | |
| Wazzeh et al. | Towards cluster-based split federated learning approach for continuous user authentication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |