CN113011599B - 基于异构数据的联邦学习系统 - Google Patents

基于异构数据的联邦学习系统 Download PDF

Info

Publication number
CN113011599B
CN113011599B CN202110309164.2A CN202110309164A CN113011599B CN 113011599 B CN113011599 B CN 113011599B CN 202110309164 A CN202110309164 A CN 202110309164A CN 113011599 B CN113011599 B CN 113011599B
Authority
CN
China
Prior art keywords
local
global
client
control variable
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110309164.2A
Other languages
English (en)
Other versions
CN113011599A (zh
Inventor
蔡文渊
魏森辉
高明
顾海林
徐林昊
孙嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hipu Intelligent Information Technology Co ltd
East China Normal University
Original Assignee
Shanghai Hipu Intelligent Information Technology Co ltd
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hipu Intelligent Information Technology Co ltd, East China Normal University filed Critical Shanghai Hipu Intelligent Information Technology Co ltd
Priority to CN202110309164.2A priority Critical patent/CN113011599B/zh
Publication of CN113011599A publication Critical patent/CN113011599A/zh
Application granted granted Critical
Publication of CN113011599B publication Critical patent/CN113011599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Complex Calculations (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种基于异构数据的联邦学习系统，包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器，所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W，所述全局控制变量S用于记录本轮全局模型更新的方向；所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Si，所述本地控制变量Si用于记录客户端本次参与联邦学习训练的本地模型更新的方向，i的取值为1到K。本发明降低了基于异构数据的联邦学习的通信代价，提高了联邦学习收敛速度和收敛稳定性。

Description

基于异构数据的联邦学习系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于异构数据的联邦学习系统。
背景技术
联邦学习是一种特殊的分布式学习框架。主要用于解决数据孤岛的问题。在联邦学习中，数据是存在于各个本地客户端上的，所有的数据是不能聚集到某一个地方进行传统集中式学习的。现有的联邦学习中的联邦平均算法(简称FedAvg)因其简单性和低通信开销，成为了联邦学习领域首选的优化算法。现有的联邦平均算法适用于客户端数据集独立同分布的情况，然而在异构性较强的数据集上，联邦平均算法会由于客户端数据分布的差异产生收敛速度慢、收敛不稳定，通信代价高，甚至无法收敛等一系列技术问题，这主要是因为联邦平均算法在本地进行了多次更新，而这种方式会让全局模型的参数更新方向与理想的更新方向发生偏差，进而导致收敛速度缓慢。由此可知，如何提供一种适用于异构数据的联邦学习技术，降低基于异构数据的联邦学习的通信代价，提高收敛速度和收敛稳定性成为亟待解决的技术问题。
发明内容
本发明目的在于，提供一种基于异构数据的联邦学习系统，降低了基于异构数据的联邦学习的通信代价，提高了联邦学习收敛速度和收敛稳定性。
根据本发明第一方面，提供了一种基于异构数据的联邦学习系统，包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器，
所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W，所述全局控制变量S用于记录本轮全局模型更新的方向；
所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Si，所述本地控制变量Si用于记录客户端本次参与联邦学习训练的本地模型更新的方向，i的取值为1到K；
所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、初始化中央服务器的全局联邦模型的参数W0、全局控制变量S0、全局学习率ηg，初始化每一客户端的本地控制变量
Figure BDA0002989062530000021
本地学习率ηu，初始化t＝1；
步骤S2、在第t轮训练中，随机选择m个客户端，m<K,将t-1轮对应的全局模型参数wt-1和全局控制变量st-1发送给所有所选客户端，将每一所选客户端的当前本地模型yi参数更新为wt-1；
步骤S3、基于每一所选客户端的本地数据对yi进行本地模型训练，根据每一所选客户端上次参与联邦学习本地控制变量
Figure BDA0002989062530000022
预设的本地更新次数Qi、上一轮全局控制变量st-1获取本地模型训练过程中每一所选客户端在本轮训练得到的本地模型参数
Figure BDA0002989062530000023
用于表示本轮所有本地更新的梯度的模长的总和
Figure BDA0002989062530000024
和本轮本地控制变量
Figure BDA0002989062530000025
将
Figure BDA0002989062530000026
存储至对应客户端本地，其中，n表示截止第t轮训练所选客户端参与联邦学习的次数，x表示对应的联邦学习轮次，其中，n-1小于等于x；
步骤S4、所述服务器从每一所选客户端获取对应的
Figure BDA0002989062530000027
和
Figure BDA0002989062530000028
获取本轮全局模型参数Wt和全局控制变量St，然后将Wt和St更新存储至所述中央服务器中；
步骤S5、判断全局模型是否收敛，如果收敛，则停止模型训练，否则，令t＝t+1,返回步骤S2。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种基于异构数据的联邦学习系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：
本发明通过设置全局控制变量和本地控制变量，基于全局控制变量和本地控制变量更新模型，并基于每轮训练更新全局控制变量和本地控制变量，将更新的全局控制变量和本地控制变量参与下轮训练。本发明降低了基于异构数据的联邦学习的通信代价，提高了联邦学习的收敛速度和收敛稳定性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本发明实施例提供的客户端A的等高线示意图；
图2为本发明实施例提供的客户端B的等高线示意图；
图3为本发明实施例提供的基于异构数据的联邦学习系统示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种基于异构数据的联邦学习系统的具体实施方式及其功效，详细说明如后。
联邦学习主要分为横向联邦学习和纵向联邦学习，横向联邦学习适用于用户特征重叠较多而用户重叠较少的情况，本发明是针对横向联邦学习提出的改进。假设现在有客户端A和B，他们的数据集分布差异很大。A和B的代价函数Fk(w)关于模型参数w的曲线图非常不同，以下面两个函数为例(即w＝(x,y))，客户端A的等高线图f(x,y)＝x2+y2+10x的变化是比较平滑的，如图1所示，而客户端B的等高线图f(x,y)＝(sin(x))3*y+cos(x)*cos(10+y)的变化却是比较剧烈的，如图2所示。在这种情况下，现有的FedAvg已经被证明全局模型参数更新的位置会偏向于变化剧烈的客户端B，从而偏离理想的更新方向，导致收敛速度缓慢，收敛不稳定甚至无法收敛的问题。基于此，本发明实施例提供了一种基于异构数据的联邦学习系统，如图3所示，包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器，可以理解的是，存储器和处理器可以直接置于所述中央服务器中，也可以另设一台服务器单独设置。所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W，所述全局控制变量S用于记录本轮全局模型更新的方向。所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Si，所述本地控制变量Si用于记录客户端本次参与联邦学习训练的本地模型更新的方向，i的取值为1到K。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、初始化中央服务器的全局联邦模型的参数W0、全局控制变量S0、全局学习率ηg，初始化每一客户端的本地控制变量
Figure BDA0002989062530000041
本地学习率ηu，初始化t＝1；
步骤S2、在第t轮训练中，随机选择m个客户端，m<K,将t-1轮对应的全局模型参数wt-1和全局控制变量st-1发送给所有所选客户端，将每一所选客户端的当前本地模型yi参数更新为wt-1；
步骤S3、基于每一所选客户端的本地数据对yi进行本地模型训练，根据每一所选客户端上次参与联邦学习本地控制变量
Figure BDA0002989062530000042
预设的本地更新次数Qi、上一轮全局控制变量st-1获取本地模型训练过程中每一所选客户端在本轮训练得到的本地模型参数
Figure BDA0002989062530000043
用于表示本轮所有本地更新的梯度的模长的总和
Figure BDA0002989062530000044
和本轮本地控制变量
Figure BDA0002989062530000045
将
Figure BDA0002989062530000046
存储至对应客户端本地，其中，n表示截止第t轮训练所选客户端参与联邦学习的次数，x表示对应的联邦学习轮次，其中，n-1小于等于x；
步骤S4、所述服务器从每一所选客户端获取对应的
Figure BDA0002989062530000047
和
Figure BDA0002989062530000048
获取本轮全局模型参数Wt和全局控制变量St，然后将Wt和St更新存储至所述中央服务器中；
步骤S5、判断全局模型是否收敛，如果收敛，则停止模型训练，否则，令t＝t+1,返回步骤S2。
其中，可以采用现有的判断模型收敛的方法来判断全局模型是否收敛，在此不再展开描述。
本发明所述系统通过设置全局控制变量和本地控制变量，基于全局控制变量和本地控制变量更新模型，并基于每轮训练更新全局控制变量和本地控制变量，将更新的全局控制变量和本地控制变量参与下轮训练。本发明降低了基于异构数据的联邦学习的通信代价，提高了联邦学习的收敛速度和收敛稳定性。
作为一种实施例，所述步骤S1可包括：
步骤S11、随机初始化全局联邦模型的参数W0、全局控制变量W0、每一客户端的本地控制变量
Figure BDA0002989062530000051
其中，将W0、W0、
Figure BDA0002989062530000052
初始为随机值，后续训练迭代过程中会更新为每轮所对应的值。
步骤S12、将全局学习率ηg设置为第一预设数值，将每一客户端的本地全局学习率ηu分均设置为第二预设数值。
其中，全局学习率ηg和每一客户端的本地全局学习率ηu可以根据具体的模型训练需求来设置，作为一种示例，所述第一预设数值可设为0.01，所述第二预设数值可设为0.03。
作为一种实施例，所述步骤S3可包括：
步骤S31、将所选客户端的更新次数k初始化为1，
Figure BDA0002989062530000053
步骤S32、获取每一所选客户端第k次更新本地模型的损失函数值
Figure BDA0002989062530000054
基于
Figure BDA0002989062530000055
得到第k次更新本地模型对应的梯度
Figure BDA0002989062530000056
Figure BDA0002989062530000057
步骤S33、基于
Figure BDA0002989062530000058
ηu、st-1和
Figure BDA0002989062530000059
更新本地模型得到
Figure BDA00029890625300000510
Figure BDA00029890625300000511
步骤S34、判断k是否小于等于Qi，若是，则令k＝k+1，返回步骤S32，否则，将当前
Figure BDA00029890625300000512
确定为本轮训练得到的本地模型参数
Figure BDA00029890625300000513
作为一种实施例，可以将所选客户端的数据集划分批次，每次训练一个批次的数据进行本地模型更新，具体的，所述步骤S31中，可采用mini-batch SGD优化算法获取一次更新对应的gi(yi)，Fi(yi)表示所选客户端上的一个batch(批次)数据的损失函数值，其中，mini-batch SGD优化算法为现有算法，在此不再展开描述。
本发明实施例借助了全局控制变量和本地控制变量来缓解模型更新时偏离理想更新方向的问题。可以理解的是，FedAvg算法本地多次更新是没有限制，它只会专注在自己的数据上的更新，而忽略了其他客户端的更新情况，只顾局部不顾整体，那自然会导致整体的更新方向很曲折。而本发明实施例加入了全局控制变量和本地控制变量后就可以对每个客户端的本地更新施加限制，来控制住客户端的偏移。也就是说，在更新的过程中也会考虑到其他客户端更新的情况，进而调整自己的更新方向，此时本地模型开始顾全大局，因此整体的更新方向会与理想的方向比较接近。
作为一种实施例，所述步骤S3还可包括：
步骤S34、累加每一所选客户端更新本地模型时所有梯度的模长，得到本轮所有本地更新的梯度的模长的总和
Figure BDA0002989062530000061
Figure BDA0002989062530000062
需要说明的是，在客户端之间数据集独立同分布的情况下，每个客户端的累加梯度的模长是差不多的，FedAvg在这样的数据集上收敛效果良好，但是如果数据集不是独立同分布的，即是异构数据的情况下，还应该把不同客户端的累加梯度的模长考虑进来，累加模长越大，则该客户端在本轮通信中偏离理想的更新方向的程度越大，反之，则相对接近理想的更新方向。
作为一种实施例，所述步骤S3还科包括：
步骤S35、基于每一所选客户端对应的
Figure BDA0002989062530000071
和Qi获取对应的本轮本地控制变量
Figure BDA0002989062530000072
Figure BDA0002989062530000073
可以理解的是，得到每一所选客户端对应的本轮本地控制变量
Figure BDA0002989062530000074
后，更新存储至对应客户端中，供该客户端下次被选择为所选客户端时使用。本发明实施例对本轮更新时所用到的所有梯度进行加权平均来更新
Figure BDA0002989062530000075
显然越靠前的梯度相对于越靠后的梯度的加权系数应该要小，所以这里用将
Figure BDA0002989062530000076
设为
Figure BDA0002989062530000077
的加权系数。
作为一种实施例，所述步骤S4可包括：
步骤S41、基于
Figure BDA0002989062530000078
获取本轮全局模型参数Wt：
Figure BDA0002989062530000079
其中，N表示所有客户端的数据集大小之和，Ki表示客户端i的数据量。
需要说明的是，在更新全局模型参数wt，相比于FedAvg，本发明实施例还增加了一项
Figure BDA00029890625300000710
因为这里认为如果一个客户端在本地更新时偏移的程度较大，那么在更新全局参数时，应该降低它的参数所起的作用，所以这里乘以了
Figure BDA00029890625300000711
的倒数。
作为一种实施例，所述步骤S4还可包括：
步骤S42、基于K和
Figure BDA00029890625300000712
获取本轮全局控制变量St：
Figure BDA00029890625300000713
综上所述，当前最流行的联邦平均算法在异构数据集上的收敛速度缓慢，甚至无法收敛，这主要是因为客户端之间数据集的异构以及联邦平均算法本身的特点(即需要进行多次本地更新而造成的结果)。本发明实施例使用了全局控制变量、本地控制变量来限制本地更新时参数的偏移，以及用梯度模长之和的倒数来削减更新时偏差过大的客户端对全局模型参数更新的影响。因此本发明实施例的重点解决了联邦平均算法在异构数据集上收敛速度缓慢的问题，在一定程度上提高了联邦平均算法针对于数据非独立同分布的情况下的收敛速度，进而减少了全局模型收敛所需要的通信次数。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于异构数据的联邦学习系统，其特征在于，
包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器，所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W，所述全局控制变量S用于记录本轮全局模型更新的方向；所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Si，所述本地控制变量Si用于记录客户端本次参与联邦学习训练的本地模型更新的方向，i的取值为1到K；所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、初始化中央服务器的全局联邦模型的参数W0、全局控制变量S0、全局学习率ηg，初始化每一客户端的本地控制变量
Figure FDA0003975412350000011
本地学习率ηu，初始化t＝1；
步骤S2、在第t轮训练中，随机选择m个客户端，m<K,将t-1轮对应的全局模型参数wt-1和全局控制变量st-1发送给所有所选客户端，将每一所选客户端的当前本地模型yi参数更新为wt-1；
步骤S3、基于每一所选客户端的本地数据对yi进行本地模型训练，根据每一所选客户端上次参与联邦学习本地控制变量
Figure FDA0003975412350000012
预设的本地更新次数Qi、上一轮全局控制变量st-1获取本地模型训练过程中每一所选客户端在本轮训练得到的本地模型参数
Figure FDA0003975412350000013
用于表示本轮所有本地更新的梯度的模长的总和
Figure FDA0003975412350000014
和本轮本地控制变量
Figure FDA0003975412350000015
将
Figure FDA0003975412350000016
存储至对应客户端本地，其中，n表示截止第t轮训练所选客户端参与联邦学习的次数，x表示对应的联邦学习轮次，其中，n-1小于等于x；
步骤S4、所述服务器从每一所选客户端获取对应的
Figure FDA0003975412350000017
和
Figure FDA0003975412350000018
获取本轮全局模型参数Wt和全局控制变量St，然后将Wt和St更新存储至所述中央服务器中；
步骤S5、判断全局模型是否收敛，如果收敛，则停止模型训练，否则，令t＝t+1,返回步骤S2。
2.根据权利要求1所述的系统，其特征在于，
所述步骤S1包括：
步骤S11、随机初始化全局联邦模型的参数W0、全局控制变量S0、每一客户端的本地控制变量
Figure FDA0003975412350000021
步骤S12、将全局学习率ηg设置为第一预设数值，将每一客户端的本地全局学习率ηu均设置为第二预设数值。
3.根据权利要求2所述的系统，其特征在于，
所述第一预设数值为0.01，所述第二预设数值为0.03。
4.根据权利要求1所述的系统，其特征在于，
所述步骤S3中包括：
步骤S31、将所选客户端的更新次数k初始化为1，
Figure FDA0003975412350000022
步骤S32、获取每一所选客户端第k次更新本地模型的损失函数值
Figure FDA0003975412350000023
基于
Figure FDA0003975412350000024
得到第k次更新本地模型对应的梯度
Figure FDA0003975412350000025
Figure FDA0003975412350000026
步骤S33、基于
Figure FDA0003975412350000027
ηu、st-1和
Figure FDA0003975412350000028
更新本地模型得到
Figure FDA0003975412350000029
Figure FDA00039754123500000210
步骤S34、判断k是否小于等于Qi，若是，则令k＝k+1，返回步骤S32，否则，将当前
Figure FDA00039754123500000211
确定为本轮训练得到的本地模型参数
Figure FDA00039754123500000212
5.根据权利要求4所述的系统，其特征在于，
所述步骤S31中，采用mini-batch SGD优化算法获取一次更新对应的gi(yi)，Fi(yi)表示所选客户端上的一个batch数据的损失函数值。
6.根据权利要求4所述的系统，其特征在于，
所述步骤S3还包括：
步骤S34、累加每一所选客户端更新本地模型时所有梯度的模长，得到本轮所有本地更新的梯度的模长的总和
Figure FDA0003975412350000031
Figure FDA0003975412350000032
7.根据权利要求4所述的系统，其特征在于，
所述步骤S3还包括：
步骤S35、基于每一所选客户端对应的
Figure FDA0003975412350000033
和Qi获取对应的本轮本地控制变量
Figure FDA0003975412350000034
Figure FDA0003975412350000035
8.根据权利要求6所述的系统，其特征在于，
所述步骤S4包括：
步骤S41、基于
Figure FDA0003975412350000036
获取本轮全局模型参数Wt：
Figure FDA0003975412350000037
其中，N表示所有客户端的数据集大小之和，Ki表示客户端i的数据量。
9.根据权利要求7所述的系统，其特征在于，
所述步骤S4还包括：
步骤S42、基于K和
Figure FDA0003975412350000038
获取本轮全局控制变量St：
Figure FDA0003975412350000039
CN202110309164.2A 2021-03-23 2021-03-23 基于异构数据的联邦学习系统 Active CN113011599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110309164.2A CN113011599B (zh) 2021-03-23 2021-03-23 基于异构数据的联邦学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110309164.2A CN113011599B (zh) 2021-03-23 2021-03-23 基于异构数据的联邦学习系统

Publications (2)

Publication Number Publication Date
CN113011599A CN113011599A (zh) 2021-06-22
CN113011599B true CN113011599B (zh) 2023-02-28

Family

ID=76405502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110309164.2A Active CN113011599B (zh) 2021-03-23 2021-03-23 基于异构数据的联邦学习系统

Country Status (1)

Country Link
CN (1) CN113011599B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378474B (zh) * 2021-06-28 2022-09-20 华南理工大学 一种基于贡献量的联邦学习客户机选择方法、系统及介质
CN113518007B (zh) * 2021-07-06 2022-09-20 华东师范大学 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN113645197B (zh) * 2021-07-20 2022-04-29 华中科技大学 一种去中心化的联邦学习方法、装置及系统
CN113723619B (zh) * 2021-08-31 2024-06-21 南京大学 一种基于训练阶段感知策略的联邦学习训练方法
CN113762533B (zh) * 2021-09-07 2023-06-06 北京航空航天大学 无线边缘网络中对数据污染具有鲁棒性的联邦学习方法
CN114496274A (zh) * 2021-12-08 2022-05-13 杭州趣链科技有限公司 基于区块链的拜占庭鲁棒联邦学习方法和应用
CN114385376B (zh) * 2021-12-09 2024-05-31 北京理工大学 一种异构数据下边缘侧联邦学习的客户端选择方法
CN114492849B (zh) * 2022-01-24 2023-09-08 光大科技有限公司 一种基于联邦学习的模型更新方法及装置
CN114528304A (zh) * 2022-02-18 2022-05-24 安徽工业大学 一种自适应客户端参数更新的联邦学习方法、系统及存储介质
CN114513270B (zh) * 2022-03-07 2022-12-02 苏州大学 基于联邦学习的异构无线网络频谱资源感知方法及系统
CN114357526A (zh) * 2022-03-15 2022-04-15 中电云数智科技有限公司 抵御推断攻击的医疗诊断模型差分隐私联合训练方法
WO2023185485A1 (zh) * 2022-04-02 2023-10-05 西安电子科技大学 基于自适应分割联邦学习的模型训练方法和人脸识别方法
CN114781545B (zh) * 2022-05-10 2023-05-05 重庆大学 一种联邦学习方法及系统
CN115130683A (zh) * 2022-07-18 2022-09-30 山东大学 一种基于多代理模型的异步联邦学习方法及系统
CN115086399B (zh) * 2022-07-28 2022-12-06 深圳前海环融联易信息科技服务有限公司 基于超网络的联邦学习方法、装置及计算机设备
CN115145966B (zh) * 2022-09-05 2022-11-11 山东省计算中心（国家超级计算济南中心） 一种面向异构数据的对比联邦学习方法及系统
CN115660115A (zh) * 2022-11-11 2023-01-31 中国银联股份有限公司 一种联邦学习模型训练方法、装置、设备及存储介质
CN115829055B (zh) * 2022-12-08 2023-08-01 深圳大学 联邦学习模型训练方法、装置、计算机设备及存储介质
CN116911403B (zh) * 2023-06-06 2024-04-26 北京邮电大学 联邦学习的服务器和客户端的一体化训练方法及相关设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886417B (zh) * 2019-03-01 2024-05-03 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110380917B (zh) * 2019-08-26 2022-01-07 深圳前海微众银行股份有限公司 联邦学习系统的控制方法、装置、终端设备及存储介质
CN111461874A (zh) * 2020-04-13 2020-07-28 浙江大学 一种基于联邦模式的信贷风险控制系统及方法
CN111860581A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于模型离散度的联邦学习训练方法
CN111708640A (zh) * 2020-06-23 2020-09-25 苏州联电能源发展有限公司 一种面向边缘计算的联邦学习方法和系统
CN112183764A (zh) * 2020-10-12 2021-01-05 中国石油大学(华东) 一种基于区块链和联邦学习的物联网设备故障检测方法

Also Published As

Publication number Publication date
CN113011599A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113011599B (zh) 基于异构数据的联邦学习系统
CN109496305B (zh) 一种社交网络舆论演变方法
Tamar et al. Variance adjusted actor critic algorithms
US10931027B2 (en) Method for array elements arrangement of l-shaped array antenna based on inheritance of acquired character
Lee et al. Adaptive transmission scheduling in wireless networks for asynchronous federated learning
CN106850289B (zh) 结合高斯过程与强化学习的服务组合方法
CN113378474B (zh) 一种基于贡献量的联邦学习客户机选择方法、系统及介质
CN111950711A (zh) 复值前向神经网络的二阶混合构建方法及系统
Chalasani et al. Self-organizing maps with information theoretic learning
CN114925849A (zh) 一种图数据上的联邦学习优化方法
CN115272774A (zh) 基于改进自适应差分进化算法的对抗样本攻击方法及系统
CN115169575A (zh) 个性化联邦学习方法、电子设备及计算机可读存储介质
Huang et al. Distributed pruning towards tiny neural networks in federated learning
Li et al. Hyper-parameter tuning of federated learning based on particle swarm optimization
CN111275562A (zh) 基于递归卷积神经网络和自编码器的动态社区发现方法
CN109636609A (zh) 基于双向长短时记忆模型的股票推荐方法及系统
CN115695429A (zh) 面向Non-IID场景的联邦学习客户端选择方法
CN115903901A (zh) 内部状态未知的无人集群系统输出同步优化控制方法
CN114298319A (zh) 联合学习贡献值的确定方法、装置、电子设备及存储介质
CN108595843B (zh) 一种动态自适应的众创设计方案数据寻优方法
Elomda et al. MCDM method based on improved fuzzy decision map
CN117994635B (zh) 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统
Ningombam A Novel Exploration Technique For Multi-Agent Reinforcement Learning
Xu et al. Joint Recurrent Actor-Critic Model for Partially Observable Control
CN110162400B (zh) 复杂网络环境下实现mas系统中智能体合作的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant