CN113011599A - 基于异构数据的联邦学习系统 - Google Patents
基于异构数据的联邦学习系统 Download PDFInfo
- Publication number
- CN113011599A CN113011599A CN202110309164.2A CN202110309164A CN113011599A CN 113011599 A CN113011599 A CN 113011599A CN 202110309164 A CN202110309164 A CN 202110309164A CN 113011599 A CN113011599 A CN 113011599A
- Authority
- CN
- China
- Prior art keywords
- local
- global
- client
- model
- control variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer And Data Communications (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种基于异构数据的联邦学习系统,包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器,所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W,所述全局控制变量S用于记录本轮全局模型更新的方向;所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Si,所述本地控制变量Si用于记录客户端本次参与联邦学习训练的本地模型更新的方向,i的取值为1到K。本发明降低了基于异构数据的联邦学习的通信代价,提高了联邦学习收敛速度和收敛稳定性。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于异构数据的联邦学习系统。
背景技术
联邦学习是一种特殊的分布式学习框架。主要用于解决数据孤岛的问题。在联邦学习中,数据是存在于各个本地客户端上的,所有的数据是不能聚集到某一个地方进行传统集中式学习的。现有的联邦学习中的联邦平均算法(简称FedAvg)因其简单性和低通信开销,成为了联邦学习领域首选的优化算法。现有的联邦平均算法适用于客户端数据集独立同分布的情况,然而在异构性较强的数据集上,联邦平均算法会由于客户端数据分布的差异产生收敛速度慢、收敛不稳定,通信代价高,甚至无法收敛等一系列技术问题,这主要是因为联邦平均算法在本地进行了多次更新,而这种方式会让全局模型的参数更新方向与理想的更新方向发生偏差,进而导致收敛速度缓慢。由此可知,如何提供一种适用于异构数据的联邦学习技术,降低基于异构数据的联邦学习的通信代价,提高收敛速度和收敛稳定性成为亟待解决的技术问题。
发明内容
本发明目的在于,提供一种基于异构数据的联邦学习系统,降低了基于异构数据的联邦学习的通信代价,提高了联邦学习收敛速度和收敛稳定性。
根据本发明第一方面,提供了一种基于异构数据的联邦学习系统,包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器,
所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W,所述全局控制变量S用于记录本轮全局模型更新的方向;
所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Si,所述本地控制变量Si用于记录客户端本次参与联邦学习训练的本地模型更新的方向,i的取值为1到K;
所述处理器在执行所述计算机程序时,实现以下步骤:
步骤S2、在第t轮训练中,随机选择m个客户端,m<K,将t-1轮对应的全局模型参数wt-1和全局控制变量st-1发送给所有所选客户端,将每一所选客户端的当前本地模型yi参数更新为wt-1;
步骤S3、基于每一所选客户端的本地数据对yi进行本地模型训练,根据每一所选客户端上次参与联邦学习本地控制变量预设的本地更新次数Qi、上一轮全局控制变量st-1获取本地模型训练过程中每一所选客户端在本轮训练得到的本地模型参数用于表示本轮所有本地更新的梯度的模长的总和和本轮本地控制变量将存储至对应客户端本地,其中,n表示截止第t轮训练所选客户端参与联邦学习的次数,x表示对应的联邦学习轮次,其中,n-1小于等于x;
步骤S5、判断全局模型是否收敛,如果收敛,则停止模型训练,否则,令t=t+1,返回步骤S2。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案,本发明提供的一种基于异构数据的联邦学习系统可达到相当的技术进步性及实用性,并具有产业上的广泛利用价值,其至少具有下列优点:
本发明通过设置全局控制变量和本地控制变量,基于全局控制变量和本地控制变量更新模型,并基于每轮训练更新全局控制变量和本地控制变量,将更新的全局控制变量和本地控制变量参与下轮训练。本发明降低了基于异构数据的联邦学习的通信代价,提高了联邦学习的收敛速度和收敛稳定性。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1为本发明实施例提供的客户端A的等高线示意图;
图2为本发明实施例提供的客户端B的等高线示意图;
图3为本发明实施例提供的基于异构数据的联邦学习系统示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于异构数据的联邦学习系统的具体实施方式及其功效,详细说明如后。
联邦学习主要分为横向联邦学习和纵向联邦学习,横向联邦学习适用于用户特征重叠较多而用户重叠较少的情况,本发明是针对横向联邦学习提出的改进。假设现在有客户端A和B,他们的数据集分布差异很大。A和B的代价函数Fk(w)关于模型参数w的曲线图非常不同,以下面两个函数为例(即w=(x,y)),客户端A的等高线图f(x,y)=x2+y2+10x的变化是比较平滑的,如图1所示,而客户端B的等高线图f(x,y)=(sin(x))3*y+cos(x)*cos(10+y)的变化却是比较剧烈的,如图2所示。在这种情况下,现有的FedAvg已经被证明全局模型参数更新的位置会偏向于变化剧烈的客户端B,从而偏离理想的更新方向,导致收敛速度缓慢,收敛不稳定甚至无法收敛的问题。基于此,本发明实施例提供了一种基于异构数据的联邦学习系统,如图3所示,包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器,可以理解的是,存储器和处理器可以直接置于所述中央服务器中,也可以另设一台服务器单独设置。所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W,所述全局控制变量S用于记录本轮全局模型更新的方向。所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Si,所述本地控制变量Si用于记录客户端本次参与联邦学习训练的本地模型更新的方向,i的取值为1到K。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
所述处理器在执行所述计算机程序时,实现以下步骤:
步骤S2、在第t轮训练中,随机选择m个客户端,m<K,将t-1轮对应的全局模型参数wt-1和全局控制变量st-1发送给所有所选客户端,将每一所选客户端的当前本地模型yi参数更新为wt-1;
步骤S3、基于每一所选客户端的本地数据对yi进行本地模型训练,根据每一所选客户端上次参与联邦学习本地控制变量预设的本地更新次数Qi、上一轮全局控制变量st-1获取本地模型训练过程中每一所选客户端在本轮训练得到的本地模型参数用于表示本轮所有本地更新的梯度的模长的总和和本轮本地控制变量将存储至对应客户端本地,其中,n表示截止第t轮训练所选客户端参与联邦学习的次数,x表示对应的联邦学习轮次,其中,n-1小于等于x;
步骤S5、判断全局模型是否收敛,如果收敛,则停止模型训练,否则,令t=t+1,返回步骤S2。
其中,可以采用现有的判断模型收敛的方法来判断全局模型是否收敛,在此不再展开描述。
本发明所述系统通过设置全局控制变量和本地控制变量,基于全局控制变量和本地控制变量更新模型,并基于每轮训练更新全局控制变量和本地控制变量,将更新的全局控制变量和本地控制变量参与下轮训练。本发明降低了基于异构数据的联邦学习的通信代价,提高了联邦学习的收敛速度和收敛稳定性。
作为一种实施例,所述步骤S1可包括:
步骤S12、将全局学习率ηg设置为第一预设数值,将每一客户端的本地全局学习率ηu分均设置为第二预设数值。
其中,全局学习率ηg和每一客户端的本地全局学习率ηu可以根据具体的模型训练需求来设置,作为一种示例,所述第一预设数值可设为0.01,所述第二预设数值可设为0.03。
作为一种实施例,所述步骤S3可包括:
作为一种实施例,可以将所选客户端的数据集划分批次,每次训练一个批次的数据进行本地模型更新,具体的,所述步骤S31中,可采用mini-batch SGD优化算法获取一次更新对应的gi(yi),Fi(yi)表示所选客户端上的一个batch(批次)数据的损失函数值,其中,mini-batch SGD优化算法为现有算法,在此不再展开描述。
本发明实施例借助了全局控制变量和本地控制变量来缓解模型更新时偏离理想更新方向的问题。可以理解的是,FedAvg算法本地多次更新是没有限制,它只会专注在自己的数据上的更新,而忽略了其他客户端的更新情况,只顾局部不顾整体,那自然会导致整体的更新方向很曲折。而本发明实施例加入了全局控制变量和本地控制变量后就可以对每个客户端的本地更新施加限制,来控制住客户端的偏移。也就是说,在更新的过程中也会考虑到其他客户端更新的情况,进而调整自己的更新方向,此时本地模型开始顾全大局,因此整体的更新方向会与理想的方向比较接近。
作为一种实施例,所述步骤S3还可包括:
需要说明的是,在客户端之间数据集独立同分布的情况下,每个客户端的累加梯度的模长是差不多的,FedAvg在这样的数据集上收敛效果良好,但是如果数据集不是独立同分布的,即是异构数据的情况下,还应该把不同客户端的累加梯度的模长考虑进来,累加模长越大,则该客户端在本轮通信中偏离理想的更新方向的程度越大,反之,则相对接近理想的更新方向。
作为一种实施例,所述步骤S3还科包括:
可以理解的是,得到每一所选客户端对应的本轮本地控制变量后,更新存储至对应客户端中,供该客户端下次被选择为所选客户端时使用。本发明实施例对本轮更新时所用到的所有梯度进行加权平均来更新显然越靠前的梯度相对于越靠后的梯度的加权系数应该要小,所以这里用将设为的加权系数。
作为一种实施例,所述步骤S4可包括:
其中,N表示所有客户端的数据集大小之和,Ki表示客户端i的数据量。
需要说明的是,在更新全局模型参数wt,相比于FedAvg,本发明实施例还增加了一项因为这里认为如果一个客户端在本地更新时偏移的程度较大,那么在更新全局参数时,应该降低它的参数所起的作用,所以这里乘以了的倒数。
作为一种实施例,所述步骤S4还可包括:
综上所述,当前最流行的联邦平均算法在异构数据集上的收敛速度缓慢,甚至无法收敛,这主要是因为客户端之间数据集的异构以及联邦平均算法本身的特点(即需要进行多次本地更新而造成的结果)。本发明实施例使用了全局控制变量、本地控制变量来限制本地更新时参数的偏移,以及用梯度模长之和的倒数来削减更新时偏差过大的客户端对全局模型参数更新的影响。因此本发明实施例的重点解决了联邦平均算法在异构数据集上收敛速度缓慢的问题,在一定程度上提高了联邦平均算法针对于数据非独立同分布的情况下的收敛速度,进而减少了全局模型收敛所需要的通信次数。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (9)
1.一种基于异构数据的联邦学习系统,其特征在于,
包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器,所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W,所述全局控制变量S用于记录本轮全局模型更新的方向;所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Si,所述本地控制变量Si用于记录客户端本次参与联邦学习训练的本地模型更新的方向,i的取值为1到K;所述处理器在执行所述计算机程序时,实现以下步骤:
步骤S2、在第t轮训练中,随机选择m个客户端,m<K,将t-1轮对应的全局模型参数wt-1和全局控制变量st-1发送给所有所选客户端,将每一所选客户端的当前本地模型yi参数更新为wt-1;
步骤S3、基于每一所选客户端的本地数据对yi进行本地模型训练,根据每一所选客户端上次参与联邦学习本地控制变量预设的本地更新次数Qi、上一轮全局控制变量st-1获取本地模型训练过程中每一所选客户端在本轮训练得到的本地模型参数用于表示本轮所有本地更新的梯度的模长的总和和本轮本地控制变量将存储至对应客户端本地,其中,n表示截止第t轮训练所选客户端参与联邦学习的次数,x表示对应的联邦学习轮次,其中,n-1小于等于x;
步骤S5、判断全局模型是否收敛,如果收敛,则停止模型训练,否则,令t=t+1,返回步骤S2。
3.根据权利要求2所述的系统,其特征在于,
所述第一预设数值为0.01,所述第二预设数值为0.03。
5.根据权利要求4所述的系统,其特征在于,
所述步骤S31中,采用mini-batch SGD优化算法获取一次更新对应的gi(yi),Fi(yi)表示所选客户端上的一个batch数据的损失函数值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110309164.2A CN113011599B (zh) | 2021-03-23 | 2021-03-23 | 基于异构数据的联邦学习系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110309164.2A CN113011599B (zh) | 2021-03-23 | 2021-03-23 | 基于异构数据的联邦学习系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113011599A true CN113011599A (zh) | 2021-06-22 |
CN113011599B CN113011599B (zh) | 2023-02-28 |
Family
ID=76405502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110309164.2A Active CN113011599B (zh) | 2021-03-23 | 2021-03-23 | 基于异构数据的联邦学习系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113011599B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378474A (zh) * | 2021-06-28 | 2021-09-10 | 华南理工大学 | 一种基于贡献量的联邦学习客户机选择方法、系统及介质 |
CN113518007A (zh) * | 2021-07-06 | 2021-10-19 | 华东师范大学 | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 |
CN113645197A (zh) * | 2021-07-20 | 2021-11-12 | 华中科技大学 | 一种去中心化的联邦学习方法、装置及系统 |
CN113723619A (zh) * | 2021-08-31 | 2021-11-30 | 南京大学 | 一种基于训练阶段感知策略的联邦学习训练方法 |
CN113723617A (zh) * | 2021-08-26 | 2021-11-30 | 清华大学 | 二阶段联邦学习方法、系统 |
CN113762533A (zh) * | 2021-09-07 | 2021-12-07 | 北京航空航天大学 | 无线边缘网络中对数据污染具有鲁棒性的联邦学习方法 |
CN113988308A (zh) * | 2021-10-27 | 2022-01-28 | 东北大学 | 一种基于延迟补偿机制的异步联邦梯度平均算法 |
CN114091667A (zh) * | 2021-11-22 | 2022-02-25 | 北京理工大学 | 一种面向非独立同分布数据的联邦互学习模型训练方法 |
CN114357526A (zh) * | 2022-03-15 | 2022-04-15 | 中电云数智科技有限公司 | 抵御推断攻击的医疗诊断模型差分隐私联合训练方法 |
CN114385376A (zh) * | 2021-12-09 | 2022-04-22 | 北京理工大学 | 一种异构数据下边缘侧联邦学习的客户端选择方法 |
CN114496274A (zh) * | 2021-12-08 | 2022-05-13 | 杭州趣链科技有限公司 | 基于区块链的拜占庭鲁棒联邦学习方法和应用 |
CN114492849A (zh) * | 2022-01-24 | 2022-05-13 | 光大科技有限公司 | 一种基于联邦学习的模型更新方法及装置 |
CN114513270A (zh) * | 2022-03-07 | 2022-05-17 | 苏州大学 | 基于联邦学习的异构无线网络频谱资源感知方法及系统 |
CN114528304A (zh) * | 2022-02-18 | 2022-05-24 | 安徽工业大学 | 一种自适应客户端参数更新的联邦学习方法、系统及存储介质 |
CN114781545A (zh) * | 2022-05-10 | 2022-07-22 | 重庆大学 | 一种联邦学习方法及系统 |
CN115086399A (zh) * | 2022-07-28 | 2022-09-20 | 深圳前海环融联易信息科技服务有限公司 | 基于超网络的联邦学习方法、装置及计算机设备 |
CN115130683A (zh) * | 2022-07-18 | 2022-09-30 | 山东大学 | 一种基于多代理模型的异步联邦学习方法及系统 |
CN115145966A (zh) * | 2022-09-05 | 2022-10-04 | 山东省计算中心(国家超级计算济南中心) | 一种面向异构数据的对比联邦学习方法及系统 |
CN115829055A (zh) * | 2022-12-08 | 2023-03-21 | 深圳大学 | 联邦学习模型训练方法、装置、计算机设备及存储介质 |
WO2023185485A1 (zh) * | 2022-04-02 | 2023-10-05 | 西安电子科技大学 | 基于自适应分割联邦学习的模型训练方法和人脸识别方法 |
CN116911403A (zh) * | 2023-06-06 | 2023-10-20 | 北京邮电大学 | 联邦学习的服务器和客户端的一体化训练方法及相关设备 |
WO2024099109A1 (zh) * | 2022-11-11 | 2024-05-16 | 中国银联股份有限公司 | 一种联邦学习模型训练方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
CN111461874A (zh) * | 2020-04-13 | 2020-07-28 | 浙江大学 | 一种基于联邦模式的信贷风险控制系统及方法 |
CN111708640A (zh) * | 2020-06-23 | 2020-09-25 | 苏州联电能源发展有限公司 | 一种面向边缘计算的联邦学习方法和系统 |
CN111860581A (zh) * | 2020-06-11 | 2020-10-30 | 南京邮电大学 | 一种基于模型离散度的联邦学习训练方法 |
WO2020259717A1 (zh) * | 2019-08-26 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 联邦学习系统的控制方法、装置、终端设备及存储介质 |
CN112183764A (zh) * | 2020-10-12 | 2021-01-05 | 中国石油大学(华东) | 一种基于区块链和联邦学习的物联网设备故障检测方法 |
-
2021
- 2021-03-23 CN CN202110309164.2A patent/CN113011599B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
WO2020177392A1 (zh) * | 2019-03-01 | 2020-09-10 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
WO2020259717A1 (zh) * | 2019-08-26 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 联邦学习系统的控制方法、装置、终端设备及存储介质 |
CN111461874A (zh) * | 2020-04-13 | 2020-07-28 | 浙江大学 | 一种基于联邦模式的信贷风险控制系统及方法 |
CN111860581A (zh) * | 2020-06-11 | 2020-10-30 | 南京邮电大学 | 一种基于模型离散度的联邦学习训练方法 |
CN111708640A (zh) * | 2020-06-23 | 2020-09-25 | 苏州联电能源发展有限公司 | 一种面向边缘计算的联邦学习方法和系统 |
CN112183764A (zh) * | 2020-10-12 | 2021-01-05 | 中国石油大学(华东) | 一种基于区块链和联邦学习的物联网设备故障检测方法 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378474A (zh) * | 2021-06-28 | 2021-09-10 | 华南理工大学 | 一种基于贡献量的联邦学习客户机选择方法、系统及介质 |
CN113378474B (zh) * | 2021-06-28 | 2022-09-20 | 华南理工大学 | 一种基于贡献量的联邦学习客户机选择方法、系统及介质 |
CN113518007A (zh) * | 2021-07-06 | 2021-10-19 | 华东师范大学 | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 |
CN113645197A (zh) * | 2021-07-20 | 2021-11-12 | 华中科技大学 | 一种去中心化的联邦学习方法、装置及系统 |
CN113645197B (zh) * | 2021-07-20 | 2022-04-29 | 华中科技大学 | 一种去中心化的联邦学习方法、装置及系统 |
CN113723617A (zh) * | 2021-08-26 | 2021-11-30 | 清华大学 | 二阶段联邦学习方法、系统 |
CN113723619A (zh) * | 2021-08-31 | 2021-11-30 | 南京大学 | 一种基于训练阶段感知策略的联邦学习训练方法 |
CN113762533A (zh) * | 2021-09-07 | 2021-12-07 | 北京航空航天大学 | 无线边缘网络中对数据污染具有鲁棒性的联邦学习方法 |
CN113762533B (zh) * | 2021-09-07 | 2023-06-06 | 北京航空航天大学 | 无线边缘网络中对数据污染具有鲁棒性的联邦学习方法 |
CN113988308B (zh) * | 2021-10-27 | 2024-07-05 | 东北大学 | 一种基于延迟补偿机制的异步联邦梯度平均方法 |
CN113988308A (zh) * | 2021-10-27 | 2022-01-28 | 东北大学 | 一种基于延迟补偿机制的异步联邦梯度平均算法 |
CN114091667A (zh) * | 2021-11-22 | 2022-02-25 | 北京理工大学 | 一种面向非独立同分布数据的联邦互学习模型训练方法 |
CN114496274A (zh) * | 2021-12-08 | 2022-05-13 | 杭州趣链科技有限公司 | 基于区块链的拜占庭鲁棒联邦学习方法和应用 |
CN114385376A (zh) * | 2021-12-09 | 2022-04-22 | 北京理工大学 | 一种异构数据下边缘侧联邦学习的客户端选择方法 |
CN114385376B (zh) * | 2021-12-09 | 2024-05-31 | 北京理工大学 | 一种异构数据下边缘侧联邦学习的客户端选择方法 |
CN114492849A (zh) * | 2022-01-24 | 2022-05-13 | 光大科技有限公司 | 一种基于联邦学习的模型更新方法及装置 |
CN114492849B (zh) * | 2022-01-24 | 2023-09-08 | 光大科技有限公司 | 一种基于联邦学习的模型更新方法及装置 |
CN114528304A (zh) * | 2022-02-18 | 2022-05-24 | 安徽工业大学 | 一种自适应客户端参数更新的联邦学习方法、系统及存储介质 |
CN114528304B (zh) * | 2022-02-18 | 2024-08-09 | 安徽工业大学 | 一种自适应客户端参数更新的联邦学习方法、系统及存储介质 |
CN114513270A (zh) * | 2022-03-07 | 2022-05-17 | 苏州大学 | 基于联邦学习的异构无线网络频谱资源感知方法及系统 |
CN114513270B (zh) * | 2022-03-07 | 2022-12-02 | 苏州大学 | 基于联邦学习的异构无线网络频谱资源感知方法及系统 |
CN114357526A (zh) * | 2022-03-15 | 2022-04-15 | 中电云数智科技有限公司 | 抵御推断攻击的医疗诊断模型差分隐私联合训练方法 |
WO2023185485A1 (zh) * | 2022-04-02 | 2023-10-05 | 西安电子科技大学 | 基于自适应分割联邦学习的模型训练方法和人脸识别方法 |
CN114781545A (zh) * | 2022-05-10 | 2022-07-22 | 重庆大学 | 一种联邦学习方法及系统 |
CN115130683A (zh) * | 2022-07-18 | 2022-09-30 | 山东大学 | 一种基于多代理模型的异步联邦学习方法及系统 |
CN115086399B (zh) * | 2022-07-28 | 2022-12-06 | 深圳前海环融联易信息科技服务有限公司 | 基于超网络的联邦学习方法、装置及计算机设备 |
CN115086399A (zh) * | 2022-07-28 | 2022-09-20 | 深圳前海环融联易信息科技服务有限公司 | 基于超网络的联邦学习方法、装置及计算机设备 |
CN115145966A (zh) * | 2022-09-05 | 2022-10-04 | 山东省计算中心(国家超级计算济南中心) | 一种面向异构数据的对比联邦学习方法及系统 |
WO2024099109A1 (zh) * | 2022-11-11 | 2024-05-16 | 中国银联股份有限公司 | 一种联邦学习模型训练方法、装置、设备及存储介质 |
CN115829055A (zh) * | 2022-12-08 | 2023-03-21 | 深圳大学 | 联邦学习模型训练方法、装置、计算机设备及存储介质 |
CN116911403A (zh) * | 2023-06-06 | 2023-10-20 | 北京邮电大学 | 联邦学习的服务器和客户端的一体化训练方法及相关设备 |
CN116911403B (zh) * | 2023-06-06 | 2024-04-26 | 北京邮电大学 | 联邦学习的服务器和客户端的一体化训练方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113011599B (zh) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113011599B (zh) | 基于异构数据的联邦学习系统 | |
CN109818775B (zh) | 一种短期网络流量预测方法 | |
CN111091199B (zh) | 一种基于差分隐私的联邦学习方法、装置及存储介质 | |
CN109496305B (zh) | 一种社交网络舆论演变方法 | |
Tamar et al. | Variance adjusted actor critic algorithms | |
CN109947124A (zh) | 改进粒子群算法优化模糊pid无人直升机姿态控制方法 | |
CN106850289B (zh) | 结合高斯过程与强化学习的服务组合方法 | |
CN113378474B (zh) | 一种基于贡献量的联邦学习客户机选择方法、系统及介质 | |
CN111950711A (zh) | 复值前向神经网络的二阶混合构建方法及系统 | |
CN110659745A (zh) | 一种具有动态学习速率边界的分布式自适应矩估计方法 | |
Chalasani et al. | Self-organizing maps with information theoretic learning | |
CN114925849A (zh) | 一种图数据上的联邦学习优化方法 | |
CN116663638A (zh) | 一种模型微调训练方法、装置、设备及介质 | |
CN115272774A (zh) | 基于改进自适应差分进化算法的对抗样本攻击方法及系统 | |
CN114116707A (zh) | 确定联合学习中参与方贡献度的方法及装置 | |
CN114116705A (zh) | 联合学习中确定参与方贡献值的方法及装置 | |
CN117193008A (zh) | 面向高维扰动环境的小样本鲁棒模仿学习训练方法、电子设备及存储介质 | |
CN112506899A (zh) | 一种基于改进lstm的pm2.5数据异常值检测方法 | |
CN115695429A (zh) | 面向Non-IID场景的联邦学习客户端选择方法 | |
CN111275562A (zh) | 基于递归卷积神经网络和自编码器的动态社区发现方法 | |
CN109636609A (zh) | 基于双向长短时记忆模型的股票推荐方法及系统 | |
CN114298319A (zh) | 联合学习贡献值的确定方法、装置、电子设备及存储介质 | |
CN113743012A (zh) | 一种多用户场景下的云-边缘协同模式任务卸载优化方法 | |
CN110232077B (zh) | 事件脉络生成方法及装置 | |
CN108595843B (zh) | 一种动态自适应的众创设计方案数据寻优方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |