CN115600694A - 基于边缘设备增量方式的联邦学习训练方法与系统 - Google Patents
基于边缘设备增量方式的联邦学习训练方法与系统 Download PDFInfo
- Publication number
- CN115600694A CN115600694A CN202211352233.9A CN202211352233A CN115600694A CN 115600694 A CN115600694 A CN 115600694A CN 202211352233 A CN202211352233 A CN 202211352233A CN 115600694 A CN115600694 A CN 115600694A
- Authority
- CN
- China
- Prior art keywords
- edge device
- target
- target edge
- central server
- model parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000010354 integration Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于边缘设备增量方式的联邦学习训练方法与系统,所述方法,包括:通过中心服务器从多个候选边缘设备中确定目标边缘设备,并向目标边缘设备下发联邦学习训练任务;通过中心服务器确定各个目标边缘设备上参与联邦学习的至少两个目标数据组;对于每个目标边缘设备,基于目标边缘设备的模型参数采用当前目标数据组在目标边缘设备进行本地训练,并将本地训练的局部模型参数传送给中心服务器;通过中心服务器对各个目标边缘设备上传的本地训练的局部模型参数进行整合得到全局模型参数,并依据全局模型参数更新各个目标边缘设备的模型参数。确保联邦学习的数据完整性,提高联邦学习的系统容错率和计算速率。
Description
技术领域
本发明涉及联邦学习训练技术领域,尤其涉及一种基于边缘设备增量方式的联邦学习训练方法与系统。
背景技术
联邦学习是由多个参与方协作构建一个共享机器学习模型,与模型相关的信息(如模型参数、模型结构、参数梯度等)能够以加密方式在各方之间传输交互。
当数据量增加的时候,模型构建在边缘设备会占用更大的内存占用以及更多的CPU资源,以及占用更多的网络资源,而边缘设备在算力方面有较大的局限,如果直接采用常规的联邦学习模型训练方式,则会将其计算资源全部占用,甚至根本无法完成训练任务。
发明内容
本发明提供了一种基于边缘设备增量方式的联邦学习训练方法与系统,以解决系统网络故障或者设备故障时,局部模型参数易丢失问题,和本地模型参数训练时容易造成目标边缘设备算力不足,以及占用本地内存、CPU资源过多的问题。
根据本发明的一方面,提供了一种基于边缘设备增量方式的联邦学习训练方法,包括:
通过中心服务器从多个候选边缘设备中确定目标边缘设备,并向所述目标边缘设备下发联邦学习训练任务;
通过中心服务器确定各个所述目标边缘设备上参与联邦学习的至少两个目标数据组,各个所述目标边缘设备上所述目标数据组对应的数据标识相同;
对于每个目标边缘设备,基于目标边缘设备的模型参数采用当前个目标数据组在所述目标边缘设备进行本地训练,并将本地训练的局部模型参数传送给中心服务器;
通过中心服务器对各个目标边缘设备上传的本地训练的局部模型参数进行整合得到全局模型参数,并依据全局模型参数更新各个目标边缘设备的模型参数,用以采用下一个目标数据组进行下一次本地训练与模型参数整合。
根据本发明的另一方面,提供了一种基于边缘设备增量方式的联邦学习训练系统,系统包括:
中心服务器配置为,从多个候选边缘设备中确定目标边缘设备,并向所述目标边缘设备下发联邦学习训练任务;
所述中心服务器配置为,确定各个所述目标边缘设备上参与联邦学习的至少两个目标数据组,各个所述目标边缘设备上所述目标数据组对应的数据标识相同;
所述目标边缘设备配置为,基于目标边缘设备的模型参数采用当前个目标数据组在所述目标边缘设备进行本地训练,并将本地训练的局部模型参数传送给中心服务器;
所述中心服务器配置为,对各个目标边缘设备上传的本地训练的局部模型参数进行整合得到全局模型参数,并依据全局模型参数更新各个目标边缘设备的模型参数,用以采用下一个目标数据组进行下一次本地训练与模型参数整合。
本发明实施例的技术方案,通过中心服务器确定候选边缘设备为目标边缘设备,向所有目标边缘设备下发联邦学习任务,中心服务器确定每个目标边缘设备中的目标数据组和数据标识。目标边缘设备根据中心服务器下发的模型参数,应用目标数据组对模型参数训练,训练完成并将局部模型参数回传至中心服务器。中心服务器整合所有目标边缘设备回传的局部模型参数为全局模型参数,将全局模型参数下发至各个目标边缘设备,直到全局模型参数的测试指标处于收敛状态,联邦学习训练任务完成。本技术方案解决了网络故障或者设备出现故障时,局部模型参数易丢失问题,解决了数据过多的占用本地内存、CPU资源的问题,并且解决了本地模型参数训练时容易造成目标边缘设备算力不足的问题,保证了联邦学习训练任务的数据完整性,提高了联邦学习训练任务的运算速率。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种基于边缘设备增量方式的联邦学习训练方法的流程图;
图2是根据本发明实施例二提供的一种基于边缘设备增量方式的联邦学习训练方法的流程图;
图3是根据本发明实施例三提供的一种基于边缘设备增量方式的联邦学习训练系统的结构示意图;
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种基于边缘设备增量方式的联邦学习训练方法的流程图,本实施例可适用于单个边缘设备训练数据时算力不足且多个边缘设备训练数据的模型可整合的情况,该方法可以由基于边缘设备增量方式的联邦学习训练装置来执行,该基于边缘设备增量方式的联邦学习训练装置可以采用硬件和/或软件的形式实现,该基于边缘设备增量方式的联邦学习训练装置可配置于任何具有网络通信功能的电子设备中。如图1所示,该方法包括:
S110、通过中心服务器从多个候选边缘设备中确定目标边缘设备,并向所述目标边缘设备下发联邦学习训练任务。
其中,边缘设备可以是存储训练数据并对模型参数进行训练的设备,必须具备网络通信能力。联邦学习可以是通过多个拥有本地数据的设备相互之间进行模型的训练并交换模型参数及中间结果形成全局模型,实现数据隐私保护和数据共享计算的分布式机器学习技术。
可选的,目标边缘设备中设置有数据接收器,作用是通过所述目标边缘设备获取所述数据接收器接收的本地生成的数据并存储到本地磁盘中。
其中,数据接收器可以是配置在目标边缘设备上用于接收从用户以多种形式产生的数据的设备。
可选的,通过中心服务器向多个候选边缘设备发送网络请求。
其中,网络请求可以是两个或两个以上通信设备在同一个网络中由一个设备作为发送端发送请求,另一个作为接收端接收请求的网络状态。中心服务器向建立链接的边缘设备通过发送报文等网络请求形式的数据,作为检测候选边缘设备的依据。
可选的,通过中心服务器向距离中心服务器最近的多个候选边缘设备进行网络检测,在需要发起联邦学习训练任务时向多个候选边缘设备发送网络请求。
训练任务可以是具有学习能力的模型对提前采集并处理的训练数据进行学习的任务。中心服务器要统一下发联邦学习的训练任务之前,需向建立链接的边缘设备发送网络请求,通过边缘设备对该网络请求反映的信息进行网络检测。
可选的,依据各个候选边缘设备的网络响应速度,从多个候选边缘设备中选择响应速度最快的预设数量的候选边缘设备,并作为目标边缘设备。
中心服务器根据边缘设备响应网络请求的速度的快慢选择目标边缘设备,若候选边缘设备的相应速度越快,被设定为目标边缘设备的可能性越大,根据网络响应速度快慢选择预设数量的候选边缘设备,即候选边缘设备为进行联邦学习训练的目标边缘设备。
可选的,在检测到目标边缘设备的网络响应速度不符合预设要求时,将与所述目标边缘设备预先绑定的边缘设备作为新的目标边缘设备,以向新的目标边缘设备下发联邦学习训练任务执行联邦学习训练。
具体的,当中心服务器发送网络请求进行目标边缘设备检测时,如果当前设备的网络响应速度不符合预设要求,但此目标边缘设备在没接收中心服务器发送请求之前已经通过协议绑定了新的目标边缘设备,并且此边缘设备网络响应速度符合预设要求,中心服务器就向此目标边缘设备下发联邦学习训练任务。
示例性的,中心服务器具有联邦学习训练任务时,向与中心服务器建立链接的候选边缘设备发送网络请求,候选边缘设备响应。中心服务器根据最快的响应速度选择预设数量的候选边缘设备,当候选边缘设备网络响应速度不符合预设要求时,如果该候选边缘设备绑定的边缘设备符合预设要求,即可将该边缘设备作为候选边缘设备。设定候选边缘设备为目标边缘设备,中心服务器将对预设数量的目标边缘设备下发联邦学习训练任务。
S120、通过中心服务器确定各个所述目标边缘设备上参与联邦学习的至少两个目标数据组,各个所述目标边缘设备上所述目标数据组对应的数据标识相同。
其中,目标数据组可以是模型用于学习目标特征的一批数据,数据标识可以是区分每一个目标数据组的编号或者标记。
具体的,中心服务器确定所有目标边缘设备中预进行联邦学习训练的目标数据组,由于目标数据组对应的数据标识固定,则目标边缘设备中具有相同的目标数据组也相应的具有一致的数据标识。
示例性的,目标边缘设备接到中心服务器发送的联邦学习任务,将对本地磁盘数据进行随机分组。中心服务器根据模型的特征学习方向确定每一个目标边缘设备中用于联邦学习训练任务的目标数据组,当目标边缘设备有相同的目标数据组时,那么目标边缘设备也有相同的数据标识。
S130、对于每个目标边缘设备,基于目标边缘设备的模型参数采用当前目标数据组在所述目标边缘设备进行本地训练,并将本地训练的局部模型参数传送给中心服务器。
具体的,在进行联邦学习训练任务时,本地的目标边缘设备根据已有的目标数据组训练模型参数,使模型学习当前目标数据组的特征信息,当本地目标边缘设备训练任务完成即可将该模型参数上报至中心服务器。
可选的,通过中心服务器记录采用每一个目标数据组在目标边缘设备进行本地训练得到的局部模型参数,用以在网络故障或者目标边缘设备故障时复用预先记录的局部模型参数。
具体的,当本地目标边缘设备对模型完成当前阶段的训练并生成局部模型参数,将局部模型参数回传至中心服务器,中心服务器将保存当前的局部模型参数以避免网络故障或者目标边缘设备故障时丢失所有训练完成的局部模型参数,可以避免对模型的重新训练。
示例性的,目标边缘设备根据联邦学习训练任务检索相应数据标识的目标数据组训练模型,根据预设的本轮联邦学习训练任务的结束条件结束模型的训练,例如,当训练模型的周期数达到预设周期数值时,模型完成训练,或者当训练的模型进行损失值测试达到某个指标时,模型完成训练。保存训练完成的局部模型参数并回传至中心服务器,中心服务器记录本轮所有目标边缘设备进行模型训练生成的局部模型参数,以使当网络故障或者目标边缘设备故障产生时,不用重新对模型训练。
S140、通过中心服务器对各个目标边缘设备上传的本地训练的局部模型参数进行整合得到全局模型参数,并依据全局模型参数更新各个目标边缘设备的模型参数,用以采用下一个目标数据组进行下一次本地训练与模型参数整合。
具体的,各个目标边缘设备完成本轮的联邦学习训练任务,将保存模型的参数并回传模型参数,由中心服务器根据模型参数整合方法将模型参数整合形成全局模型参数。
可选的,对整合得到的全局模型参数进行矩阵压缩存储。
其中,矩阵压缩存储可以是寻找当前模型参数构成的矩阵具有的规律,根据规律不重复存储参数的一种存储方式。假设当前模型参数以矩阵的形式存储,发现是对称矩阵即可存储对称矩阵的上三角矩阵和对角线的数值。
具体的,将全局模型参数以矩阵的数据形式进行存储,找到全局模型参数矩阵具有的规律,设定存储算法存储一部分全局模型参数,另一部分全局模型参数可由存储算法推算出,进而实现矩阵压缩存储。
示例性的,中心服务器整合各个目标边缘设备回传的模型参数形成全局模型参数。依据矩阵压缩存储算法设定的矩阵压缩存储模块将全局模型参数以矩阵的形式存储。如果全局模型参数测试的指标处于未收敛的状态,需要将全局模型参数再次下发至各个目标边缘设备,目标边缘设备更新待训练的模型参数为全局模型参数,继续根据中心服务器下发的任务训练全局模型参数,直到全局模型参数的测试指标达到收敛状态,测试指标可以是测试模型的损失值。
本发明实施例的技术方案,通过中心服务器确定候选边缘设备为目标边缘设备,向所有目标边缘设备下发联邦学习任务。中心服务器确定每个目标边缘设备中的目标数据组。各目标边缘设备依据当前的模型参数、联邦学习任务和被指定的目标数据组,训练当前的模型参数,完成本轮训练并将当前模型保存,将各个目标边缘设备训练完成的模型参数回传至中心服务器。中心服务器通过整合方法整合各个目标边缘设备训练的模型参数为全局模型参数,并将全局模型参数下发至各个目标边缘设备,直到测试全局模型参数的指标处于收敛的状态。本技术方案依据预定的方法筛选候选边缘设备为目标边缘设备,由中心服务器选择与模型训练相关的目标数据组,能够减少目标边缘设备的计算负担、本地内存和中心处理器的占用。且模型参数在训练完成后有回传过程,能够在网络发生故障等情况时,减少模型参数的丢失。
实施例二
图2为本发明实施例二提供的一种基于边缘设备增量方式的联邦学习训练方法的流程图,本实施例的技术方案在上述实施例基础上对中心服务器确定目标边缘设备的目标数据组的过程细化。如图2所示,该方法包括:
S210、通过中心服务器从多个候选边缘设备中确定目标边缘设备,并向所述目标边缘设备下发联邦学习训练任务。
具体的,中心服务器根据发送网络请求的方法确定目标边缘设备,将当前的联邦学习训练任务分发至各个目标边缘设备中。
S220、对于每个目标边缘设备,响应联邦学习训练任务通过所述目标边缘设备将本地全量数据的数据标识进行分组,并将分组后的数据标识依次加密上传至中心服务器。
具体的,目标边缘设备接收到中心服务器发送的任务,根据任务将本地磁盘的数据进行随机分组,并对分组的数据做数据标识,将数据标识加密并上传至中心服务器。
S230、通过中心服务器对各个目标边缘设备的加密后数据标识隐私求交,并依据求交结果确定各个目标边缘设备上参与联邦学习的至少两个目标数据组。
其中,隐私求交可以是每个目标边缘设备对所有数据分组并设立数据标识,将数据标识加密上传至中心服务器,所有目标边缘设备对加密的数据标识的密文进行求交集的过程。
具体的,当数据分组相同时,数据标识相同且数据标识加密后的数据也相同,中心服务器对各个目标边缘设备上传加密的数据标识进行求交集,每个目标边缘设备与其它目标边缘设备相同的数据标识至少有两个。
作为一种可选择但不限定的实现方式,通过中心服务器对各个目标边缘设备的加密后数据标识隐私求交,并依据求交结果确定各个目标边缘设备上参与联邦学习的至少两个目标数据组。可以包括但不限于以下步骤A1-A2:
步骤A1、通过中心服务器将所述求交结果下发给各个目标边缘设备,以指示所述目标边缘设备上参与联邦学习的目标数据的数据标识。
具体的,当中心服务器完成各个目标边缘设备的数据标识的隐私求交,中心服务器将所有目标边缘设备上都具备的数据标识下发各个目标边缘设备,每个目标边缘设备即可确定参与联邦学习的目标数据的数据标识。
步骤A2、通过中心服务器对参与联邦学习的目标数据的数据标识进行随机分组,确定各个所述目标边缘设备上参与联邦学习的至少两个目标数据组。
具体的,所有目标边缘设备共同具备的数据标识至少有两个,则根据数据标识确定每个目标边缘设备中参与联邦学习训练任务的目标数据组也至少有两个。
S240、对于每个目标边缘设备,基于目标边缘设备的模型参数采用当前目标数据组在所述目标边缘设备进行本地训练,并将本地训练的局部模型参数传送给中心服务器。
具体的,目标边缘设备基于当前的模型参数和已有的目标数据组进行本地训练,当本地训练完成即训练模型参数的周期数达到预设值时结束模型参数的训练,保存模型参数并上传至中心服务器为本地的局部模型参数。
S250、通过中心服务器对各个目标边缘设备上传的本地训练的局部模型参数进行整合得到全局模型参数,并依据全局模型参数更新各个目标边缘设备的模型参数,用以采用下一个目标数据组进行下一次本地训练与模型参数整合。
具体的,各个目标边缘设备完成对指定模型参数的训练,都会将局部模型参数上传至中心服务器,中心服务器根据整合算法将所有局部模型参数整合为全局模型参数,各个目标边缘设备上的模型参数将被更新为全局模型参数,直到全局模型参数的测试指标达到预定标准。
本实施例的技术方案在上述实施例的基础上,详细解释中心服务器确定目标边缘设备中参加联邦学习训练任务的目标数据组的过程。当各个目标边缘设备响应中心服务器发送的联邦学习训练任务时,本地将数据进行分组和数据标识,通过每个分组数据依次进行数据标识加密上传至中心服务器。中心服务器对各个边缘设备的数据标识加密数据进行隐私求交,确定了各个目标边缘设备上参与联邦学习训练任务的目标数据组。对每个目标边缘设备的数据分组求交可保证本地在训练模型参数时具有一致的目标数据组,进而使得多个目标边缘设备训练的局部模型参数可整合。
实施例三
图3为本发明实施例三提供的一种基于边缘设备增量方式的联邦学习训练系统的结构示意图。如图3所示,该系统包括中心服务器10和目标边缘设备20。
中心服务器10配置为,从多个候选边缘设备中确定目标边缘设备20,并向所述目标边缘设备20下发联邦学习训练任务;所述中心服务器10配置为,确定各个所述目标边缘设备20上参与联邦学习的至少两个目标数据组,各个所述目标边缘设备20上所述目标数据组对应的数据标识相同;所述目标边缘设备20配置为,基于目标边缘设备20的模型参数采用当前目标数据组在所述目标边缘设备20进行本地训练,并将本地训练的局部模型参数传送给中心服务器;所述中心服务器10配置为,对各个目标边缘设备20上传的本地训练的局部模型参数进行整合得到全局模型参数,并依据全局模型参数更新各个目标边缘设备的模型参数,用以采用下一个目标数据组进行下一次本地训练与模型参数整合。
具体的,中心服务器10应与目标边缘设备20建立传输数据的链接,例如,中心服务器10与目标边缘设备20处于网络互联的状态。中心服务器10具有联邦学习训练任务时向候选边缘设备发送网络请求,根据候选边缘设备响应网络请求的速度快慢,确定候选边缘设备为目标边缘设备20。中心服务器10向目标边缘设备20发送联邦学习训练任务。
具体的,目标边缘设备20对本地的数据进行分组并进行数据标识,将数据标识加密上传至中心服务器10,中心服务器10根据隐私求交的方法确定所有目标边缘设备20都具备的数据分组,进而确定每个目标边缘设备20上进行联邦学习训练任务的目标数据组。
具体的,中心服务器10初始化模型参数并传送给目标边缘设备20,目标边缘设备20将依据本地的目标数据组对模型参数训练,并将训练完的局部模型参数回传至中心服务器10。
具体的,所有的目标边缘设备20都向中心服务器10回传了局部模型参数,中心服务器10整合局部模型参数为全局模型参数。将全局模型参数下发至各个目标边缘设备,直到全局模型参数的测试指标处于收敛状态,联邦学习训练任务完成。
本发明实施例中所提供的基于边缘设备增量方式的联邦学习训练系统可执行上述本发明任意实施例中所提供的基于边缘设备增量方式的联邦学习训练方法,具备执行该基于边缘设备增量方式的联邦学习训练方法相应的功能和有益效果,详细过程参见前述实施例中基于边缘设备增量方式的联邦学习训练方法的相关操作。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种基于边缘设备增量方式的联邦学习训练方法,其特征在于,包括:
通过中心服务器从多个候选边缘设备中确定目标边缘设备,并向所述目标边缘设备下发联邦学习训练任务;
通过中心服务器确定各个所述目标边缘设备上参与联邦学习的至少两个目标数据组,各个所述目标边缘设备上所述目标数据组对应的数据标识相同;
对于每个目标边缘设备,基于目标边缘设备的模型参数采用当前目标数据组在所述目标边缘设备进行本地训练,并将本地训练的局部模型参数传送给中心服务器;
通过中心服务器对各个目标边缘设备上传的本地训练的局部模型参数进行整合得到全局模型参数,并依据全局模型参数更新各个目标边缘设备的模型参数,用以采用下一个目标数据组进行下一次本地训练与模型参数整合。
2.根据权利要求1所述的方法,其特征在于,通过中心服务器从多个候选边缘设备中确定目标边缘设备,包括:
通过中心服务器向多个候选边缘设备发送网络请求;
依据各个候选边缘设备的网络响应速度,从多个候选边缘设备中选择响应速度最快的预设数量的候选边缘设备,并作为目标边缘设备。
3.根据权利要求2所述的方法,其特征在于,通过中心服务器向多个候选边缘设备发送网络请求,包括:
通过中心服务器向距离中心服务器最近的多个候选边缘设备进行网络检测,在需要发起联邦学习训练任务时向多个候选边缘设备发送网络请求。
4.根据权利要求1所述的方法,其特征在于,通过中心服务器确定各个所述目标边缘设备上参与联邦学习的至少两个目标数据组,包括:
通过中心服务器向各个目标边缘设备下发联邦学习训练任务;
对于每个目标边缘设备,响应联邦学习训练任务通过所述目标边缘设备将本地全量数据的数据标识进行分组,并将分组后的数据标识依次加密上传至中心服务器;
通过中心服务器对各个目标边缘设备的加密后数据标识隐私求交,并依据求交结果确定各个目标边缘设备上参与联邦学习的至少两个目标数据组。
5.根据权利要求4所述的方法,其特征在于,依据求交结果确定各个目标边缘设备上参与联邦学习的至少两个目标数据组,包括:
通过中心服务器将所述求交结果下发给各个目标边缘设备,以指示所述目标边缘设备上参与联邦学习的目标数据的数据标识;
通过中心服务器对参与联邦学习的目标数据的数据标识进行随机分组,确定各个所述目标边缘设备上参与联邦学习的至少两个目标数据组。
6.根据权利要求1所述的方法,其特征在于,在将本地训练的局部模型参数传送给中心服务器之后,还包括:
通过中心服务器记录采用每一个目标数据组在目标边缘设备进行本地训练得到的局部模型参数,用以在网络故障或者目标边缘设备故障时复用预先记录的局部模型参数。
7.根据权利要求1所述的方法,其特征在于,在对各个目标边缘设备上传的本地训练的局部模型参数进行整合得到全局模型参数之后,还包括:对整合得到的全局模型参数进行矩阵压缩存储。
8.根据权利要求1所述的方法,其特征在于,在通过中心服务器从多个候选边缘设备中确定目标边缘设备之后,还包括:
在检测到目标边缘设备的网络响应速度不符合预设要求时,将与所述目标边缘设备预先绑定的边缘设备作为新的目标边缘设备,以向新的目标边缘设备下发联邦学习训练任务执行联邦学习训练。
9.根据权利要求1所述的方法,其特征在于,所述目标边缘设备中设置有数据接收器;
通过所述目标边缘设备获取所述数据接收器接收的本地生成的数据并存储到本地磁盘中。
10.一种基于边缘设备增量方式的联邦学习训练系统,其特征在于,所述系统包括:
中心服务器配置为,从多个候选边缘设备中确定目标边缘设备,并向所述目标边缘设备下发联邦学习训练任务;
所述中心服务器配置为,确定各个所述目标边缘设备上参与联邦学习的至少两个目标数据组,各个所述目标边缘设备上所述目标数据组对应的数据标识相同;
所述目标边缘设备配置为,基于目标边缘设备的模型参数采用当前目标数据组在所述目标边缘设备进行本地训练,并将本地训练的局部模型参数传送给中心服务器;
所述中心服务器配置为,对各个目标边缘设备上传的本地训练的局部模型参数进行整合得到全局模型参数,并依据全局模型参数更新各个目标边缘设备的模型参数,用以采用下一个目标数据组进行下一次本地训练与模型参数整合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211352233.9A CN115600694A (zh) | 2022-10-31 | 2022-10-31 | 基于边缘设备增量方式的联邦学习训练方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211352233.9A CN115600694A (zh) | 2022-10-31 | 2022-10-31 | 基于边缘设备增量方式的联邦学习训练方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115600694A true CN115600694A (zh) | 2023-01-13 |
Family
ID=84851069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211352233.9A Pending CN115600694A (zh) | 2022-10-31 | 2022-10-31 | 基于边缘设备增量方式的联邦学习训练方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115600694A (zh) |
-
2022
- 2022-10-31 CN CN202211352233.9A patent/CN115600694A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598186A (zh) | 基于纵向联邦学习的决策模型训练方法、预测方法及装置 | |
CN110598870A (zh) | 一种联邦学习方法及装置 | |
CN108777625A (zh) | 签名的验证方法、装置和系统、存储介质、电子装置 | |
CN111625593A (zh) | 基于区块链的数据处理方法、装置、计算机设备 | |
CN108696581A (zh) | 分布式信息的缓存方法、装置、计算机设备以及存储介质 | |
CN104936156B (zh) | 短信发送方法和装置 | |
CN111522874B (zh) | 区块链共识方法、装置、计算机设备和存储介质 | |
CN109949160A (zh) | 一种区块链的分片方法及装置 | |
CN110855737B (zh) | 一种一致性级别可控的自适应数据同步方法和系统 | |
CN110557416B (zh) | 一种多节点协同打块的方法及系统 | |
CN109413202B (zh) | 区块链交易信息的排序系统及方法 | |
CN113645278B (zh) | 一种区块链的跨链消息传输方法、设备、存储介质 | |
CN113810216B (zh) | 一种集群的故障切换方法、装置及电子设备 | |
CN110263579A (zh) | 一种数据处理方法、系统及相关设备 | |
CN113537495B (zh) | 基于联邦学习的模型训练系统、方法、装置和计算机设备 | |
CN114091610A (zh) | 智能决策方法及装置 | |
CN113469371A (zh) | 联邦学习方法和装置 | |
CN115277709A (zh) | 一种服务器密码机的负载均衡方法 | |
CN116957110B (zh) | 一种基于联盟链的可信联邦学习方法及系统 | |
CN110839061B (zh) | 数据分发方法、装置及存储介质 | |
CN111294553B (zh) | 处理视频监控业务信令的方法、装置、设备和存储介质 | |
CN104079663A (zh) | 分布式实时同步网络系统及其通告数据的方法 | |
CN108173899A (zh) | 区块链的信息处理方法及装置 | |
CN115600694A (zh) | 基于边缘设备增量方式的联邦学习训练方法与系统 | |
CN115695497A (zh) | 诊断数据远程传输方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |