CN110874649B - 联邦学习的执行方法、系统、客户端及电子设备 - Google Patents

联邦学习的执行方法、系统、客户端及电子设备 Download PDF

Info

Publication number
CN110874649B
CN110874649B CN202010048032.4A CN202010048032A CN110874649B CN 110874649 B CN110874649 B CN 110874649B CN 202010048032 A CN202010048032 A CN 202010048032A CN 110874649 B CN110874649 B CN 110874649B
Authority
CN
China
Prior art keywords
state
client
member object
federal learning
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010048032.4A
Other languages
English (en)
Other versions
CN110874649A (zh
Inventor
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010048032.4A priority Critical patent/CN110874649B/zh
Publication of CN110874649A publication Critical patent/CN110874649A/zh
Application granted granted Critical
Publication of CN110874649B publication Critical patent/CN110874649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种联邦学习的执行方法、系统、客户端及电子设备。其中:服务端创建的目标联邦学习任务的成员对象在加入目标联邦学习任务后,将成员对象状态设置为标注状态,以对属于私有信息的样本数据进行标注,得到样本数据的分类标签。标注状态下的成员对象在完成标注后,将成员对象状态设置为就绪状态,以接收并响应服务端发送的启动目标联邦学习任务的训练指令。服务端在监控到不少于预设数量的就绪状态的成员对象时,向就绪状态下的成员对象发送训练指令。就绪状态下的成员对象在接收到训练指令后,将成员对象状态设置为执行状态,以按照安全多方计算协议,基于样本数据和对应的分类标签,执行目标联邦学习任务的训练操作。

Description

联邦学习的执行方法、系统、客户端及电子设备
技术领域
本文件涉及人工智能技术领域,尤其涉及一种联邦学习的执行方法、系统、客户端及电子设备。
背景技术
深度学习模型凭借机械化的预测识别能力,被越来越多的机构所重视。联邦学习能够在保护机构私有数据隐私的基础上,实现机构之间联合建模,从而解决样本数据割裂的问题。
目前联邦学习属于新兴技术,实现的门槛较高,如何低成本投入、高效率运营,是当前亟需解决的技术问题。
发明内容
本文件目的是提供一种联邦学习的执行方法、系统、客户端及电子设备,能够以较低的成本投入,实现高效率的联邦学习运营。
本说明书实施例具体是这样实现上述目的:
第一方面,提供一种联邦学习的执行方法,包括:
服务端创建的目标联邦学习任务的成员对象在加入所述目标联邦学习任务后,将成员对象状态设置为标注状态,其中,所述标注状态下的所述成员对象对属于私有信息的样本数据进行标注,以得到所述成员对象的样本数据的分类标签;
标注状态下的所述成员对象在完成所述成员对象的样本数据的标注后,将成员对象状态设置为就绪状态,其中,所述就绪状态下的所述成员对象接收并响应服务端发送的启动所述目标联邦学习任务的训练指令;
服务端在监控到不少于预设数量的处于就绪状态的成员对象时,向就绪状态下的所述成员对象发送所述训练指令;
就绪状态下的所述成员对象在接收到所述训练指令后,将成员对象状态设置为执行状态,其中,执行状态下的所述成员对象按照安全多方计算协议,基于所述成员对象的样本数据和对应的分类标签,执行所述目标联邦学习任务的训练操作。
第二方面,提供一种联邦学习的执行方法,包括:
客户端在加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
标注状态下的所述成员对象在完成所述成员对象的样本数据的标注后,将成员对象状态设置为就绪状态,其中,所述就绪状态下的所述成员对象接收并响应服务端发送的启动所述目标联邦学习任务的训练指令;
服务端在监控到不少于预设数量的处于就绪状态的成员对象时,向就绪状态下的所述成员对象发送所述训练指令;
就绪状态下的所述成员对象在接收到所述训练指令后,将成员对象状态设置为执行状态,其中,执行状态下的所述成员对象按照安全多方计算协议,基于所述成员对象的样本数据和对应的分类标签,执行所述目标联邦学习任务的训练操作。
第三方面,提供一种联邦学习系统,包括:服务端和至少一个加入所述服务端创建的目标联邦学习任务的成员对象;其中,
服务端创建的目标联邦学习任务的成员对象在加入所述目标联邦学习任务后,将成员对象状态设置为标注状态,其中,所述标注状态下的所述成员对象对属于私有信息的样本数据进行标注,以得到所述成员对象的样本数据的分类标签;
标注状态下的所述成员对象在完成所述成员对象的样本数据的标注后,将成员对象状态设置为就绪状态,其中,所述就绪状态下的所述成员对象接收并响应服务端发送的启动所述目标联邦学习任务的训练指令;
服务端在监控到不少于预设数量的处于就绪状态的成员对象时,向就绪状态下的所述成员对象发送所述训练指令;
就绪状态下的所述成员对象在接收到所述训练指令后,将成员对象状态设置为执行状态,其中,执行状态下的所述成员对象按照安全多方计算协议,基于所述成员对象的样本数据和对应的分类标签,执行所述目标联邦学习任务的训练操作。
第四方面,提供一种参与联邦学习的客户端,包括:
训练标注模块,在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
训练就绪模块,在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
训练响应模块,在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
训练执行模块,按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
第五方面,提供一种电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行:
在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
第六方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
本说明书实施例的方案由服务端作为平台发布联邦学习任务,需要参与的机构能够快速响应,向服务端申请加入,并通过状态机几种状态的切换,有序执行联邦学习任务的各个流程。这种联邦学习的运营模式下,样本数据的标注分摊到各个成员对象上执行,因此训练效率快,且服务端所需要投入的成本较低,因此具有很高的实用性,对联邦学习起到了普及作用。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书实施例中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为联邦学习的示意图。
图2为本说明书实施例提供的联邦学习的执行方法的步骤示意图。
图3为本说明书实施例提供的联邦学习系统的结构示意图。
图4为本说明书实施例提供的参与联邦学习的客户端的结构示意图。
图5为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
深度学习模型凭借机械化的预测识别能力,被越来越多的机构所重视。联邦学习能够在保护机构私有数据隐私的基础上,实现机构之间联合建模,从而解决样本数据割裂的问题。目前联邦学习属于新兴技术,实现的门槛较高。为此,本文件旨在提出一种低成本投入、高效率运营的联邦学习方案。
为更方便理解本文件的方案,下面对联邦学习进行简单介绍。
参考图1,假设机构A和机构B联合训练一个机器学习模型,它们的业务系统分别拥有各自用户的相关数据。此外,机构B 还拥有模型需要预测的标签数据。出于数据隐私保护和安全考虑,A 和 B 无法直接进行数据交换,可使用联邦学习模型。
其中,联邦学习包括:
第一部分:(加密)样本对齐。由于两家企业的用户群体并非完全重合,系统利用基于加密的用户样本对齐技术,在 A 和 B 不公开各自数据的前提下确认双方的共有用户,并且不暴露不互相重叠的用户,以便联合这些用户的特征进行建模。
第二部分:加密模型训练。在确定共有用户群体后,就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性,需要借助第三方的服务端 C 进行加密训练。以线性回归模型为例,训练过程可分为以下4 步:
第①步:服务端C 把公钥分发给 A 和 B,用以对训练过程中需要交换的数据进行加密。
第②步:A 和 B 之间以加密形式交互用于计算梯度的中间结果。
第③步:A 和 B 分别基于加密的梯度值进行计算,同时 B 根据其标签数据计算损失,并把结果汇总给 C。C 通过汇总结果计算总梯度值并将其解密。
第④步:C 将解密后的总梯度值分别回传给 A 和 B,A 和 B 根据总梯度值更新各自模型的参数。这里,A 和 B各自的模型具有相同的风险特征维度,但更新各自模型的参数方法并不一定相同,也就是说,模型A和模型B中风险特征的权重值可能存在差异。
通过迭代上述步骤直至损失函数收敛,这样就完成了整个联邦学习过程。在样本对齐及模型训练过程中,A 和 B 各自的私有数据始终保留在本地,不存在暴露的风险。
在上述联邦学习的原理基础上,本说明书实施例具体提供一种联邦学习的执行方法。图2是本说明书实施联邦学习的执行方法的流程图。图2所示的方法可以由下文相对应的系统执行,包括:
步骤S202,服务端创建的目标联邦学习任务的成员对象在加入目标联邦学习任务后,将成员对象状态设置为标注状态,其中,标注状态下的成员对象对属于私有信息的样本数据进行标注,以得到成员对象的样本数据的分类标签。
应理解,本说明书实施例中服务端作为公共平台,可以创建并发布任何联邦学习任务。希望参与服务端创建的联邦学习任务的机构,可以通过客户端向服务端提出申请。也就是说,本说明书实施例中,目标联邦学习任务的成员对象是通过客户端向服务端发起针对目标联邦学习任务的参与请求,以加入成为目标联邦学习任务的成员对象的。
可选地,参与请求携带有所属客户端的资质验证信息,服务端在接收到参与请求后,基于参与请求中的资质验证信息,判断发起参与请求的客户端是否具有参与目标联邦学习任务的资质,若具有参与目标联邦学习任务的资质,则将该客户端添加为目标联邦学习任务的成员对象。这里,本说明实施例不对资质验证信息作具体限定。作为示例性介绍,资质验证信息可以包括用于评估客户端的网络、数据安全、处理资源的信息。
此外,这里所述的成员对象状态是指成员对象的客户端的状态机状态。状态机由状态寄存器和组合逻辑电路构成,能够根据控制信号按照预先设定的状态进行状态转移,是协调相关信号动作、完成特定操作的控制中心。简单来说,状态机在不同设定的状态下执行不同的操作。
应理解,联邦学习采用的是有监督的训练方式。因此,本步骤中,成员对象需要在标注状态下对用于进行训练的样本数据进行标注,得到样本数据的分类标签。
其中,分类标签具体指示样本数据的分类结果。分类结果并不唯一,根据模型分类需求设定。简单举例来说,假设目标联邦学习任务用于联合训练的信贷风控模型,信贷风控模型用于识别“有信贷风险”或“无信贷风险”,对应的分类标签应是 “有信贷风险”和“无信贷风险”这两种分类结果。即,一个样本数据的分类标签要么 指示“有信贷风险”,要么指示“无信贷风险”。指示“有信贷风险”的样本数据作为黑样本数据,指示“无信贷风险”的样本数据作为白样本数据。
步骤S204,标注状态下的成员对象在完成成员对象的样本数据的标注后,将成员对象状态设置为就绪状态,其中,就绪状态下的成员对象接收并响应服务端发送的启动目标联邦学习任务的训练指令。
应理解,服务端会引入大量机构参与到目标联邦学习任务。这些成员对象对各自的样本数据的标注时间不尽相同。为此,成员对象需要设置就绪状态来告知服务端是否完成样本数据的标注,使得服务器能够根据各成员对象的样本数据的标注完成情况,来决定是否启动目标联邦学习任务的训练。
步骤S206,服务端在监控到不少于预设数量的处于就绪状态的成员对象时,向就绪状态下的成员对象发送训练指令。
应理解,联邦学习的训练是迭代执行的。在训练过程中,可以中途加入新的成员对象,或者一部分成员对象退出训练。本步骤中,当处于就绪状态的成员对象达到预设数量后,服务端即可下发训练指令,由处于就绪状态的成员对象执行目标联邦学习的训练操作。而尚未处于就绪状态的成员对可以在完成样本数据的标注后,中途参与到目标联邦学习的训练中。
步骤S208,就绪状态下的成员对象在接收到训练指令后,将成员对象状态设置为执行状态,其中,执行状态下的成员对象按照安全多方计算协议,基于成员对象的样本数据和对应的分类标签,执行目标联邦学习任务的训练操作。
这里需要说明的是,本说明书实施例不涉及对联邦学习的训练过程的改进,因此不再对联邦学习的训练过程进行赘述。
通过图2所示的方法可以知道,本说明书实施例的方案由服务端作为平台发布联邦学习任务,需要参与的机构能够快速响应,向服务端申请加入,并通过状态机几种状态的切换,有序执行联邦学习任务的各个流程。这种联邦学习的运营模式下,样本数据的标注分摊到各个成员对象上执行,因此训练效率快,且服务端所需要投入的成本较低,因此具有很高的实用性,对联邦学习起到了普及作用。
下面结合实际的应用场景,对本说明书实施例的联邦学习的执行方法进行示例介绍。
本应用场景中,假设机构A希望通过联邦学习的方式联合其他机构创建学习模型,则向服务端请求创建目标联邦学习任务。
服务端响应机构A的请求,创建目标联邦学习任务,并发布与目标联邦学习任务相关的描述信息。
假设机构B、C、D从服务端阅览到目标联邦学习任务的描述信息后,有兴趣加入到目标联邦学习任务,则通过客户端向服务端发送针对目标联邦学习任务的参与请求,以成为目标联邦学习任务的成员对象。对应地,目标联邦学习的成员对象应包括:机构A、B、C、D。
机构A、B、C、 D在成为目标联邦学习任务的成员对象后,将各自的成员对象状态设置为标注状态,对本地需要用于目标联邦学习任务的样本数据进行标注。如果机构A、B、C、 D之前已经完成过标注,或者在标注状态下完成标注,则将成自己的成员对象状态设置为就绪状态,告知服务端训练准备完毕。
这里,服务端会时刻监督机构A、B、C、 D的成员对象状态。如果有两个成员对象已处于就绪状态,则可以开启目标联邦学习任务,并向处于就绪状态的成员对象发送训练指令。
假设本应用场景中,机构A、B先进入就绪状态,则服务端会向机构A、B发送训练指令。机构A、B在接收到训练指令,将自己的成员对象状态设置为执行状态,以基于本地标注的样本数据执行目标联邦学习任务的训练操作(具体训练流程参考图1)。
假设机构A、B在进行第2轮的迭代训练时,机构C、 D完成样本数据的标注并进入就绪状态,则服务端向机构C、 D发送训练指令,使机构C、 D进入执行状态,以在第3轮的迭代训练为起始,与机构A、B联合训练学习模型。
在训练过程中,假设机构B在执行状态下出现异常状况,则机构B将自己的成员对象状态设置为堵塞状态,在堵塞状态下,构B停止执行所述目标联邦学习任务的训练操作,并对异常状况进行处理。如果堵塞状态的机构B处理完成异常状况,则可以将自己的成员对象状态重新设置为执行状态,以恢复执行目标联邦学习任务的训练操作。
当执行状态下的任一成员对象在完成目标联邦学习任务的训练操作后,则可以将自己的成员对象状态设置为完成状态,完成状态下的成员对象向服务端发送结束目标联邦学习任务的通知,服务端在所有成员对象处于完成状态时,结束目标联邦学习任务。
通过上述应用场景可以知道,本说明书实施例的联邦学习的执行方法中,任何有联邦学习需求的机构,都可以通过服务端发布联邦学习任务,其他机构可以通过服务端快速响应参与,推动联邦学习随时随地开展。整个过程的主要计算工作和标注工作分摊在各个成员对象的客户端设备上执行。而服务端所需赋予职能仅是媒介,因此需要投入的建设成本较低,更加实用化地实现联邦学习的运营。
以上是对本说明书实施例的方法的介绍。应理解,在不脱离本文上述原理基础之上,还可以进行适当的变化,这些变化也应视为本说明书实施例的保护范围。
上述联邦学习的执行方法相对应地,本说明书实施例还提供一种联邦学习系统。图3为联邦学习系统300的结构示意图,包括:服务端310和至少一个加入所述服务端创建的目标联邦学习任务的成员对象320。
其中:
服务端310创建的目标联邦学习任务的成员对象320在加入所述目标联邦学习任务后,将成员对象状态设置为标注状态,其中,所述标注状态下的所述成员对象320对属于私有信息的样本数据进行标注,以得到所述成员对象320的样本数据的分类标签;
标注状态下的所述成员对象320在完成所述成员对象320的样本数据的标注后,将成员对象状态设置为就绪状态,其中,所述就绪状态下的所述成员对象320接收并响应服务端310发送的启动所述目标联邦学习任务的训练指令;
服务端310在监控到不少于预设数量的处于就绪状态的成员对象时,向就绪状态下的所述成员对象320发送所述训练指令;
就绪状态下的所述成员对象320在接收到所述训练指令后,将成员对象状态设置为执行状态,其中,执行状态下的所述成员对象320按照安全多方计算协议,基于所述成员对象320的样本数据和对应的分类标签,执行所述目标联邦学习任务的训练操作。
通过图3所示的联邦学习系统可以知道,本说明书实施例的方案由服务端作为平台发布联邦学习任务,需要参与的机构能够快速响应,向服务端申请加入,并通过状态机几种状态的切换,有序执行联邦学习任务的各个流程。这种联邦学习的运营模式下,样本数据的标注分摊到各个成员对象上执行,因此训练效率快,且服务端所需要投入的成本较低,因此具有很高的实用性,对联邦学习起到了普及作用。
可选地,标注状态下的所述成员对象320在完成所述成员对象320象的样本数据的标注后,对本地网络环境进行检测,确定本地网络环境是否满足所述目标联邦学习任务要求的网络条件;若满足,则将成员对象状态设置为就绪状态;若不满足,则执行预设的网络修复流程,直至本地网络环境满足所述目标联邦学习任务要求的网络条件后,将成员对象状态设置为就绪状态。
可选地,执行状态下的所述成员对象320在出现异常状况时,将成员对象状态设置为堵塞状态,其中,所述标注状态下的所述成员对象320停止执行所述目标联邦学习任务的训练操作,并对异常状况进行处理。对应地,堵塞状态的所述成员对象320在处理完成异常状况后,将成员对象状态设置为执行状态,以恢复执行所述目标联邦学习任务的训练操作。
可选地,所述目标联邦学习任务的成员对象320是通过客户端向所述服务端310发起针对所述目标联邦学习任务的参与请求,以加入成为所述目标联邦学习任务的成员对象的。
其中,所述参与请求可以携带有所属客户端的资质验证信息,服务端310在接收到参与请求后,基于所述参与请求中的资质验证信息,判断发起所述参与请求的客户端是否具有参与所述目标联邦学习任务的资质;若发起所述参与请求的客户端具有参与所述目标联邦学习任务的资质,则将发起所述参与请求的客户端添加为所述目标联邦学习任务的成员对象。
可选地,执行状态下的所述成员对象320在完成所述目标联邦学习任务的训练操作后,将成员对象状态设置为完成状态,其中,完成状态下的所述成员对象320向所述服务端310发送结束所述目标联邦学习任务的通知。
应理解,本说明书实施例的联邦学习系统是图2所示方法的执行主体,因此能够实现图2中所能实现的全部功能。由于原理相同,本文不再赘述。
此外,本说明书实施例还提供一种参与联邦学习的客户端。图4为客户端400的结构示意图,包括:
训练标注模块410,在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
训练就绪模块420,在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
训练响应模块430,在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
训练执行模块440,按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
通过图4所示的客户端可以知道,本说明书实施例的方案由服务端作为平台发布联邦学习任务,需要参与的机构能够快速响应,向服务端申请加入,并通过状态机几种状态的切换,有序执行联邦学习任务的各个流程。这种联邦学习的运营模式下,样本数据的标注分摊到各个成员对象上执行,因此训练效率快,且服务端所需要投入的成本较低,因此具有很高的实用性,对联邦学习起到了普及作用。
显然,本说明书实施例的客户端实现上述图2所示方法中由成员对象执行的步骤,因此实现了成员对象在图2中所实现的功能。由于原理相同,本文不再赘述。
图5是本说明书的一个实施例电子设备的结构示意图。请参考图5,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成上述私有数据保护的风险决策方装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
通过图5所示的电子设备可以知道,本说明书实施例的方案由服务端作为平台发布联邦学习任务,需要参与的机构能够快速响应,向服务端申请加入,并通过状态机几种状态的切换,有序执行联邦学习任务的各个流程。这种联邦学习的运营模式下,样本数据的标注分摊到各个成员对象上执行,因此训练效率快,且服务端所需要投入的成本较低,因此具有很高的实用性,对联邦学习起到了普及作用。
上述如本说明书图2所示实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
应理解,本说明书实施例的电子设备可以实现上述参与联邦学习的客户端在图2所示的实施例的功能。由于原理相同,本文不再赘述。
当然,除了软件实现方式之外,本说明书的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
此外,本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序。其中,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图2所示实施例的方法,并具体用于执行以下方法:
在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。此外,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。

Claims (11)

1.一种联邦学习的执行方法,包括:
服务端创建的目标联邦学习任务的成员对象在加入所述目标联邦学习任务后,将成员对象状态设置为标注状态,其中,所述标注状态下的所述成员对象对属于私有信息的样本数据进行标注,以得到所述成员对象的样本数据的分类标签;
标注状态下的所述成员对象在完成所述成员对象的样本数据的标注后,将成员对象状态设置为就绪状态,其中,所述就绪状态下的所述成员对象接收并响应服务端发送的启动所述目标联邦学习任务的训练指令;
服务端在监控到不少于预设数量的处于就绪状态的成员对象时,向就绪状态下的所述成员对象发送所述训练指令;
就绪状态下的所述成员对象在接收到所述训练指令后,将成员对象状态设置为执行状态,其中,执行状态下的所述成员对象按照安全多方计算协议,基于所述成员对象的样本数据和对应的分类标签,执行所述目标联邦学习任务的训练操作。
2.根据权利要求1所述的方法,
标注状态下的所述成员对象在完成所述成员对象的样本数据的标注后,将成员对象状态设置为就绪状态,包括:
标注状态下的所述成员对象在完成所述成员对象的样本数据的标注后,对本地网络环境进行检测,确定本地网络环境是否满足所述目标联邦学习任务要求的网络条件;
若满足,则将成员对象状态设置为就绪状态;
若不满足,则执行预设的网络修复流程,直至本地网络环境满足所述目标联邦学习任务要求的网络条件后,将成员对象状态设置为就绪状态。
3.根据权利要求1所述的方法,还包括:
执行状态下的所述成员对象在出现异常状况时,将成员对象状态设置为堵塞状态,其中,所述堵塞状态下的所述成员对象停止执行所述目标联邦学习任务的训练操作,并对所述异常状况进行处理;
堵塞状态的所述成员对象在处理完成所述异常状况后,将成员对象状态设置为执行状态,以恢复执行所述目标联邦学习任务的训练操作。
4.根据权利要求1所述的方法,
所述目标联邦学习任务的成员对象是通过客户端向所述服务端发起针对所述目标联邦学习任务的参与请求,以加入成为所述目标联邦学习任务的成员对象的。
5.根据权利要求4所述的方法,
所述参与请求携带有所属客户端的资质验证信息,所述方法还包括:
服务端在接收到参与请求后,基于所述参与请求中的资质验证信息,判断发起所述参与请求的客户端是否具有参与所述目标联邦学习任务的资质;
若发起所述参与请求的客户端具有参与所述目标联邦学习任务的资质,则将发起所述参与请求的客户端添加为所述目标联邦学习任务的成员对象。
6.根据权利要求1所述的方法, 还包括:
执行状态下的所述成员对象在完成所述目标联邦学习任务的训练操作后,将成员对象状态设置为完成状态,其中,完成状态下的所述成员对象向所述服务端发送结束所述目标联邦学习任务的通知。
7.一种联邦学习的执行方法,包括:
客户端在加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
标注状态下的所述客户端在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
就绪状态下的所述客户端在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
执行状态下的客户端按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
8.一种联邦学习系统,包括:服务端和至少一个加入所述服务端创建的目标联邦学习任务的成员对象;其中,
服务端创建的目标联邦学习任务的成员对象在加入所述目标联邦学习任务后,将成员对象状态设置为标注状态,其中,所述标注状态下的所述成员对象对属于私有信息的样本数据进行标注,以得到所述成员对象的样本数据的分类标签;
标注状态下的所述成员对象在完成所述成员对象的样本数据的标注后,将成员对象状态设置为就绪状态,其中,所述就绪状态下的所述成员对象接收并响应服务端发送的启动所述目标联邦学习任务的训练指令;
服务端在监控到不少于预设数量的处于就绪状态的成员对象时,向就绪状态下的所述成员对象发送所述训练指令;
就绪状态下的所述成员对象在接收到所述训练指令后,将成员对象状态设置为执行状态,其中,执行状态下的所述成员对象按照安全多方计算协议,基于所述成员对象的样本数据和对应的分类标签,执行所述目标联邦学习任务的训练操作。
9.一种参与联邦学习的客户端,包括:
训练标注模块,在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
训练就绪模块,在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
训练响应模块,在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
训练执行模块,按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
10.一种电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行:
在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
11.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
在客户端加入服务端创建的目标联邦学习的成员对象后,将客户端状态设置为标注状态,其中,标注状态下的客户端对属于私有信息的样本数据进行标注,以得到所述客户端的样本数据的分类标签;
在完成所述客户端的样本数据的标注后,将客户端状态设置为就绪状态,其中,就绪状态下的客户端能够接收并响应服务端发送的启动所述目标联邦学习的训练指令;
在接收到训练指令后,将客户端状态设置为执行状态,其中,所述训练指令是服务端在监控到不少于预设数量的就绪状态客户端时向就绪状态客户端发送的;
按照安全多方计算协议,基于客户端的样本数据和对应的分类标签执行所述目标联邦学习的训练流程。
CN202010048032.4A 2020-01-16 2020-01-16 联邦学习的执行方法、系统、客户端及电子设备 Active CN110874649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010048032.4A CN110874649B (zh) 2020-01-16 2020-01-16 联邦学习的执行方法、系统、客户端及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010048032.4A CN110874649B (zh) 2020-01-16 2020-01-16 联邦学习的执行方法、系统、客户端及电子设备

Publications (2)

Publication Number Publication Date
CN110874649A CN110874649A (zh) 2020-03-10
CN110874649B true CN110874649B (zh) 2020-04-28

Family

ID=69718377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010048032.4A Active CN110874649B (zh) 2020-01-16 2020-01-16 联邦学习的执行方法、系统、客户端及电子设备

Country Status (1)

Country Link
CN (1) CN110874649B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401913A (zh) * 2020-03-19 2020-07-10 支付宝(杭州)信息技术有限公司 一种私有数据保护的模型学习方法、装置及系统
CN111414646B (zh) * 2020-03-20 2024-03-29 矩阵元技术(深圳)有限公司 实现隐私保护的数据处理方法和装置
CN111402095A (zh) * 2020-03-23 2020-07-10 温州医科大学 一种基于同态加密联邦学习来检测学生行为与心理的方法
CN111797999A (zh) * 2020-07-10 2020-10-20 深圳前海微众银行股份有限公司 纵向联邦建模优化方法、装置、设备及可读存储介质
CN114037880A (zh) * 2020-07-20 2022-02-11 阿里巴巴集团控股有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN112101609B (zh) * 2020-07-24 2023-08-01 西安电子科技大学 关于用户还款及时性的预测系统、方法、装置及电子设备
CN111836321B (zh) * 2020-07-27 2022-11-18 北京邮电大学 一种基于联邦学习和边缘计算的小区切换方法
CN111970277B (zh) * 2020-08-18 2022-09-27 中国工商银行股份有限公司 基于联邦学习的流量识别方法及装置
CN112201342B (zh) * 2020-09-27 2024-04-26 博雅正链(北京)科技有限公司 基于联邦学习的医疗辅助诊断方法、装置、设备及存储介质
CN112381000A (zh) * 2020-11-16 2021-02-19 深圳前海微众银行股份有限公司 基于联邦学习的人脸识别方法、装置、设备及存储介质
CN112700014B (zh) * 2020-11-18 2023-09-29 脸萌有限公司 部署联邦学习应用的方法、装置、系统和电子设备
CN112487456A (zh) * 2020-12-07 2021-03-12 北京明略昭辉科技有限公司 联邦学习模型训练方法、系统、电子设备及可读存储介质
CN112671613B (zh) * 2020-12-28 2022-08-23 深圳市彬讯科技有限公司 联邦学习集群监控方法、装置、设备及介质
CN113158223A (zh) * 2021-01-27 2021-07-23 深圳前海微众银行股份有限公司 基于状态转移核优化的数据处理方法、装置、设备及介质
CN113051557B (zh) * 2021-03-15 2022-11-11 河南科技大学 基于纵向联邦学习的社交网络跨平台恶意用户检测方法
CN113505520A (zh) * 2021-05-17 2021-10-15 京东科技控股股份有限公司 用于支持异构联邦学习的方法、装置和系统
CN113364589B (zh) * 2021-08-10 2021-11-02 深圳致星科技有限公司 用于联邦学习安全审计的密钥管理系统、方法及存储介质
CN114281231B (zh) * 2021-10-12 2023-10-20 腾讯科技(深圳)有限公司 信息呈现方法、装置、电子设备和存储介质
CN116029371B (zh) * 2023-03-27 2023-06-06 北京邮电大学 基于预训练的联邦学习工作流构建方法及相关设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3231419A1 (en) * 2013-08-02 2015-02-05 Soul Machines Limited System for neurobehavioural animation
US10270599B2 (en) * 2017-04-27 2019-04-23 Factom, Inc. Data reproducibility using blockchains
EP3503012A1 (en) * 2017-12-20 2019-06-26 Accenture Global Solutions Limited Analytics engine for multiple blockchain nodes
CN110266771B (zh) * 2019-05-30 2022-11-22 王静逸 分布式智能节点及分布式群体智能统部署方法

Also Published As

Publication number Publication date
CN110874649A (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
CN110874649B (zh) 联邦学习的执行方法、系统、客户端及电子设备
CN110874646B (zh) 一种联邦学习的异常处理方法、装置及电子设备
CN111144718A (zh) 基于私有数据保护的风险决策方法、装置、系统及设备
WO2019227602A1 (zh) 基于区块链的套筒灌浆质量追溯方法、系统及采集终端
CN110493202A (zh) 登录令牌的生成及验证方法、装置和服务器
CN112182644A (zh) 一种数据处理方法、装置和电子设备
CN111724153A (zh) 一种基于区块链的预付式消费监管系统、方法及存储介质
CN111126797B (zh) 私有数据保护的业务风险控制方法、装置、平台及系统
WO2020215687A1 (zh) 数据传输监控方法、装置、计算机设备及存储介质
CN111709718A (zh) 基于人工智能的智能保理资产服务平台、方法和存储介质
CN110661779A (zh) 基于区块链网络的电子证件管理方法、系统、设备及介质
CN114266293A (zh) 一种联邦学习方法及联邦学习系统
CN111553672A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN110647583A (zh) 一种区块链构建方法、装置、终端及介质
CN112651716A (zh) 数据处理方法、设备及存储介质
CN115659346A (zh) 一种多方安全计算平台的功能测试方法及装置
CN116596094A (zh) 基于联邦学习的数据审计系统、方法、计算机设备及介质
CN113360575B (zh) 联盟链中交易数据的监管方法、装置、设备及存储介质
CN115114642A (zh) 基于链下可信计算的融资租赁核验方法、装置以及设备
CN114329544A (zh) 模型应用方法、区块链客户端、计算平台、区块链及设备
CN115114670B (zh) 基于外链的文件解锁方法、装置、网盘及存储介质
CN113537361B (zh) 联邦学习系统中的跨样本特征选择方法及联邦学习系统
CN111199468A (zh) 一种区块链网络的信息处理方法及装置、存储介质
CN114584314B (zh) 一种注册方法、装置、设备及介质
CN113609534A (zh) 数据协作核查方法、装置、服务器和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant