CN109189825B - 横向数据切分联邦学习建模方法、服务器及介质 - Google Patents

横向数据切分联邦学习建模方法、服务器及介质 Download PDF

Info

Publication number
CN109189825B
CN109189825B CN201810918869.2A CN201810918869A CN109189825B CN 109189825 B CN109189825 B CN 109189825B CN 201810918869 A CN201810918869 A CN 201810918869A CN 109189825 B CN109189825 B CN 109189825B
Authority
CN
China
Prior art keywords
model parameter
working node
data
gradient
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810918869.2A
Other languages
English (en)
Other versions
CN109189825A (zh
Inventor
马国强
范涛
刘洋
陈天健
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201810918869.2A priority Critical patent/CN109189825B/zh
Publication of CN109189825A publication Critical patent/CN109189825A/zh
Application granted granted Critical
Publication of CN109189825B publication Critical patent/CN109189825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种横向数据切分联邦学习建模方法、服务器及可读存储介质,横向数据切分联邦学习建模方法包括以下步骤:服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价,并反馈梯度和损失代价;接收各个工作节点反馈的梯度和损失代价;基于梯度和损失代价对第一模型参数进行更新,以获得第二模型参数,并判断第二模型参数是否收敛,若是,则将第二模型参数作为标准模型参数。本发明通过服务器节点发送模型参数、收集梯度及更新模型参数,且各个工作节点同时进行联邦模型训练,根据不同类型的模型参数使得模型训练过程中不存在数据泄露的问题。

Description

横向数据切分联邦学习建模方法、服务器及介质
技术领域
本发明涉及大数据技术领域,尤其涉及横向数据切分联邦学习建模方法、服务器及介质。
背景技术
当前关于隐私保护的机器学习方案主要停留在理论研究和学术论文中,根据调研发现,现有的隐私保护的机器学习方案受限于技术形态与实际应用,目前工业界无相关的技术应用。
并且,当前现有的隐私保护联邦学习方案常出现在学术论文中,但对现实问题理解不足,缺乏从训练到预测的一体化流程,且往往只停留在理论研究阶段。
发明内容
本发明的主要目的在于提供一种横向数据切分联邦学习建模方法、服务器及可读存储介质,旨在解决现有技术中联邦学习方案缺少训练流程的技术问题。
为实现上述目的,本发明提供一种横向数据切分联邦学习建模方法,所述横向数据切分联邦学习建模方法包括以下步骤:
服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价,并反馈所述梯度和损失代价,其中,各个数据拥有方分别切分自身拥有的数据获得待训练数据,并分别发送所述待训练数据至对应的工作节点;
接收所述各个工作节点反馈的所述梯度和损失代价;
基于所述梯度和损失代价对所述第一模型参数进行更新,以获得第二模型参数,并判断第二模型参数是否收敛,若是,则将所述第二模型参数作为标准模型参数。
优选地,所述工作节点包括本地工作节点和远程工作节点,所述服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价,并反馈所述梯度和损失代价,其中,各个数据拥有方分别切分自身拥有的数据获得待训练数据,并分别发送所述待训练数据至对应的工作节点的步骤包括:
所述服务器节点将第三模型参数发送至所述本地工作节点,以供所述本地工作节点对其自身的待训练数据对应的第一多方样本特征进行联邦模型训练得到本地梯度和损失代价,并反馈所述本地梯度和损失代价,其中,所述本地工作节点与所述服务器节点属于同一个数据拥有方;
且所述服务器节点将第四模型参数发送至远程工作节点,以供所述远程工作节点对其自身的若干份数据对应的第二多方样本特征进行联邦模型训练得到加密梯度,并反馈所述加密梯度,其中,所述第四模型参数为对所述第三模型参数执行加密操作后得到的模型参数,所述远程工作节点对应的数据拥有方为各个数据拥有方中除服务器节点对应的数据拥有方以外的第一数据拥有方。
优选地,所述接收所述各个工作节点反馈的所述梯度和损失代价的步骤包括:
接收所述本地工作节点反馈的本地梯度和损失代价,且接收所述远程工作节点反馈的加密梯度。
优选地,所述基于所述梯度和损失代价对所述第一模型参数进行更新,以获得第二模型参数,并判断第二模型参数是否收敛,若是,则将所述第二模型参数作为标准模型参数的步骤包括:
将接收到的加密梯度进行解密得到远程梯度;
对所述本地梯度和远程梯度进行汇总求和得到梯度,且基于所述梯度对所述第一模型参数进行更新得到第二模型参数;
基于所述损失代价,判断所述第二模型参数是否收敛;
若是,则将所述第二模型参数作为标准模型参数。
优选地,所述基于所述损失代价,判断所述第二模型参数是否收敛的步骤包括:
对所述损失代价进行求和后判断所述损失代价是否无变化,其中,在判定所述损失代价无变化后,确定所述第二模型参数收敛;
或;
判断所述第二模型参数与所述第一模型参数相比是否无变化,其中,在判定所述第二模型参数与所述第一模型参数相比无变化后,确定所述第二模型参数收敛;
或;
判断所述第二模型参数已达到最大迭代次数,其中,在判定所述第二模型参数已达到最大迭代次数后,确定所述第二模型参数收敛。
优选地,所述基于所述损失代价,判断更新后的模型参数是否收敛的还步骤包括:
若否,则将所述第二模型参数作为第一模型参数,并执行服务器节点将第一模型参数发送至各个工作节点的步骤。
优选地,所述则将所述第二模型参数作为标准模型参数的步骤之后,所述横向数据切分联邦学习建模方法的方法还包括:
在接收到所述本地工作节点和远程工作节点结束联邦模型训练的结束指令后,发送的第二模型参数至所述本地工作节点,以供所述本地工作节点基于所述第二模型参数计算第一预测结果,并反馈所述第一预测结果。
优选地,所述则将所述第二模型参数作为标准模型参数的步骤之后,所述横向数据切分联邦学习建模方法的方法还包括:
在接收到所述本地工作节点和远程工作节点结束联邦模型训练的结束指令后,发送第三模型参数至所述远程工作节点,以供所述远程工作节点基于所述第三模型参数计算得到的加密结果,并反馈所述加密结果,其中,所述第三模型参数为第二模型参数执行加密操作后的模型参数;
接收所述远程工作节点反馈的所述加密结果;
将所述加密结果进行解密得到第二预测结果;
将所述第二预测结果发送至所述远程工作节点。
此外,为实现上述目的,本发明还提供一种服务器,所述服务器包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的横向数据切分联邦学习建模程序,所述横向数据切分联邦学习建模程序被所述处理器执行时实现上述中任一项所述的横向数据切分联邦学习建模方法的步骤。
此外,为实现上述目的,本发明还提供一种可读存储介质,所述可读存储介质上存储有横向数据切分联邦学习建模程序,所述横向数据切分联邦学习建模程序被处理器执行时实现上述中任一项所述的横向数据切分联邦学习建模方法的步骤。
本发明中,由于各个数据拥有方的分别切分自身拥有的数据获得待训练数据,便于各个数据拥有方的待训练数据同时进行联邦模型训练,有效提高训练速率;服务器节点将第一模型参数发送至各个工作节点,使得各个工作节点能够基于模型参数同时进行联邦模型训练,有效提高训练效率;服务器节点可根据工作节点的类别发送不同的模型参数,使得各个工作节点的数据相对保密;并且,根据得到的梯度和损失代价对第一模型参数进行更新得到第二模型参数,判断第二模型参数是否收敛,从而实现联邦模型的训练过程。本发明通过服务器节点发送模型参数、收集梯度及更新模型参数,且各个工作节点同时进行联邦模型训练,根据不同类型的模型参数使得模型训练过程中不存在数据泄露的问题,各个数据拥有方中,在不泄露己方数据给他方的同时,实现共同建立模型,有效保护隐私。
附图说明
图1为本发明实施例方案涉及的服务器硬件结构示意图;
图2为本发明横向数据切分联邦学习建模方法第一实施例的流程流向图;
图3为本发明横向数据切分联邦学习建模方法第一实施例的训练框图;
图4为本发明横向数据切分联邦学习建模方法第二实施例的流程示意图;
图5为本发明横向数据切分联邦学习建模方法第四实施例的流程示意图;
图6为本发明横向数据切分联邦学习建模方法第四实施例的在线预测流程图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的服务器结构示意图。
如图1所示,该服务器可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,服务器还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。当然,服务器还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口单元以及横向数据切分联邦学习建模程序。
在图1所示的服务器中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的横向数据切分联邦学习建模程序,并执行以下操作:
服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价,并反馈所述梯度和损失代价,其中,各个数据拥有方分别切分自身拥有的数据获得待训练数据,并分别发送所述待训练数据至对应的工作节点;
接收所述各个工作节点反馈的所述梯度和损失代价;
基于所述梯度和损失代价对所述第一模型参数进行更新,以获得第二模型参数,并判断第二模型参数是否收敛,若是,则将所述第二模型参数作为标准模型参数。
进一步地,处理器1001可以调用存储器1005中存储的横向数据切分联邦学习建模程序,还执行以下操作:
所述服务器节点将第三模型参数发送至所述本地工作节点,以供所述本地工作节点对其自身的待训练数据对应的第一多方样本特征进行联邦模型训练得到本地梯度和损失代价,并反馈所述本地梯度和损失代价,其中,所述本地工作节点与所述服务器节点属于同一个数据拥有方;
且所述服务器节点将第四模型参数发送至远程工作节点,以供所述远程工作节点对其自身的若干份数据对应的第二多方样本特征进行联邦模型训练得到加密梯度,并反馈所述加密梯度,其中,所述第四模型参数为对所述第三模型参数执行加密操作后得到的模型参数,所述远程工作节点对应的数据拥有方为各个数据拥有方中除服务器节点对应的数据拥有方以外的第一数据拥有方。
进一步地,处理器1001可以调用存储器1005中存储的横向数据切分联邦学习建模程序,还执行以下操作:
接收所述本地工作节点反馈的本地梯度和损失代价,且接收所述远程工作节点反馈的加密梯度。
进一步地,处理器1001可以调用存储器1005中存储的横向数据切分联邦学习建模程序,还执行以下操作:
将接收到的加密梯度进行解密得到远程梯度;
对所述本地梯度和远程梯度进行汇总求和得到梯度,且基于所述梯度对所述第一模型参数进行更新得到第二模型参数;
基于所述损失代价,判断所述第二模型参数是否收敛;
若是,则将所述第二模型参数作为标准模型参数。
进一步地,处理器1001可以调用存储器1005中存储的横向数据切分联邦学习建模程序,还执行以下操作:
对所述损失代价进行求和后判断所述损失代价是否无变化,其中,在判定所述损失代价无变化后,确定所述第二模型参数收敛;
或;
判断所述第二模型参数与所述第一模型参数相比是否无变化,其中,在判定所述第二模型参数与所述第一模型参数相比无变化后,确定所述第二模型参数收敛;
或;
判断所述第二模型参数已达到最大迭代次数,其中,在判定所述第二模型参数已达到最大迭代次数后,确定所述第二模型参数收敛。
进一步地,处理器1001可以调用1005中存储的横向数据切分联邦学习建模程序,还执行以下操作:
若否,则将所述第二模型参数作为第一模型参数,并执行服务器节点将第一模型参数发送至各个工作节点的步骤。
进一步地,处理器1001可以调用存储器1005中存储的横向数据切分联邦学习建模程序,还执行以下操作:
在接收到所述本地工作节点和远程工作节点结束联邦模型训练的结束指令后,发送的第二模型参数至所述本地工作节点,以供所述本地工作节点基于所述第二模型参数计算第一预测结果,并反馈所述第一预测结果。
进一步地,处理器1001可以调用存储器1005中存储的横向数据切分联邦学习建模程序,还执行以下操作:
在接收到所述本地工作节点和远程工作节点结束联邦模型训练的结束指令后,发送第三模型参数至所述远程工作节点,以供所述远程工作节点基于所述第三模型参数计算得到的加密结果,并反馈所述加密结果,其中,所述第三模型参数为第二模型参数执行加密操作后的模型参数;
接收所述远程工作节点反馈的所述加密结果;
将所述加密结果进行解密得到第二预测结果;
将所述第二预测结果发送至所述远程工作节点。
参照图2,图2为本发明横向数据切分联邦学习建模方法第一实施例的流程示意图。
在第一实施例中,横向数据切分联邦学习建模方法包括:
步骤S10,服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价,并反馈所述梯度和损失代价,其中,各个数据拥有方分别切分自身拥有的数据获得待训练数据,并分别发送所述待训练数据至对应的工作节点。
本实施例中,服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价,并反馈所述梯度和损失代价,其中,各个数据拥有方分别切分自身拥有的数据获得待训练数据,并分别发送所述待训练数据至对应的工作节点。服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的若干份数据进行联邦模型训练,其中,所述若干份数据通过各个数据拥有方分别切分自身拥有的数据获得。各个数据拥有方对各自拥有的数据进行分别切分得到若干份数据后进行保存,由于存在很多个数据拥有方,每个数据拥有方各自拥有很多数据,若是对数据进行逐一处理,那么会需要耗费大量的时间,将数据切分为若干份,同时对若干份数据进行处理,能节约大量时间,有效提高处理速率,如图3所示,将数据切分为若干个worker,从worker 1至worker k,worker 1至worker k的数据同时处理,有效提高处理效率。
步骤S20,接收所述各个工作节点反馈的所述梯度和损失代价。
本实施例中,各个工作节点在接收到第一参数模型后,基于自身的若干份数据对应的多方样本特征Xowner及参数模型w进行联邦模型训练得到梯度和损失代价。且Xowner_o={[xi,1,xi,2,…xi,dim],i=1…N,N为Xowner_o样本数},其中,dim为样本特征维度大小,各方样本特征维度dim相等,各特征维度含义一致,如[贷款额、贷款时长、负债情况]。
步骤S30,基于所述梯度和损失代价对所述第一模型参数进行更新,以获得第二模型参数,并判断第二模型参数是否收敛,若是,则将所述第二模型参数作为标准模型参数。
本实施例中,基于所述梯度和损失代价对所述第一模型参数进行更新,以获得第二模型参数,并判断第二模型参数是否收敛,若是,则将所述第二模型参数作为标准模型参数。基于梯度和损失代价对第一模型参数进行更新得到第二模型参数,判断第二模型参数是否收敛,如,判断损失代价local_loss是否无变化,判断第二模型参数是否无变化,或者是判断训练是否达到最大迭代次数,若是,则说明第二模型参数收敛,比如,已经训练了一千次,但是第二模型参数w还是无变化,那么再继续训练下去还是毫无意义,因此,可以通知各个工作节点结束训练过程,否则,将继续下一轮迭代训练。
本发明中,由于各个数据拥有方的分别切分自身拥有的数据获得待训练数据,便于各个数据拥有方的待训练数据同时进行联邦模型训练,有效提高训练速率;服务器节点将第一模型参数发送至各个工作节点,使得各个工作节点能够基于模型参数同时进行联邦模型训练,有效提高训练效率;服务器节点可根据工作节点的类别发送不同的模型参数,使得各个工作节点的数据相对保密;并且,根据得到的梯度和损失代价对第一模型参数进行更新得到第二模型参数,判断第二模型参数是否收敛,从而实现联邦模型的训练过程。本发明通过服务器节点发送模型参数、收集梯度及更新模型参数,且各个工作节点同时进行联邦模型训练,根据不同类型的模型参数使得模型训练过程中不存在数据泄露的问题,各个数据拥有方中,在不泄露己方数据给他方的同时,实现共同建立模型,有效保护隐私。
进一步地,所述工作节点包括本地工作节点和远程工作节点,步骤S10包括:
所述服务器节点将第三模型参数发送至所述本地工作节点,以供所述本地工作节点对其自身的待训练数据对应的第一多方样本特征进行联邦模型训练得到本地梯度和损失代价,并反馈所述本地梯度和损失代价,其中,所述本地工作节点与所述服务器节点属于同一个数据拥有方;
且所述服务器节点将第四模型参数发送至远程工作节点,以供所述远程工作节点对其自身的若干份数据对应的第二多方样本特征进行联邦模型训练得到加密梯度,并反馈所述加密梯度,其中,所述第四模型参数为对所述第三模型参数执行加密操作后得到的模型参数,所述远程工作节点对应的数据拥有方为各个数据拥有方中除服务器节点对应的数据拥有方以外的第一数据拥有方。
本实施例中,从各个数据拥有方中选取其中一个数据拥有方作为服务器节点,并且,服务器节点对应的数据拥有方,其各份数据对应的工作节点设定为本地工作节点,而除了服务器节点之外的数据拥有方设定为远程工作节点,服务器节点负责收集梯度和更新模型,梯度和损失函数计算交给本地工作节点和远程工作节点。
在将各个数据拥有方拥有的数据切割成若干份后,同时对若干份数据进行模型训练,针对本地工作节点,服务器节点给本地工作节点发送不加密的第三模型参数w,本地工作节点在接收到不加密的第三模型参数w之后,从数据样本中计算本轮迭代的损失函数local_loss和梯度local_grad,完成计算后将梯度local_grad和损失代价发送回服务器节点。
由于服务器节点和本地工作节点属于同一个数据拥有方,那么在训练过程中不存在数据泄露的问题,保证了数据隐私保护的前提下的联邦模型训练。
针对远程工作节点,服务器节点给远程工作节点发送加密后的模型参数[[w]],远程工作节点仅需要计算加密的远程梯度[[remote_grad]],在得到远程梯度[[remote_grad]]后回传给服务器节点。
进一步地,步骤S20包括:
接收所述本地工作节点反馈的本地梯度和损失代价,且接收所述远程工作节点反馈的加密梯度。
本实施例中,针对本地工作节点,服务器节点给本地工作节点发送不加密的模型参数w,本地工作节点在接收到不加密的模型参数w之后,从数据样本中计算本轮迭代的损失函数local_loss和梯度local_grad,完成计算后将梯度local_grad和损失代价发送回服务器节点。
由于服务器节点和本地工作节点属于同一个数据拥有方,那么在训练过程中不存在数据泄露的问题,保证了数据隐私保护的前提下的联邦模型训练。
针对远程工作节点,服务器节点给远程工作节点发送加密后的模型参数[[w]],远程工作节点仅需要计算加密的远程梯度[[remote_grad]],在得到远程梯度[[remote_grad]]后回传给服务器节点。
由于远程工作节点接收到的加密的模型参数[[w]],因此也不会存在数据泄露的问题。
如下表一所示,表一为数据拥有方A的数据。
Figure BDA0001761796810000101
如下表二所示,表二为数据拥有方B的数据。
Figure BDA0001761796810000111
如上表一和表二所示,数据拥有方A将样本横向切分,即将X切分得到X1、X2,得到的预测结果为Y,不同的ID得到对应不同的预测结果Y;数据拥有方B将样本横向切分,得到X1、X2,得到预测结果Y,且不同的ID得到对应不同的预测结果Y。
基于服务器节点发送的不加密的第一模型参数w及样本特征X1,通过本地工作节点进行计算本轮迭代的本地梯度和损失函数后回传至服务器节点。
由于服务器节点和本地工作节点属于同一个数据拥有方,因此,不存在数据泄露的问题。
基于第一实施例,提出本发明横向数据切分联邦学习建模方法的第二实施例,如图4所示,步骤S30包括:
步骤S31,将接收到的加密梯度进行解密得到远程梯度;
步骤S32,对所述本地梯度和远程梯度进行汇总求和得到梯度,且基于所述梯度对所述第一模型参数进行更新得到第二模型参数;
步骤S33,基于所述损失代价,判断所述第二模型参数是否收敛;
步骤S34,若是,则将所述第二模型参数作为标准模型参数。
本实施例中,在服务器节点得到本地梯度和远程加密梯度后,首先对远程加密梯度进行解密,得到远程梯度remote_grad,对收集到服务器节点的本地梯度和远程梯度进行汇总求和(local_grad+remote_grad),更新模型参数w。根据本地工作节点计算的损失代价求和后,判断更新后的模型参数w是否收敛,若收敛,说明本轮迭代的联邦模型训练可结束,且将更新后的模型参数作为标准模型参数。当结束训练时,可进行在线预测,预测时通过服务器节点、本地工作节点及远程工作节点对所述模型参数进行在线预测得到预测结果。
进一步地,步骤S33包括:
对所述损失代价进行求和后判断所述损失代价是否无变化,其中,在判定所述损失代价无变化后,确定所述第二模型参数收敛;
或;
判断所述第二模型参数与所述第一模型参数相比是否无变化,其中,在判定所述第二模型参数与所述第一模型参数相比无变化后,确定所述第二模型参数收敛;
或;
判断所述第二模型参数已达到最大迭代次数,其中,在判定所述第二模型参数已达到最大迭代次数后,确定所述第二模型参数收敛。
判断更新后的模型参数是否收敛的方式有如下三种:1、对所述损失代价进行求和后的local_loss判断所述损失代价是否无变化,若是一直无变化,说明无需再做训练;2、判断更新后的模型参数与所述模型参数相比是否无变化,若是更新后的模型参数与更新前的模型参数相比已无变化,说明不需要再继续训练;3、判断更新后的模型参数已达到最大迭代次数,若是,则说明模型参数收敛,比如,已经训练了一千次,但是模型参数w还是无变化,那么再继续训练下去还是毫无意义,因此,可以通知各个工作节点结束训练过程,否则,将继续下一轮迭代训练。
进一步地,步骤S33还包括:若否,则将所述第二模型参数作为第一模型参数,并执行服务器节点将第一模型参数发送至各个工作节点的步骤。
若更新后的模型参数未收敛,那么需要继续下一轮迭代,将所述第二模型参数作为第一模型参数,并执行步骤S20开始继续训练。
基于第一实施例,提出本发明横向数据切分联邦学习建模方法的第三实施例,步骤S30之后,所述横向数据切分联邦学习建模方法的方法还包括:
在接收到所述本地工作节点和远程工作节点结束联邦模型训练的结束指令后,发送的第二模型参数至所述本地工作节点,以供所述本地工作节点基于所述第二模型参数计算第一预测结果,并反馈所述第一预测结果。
本实施例中,在训练完成后,可进行在线预测。当接收到本地工作节点和远程工作节点结束训练的结束指令后,服务器节点发送不加密的第二模型参数至本地工作节点,本地工作节点基于不加密的第二模型参数计算第一预测结果Yowner
基于第三实施例,提出本发明横向数据切分联邦学习建模第四实施例,如图5所示,在步骤S30之后,所述横向数据切分联邦学习建模方法的方法还包括:
步骤S41,在接收到所述本地工作节点和远程工作节点结束联邦模型训练的结束指令后,发送第三模型参数至所述远程工作节点,以供所述远程工作节点基于所述第三模型参数计算得到的加密结果,并反馈所述加密结果,其中,所述第三模型参数为第二模型参数执行加密操作后的模型参数;
步骤S42,接收所述远程工作节点反馈的所述加密结果;
步骤S43,将所述加密结果进行解密得到第二预测结果;
步骤S44,将所述第二预测结果发送至所述远程工作节点。
本实施例中,发送第三模型参数至所述远程工作节点,以供所述远程工作节点基于所述第三模型参数计算得到的加密结果[[w]]TX,并反馈所述加密结果[[w]]TX,其中,所述第三模型参数[[w]]为第二模型参数执行加密操作后的模型参数;并且接收所述远程工作节点反馈的所述加密结果,远程工作节点在接收到加密的第三模型参数及若干份数据对应的多方样本特征后计算得到加密结果[[w]]TX,在得到加密结果[[w]]TX后,对加密结果[[w]]TX进行解密得到第二预测结果,且将第二预测结果发送至远程工作节点,使得远程工作节点得知相对应的预测结果,即样本类别标签Yowner
由于服务器节点发送的是加密的第三模型参数,因此,远程工作节点无法得知服务器节点对应的数据拥有方具体拥有的数据,使得服务器节点的数据不会存在泄露的问题。
具体参阅图6,图6为在线预测流程图,数据拥有方A,即服务器节点在拥有训练模型后,发送模型至本地工作节点local worker,获取模型后计算预测结果;发送加密模型至远程工作节点remote worker,在远程工作节点remote worker获取加密模型后,回传加密结果[[w]]TX,服务器节点在接收到加密结果[[w]]TX后进行解密得到预测结果,且将预测结果发送至远程工作节点。
由于服务器节点和本地工作节点属于同一个数据拥有方A,因此不存在数据泄密的问题;对于其他数据拥有方的远程工作节点,采用发送加密模型的形式,因此,也不存在数据泄露的问题,有效实现隐私保护。
此外,本发明实施例还提出一种可读存储介质,所述可读存储介质上存储有横向数据切分联邦学习建模程序,所述横向数据切分联邦学习建模程序被处理器执行时实现如上所述的横向数据切分联邦学习建模方法的步骤。
本发明可读存储介质的具体实施例与上述横向数据切分联邦学习建模方法的各个实施例基本相同,在此不做赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台装置设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种横向数据切分联邦学习建模方法,其特征在于,所述横向数据切分联邦学习建模方法包括以下步骤:
服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价,并反馈所述梯度和损失代价,其中,各个数据拥有方分别切分自身拥有的数据获得待训练数据,并分别发送所述待训练数据至对应的工作节点,所述工作节点包括本地工作节点和远程工作节点;
接收所述各个工作节点反馈的所述梯度和损失代价;
基于所述梯度和损失代价对所述第一模型参数进行更新,以获得第二模型参数,并判断第二模型参数是否收敛,若是,则将所述第二模型参数作为标准模型参数;
所述服务器节点将第一模型参数发送至各个工作节点,以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价,并反馈所述梯度和损失代价,其中,各个数据拥有方分别切分自身拥有的数据获得待训练数据,并分别发送所述待训练数据至对应的工作节点的步骤包括:
所述服务器节点将第三模型参数发送至所述本地工作节点,以供所述本地工作节点对其自身的待训练数据对应的第一多方样本特征进行联邦模型训练得到本地梯度和损失代价,并反馈所述本地梯度和损失代价,其中,所述本地工作节点与所述服务器节点属于同一个数据拥有方;
且所述服务器节点将第四模型参数发送至远程工作节点,以供所述远程工作节点对其自身的若干份数据对应的第二多方样本特征进行联邦模型训练得到加密梯度,并反馈所述加密梯度,其中,所述第四模型参数为对所述第三模型参数执行加密操作后得到的模型参数,所述远程工作节点对应的数据拥有方为各个数据拥有方中除服务器节点对应的数据拥有方以外的第一数据拥有方。
2.如权利要求1所述的横向数据切分联邦学习建模方法,其特征在于,所述接收所述各个工作节点反馈的所述梯度和损失代价的步骤包括:
接收所述本地工作节点反馈的本地梯度和损失代价,且接收所述远程工作节点反馈的加密梯度。
3.如权利要求2所述的横向数据切分联邦学习建模方法,其特征在于,所述基于所述梯度和损失代价对所述第一模型参数进行更新,以获得第二模型参数,并判断第二模型参数是否收敛,若是,则将所述第二模型参数作为标准模型参数的步骤包括:
将接收到的加密梯度进行解密得到远程梯度;
对所述本地梯度和远程梯度进行汇总求和得到梯度,且基于所述梯度对所述第一模型参数进行更新得到第二模型参数;
基于所述损失代价,判断所述第二模型参数是否收敛;
若是,则将所述第二模型参数作为标准模型参数。
4.如权利要求3所述的横向数据切分联邦学习建模方法,其特征在于,所述基于所述损失代价,判断所述第二模型参数是否收敛的步骤包括:
对所述损失代价进行求和后判断所述损失代价是否无变化,其中,在判定所述损失代价无变化后,确定所述第二模型参数收敛;
或;
判断所述第二模型参数与所述第一模型参数相比是否无变化,其中,在判定所述第二模型参数与所述第一模型参数相比无变化后,确定所述第二模型参数收敛;
或;
判断所述第二模型参数已达到最大迭代次数,其中,在判定所述第二模型参数已达到最大迭代次数后,确定所述第二模型参数收敛。
5.如权利要求3所述的横向数据切分联邦学习建模方法,其特征在于,所述基于所述损失代价,判断更新后的模型参数是否收敛的还步骤包括:
若否,则将所述第二模型参数作为第一模型参数,并执行服务器节点将第一模型参数发送至各个工作节点的步骤。
6.如权利要求1所述的横向数据切分联邦学习建模方法,其特征在于,所述则将所述第二模型参数作为标准模型参数的步骤之后,所述横向数据切分联邦学习建模方法的方法还包括:
在接收到所述本地工作节点和远程工作节点结束联邦模型训练的结束指令后,发送的第二模型参数至所述本地工作节点,以供所述本地工作节点基于所述第二模型参数计算第一预测结果,并反馈所述第一预测结果。
7.如权利要求6所述的横向数据切分联邦学习建模方法,其特征在于,所述则将所述第二模型参数作为标准模型参数的步骤之后,所述横向数据切分联邦学习建模方法的方法还包括:
在接收到所述本地工作节点和远程工作节点结束联邦模型训练的结束指令后,发送第三模型参数至所述远程工作节点,以供所述远程工作节点基于所述第三模型参数计算得到的加密结果,并反馈所述加密结果,其中,所述第三模型参数为第二模型参数执行加密操作后的模型参数;
接收所述远程工作节点反馈的所述加密结果;
将所述加密结果进行解密得到第二预测结果;
将所述第二预测结果发送至所述远程工作节点。
8.一种服务器,其特征在于,所述服务器包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的横向数据切分联邦学习建模程序,所述横向数据切分联邦学习建模程序被所述处理器执行时实现如权利要求1至7中任一项所述的横向数据切分联邦学习建模方法的步骤。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储有横向数据切分联邦学习建模程序,所述横向数据切分联邦学习建模程序被处理器执行时实现如权利要求1至7中任一项所述的横向数据切分联邦学习建模方法的步骤。
CN201810918869.2A 2018-08-10 2018-08-10 横向数据切分联邦学习建模方法、服务器及介质 Active CN109189825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810918869.2A CN109189825B (zh) 2018-08-10 2018-08-10 横向数据切分联邦学习建模方法、服务器及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810918869.2A CN109189825B (zh) 2018-08-10 2018-08-10 横向数据切分联邦学习建模方法、服务器及介质

Publications (2)

Publication Number Publication Date
CN109189825A CN109189825A (zh) 2019-01-11
CN109189825B true CN109189825B (zh) 2022-03-15

Family

ID=64921259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810918869.2A Active CN109189825B (zh) 2018-08-10 2018-08-10 横向数据切分联邦学习建模方法、服务器及介质

Country Status (1)

Country Link
CN (1) CN109189825B (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612167B (zh) * 2019-02-26 2024-04-16 京东科技控股股份有限公司 机器学习模型的联合训练方法、装置、设备及存储介质
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110110229B (zh) * 2019-04-25 2021-06-04 深圳前海微众银行股份有限公司 一种信息推荐方法及装置
CN110288094B (zh) * 2019-06-10 2020-12-18 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法及装置
CN110263936B (zh) * 2019-06-14 2023-04-07 深圳前海微众银行股份有限公司 横向联邦学习方法、装置、设备及计算机存储介质
CN110245510B (zh) * 2019-06-19 2021-12-07 北京百度网讯科技有限公司 用于预测信息的方法和装置
EP3767511B1 (en) * 2019-07-19 2021-08-25 Siemens Healthcare GmbH Securely performing parameter data updates
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器
CN110443375B (zh) * 2019-08-16 2021-06-11 深圳前海微众银行股份有限公司 一种联邦学习方法及装置
CN110380917B (zh) * 2019-08-26 2022-01-07 深圳前海微众银行股份有限公司 联邦学习系统的控制方法、装置、终端设备及存储介质
CN110569911B (zh) * 2019-09-11 2022-06-07 深圳绿米联创科技有限公司 图像识别方法、装置、系统、电子设备及存储介质
CN110728375B (zh) * 2019-10-16 2021-03-19 支付宝(杭州)信息技术有限公司 多个计算单元联合训练逻辑回归模型的方法和装置
CN112749812A (zh) * 2019-10-29 2021-05-04 华为技术有限公司 一种联合学习系统、训练结果聚合的方法及设备
CN111104731B (zh) * 2019-11-19 2023-09-15 北京集奥聚合科技有限公司 一种用于联邦学习的图形化模型全生命周期建模方法
CN110991512B (zh) * 2019-11-26 2023-08-04 广东美的白色家电技术创新中心有限公司 物体识别模型的联合训练方法、服务器及电器设备
US11588621B2 (en) 2019-12-06 2023-02-21 International Business Machines Corporation Efficient private vertical federated learning
CN111046425B (zh) * 2019-12-12 2021-07-13 支付宝(杭州)信息技术有限公司 多方联合进行风险识别的方法和装置
CN110955907B (zh) * 2019-12-13 2022-03-25 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111046433B (zh) * 2019-12-13 2021-03-05 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111143308B (zh) * 2019-12-26 2023-04-28 许昌中科森尼瑞技术有限公司 基于联邦学习的高低压电动机数据处理方法、系统及装置
EP4089549A4 (en) * 2020-01-14 2023-01-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR RESOURCE PLANNING AND READABLE STORAGE MEDIUM
CN111242385A (zh) * 2020-01-19 2020-06-05 苏宁云计算有限公司 一种梯度提升树模型的预测方法、装置及系统
CN111260061B (zh) * 2020-03-09 2022-07-19 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
CN111046857A (zh) * 2020-03-13 2020-04-21 同盾控股有限公司 基于知识联邦的人脸识别方法、装置、设备、介质及系统
CN113392101A (zh) * 2020-03-13 2021-09-14 京东城市(北京)数字科技有限公司 构建横向联邦树的方法、主服务器、业务平台和系统
CN111428887B (zh) * 2020-03-19 2023-05-12 腾讯云计算(北京)有限责任公司 一种基于多个计算节点的模型训练控制方法、装置及系统
CN111383096A (zh) * 2020-03-23 2020-07-07 中国建设银行股份有限公司 欺诈检测及其模型训练方法、装置、电子设备及存储介质
CN111445031B (zh) * 2020-03-31 2021-07-27 深圳前海微众银行股份有限公司 一种应对攻击的方法及联邦学习装置
CN111178549B (zh) * 2020-04-10 2020-07-07 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111553443B (zh) * 2020-05-14 2021-12-21 北京华宇元典信息服务有限公司 裁判文书处理模型的训练方法、训练装置和电子设备
CN111340150B (zh) * 2020-05-22 2020-09-04 支付宝(杭州)信息技术有限公司 用于对第一分类模型进行训练的方法及装置
CN111898764A (zh) * 2020-06-23 2020-11-06 华为技术有限公司 联邦学习的方法、装置和芯片
CN111475853B (zh) * 2020-06-24 2020-12-11 支付宝(杭州)信息技术有限公司 一种基于分布式数据的模型训练方法及系统
CN113282933B (zh) * 2020-07-17 2022-03-01 中兴通讯股份有限公司 联邦学习方法、装置和系统、电子设备、存储介质
CN111882133B (zh) * 2020-08-03 2022-02-01 重庆大学 一种基于预测的联邦学习通信优化方法及系统
CN112001500B (zh) * 2020-08-13 2021-08-03 星环信息科技(上海)股份有限公司 基于纵向联邦学习系统的模型训练方法、设备及存储介质
CN111985000A (zh) * 2020-08-21 2020-11-24 深圳前海微众银行股份有限公司 模型服务输出方法、装置、设备及存储介质
CN114257386B (zh) * 2020-09-10 2023-03-21 华为技术有限公司 检测模型的训练方法、系统、设备及存储介质
CN114257314B (zh) * 2020-09-11 2023-11-24 军事科学院系统工程研究院网络信息研究所 基于多方安全计算的量子加密通信方法
CN112068866B (zh) * 2020-09-29 2022-07-19 支付宝(杭州)信息技术有限公司 更新业务模型的方法及装置
CN112232518B (zh) * 2020-10-15 2024-01-09 成都数融科技有限公司 一种轻量级分布式联邦学习系统及方法
CN112232519B (zh) * 2020-10-15 2024-01-09 成都数融科技有限公司 一种基于联邦学习的联合建模方法
CN112732297B (zh) * 2020-12-31 2022-09-27 平安科技(深圳)有限公司 联邦学习模型的更新方法、装置、电子设备及存储介质
CN113315604B (zh) * 2021-05-25 2022-06-03 电子科技大学 一种联邦学习自适应梯度量化方法
CN113704777A (zh) * 2021-07-15 2021-11-26 杭州医康慧联科技股份有限公司 基于同构机器学习框架的数据处理方法
CN113610318A (zh) * 2021-08-19 2021-11-05 成都数融科技有限公司 基于横向联邦学习的风险决策系统及方法
CN115718868A (zh) * 2021-08-23 2023-02-28 华为技术有限公司 模型训练方法、装置及系统
CN115759291B (zh) * 2022-11-21 2023-07-18 武汉大学 一种基于集成学习的空间非线性回归方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295803A (zh) * 2016-08-10 2017-01-04 中国科学技术大学苏州研究院 深度神经网络的构建方法
CN107103332A (zh) * 2017-04-07 2017-08-29 武汉理工大学 一种面向大规模数据集的相关向量机分类方法
CN107273355A (zh) * 2017-06-12 2017-10-20 大连理工大学 一种基于字词联合训练的中文词向量生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000007113A1 (en) * 1998-07-31 2000-02-10 Cet Technologies Pte Ltd. Automatic freeway incident detection system using artificial neural networks and genetic algorithms
CN104331816B (zh) * 2014-10-28 2017-10-20 常州大学 基于知识学习和隐私保护的大数据用户购买意愿预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295803A (zh) * 2016-08-10 2017-01-04 中国科学技术大学苏州研究院 深度神经网络的构建方法
CN107103332A (zh) * 2017-04-07 2017-08-29 武汉理工大学 一种面向大规模数据集的相关向量机分类方法
CN107273355A (zh) * 2017-06-12 2017-10-20 大连理工大学 一种基于字词联合训练的中文词向量生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEDERATED LEARNING: STRATEGIES FOR IMPROVING COMMUNICATION EFFICIENCY;Jakub等;《arxiv.org》;20171030;第1-3页 *
Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption;Stephen Hardy等;《arxiv.org》;20171129;第2-3、7-10页 *

Also Published As

Publication number Publication date
CN109189825A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109189825B (zh) 横向数据切分联邦学习建模方法、服务器及介质
CN109255444B (zh) 基于迁移学习的联邦建模方法、设备及可读存储介质
CN109165725B (zh) 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109002861B (zh) 联邦建模方法、设备及存储介质
CN109284313B (zh) 基于半监督学习的联邦建模方法、设备及可读存储介质
US20210232974A1 (en) Federated-learning based method of acquiring model parameters, system and readable storage medium
CN111091200A (zh) 训练模型的更新方法、系统、智能体、服务器及存储介质
TW202006615A (zh) 基於模型的預測方法和裝置
CN110851785A (zh) 纵向联邦学习优化方法、装置、设备及存储介质
CN110751294A (zh) 联合多方特征数据的模型预测方法、装置、设备及介质
CN110851786B (zh) 基于纵向联邦学习的企业间数据交互方法、装置、设备及存储介质
JP2018502524A (ja) 情報に対する暗号化制御、情報解析の方法、システム及び端末
CN106251114B (zh) 应用中实现审批的方法和装置
CN111582504A (zh) 联邦建模方法、装置、设备及计算机可读存储介质
CN111340247A (zh) 纵向联邦学习系统优化方法、设备及可读存储介质
CN112052960A (zh) 纵向联邦建模方法、装置、设备及计算机可读存储介质
CN111339412A (zh) 纵向联邦推荐召回方法、装置、设备及可读存储介质
CN112926073A (zh) 联邦学习建模优化方法、设备、介质及计算机程序产品
CN111046857A (zh) 基于知识联邦的人脸识别方法、装置、设备、介质及系统
CN111368196A (zh) 模型参数的更新方法、装置、设备及可读存储介质
CN110675179A (zh) 营销信息处理方法、装置、电子设备及可读存储介质
CN110851472A (zh) 样本匹配方法、设备及可读存储介质
WO2017107551A1 (zh) 信息确定方法及装置
CN110619018A (zh) 地图覆盖物抽稀方法、装置、设备及计算机存储介质
CN111310047B (zh) 基于fm模型的信息推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant