CN111241567B

CN111241567B - 纵向联邦学习中的数据共享方法、系统及存储介质

Info

Publication number: CN111241567B
Application number: CN202010048597.2A
Authority: CN
Inventors: 康焱; 刘洋; 陈天健
Original assignee: WeBank Co Ltd
Current assignee: WeBank Co Ltd
Priority date: 2020-01-16
Filing date: 2020-01-16
Publication date: 2023-09-01
Anticipated expiration: 2040-01-16
Also published as: CN111241567A

Abstract

本发明公开一种基于秘密共享的纵向联邦学习方法、系统及存储介质，该方法包括：联邦第一方初始化其预测模型的第一参数；基于秘密共享机制将其第一重叠样本第二份额和第一重叠样本标签第二份额发送至联邦第二方供第二方生成第二训练数据，接收第二方基于秘密共享机制发送的第二方第二重叠样本第一份额以生成第一训练数据；根据第一训练数据对其预测模型进行训练，计算第一损失值和第一梯度以更新第一参数，接收第二方发送的第二方根据第二训练数据对其预测模型进行训练时计算的第二损损失值；计算第一损失值和第二损失值的和，当第一损失值和第二损失值的和收敛时得到其训练好的预测模型，向第二方发送停止训练指令。本发明能够提升联邦学习效率。

Description

纵向联邦学习中的数据共享方法、系统及存储介质

技术领域

本发明涉及联邦学习领域，尤其涉及一种纵向联邦学习中的数据共享方法、系统及存储介质。

背景技术

联邦学习是人工智能的核心研究领域之一。相关技术中，联邦双方在不用给出己方数据的情况下，可以通过加密技术实现数据交换，能够在保障数据隐私前提下进行联邦学习。

然而，目前联邦学习所采用的传统加密技术如同态加密，运算量，加密速度及其缓慢，严重影响联邦学习的效率。

发明内容

本发明的主要目的在于提供一种纵向联邦学习中的数据共享方法、系统及存储介质，旨在解决现有联邦学习所采用的加密技术运算量大，影响联邦学习效率的技术问题。

为实现上述目的，本发明提供一种纵向联邦学习中的数据共享方法，应用于联邦第一方，所述方法包括以下步骤：

初始化所述第一方预测模型的第一参数；

基于秘密共享机制，将所述第一方第一重叠样本第二份额和第一重叠样本标签第二份额发送至联邦第二方，以供所述第二方生成第二训练数据，并接收所述第二方基于秘密共享机制发送的所述第二方第二重叠样本第一份额，以生成第一训练数据；

根据所述第一训练数据对所述第一方预测模型进行训练，计算第一损失值和第一梯度，以更新所述第一参数，并接收所述第二方发送的所述第二方根据所述第二训练数据对所述第二方预测模型进行训练时计算的第二损失值；

计算所述第一损失值和所述第二损失值的和，当所述第一损失值和所述第二损失值的和收敛时，得到所述第一方训练好的预测模型，并向所述第二方发送停止训练指令。

为实现上述目的，本发明还提供一种纵向联邦学习中的数据共享方法，应用于联邦第二方，所述方法包括以下步骤：

初始化所述第二方预测模型的第二参数；

基于秘密共享机制，将所述第二方第二重叠样本第一份额发送至联邦第一方，以供所述第一方生成第一训练数据，并接收所述第一方基于秘密共享机制发送的所述第一方第一重叠样本第二份额和第一重叠样本标签第二份额，以生成第二训练数据；

根据所述第二训练数据对第二方预测模型进行训练，计算第二损失值和第二梯度，以更新所述第二参数，并将所述第二损失值发送至所述第一方；

当接收到所述第一方基于所述第一训练数据和所述第二损失值得到训练好的第一方预测模型而发送的停止训练指令时，得到所述第二方训练好的预测模型。

此外，本发明还提供一种基于数据共享的纵向联邦学习的预测方法，所述方法应用于联邦第一方，包括以下步骤：

通过所述第一方训练好的预测模型对待预测样本进行预测，得到第一预测标签，并接收联邦第二方发送的所述第二方通过所述第二方训练好的预测模型对待预测样本进行预测得到的第二预测标签；

将所述第一预测标签与所述第二预测标签的和作为所述待预测样本的标签。

此外，为实现上述目的，本发明还提供一种纵向联邦学习中的数据共享系统，所述纵向联邦学习中的数据共享系统包括联邦第一方和联邦第二方，其中，所述联邦第一方包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习中的数据共享程序或基于数据共享的纵向联邦学习的预测程序，所述纵向联邦学习中的数据共享程序被所述处理器执行时实现上所述的纵向联邦学习中的数据共享方法的步骤，或所述基于数据共享的纵向联邦学习的预测程序被所述处理器执行时实现如上所述的基于数据共享的纵向联邦学习的预测方法的步骤；

所述联邦第二方包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习中的数据共享程序，所述纵向联邦学习中的数据共享程序被所述处理器执行时实现如上所述的纵向联邦学习中的数据共享方法的步骤。

此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有纵向联邦学习中的数据共享程序或基于数据共享的纵向联邦学习的预测程序，所述纵向联邦学习中的数据共享程序被处理器执行时实现如上所述的纵向联邦学习中的数据共享方法的步骤，或所述基于数据共享的纵向联邦学习的预测程序实现如上所述的基于数据共享的纵向联邦学习的预测方法的步骤。

本发明提供一种纵向联邦学习中的数据共享方法、系统及存储介质，本发明联邦第一方初始化所述第一方预测模型的第一参数；基于秘密共享机制，将所述第一方第一重叠样本第二份额和第一重叠样本标签第二份额发送至联邦第二方，以供所述第二方生成第二训练数据，并接收所述第二方基于秘密共享机制发送的所述第二方第二重叠样本第一份额，以生成第一训练数据；根据所述第一训练数据对所述第一方预测模型进行训练，计算第一损失值和第一梯度，以更新所述第一参数，并接收所述第二方发送的所述第二方根据所述第二训练数据对所述第二方预测模型进行训练时计算的第二损失值；计算所述第一损失值和所述第二损失值的和，当所述第一损失值和所述第二损失值的和收敛时，得到所述第一方训练好的预测模型，并向所述第二方发送停止训练指令。本发明依据秘密共享机制，在保证联邦双方各自样本数据隐私的情况下，互相利用联邦双方的样本数据，通过纵向联邦学习方法学习得到用于预测新样本标签的预测模型，不仅提升了对联邦双方的样本数据的利用率和预测模型的精确度，且相比于传统的同态加密技术，本发明秘密共享机制运算量小，从而提升了联邦学习的效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明纵向联邦学习中的数据共享方法第一实施例的流程示意图；

图3为本发明纵向联邦学习中的数据共享方法第一实施例中涉及的联邦双方A、B的样本空间和特征空间的示意图；

图4为本发明纵向联邦学习中的数据共享方法第一实施例中涉及的联邦双方A、B的一次训练迭代过程示意图；

图5本发明纵向联邦学习中的数据共享方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例终端涉及的纵向联邦学习中的数据共享方法主要应用于纵向联邦学习中的数据共享系统，该系统包括联邦第一方和联邦第二方，联邦第一方和联邦第二方可以是PC或服务器等具有数据处理功能的设备。

参照图1，图1为本发明实施例方案中涉及的联邦第一方或联邦第二方的硬件结构示意图。如图1所示，联邦第一方或联邦第二方包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本申请的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及纵向联邦学习中的数据共享程序。在图1中，处理器1001可以用于调用存储器1005中存储的纵向联邦学习中的数据共享程序，并执行本发明实施例提供的纵向联邦学习中的数据共享方法的步骤。

基于上述硬件结构，提出本发明纵向联邦学习中的数据共享方法的各个实施例。

参照图2，本发明纵向联邦学习中的数据共享方法第一实施例提供一种纵向联邦学习中的数据共享方法，该方法应用于联邦第一方，联邦第一方可以是单个服务器或服务器集群，该方法包括：

步骤S10、初始化所述第一方预测模型的第一参数；

步骤S20、基于秘密共享机制，将所述第一方第一重叠样本第二份额和第一重叠样本标签第二份额发送至联邦第二方，以供所述第二方生成第二训练数据，并接收所述第二方基于秘密共享机制发送的所述第二方第二重叠样本第一份额，以生成第一训练数据；

步骤S30、根据所述第一训练数据对所述第一方预测模型进行训练，计算第一损失值和第一梯度，以更新所述第一参数，并接收所述第二方发送的所述第二方根据所述第二训练数据对所述第二方预测模型进行训练时计算的第二损失值；

步骤S40、计算所述第一损失值和所述第二损失值的和，当所述第一损失值和所述第二损失值的和收敛时，得到所述第一方训练好的预测模型，并向所述第二方发送停止训练指令。

联邦学习是人工智能的核心研究领域之一，相关技术中，联邦双方在不用给出己方数据的情况下，可以通过加密技术实现数据交换，能够在保障数据隐私前提下进行联邦学习。然而，目前联邦学习所采用的传统加密技术如同态加密，运算量，加密速度及其缓慢，严重影响联邦学习的效率。本实施例在保证联邦双方各自样本数据隐私的情况下，互相利用联邦双方的样本数据，通过纵向联邦学习方法学习得到用于预测新样本标签的预测模型，不仅提升了对联邦双方的样本数据的利用率和预测模型的精确度，且相比于传统的同态加密技术，本发明秘密共享机制运算量小，从而提升了联邦学习的效率。

为更好理解本实施例，首先对纵向联邦学习和秘密共享机制进行介绍。其中，纵向联邦学习是指，在两个数据集的用户重叠较多而用户特征重叠较少的情况下，把数据集按照纵向(即特征维度)切分，并取出联邦双方用户相同而用户特征不完全相同的那部分数据进行训练。秘密共享是实现安全多方计算协议的一种方法，指的是数据拥有者的多方在互不信任的情况下进行协同计算，输出计算结果，并保证任何一方都无法得到除应得的计算结果之外的其他任何信息。具体到本实施例，就是利用联邦双方的重叠样本，通过纵向联邦学习中的数据共享方法学习得到预测模型，用于预测新样本的标签。

以下详细介绍本实施例纵向联邦学习中的数据共享方法的具体步骤：

步骤S10、初始化所述第一方预测模型的第一参数；

在本实施例中，联邦双方的样本空间和特征空间均不同，联邦第一方的样本有标签，联邦第二方的样本无标签，但联邦第一方和联邦第二方拥有若干个重叠样本。例如，以A、B表示联邦双方，A拥有样本X^A和样本X^A对应的标签Y^A，B拥有样本X^B，样本X^B没有标签，联邦双方A、B的样本空间和特征空间均不同，但是A、B拥有N_AB个重叠样本N_AB，在重叠样本N_AB中，属于A的第一重叠样本记为第一重叠样本/>的标签记为/>属于B的第二重叠样本记为/>即，/>和/>可以参照图3，图3为联邦双方A、B的样本空间和特征空间的示意图，阴影部分为双方A、B的重叠样本。

首先，联邦第一方初始化其预测模型的参数(定义为第一参数)，与此同时，联邦第二方初始化其预测模型的参数(定义为第二参数)。

之后，联邦第一方依据秘密共享机制，将联邦第一方的第一重叠样本秘密共享给第二方，还将第一重叠样本的标签秘密共享给第二方。

在一些实施例中，所述基于秘密共享机制，将所述第一方第一重叠样本第二份额和第一重叠样本标签第二份额发送至联邦第二方，具体为：将所述第一方和所述第二方的重叠样本中属于所述第一方的第一重叠样本拆分为第一重叠样本第一份额和第一重叠样本第二份额，以及，将属于所述第一方的第一重叠样本标签拆分为第一重叠样本标签第一份额和第一重叠样本标签第二份额；将所述第一重叠样本第二份额和所述第一重叠样本标签第二份额发送给联邦第二方。

在一些实施例中，所述接收所述第二方基于秘密共享机制发送的所述第二方第二重叠样本第一份额，以生成第一训练数据，具体为：接收所述第二方基于秘密共享机制发送的所述第二方第二重叠样本第一份额；将所述第一重叠样本第一份额、所述第二重叠样本第一份额和所述第一重叠样本标签第一份额组成第一训练数据。

即，联邦第一方将联邦第一方和联邦第二方的重叠样本中属于联邦第一方的第一重叠样本，拆分为第一重叠样本第一份额和第一重叠样本第二份额，以及，将属于联邦第一方的第一重叠样本标签拆分为第一重叠样本标签第一份额和第一重叠样本标签第二份额，并将第一重叠样本第二份额和第一重叠样本标签第二份额发送给第二方。

与此同时，联邦第二方依据秘密共享机制，将联邦第二方的第二重叠样本秘密共享给第一方。具体地，联邦第二方将重叠样本中属于联邦第二方的第二重叠样本拆分为第二重叠样本第一份额和第二重叠样本第二份额，并将第二重叠样本第一份额发送给联邦第一方。

通过上述方式，基于秘密共享机制，联邦双方在保证各自样本数据隐私的情况下，实现了样本数据的秘密互换，后续联邦双方即可分别利用联邦双方拥有的所有特征，通过纵向联邦学习中的数据共享方法学习得到各自的预测模型。

联邦第一方接收联邦第二方发送的第二重叠样本第一份额，将第一重叠样本第一份额、第二重叠样本第一份额和第一重叠样本标签第一份额组成第一训练数据。与此同时，联邦第二方接收联邦第一方发送的第一重叠样本第二份额和第一重叠样本标签第二份额，将第二重叠样本第二份额、第一重叠样本第二份额和第一重叠样本标签第二份额组成第二训练数据。

进一步地，联邦第一方根据第一训练数据对联邦第一方预测模型进行训练，计算第一损失值和第一梯度，以更新第一参数。与此同时，联邦第二方根据第二训练数据对联邦第二方预测模型进行训练，计算第二损失值和第二梯度，以更新第二参数，并将第二损失值发送给联邦第一方。联邦第一方接收联邦第二方发送的第二损失值。

之后，联邦第一方计算第一损失值和第二损失值的和，当第一损失值和第二损失值的和收敛时，第一参数更新完成，得到训练好的第一参数，即得到联邦第一方训练好的预测模型。联邦第一方向联邦第二方发送停止训练指令，联邦第二方停止训练，第二参数更新完成，得到训练好的第二参数，即得到联邦第二方训练好的预测模型。

为更好理解本实施例，参照图4，举例联邦双方A、B进行一次训练迭代的过程：

1)A方初始化A方预测模型的参数<θ>_A，B方初始化B方预测模型的参数<θ>_B；

2)A方基于秘密共享机制将重叠样本中属于A方的第一重叠样本拆分为第一重叠样本第一份额和第一重叠样本第二份额，将/>对应的标签/>拆分为第一重叠样本标签第一份额和第一重叠样本标签第二份额：

A方将和/>发送给B方；

B方基于秘密共享机制将重叠样本中属于B方的第二重叠样本拆分为第二重叠样本第一份额和第二重叠样本第二份额：

B方将发送给A方；

3)A方将和/>连结，组成第一训练数据，表示为：

为M×(d^A+d^B)矩阵；

B方将和/>连结，组成第二训练数据，表示为：

为M×(d^A+d^B)矩阵；

4)A方根据参数<θ>_A、第一训练数据和剩余份标签/>计算第一损失函数：

根据损失函数<L>_A，计算第一梯度

B方根据参数<θ>_B、第二训练数据和接收到的标签/>计算第二损失函数：

根据损失函数<L>_B，计算第二梯度B方将<L>_B发送给A方；

5)A方更新参数

B方更新参数

6)在A方计算损失函数L：

L＝<L>A+<L>_B

判断损失函数L是否收敛，即，当损失函数L的值小于预设阈值时，则确认损失函数L收敛，说明A、B均得到最优参数，A、B各自对应的预测模型训练完成；当损失函数L未收敛时，继续执行步骤4)。

本实施例提供一种纵向联邦学习中的数据共享方法，初始化所述第一方预测模型的第一参数；基于秘密共享机制，将所述第一方第一重叠样本第二份额和第一重叠样本标签第二份额发送至联邦第二方，以供所述第二方生成第二训练数据，并接收所述第二方基于秘密共享机制发送的所述第二方第二重叠样本第一份额，以生成第一训练数据；根据所述第一训练数据对所述第一方预测模型进行训练，计算第一损失值和第一梯度，以更新所述第一参数，并接收所述第二方发送的所述第二方根据所述第二训练数据对所述第二方预测模型进行训练时计算的第二损失值；计算所述第一损失值和所述第二损失值的和，当所述第一损失值和所述第二损失值的和收敛时，得到所述第一方训练好的预测模型，并向所述第二方发送停止训练指令。本发明依据秘密共享机制，在保证联邦双方各自样本数据隐私的情况下，互相利用联邦双方的样本数据，通过纵向联邦学习方法学习得到用于预测新样本标签的预测模型，不仅提升了对联邦双方的样本数据的利用率和预测模型的精确度，且相比于传统的同态加密技术，本发明秘密共享机制运算量小，从而提升了联邦学习的效率。

进一步地，基于上述图2所示的第一实施例，参照图5，本发明纵向联邦学习中的数据共享方法第二实施例提供一种纵向联邦学习中的数据共享方法，该方法应用于联邦第二方，联邦第二方可以是单个服务器或服务器集群，该方法包括：

步骤S50、初始化所述第二方预测模型的第二参数；

步骤S60、基于秘密共享机制，将所述第二方第二重叠样本第一份额发送至联邦第一方，以供所述第一方生成第一训练数据，并接收所述第一方基于秘密共享机制发送的所述第一方第一重叠样本第二份额和第一重叠样本标签第二份额，以生成第二训练数据；

步骤S70、根据所述第二训练数据对第二方预测模型进行训练，计算第二损失值和第二梯度，以更新所述第二参数，并将所述第二损失值发送至所述第一方；

步骤S80、当接收到所述第一方基于所述第一训练数据和所述第二损失值得到训练好的第一方预测模型而发送的停止训练指令时，得到所述第二方训练好的预测模型。

本实施例的具体实现过程可参照第一实施例，此处不再赘述。

进一步地，基于上述图2或图3所示的实施例，还提出本发明基于数据共享的纵向联邦学习的预测方法的各个实施例。

本发明基于数据共享的纵向联邦学习的预测方法的第一实施例提供一种基于数据共享的纵向联邦学习的预测方法，该方法应用于联邦第一方，该方法还包括：

即，在联邦第一方和联邦第二方分别得到训练好的预测模型之后，联邦第一方即可联合联邦第二方对待预测样本的标签进行预测。具体地，联邦第一方通过其训练好的预测模型对待预测样本进行预测，得到第一预测标签；与此同时，联邦第二方通过其训练好的预测模型对待预测样本进行预测，得到第二预测标签，并将第二预测标签发送给联邦第一方。联邦第一方接收联邦第二方发送的第二预测标签，将第一预测标签与第二预测标签的和作为待预测样本的标签。

在一些实施例中，所述通过所述第一方训练好的预测模型对待预测样本进行预测，得到第一预测标签，并接收联邦第二方发送的所述第二方通过所述第二方训练好的预测模型对待预测样本进行预测得到的第二预测标签，具体为：获取待预测样本在所述第一方的第一待预测样本；基于秘密共享机制，将所述第一待预测样本第二份额发送至所述第二方，以供所述第二方生成第二目标待预测样本，并接收所述第二方基于秘密共享机制发送的所述第二方第二待预测样本第一份额，以生成第一目标待预测样本；将所述第一目标待预测样本输入所述第一方训练好的预测模型进行分析得到第一预测标签，并接收所述第二方发送的所述第二方将所述第二目标待预测样本输入所述第二方训练好的预测模型进行分析得到的第二预测标签。

在一些实施例中，所述基于秘密共享机制，将所述第一待预测样本第二份额发送至所述第二方，具体为：将所述第一待预测样本拆分为第一待预测样本第一份额和第一待预测样本第二份额，并将所述第一待预测样本第二份额发送至所述第二方。

在一些实施例中，所述接收所述第二方基于秘密共享机制发送的所述第二方第二待预测样本第一份额，以生成第一目标待预测样本，具体为：接收所述第二方基于秘密共享机制发送的所述第二方第二待预测样本第一份额；将所述第一待预测样本第一份额和所述第二待预测样本第一份额组成第一目标待预测样本。

即，可以预先给定待预测样本在联邦第一方的第一待预测样本和在联邦第二方的第二待预测样本。联邦第一方获取待预测样本在联邦第一方的第一待预测样本；与此同时，联邦第二方获取待预测样本在联邦第二方的第二待预测样本。

之后，联邦第一方基于秘密共享机制，将第一待预测样本拆分为第一待预测样本第一份额和第一待预测样本第二份额，并将第一待预测样本第二份额发送至联邦第二方；与此同时，联邦第二方基于秘密共享机制，将第二待预测样本拆分为第二待预测样本第一份额和第二待预测样本第二份额，并将第二待预测样本第一份额发送至联邦第一方。

联邦第一方接收联邦第二方发送的第二待预测样本第一份额，将第一待预测样本第一份额和二待预测样本第一份额组成第一目标待预测样本。与此同时，联邦第二方接收联邦第一方发送的第一待预测样本第二份额，将第二待预测样本第二份额和所述第一待预测样本第二份额组成第二目标待预测样本。

之后，联邦第一方将第一目标待预测样本输入至其训练好的预测模型进行预测，得到其训练好的预测模型输出的第一预测标签，并将第一预测标签发送至联邦第二方；与此同时，联邦第二方将第二目标待预测样本输入至其训练好的预测模型进行预测，得到其训练好的预测模型输出的第二预测标签，并将第二预测标签发送至联邦第一方。

联邦第一方接收联邦第二方发送的第二预测标签，将将第一预测标签与第二标签的和作为预测结果。联邦第二方接收联邦第一方发送的第一预测标签，将第一预测标签与第二标签的和作为预测结果。

为更好理解本实施例，示例联邦双方A、B对待预测样本进行联合预测的过程：

待预测样本表示为其中，/>为预先给定的待预测样本在联邦第一方的第一待预测样本，/>为预先给定的待预测样本在联邦第二方的第二待预测样本。

1)A方基于秘密共享机制将第一待预测样本拆分成两份：

将发送给B方；

B方基于秘密共享机制将样本数据拆分成两份：

B方将发送给A方；

2)A方将和/>连结组成第一目标待预测样本，表示为：

B方将和/>连结组成第二目标待预测样本，表示为：

3)A方基于第一目标待预测样本和A方预测模型，得到第一预测标签同时，B方基于第一目标待预测样本/>和B方预测模型，得到第一预测标签/>

4)A方将发送至B方，B方将/>发送至A方，A、B两方得到最终预测结果为：

将的结果记为/>在预测完成后，即可得到有标注的样本/>

本发明提供的基于数据共享的纵向联邦学习的预测方法，联邦第一方通过所述第一方训练好的预测模型对待预测样本进行预测，得到第一预测标签，并接收联邦第二方发送的所述第二方通过所述第二方训练好的预测模型对待预测样本进行预测得到的第二预测标签；将所述第一预测标签与所述第二预测标签的和作为所述待预测样本的标签。本发明联邦第一方在其和联邦第二方分别得到训练好的预测模型之后，联合联邦第二方对新样本的标签进行预测，大大提升了所预测出的标签的准确度。

此外，本发明实施例还提出一种存储介质。

本发明所存储介质上存储有纵向联邦学习中的数据共享程序，所述纵向联邦学习中的数据共享程序被处理器执行时实现如上所述的纵向联邦学习中的数据共享方法的步骤，或所述基于数据共享的纵向联邦学习的预测程序实现如上所述的基于数据共享的纵向联邦学习的预测方法的步骤。

本发明存储介质的具体实施例与上述纵向联邦学习中的数据共享方法各实施例基本相同，在此不作赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程映射，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种纵向联邦学习中的数据共享方法，其特征在于，所述方法应用于联邦第一方，联邦第一方和联邦第二方的用户样本空间和用户特征空间不同，所述联邦第一方的用户样本有标签，所述联邦第二方的用户样本无标签，所述联邦第一方和所述联邦第二方拥有若干个重叠用户样本，所述重叠用户样本中属于所述联邦第一方的记第一重叠用户样本，属于所述联邦第二方的记为第二重叠用户样本，所述第一重叠用户样本包括第一重叠用户样本第一份额和第一重叠用户样本第二份额，所述第一重叠用户样本的标签包括第一重叠用户样本标签第一份额和第一重叠用户样本标签第二份额，所述第二重叠用户样本包括第二重叠用户样本第一份额和第二重叠用户样本第二份额；

所述方法包括以下步骤：

初始化所述联邦第一方的预测模型的第一参数，并确定所述第一重叠用户样本第二份额和所述第一重叠用户样本标签第二份额；

基于秘密共享机制，将所述第一重叠用户样本第二份额和第一重叠用户样本标签第二份额发送至所述联邦第二方，以供所述联邦第二方生成第二训练数据，确定所述第二重叠用户样本第一份额并接收所述联邦第二方基于秘密共享机制发送的所述第二重叠用户样本第一份额，以生成第一训练数据；

根据所述第一训练数据对所述联邦第一方的预测模型进行训练，计算第一损失值和第一梯度，以更新所述第一参数，并接收所述联邦第二方发送的所述联邦第二方根据所述第二训练数据对所述联邦第二方的预测模型进行训练时计算的第二损失值；

计算所述第一损失值和所述第二损失值的和，当所述第一损失值和所述第二损失值的和收敛时，得到所述联邦第一方训练好的预测模型，并向所述联邦第二方发送停止训练指令，其中，训练好的预测模型用于预测新用户样本的标签。

2.如权利要求1所述的纵向联邦学习中的数据共享方法，其特征在于，所述生成第一训练数据的步骤包括：

将所述第一重叠用户样本第一份额、所述第二重叠用户样本第一份额和所述第一重叠用户样本标签第一份额组成第一训练数据。

3.一种纵向联邦学习中的数据共享方法，其特征在于，所述方法应用于联邦第二方，联邦第一方和联邦第二方的用户样本空间和用户特征空间不同，所述联邦第一方的用户样本有标签，所述联邦第二方的用户样本无标签，所述联邦第一方和所述联邦第二方拥有若干个重叠用户样本，所述重叠用户样本中属于所述联邦第一方的记第一重叠用户样本，属于所述联邦第二方的记为第二重叠用户样本，所述第一重叠用户样本包括第一重叠用户样本第一份额和第一重叠用户样本第二份额，所述第一重叠用户样本的标签包括第一重叠用户样本标签第一份额和第一重叠用户样本标签第二份额，所述第二重叠用户样本包括第二重叠用户样本第一份额和第二重叠用户样本第二份额；

所述方法包括以下步骤：

初始化所述联邦第二方的预测模型的第二参数；

基于秘密共享机制，将所述第二重叠用户样本第一份额发送至所述联邦第一方，以供所述联邦第一方生成第一训练数据，并接收所述联邦第一方基于秘密共享机制发送的所述第一重叠用户样本第二份额和第一重叠用户样本标签第二份额，以生成第二训练数据；

根据所述第二训练数据对所述联邦第二方的预测模型进行训练，计算第二损失值和第二梯度，以更新所述第二参数，并将所述第二损失值发送至所述联邦第一方；

当接收到所述联邦第一方基于所述第一训练数据和所述第二损失值得到训练好的第一方预测模型而发送的停止训练指令时，得到所述第二方训练好的预测模型。

4.如权利要求3所述的纵向联邦学习中的数据共享方法，其特征在于，所述生成第二训练数据的步骤包括：

将所述第一重叠用户样本第二份额、所述第二重叠用户样本第二份额和所述第一重叠用户样本标签第二份额组成第二训练数据。

5.一种基于数据共享的纵向联邦学习的预测方法，其特征在于，所述方法应用于联邦第一方，包括以下步骤：

通过如权利要求1或者2中训练好的预测模型对待预测样本进行预测，得到第一预测标签，并接收联邦第二方发送的所述联邦第二方通过所述第二方训练好的预测模型对待预测样本进行预测得到的第二预测标签；

6.如权利要求5所述的基于数据共享的纵向联邦学习的预测方法，其特征在于，所述通过所述第一方训练好的预测模型对待预测样本进行预测，得到第一预测标签，并接收联邦第二方发送的所述联邦第二方通过所述第二方训练好的预测模型对待预测样本进行预测得到的第二预测标签的步骤包括：

获取待预测样本在所述第一方的第一待预测样本；

基于秘密共享机制，将所述第一待预测样本第二份额发送至所述第二方，以供所述第二方生成第二目标待预测样本，并接收所述第二方基于秘密共享机制发送的所述第二方第二待预测样本第一份额，以生成第一目标待预测样本；

将所述第一目标待预测样本输入所述第一方训练好的预测模型进行分析得到第一预测标签，并接收所述第二方发送的所述第二方将所述第二目标待预测样本输入所述第二方训练好的预测模型进行分析得到的第二预测标签。

7.如权利要求6所述的基于数据共享的纵向联邦学习的预测方法，其特征在于，所述基于秘密共享机制，将所述第一待预测样本第二份额发送至所述第二方的步骤包括：

将所述第一待预测样本拆分为第一待预测样本第一份额和第一待预测样本第二份额，并将所述第一待预测样本第二份额发送至所述第二方；

所述接收所述第二方基于秘密共享机制发送的所述第二方第二待预测样本第一份额，以生成第一目标待预测样本的步骤包括：

接收所述第二方基于秘密共享机制发送的所述第二方第二待预测样本第一份额；

将所述第一待预测样本第一份额和所述第二待预测样本第一份额组成第一目标待预测样本。

8.一种纵向联邦学习中的数据共享系统，其特征在于，所述纵向联邦学习中的数据共享系统包括联邦第一方和联邦第二方，其中，

所述联邦第一方包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习中的数据共享程序或基于数据共享的纵向联邦学习的预测程序，所述纵向联邦学习中的数据共享程序被所述处理器执行时实现如权利要求1至2任一项所述的纵向联邦学习中的数据共享方法的步骤，或所述基于数据共享的纵向联邦学习的预测程序被所述处理器执行时实现如权利要求5至7中任一项所述的基于数据共享的纵向联邦学习的预测方法的步骤；

所述联邦第二方包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习中的数据共享程序，所述纵向联邦学习中的数据共享程序被所述处理器执行时实现如权利要求3至4中任一项所述的纵向联邦学习中的数据共享方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有纵向联邦学习中的数据共享程序或基于数据共享的纵向联邦学习的预测程序，所述纵向联邦学习中的数据共享程序被处理器执行时实现如权利要求1至2或3至4中任一项所述的纵向联邦学习中的数据共享方法的步骤，或所述基于数据共享的纵向联邦学习的预测程序实现如权利要求5至7中任一项所述的基于数据共享的纵向联邦学习的预测方法的步骤。