CN114881247A

CN114881247A - 基于隐私计算的纵向联邦特征衍生方法、装置、介质

Info

Publication number: CN114881247A
Application number: CN202210658086.1A
Authority: CN
Inventors: 崔琢; 周一竞; 孟丹; 李晓林
Original assignee: Hangzhou Bodun Xiyan Technology Co ltd
Current assignee: Hangzhou Bodun Xiyan Technology Co ltd
Priority date: 2022-06-10
Filing date: 2022-06-10
Publication date: 2022-08-09

Abstract

本申请提供一种基于隐私计算的纵向联邦特征衍生方法、装置、介质，涉及计算机技术领域，包括：第一参与方基于第一参与方生成的第一线性特征和第一交互特征、第二参与方生成的第二线性特征和第二交互特征以及第一参与方的特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度；将第一梯度中的残差特征加密为残差密文，并将残差密文发送至第二参与方；第二参与方根据残差密文生成待解密梯度密文，并将待解密梯度密文发送至第一参与方；第一参与方解密待解密梯度密文，得到包含用于更新第二模型参数的第二梯度的目标数据，并将目标数据发送至第二参与方。这样可以在纵向联邦学习场景中提升模型训练效率。

Description

基于隐私计算的纵向联邦特征衍生方法、装置、介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种基于隐私计算的纵向联邦特征衍生方法、装置、介质。

背景技术

随着人工智能技术的发展，人们对数据的需求日益增长。不同机构的数据不同，各数据之间往往具有多维度的互补性，所以不同的互联网组织之间通常存在极大的数据融合需求。出于对本地数据的隐私保护等考虑，不同机构的数据很难直接被聚合，因此容易形成数据孤岛，使得各互联网组织难以利用多领域的现有数据来完成进一步的研究与开发。因此，提出联邦学习的方法来解决上述问题。

一般来说，可以用数据样本一致、特征维度互补的纵向联邦学习方法来解决上述问题。但是在纵向联邦学习中，通常会存在样本中无效特征值较多的情况(也可以理解为样本中有效值稀疏)，这种样本的维度通常比较高，在纵向联邦学习的应用场景中，容易影响模型训练效率。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供一种基于隐私计算的纵向联邦特征衍生方法、基于隐私计算的纵向联邦特征衍生装置、计算机可读存储介质及电子设备，可以在纵向联邦学习场景中提升模型训练效率。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请的一方面，提供一种基于隐私计算的纵向联邦特征衍生方法，该方法包括第一参与方和第二参与方；第一参与方包含特征标签、第一本地样本及第一模型参数，第二参与方包含第二本地样本及第二模型参数；该方法包括：

第一参与方基于第一本地样本确定第一线性特征和第一交互特征；

第二参与方基于第二本地样本确定第二线性特征和第二交互特征，并将第二线性特征和第二交互特征发送至第一参与方；

第一参与方基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度；将第一梯度中的残差特征加密为残差密文，并将残差密文发送至第二参与方；

第二参与方根据残差密文生成待解密梯度密文，并将待解密梯度密文发送至第一参与方；

第一参与方解密待解密梯度密文，得到包含第二梯度的目标数据，并将目标数据发送至第二参与方；其中，第二梯度用于更新第二模型参数。

在本申请的一种示例性实施例中，该方法还包括：

第一参与方生成相对应的公钥和私钥，并将公钥发送至所述第二参与方；其中，私钥用于解密待解密梯度密文。

在本申请的一种示例性实施例中，第一参与方将第一梯度中的残差特征加密为残差密文，包括：

第一参与方根据预设提取规则提取第一梯度中的残差特征；

第一参与方通过公钥加密残差特征，得到残差密文。

在本申请的一种示例性实施例中，第二参与方根据残差密文生成待解密梯度密文，包括：

第二参与方根据残差密文计算中间参数，并基于预设密文空间计算中间参数对应的掩码；

第二参与方通过公钥加密掩码，得到掩码密文；

第二参与方融合掩码密文和中间参数，得到待解密梯度密文。

在本申请的一种示例性实施例中，第一参与方根据目标损失函数确定用于更新第一模型参数的第一梯度之后，该方法还包括：

第一参与方根据第一梯度更新第一模型参数。

在本申请的一种示例性实施例中，第一参与方将目标数据发送至第二参与方之后，该方法还包括：

第二参与方基于掩码从目标数据中解析出第二梯度；

第二参与方根据第二梯度更新第二模型参数。

在本申请的一种示例性实施例中，第一参与方根据第一梯度更新第一模型参数之后，该方法还包括：

第一参与方在获取到待预测数据之后，将待预测数据输入第一模型，通过第一模型预测待预测数据对应的标签；其中，更新后的第一模型参数应用于第一模型中。

根据本申请的一方面，提供一种基于隐私计算的纵向联邦特征衍生装置，包括：

第一特征确定模块，用于基于第一本地样本确定第一线性特征和第一交互特征；

第二特征确定模块，用于基于第二本地样本确定第二线性特征和第二交互特征，并将第二线性特征和第二交互特征发送至第一参与方；

第一参数确定模块，用于基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度；将第一梯度中的残差特征加密为残差密文，并将残差密文发送至第二参与方；

第二参数确定模块，用于根据残差密文生成待解密梯度密文，并将待解密梯度密文发送至第一参与方；

第一参数确定模块，还用于解密待解密梯度密文，得到包含第二梯度的目标数据，并将目标数据发送至第二参与方；其中，第二梯度用于更新第二模型参数。

在本申请的一种示例性实施例中，该装置还包括：

密钥生成模块，用于生成相对应的公钥和私钥，并将公钥发送至所述第二参与方；其中，私钥用于解密待解密梯度密文。

在本申请的一种示例性实施例中，第一参数确定模块将第一梯度中的残差特征加密为残差密文，包括：

第一参数确定模块根据预设提取规则提取第一梯度中的残差特征；

第一参数确定模块通过公钥加密残差特征，得到残差密文。

在本申请的一种示例性实施例中，第二参数确定模块根据残差密文生成待解密梯度密文，包括：

第二参数确定模块基于预设密文空间计算残差密文对应的掩码；

第二参数确定模块通过公钥加密掩码，得到掩码密文；

第二参数确定模块融合掩码密文和残差密文，得到待解密梯度密文。

在本申请的一种示例性实施例中，该装置还包括：

第一模型更新模块，用于在第一参数确定模块根据目标损失函数确定用于更新第一模型参数的第一梯度之后，根据第一梯度更新第一模型参数。

在本申请的一种示例性实施例中，该装置还包括：

第二模型更新模块，用于第一参数确定模块将目标数据发送至第二参与方之后，基于掩码从目标数据中解析出第二梯度；根据第二梯度更新第二模型参数。

在本申请的一种示例性实施例中，该装置还包括：

预测模块，用于在根据第一梯度更新第一模型参数之后，以及，在获取到待预测数据之后，将待预测数据输入第一模型，通过第一模型预测待预测数据对应的标签；其中，更新后的第一模型参数应用于第一模型中。

根据本申请的一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的方法。

根据本申请的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的方法。

根据本申请的一方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的方法。

本申请示例性实施例可以具有以下部分或全部有益效果：

在本申请的一示例实施方式所提供的基于隐私计算的纵向联邦特征衍生方法中，该方法包括第一参与方和第二参与方；第一参与方包含特征标签、第一本地样本及第一模型参数，第二参与方包含第二本地样本及第二模型参数；该方法具体可以包括以下步骤：第一参与方基于第一本地样本确定第一线性特征和第一交互特征；第二参与方基于第二本地样本确定第二线性特征和第二交互特征，并将第二线性特征和第二交互特征发送至第一参与方；第一参与方基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度；将第一梯度中的残差特征加密为残差密文，并将残差密文发送至第二参与方；第二参与方根据残差密文生成待解密梯度密文，并将待解密梯度密文发送至第一参与方；第一参与方解密待解密梯度密文，得到包含第二梯度的目标数据，并将目标数据发送至第二参与方；其中，第二梯度用于更新第二模型参数。可见，实施上述方案，可以基于上述特征衍生的方式减少无效特征值对于纵向联邦学习的影响，以提升确定出第一梯度和第二梯度的效率，从而有利于在纵向联邦学习场景中提升模型训练效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本申请实施例的一种基于隐私计算的纵向联邦特征衍生方法及基于隐私计算的纵向联邦特征衍生装置的示例性系统架构的示意图；

图2示意性示出了根据本申请的一个实施例的基于隐私计算的纵向联邦特征衍生方法的流程图；

图3示意性示出了根据本申请的另一个实施例的基于隐私计算的纵向联邦特征衍生方法的流程图；

图4示意性示出了根据本申请的一个实施例的基于隐私计算的纵向联邦特征衍生方法的序列图；

图5示意性示出了根据本申请的一个实施例中的基于隐私计算的纵向联邦特征衍生装置的结构框图；

图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本申请的各方面变得模糊。

此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

请参阅图1，图1示出了可以应用本申请实施例的一种基于隐私计算的纵向联邦特征衍生方法及基于隐私计算的纵向联邦特征衍生装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本申请实施例所提供的基于隐私计算的纵向联邦特征衍生方法中，一种情况下，第一参与方可以为终端设备101、102或103，第二参与方为服务器105，实现终端设备与服务器之间的数据交互；第二种情况下，第二参与方为终端设备101、102或103，第一参与方可以为服务器105，实现终端设备与服务器之间的数据交互；第三种情况下，第一参与方为终端设备101、102或103中任一种终端设备，第二参与方也可以为终端设备101、102或103中任一种终端设备，实现终端设备与终端设备之间的数据交互；第四种情况下，服务器105可以是一种服务器集群，第一参与方为服务器集群中的一个服务器节点，第二参与方也为服务器集群中的一个服务器节点，实现服务器节点与服务器节点之间的数据交互。

举例而言，以第一种情况为例，终端设备101、102或103，基于第一本地样本确定第一线性特征和第一交互特征；服务器105基于第二本地样本确定第二线性特征和第二交互特征，并将第二线性特征和第二交互特征发送至终端设备101、102或103；终端设备101、102或103基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度；将第一梯度中的残差特征加密为残差密文，并将残差密文发送至服务器105；服务器105根据残差密文生成待解密梯度密文，并将待解密梯度密文发送至终端设备101、102或103；终端设备101、102或103解密待解密梯度密文，得到包含第二梯度的目标数据，并将目标数据发送至服务器105；其中，第二梯度用于更新第二模型参数。

请参阅图2，图2示意性示出了根据本申请的一个实施例的基于隐私计算的纵向联邦特征衍生方法的流程图。该方法包括第一参与方和第二参与方；第一参与方包含特征标签、第一本地样本及第一模型参数，第二参与方包含第二本地样本及第二模型参数；第一本地样本中的无效特征值数量大于第一阈值，第二本地样本中的无效特征值数量大于第二阈值。如图2所示，基于隐私计算的纵向联邦特征衍生方法包括：步骤S210～步骤S250。

步骤S210：第一参与方基于第一本地样本确定第一线性特征和第一交互特征。

步骤S220：第二参与方基于第二本地样本确定第二线性特征和第二交互特征，并将第二线性特征和第二交互特征发送至第一参与方。

步骤S230：第一参与方基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度；将第一梯度中的残差特征加密为残差密文，并将残差密文发送至第二参与方。

步骤S240：第二参与方根据残差密文生成待解密梯度密文，并将待解密梯度密文发送至第一参与方。

步骤S250：第一参与方解密待解密第一偏导，得到包含第二梯度的目标数据，并将目标数据发送至第二参与方；其中，第二梯度用于更新第二模型参数。

实施图2所示的方法，可以基于上述特征衍生的方式减少无效特征值对于纵向联邦学习的影响，以提升确定出第一梯度和第二梯度的效率，从而有利于在纵向联邦学习场景中提升模型训练效率。

下面，对于本示例实施方式的上述步骤进行更加详细的说明。

在步骤S210中，第一参与方基于第一本地样本确定第一线性特征和第一交互特征。

具体地，第一参与方和第二参与方之间的差异在于第一参与方包含标签，而第二参与方不包含标签，在纵向联邦学习场景中，可以包含一个或多个第一参与方以及一个或多个第二参与方，其中，任一第一参与方和任一第二参与方都可以通过实施本申请实施例实现对于样本数据的处理。

举例来说，第一参与方可以包括特征“姓名”、“性别”、“违规频次”以及标签“是否为优质客户”，具体可以表示如下：

第二参与方可以包括特征“姓名”、“性别”、“报销频次”以及“报销金额”，具体可以表示如下：

用户ID	姓名	报销频次	报销金额
				1	**	0	0
2	***	5	30
				3	##	0	0
4	###	0	0
				5	$$$	0	0

在本申请中，第一参与方对应的第一本地样本可以属于稀疏矩阵/高维稀疏矩阵，第二参与方对应的第二本地样本也可以属于稀疏矩阵/高维稀疏矩阵，在这种情况下，需要通过本申请的实施例实现对于第一本地样本和第二本地样本的特征衍生，以降低第一本地样本和第二本地样本中的无效特征值数量对于模型训练效率的影响。

举例来说，若第一参与方的第一本地样本表示为如下高维稀疏矩阵：

第二参与方的第二本地样本表示为如下高维稀疏矩阵：

其中，高维稀疏矩阵中的0的数量就可以理解为无效特征值数量，对于第一本地样本而言，当第一本地样本中的无效特征值数量大于第一阈值以及第二本地样本中的无效特征值数量大于第二阈值时，则可以执行本申请实施例；其中，第一阈值和第二阈值可以理解为常数，第一阈值和第二阈值可以相同也可以不相同，第一阈值可以大于第二阈值也可以小于第二阈值，需要说明的是，第一阈值和第二阈值仅用于限定本申请的触发条件，即，第一本地样本中的无效特征值数量需要大于第一阈值，并且第二本地样本中的无效特征值数量需要大于第二阈值。当满足上述条件时，则触发本申请实施例的执行，这样可以避免在第一本地样本中的无效特征值数量小于第一阈值时，或者，第二本地样本中的无效特征值数量小于第二阈值时，执行本申请实施例，有利于提升对于计算资源的利用率。

当第一本地样本中的无效特征值数量大于第一阈值，第二本地样本中的无效特征值数量大于第二阈值时，可以使得第一参与方基于第一本地样本确定第一线性特征和第一交互特征，以及，使得第二参与方基于第二本地样本确定第二线性特征和第二交互特征。

其中，第一参与方基于第一本地样本确定第一线性特征和第一交互特征，具体可以包括：第一参与方将第一本地样本x⁽¹⁾代入表达式

以得到第一交互特征

和第一线性特征F(x⁽¹⁾)，其中，第一模型参数θ⁽¹⁾包括

i是样本特征数的计数器，B为第二本地样本x⁽¹⁾的样本特征数，f为预设的对于每个特征(如，第二本地样本/第一本地样本)的特征编码的计数器，k为特征编码的维数。

作为一种可选的实施例，该方法还包括：第一参与方生成相对应的公钥和私钥，并将公钥发送至所述第二参与方；其中，私钥用于解密待解密梯度密文。

具体地，相对应的公钥和私钥可以表示为(pk,sk)，其中，pk指的是公钥，sk指的是私钥。

其中，需要说明的是，步骤“第一参与方生成相对应的公钥和私钥，并将公钥发送至所述第二参与方；其中，私钥用于解密待解密梯度密文”可以设置于步骤S210～步骤S220中任一步骤之前或之后，本申请实施例不作限定。

可见，实施该可选的实施例，可以通过公钥和私钥实现和第二参与方之间的加密传输，从而保证所传输的内容不被窃取，提升传输过程的保密性。

在步骤S220中，第二参与方基于第二本地样本确定第二线性特征和第二交互特征，并将第二线性特征和第二交互特征发送至第一参与方。

具体地，第二参与方基于第二本地样本确定第二线性特征和第二交互特征，具体可以包括：第二参与方将第二本地样本x⁽²⁾代入表达式

以得到第二交互特征

和第二线性特征F(x⁽¹⁾)，其中，第二模型参数θ⁽²⁾包括

i是样本特征数的计数器，B为第二本地样本x⁽²⁾的样本特征数，f为预设的对于每个特征(如，第二本地样本/第一本地样本)的特征编码的计数器，k为特征编码的维数。

其中，需要说明的是，本申请不限定步骤S210和步骤S220的执行顺序，在实际应用中，可以先执行步骤S210也可以先执行步骤S220，或者，第一参与方执行步骤S210的时间与第二参与方执行步骤S220的时间可以为同一时间，即，步骤S210和步骤S220可以被同时执行。

在步骤S230中，第一参与方基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度；将第一梯度中的残差特征加密为残差密文，并将残差密文发送至第二参与方。

具体地，第一参与方基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，包括：第一参与方将第一线性特征F(x⁽¹⁾)、第一交互特征E(x⁽¹⁾)、第二线性特征F(x⁽²⁾)、第二交互特征E(x⁽²⁾)代入表达式

得到F(x)；进而，将F(x)和特征标签y_m代入目标损失函数表达式

以得到目标损失函数L(θ⁽¹⁾,θ⁽²⁾)，m为样本计数器，M为样本计数器的最大值。

进而，根据目标损失函数确定用于更新第一模型参数的第一梯度，包括：基于表达式

关于θ⁽¹⁾求偏导，得到第一梯度

其中，

具体可以表示为：

作为一种可选的实施例，第一参与方将第一梯度中的残差特征加密为残差密文，包括：第一参与方根据预设提取规则提取第一梯度中的残差特征；第一参与方通过公钥加密残差特征，得到残差密文。

具体地，预设提取规则用于限定第一梯度的表示形式，第一参与方根据预设提取规则提取第一梯度中的残差特征，包括：第一参与方根据预设提取规则提取第一梯度

中的残差特征

进而，第一参与方通过公钥加密残差特征，得到残差密文，包括：第一参与方通过公钥pk对残差特征y_diff进行同态加密，得到残差密文[y_diff]。

可见，实施该可选的实施例，可以通过公钥加密第一梯度中的残差特征，避免将整个第一梯度加密发送至第二参与方，第二参与方在计算过程中只需要残差特征，因此只需要将残差特征加密后发送至第二参与方即可，这样既可以保证第一梯度不被第二参与方解算出，也可以通过仅对残差部分的加密提升传输的效率。

作为一种可选的实施例，第一参与方根据目标损失函数确定用于更新第一模型参数的第一梯度之后，该方法还包括：第一参与方根据第一梯度更新第一模型参数。

具体地，第一模型参数可以为第一参与方对应的第一模型的参数，第一模型参数中可以包括权重和偏置项等。

可见，实施该可选的实施例，可以基于第二参与方的第二线性特征和第二交互特征计算出更为准确的第一梯度，从而实现基于特征衍生的联邦学习，以提升模型训练效率。

在步骤S240中，第二参与方根据残差密文生成待解密梯度密文，并将待解密梯度密文发送至第一参与方。

具体地，残差密文可以表示为[y_diff]，待解密梯度密文可以表示为

作为一种可选的实施例，第二参与方根据残差密文生成待解密梯度密文，包括：第二参与方根据残差密文计算中间参数，并基于预设密文空间计算中间参数对应的掩码；第二参与方通过公钥加密掩码，得到掩码密文；第二参与方融合掩码密文和中间参数，得到待解密梯度密文。

具体地，第二参与方根据残差密文计算中间参数，并基于预设密文空间计算中间参数对应的掩码，包括：第二参与方根据残差密文[y_diff]计算中间参数

并基于预设密文空间计算中间参数

的掩码R₂；其中，预设密文空间用于限定掩码的计算规则。进而，第二参与方通过公钥加密掩码，得到掩码密文，包括：第二参与方通过公钥pk加密掩码R₂，得到掩码密文[R₂]。进而，第二参与方融合掩码密文和中间参数，得到待解密梯度密文，包括：第二参与方融合掩码密文[R₂]和中间参数

得到待解密梯度密文

可见，实施该可选的实施例，可以提升待解密梯度密文的保密性，避免第一参与方解算出掩码再解析得到第二梯度，从而提升第二梯度的保密性。

在步骤S250中，第一参与方解密待解密梯度密文，得到包含第二梯度的目标数据，并将目标数据发送至第二参与方；其中，第二梯度用于更新第二模型参数。

具体地，第一参与方基于私钥sk解密待解密梯度密文，包括：第一参与方解密待解密梯度密文。需要说明的是，第一参与方解密待解密梯度密文之后得到的目标数据不能够使得第一参与方得到第二梯度，目标数据中虽然包含了第二梯度，但是，第一参与方未持有掩码而第二参与方持有掩码，因而，第二参与方可以通过掩码解析出目标数据中的第二梯度，这样可以避免在纵向联邦学习场景中，第二参与方暴露第二模型参数的更新情况，可以便于第二参与方对第二模型参数的更新情况进行保密，从而在实现联邦学习的目的时也能够保证本方的秘密不被泄露。

此外，目标数据可以表示为

第二梯度可以表示为

第二梯度也可以理解为用于更新第二模型参数的梯度。可见，目标数据中包含掩码R₂，第一参与方在未持有掩码R₂的情况下，并不能从

中直接获得第二梯度

而持有掩码R₂的第二参与方可以从

中解析出第二梯度

作为一种可选的实施例，第一参与方将目标数据发送至第二参与方之后，该方法还包括：第二参与方基于掩码从目标数据中解析出第二梯度；第二参与方根据第二梯度更新第二模型参数。

具体地，第二模型参数可以为第二参与方对应的第二模型的参数，第二模型参数中可以包括权重和偏置项等。

可见，实施该可选的实施例，可以使得第二参与方在不泄露本方的模型训练情况的基础上，触发第一参与方帮助自己解密出包含第二梯度的目标数据，进而通过掩码解析出目标数据中的第二梯度，从而再基于该第二梯度对第二模型参数进行更新，这样可以在实现纵向联邦学习的保密性的基础上，提升模型训练效率。

作为一种可选的实施例，第一参与方根据第一梯度更新第一模型参数之后，该方法还包括：第一参与方在获取到待预测数据之后，将待预测数据输入第一模型，通过第一模型预测待预测数据对应的标签；其中，更新后的第一模型参数应用于第一模型中。

其中，待预测数据可以为任一用户的数据，举例来说，该待预测数据可以包括如下字段：“姓名”、“性别”、“违规频次”。需要预测的标签字段可以表示为“是否为优质客户”，预测得到的待预测数据对应的标签可以为“是”或者“否”。

可见，实施该可选的实施例，可以使得纵向联邦特征衍生得到的第一模型参数应用于第一模型并基于该第一模型进行标签预测，可以得到准确性更高的标签，使得该标签和待预测数据之前的匹配度更高。

请参阅图3，图3示意性示出了根据本申请的另一个实施例的基于隐私计算的纵向联邦特征衍生方法的流程图。如图3所示，基于隐私计算的纵向联邦特征衍生方法包括：步骤S310～步骤S390。

步骤S310：第一参与方生成相对应的公钥和私钥，并将公钥发送至所述第二参与方。

步骤S320：第一参与方基于第一本地样本确定第一线性特征和第一交互特征。

步骤S330：第二参与方基于第二本地样本确定第二线性特征和第二交互特征，并将第二线性特征和第二交互特征发送至第一参与方。

步骤S340：第一参与方基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度。

步骤S350：第一参与方根据预设提取规则提取第一梯度中的残差特征，通过公钥加密残差特征，得到残差密文，并将残差密文发送至第二参与方。

步骤S360：第二参与方根据残差密文计算中间参数，并基于预设密文空间计算中间参数对应的掩码，并通过公钥加密掩码，得到掩码密文，进而融合掩码密文和残差密文，得到待解密梯度密文，并将待解密梯度密文发送至第一参与方。

步骤S370：第一参与方通过私钥解密待解密梯度密文，得到包含第二梯度的目标数据，并将目标数据发送至第二参与方；其中，第二梯度用于更新第二模型参数。

步骤S380：第一参与方根据第一梯度更新第一模型参数。

步骤S390：第二参与方基于掩码从目标数据中解析出第二梯度，并根据第二梯度更新第二模型参数。

需要说明的是，步骤S310～步骤S390与图2所示的各步骤及其实施例相对应，针对步骤S310～步骤S390的具体实施方式，请参阅图2所示的各步骤及其实施例，此处不再赘述。

可见，实施图3所示的方法，可以基于上述特征衍生的方式减少无效特征值对于纵向联邦学习的影响，以提升确定出第一梯度和第二梯度的效率，从而有利于在纵向联邦学习场景中提升模型训练效率。

请参阅图4，图4示意性示出了根据本申请的一个实施例的基于隐私计算的纵向联邦特征衍生方法的序列图。如图4所示，该序列图包括：步骤S400～步骤S426。其中，步骤S400～步骤S426中一个或多个步骤可以是内置的功能模块触发，其对应的功能可以理解为一种用于规范参与方对话的协议，第一参与方和第二参与方中至少一方内置有该对话协议就可以实现图4所示的序列图。

步骤S400：第一参与方生成相对应的公钥和私钥。

步骤S402：第一参与方将公钥发送至第二参与方。

步骤S404：第一参与方基于第一本地样本确定第一线性特征和第一交互特征。

步骤S406：第二参与方基于第二本地样本确定第二线性特征和第二交互特征。

步骤S408：第二参与方将第二线性特征和第二交互特征转发至第一参与方。

步骤S410：第一参与方基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度。

步骤S412：第一参与方根据预设提取规则提取第一梯度中的残差特征，通过公钥加密残差特征，得到残差密文。

步骤S414：第一参与方将残差密文发送至第二参与方。

步骤S416：第二参与方基于预设密文空间计算残差密文对应的掩码，并通过公钥加密掩码，得到掩码密文，进而融合掩码密文和残差密文，得到待解密梯度密文。

步骤S418：第二参与方将待解密梯度密文转发至第一参与方。

步骤S420：第一参与方通过私钥解密待解密梯度密文，得到包含第二梯度的目标数据；其中，第二梯度用于更新第二模型参数。

步骤S422：第一参与方将目标数据发送至第二参与方。

步骤S424：第一参与方根据第一梯度更新第一模型参数。

步骤S426：第二参与方基于掩码从目标数据中解析出第二梯度，并根据第二梯度更新第二模型参数。

可见，实施图4所示的序列图，可以基于上述特征衍生的方式减少无效特征值对于纵向联邦学习的影响，以提升确定出第一梯度和第二梯度的效率，从而有利于在纵向联邦学习场景中提升模型训练效率。

请参阅图5，图5示意性示出了根据本申请的一个实施例中的基于隐私计算的纵向联邦特征衍生装置的结构框图。如图5所示，该基于隐私计算的纵向联邦特征衍生装置500可以包括：第一特征确定模块501、第二特征确定模块502、第一参数确定模块503、第二参数确定模块504，其中：

第一特征确定模块501，用于基于第一本地样本确定第一线性特征和第一交互特征；

第二特征确定模块502，用于基于第二本地样本确定第二线性特征和第二交互特征，并将第二线性特征和第二交互特征发送至第一参与方；

第一参数确定模块503，用于基于第一线性特征、第一交互特征、第二线性特征、第二交互特征以及特征标签确定目标损失函数，并根据目标损失函数确定用于更新第一模型参数的第一梯度；将第一梯度中的残差特征加密为残差密文，并将残差密文发送至第二参与方；

第二参数确定模块504，用于根据残差密文生成待解密梯度密文，并将待解密梯度密文发送至第一参与方；

第一参数确定模块503，还用于解密待解密梯度密文，得到包含第二梯度的目标数据，并将目标数据发送至第二参与方；其中，第二梯度用于更新第二模型参数。

需要说明的是，第一特征确定模块501、第二特征确定模块502、第一参数确定模块503、第二参数确定模块504可以设置于同一个服务器/终端设备中，也可以分别设置于不同的服务器/终端设备中。例如，第一特征确定模块501和第一参数确定模块503可以设置于服务器节点A中，第二特征确定模块502和第二参数确定模块504可以设置于服务器节点B中；其中，服务器节点A和服务器节点B可以为独立的服务器节点，也可以同属于一个服务器集群或者解释为其他形式，本申请实施例不作限定。

可见，实施图5所示的装置，可以基于上述特征衍生的方式减少无效特征值对于纵向联邦学习的影响，以提升确定出第一梯度和第二梯度的效率，从而有利于在纵向联邦学习场景中提升模型训练效率。

在本申请的一种示例性实施例中，该装置还包括：

在本申请的一种示例性实施例中，第一参数确定模块503将第一梯度中的残差特征加密为残差密文，包括：

第一参数确定模块503根据预设提取规则提取第一梯度中的残差特征；

第一参数确定模块503通过公钥加密残差特征，得到残差密文。

在本申请的一种示例性实施例中，第二参数确定模块504根据残差密文生成待解密梯度密文，包括：

第二参数确定模块504基于预设密文空间计算残差密文对应的掩码；

第二参数确定模块504通过公钥加密掩码，得到掩码密文；

第二参数确定模块504融合掩码密文和残差密文，得到待解密梯度密文。

在本申请的一种示例性实施例中，该装置还包括：

第一模型更新模块，用于在第一参数确定模块503根据目标损失函数确定用于更新第一模型参数的第一梯度之后，根据第一梯度更新第一模型参数。

在本申请的一种示例性实施例中，该装置还包括：

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

由于本申请的示例实施例的基于隐私计算的纵向联邦特征衍生装置的各个功能模块与上述基于隐私计算的纵向联邦特征衍生方法的示例实施例的步骤对应，因此对于本申请装置实施例中未披露的细节，请参照本申请上述的基于隐私计算的纵向联邦特征衍生方法的实施例。

请参阅图6，图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从储存部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的储存部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入储存部分608。

特别地，根据本申请的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法和装置中限定的各种功能。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种基于隐私计算的纵向联邦特征衍生方法，其特征在于，所述方法包括第一参与方和第二参与方；所述第一参与方包含特征标签、第一本地样本及第一模型参数，所述第二参与方包含第二本地样本及第二模型参数；所述方法包括：

所述第一参与方基于所述第一本地样本确定第一线性特征和第一交互特征；

所述第二参与方基于所述第二本地样本确定第二线性特征和第二交互特征，并将所述第二线性特征和所述第二交互特征发送至所述第一参与方；

所述第一参与方基于所述第一线性特征、所述第一交互特征、所述第二线性特征、所述第二交互特征以及所述特征标签确定目标损失函数，并根据所述目标损失函数确定用于更新所述第一模型参数的第一梯度；将所述第一梯度中的残差特征加密为残差密文，并将所述残差密文发送至所述第二参与方；

所述第二参与方根据所述残差密文生成待解密梯度密文，并将所述待解密梯度密文发送至所述第一参与方；

所述第一参与方解密所述待解密梯度密文，得到包含第二梯度的目标数据，并将所述目标数据发送至所述第二参与方；其中，所述第二梯度用于更新所述第二模型参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述第一参与方生成相对应的公钥和私钥，并将所述公钥发送至所述第二参与方；其中，所述私钥用于解密所述待解密梯度密文。

3.根据权利要求2所述的方法，其特征在于，所述第一参与方将所述第一梯度中的残差特征加密为残差密文，包括：

所述第一参与方根据预设提取规则提取所述第一梯度中的残差特征；

所述第一参与方通过所述公钥加密所述残差特征，得到残差密文。

4.根据权利要求2所述的方法，其特征在于，所述第二参与方根据所述残差密文生成待解密梯度密文，包括：

所述第二参与方根据所述残差密文计算中间参数，并基于预设密文空间计算所述中间参数对应的掩码；

所述第二参与方通过所述公钥加密所述掩码，得到掩码密文；

所述第二参与方融合所述掩码密文和所述中间参数，得到待解密梯度密文。

5.根据权利要求4所述的方法，其特征在于，所述第一参与方将所述目标数据发送至所述第二参与方之后，所述方法还包括：

所述第二参与方基于所述掩码从所述目标数据中解析出所述第二梯度；

所述第二参与方根据所述第二梯度更新所述第二模型参数。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一参与方根据所述目标损失函数确定用于更新所述第一模型参数的第一梯度之后，所述方法还包括：

所述第一参与方根据所述第一梯度更新所述第一模型参数。

7.根据权利要求6所述的方法，其特征在于，所述第一参与方根据所述第一梯度更新所述第一模型参数之后，所述方法还包括：

所述第一参与方在获取到待预测数据之后，将所述待预测数据输入第一模型，通过所述第一模型预测所述待预测数据对应的标签；其中，更新后的第一模型参数应用于所述第一模型中。

8.一种基于隐私计算的纵向联邦特征衍生装置，其特征在于，包括：

第二特征确定模块，用于基于第二本地样本确定第二线性特征和第二交互特征，并将所述第二线性特征和所述第二交互特征发送至所述第一参与方；

第一参数确定模块，用于基于所述第一线性特征、所述第一交互特征、所述第二线性特征、所述第二交互特征以及所述特征标签确定目标损失函数，并根据所述目标损失函数确定用于更新所述第一模型参数的第一梯度；将所述第一梯度中的残差特征加密为残差密文，并将所述残差密文发送至所述第二参与方；

第二参数确定模块，用于根据所述残差密文生成待解密梯度密文，并将所述待解密梯度密文发送至所述第一参与方；

所述第一参数确定模块，还用于解密所述待解密梯度密文，得到包含第二梯度的目标数据，并将所述目标数据发送至所述第二参与方；其中，所述第二梯度用于更新所述第二模型参数。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。