CN114282652A - 一种隐私保护的纵向深度神经网络模型构建方法、计算机及存储介质 - Google Patents

Abstract

本发明提出一种隐私保护的纵向深度神经网络模型构建方法、计算机及存储介质，属于隐私保护模型构建技术领域。首先，发起方和所有参与方找出共有的样本ID，生成自己的公私钥对，利用公钥对中间数据进行加密；其次，参与方基于本地数据集与发起方进行安全前向传播过程，使发起方获得深度神经网络模型交互层的真实加权值；最后，参与方和发起方进行安全反向传播过程，发起方基于加权值计算交互层中间误差，使双方各自获得更新交互层模型参数的梯度，进行深度神经网络交互层模型的更新，得到纵向深度神经网络模型。在无可信第三方的前提下保护数据隐私安全，对不同神经网络结构进行多方安全联合建模。解决构建模型成本高、风险大、结构敏感的问题。

Description

一种隐私保护的纵向深度神经网络模型构建方法、计算机及 存储介质

技术领域

本申请涉及一种模型构建方法，尤其涉及一种隐私保护的纵向深度神经网络模型构建方法、计算机及存储介质，属于隐私保护模型构建技术领域。

背景技术

深度学习(Deep Learning,DL)在语音合成、图像分类、文本识别等人工智能领域都拥有广泛的应用，但其模型效果依赖于数据集的质量和规模。在大数据时代，数据已成为关键生成要素，各企业采取集中多源数据的方式来增加训练数据集的维度和数量，进而大大提升模型训练效果。但是数据的集中收集和存储却带来了严重的隐私问题，世界各国也在颁布相关法案以保护数据隐私安全，这使得各个行业甚至同一公司的不同部门之间的数据无法实现整合，造成“数据孤岛”现象。

针对这种现象，“联邦学习”给出了解决办法，在数据不出本地的情况下，进行多方联合建模。纵向联邦学习场景指一方数据集拥有数据特征X_G和标签t，作为发起方Guest；另一方数据集只拥有数据特征X_H，作为参与方Host，两方数据集的特征重叠较小而样本重叠较多。

在纵向深度神经网络模型现有的研究方案中，大多利用信任第三方进行中间数据的加解密，从而获得模型更新所需梯度，然而在现实生活中，这种理想情况是很难实现的且存在一些问题，主要包括两方面的原因：(1)找到合作双方共同信任的第三方协作者是困难的：由第三方获取明文中间数据会在无形之中提高数据泄露的风险，因此第三方必须是可信任的，不能与其他参与方勾结，此外还需要第三方具备支持联邦学习的技术、算力和人力资源；(2)提高了系统部署的整体复杂性，第三方协作者的参与也会提升联合建模的成本。

因此，我们需要考虑从系统中删除第三方协作者的角色。此外，一些现有方案对深度神经网络模型结构敏感，模型结构的变化会极大低影响模型性能，使得在不同的应用场景中需要重新设计方法，增加了纵向联邦学习的使用难度。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，为解决现有技术中存在的构建模型的成本高、风险大、结构敏感的技术问题，本发明提供一种隐私保护的纵向深度神经网络模型构建方法、计算机及存储介质。

方案一：本发明提供了一种隐私保护的纵向深度神经网络模型构建方法，具体包括以下步骤：

步骤一、发起方和所有参与方找出共有的样本ID，生成自己的公私钥对，利用公钥对中间数据进行加密；

步骤二、参与方基于本地数据集与发起方进行安全前向传播过程，使发起方获得深度神经网络模型交互层的真实加权值；

步骤三、参与方和发起方进行安全反向传播过程，发起方基于加权值计算交互层中间误差δ，进而使得双方各自获得更新交互层模型参数的梯度，进行深度神经网络交互层模型的更新，得到纵向深度神经网络模型。

优选的，步骤一所述发起方和参与方找出共有的样本ID的具体方法，包括以下步骤：

步骤一一、参与方生成RSA公钥Pk＝(n，e)和私钥Sk＝(n，d)，将公钥Pk发送给发起方；

步骤一二、发起方计算己方各样本ID(ui，i＝1，2，...，m)的哈希值{H(ui)|i＝1，2，...，m｝，其中m为发起方样本ID数；

步骤一三、发起方生成随机数ri，计算第一中间数据{ri^e*H(ui)|i＝1，2，...，n}并发送给参与方；

步骤一四、参与方接收发起方第一中间数据，计算第二中间数据{(ri^e*H(ui))^d|i＝1，2，...，m}，对己方各样本ID(uj，j＝1，2，...，l)计算第三中间数据{H((H(uj))^d)|j＝1，2，...，l}，其中l为参与方样本ID数；

步骤一五、参与方将第二中间数据{(ri^e*H(ui))^d|i＝1，2，...，m}和第三中间数据{H((H(uj))^d)j＝1，2，...，l}发送给发起方；

步骤一六、发起方接收并计算第四中间数据{H(ri*(H(ui))^d/ri)|i＝1，2，...，m}，将计算结果与第三中间数据{H((H(uj))^d)|j＝1，2，...，l}作比较，集合交集即为共有的样本ID，并将集合交集发送给参与方。

优选的，步骤一所述生成自己的公私钥对的具体方法是：发起方和各参与方使用Paillier密钥生成算法得到自己的公私钥对(P_G，S_G)和(P_H1，S_H1)，(P_H2，S_H2).....(P_Hh，S_Hh)，其中h为参与方数量。

优选的，步骤一所述利用公钥对中间数据进行加密的具体方法是，发起方和参与方使用Paillier同态加密算法对中间数据进行加密。

优选的，步骤二所述参与方基于本地数据集与发起方进行安全前向传播过程，使发起方获得深度神经网络模型交互层的真实加权值的具体方法是：包括以下步骤：

步骤二一、发起方计算加密累计噪声[ε_acc]_G发送给参与方，参与方接收并计算加密加权值(W_H+[ε_acc]_G)X_H发送给发起方，其中X_H表示参与方数据特征；W_H表示参与方交互层参数W_H；

步骤二二、发起方利用私钥对参与方加密加权值(W_H+[ε_acc]_G)X_H进行解密，得到参与方真实加权值(W_H+ε_acc)X_H，因此可以计算因此可以计算参与方和发起方的真实加权值WX＝(W_H+ε_acc)X_H+W_GX_G，并利用计算结果得到深度神经网络交互层的激活函数输出，进而继续执行模型顶层的前向传播过程，其中X_G表示发起方数据特征；W_G表示发起方交互层参数。

优选的，步骤三所述参与方和发起方进行安全反向传播过程，发起方基于加权值计算交互层中间误差δ，进而使得双方各自获得更新交互层模型参数的梯度，进行深度神经网络交互层模型的更新，得到纵向深度神经网络模型的具体方法是：包括以下步骤：

步骤三一、发起方执行顶层的反向传播过程，得到交互层中间误差δ。

步骤三二、参与方计算加密数据[X_H]_H发送给发起方；

步骤三三、发起方接收并计算参与方加密梯度值

生成随机噪声ε，计算参与方带噪声的加密梯度值

并发送给参与方，更新累计噪声ε_acc+＝ε，其中η为学习率，L表示损失函数；

步骤三四、参与方接收带噪声的加密梯度值

对加密梯度值进行解密得到带噪声的梯度值

利用解密结果进行交互层参与方的参数更新

其中

表示带噪声的参与方交互层参数；

步骤三五：发起方计算自己的梯度值

利用计算结果进行交互层发起方的参数更新W_G＝W_G-η·g_G。

方案二：一种计算机，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述一种隐私保护的纵向深度神经网络模型构建方法的步骤。

方案三：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述一种隐私保护的纵向深度神经网络模型构建方法。

本发明的有益效果如下：本发明提供的一种隐私保护的纵向深度神经网络模型构建方法，参与方基于本地数据集与发起方进行安全前向传播过程，使发起方获得深度神经网络模型交互层的真实加权值，之后参与方和发起方进行安全反向传播过程，发起方基于加权值计算交互层中间误差，使双方各自获得更新交互层模型参数的梯度，进行深度神经网络交互层模型的更新，得到纵向深度神经网络模型。本发明无需可信第三方的协助，可在发起方和参与方双方之间直接实现安全联合建模过程，降低了系统架构的复杂性和数据泄露风险，减少了模型构建成本；同时，本发明支持各种深度神经网络模型，解决了结构敏感的技术问题；因此，本发明解决了现有技术存在的构建模型的成本高、风险大、结构敏感的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为方法流程示意图；

图2为找出共有的样本ID的流程示意图；

图3为生成自己的公私钥对的流程示意图；

图4为利用公钥对中间数据进行加密的流程示意图；

图5为模型示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1、参照图1-图5说明本实施方式，一种隐私保护的纵向深度神经网络模型构建方法，具体包括以下步骤：

步骤一、发起方和所有参与方找出共有的样本ID，生成自己的公私钥对，利用公钥对中间数据进行加密；

步骤一中发起方和所有参与方找出共有的样本ID的具体方法包括以下步骤：

步骤一一、参与方生成RSA公钥Pk＝(n，e)和私钥Sk＝(n，d)，将公钥Pk发送给发起方；

步骤一二、发起方计算己方各样本ID(ui，i＝1，2，...，m)的哈希值{H(ui)|i＝1，2，...，m}，其中m为发起方样本ID数；

步骤一三、发起方生成随机数ri，计算第一中间数据{ri^e*H(ui)|i＝1，2，...，m}并发送给参与方；

步骤一四、参与方接收发起方第一中间数据，计算第二中间数据{(ri^e*H(ui))^d|i＝1，2，...，m}，对己方各样本ID(uj，j＝1，2，...，l)计算第三中间数据{H((H(uj))^d)|j＝1，2，...，l}，其中l为参与方样本ID数；

步骤一五、参与方将第二中间数据{(ri^e*H(ui))d|i＝1，2，...，m}和第三中间数据{H((H(uj))^d)|j＝1，2，...，l}发送给发起方；

步骤一六、发起方接收并计算第四中间数据{H(ri*(H(ui))^d/ri)|i＝1，2，...，m}，将计算结果与第三中间数据{H((H(uj))^d)|j＝1，2，...，l}作比较，集合交集即为共有的样本ID，并将集合交集发送给参与方。

步骤一中生成自己的公私钥对的具体方法是：发起方和各参与方使用Paillier密钥生成算法得到自己的公私钥对(P_G，S_G)和(P_H1，S_H1)，(P_H2，S_H2).....(P_Hh，S_Hh)，其中h为参与方数量。

首先选择两个大素数p，q并令它们满足pq与(p-1)(q-1)的最大公约数为1。计算n＝pq，设λ为(p-1)(q-1)的最小公倍数，并随机选取一个整数

定义μ＝(L(g^λmodn²))^-1，其中L(x)＝(x-1)/n，则可生成一对密钥，公钥P表示为(n，g)，私钥S表示为λ。

步骤一中利用公钥对中间数据进行加密的具体方法是，发起方和参与方使用Paillier同态加密算法对中间数据进行加密。

对于将要进行加密的明文m，有0≤m≤n，Paillier加密算法中的加解密操作为：

随机选择一个整数r，使

并令r，n互质，即两者最大公约数为1。此时，可得密文c＝E(m，r)＝g^m·rⁿmodn²；

对于即将进行解密的密文

明文m＝D(c)＝L(c^λmodn²)·μmodn，其中L(x)＝(x-1)/n。

步骤二、参与方基于本地数据集与发起方进行安全前向传播过程，使发起方获得深度神经网络模型交互层的真实加权值。

发起方和参与方基于共有的样本进行联合建模。假设发起方和参与方联合训练一个深度神经网络模型，包括交互层模型和顶层模型。参与方Host拥有数据特征X_H＝{x₁，x₂，...，x_k}，发起方Guest拥有数据特征X_G＝{x_k+1，x_k+2，...，x_I}，其中k表示参与方数据特征个数，(I-k)为发起方数据特征个数，w_ij表示交互层第i个神经元到顶层模型输入层第j个神经元的线性系数。对于神经网络模型中的各参数，Host方持有交互层参数W_H，且对Guest保密；Guest方持有交互层参数W_G和顶层模型的参数，并对Host方保密，其中

W_H＝{w₁₁，...，w_1J，w₂₁，...，w_2J，...，w_k1，...，w_kJ}，

W_G＝{w_(k+1)1，...，w_(k+1)J，w_(k+2)1，...，w_(k+2)J，...，w_I1，...，w_IJ}，J表示顶层模型输入层神经元的总数。

发起方计算加密累计噪声[ε_acc]_G发送给参与方，参与方接收并计算加密加权值(W_H+[ε_acc]_G)X_H发送给发起方。

具体方法是：包括以下步骤：

步骤二一、发起方计算加密累计噪声[ε_acc]_G发送给参与方，参与方接收并计算加密加权值(W_H+[ε_acc]_G)X_H发送给发起方，其中X_H表示参与方数据特征；W_H表示参与方交互层参数；

步骤二二、发起方利用私钥对参与方加密加权值(W_H+[ε_acc]_G)X_H进行解密，得到参与方真实加权值(W_H+ε_acc)X_H，因此可以计算因此可以计算参与方和发起方的真实加权值WX＝(W_H+ε_acc)X_H+W_GX_G，并利用计算结果得到深度神经网络交互层的激活函数输出，进而继续执行模型顶层的前向传播过程，其中X_G表示发起方数据特征；W_G表示发起方交互层参数。

步骤三、参与方和发起方进行安全反向传播过程，发起方基于加权值计算交互层中间误差δ，进而使得双方各自获得更新交互层模犁参数的梯度，进行深度神经网络交互层模型的更新，得到纵向深度神经网络模型。

步骤三一、发起方执行顶层的反向传播过程，得到交互层中间误差δ。

步骤三二、参与方计算加密数据[X_H]_H发送给发起方；

步骤三三、发起方接收并计算参与方加密梯度值

生成随机噪声ε，计算参与方带噪声的加密梯度值

并发送给参与方，更新累计噪声εacc+＝ε，其中η为学习率，L表示损失函数；

步骤三四、参与方接收带噪声的加密梯度值

对加密梯度值进行解密得到带噪声的梯度值

利用解密结果进行交互层参与方的参数更新

其中

表示带噪声的参与方交互层参数；

步骤三五、发起方计算自己的梯度值

利用计算结果进行交互层发起方的参数更新W_G＝W_G-η·g_G。

具体的，参与方Host拥有数据特征X_H＝{x₁，x₂，...，x_k}，发起方Guest拥有数据特征X_G＝{x_k+1，x_k+2，...，x_I}，其中k表示参与方数据特征个数，(I-k)为发起方数据特征个数，w_ij表示交互层第i个神经元到顶层模型输入层第j个神经元的线性系数。对于神经网络模型中的各参数，Host方持有交互层参数W_H，且对Guest保密；Guest方持有交互层参数W_G和顶层模型的参数，并对Host方保密，其中

W_H＝{w₁₁，...，w_1J，w₂₁，...，w_2j，...，w_k1，...，w_kI}，

W_G＝{w_(k+1)₁，...，w_(k+1)J，w_(k+2)1，...，w_(k+2)J，...，w_I1，...，w_IJ}，J表示顶层模型输入层神经元的总数。

实施例2、为使本发明实施例的目的、技术方案和优点更加清楚，以构建银行用户消费信贷意愿模型为例，阐述此发明的具体实施过程。

消费信贷是指为消费者提供的用于购买住房、耐用消费品及其他消费用途的个人贷款。2025年消费信贷市场总体预计将翻番，有望达到29万亿元，然而在互联网金融机构的冲击下，传统商业银行面临市场被蚕食、客户流失、利润缩减等挑战。面对这种新局面和新挑战，银行G仅通过自己的数据集构建意愿模型，缺乏对用户画像的全面性认识，精确率不高，因此银行G可联合电商H1，H2进行用户消费信贷意愿纵向联邦学习模型的构建，增加数据特征维度，提高模型预测精度，从而挖掘新用户，提供优质的客户服务体验。

银行G作为发起方持有数据(ID_G，X_G，Y)，电商H1，H2作为参与方分别持有数据(ID_H1，X_H1)和(ID_H2，X_H2)，其中

为样本标识，X_G，X_H1，X_H2为三方的数据特征，Y为消费信贷标签。银行和电商的样本重叠较多，拥有的数据特征不同，为了提高消费信贷意愿模型的精确率，银行G联合电商H1，H2联合构建深度神经网络模型，具体过程如下：

参与方H1生成RSA公私钥对Pk1＝(n1，e1)和Sk1＝(n1，d1)，参与方H2生成RSA公私钥对Pk2＝(n2，e2)和Sk2＝(n2，d2)，分别将公钥Pk1和Pk2发送给发起方G；

发起方G计算己方各样本ID的哈希值{H(id1)，H(id2)，H(id3)}，生成随机数r1，r2，r3，计算{r1^e1*H(id1)，r2^e1*H(id2)，r3^e1*H(id3)并发送给参与方H1，计算{r1^e2*H(id1)，r2^e2*H(id2)，r3^e3*H(id3)并发送给参与方H2；

参与方H1接收发起方数据，计算

D_H1＝{(r1^e1*H(id1))^d1，(r1^e1*H(id2))^d1，(r1^e1*H(id3))^d1}，对己方各样本ID计算E_H1＝{H((H(id1))^d1)，H((H(id2))^d1)，H((H(id4))^d1)}，将计算结果D_H1和E_H1发送给发起方G；

参与方H2接收发起方数据，计算

D_H2＝{(r1^e2*H(id1))^d2，(r1^e2*H(id2))^d2，(r1^e1*H(id3))^d2}，对己方各样本ID计算E_H2＝{H((H(id1))^d2)，H((H(id2))^d2)，H((H(id5))^d2)}，将计算结果D_H2和E_H2发送给发起方G；

发起方G接收参与方H1数据，计算{H(r1*(H(id1))^d1/r1)，H(r2*(H(id2))^d1/r2)，H(r3*(H(id3))^d1/r3)｝，将计算结果与E_H1作比较，集合交集ID₁即为参与方H1和发起方G共有的样本标识集合；

发起方G接收参与方H2数据，计算{H(r1*(H(id1))^d2/r1)，H(r2*(H(id2))^d2/r2)，H(r3*(H(id3))^d2/r3)}，将计算结果与E_H2作比较，集合交集ID₂即为参与方H2和发起方G共有的样本标识集合；

集合ID₁与ID₂的交集ID即为三方共有的样本标识集合。

发起方和各参与方使用Paillier密钥生成算法得到自己的公私钥对(P_G，S_G)和(P_H1，S_H1)，(P_H2，S_H2)，具体步骤如下：

首先选择两个大素数p，q并令它们满足pq与(p-1)(q-1)的最大公约数为1。计算n＝pq，设λ为(p-1)(q-1)的最小公倍数，并随机选取一个整数

定义μ＝(L(g^λmodn²))^-1，其中L(x)＝(x-1)/n，则可生成一对密钥，公钥表示为(n，g)，私钥表示为λ。

发起方和参与方使用Paillier同态加密算法对中间数据进行加解密，对于将要进行加密的明文m，有0≤m≤n，Paillier加密算法中的加解密操作为：

随机选择一个整数r，使0＜r＜n，

并令r，n互质，即两者最大公约数为1。此时，可得密文c＝E(m，r)＝g^m·rⁿmodn²

对于即将进行解密的密文

明文m＝D(c)＝L(c^λmodn²)·μmodn，其中L(x)＝(x-1)/n。[·]_G，[·]_H1，[·]_H2分别表示使用G、H1、H2方的公钥进行同态加密。

进一步地，发起方和参与方基于共有的样本集合进行联合建模，发起方计算[ε_acc]_G加密值发送给参与方，参与方接H1，H2收并计算(W_H1+[ε_acc]_G)X_H1，(W_H2+[ε_acc]_G)X_H2发送给发起方。

发起方利用私钥对(W_H1+[ε_acc]_G)X_H1，(W_H2+[ε_acc]_G)X_H2进行解密，计算真实加权值WX＝(W_H1+ε_acc)X_H1+(W_H2+ε_acc)X_H2+W_GX_G，利用计算结果得到深度神经网络交互层的激活函数输出，并继续执行模型顶层的前向传播过程。

进一步地，发起方执行顶层的反向传播过程，得到交互层中间误差δ。参与方H1，H2计算[X_H1]_H1，[X_H2]_H2发送给发起方。发起方接收并计算

生成随机噪声ε，计算

发送给参与方H1，H2，更新累计噪声ε_acc+＝ε。

参与方H1接收

对结果进行解密得到

利用解密结果进行交互层参数更新

参与方H2接收

对结果进行解密得到

利用解密结果进行交互层参数更新

发起方计算

利用计算结果进行交互层参数更新

W_G＝W_G-η·g_G。

迭代训练完毕，发起方银行完成用户消费信贷意愿纵向联邦学习模型的构建。

本发明的关键点：本发明利用同态加密技术对中间数据进行加密，并基于密文进行计算；同时通过加噪声的方式保护隐私数据，执行参数更新，并在使用模型参数时去除累计噪声，最终实现深度神经网络模型的安全联合建模和无损性。

实施例3、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例4、计算机可读存储介质实施例

本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。

所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (8)

1.一种隐私保护的纵向深度神经网络模型构建方法，其特征在于，具体包括以下步骤：

步骤一、发起方和所有参与方找出共有的样本ID，生成自己的公私钥对，利用公钥对中间数据进行加密；

步骤二、参与方基于本地数据集与发起方在深度神经网络交互层进行安全前向传播过程，使发起方获得深度神经网络交互层的真实加权值；

步骤三、参与方和发起方进行安全反向传播过程，发起方基于加权值计算交互层中间误差δ，进而使得双方各自获得更新交互层模型参数的梯度，进行深度神经网络交互层模型的更新，得到纵向深度神经网络模型。

2.根据权利要求1所述的一种隐私保护的纵向深度神经网络模型构建方法，其特征在于，步骤一所述发起方和参与方找出共有的样本ID的具体方法，包括以下步骤：

步骤一一、参与方生成RSA公钥Pk＝(n，e)和私钥Sk＝(n，d)，将公钥Pk发送给发起方；

步骤一二、发起方计算己方各样本ID(ui，i＝1，2，...，m)的哈希值{H(ui)|i＝1，2，...，m}，其中m为发起方样本ID数；

步骤一三、发起方生成随机数ri，计算第一中间数据{ri^e*H(ui)|i＝1，2，...，m}并发送给参与方；

步骤一四、参与方接收发起方第一中间数据，计算第二中间数据{(ri^θ*H(ui))^d|i＝1，2，...，m}，对己方各样本ID(uj，j＝1，2，...，l)计算第三中间数据{H((H(uj))^d)|j＝1，2，...，l}，其中l为参与方样本ID数；

步骤一五、参与方将第二中间数据{(ri^e*H(ui))^d|i＝1，2，...，m}和第三中间数据{H((H(uj))^d)|j＝1，2，...，l}发送给发起方；

步骤一六、发起方接收并计算第四中间数据{H(ri*(H(ui))^d/ri)|i＝1，2，...，m}，将计算结果与第三中间数据{H((H(uj))^d)|j＝1，2，...，l}作比较，集合交集即为共有的样本ID，并将集合交集发送给参与方。

3.根据权利要求2所述的一种隐私保护的纵向深度神经网络模型构建方法，其特征在于，步骤一所述生成自己的公私钥对的具体方法是：发起方和各参与方使用Paillier密钥生成算法得到自己的公私钥对(P_G，S_G)和(P_H1，S_H1)，(P_H2，S_H2).....(P_Hh，S_Hh)，其中h为参与方数量。

4.根据权利要求3所述的一种隐私保护的纵向深度神经网络模型构建方法，其特征在于，步骤一所述利用公钥对中间数据进行加密的具体方法是，发起方和参与方使用Paillier同态加密算法对中间数据进行加密。

5.根据权利要求4所述的一种隐私保护的纵向深度神经网络模型构建方法，其特征在于，步骤二所述参与方基于本地数据集与发起方进行安全前向传播过程，使发起方获得深度神经网络模型交互层的真实加权值的具体方法是：包括以下步骤：

步骤二一、发起方计算加密累计噪声[ε_acc]_G发送给参与方，参与方接收并计算加密加权值(W_H+[ε_acc]_G)X_H发送给发起方，其中X_H表示参与方数据特征；W_H表示参与方交互层参数；

步骤二二、发起方利用私钥对参与方加密加权值(W_H+[ε_acc]_G)X_H进行解密，得到参与方真实加权值(W_H+ε_acc)X_H，因此可以计算参与方和发起方的真实加权值WX＝(W_H+ε_acc)X_H+W_GX_G，并利用计算结果得到深度神经网络交互层的激活函数输出，进而继续执行模型顶层的前向传播过程，其中X_G表示发起方数据特征；W_G表示发起方交互层参数。

6.根据权利要求5所述的一种隐私保护的纵向深度神经网络模型构建方法，其特征在于，步骤三所述参与方和发起方进行安全反向传播过程，发起方基于加权值计算交互层中间误差δ，进而使得双方各自获得更新交互层模型参数的梯度，进行深度神经网络交互层模型的更新，得到纵向深度神经网络模型的具体方法是：

步骤三一、发起方执行顶层的反向传播过程，得到交互层中间误差δ。

步骤三二、参与方计算加密数据[X_H}_H发送给发起方；

步骤三三、发起方接收并计算参与方加密梯度值

生成随机噪声ε，计算参与方带噪声的加密梯度值

并发送给参与方，更新累计噪声ε_acc+＝ε，其中η为学习率，L表示损失函数；

步骤三四、参与方接收带噪声的加密梯度值

对加密梯度值进行解密得到带噪声的梯度值

利用解密结果进行交互层参与方的参数更新

其中

表示带噪声的参与方交互层参数；

步骤三五、发起方计算自己的梯度值

利用计算结果进行交互层发起方的参数更新W_G＝W_G-η·g_G。

7.一种计算机，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1至6任一项所述的一种隐私保护的纵向深度神经网络模型构建方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的一种隐私保护的纵向深度神经网络模型构建方法。

Images