CN108712260A - 云环境下保护隐私的多方深度学习计算代理方法 - Google Patents

Abstract

本发明属于云计算技术领域，为实现保护隐私前提下的数据共享，以及在此基础上的深度学习应用。为此，本发明采用的技术方案是，云环境下保护隐私的多方深度学习计算代理方法，各个参与方基于自身数据集运行深度学习算法，计算得出梯度参数值，并将利用乘法同态ElGamal加密方案加密后的梯度参数上传到服务器；当参与者将梯度参数上传到云服务器时，同时生成该参数的签名，签名满足聚合性，即云服务器能够计算出梯度参数和的签名；云计算服务器在密文上计算得出所有用户的梯度参数和，并将结果返回给用户，用户解密后得到最终的梯度参数和，并通过检查结果和聚合签名是否是有效的消息和签名对来验证其正确性。本发明主要应用于云计算场合。

Description

云环境下保护隐私的多方深度学习计算代理方法

技术领域

本发明属于云计算技术领域，公开了一种云环境下多方保护隐私的深度学习方法，具体 讲,涉及云环境下保护隐私的多方深度学习计算代理方法。

背景技术

深度学习是由多个处理层组成的计算模型，用于学习具有多个抽象层次的数据表示。该 模型从原始数据开始，每层都可以通过非线性变换将先前层级的表示转换为更抽象级别的表 示。复杂的功能可以通过足够的这种转换的组合来学习。最近在深度学习方面的进步显著的 改善了人工智能领域的先进技术，如图像识别，语音识别，格雷夫斯年人脸检测，人脸识别 和疾病诊断等。

深度学习结果的准确性受到用于训练的数据量和质量的高度影响。例如，几家银行可能 会联合开展信用风险分析，以达到利用所有银行过去交易来识别非盈利客户，或者几家医疗 机构试图从所有患者记录中找出症状与诊断之间的某种相关性。多方的深度学习通过将更多 数据集合并入学习过程，而不是仅使用本地数据集学习来提高学习的准确性。随着云计算的 发展，互联网用户通过共享基础设施进行协同深度学习变得更加方便。利用云服务的可用性， 昂贵的计算或存储任务可以按使用付费的方式委托给云计算来完成。

尽管多方深度学习的效用是不可否认的，但数据集的共享带来了严重的隐私问题。在诸 如金融系统和医疗保健系统等一些对隐私敏感的系统中，由于不同的隐私策略，他们可能不 公开地共享他们的数据，而联合数据处理可能是不可避免的。根据健康保险概率和责任法案， 披露患者的诊断记录不仅是不道德的，而且也是非法的。通常，如果临床和生物医学研究人 员只能对他们的本地数据集进行深度学习，那么学习模型可能会过拟合，并且缺乏普遍性， 从而导致推理过程中的结果不准确。在这种情况下，机密性和隐私性要求制约了模型的实用 性。因此，我们必须找到一种解决多方深度学习中隐私性与实用性冲突的方法。换句话说， 我们需要一个新的隐私保护多方深度学习模型，允许相互不信任的参与者共同进行学习，而 不公开其各自的隐私数据集。

研究学者在隐私保护深度学习相关领域做了大量研究工作，其中一些工作受到隐私保护 数据挖掘和隐私保护机器学习的极大启发。一般来说，现有的隐私保护机器学习相关研究可 以分为两个方向：基于差分隐私技术和基于密码技术的方法。

基于差分隐私的方法通过将噪声结合到原始数据来保护数据隐私，并且广泛用于隐私保 护机器学习，如支持向量机、逻辑回归、主成份分析等。Mangasarian等人提出了隐私保护 支持向量机，其中随机矩阵乘以矩阵内核，同时保证准确的学习结果。Agrawal等人提出了 一种方法，将一些精心设计的噪声数据添加到训练数据集中，同时保留一些统计特性，使得 仍然可以获得朴素贝叶斯分类器。Fong等人提出了一种隐私保护学习方法，该方法将原始数 据转换为一组不真实的数据集，而不损失学习模型的准确性。Chaudhuri和Monteleoni的研究 表明，通过向最终机器学习结果或目标函数添加噪声，可以获得∈-差分隐私数据集。然而， 差分隐私模型的应用需要满足一定的要求，即目标函数和损失函数存在在连续的导数并且必 须是可微的。

基于密码学的方法通常包含加密工具以保护数据集隐私。从理论上讲，安全多方计算可 以解决保护隐私的深度学习问题。然而，极高的通信和计算复杂性通常会使其难以应用。Yuan 和Yu提出了基于任意分割数据集的多方深度学习隐私保护反向传播算法。然而，该方案要求 所有参与方在线，并交互工作以在每次迭代中解密加密后的梯度参数。Graepel等人提出在云 计算中对加密数据开展机器学习。考虑到全同态加密的高计算复杂度，他们提出基于最小二 乘解的多项式近似来解决二分类问题。从上面介绍的相关工作中，我们可以看到，大多数基 于密码学的方法都是指在上传到第三方之前对整个数据集进行半同态加密、全同态或多密钥 全同态加密方案。考虑到大数据量和用户有限的计算能力，这些方法在实际应用中还有很长 的路要走。

综上所述，现有的技术问题是：全同态加密算法的高计算复杂性，使得基于全同态加密 方案的多方深度学习难以广泛应用。Shokri等人提出的分布式选择性随机梯度下降算法，损 害了用户的部分数据隐私性。因而，从技术上讲，该方法不是完全保护隐私。差分隐私通过 向数据库添加噪音来保证隐私。然而，差分隐私同样存在着隐私泄露的问题，并且模型的准 确性低于常规的非保护隐私多方深度学习模型。

发明内容

为克服现有技术的不足，本发明旨在提出一种保护隐私的多方深度学习模型，用于实现 保护隐私前提下的数据共享，以及在此基础上的深度学习应用。为此，本发明采用的技术方 案是，云环境下保护隐私的多方深度学习计算代理方法，各个参与方基于自身数据集运行深 度学习算法，计算得出梯度参数值，并将利用乘法同态ElGamal加密方案加密后的梯度参数 上传到服务器；当参与者将梯度参数上传到云服务器时，同时生成该参数的签名，签名满足 聚合性，即云服务器能够计算出梯度参数和的签名；云计算服务器在密文上计算得出所有用 户的梯度参数和，并将结果返回给用户，用户解密后得到最终的梯度参数和，并通过检查结 果和聚合签名是否是有效的消息和签名对来验证其正确性。

具体步骤细化如下：(1)所有参与者初始化神经网络的所有参数，并将ElGamal加密的密 钥分发给云服务器和所有参与者；(2)每个参与者在本地运行深度学习算法，计算基于单个数 据集的所有权重参数的梯度向量；(3)所有参与者加密自己的梯度向量，并将密文上传到云服 务器；云服务器根据参与者上传的密文数据，计算得出加密的基于聚合数据集的梯度向量， 并使用自身的密钥对其进行解密；(4)每个参与者从云服务器下载聚合梯度向量，进一步解密 得到最终的梯度向量，每个参与者进入步骤(2)进行下一次迭代，直到学习过程达到最佳。

所述步骤包含4个子算法，表述如下：

●参数初始化算法(pk，sk，w₀)←Init(1^κ)：基于安全参数κ，初始化算法会生成一个 公钥pk，用于编码每个参与者的输入，生成匹配密钥sk，并将sk分解为两部分，分 别对应于服务器和用户的私钥，同时，初始化算法随机机产生神经网络的初始权向 量w₀；

●本地训练算法每个用户P_i在其自 己的数据集DB_i上运行深度学习算法并上传加密的梯度参数到云服务器；

●参数交换算法根据加密算法的同态属 性，云服务器计算所有用户上传的梯度参数总和，并利用密钥sk_s解密后得到发送给用户；

●参数更新算法每个用户利用其自己的密钥sk_p解密 梯度参数和，获得用于更新神经网络权重的梯度向量ΔW。

首先给出半诚实模型下的方案构造，具体步骤细化如下：

●(pk，sk，w₀)←Init(1^κ)：输入安全参数1^κ，Init(1^κ)输出pk，sk和w₀，其中pk是ElGamal加密系统的公钥，sk是相应的秘密密钥分成两部分，sk_s和sk_p，sk_s是服务器的密钥，sk_p是参与者的密钥，w₀是神经网络的初始参数向量，使用Diffie-Hellman密钥交换协议来生成pk和sk，具体的参数生成过程描述如下：

(1)乘法循环群生成元是g，其中p是安全素数；

(2)对于每个参与者P_i，1≤i≤n，选择一个随机数x_i∈R Z_p-1，计算并在所有参与 者之间分享，因此，每个参与者计算作为秘钥，并将发送给云服务器S；

(3)云服务器S选择一个随机数x_s∈R Z_p-1作为其密钥sk_s并发送给参与者，公钥 私钥sk＝(sk_s，sk_p)；

(4)加密过程：c₁＝g_k，

(5)解密过程：云服务器首先计算参与者下载并计算

●每个参与者P_i基于自身的数据集DB_i以及当前权 重参数向量W运行深度学习算法，获得ΔW⁽ⁱ⁾。其中，ΔW⁽ⁱ⁾是指基于数据集DB_i的神经网络参 数的梯度向量，表示向量ΔW⁽ⁱ⁾的第j个参数，根据梯度向量的可加性，基于聚合数据集 的梯度向量表示为：为了满足参数隐私 性，每个参与者在将其上传到云服务器之前需要对ΔW⁽ⁱ⁾进行加密处理，同时，必须确保云服 务器在密文上计算所有梯度向量的总和ElGamal加密满足乘同态的，需 要的是加法同态加密，因此，P_i首先计算然后利用ElGamal对其进行 加密，获得

●云服务器收到参与者发送的梯度参数 后，利用ElGamal加密的同态性计算出梯度向量和，并利用其私钥sk_s对结果进行一次解密操 作，具体的计算过程描述如下，服务器首先计算：

然后，利用其私钥sk_s解密得到：

●参与者收到服务器计算的后，利用其私钥sk_p，计 算：

从g^ΔW中检索最终的梯度向量ΔW，参与者必须解决离散对数问题，对于离散对数问题最 有效的方法是Pollard的rho算法，其计算复杂度为其中p是群的阶。

聚合签名相关参数设置如下：系统参数分别包括其生成元分别是g₁，g₂，双线 性映射以及哈希函数进一 步地：

●输入安全参数1^κ，Init(1^κ)输出pk_enc， sk_enc，pk_sig，sk_sig，w₀，其中(pk_enc，sk_enc)是ElGamal加密系统的密钥对，sk_enc被拆分为和分配方法和前述协议一致，是服务器的密钥，是参与者的密钥，是参与者的P_i签名密钥对，其中，w₀是初始参数向量；

●每个参与者P_i基于自身的 数据集DB_i以及当前权重参数向量W运行深度学习算法，获得ΔW⁽ⁱ⁾，并计算对应的密文同时，P_i计算梯度参数ΔW⁽ⁱ⁾的签名σ(ΔW⁽ⁱ⁾):

●各参与方从云服务器获取到梯度向量 解密得到梯度向量ΔW，并且，利用聚合签名对计算结果进行验证，验证过程如下：

(1)

(2)

(3)计算下述等式是否成立来验证服务器返回结果的正确性

本发明的特点及有益效果是：

本发明结合深度学习技术和密码学技术，实现了基于多用户数据集的保护隐私的多方深 度学习。在保护用户数据集以及神经网络模型隐私的前提下，实现了多方机器学习，有效的 提高了深度学习的模型的准确性

附图说明：

图1系统框架图。

具体实施方式

本发明属于云计算技术领域，公开了一种云环境下多方保护隐私的深度学习方法。实现 了云环境下多方保护隐私的深度学习，其中，模型中的数据集分布在多个用户的数据库中。 采用本发明中提出的新型的多方深度学习方法，用户可以获得基于整合数据集的统一深度学 习模型，同时又可以实现各用户数据集的隐私保护，解决了多方机器中存在的隐私泄露问题。 同时，本发明提出了利用聚合签名实现代理计算结果可验证性的方法，保证了结果的正确性。

针对现有技术存在的问题，本发明提供了一种保护隐私的多方深度学习模型。

本发明是这样实现的，各个参与方基于自身数据集运行深度学习算法，计算得出梯度参 数值，并将加密后的梯度参数上传到服务器。云计算服务器在密文上计算得出所有用户的梯 度参数和，并将返回给用户，用户解密后得到最终的梯度参数和。为了防止恶意服务器以及 恶意参与方的攻击，引入了聚合签名和ElGamal加密来实验计算结果的可验证性。保证了任 一用户可以高效的验证云计算服务器返回的计算结果。

云环境下保护隐私的多方深度学习计算代理方法，各个参与方基于自身数据集运行深度 学习算法，计算得出梯度参数值，并将利用乘法同态ElGamal加密方案加密后的梯度参数上 传到服务器；当参与者将梯度参数上传到云服务器时，同时生成该参数的签名，签名满足聚 合性，即云服务器能够计算出梯度参数和的签名；云计算服务器在密文上计算得出所有用户 的梯度参数和，并将结果返回给用户，用户解密后得到最终的梯度参数和，并通过检查结果 和聚合签名是否是有效的消息和签名对来验证其正确性。

具体步骤细化如下：(1)所有参与者运行相同的初始化算法，初始化神经网络的所有参数， 并将ElGamal加密的密钥分发给云服务器和所有参与者；(2)每个参与者在本地运行深度学习 算法，计算基于单个数据集的所有权重参数的梯度向量；(3)所有参与者加密自己的梯度向量， 并将密文上传到云服务器；云服务器根据参与者上传的密文数据，计算得出加密的基于聚合 数据集的梯度向量，并使用自身的密钥对其进行解密；(4)每个参与者从云服务器下载聚合梯 度向量，进一步解密得到最终的梯度向量，每个参与者进入步骤(2)进行下一次迭代，直到学 习过程达到最佳。

如图1所示，考虑一个由两方组成的系统，参与方(P)和云服务器(S)，并且不需要存在 可信任的权威机构。每个参与者(表示为P_i，1≤i≤n)拥有一个大的私有本地数据集D_i。为了 获得更准确的神经网络，参与者期望得到基于聚合数据集的深度学习模型。系统为所有 参与者生成一个神经网络模型，此后每个参与者可以在非交互式模型下实现对新数据的评估。

考虑到数据的隐私性，对于云服务器以及其他参与者来说，任一参与者的数据隐私必须 实现安全的保护。为了实现数据隐私，每个数据集都保存在参与者本地。参与者以独立但同 步的方式，实现基于本地数据集的深度学习算法。利用云计算服务器的计算代理服务，通过 安全多方计算，实现多方深度学习过程中的参数共享，获得基于聚合数据集的神经网络模型。

保护隐私的多方深度学习由四个子算法组成，即 Init，LocTrain，ParaExchange，ParaUpdate。首先，我们描述服务器和参与者均是半诚 实的安全性模型下的方案构造，每个子算法如下所示：

●(pk，sk，w₀)←Init(1^κ)：输入安全参数1^κ，Init(1^κ)输出pk，sk和w₀，其中pk是ElGamal加密系统的公钥，sk是相应的秘密密钥分成两部分，sk_s和sk_p。sk_s是服务器的密钥，sk_p是参与者的密钥。W₀是神经网络的初始参数向量。我们的系统中没有可信任的第三方，我们使用Diffie-Hellman密钥交换协议来生成pk和sk。具体的参数生成过程描述如下：

(1)假设有一个乘法循环群生成元是g，其中p是安全素数。

(2)对于每个参与者P_i，1≤i≤n，选择一个随机数x_i∈R Z_p-1，计算并在所有参与者之间分享。因此，每个参与者可以计算作为秘钥，并将发送给云服务 器S。

(3)云服务器S选择一个随机数x_s∈_R Z_p-1作为其密钥sk_s并发送给参与者。公钥 私钥sk＝(sk_s，sk_p)。

(4)加密过程：c₁＝g_k，

(5)解密过程：云服务器首先计算参与者下载并计算

●每个参与者P_i基于自身的数据集DB_i以及当前权 重参数向量W运行深度学习算法，获得ΔW⁽ⁱ⁾。其中，ΔW⁽ⁱ⁾是指基于数据集DB_i的神经网络参 数的梯度向量。表示向量ΔW⁽ⁱ⁾的第j个参数。根据梯度向量的可加性，基于聚合数据集 的梯度向量可以表示为：为了满足参数 隐私性，每个参与者在将其上传到云服务器之前需要对ΔW⁽ⁱ⁾进行加密处理，同时，必须确保 云服务器可以在密文上计算所有梯度向量的总和ElGamal加密满足乘同 态的，而我们需要的是加法同态加密。因此，P_i首先计算然后利用 ElGamal对其进行加密，获得

云服务器收到参与者发送的梯度参数 后，利用ElGamal加密的同态性计算出梯度向量和，并利用其私钥sk_s对结果进行一次解密操 作。具体的计算过程描述如下，云服务器首先计算：

然后，利用其私钥sk_s解密得到：

●参与者收到服务器计算的后，利用其私钥sk_p，计 算：

从g^ΔW中检索最终的梯度向量ΔW，参与者必须解决离散对数问题。对于离散对数问题最 有效的方法是Pollard的rho算法，其计算复杂度为其中p是群的阶。考虑当前主 流计算机的计算速度，即使梯度向量的参数大约为2⁴⁰，离散对数问题可以在几十毫秒内解决。

为了实现恶意攻击者模型的安全多方保护隐私深度学习，引入聚合签名以实现对于服务 器返回计算结果的可验证性。

系统参数分别包括其生成元分别是g₁，g₂。双线性映射 以及哈希函数当参与者将梯度参数上传到云服务 器时，同时生成该参数的签名。签名应该能够满足聚合性，即云服务器可以高效的计算出梯 度参数和的签名。云服务器返回结果时，参与者可以通过检查结果和聚合签名是否是有效的 消息和签名对来验证其正确性。详细的构造方案描述如下：

●输入安全参数1^κ，Init(1^κ)输出pk_enc， sk_enc，pk_sig，sk_sig，w₀，其中(pk_enc，sk_enc)是ElGamal加密系统的密钥对。sk_enc被拆分为和分配方法和前述协议一致。是服务器的密钥，是参与者的密钥。是参与者的P_i签名密钥对。其中，w₀是初始参数向量。

●同前述协议，每个参与者P_i基于自身的数据集DB_i以及当前权重参数向量W运行深度学习算法，获得ΔW⁽ⁱ⁾，并计算对应 的密文同时，P_i计算梯度参数ΔW⁽ⁱ⁾的签名σ(ΔW⁽ⁱ⁾):

该算法过程与前述协议过程一致。

各参与方从云服务器获取到梯度向量 解密得到梯度向量ΔW。并且，利用聚合签名对计算结果进行验证，验证过程如下：

(1)

(2)

(3)计算下述等式是否成立来验证服务器返回结果的正确性。

Claims (4)

1.一种云环境下保护隐私的多方深度学习计算代理方法，其特征是，各个参与方基于自身数据集运行深度学习算法，计算得出梯度参数值，并将利用乘法同态ElGamal加密方案加密后的梯度参数上传到服务器；当参与者将梯度参数上传到云服务器时，同时生成该参数的签名，签名满足聚合性，即云服务器能够计算出梯度参数和的签名；云计算服务器在密文上计算得出所有用户的梯度参数和，并将结果返回给用户，用户解密后得到最终的梯度参数和，并通过检查结果和聚合签名是否是有效的消息和签名对来验证其正确性。

2.如权利要求1所述的云环境下保护隐私的多方深度学习计算代理方法，其特征是，具体步骤细化如下：(1)所有参与者初始化神经网络的所有参数，并将ElGamal加密的密钥分发给云服务器和所有参与者；(2)每个参与者在本地运行深度学习算法，计算基于单个数据集的所有权重参数的梯度向量；(3)所有参与者加密自己的梯度向量，并将密文上传到云服务器；云服务器根据参与者上传的密文数据，计算得出加密的基于聚合数据集的梯度向量，并使用自身的密钥对其进行解密；(4)每个参与者从云服务器下载聚合梯度向量，进一步解密得到最终的梯度向量，每个参与者进入步骤(2)进行下一次迭代，直到学习过程达到最佳。

3.如权利要求2所述的云环境下保护隐私的多方深度学习计算代理方法，其特征是，所述步骤包含4个子算法，表述如下：

●参数初始化算法基于安全参数初始化算法会生成一个公钥pk，用于编码每个参与者的输入，生成匹配密钥sk，并将sk分解为两部分，分别对应于服务器和用户的私钥，同时，初始化算法随机机产生神经网络的初始权向量w₀；

●本地训练算法每个用户P_i在其自己的数据集DB_i上运行深度学习算法并上传加密的梯度参数到云服务器；

●参数交换算法根据加密算法的同态属性，云服务器计算所有用户上传的梯度参数总和，并利用密钥sk_s解密后得到发送给用户；

●参数更新算法每个用户利用其自己的密钥sk_p解密梯度参数和，获得用于更新神经网络权重的梯度向量Δw。

4.如权利要求3所述的云环境下保护隐私的多方深度学习计算代理方法，其特征是，实例中具体步骤细化如下：

●输入安全参数 输出pk，sk和w₀，其中pk是ElGamal加密系统的公钥，sk是相应的秘密密钥分成两部分，sk_s和sk_p，sk_s是服务器的密钥，sk_p是参与者的密钥，w₀是神经网络的初始参数向量，使用Diffie-Hellman密钥交换协议来生成pk和sk，具体的参数生成过程描述如下：

(1)乘法循环群生成元是g，其中p是安全素数；

(2)对于每个参与者P_i，1≤i≤n，选择一个随机数x_i∈_RZ_p-1，计算并在所有参与者之间分享，因此，每个参与者计算作为秘钥，并将发送给云服务器S；

(3)云服务器S选择一个随机数x_s∈_RZ_p-1作为其密钥sk_s并发送给参与者，公钥 私钥sk＝(sk_s，sk_p)；

(4)加密过程：

(5)解密过程：云服务器首先计算参与者下载并计算

●每个参与者P_i基于自身的数据集DB_i以及当前权重参数向量W运行深度学习算法，获得ΔW⁽ⁱ⁾。其中，ΔW⁽ⁱ⁾是指基于数据集DB_i的神经网络参数的梯度向量，表示向量ΔW⁽ⁱ⁾的第j个参数，根据梯度向量的可加性，基于聚合数据集的梯度向量表示为：为了满足参数隐私性，每个参与者在将其上传到云服务器之前需要对Δw⁽ⁱ⁾进行加密处理，同时，必须确保云服务器在密文上计算所有梯度向量的总和ElGamal加密满足乘同态的，需要的是加法同态加密，因此，P_i首先计算然后利用ElGamal对其进行加密，获得

●云服务器收到参与者发送的梯度参数后，利用ElGamal加密的同态性计算出梯度向量和，并利用其私钥sk_s对结果进行一次解密操作，具体的计算过程描述如下，服务器首先计算：

然后，利用其私钥sk_s解密得到：

●参与者收到服务器计算的后，利用其私钥sk_p，计算：

从g^Δw中检索最终的梯度向量Δw，参与者必须解决离散对数问题，对于离散对数问题最有效的方法是Pollard的rho算法，其计算复杂度为其中p是群的阶。

聚合签名相关参数设置如下：系统参数分别包括其生成元分别是g₁，g₂，双线性映射以及哈希函数进一步地：

●输入安全参数 输出pk_enc，sk_enc，pk_sig，sk_sig，W₀，其中(pk_enc，sk_enc)是ElGamal加密系统的密钥对，sk_enc被拆分为和分配方法和前述协议一致，是服务器的密钥，是参与者的密钥，是参与者的P_i签名密钥对，其中，W₀是初始参数向量；

●每个参与者P_i基于自身的数据集DB_i以及当前权重参数向量W运行深度学习算法，获得Δw⁽ⁱ⁾，并计算对应的密文同时，P_i计算梯度参数Δw⁽ⁱ⁾的签名σ(Δw⁽ⁱ⁾)：

●各参与方从云服务器获取到梯度向量解密得到梯度向量ΔW，并且，利用聚合签名对计算结果进行验证，验证过程如下：

(1)

(2)

(3)计算下述等式是否成立来验证服务器返回结果的正确性