CN109194507A - 非交互式的保护隐私神经网络预测方法 - Google Patents

Abstract

本发明属于保护隐私的机器学习领域，为提出非交互式的保护隐私神经网络方法，本发明，非交互式的保护隐私神经网络预测方法，步骤如下：首先，神经网络模型的拥有者S_NN将神经网络模型NN分解为两个子模型NN₀，NN₁，满足NN＝NN₀+NN₁，具体来讲，是指网络模型中的权重矩阵以及偏置矩阵满足以下关系：W＝W₀+W₁，B＝B₀+B₁，然后进行询问阶段，由用户将加密后的输入数据Enc(x)发送给两个服务器S₀、S₁；利用云服务器S₀，S₁根据获取到神经网络模型，实现密文上的运算，采用近似的方法来计算激活函数；对单个神经元的计算方法在整个神经网络中进行推广，便得出神经网络基于输入数据x的预测值NN(x)。本发明主要应用于网络数据通信及处理场合。

Description

非交互式的保护隐私神经网络预测方法

技术领域

本发明属于保护隐私的机器学习领域，公开了一种外包计算模型下的非交互保护隐私神 经网络预测方法，具体来讲,涉及在不可勾结双服务器外包模型下，实现神经网络模型隐私以 及数据隐私的预测方法。

背景技术

神经网络属于一种特殊的机器学习模型，由多个处理层组成，用于学习多个抽象层次的 数据表示。模型从原始数据开始，每个级别可以通过非线性变换将先前级别的表示转换为更 抽象级别的表示。利用足够数量的这种变换的组成，可以学习复杂的功能。通常，机器学习 方法包含两阶段范例：(1)训练阶段，其中基于大量数据学习诸如诊断模型或欺诈检测模型 的模型，以及(2)预测阶段，其中给出一些新数据，该模型用于预测。换句话说，机器学习 方法在训练阶段期间分析过去数据的模式，并在预测阶段预测新查询的结果。

随着大数据技术以及不断增加的计算能力，机器学习的进步提高了人工智能任务计算水 平，使得机器学习在诸如复杂的棋盘游戏，图像分类，面部识别和疾病诊断等许多应用中的 优越性能而获得了广泛的普及。数据所有者可以在从训练数据获得机器学习模型之后向客户 端提供预测服务，称为机器学习即服务。例如，医院可以分析患者的电子病历以训练神经网 络模型(数据收集和分析应遵守健康保险流通与责任法案等规定)，以后可用于分析远程医疗 数据诊断，例如根据客户的查询数据预测心脏病的概率。虽然预测服务具有明显的好处，但 也出现了严重的隐私问题，因为这些服务通常需要明确地访问用户的信息。在大多数情况下， 这些情况涉及非常敏感的信息，例如个人医疗或财务数据。更重要的是，神经网络模型是建 立在敏感数据集的基础之上，因而神经网络模型可以揭示有关训练数据的敏感信息。因而， 如何实现神经网络预测服务中的隐私保护问题具有重要的应用价值。

发明内容

为克服现有技术的不足，本发明旨在提出非交互式的保护隐私神经网络方法。为此，本 发明采取的技术方案是，非交互式的保护隐私神经网络预测方法，步骤如下：

首先，神经网络模型的拥有者将神经网络模型NN分解为两个子模型NN₀，NN₁，满足 NN＝NN₀+NN₁，具体来讲，是指网络模型中的权重矩阵以及偏置矩阵满足以下关系： W＝W₀+W₁，B＝B₀+B₁，然后，分别将NN₀，NN₁发送给服务器S₀、云服务器S₁，B₀，B₁是利用加法分享拆分得出的两个偏置矩阵，W₀，W₁是利用加法分享拆分得出的两个权重矩阵， W＝{w₁，…}是神经网络每一层的权重参数矩阵，B＝{b₁，…}是神经网络每一层的偏置矩阵；

●在询问阶段，由用户将加密后的输入数据Enc(x)发送给两个服务器S₀、S₁，同时，用 户将其私钥sk分解为sk₀，sk₁两个部分，满足sk＝sk₀+sk₁，用户将sk₀，sk₁分别发送给云服务器

●由于加密算法为加法同态加密，利用云服务器根据获取到神经网络模型，实现 密文上的运算，采用近似的方法来计算激活函数；

完成了单个神经元的所有相关计算后，而对单个神经元的计算方法在整个神经网络中进 行推广，便得出神经网络基于输入数据x的预测值NN(x)。

采用近似的方法来计算激活函数，具体对于sigmoid函数，转化方法如下：

如上式如示，将非线性激活函数转化为分段的线性函数；

具体地：

●Setup(1^κ，NN)，运行该算法，输出神经网络子模型NN₀＝(W₀，B₀)，以及 NN₁＝(W₁，B₁)。其中，权重矩阵和偏置矩阵满足以下关系： 为安全素数,其中mod表示取模运算，NN₀，NN₁分别发送给服务器同时，产生compare()算法中用到的乘法元组[(u，v，w)，…]以及秘密分享值 ([u]₀，[v]₀，[w]₀)，…]，[([u]₁，[v]₁，[w]₁)，…]，满足 w＝uv mod q，[u]₀+[u]₁＝u mod q，[v]₀+[v]₁＝v mod q，[w]₀+[w]₁＝w mod q。 [([u]₀，[v]₀，[w]₀)，…]和[([u]₁，[v]₁，[w]₁)，…]分别发放给服务器

●Query(X，pk，sk)：用户已经拥有公钥密码体制ElGamal加密算法的公私钥对(pk，sk)， 加密算法采用加法同态加密ElGamal算法，同时对消息进行加密前作升指数处理g^X；

●云服务器运行该算法， 通过一系列的交互计算，以协同的方式完成神经网络预测，并分别输出预测值Enc(NN₀(X))以 及Enc(NN₁(X))；

●Recover(sk，Enc(NN₀(x))，Enc(NN₁(x)))，用户收到服务器返回的加密预测值，利 用自己的私钥解密后，计算得出最终的神经网络预测值：

1)

2)Dec_sk(Enc(NN(X)))＝(Y_o，1，Y_o，2，…，Y_o，d)。

Query(X，pk，sk)具体的参数产生方法如下：

1)pk＝(G，p，y)，sk＝x∈_R Z_p-1，其中，G是阶为p的乘法循环群，g是其生成元，用户运 行该算法，产生对应于输入数据X的密文Enc(X)，同时，用户将密钥sk猜分成sk₀，sk₁，满足 sk＝sk₀+sk₁ mod q；

2)ElGamal加密算法的加密过程如下，对于消息m，对应的密文为C＝(c₁，c₂)， c₁＝g^k，c₂＝y^km，y＝g^sk，解密过程为

本发明的特点及有益效果是：

本发明结合了机器学习技术、云计算技术以及密码学技术，实现了非交互式安全、高效 的神经网络预测服务。该技术实现了保护神经网络模型隐私以及用户数据隐私前提下的预测 服务，并且用户和服务器之间的只存在一轮交互，具有高效的通信复杂度。

附图说明：

图1系统架构图。

图2单个神经元的计算过程。

具体实施方式

本发明提出了一种新的隐私保护神经网络预测外包模型，该模型基于两个非勾结服务器。 具体而言，原始神经网络所有者可以安全地将现有神经网络模型外包给两个服务器，用户可 以通过服务器提供的神经网络预测服务获取到相应的预测结果。在这一模型下需要满足的安 全性要求包括了两个方面：(1)神经网络所有者不了解客户端的数据，包括预测结果；(2) 客户端对神经网络模型一无所知同时。我们提出了一种具体的非交互隐私保护神经网络预测 方案，这是第一个满足完全非交互性的方案，该方案在计算和通信开销方面是高效的。

本发明属于机器学习技术领域，公开了一种基于两个不可勾结服务器实现的非交互式保 护隐私神经网络预测的方法。该方法假设已经存在一个正确的神经网络模型，为了更好的为 用户提供预测服务，提出了基于云服务器架构的神经网络预测服务外包计算方法。该方法保 护了神经神经网络模型的隐私性以及用户数据的隐私性。同时，基于两个非勾结服务器实现 了非交互式的预测服务。

简单来讲，该方法引入了两个非勾结云服务器初始化算法完成后，由用户与服务 器直接交互完成预测服务。

首先，神经网络模型的拥有者将网络模型NN分解为两个子模型NN₀，NN₁，满足NN＝NN₀+NN₁。具体来讲，是指网络模型中的权重矩阵以及偏置矩阵满足以下关系： W＝W₀+W₁，B＝B₀+B₁。然后，分别将NN₀，NN₁发送给云服务器S₀、云服务器S₁；

●在询问阶段，由用户将加密后的输入数据Enc(x)发送给两个服务器。同时，考虑到在 激活函数的计算中使用到了两方安全大小比较协议，用户将其私钥sk分解为sk₀，sk₁两个部分， 满足sk＝sk₀+sk₁。用户将sk₀，sk₁分别发送给服务器

●由于加密算法为加法同态加密，服务可以根据获取到神经网络模型，实现密文 上的运算。考虑到服务器只能实现密文上的线性运算，而神经网络模型中的激活函数为非线 性函数，我们采用了近似的方法来计算激活函数。例如，对于sigmoid函数，我们的转化方 法如下：

如上式如示，我们将非线性激活函数转化为分段的线性函数。实验表明，该转化方法可 以取得较高的准确性。基于上述转化方法，同时结合两方安全比较协议，可以实现激活函数 的计算。进而，完成了单个神经元的所有相关计算。而对单个神经元的计算方法在整个神经 网络中进行推广，便可以得出神经网络基于输入数据x的预测值NN(x)。

相关符暨号系统参数说明表

2.系统模型

非交互式的保护隐私神经网络预测系统包含了四个子算法，可以详细的定义如下： Pp-NNP＝{Setup，Query，Predict，Recover}

●Setup(1^κ，NN)：输入安全参数κ以及神经网络预测模型NN，神经网络的拥有者输出 神经网络模型的加密秘密分享NN₀，NN₁，分别发送给服务器同时，产生compare()算法中用到的乘法元组元组{([u]，[v]，[w])，…)}，并且将该元组的秘密分享值 发送给服务器

●Query(X，pk，sk)：用户运行该算法，输出输入数据X的密文Enc(X)，并将该密文发送 给服务器加密算法采用加法同态加密ElGamal算法，同时对消息进行加密前作升指数处理g^X。

●服务器运行该算法， 完成神经网络模型的计算，并输出预测值返回给用户。

●Recover(sk，Enc(NN₀(x))，Enc(NN₁(x)))：用户收到服务器的返回值之后，利用其私钥 解密Enc(NN₀(x))，Enc(NN₁(x))得到NN₀(x)，NN₁(x)，并计算最终的预测结果值 NN(x)＝NN₀(x)+NN₁(x)。

下面，详细描述非交互式保护隐私神经网络预测的算法。

●Setup(1^κ，NN)，运行该算法，输出神经网络子模型NN₀＝(W₀，B₀)，以及 NN₁＝(W₁，B₁)。其中，权重矩阵和偏置矩阵满足以下关系： q为安全素数。NN₀，NN₁分别发送给服务器同时，产生compare() 算法中用到的乘法元组[(u，v，w)，…]以及秘密分享值([u]₀，[v]₀，[w]₀)，…]，[([u]₁，[v]₁，[w]₁，…]， 满足w＝uv mod q，[u]₀+[u]₁＝u mod q，[v]₀+[v]₁＝v mod q，[w]₀+[w]₁＝w mod q。 [([u]₀，[v]₀，[w]₀)，…]和[([u]₁，[v]₁，[w]₁，…]分别发放给服务器

●Query(X，pk，sk)：假设用户已经拥有了公钥密码体制ElGamal加密算法的公私钥对 (pk，sk)。具体的参数产生方法如下：

1)pk＝(G，p，y)，sk＝x∈_R Z_p-1，其中，G是阶为p的乘法循环群，g是其生成元。用户运 行该算法，产生对应于输入数据X的密文Enc(X)。同时，用户将密钥sk猜分成sk₀，sk₁，满足 sk＝sk₀+sk₁ mod q。

2)ElGamal加密算法的加密过程如下，对于消息m，对应的密文为C＝(c₁，c₂)， c₁＝g^k，c₂＝y^km，y＝g^sk。解密过程为

●云服务器运行该算法， 通过一系列的交互计算，以协同的方式完成神经网络预测，并分别输出预测值Enc(NN₀(X))以 及Enc(NN₁(X))。下面，以单个神经元中所涉及的计算给出具体的计算方法：

1)在图2所示的单个神经元中，涉及的计算量包括了输入数据权重矩阵 以及偏置矩阵且激活函数以ReLU函数为例，ReLU函数可以 表示为：

2)我们以单个神经元结点的计算过程为例，说明服务器在预测算法中的计算过程。 其中，我们省略了compare()算法的具体实现过程，详细的计算方法可以参见论文B.M.David, R.Dowsley,R.Katti,and A.C.Nascimento.Efficient unconditionallysecure comparison and privacy preserving machine learning classificationprotocols, In:Proceedings of the 9th International Conference ProvableSecurity,2015,pp.354– 367。

Predict()算法的计算过程

3)对于神经网络中的所有神经元执行上述步骤2中的计算方法，在输出层可以得出 Enc(NN₀(X))和Enc(NN₁(X))。其中,

●Recover(sk，Enc(NN₀(x))，Enc(NN₁(x)))。用户收到服务器返回的加密预测值，利 用自己的私钥解密后，可以计算得出最终的神经网络预测值。

1.

2.Dec_sk(Enc(NN(X)))＝(Y_o，1，Y_o，2，…，Y_o，d)。

Claims (3)

1.一种非交互式的保护隐私神经网络预测方法，其特征是，步骤如下：

首先，神经网络模型的拥有者将神经网络模型NN分解为两个子模型NN₀，NN₁，满足NN＝NN₀+NN₁，具体来讲，是指网络模型中的权重矩阵以及偏置矩阵满足以下关系：W＝W₀+W₁，B＝B₀+B₁，然后，分别将NN₀，NN₁发送给服务器S₀、云服务器S₁，B₀，B₁是利用加法分享拆分得出的两个偏置矩阵，W₀，W₁是利用加法分享拆分得出的两个权重矩阵，W＝{w₁，…}是神经网络每一层的权重参数矩阵，B＝{b₁，…}是神经网络每一层的偏置矩阵；

●在询问阶段，由用户将加密后的输入数据Enc(x)发送给两个服务器S₀、S₁，同时，用户将其私钥sk分解为sk₀，sk₁两个部分，满足sk＝sk₀+sk₁，用户将sk₀，sk₁分别发送给云服务器

●由于加密算法为加法同态加密，利用云服务器根据获取到神经网络模型，实现密文上的运算，采用近似的方法来计算激活函数；

完成了单个神经元的所有相关计算后，而对单个神经元的计算方法在整个神经网络中进行推广，便得出神经网络基于输入数据x的预测值NN(x)。

2.如权利要求1所述的非交互式的保护隐私神经网络预测方法，其特征是，采用近似的方法来计算激活函数，具体对于sigmoid函数，转化方法如下：

如上式如示，将非线性激活函数转化为分段的线性函数；具体地：

●Setup(1^k，NN)，运行该算法，输出神经网络子模型NN₀＝(W₀，B₀)，以及NN₁＝(W₁，B₁)。其中，权重矩阵和偏置矩阵满足以下关系： 为安全素数,其中mod表示取模运算，NN₀，NN₁分别发送给服务器同时，产生compare()算法中用到的乘法元组[(u，v，w)，…]以及秘密分享值([u]₀，[v]₀，[w]₀)，…]，[([u]₁，[v]₁，[w]₁)，…]，满足：

w＝uv mod q，[u]₀+[u]₁＝u mod q，[v]₀+[v]₁＝v mod q，[w]₀+[w]₁＝w mod q，[([u]₀，[v]₀，[w]0)，…]和[([u]₁，[v]₁，[w]₁)，…]分别发放给服务器

●Query(X，pk，sk)：用户已经拥有公钥密码体制ElGamal加密算法的公私钥对(pk，sk)，加密算法采用加法同态加密ElGamal算法，同时对消息进行加密前作升指数处理g^X；

●云服务器运行该算法，通过一系列的交互计算，以协同的方式完成神经网络预测，并分别输出预测值Enc(NN₀(X))以及Enc(NN₁(X))；

●Recover(sk，Enc(NN₀(x))，Enc(NN₁(x)))，用户收到服务器返回的加密预测值，利用自己的私钥解密后，计算得出最终的神经网络预测值：

1)

2)Dec_sk(Enc(NN(X)))＝(Y_o，1，Y_o，2，…，Y_o，d)。

3.如权利要求2所述的非交互式的保护隐私神经网络预测方法，其特征是，Query(X，pk，sk)具体的参数产生方法如下：

1)pk＝(G，p，y)，sk＝x∈_R Z_p-1，其中，G是阶为p的乘法循环群，g是其生成元，用户运行该算法，产生对应于输入数据X的密文Enc(X)，同时，用户将密钥sk猜分成sk₀，sk₁，满足sk＝sk₀+sk₁ mod q；

2)ElGamal加密算法的加密过程如下，对于消息m，对应的密文为C＝(c₁，c₂)，c₁＝g^k，c₂＝y^km，y＝g^sk，解密过程为