CN111324870A - 一种基于安全双方计算的外包卷积神经网络隐私保护系统 - Google Patents

Abstract

本发明公开了一种基于安全双方计算的外包卷积神经网络隐私保护系统，本系统将神经网络和查询数据随机分配到两个不互相串通的服务器上，并通过在两个服务器上协同运算实现图像的处理。两个图像分量输入到两个服务器中，在卷积层利用随机数据的三元组来隐藏服务器之间传输的信息，在激活层设计混淆电路实现ReLU函数，再经过平均池化进行图像的降维，最后通过采用三元组隐藏信息的全连接层得到预测结果的两个分量，将两个分量返回给用户进行合并即可得到所求预测结果。为了提高计算效率，采用异步计算和并行查询的方法，同一个查询中不相互依赖的计算同时进行，并同时处理多个查询的不同部分，极大地减少了每一个查询的时间。

Description

一种基于安全双方计算的外包卷积神经网络隐私保护系统

技术领域

本发明属于信息安全技术领域，具体涉及一种基于安全双方计算的支持隐私保护的神经网络外包方法与系统。

背景技术

随着深度学习领域的突破，神经网络在预测性功能方面相对于以前的技术展现出了强大的优势。在多种神经网络模型中，卷积神经网络依赖于自身良好的性能脱颖而出，并在医学影像分析、自然语言处理和文本识别等领域得到了广泛的应用。出于成本的考虑，一些服务提供商会将模型部署到外部的服务器上，并由其提供后续的预测服务。然而，服务外包伴随着隐私泄露的风险，现有的保护方案只能保护查询数据和预测结果不被泄露，却不能保护复杂的神经网络模型的参数。由于神经网络模型的训练过程需要很大的算力和时间成本，非法人员一旦获得了模型的参数就能进行二次售卖、白盒攻击等非法行为，因此保护服务器上的模型隐私具有很强的现实意义和实用价值。设计能够保护模型隐私的方案，其关键在于模型的部署方法和安全协议的设计，当模型所部署的两个服务器不合谋并且服务器之间传输的中间数据不会泄露本服务器的重要数据时，模型的安全性就能够得到很大的保障。

发明内容

本发明针对现有技术的不足，提供了一种基于安全双方计算的外包卷积神经网络隐私保护系统，能够有效地保护外包卷积神经网络模型的参数免于泄露。

为了实现上述目的，本发明所设计的基于安全双方计算的外包卷积神经网络隐私保护系统，包括以下步骤：

一种基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于，包括：

服务器1：用于存储有卷积神经网络的卷积核K¹和权重矩阵W¹，以及用户的进行查询时的输入数据I¹，预先准备的随机数m₁和随机数n₁，同态加密密钥对(pk,sk)；

服务器2：用于存储有卷积神经网络的卷积核K²和权重矩阵W²，以及用户的进行查询时的输入数据I²，预先准备的随机数m₂和随机数n₂，同态加密公钥pk；

输出单元：将经过服务器1和服务器2基于卷积神经网络运算后得到的结果合并后返回给用户；

分配单元：将卷积神经网络卷积核K与权重矩阵W中的每一个数据随机分成两份后分配给服务器1服务器2，将用户进行查询时的输入数据I随机分成两份后分配给服务器1服务器2；其中，卷积核K分成卷积核K¹和K²；权重矩阵W分成权重矩阵W¹和W²；输入数据I分成输入数据I¹和输入数据I²；随机数m分成随机数m₁和随机数m₂；随机数n分成随机数n₁和随机数n₂。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，所述卷积神经网络包括卷积层、激活层、池化层、全连接层；服务器S₁和服务器S₂中均包括：

预处理阶段三元组生成单元：设两个服务器分别为服务器S₁和服务器S₂，服务器S₁有数据m₁和n₁，服务器S₂有数据m₂＝m-m₁和n₂＝n-n₁；最后输出是服务器S₁得到三元组tri¹＝(m₁,n₁,v₁)，服务器S₂得到三元组tri²＝(m₂,n₂,v₂)，其中满足性质v＝v₁+v₂＝m·n；

卷积层计算单元：用于对原始输入数据I进行特征提取，即针对原始数据的每一个区域，与卷积核W进行卷积运算/点积运算，得到卷积计算结果Y；利用权力要求2中所述的预处理阶段三元组生成单元，服务器S₁在自己的输入数据I¹和卷积核K¹上进行卷积运算，得到部分计算结果Y¹，服务器S₂在自己的输入数据I²和卷积核K²上运算，得到部分计算结果Y²；卷积计算单元输出数据Y¹和Y²满足Y¹+Y²＝Y；

激活层计算单元：用于对卷积之后的数据Y进行非线性映射，提供网络的非线性建模能力，得到激活结果P；服务器S₁和服务器S₂利用混淆电路(Garbled Circuits)技术，利用各自的输入数据Y¹和Y²，合作实现对数据Y的激活，分别得到激活后的数据P¹和P²，满足P¹+P²＝P；

池化层计算单元：用于对激活之后的数据P进行特征压缩，即选择一定区域的数据，进行池话(取平均，或取最大)操作，得到池话计算的结果U；服务器S₁在数据P¹上进行平均/取最大操作，得到池话后的结果U¹，服务器S₂在数据P²上进行平均/取最大操作，得到池话后的结果U²，满足U¹+U²＝U；

全连接层计算单元：用于将卷积激活和池话之后的二维特征图转化为一维向量，并实现到分类结果的映射；利用权力要求2中所述的预处理阶段三元组生成单元，服务器S₁在自己的输入数据U¹和权重矩阵W¹上进行点积运算，得到部分计算结果J¹，服务器S₂在自己的输入数据U²和卷积核W²上运算，得到部分计算结果J²；卷积计算单元输出数据J¹和J²满足J¹+J²＝J，J便是用户得到的神经网络预测的真实结果。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，分配单元进行数据分配的具体方法是：利用安全共享技术(Secure Sharing)对每一个数据a进行随机分割：先取随机数r，然后置a₁＝r，置a₂＝a-r，可以看出a₁和a₂满足a＝a₁+a₂；对卷积神经网络卷积核K中的每一个数据进行随机分配得到部分卷积核K¹和K²、针对权重矩阵W中的每一个数据进行随机分配得到部分权重矩阵W¹和W²、针对输入数据I中的每一个元素进行随机分配得到部分输入数据I¹和I²；将随机数m分成随机数m₁和随机数m₂；随机数n分成随机数n₁和随机数n₂；服务器S₁持有K¹、W¹、I¹、和m₁，服务器S₂持有K²、W²、I²、和m₂。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，预处理阶段三元组生成单元具体计算步骤包括：

步骤1，服务器S₁加密m₁和n₁得到

和

并将其发送给服务器S₂；

步骤2，服务器S₂在密文上计算

和

生成随机数r，并将

发送服务器S₁；同时计算v₂＝(m₂·n₂-r)mod 2^t

步骤3，服务器S₁解密得到c＝m₁·n₂+m₂·n₁+r，并计算v₁＝(m₁·n₁+c)；

由此得到了三元组tri＝((m₁,m₂),(n₁,n₂),(v₁,v₂))，满足性质v＝v₁+v₂＝m·nmod 2^t。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，卷积层计算单元的具体计算步骤包括：

步骤1，利用权利要求4所述的预处理阶段三元组生成单元生成三元组tri＝((M₁,M₂),(N₁,N₂),(V₁,V₂))；

步骤2，针对每一个卷积核大小的子图

和

利用三元组来隐藏两个服务器之间传输的数据：服务器S₁使用M₁来隐藏子图

使用N₁来隐藏卷积核K¹，并将隐藏后的数据

和C¹＝K¹-N₁发送给服务器S₂；服务器S₂使用M₂来隐藏子图

使用N₂来隐藏卷积核K²，并将隐藏后的数据

和C²＝K²-N₂发送给服务器S₁；

步骤3，服务器S₁和S₂分别恢复出C＝C¹+C²，D＝D¹+D²；服务器S₁计算

并得到部分卷积计算结果Y¹，服务器S₂计算

并得到部分卷积计算结果Y²。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，激活层计算单元的具体计算步骤包括：

采用ReLU激活方案，即对于数据a，激活后的数据为

并设计混淆电路实现激活函数；混淆电路的参与方只能得知自己的输入和输出，整个内部执行过程计算出的中间数据不会泄露给任何参与方；

步骤1，服务器S₂随机生成随机数R，然后将卷积结果Y²和R输入到混淆电路中，服务器S₁将卷积结果Y¹输入到混淆电路中；

步骤2，混淆电路计算Y¹+Y²，得到真正的卷积结果Y；

步骤3，混淆电路将Y与0进行比较，如果Y≥0，则激活后的结果P＝Y；如果Y＜0，则激活后的结果为P＝0；

步骤4，混淆电路将激活后的结果P减去随机数R得到部分激活结果P¹＝P-R并发送给服务器S₁，同时将部分激活结果P²＝R发送给服务器S₂；

至此，服务器S₁和服务器S₂分别得到激活后的数据P¹和P²，满足P¹+P²＝P。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，池化层计算单元的具体计算方法是：

考虑到现有的池话方案主要有平均值池化和最大值池化两种，最大池化保留了纹理特征,平均池化保留整体的数据特征，不同问题会采用不同的池话方案；本技术分别针对具有线性性质的平均值池化和非多项式的最大值池化设计相应的隐私保护方案；

平均值池化描述如下：对于激活层输出P¹和P²，服务器S₁在数据P¹中针对每一个池化窗口计算数据的平均值，最终得到池话后的结果U¹；服务器S₂在数据P²中针对每一个池化窗口计算数据的平均值，最终得到池话后的结果U²；

最大值池化描述如下：与激活层类似也采用混淆电路实现，对池话窗口的两两数据进行大小比较，得到最大值作为池话后的结果；首先服务器S₂随机生成随机数R，并将激活结果P²和R输入到混淆电路中，服务器S₁将激活结果P¹输入到混淆电路中；混淆电路计算得到真正的真正的激活结果P；混淆电路针对池话窗口的两两数据进行比较，得到最大值即池话后的结果U；混淆电路将池话后的结果U减去随机数R得到部分池话结果U¹＝U-R并发送给服务器S₁，同时将部分池话结果U²＝R发送给服务器S₂；

至此，服务器S₁和服务器S₂分别得到池话后的数据U¹和U²，满足U¹+U²＝U。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，全连接层计算单元的具体执行方法是：

全连接层需要计算池化后的数据U和权重W的内积；与卷积层类似，首先利用权利要求2所述的预处理阶段三元组生成单元生成三元组TRI＝((M₁,M₂),(N₁,N₂),(V₁,V₂))；然后利用三元组来隐藏两个服务器之间传输的数据：服务器S₁使用M₁来隐藏池话数据U¹，使用N₁来隐藏权重W¹，并将隐藏后的数据D¹＝U¹-M₁和C¹＝W¹-N₁发送给服务器S₂；服务器S₂使用M₂来隐藏池话数据U²，使用N₂来隐藏权重W²，并将隐藏后的数据D²＝U²-M₂和C²＝W²-N₂发送给服务器S₁；服务器S₁和S₂分别恢复出C＝C¹+C²，D＝D¹+D²；服务器S₁计算J¹＝-DC+U¹+W¹D+V₁并得到部分全连接计算结果J¹，服务器S₂计算J²＝-DC+U²+W²D+V₂并得到部分全连接计算结果J²；

服务器S₁计算U¹和W¹的内积J¹，服务器S₂计算U²和W²的内积J²，将J¹和J²合并后得到预测结果：J＝UW。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，输出单元将结果合并的具体方法是：

服务器S₁和服务器S₂分别将自己的预测结果J¹和J²返回给用户；用户通过加法操作将两组数据合并起来，即

最终得到真正的预测结果J。

在上述的基于安全双方计算的外包卷积神经网络隐私保护系统，可通过效率优化单元对计算开销和通信开销进行优化，具体是，

在预处理阶段三元组生成单元，使用数据打包方法加快运算速度并降低通信开销；正常情况下，运行一次预处理阶段三元组生成单元的计算步骤，只能得到一个三元组tri＝((m₁,m₂),(n₁,n₂),(v₁,v₂))；若想同时计算得到l个三元组

可使用数据打包将l个数据

按比特连接在一起形成

类似地，

后续加密及计算操作均在M₁、N₁、M₂、N₂上进行；最后得到三元组TRI＝((M₁,M₂),(N₁,N₂),(V₁,V₂))，对打包后的TRI进行解包，得到l个三元组tri¹，tri²，...，tri^l；

在预处理阶段三元组生成单元，一方在等待另一方的反馈数据时会处于空闲状态，本技术使用异步计算的方法加快运算速度；服务器S₁在传输数据

时，可以同时加密数据n1；服务器S₁在传输数据

时，服务器S₂无需等待，可以先行加密自己的数据

服务器S₂在传输密文C₃的同时计算v₂＝(m₂·n₂-r)mod 2^t；

在卷积层计算单元和全连接层计算单元，对于每一个查询来说，计算过程可以粗略分为，传输隐藏数据之前的计算，传输隐藏数据，和传输隐藏数据之后的计算，三个部分；使用异步计算可以将多个查询并行计算：第k个查询在传输数据时，第k+1个查询执行传输前计算过程；第k个查询在执行传输后计算过程时，第k+1个查询执行传输数据过程；这样可以实现不同查询之间的时间复用，使得整个流程的运转相当于并行流水线，大幅度减少单个查询的平均时间。

本发明的优点在于：本发明提出了一种神经网络预测服务的安全外包系统，通过为安全双方计算(S2C)设计的一种混淆电路实现了准确率较高的线性整流激活函数，通过数据打包和异步计算降低了计算和通讯成本。该系统尽可能地降低用户和服务器的代价，保护查询数据、模型、中间结果和预测结果不被泄露，达到了比以往的方案更安全和更高效的效果。

附图说明

图1是本发明实施例的外包卷积神经网络隐私保护系统总体架构图。

图2是本发明实施例的打包的三元组生成示意图。

图3是本发明实施例的线下异步计算示意图。

图4是本发明实施例的多组查询并行计算示意图。

图5是本发明实施例的ReLU函数的混淆电路示意图。

图6是本发明实施例的最大值池化的混淆电路示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细描述：

近年来，伴随着人工智能的热潮，深度学习技术逐渐兴起并影响到了计算机科学的众多领域，其强大的预测能力使得提供神经网络模型的预测服务成为当前众多商业活动中不可或缺的一环，进而促成了神经网络预测服务外包的应用。由于这些神经网络模型具有重要的价值，因此如何保护部署在外部服务器上的神经网络模型也成为了重要的研究方向。本系统采用的两个不会互相串通的服务器，这种假设经常用在安全外包研究中，是服务外包最基本的安全保障。同时，本系统使用了同态加密和混淆电路等具有高度安全性的技术，使得模型的参数难以被窃取。

同态加密是指这样一种加密函数，对明文进行环上的加法和乘法运算再加密，与加密后对密文进行相应的运算，结果是等价的。由于这个良好的性质，人们可以委托第三方对数据进行处理而不泄露信息。

混淆电路是一种加密协议，它支持安全双方计算，在这种协议中，两个不信任的方可以在不存在可信第三方的情况下，在各自的私有输入上共同评估一个函数。利用这些技术，可以实现数据在两个不信任的方之间流动而不会造成信息泄露，从而保护模型的隐私。

本发明提供的基于安全双方计算的外包神经网络隐私保护系统，主要是设计了一种新型的神经网络部署和计算方法，其主要总体结构参见图1。实施例以进行图像处理的卷积神经网络为例对本发明的框架和计算流程进行具体的描述，如下：

步骤一：首先在实施例中，将模型的卷积核K与权重矩阵W中的每一个数据随机分成两份，分配到两个服务器S₁和S₂上。具体实施过程说明如下：

对于卷积核K的每一个数据K_i,j，取随机数r，然后将K_i,j随机分割为两部分

和

满足

所有

组成卷积核K¹，所有

组成卷积核K²；对于权重W的每一个数据W_i,j，取随机数r，然后将W_i,j随机分割为两部分

和

满足

所有

组成权重W¹，所有

组成权重W²。用户输入的图片I也需要进行类似的处理，对于输入数据I的每一个元素I_i,j，取随机数r，然后将I_i,j随机分割为两部分

和

满足

所有

组成输入数据I¹，所有

组成输入数据I²，并将其分别输入到两个服务器S₁和S₂中。

步骤二，在预处理阶段，生成三元组。两个服务器在线下生成随机数据m₁、n₁、m₂和n₂，按照安全双方计算的方法计算三元组tri＝((m₁,m₂),(n₁,n₂),(v₁,v₂))。为了提高效率，将多组数据打包，并按照相同的方法生成相应的三元组tri＝((M₁,M₂),(N₁,N₂),(V₁,V₂))。具体实施过程说明如下：

在线下生成多组随机数据，每组数据包括2个数，以其中一组数据为例介绍三元组的计算方法。设输入数据是

和

其中m和n取自整数域

即均是数据位数为t的整数。S₁持有数据m₁和n₁，以及密钥对(pk,sk)，S₂持有数据m₂＝(m-m₁)mod 2^t和n₂＝(n-n₁)mod 2^t，以及公钥pk，利用同态加密的性质计算三元组tri＝((m₁,m₂),(n₁,n₂),(v₁,v₂))并验证v＝v₁+v₂＝m·n mod 2^t的具体方法如下：

首先，服务器S₁加密m₁和n₁得到

和

将其发送给服务器S₂。由于进行同态加密时，对明文进行环上的加法和乘法运算再加密，与加密后对密文进行相应的运算，结果是等价的，因此服务器S₂可以用

和

计算m₁·n₂的加密结果，公式如下：

同理，S₂用

和

计算m₂·n₁的加密结果，公式如下：

然后，S₂生成一个与m₂和n₂无关的随机数r，并计算本地的最终结果v₂，公式如下：

v₂＝(m₂·n₂-r)mod 2^t

与此同时，S₂计算C₁、C₂与r的和，并将其发送给S₁，公式如下：

S₁收到C₃后，将其解密得到c＝m₁·n₂+m₂·n₁+r，并计算本地的最终结果v₁，公式如下

v₁＝(m₁·n₁+c)＝(m₁·n₁+m₁·n₂+m₂·n₁+r)mod 2^t

由此得到了三元组tri＝((m₁,m₂),(n₁,n₂),(v₁,v₂))，将两个服务器上的v₁和v₂相加得到m和n的乘积：

v＝v₁+v₂＝m·n mod 2^t

如图2所示，在预处理阶段三元组生成单元，使用数据打包方法加快运算速度并降低通信开销。正常情况下，运行一次权利要求4，只能得到一个三元组tri＝((m₁,m₂),(n₁,n₂),(v₁,v₂))。若想同时计算得到l个三元组

可使用数据打包将l个数据

按比特连接在一起形成

类似地，

后续加密及计算操作均在M₁、N₁、M₂、N₂上进行。最后得到三元组TRI＝((M₁,M₂),(N₁,N₂),(V₁,V₂))，对打包后的TRI进行解包，得到l个三元组tri¹，tri²，...，tri^l。

此外，生成三元组时，由于等待另一方的反馈时，其中一方可能会处于空闲状态。为了更高效地利用服务器的计算能力，线下计算时采用异步计算的方法，如图3所示，上图是同步计算的流程，下图是异步计算的流程，服务器S₁在传输数据

时，可以同时加密数据n₁；服务器S₁在传输数据

时，服务器S₂无需等待，可以先行加密自己的数据

服务器S₂在传输密文C₃的同时计算v₂＝(m₂·n₂-r)mod 2^t。

步骤三，将图片分量I¹和I²输入两个服务器S₁和S₂，然后通过预先生成的三元组来隐藏相互之间传输的数据，进而实现卷积的安全计算。具体实施过程说明如下：

S₁和S₂首先分别从I¹和I²中提取出大小为a×a的子图

和

然后S₁(S₂)使用步骤一中通过打包数据计算三元组生成的M₁(M₂)来隐藏子图

使用N₁(N₂)来隐藏卷积核K¹(K²)。S₁发送给S₂的数据如下，

C¹＝K¹-N₁

由于M₁和N₁是与

和K¹无关的随机数矩阵，因此S₂不能通过接收的数据获取S₁的卷积核与图片分量。同时，S₂发送给S₁的数据如下，

C²＝K²-N₂

同理，S₁也不能获取S₂的卷积核与图片分量，所以两个服务器各自都无法还原出卷积神经网络和输入的原始图片，这种通讯方法实现了安全双方通信，保护了彼此的隐私。接收到数据后，两个服务器上都可以得到

D＝I_i,j-M

C＝K-N

然后，S₁和S₂分别计算

和

将

和

加起来，可以得到子图I_i,j经过卷积层得到的结果，验证如下，

为了加强这一步的效率，可以使多组查询同步进行，采用异步计算的方法。对于每一个查询来说，计算过程可以粗略分为，传输隐藏数据之前的计算，传输隐藏数据，和传输隐藏数据之后的计算，三个部分。如图4所示，双向箭头两端的计算过程和传输过程同时进行：第k个查询在传输数据时，第k+1个查询执行传输前计算过程；第k个查询在执行传输后计算过程时，第k+1个查询执行传输数据过程。这样可以实现不同查询之间的时间复用，使得整个流程的运转相当于并行流水线，大幅度减少单个查询的平均时间。

步骤四，使用ReLU函数作为激活函数，并通过混淆电路实现该函数，在确保准确率的前提下提高计算效率。具体实施过程说明如下：

如图5所示，设计了一个混淆电路来对每一个元素安全地使用ReLU函数。该混淆电路由四个原子电路组成：加法电路(ADD)、比较电路(CMP)、乘法电路(MUL)和减法电路(SUB)。该混淆电路的具体功能对应于函数(ActF):((0/1)·Y-R；R)←ActF(Y¹；(Y²,R))，其中Y¹和Y²分别是S₁和S₂关ReLU函数的输入，R是由S₂生成的与Y²无关的随机数矩阵。具体而言，首先使用加法电路(ADD)将Y¹和Y²加起来得到Y，然后用比较电路(CMP)将Y中的每个元素和0比较，输出是矩阵B，如果Y_i,j＞0则B_i,j＝1，否则B_i,j＝0。接着，使用乘法电路(MUL)将B和Y相乘得到B·Y，由于B中元素的值反映了Y中相应元素的正负性，因此乘法电路的作用是把Y中大于0的元素选出来，小于或等于0的元素置0。最后，通过减法电路，B·Y减去R得到S₁的输出，随机数矩阵R作为S₂的输出，记为P＝B·Y，P¹＝B·Y-R，P²＝R。

对于卷积层的输出Y¹和Y²，使用ReLU函数作为激活函数进行激活操作，而不是像以往的方案那样用多项式函数来近似代替非线性的激活函数，可以提高准确率。同时，我们设计了一个新的协议，使用混淆电路来实现ReLU函数，更好地保护隐私和提高效率。

步骤五，池化层有两种方案，分别是具有线性性质的平均值池化和非多项式的最大值池化，二者各有优势。具体实施过程说明如下：

首先说明平均值池化的过程。设置池化的窗口大小为t×t，则对于

S₁计算P¹上大小为b×b的区域上的平均池化的值如下，

其中，ti-u表示矩阵P¹的行序号，ti-v表示矩阵P¹的列序号。同理S₂进行相应的计算如下，

池化的窗口在P¹和P²上进行扫描，得到大小为

的U¹和U²，如果将二者相加即可得到尺寸压缩后的图像U。

对于最大值池化，设计了一个混淆电路来实现该功能，其结构如图6所示。与ReLU函数相似，该混淆电路也由由四个原子电路组成：加法电路(ADD)、比较电路(CMP)、乘法电路(MUL)和减法电路(SUB)。

不妨设池化窗口中只有两个数a和b，其分量(a₁,b₁)和(a₂,b₂)分别由S₁和S₂持有，则该混淆电路的功能是安全地求出a和b中的最大值。具体而言，首先，经过加法电路(ADD)分别得到a和b。然后，经过比较电路(CMP)得到B，不妨设B是一个元素，则a＞b时B＝1，否则B＝0。接着，通过减法电路(SUB)得到1-B，其取值条件与B相反。分别使用乘法电路(MUL)得到B·a和(1-B)·b，然后将其相加得到B·a+(1-B)·b，即a和b二者中的最大值。最后，将B·a+(1-B)·b减去R，得到B·a+(1-B)·b-R作为S₁的输出，R作为S₂的输出，二者相加得到最大值池化的结果，其中R是由S₂生成的与a和b均无关的随机数。实际使用时，最大值池化要比较的元素多于两个，可以多次使用该混淆电路来实现。

步骤六，在全连接层利用求卷积时用到的三元组的方法，求压缩后的图像U和权重W的点积。具体实施过程说明如下：

服务器S₁和服务器S₂分别接收输入(U¹,W¹)和(U²,W²)。服务器S₁和服务器S₂的全连接层会进行数据传输，该过程本质上也是按照步骤一和步骤二的方法，先生成多组随机数据，然后求其三元组，并利用这些三元组隐藏传输的中间数据，经过一系列的计算产生预测结果J¹和J²。

步骤七，将两个预测结果返回给用户，用户合并得到正确的预测结果。具体实施过程说明如下：

服务器S₁和服务器S₂分别将自己的预测结果J¹和J²返回给用户。用户通过加法操作将两组数据合并起来，即

最终得到真正的预测结果J。

综合上述7个步骤，设计出将图像处理的卷积神经网络安全地部署到两台服务器的方案，通过同态加密和混淆电路防止两方在协同计算时泄露自身的数据，达到保护模型隐私的目的，同时也保护了输入数据、中间结果和输出输出结果的隐私。

本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于，包括：

服务器1：用于存储有卷积神经网络的卷积核K¹和权重矩阵W¹，以及用户的进行查询时的输入数据I¹，预先准备的随机数m₁和随机数n₁，同态加密密钥对(pk,sk)；

服务器2：用于存储有卷积神经网络的卷积核K²和权重矩阵W²，以及用户的进行查询时的输入数据I²，预先准备的随机数m₂和随机数n₂，同态加密公钥pk；

输出单元：将经过服务器1和服务器2基于卷积神经网络运算后得到的结果合并后返回给用户；

分配单元：将卷积神经网络卷积核K与权重矩阵W中的每一个数据随机分成两份后分配给服务器1服务器2，将用户进行查询时的输入数据I随机分成两份后分配给服务器1服务器2；其中，卷积核K分成卷积核K¹和K²；权重矩阵W分成权重矩阵W¹和W²；输入数据I分成输入数据I¹和输入数据I²；随机数m分成随机数m₁和随机数m₂；随机数n分成随机数n₁和随机数n₂。

2.根据权利要求1所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：所述卷积神经网络包括卷积层、激活层、池化层、全连接层；服务器S₁和服务器S₂中均包括：

预处理阶段三元组生成单元：设两个服务器分别为服务器S₁和服务器S₂，服务器S₁有数据m₁和n₁，服务器S₂有数据m₂＝m-m₁和n₂＝n-n₁；最后输出是服务器S₁得到三元组tri¹＝(m₁,n₁,v₁)，服务器S₂得到三元组tri²＝(m₂,n₂,v₂)，其中满足性质v＝v₁+v₂＝m·n；

卷积层计算单元：用于对原始输入数据I进行特征提取，即针对原始数据的每一个区域，与卷积核W进行卷积运算/点积运算，得到卷积计算结果Y；利用权利要求2中所述的预处理阶段三元组生成单元，服务器S₁在自己的输入数据I¹和卷积核K¹上进行卷积运算，得到部分计算结果Y¹，服务器S₂在自己的输入数据I²和卷积核K²上运算，得到部分计算结果Y²；卷积计算单元输出数据Y¹和Y²满足Y¹+Y²＝Y；

激活层计算单元：用于对卷积之后的数据Y进行非线性映射，提供网络的非线性建模能力，得到激活结果P；服务器S₁和服务器S₂利用混淆电路(Garbled Circuits)技术，利用各自的输入数据Y¹和Y²，合作实现对数据Y的激活，分别得到激活后的数据P¹和P²，满足P¹+P²＝P；

池化层计算单元：用于对激活之后的数据P进行特征压缩，即选择一定区域的数据，进行池话(取平均，或取最大)操作，得到池话计算的结果U；服务器S₁在数据P¹上进行平均/取最大操作，得到池话后的结果U¹，服务器S₂在数据P²上进行平均/取最大操作，得到池话后的结果U²，满足U¹+U²＝U；

全连接层计算单元：用于将卷积激活和池话之后的二维特征图转化为一维向量，并实现到分类结果的映射；利用权利要求2中所述的预处理阶段三元组生成单元，服务器S₁在自己的输入数据U¹和权重矩阵W¹上进行点积运算，得到部分计算结果J¹，服务器S₂在自己的输入数据U²和卷积核W²上运算，得到部分计算结果J²；卷积计算单元输出数据J¹和J²满足J¹+J²＝J，J便是用户得到的神经网络预测的真实结果。

3.根据权利要求1所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：分配单元进行数据分配的具体方法是：利用安全共享技术(Secure Sharing)对每一个数据a进行随机分割：先取随机数r，然后置a₁＝r，置a₂＝a-r，可以看出a₁和a₂满足a＝a₁+a₂；对卷积神经网络卷积核K中的每一个数据进行随机分配得到部分卷积核K¹和K²、针对权重矩阵W中的每一个数据进行随机分配得到部分权重矩阵W¹和W²、针对输入数据I中的每一个元素进行随机分配得到部分输入数据I¹和I²；将随机数m分成随机数m₁和随机数m₂；随机数n分成随机数n₁和随机数n₂；服务器S₁持有K¹、W¹、I¹、和m₁，服务器S₂持有K²、W²、I²、和m₂。

4.根据权利要求1所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：预处理阶段三元组生成单元具体计算步骤包括：

步骤1，服务器S₁加密m₁和n₁得到

和

并将其发送给服务器S₂；

步骤2，服务器S₂在密文上计算

和

生成随机数r，并将

发送服务器S₁；同时计算v₂＝(m₂·n₂-r)mod 2^t

步骤3，服务器S₁解密得到c＝m₁·n₂+m₂·n₁+r，并计算v₁＝(m₁·n₁+c)；

由此得到了三元组tri＝((m₁,m₂),(n₁,n₂),(v₁,v₂))，满足性质v＝v₁+v₂＝m·n mod2^t。

5.根据权利要求1所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：卷积层计算单元的具体计算步骤包括：

步骤1，利用权利要求4所述的预处理阶段三元组生成单元生成三元组tri＝((M₁,M₂),(N₁,N₂),(V₁,V₂))；

步骤2，针对每一个卷积核大小的子图

和

利用三元组来隐藏两个服务器之间传输的数据：服务器S₁使用M₁来隐藏子图

使用N₁来隐藏卷积核K¹，并将隐藏后的数据

和C¹＝K¹-N₁发送给服务器S₂；服务器S₂使用M₂来隐藏子图

使用N₂来隐藏卷积核K²，并将隐藏后的数据

和C²＝K²-N₂发送给服务器S₁；

步骤3，服务器S₁和S₂分别恢复出C＝C¹+C²，D＝D¹+D²；服务器S₁计算

并得到部分卷积计算结果Y¹，服务器S₂计算

并得到部分卷积计算结果Y²。

6.根据权利要求1所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：激活层计算单元的具体计算步骤包括：

采用ReLU激活方案，即对于数据a，激活后的数据为

并设计混淆电路实现激活函数；混淆电路的参与方只能得知自己的输入和输出，整个内部执行过程计算出的中间数据不会泄露给任何参与方；

步骤1，服务器S₂随机生成随机数R，然后将卷积结果Y²和R输入到混淆电路中，服务器S₁将卷积结果Y¹输入到混淆电路中；

步骤2，混淆电路计算Y¹+Y²，得到真正的卷积结果Y；

步骤3，混淆电路将Y与0进行比较，如果Y≥0，则激活后的结果P＝Y；如果Y＜0，则激活后的结果为P＝0；

步骤4，混淆电路将激活后的结果P减去随机数R得到部分激活结果P¹＝P-R并发送给服务器S₁，同时将部分激活结果P²＝R发送给服务器S₂；

至此，服务器S₁和服务器S₂分别得到激活后的数据P¹和P²，满足P¹+P²＝P。

7.根据权利要求1所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：池化层计算单元的具体计算方法是：

考虑到现有的池话方案主要有平均值池化和最大值池化两种，最大池化保留了纹理特征,平均池化保留整体的数据特征，不同问题会采用不同的池话方案；本技术分别针对具有线性性质的平均值池化和非多项式的最大值池化设计相应的隐私保护方案；

平均值池化描述如下：对于激活层输出P¹和P²，服务器S₁在数据P¹中针对每一个池化窗口计算数据的平均值，最终得到池话后的结果U¹；服务器S₂在数据P²中针对每一个池化窗口计算数据的平均值，最终得到池话后的结果U²；

最大值池化描述如下：与激活层类似也采用混淆电路实现，对池话窗口的两两数据进行大小比较，得到最大值作为池话后的结果；首先服务器S₂随机生成随机数R，并将激活结果P²和R输入到混淆电路中，服务器S₁将激活结果P¹输入到混淆电路中；混淆电路计算得到真正的真正的激活结果P；混淆电路针对池话窗口的两两数据进行比较，得到最大值即池话后的结果U；混淆电路将池话后的结果U减去随机数R得到部分池话结果U¹＝U-R并发送给服务器S₁，同时将部分池话结果U²＝R发送给服务器S₂；

至此，服务器S₁和服务器S₂分别得到池话后的数据U¹和U²，满足U¹+U²＝U。

8.根据权利要求1所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：全连接层计算单元的具体执行方法是：

全连接层需要计算池化后的数据U和权重W的内积；与卷积层类似，首先利用权利要求2所述的预处理阶段三元组生成单元生成三元组TRI＝((M₁,M₂),(N₁,N₂),(V₁,V₂))；然后利用三元组来隐藏两个服务器之间传输的数据：服务器S₁使用M₁来隐藏池话数据U¹，使用N₁来隐藏权重W¹，并将隐藏后的数据D¹＝U¹-M₁和C¹＝W¹-N₁发送给服务器S₂；服务器S₂使用M₂来隐藏池话数据U²，使用N₂来隐藏权重W²，并将隐藏后的数据D²＝U²-M₂和C²＝W²-N₂发送给服务器S₁；服务器S₁和S₂分别恢复出C＝C¹+C²，D＝D¹+D²；服务器S₁计算J¹＝-DC+U¹+W¹D+V₁并得到部分全连接计算结果J¹，服务器S₂计算J²＝-DC+U²+W²D+V₂并得到部分全连接计算结果J²；

服务器S₁计算U¹和W¹的内积J¹，服务器S₂计算U²和W²的内积J²，将J¹和J²合并后得到预测结果：J＝UW。

9.根据权利要求1所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：输出单元将结果合并的具体方法是：

服务器S₁和服务器S₂分别将自己的预测结果J¹和J²返回给用户；用户通过加法操作将两组数据合并起来，即

最终得到真正的预测结果J。

10.根据权利要求4所述的基于安全双方计算的外包卷积神经网络隐私保护系统，其特征在于：可通过效率优化单元对计算开销和通信开销进行优化，具体是，

在预处理阶段三元组生成单元，使用数据打包方法加快运算速度并降低通信开销；正常情况下，运行一次预处理阶段三元组生成单元的计算步骤，只能得到一个三元组tri＝((m₁,m₂),(n₁,n₂),(v₁,v₂))；若想同时计算得到l个三元组

可使用数据打包将l个数据

按比特连接在一起形成

类似地，

后续加密及计算操作均在M₁、N₁、M₂、N₂上进行；最后得到三元组TRI＝((M₁,M₂),(N₁,N₂),(V₁,V₂))，对打包后的TRI进行解包，得到l个三元组tri¹，tri²，...，tri^l；

在预处理阶段三元组生成单元，一方在等待另一方的反馈数据时会处于空闲状态，本技术使用异步计算的方法加快运算速度；服务器S₁在传输数据

时，可以同时加密数据n₁；服务器S₁在传输数据

时，服务器S₂无需等待，可以先行加密自己的数据

服务器S₂在传输密文C₃的同时计算v₂＝(m₂·n₂-r)mod 2^t；

在卷积层计算单元和全连接层计算单元，对于每一个查询来说，计算过程可以粗略分为，传输隐藏数据之前的计算，传输隐藏数据，和传输隐藏数据之后的计算，三个部分；使用异步计算可以将多个查询并行计算：第k个查询在传输数据时，第k+1个查询执行传输前计算过程；第k个查询在执行传输后计算过程时，第k+1个查询执行传输数据过程；这样可以实现不同查询之间的时间复用，使得整个流程的运转相当于并行流水线，大幅度减少单个查询的平均时间。

Images