CN115065463A

CN115065463A - 一种隐私保护的神经网络预测系统

Info

Publication number: CN115065463A
Application number: CN202210656199.8A
Authority: CN
Inventors: 李洪伟; 杨浩淼; 郝猛; 胡佳; 陈涵霄; 钱心缘; 范文澍; 袁帅; 张瑞; 李佳晟; 张晓磊
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2022-06-10
Filing date: 2022-06-10
Publication date: 2022-09-16
Anticipated expiration: 2042-06-10
Also published as: US20240013034A1; WO2023236628A1; CN115065463B

Abstract

本发明公开了一种隐私保护的神经网络预测系统，属于信息安全技术领域。本发明包括客户端、服务端和第三方；在神经网络模型预测的离线阶段，客户端、服务端和第三方通过协商完成模型参数的分享；在线预测阶段，客户端将输入数据的分享值发送给服务端；客户端和服务端利用安全计算协议共同执行具有隐私保护的神经网络预测，服务端将得到的预测结果的分享返回给客户端，客户端重构得到预测结果。在通信方面，本发明仅需一轮通信交互，且降低了现有方案的通信开销数据量，以使得本发明的通信效率显著提高，本发明中所有的计算都是基于环而不是域。本发明还重新定制了离线阶段的协议，不仅提高了离线阶段的效率而且仅需轻量级的秘密分享操作。

Description

一种隐私保护的神经网络预测系统

技术领域

本发明属于信息安全技术领域，具体属于一种隐私保护的神经网络预测系统

背景技术

随着深度学习技术的发展，神经网络预测技术被应用于越来越多的领域，例如图像分类、医疗诊断和语言助手等，许多互联网公司开放了在线预测服务来帮助完善这些应用，例如谷歌的ML Engine、微软的Azure ML Studio以及亚马逊的SageMaker等。然而，现有的基于深度学习的预测系统正面临着极为严重隐私问题。一方面，用户要向服务提供者发送包含隐私信息的输入数据，这有可能导致用户的隐私信息泄露；另一方面，如果使用替代方案——服务提供者将神经网络模型发送给用户，这又容易损伤服务提供者的权益。

为了解决上述隐私问题，研究者们提出了许多基于同态加密或安全两方计算的解决方案，这些方案保证了服务提供方无法获知用户的隐私信息，同时用户也无法从服务提供方得到除预测结果外的任何信息。这些解决方案虽然能够保证隐私安全，但是所需的计算开销和通信开销都很大。

发明内容

本发明提供了一种隐私保护的神经网络预测系统，以期在不牺牲模型准确率的前提下，做到隐私保护和保障协议高效性。

本发明采用的技术方案为：

一种隐私保护的神经网络预测系统，该系统包括客户端、服务端和第三方；

客户端、服务端和第三方均部署有相同的伪随机数生成器；

所述服务端部署有用于指定预测任务的神经网络模型，所述神经网络模型的网络层包括两类：线性层和非线性层；

客户端向服务端发起任务预测请求，服务端向客户端返回用于当前任务预测的神经网络模型的层次结构以及每层的网络层类型；

在神经网络模型预测的离线阶段，客户端、服务端和第三方对神经网络模型的模型参数W进行分享：

客户端、服务端和第三方三者之间两两生成伪随机数种子，得到客户端与服务端之间的种子seed_cs，客户端与第三方之间的种子seed_c，以及服务端与第三方之间的种子seed_s；

基于客户端、服务端和第三方之间的通信交互获取模型参数W的分享值：

1)若当前网络层为线性层，执行下述处理：

客户端和第三方分别将当前的种子seed_c输入到伪随机数生成器中，生成伪随机数a；并按照约定的更新策略对种子seed_c进行更新，再将种子seed_c输入到伪随机数生成器中，生成伪随机数[ab]₀；客户端和第三方每一次将种子seed_c输入到伪随机数生成器中后，均按照约定的更新策略对种子seed_c进行更新；

服务端和第三方分别将当前的种子seed_s输入到伪随机数生成器中，生成伪随机数b，服务端和第三方每一次将种子seed_s输入到伪随机数生成器中后，均按照约定的更新策略对种子seed_s进行更新；

第三方计算当前线性层的乘积分享参数[ab]₁＝ab-[ab]₀并发送给服务端，即每一层线性层都分别对应一个[ab]₁；

客户端和服务端分别将当前的种子seed_cs输入到伪随机数生成器中，生成伪随机数r′，客户端和服务端每一次将种子seed_cs输入到伪随机数生成器中后，均按照约定的更新策略对种子seed_cs进行更新；

客户端计算随机数r＝r′-a mod N，其中，N表示指定的整数，即环

的大小；

服务端将W-b发送给客户端，客户端在本地计算参数[Wr]₀＝(W-b)r-[ab]₀mod N，服务端在本地计算[Wr]₁＝br′-[ab]₁；

即在客户端，神经网络模型的每一线性层都分别对应一个[Wr]₀；在服务端，神经网络模型的每一线性层都分别对应一个[Wr]₁；

2)若当前网络层为非线性层，执行下述处理：

第三方根据约定的函数秘密分享策略生成密钥对(k₀，k₁)，并将密钥k₀发送给客户端，密钥k₁发送给服务端；

所述密钥k₀中包含第三方与客户端基于当前种子seed_c共同生成的随机数

所述密钥k₁中包含第三方与服务端基于当前种子seed_s共同生成的随机数

其中，随机数

满足：

其中，函数秘密分享策略包括两部分：概率多项式时间的密钥生成策略、多项式时间的评估策略，密钥生成策略用于生成密钥对(k₀，k₁)，评估策略用于对输入进行评估；

在神经网络模型预测的在线阶段，客户端和服务端基于离线阶段的模型参数W分享结果共同执行神经网络模型的前向推理运算：

客户端基于配置的秘密分享算法将待预测数据x分为两部分x＝[x]₀+[x]₁mod N，客户端发送[x]₁到服务端；

神经网络模型的每一层的前向推理运算包括：

定义

表示客户端的每一层的输入数据，客户端的第一层的输入数据

定义

表示服务端的每一层的输入数据，服务端的第一层的输入数据

I)对线性层，前向推理运算包括：

客户端发送

到服务端，以使得服务端提取到输入数据

客户端计算当前层的输出[y]₀＝[Wr]₀，并将[y]₀作为客户端的下一层的输入数据

服务端重构当前层的数据

计算当前层的输出

并将[y]1作为服务端的下一层的输入数据

II)对非线性层，前向推理运算包括：

客户端发送

到服务端；

服务端发送

到客服端；

客户端和服务端分别重构当前层的数拆

客户端基于数据

和密钥k₀，通过约定的函数秘密分享策略中的评估策略得到当前层的输出[y]₀，并将[y]₀作为客户端的下一层的输入数据

服务端基于数据

和密钥k₁，通过约定的函数秘密分享策略中的评估策略得到当前层的输出[y]₁，并将[y]₁作为服务端的下一层的输入数据

当前向推理运算到神经网络模型的最后一层(输出层)时，服务端将最后一层的输出[y]₁返回给客户端；客户端基于收到的最后一层的输出[y]₁和本端当前计算得到最后一层输出[y]₀得到最终的预测结果：y＝[y]₀+[y]₁。

进一步的，第三方基于约定的函数秘密分享策略Gen_a，b生成密钥对(k₀，k₁)具体为：

客户端与第三方基于当前的种子seed_c，分别通过伪随机数生成器生成随机数

服务端与第三方基于当前的种子seed_s，分别通过伪随机数生成器生成随机数

第三方计算

第三方定义参数

以a、b′作为约定的生成函数的输入，通过生成函数生成密钥对(k′₀，k′₁)，

第三方选取随机值

根据

导到随机值

第三方生成密钥对(k₀，k₁)：

并将k₀，k₁分别发送给客户端和服务端。

进一步的，客户端和服务端分别通过约定的函数秘密分享策略中的评估策略得到当前层的输出，具体为：

(1)客户端和服务端分别基于约定的算法计算当前层的模型参数的分享ω_0，p和ω_1，p，其中下标p∈{0，1}；

客户端基于

得到ω_0，0，ω_1，0；

服务端基于

导到ω_0，1，ω_1，1；

其中，Eval_a，b′()表示多项式时间的评估函数；

(2)客户端和服务端分别计算

从而得到客户端的输出[y]₀，服务端的输出[y]₁。

本发明提供的技术方案至少带来如下有益效果：

本发明既能有效的保护客户端数据的隐私，又能有效的保护服务端的网络模型参数信息，且计算效率高效；基于本发明的非线性层协议(非线性层的数据交互)显著降低了通信开销。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种隐私保护的神经网络预测系统的系统原理示意图；

图2是本发明实施例中提供的一种比较协议中的

算法(即比较函数的秘钥生成算法)的计算过程示意图；

图3是本发明实施例中提供的一种比较协议中的

算法(即比较函数的评估算法)的计算过程示意图；

图4是本发明实施例中提供的一种ReLU协议中的

算法(即激活函数的秘钥生成算法)的计算过程示意图；

图5是本发明实施例中提供的一种ReLU协议中的

算法(即激活函数的评估算法)的计算过程示意图；

图6是本发明实施例中，离线阶段的处理过程示意图；

图7是本发明实施例中，在线阶段的处理过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了解决基于神经网络的在线预测服务的隐私保护，Mishra等人提出了Delphi框架——把整个预测的过程分为了与输入无关的离线阶段、与输入有关的在线阶段，将密码协议引入了神经网络模型中，并通过设计一些算法尽可能地将在线阶段中比较耗时的密码操作转移到离线阶段中。以使得在线阶段的执行效率能极大的提升。但是，Delphi框架中仍存在一个问题——非线性层的开销比线性层的开销大几个数量级。这是因为基于混淆电路计算一个函数需要将其分解成一个二进制门电路，并以密文形式逐位处理。例如，采用了Delphi框架后，Resnet32模型的训练过程中激活函数ReLU操作占整个在线阶段执行时间的93％。虽然最近的工作中已经出现了一些对ReLU的优化方案，但是这些方案要么是无法直接拆解为在线阶段和离线阶段，要么是需要更多轮次的通信或特殊的秘密分享原语。

本发明实施例的发明目的在于：增强神经网络预测系统，以期在不牺牲模型准确率的前提下，做到隐私保护和保障协议高效性。具体来说，本发明实施例的目标如下：

1)隐私保护。用户端的输入包含敏感信息，服务端的模型是一种重要的财产，在预测过程中它们都不应该泄露。

2)高效评估。所提出的方案增加的计算和通信开销应该适中而不能太高，这在实时场景或资源有限的情况下尤为重要。

3)预测准确率。与不具备隐私保护的预测任务相比，所设置的协议(安全计算协议)不应该牺牲预测的准确性，尤其是当其应用于医疗等关键场景时。

如图1所示，本发明实施例提供的一种隐私保护的神经网络预测系统的系统模型包括客户端和服务端(也称服务端)，其中，服务端持有一个神经网络模型M以及模型参数ω，客户端持有隐私数据样本x(如图像数据、文本数据、音频数据等)。客户端的目标是得到以隐私数据作为输入对应的模型预测输出，即：M(ω，x)，同时不让服务端从此过程中获知任何有关客户端输入的信息。例如，某个病人持有自己的X光胸片图，借助本发明，他就可以在不泄露胸片图的情况下得到预测的结果，即是否患病。

如图1所示，本发明的预测流程可以概况为三个步骤：

1)客户端将输入数据x的分享值发送给服务端；

2)客户端和服务端利用安全计算协议共同执行具有隐私保护的神经网络预测；

3)服务端将得到的预测结果的分享返回给客户端，客户端进行重构得到预测结果。

图1中，F_Beaver表示用于生成乘法三元组的函数，F_FSS表示函数秘密分享，“#cb4f$9z”表示预测结果的分享，Conv表示卷积层，ReLU表示激活函数、Pooling表示池化层、FC表示全连接层。

本发明实施例中设置的密码协议所涉及的基础算法如下：

1)秘密分享：本发明实施例中采用了轻量级的基于环

的加法秘密分享。Share(x)代表分享算法，以n位的数值x为输入，输出两个随机值[x₀]，[x₁]，且在环

上满足x＝[x₀]+[x₁]。Recon([x₀]，[x₁])代表重构算法，以[x₀]，[x₁]为输入，输出x＝[x₀]+[x₁]mod N。加法秘密分享的安全性保障在于只给出[x₀]，[x₁]中的一个，无法重构出原始数据x。

2)函数秘密分享(FSS)：函数秘密分享是一种高效的算法，它把一个函数f分解为两个分享函数f₀，f₁且对于任意x满足f₀(x)+f₁(x)＝f(x)，这样一来，原始函数f就可以很好地隐藏起来而不容易泄露。一个两方的函数秘密分享方案由Gen，Eval两部分组成，这两种算法主要功能如下：

Gen(1^κ，f)是一种概率多项式时间的密钥生成算法，输入为安全参数κ和函数f，输出一对密钥(k₀，k₁)，每一个密钥都隐式的代表了一个函数f_p：

Eval(p，k_p，x)是一种多项式时间的评估算法，输入为参与方编号p，密钥k_p和公共输入

输出

即：对于f_p(x)，有f(x)＝f₀(x)+f₁(x)。

基于已有的工作，在进行一定转换后，函数秘密分享方案可以对输入的分享值进行评估。构建一个函数秘密分享方案的关键在于偏移函数f_r(x)＝f(x-r)，其中，r是在环

中选取的一个随机数，并且以秘密分享的形式为两方共同持有。持有输入x的分享值的各方首先以加掩码的方式公开输入x+r，而后以x+r作为f_r(x)的输入计算函数秘密共享方案的密钥对，而这也就相当于以x作为f(x)的输入生成密钥对，即：f_r(x+r)＝f(x)。

3)伪随机数生成器：伪随机数生成器的输入是一个平均采样的随机种子和一个安全参数κ，输出一长串伪随机数。伪随机数生成器的安全性保障在于只要随机种子不泄露，那么生成器的输出和均匀分布在多项式时间内是无法区分的。本发明实施例中使用伪随机数生成器可以保证两方无需通信交互就能生成相同的伪随机数。

基于上述技术，本发明实施例中，为非线性操作构造了以下协议：

1)比较协议：本发明实施例中比较操作是一种基础的操作，经常被非线性函数所调用，如ReLU、Maxpool的实现都会用到比较操作。假设比较操作函数为：

本发明实施例中，

由

两部分组成(如图2和图3所示)。

算法生成密钥对(k₀，k₁)，其中k₀，k₁各代表着一颗二叉树，二叉树叶子结点的标签由输入x∈{0，1}ⁿ所决定，叶子结点的数量为2ⁿ。其中，{0，1}ⁿ表示由0和1构成的长度为n的字符串。称从根结点到x标定的叶子结点的路径为评估路径，称代表a的评估路径为特殊路径。二叉树上每一个结点都包含一个元组(s_p，v_p，t_p)，其中p∈(0，1)表示参与方编号，s_p是伪随机数生成器的随机种子，v_p是在环中的输出，t_p是控制位。

算法以根结点的种子作为初始种子计算输入x对应的评估路径上所有结点的标签。

比较函数中的

的具体计算过程如图2所示，当参与方A和B(对应本系统的客户端和服务端)同时执行

算法，步骤如下：

1)对比较函数中的

的输入数据数据a({0，1}ⁿ)，n表示a的字节长度，将a拆解为n个1比特长度的数值a₀，......，a_n∈{0，1}ⁿ，两个参与方分别对根结点(编号为0)的随机种子进行初始化

对控制位分别进行初始化

将V_a初始化为0，其中，图2中的

表示实数域。下标“0”和“1”用于区分两个参与方，随机种子和控制位的上标用于表示结点编号；

2)对每一个结点i，两个参与方分别用

作为随机种子生成伪随机数序列

3)若a_i＝0，则设定keep←L，lose←R，否则设定keep←R，lose←L，并计算

4)而后依次计算

5)构造

计算

6)前n个结点的计算都完成后，构造

7)两个参与方分别构造密钥

比较函数

的具体计算过程如图3所示，当参与方A和B同时执行

算法，步骤如下：

1)两参与方分别拆解密钥

初始化结点0的控制位t⁽⁰⁾＝p，初始化

将输入x拆解为n个1比特长度的数值x₀，......，x_n；

2)对于每一个结点i，两参与方拆解

G(s^(i-1))＝s^L||v^L||t^L||s^R||v^R||t^R；

3)计算

4)若x_i＝0，计算V←V+(-1)^p·[v^L+t^(i-1)·V_cw]并设定当前结点i的左子节点为下一个结点，否则计算V←V+(-1)^p·[v^R+t^(i-1)·V_cw]并设定当前结点i的右子节点为下一个结点；

5)最后，计算V←V+(-1)^p·[s⁽ⁿ⁾+t⁽ⁿ⁾·CW⁽ⁿ⁺¹⁾]。

其中，

算法与

算法中涉及的相关符号含义如下：

(s_p，v_p，t_p)——p∈(0，1)表示参与方编号，s_p是伪随机数生成器的随机种子，v_p是在环中的输出，t_p是控制位。二叉树中每一个结点都对应一个这样的元组，如

表示参与方p的结点i所对应的三元组。此外，s_p，v_p，t_p的上标L或R表示当前结点的左子结点或右子结点。

a，b——算法的固有参数，a_i表示n比特长的二进制数a的第i位，

算法与

算法相结合得到的函数功能为：若输入小于a，则输出b；否则输出0。

CW——校正字符串，CW的上标用于表示其所属的结点编号。

k_p——算法执行后参与方p获得的密钥。

——以

为随机种子进行伪随机数生成，即G()表示伪随机数生成器。

V，V_a，V_cw——用于记录和计算输出结果。

需要说明的是，本发明实施例中，比较协议需保持以下条件始终成立：

(a)对于任意不在特殊路径上的结点，它持有的两个随机种子相同；

(b)对于任意一个在特殊路径上的结点，它的两个控制位不同且它的两个随机种子是无法区分的；

(c)输入x对应的评估路径上所有结点的v₀+v₁的总和正好等于

为了满足上述条件，

生成一系列校正字符串CW，当

执行过程中生成输入x对应的评估路径时，如果生成的评估路径偏离了特殊路径，那么评估路径上第一个不在特殊路径上的结点j持有的两个随机种子s₀，s₁是相同的。此外，如果结点j在特殊路径的右边，即：x＞a，那么从根结点到结点j的所有v₀+v₁的总和为0，否则总和为b。

ReLU协议：ReLU是深度学习模型中最常用的激活函数。在整数环中，ReLU的表述如下：

由于在函数秘密分享方案下ReLU的计算基于输入的分享值，那么就需要设置一个偏移函数ReLU_r(x)＝ReLU(x-r)，使得当输入x+r时，输出的结果正好是ReLU(x)，即：ReLU_r(x+r)＝ReLU(x)。这样一来，ReLU_r(x)可以表述为：

然而，当r较大时，可能会出现

的情况，这会导致评估过程中出现问题，很容易想到通过调用两次比较函数来解决这个问题，但这会导致额外的开销，本发明实施例中使用的优化方案只调用一次比较函数，主要思想可表述为：

这种方案的出错概率为

而通常|x|＜＜N，例如，当N为一个32位长的整数时，选取的x仅为12位长的整数，出错概率仅为百万分之一。此外，神经网络预测过程中对错误的容忍度很高。评估结果也同样证实了此方案对模型准确率的影响可以忽略不计。

基于上述思想，本发明实施例为ReLU_r函数设置了一个高效的函数秘密分享协议，其由

两部分组成(如图4和5所示)。该函数秘密分享协议中用到了两个小技巧：(a)协议中实际需要用到的函数是

利用已有的

函数进行转换

即可；(b)协议中实际需要的输出是一个多项式(如偏移函数g(x)＝x-r)，那么可以令b＝(ω₀，ω₁)＝(1，-r)表示多项式f(x)＝x-r，令b＝(ω₀，ω₁)＝(0，0)表示f(x)＝0。这样一来，协议双方就可以通过在本地计算[ω₀](x+r)+[ω₁]得到ReLU(x)的分享值。

激活函数中的

算法的具体计算过程如图4所示，当第三方执行

算法时，步骤如下：

1)令b＝(1，-r)，a＝r，b′＝(-1，r)，执行

得到密钥k′₀，k′₁；

2)取随机数

根据

得到随机数[r]₁，根据b₀+b₁＝b得到随机值

3)分别构造密钥k_p＝k′_p||r_p||b_p，p＝0，1。

激活函数中的

算法的具体计算过程如图5所示，当参与方A和B同时执行

算法时，步骤如下：

1)拆解密钥k_p＝k′_p||r_p||b_p，参与方A和B相互发送x_p+r_p(p＝0，1)，重构出x+r；

2)计算

得到(ω_0，p，ω_1，p)；

3)计算y_p＝ω_0，p(x+r)+ω_1，p。

其中，

算法和

算法中涉及的相关符号含义如下：

a，b，b′，r——算法的固有参数，用于生成多项式。

(ω₀，ω₁)——模型参数的分享，用于输出时重构多项式。

k′_p，k_p——k′_p表示参与方p的密钥的一部分，k_p表示参与方p的整个密钥。

x+r——函数的实际输入。

y_p——参与方p得到的输出。

3)Maxpool协议：基础的Maxpool算法用于计算d个数x₁，x₂，......，x_d中的最大值。本发明实施例中基于函数秘密分享设置了一个Maxpool协议，协议参与方将d个数排列成深度为log d的二叉树，递归地进行两两比较。比较方式可表述为：max([x_i]，[x_j])＝ReLU([x_i]，-[x_j])+[x_j]。x_i和x_j表示被比较的两个对象。

本发明实施例将模型预测分为了离线阶段和在线阶段两部分，主要目标在于减少在线阶段的开销，尤其是非线性层的开销。

离线阶段的流程如图6所示，主要分为以下三部分：

1)初始化：引入一个第三方，客户端、服务端、第三方三者两两之间生成伪随机数种子，得到三个种子seed_cs，seed_c，seed_s。

2)线性层：主要目的在于计算W、r的分享值，其中W是服务端所持有的模型的参数，r是由客户端选取的随机数。线性层的具体操作流程如下：

第三方生成乘法三元组(Beaver三元组)(a，b，ab)。具体来说，客户端和第三方利用seed_c共同生成a，[ab]₀，服务端和第三方利用seed_s共同生成b，最后，第三方计算出[ab]₁＝ab-[ab]₀并发送给服务端。

客户端和服务端利用seed_cs共同生成r′，客户端计算r＝r′-a mod N，服务端将W-b发送给客户端。最后，客户端和服务端分别在本地计算[Wr]₀＝(W-b)r-[ab]₀mod N，[Wr]₁＝br′-[ab]₁。

3)非线性层：第三方利用函数秘密分享方案生成密钥对，并将密钥分配给客户端和服务端。以ReLU函数的计算为例，Maxpool的计算方式也类似。具体操作流程如下：

第三方利用seed_c，seed_s分别生成[r]₀，[r]₁，客户端和服务端也可以分别得到[r]₀，[r]₁。第三方计算出

而后通过

算法生成密钥对(k₀，k₁)并将其分别分发给客户端和服务端。

在线阶段的流程如图7所示，主要分为以下两部分：

1)线性层：离线阶段生成的W，r，x的分享值始终保持不变。具体操作流程如下：

客户端发送[x]₀-r mod N到服务端，同时令[y]₀＝[Wr]₀。

服务端计算x-r＝[x]₀-r+[x]₁mod N，计算[y]₁＝[Wr]₁+W(x-r)mod N。

2)非线性层：以ReLU函数的计算为例，具体操作流程如下：

客户端发送[x]₀+[r]₀mod N到服务端，服务端发送[x]₁+[r]₁mod N到客户端，这样一来，双方都能计算出x+r mod N。即：x+r＝[x]₀+[r]₀+[x]₁+[r]₁mod N，然后双方同时通过

算法，以x+r mod N为输入，分别得到[y]₀，[y]₁，即ReLU(x)的分享值。

需要说明的是，图7的非线性层的r不同于线性层的r，非线性层的r满足：r＝[r]₀+[r]₁mod N。

本发明实施例提供的一种隐私保护的神经网络预测系统是一种高效的、隐私保护的神经网络预测系统，与已有的Delphi类似，本发明实施例建立在预处理范式基础之上，但与Delphi相比，本发明实施例的在线阶段的效率获得了巨大的提升。本发明实施例提供的隐私保护的神经网络预测系统的有效效果至少包括：

1)分利用密码技术(函数秘密分享)为非线性层设置了高效的密码协议，并使用深度学习独有的优化方法对其进行了完善。本发明实施例对ReLU做了细微修改，将比较函数的调用次数从两次减少到了一次，并在理论上证明了这种修改在神经网络评估中带来的误差可以忽略不计。与通用方案中最高效的函数秘密分享方案相比，本发明实施例在线阶段的执行时间仅为它的一半。在通信方面，本发明实施例仅需一轮通信交互，其中每一方在在线阶段仅发送n比特数据(n为秘密分享环的大小)，与之相比，Delphi方案的通信开销为κn比特(κ为安全参数)，也就是说，本发明实施例的通信效率提高了

倍，例如一般取κ＝128，那么通信效率就提高了64倍。

2)对于线性层的评估，本发明实施例在线阶段的开销与Delphi方案相同，但值得注意的是，本发明实施例中所有的计算都是基于环而不是域，这与在CPU上进行的32位或64位计算是天然契合的。

综合，与现有的基于Delphi框架的方案相比，本发明实施例在线阶段的执行时间降低到了

和通信开销降低到了

此外，本发明实施例还重新定制了离线阶段的协议，这不仅提高了离线阶段的效率而且仅需轻量级的秘密分享操作。最后，本发明是一个模块化的系统，任何优化技术都可以直接集成到离线阶段中，且不会影响到在线过程。将本发明实施例应用在DenseNet-121上安全地实施了ImageNet规模的推理，可在48秒内完成0.51GB的通信。相比之下，唯一已知的考虑ImageNet规模任务的两方方案需要大约8分钟，并产生超过35GB的通信开销。上述仿真应用表明，与现有的基于Delphi框架的方案相比，本发明实施例在效率上获得了巨大的提升。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。