CN111832074B - 基于spdz安全多方计算的安全验证协作学习方法及系统 - Google Patents

Abstract

本发明公开的基于SPDZ安全多方计算的安全验证协作学习方法及系统，各个数据源进行本地预训练并提取激活映射并进行随机分割，随后将份额值分发至其他数据源，各个数据源在接收到的份额值上进行基于SPDZ的协作学习单元，得到协作学习后的秘密份额值广播至各个数据源；为了防止恶意计算保证协作学习结果的正确性，各个数据源在接收到其他方返回的秘密份额值后基于MAC机制进行验证，确保最终协作学习结果的正确性；通过对各数据源提取出的激活映射的秘密分享，以及基于SPDZ的安全计算使得各个数据源在协作学习各个数据源特征数据的同时，又不泄露数据源的原始特征信息，同时保证协作学习结果的正确性。

Description

基于SPDZ安全多方计算的安全验证协作学习方法及系统

技术领域

本发明涉及信息安全技术领域，具体为一种基于SPDZ安全多方计算的安全验证协作学习方法及系统。

背景技术

机器学习从提供的训练数据中挖掘其输入中的隐藏相关性，并据此得出关于某种现象的有效输出结论。随着机器学习技术的日益成熟，越来越多的领域采用机器学习进行模型训练和远程预测，机器学习系统正在逼近甚至超过人类水平的准确性。其中机器学习技术的发展归功于日益强大的计算能力和对大量数据的访问。然而，在此过程中机器学习涉及到严重的隐私问题，由于机器学习模型训练过程不可避免的需要访问训练集中数据的基本信息，从而造成训练数据敏感信息的隐私泄露隐患；基于这种情况，为了保证机器学习在构建过程中训练数据不被泄露，目前针对隐私保护机器学习的研究和应用涉及内容如下：

上海交通大学在其申请的专利文献，申请号为201510443551.X“基于垂直分布隐私数据保护的logistic回归分析系统”中公开了一种基于垂直分布隐私数据保护的logistic回归分析系统。该系统首先将各个机构的数据利用线性核函数生成对应的核训练集对每个机构中的隐私数据进行加密保护，随后累加各个局部核训练集，在得到总体核训练集进行logistic回归从而获得全局模型向量。该方法的不足之处是：各个机构必须在系统执行过程中诚实地履行预设置的计算过程，具有强安全假设性。当某个机构遭受恶意攻击而无法确保上传加密数据的正确性时，则无法解决多个机构之间存在恶意攻击者而导致的恶意行为的安全漏洞。

北京科技大学在其申请的申请号为201710248758.0，“一种5g通信标准下的分布式隐私保护机器学习方法”中公开了一种分布式场景下的隐私保护决策树训练方法。该方法首先每个客户端在各自的本地训练数据上进行各属性的局部信息增益计算，并将局部信息增益同态加密后上传至计算器端；接着计算器端聚合加密的局部信息增益参数得到加密的全局信息增益，随后服务器端解密获取全局信息增益，从而进行决策树的节点分裂和构建。由于各自本地数据集不是直接公开的而被认为更有利于保护隐私。然而该方法存在的不足之处是：基于同态加密对局部模型参数进行隐私保护，无法对计算端密文计算结果的正确性进行验证，影响模型训练的可靠性。

发明内容

针对现有技术中存在的问题，本发明提出一种基于SPDZ安全多方计算的安全验证协作学习方法，在协作学习阶段，整个过程是基于SPDZ的安全多方计算，不仅可以实现隐私保护协作学习，同时也验证了计算过程，消除被恶意攻击者攻击的数据源的不诚实行为。

本发明是通过以下技术方案来实现：

一种基于SPDZ安全多方计算的安全验证协作学习方法，包括以下步骤：

步骤1、各个数据源采用相同的CNN模型进行预训练，提取各个数据源的激活映射；

步骤2、将各个数据源的激活映射和权重向量中的所有元素，在整数域分割为n个份额，并将各个元素的n-1份额发送至其它n-1个数据源；

步骤3、各个数据源对接收的n-1个激活映射元素进行遍历，将n个激活映射相同位置的元素组成n维份额向量；

步骤4、将各个数据源在n维份额向量和权重向量上协作学习，得到秘密份额值；

步骤5、采用基于SPDZ的MAC机制对秘密份额值进行验证；

步骤6、将通过验证的秘密份额值，作为本地CNN模型全连接层的训练参数，对损失函数最小化，实现CNN模型最优。

优选的，骤1中，在CNN模型Net_i的池化层之后，通过激活函数ReLU 提取激活映射

其中，row、co、v分别表示激活映射的行、列和信道的数量。

优选的，步骤2中所述份额x⁽ⁱ⁾的表达式如下：

x^(j)＝r_j，(j∈[1,n-1])

其中，r_j为随机数。

优选的，步骤3中所述份额向量的表达式如下：

其中，

为激活映射，(j∈[1,n])。

优选的，步骤4中所述秘密份额值的表达式如下：

其中，权重向量为θ_i＝{θ₁,θ₂,...,θ_n}，

z⁽ⁱ⁾为结果份额。

优选的，所述结果份额z⁽ⁱ⁾的计算过程如下：

S1、在SPDZ初始化阶段，生成三元组(a,b,c)，其中c＝a·b，三元组中的元素被随机分割为n个份额，并发至各个数据源D_i；

S2、各个数据源D_i根据激活映射、权重向量和三元组中元素的份额，分别计算激活映射中元素份额值的掩码，以及权重向量中元素份额值的掩码；

S3、数据源D_i将得到的激活映射中元素份额值的掩码，以及权重向量中元素份额值的掩码，分别发送给其它的数据源，各个数据源根据接收到的掩码恢复元素的掩码值；

S4、根据元素的掩码值计算出结果份额z⁽ⁱ⁾。

优选的，所述结果份额z⁽ⁱ⁾的表达式：

z⁽ⁱ⁾←c⁽ⁱ⁾+μb⁽ⁱ⁾+νa⁽ⁱ⁾

其中，μ为激活映射中元素掩码，ν为权重向量中元素掩码。

优选的，步骤5中的验证过程如下：

5.1、各个数据源协同一个随机向量

5.2、各个数据源D_i为接收到的结果份额z^(j)绑定随机数d←∑r_j·z^(j)，然后使用数据源D_i的本地MAC密钥α_i对结果份额z^(j)进行认证，并得到认定值γ(z^(j))_i←α_iz^(j)，同时将随机数绑定于认证值中得到总认证值γ(c)_i←∑r_j·γ(z^(j))_i，最终计算总认证值γ(c)_i与随机数d的认证差值份额η⁽ⁱ⁾←γ(c)_i-α_id；

5.3、将每个数据源的认证差值份额η⁽ⁱ⁾发送到其它数据源，计算各个数据源根据自身的认证差值份额和接收到的认证差值份额的和；

当任一数据源的计算结果不等于0，则各个数据源终止计算，执行步骤 4；否则，输出协作学习结果。

优选的，步骤6中所述损失函数L(W)的表达式如下：

一种基于SPDZ安全多方计算的安全验证协作学习方法的系统，包括，

特征提取单元，用于提取数据源在CNN模型预训练中，池化层的激活映射，

秘密分享单元，用于将各个数据源的激活映射和权重向量中的所有元素，在整数域分割为n个份额，并分配给各个数据源；

份额向量单元，用于对接收的激活映射进行遍历，将各个数据源n个激活映射相同位置的元素组成n维份额向量；

协作学习单元，用于将各个数据源在n维份额向量和权重向量上协作学习，得到秘密份额值并将其发送给验证单元；

验证单元，用于采用基于SPDZ的MAC机制对秘密份额值进行验证；

优化单元，用于将通过验证的秘密份额值，输入至CNN模型全连接层，作为训练参数。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供的基于SPDZ安全多方计算的安全验证协作学习方法，各个数据源进行本地预训练并提取激活映射，基于秘密分享将激活映射进行随机分割，随后将份额值分发至其他数据源；各个数据源在接收到的份额值上进行基于SPDZ的协作学习单元，得到协作学习后的秘密份额值广播至各个数据源；为了防止恶意计算保证协作学习结果的正确性，各个数据源在接收到其他方返回的秘密份额值后基于MAC机制进行验证，确保最终协作学习结果的正确性；这样，通过对各数据源提取出的激活映射的秘密分享，以及基于SPDZ的安全计算使得各个数据源在协作学习各个数据源特征数据的同时，又不泄露数据源的原始特征信息，同时保证协作学习结果的正确性。

附图说明

图1为本发明安全验证协作学习方法的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

一种基于SPDZ安全多方计算的安全验证协作学习系统，包括特征提取单元、秘密分享单元、份额向量单元、协作学习单元、验证单元和优化单元。

特征提取单元，用于提取数据源在CNN模型预训练中，池化层的激活映射，

秘密分享单元，用于将各个数据源的激活映射和权重向量中的所有元素，在整数域分割为n个份额，并分配给各个数据源；

份额向量单元，用于对接收的激活映射进行遍历，将各个数据源n个激活映射相同位置的元素组成n维份额向量；

协作学习单元，用于将各个数据源在n维份额向量和权重向量上协作学习，得到秘密份额值，并将秘密份额值发送给验证单元；

验证单元，用于采用基于SPDZ的MAC机制对秘密份额值进行验证；

优化单元，用于将通过验证的秘密份额值，输入至CNN模型全连接层，作为训练参数。

参阅图1，上述基于SPDZ安全多方计算的安全验证协作学习系统的方法，包括以下步骤：

步骤1，各个数据源采用相同的CNN模型进行预训练，提取各个数据源的激活映射；

具体如下：

1.1、模型初始化

各个数据源D_i进行本地CNN模型Net_i的预训练，n个数据源利用Python 的Tensorflow库实现CNN模型的构建，从本地训练数据上构建各个数据源的本地CNN模型。

1.2、特征提取和设置权重向量。

特征提取，在CNN模型Net_i的池化层之后，Net_i都是通过激活函数ReLU 来实现激活映射的特征提取，将CNN模型中l-th层的激活映射表示为

其中，row、col和v分别表示激活映射的行、列和信道的数量。

设置权重向量，各个数据源D_i设置协作学习权重向量θ_i＝{θ_i1,θ_i2,...,θ_in}，

θ_ij值越大，则数据源D_j在D_i模型构建中贡献越大。

步骤2，秘密分享，由于激活映射X_i和权重向量θ_i包含数据源D_i的敏感信息，SPDZ协议采用的秘密分享机制以防止数据泄漏。

将各个数据源的激活映射和权重向量中的所有元素，在整数域分割为n个份额，并将各个元素的n-1份额发送至其它n-1个数据源，具体如下：

2.1，各个数据源D_i拥有一个本地的MAC密钥份额

其中

为系统的MAC密钥，κ为SPDZ的安全参数。

2.2，在l-th池化层后，各个数据源提取到各自的激活映射X_i。在Net_i网络中激活映射X_i和权重向量θ_i中的元素通常在实数域中，这些元素不能直接在使用SPDZ进行编码和操作，因此需要进行预处理。

各个数据源D_i采用一种近似方法使用扩展因子δ将X_i和θ_i中的元素从实数域转换为整数域，其中表示δ近似精度的位数和近似的上界。例如δ＝1000，x'＝δx。

2.3，对激活映射X_i和权重向量θ_i中的所有元素进行基于SPDZ的秘密分享，每一个元素x通过秘密共享将是原始值随机分割为n个份额x⁽ⁱ⁾，具体过程由下式计算所得：

x^(j)＝r_j，(j∈[1,n-1])。其中r_j为随机数，

2.4，各个数据源D_i广播生成的激活映射和权重向量n-1个随机份额X^(j)和θ^(j)到其他的n-1个数据源中。

步骤3，基于SPDZ的协作学习单元，各个数据源对接收的n-1个激活映射元素进行遍历，将n个激活映射相同位置的元素组成n维份额向量，具体如下：

接收到其他数据源分发的激活映射

数据份额后(j∈[1,n])，各个数据源D_i对n个激活映射

进行遍历，将n个

相同位置的元素x⁽ⁱ⁾组成n维份额向量

为激活映射

中相同位置的元素 (j∈[1,n])。

步骤4，将各个数据源在n维份额向量

和权重向量θ_i＝{θ₁,θ₂,...,θ_n}上协作学习，得到秘密份额值

其表达式如下：

秘密份额值

将返回于协作学习后的激活映射

的对应位置元素。

其中，为了计算

需要调用基于SPDZ的乘法计算，对于一个整数

被随机分割为x⁽ⁱ⁾和γ(x)_i，具体过程如下：

4.1、在SPDZ初始化阶段，生成三元组(a,b,c)，其中c＝a·b，三元组中的元素被随机分割为n个份额发至各个数据源；

4.2、各个数据源D_i根据激活映射、权重向量和三元组中元素的份额，分别计算激活映射中元素份额值的掩码μ⁽ⁱ⁾，以及权重向量中元素份额值的掩码ν⁽ⁱ⁾；

μ⁽ⁱ⁾＝x⁽ⁱ⁾-a⁽ⁱ⁾，ν⁽ⁱ⁾＝θ⁽ⁱ⁾-b⁽ⁱ⁾

4.3、数据源D_i将得到的激活映射中元素份额值的掩码，以及权重向量中元素份额值的掩码，分别发送给其它的数据源，各个数据源根据接收到的掩码恢复元素的掩码值；

μ←∑μ⁽ⁱ⁾，ν←∑ν⁽ⁱ⁾

4.3、各个数据源D_i根据激活映射中元素的掩码值，权重向量中元素的掩码值计算乘法结果，得到结果份额z⁽ⁱ⁾←c⁽ⁱ⁾+μb⁽ⁱ⁾+νa⁽ⁱ⁾。

步骤5，验证机制

为了防止恶意敌手对协作学习计算过程正确性的破坏，使用了MAC机制来验证任何计算结果的正确性。为了对各个数据源进行协作学习得到的秘密份额值进行验证，防止恶意计算的出现，采用SPDZ的MAC机制对秘密份额值进行验证：

5.1，针对各个数据源D_i协同一个随机向量

5.2，各个数据源D_i首先为计算结果份额z^(j)绑定随机数d←∑r_j·z^(j)，随后使用本地的MAC密钥α_i对计算结果份额z^(j)进行认证γ(z^(j))_i←α_iz^(j)，并同时将随机数绑定于认证值中得出总认证值γ(c)_i←∑r_j·γ(z^(j))_i，最终计算γ(c)_i与d的认证差值份额η⁽ⁱ⁾←γ(c)_i-α_id；

5.3，数据源D_i广播最终的认证差值份额η⁽ⁱ⁾到其他数据源，计算各个数据源根据自身的认证差值份额η⁽ⁱ⁾和接收到的认证差值份额η⁽ⁱ⁾的和；

如果计算结果

则计算过程存在错误计算，各个数据源计算终止，执行步骤4；

否则，返回各个数据源的最终计算结果z＝μν+∑z⁽ⁱ⁾＝μν+c+μb+νa＝x·θ，输出协作学习单元后激活映射

作为Net_i全连接层的参数训练的输入。

采用验证机制对协作学习进行认证，保护SPDZ协议传输的激活映射和协作学习结果免受恶意敌手的攻击，解决了隐私泄露的问题。

步骤6，本地模型目标函数最优化

各个数据源D_i在协作学习单元后激活映射

进行Net_i网络全连接层的参数训练，协作学习的目标是实现最小化损失函数L(W)，在数据源D_i上W_i是Net_i的参数，L(W_i)是Net_i的损失函数，将协作学习的损失函数定义为：

本发明提供的基于SPDZ安全多方计算的安全验证协作学习方法，针对一个数据源存储有限的数据且需要进行卷积神经网络(CNN)模型的构建。由于数据量的限制，在有限的训练数据上构建CNN模型存练过程欠拟合的问题。因此，有必要通过相互交换数据表示来构建协作学习：在各个数据源协作构建CNN模型时，首先，在各自本地训练数据上预训练本地CNN模型；随后，使用预训练模型在本地训练数据上提取参数，提取的知识表示为激活映射(Activation maps)；接着，提取的知识在各个数据源间进行分享；由于提取的知识包含训练数据集的原始信息，因此考虑到数据安全问题，采用安全可验证的分布式协作学习方法，提高隐私的保护性。

本发明从多个数据源提取的知识中进行基于SPDZ的协作学习，克服了数据有限的数据源上构造CNN模型而造成的数据隔离，基于SPDZ的数据分享和安全多方计算有利于在多数据源场景中实现隐私保护；其次，利用SPDZ中消息认证码(MAC)技术，设计了基于SPDZ的协作学习单元并进行认证，克服了现有隐私保护机器学习技术中无法对计算结果进行验证而导致的恶意计算，计算结果正确性无法保证，以及训练模型偏离的缺陷，实现了可验证的隐私保护协作学习。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于SPDZ安全多方计算的安全验证协作学习方法，其特征在于，包括以下步骤：

步骤1、各个数据源采用相同的CNN模型进行预训练，提取各个数据源的激活映射；

步骤2、将各个数据源的激活映射和权重向量中的所有元素，在整数域分割为n个份额，并将各个元素的n-1份额发送至其它n-1个数据源；

步骤3、各个数据源对接收的n-1个激活映射元素进行遍历，将n个激活映射相同位置的元素组成n维份额向量；

步骤4、将各个数据源在n维份额向量和权重向量上协作学习，得到秘密份额值；

步骤5、采用基于SPDZ的MAC机制对秘密份额值进行验证；

所述验证过程如下：

5.1、各个数据源协同一个随机向量

5.2、各个数据源D_i为接收到的结果份额z^(j)绑定随机数d←∑r_j·z^(j)，然后使用数据源D_i的本地MAC密钥α_i对结果份额z^(j)进行认证，并得到认定值γ(z^(j))_i←α_iz^(j)，同时将随机数绑定于认证值中得到总认证值γ(c)_i←∑r_j·γ(z^(j))_i，最终计算总认证值γ(c)_i与随机数d的认证差值份额η⁽ⁱ⁾←γ(c)_i-α_id；

5.3、将每个数据源的认证差值份额η⁽ⁱ⁾发送到其它数据源，计算各个数据源根据自身的认证差值份额和接收到的认证差值份额的和；

当任一数据源的计算结果不等于0，则各个数据源终止计算，执行步骤4；否则，输出协作学习结果；

步骤6、将通过验证的秘密份额值，作为本地CNN模型全连接层的训练参数，对损失函数最小化，实现CNN模型最优。

2.根据权利要求1所述的一种基于SPDZ安全多方计算的安全验证协作学习方法，其特征在于，步骤1中，在CNN模型Net_i的池化层之后，通过激活函数ReLU提取激活映射

其中，row、co、v分别表示激活映射的行、列和信道的数量。

3.根据权利要求1所述的一种基于SPDZ安全多方计算的安全验证协作学习方法，其特征在于，步骤2中所述份额x⁽ⁱ⁾的表达式如下：

x^(j)＝r_j，(j∈[1,n-1])

其中，r_j为随机数。

4.根据权利要求1所述的一种基于SPDZ安全多方计算的安全验证协作学习方法，其特征在于，步骤3中所述份额向量的表达式如下：

其中，

为激活映射，(j∈[1,n])。

5.根据权利要求4所述的一种基于SPDZ安全多方计算的安全验证协作学习方法，其特征在于，步骤4中所述秘密份额值的表达式如下：

其中，权重向量为θ_i＝{θ₁,θ₂,...,θ_n}，

z⁽ⁱ⁾为结果份额。

6.根据权利要求5所述的一种基于SPDZ安全多方计算的安全验证协作学习方法，其特征在于，所述结果份额z⁽ⁱ⁾的计算过程如下：

S1、在SPDZ初始化阶段，生成三元组(a,b,c)，其中c＝a·b，三元组中的元素被随机分割为n个份额，并发至各个数据源D_i；

S2、各个数据源D_i根据激活映射、权重向量和三元组中元素的份额，分别计算激活映射中元素份额值的掩码，以及权重向量中元素份额值的掩码；

S3、数据源D_i将得到的激活映射中元素份额值的掩码，以及权重向量中元素份额值的掩码，分别发送给其它的数据源，各个数据源根据接收到的掩码恢复元素的掩码值；

S4、根据元素的掩码值计算出结果份额z⁽ⁱ⁾。

7.根据权利要求6所述的一种基于SPDZ安全多方计算的安全验证协作学习方法，其特征在于，所述结果份额z⁽ⁱ⁾的表达式：

z⁽ⁱ⁾←c⁽ⁱ⁾+μb⁽ⁱ⁾+νa⁽ⁱ⁾

其中，μ为激活映射中元素掩码，ν为权重向量中元素掩码。

8.根据权利要求1所述的一种基于SPDZ安全多方计算的安全验证协作学习方法，其特征在于，步骤6中所述损失函数L(W)的表达式如下：

s.t.W_i∈Net_i

9.一种采用权利要求1-8任一项所述的基于SPDZ安全多方计算的安全验证协作学习方法的系统，其特征在于，包括，

特征提取单元，用于提取数据源在CNN模型预训练中，池化层的激活映射，

秘密分享单元，用于将各个数据源的激活映射和权重向量中的所有元素，在整数域分割为n个份额，并分配给各个数据源；

份额向量单元，用于对接收的激活映射进行遍历，将各个数据源n个激活映射相同位置的元素组成n维份额向量；

协作学习单元，用于将各个数据源在n维份额向量和权重向量上协作学习，得到秘密份额值并将其发送给验证单元；

验证单元，用于采用基于SPDZ的MAC机制对秘密份额值进行验证；

优化单元，用于将通过验证的秘密份额值，输入至CNN模型全连接层，作为训练参数。

Images