CN112149158A - 一种基于同态加密技术的3d打印多数据库共享优化算法 - Google Patents

Abstract

本发明涉及数据库共享技术领域，公开了一种基于同态加密技术的3D打印多数据库共享优化算法，采用中心驱动多方训练的方式，利用秘密共享算法得到服务器端输入层数据，并分别获取各训练成员对应的迭代次数和服务器对应的中心迭代次数；且各训练成员分别独立累积一阶矩和二阶矩进行模型更新；最后通过使训练成员的迭代次数和中心迭代次数一致，进行多方训练成员训练进度的统一。

Description

一种基于同态加密技术的3D打印多数据库共享优化算法

技术领域

本发明涉及多数据库共享技术领域，具体的说，是一种基于同态加密技术的3D打印多数据库共享优化算法。

背景技术

上世纪八十年代，3D打印技术诞生了。3D打印是一种自下而上的制造方式，也称为增材制造技术，不同于传统的“去除”加工方法。3D打印技术自诞生之日起就受到人们的广泛关注，因此获得了快速发展。近几十年来，3D打印技术已成为人们关注的焦点，在工业设计、建筑、汽车、航空航天、牙科、教育等领域都被应用。但是，在3D打印实施过程中，由于3D打印相关参数太多，在实验过程中无法穷尽所有3D打印参数，并判断这些参数是否能够成型合适的零件，因此需要一种3D打印参数学习和预测的方式实现3D打印参数的预测。

由于3D打印实验成本高昂，由一家企业或单位完成所有实不太可能，因此提出多个数据库共同训练得到更加精准模型参数的技术方案，而此类方案中就涉及到多个数据库之间的保密问题。

发明内容

本发明提供了一种基于同态加密技术的3D打印多数据库共享优化算法，基于使得多个用户既能共享数据库进行联合训练又能保证己方数据的保密性。

本发明通过下述技术方案实现：

本发明公开了一种基于同态加密技术的3D打印多数据库共享优化算法，采用中心驱动多方训练的方式，利用秘密共享算法得到服务器端输入层数据，并分别获取各训练成员对应的迭代次数和服务器对应的中心迭代次数；且各训练成员分别独立累积一阶矩和二阶矩进行模型更新；最后通过使训练成员的迭代次数和中心迭代次数一致，进行多方训练成员训练进度的统一。

参数说明如下：

N为训练成员总数，

Ai、Aj均为训练成员，其中：i＝1,...,N；j＝1,...,N；

C为作为训练的驱动中心的服务器；

X_trAi为训练集；

X_valAi为验证集；

X_teAi为测试集；

X_Ai为训练数据；

Y为label数据的标签；

n_Ai为提取训练集X_trAi的样本个数；

f_Ai为提取训练集X_trAi的特征个数；

batch为批次；

batch_size为每一个批次的样本个数；

T为中心迭代次数；

t_Ai为训练成员Ai对应的迭代次数；

Δt_Ai为样本训练与训练成员Ai的迭代次数差值；

t_Aj为训练成员Aj对应的迭代次数；

Δt_Aj为样本训练与训练成员Aj的迭代次数差值；

batch_begin_now_i为参与训练的成员的起始编号；

batch_end_now_i为参与训练的成员的结尾编号；

batch_begin_i为参与训练的训练样本的起始编号；

batch_end_i为参与训练的训练样本的结尾编号；

K为最终参与训练的成员编号集合；

b_Ai为训练成员Ai中参与训练的成员的偏置向量；

W_Ai为训练成员Ai的模型参数，即训练成员Ai中参与训练的成员的权重矩阵；

W_Aj为训练成员Aj的模型参数；

h₀为训练样本梯度；

Δh为服务器输入层的梯度；

Δh_jk为ΔH_j中各个元素，相当于各个训练成员Aj对应的梯度；

ΔH为梯度集合；

ΔH_j为训练成员Aj对应的梯度集合；

m_tAj0为一阶矩的原始值；

m_tAj为一阶矩的优化值；

v_tAj0为二阶矩的原始值；

v_tAj为二阶矩的优化值；

β₁、β₂为超参数。

所述一种基于同态加密技术的3D打印多数据库共享优化算法，具体包括以下步骤。

步骤1：数据对齐和拆分

多个训练成员之间利用PSI协议(Private Set Intersection)进行求交运算得到具有相同ID的数据交集，对数据交集进行编号，分别得到Ai(i＝1,...,N)对应的数据集，且各个数据集中包含训练的label数据，记label数据的标签为Y；

然后，将各个数据集进行拆分得到对应的训练集X_trAi、验证集X_valAi、测试集X_teAi；并提取训练集X_trAi的数据维度、样本个数n_Ai、特征个数f_Ai；i＝1,...,N。

步骤2：通信及网络结构初始化

步骤2.1：初始化：

具体包括以下步骤：

步骤2.1.1：在服务器端确定网络的层数和每层的节点数，以确定深度神经网络的网络结构，并将网络结构分为训练成员内部的网络结构和服务器端的网络结构；

步骤2.1.2：设定每个batch(批次)的样本个数batch_size＝100；

步骤2.1.3：确定服务器及训练成员各自的通信IP地址；

步骤2.1.4：将样本训练的中心迭代次数T初始化为0，即T＝0；

步骤2.1.5：将训练成员Ai的迭代次数t_Ai初始化为0，即t_Ai＝0；

步骤2.1.6：将梯度集合ΔH初始化为空集；

步骤2.1.7：将参与训练的所有成员的始末编号batch_begin_now_i、batch_end_now_i均初始化为0，并初始化模型参数W_Ai和偏置向量b_Ai；

成员的起始编号为batch_begin_now_i；

成员的结尾编号为batch_end_now_i；

步骤2.2：训练成员之间进行通信握手；具体是指：所有参与训练的训练成员将数据维度进行广播，并判断所有训练成员样本个数是否相同；若不相同则返回步骤1重新进行求交运算，若相同则继续进行下一步；

步骤2.3：服务器端与训练成员进行通信握手；具体是指：根据IP地址，服务器C与训练成员Ai进行通信连接，并将该训练成员Ai的网络结构发送给所有的训练成员，同时所有的训练成员将各自的数据维度发送给服务器C。

步骤3：中心驱动多方训练

步骤3.1：更新训练迭代次数

具体是指：服务器C更新中心迭代次数T＝T+1，服务器C将更新后的迭代次数T下发至各训练成员Ai；通过Δt_Ai＝T-t_Ai分别计算得到迭代次数差值Δt_Ai；并更新迭代次数t_Ai，即t_Ai＝T；参与训练的训练样本的始末编号均为batch_begin_i、batch_end_i；

其中，

训练样本的起始编号为batch_begin_i，

且满足batch_begin_i＝batch_size*(T-1)；

训练样本的结尾编号为batch_end_i，

且满足batch_end_i＝batch_size*T。

步骤3.2：利用秘密共享算法得到服务器端输入层数据

具体包括步骤3.2.1-步骤3.2.4。

步骤3.2.1：比较步骤3.1中得到的训练样本的结尾编号batch_end_i与当前的成员的结尾编号batch_end_now_i：若batch_end_now_i<batch_end_i，则令batch_begin_now_i＝batch_begin_i以及batch_end_now_i＝batch_end_i；在根据batch编号读取对应的训练样本，并得到每个batch的训练数据X_Ai和Ai中的label数据的标签Y。

步骤3.2.2：接着通过中心迭代次数T和训练成员Aj对应的迭代次数t_Aj，计算当前样本训练迭代次数与训练成员Aj的迭代次数差值Δt_Aj，即Δt_Aj＝T-t_Aj。

步骤3.2.3：训练成员之间发送训练数据X_Ai和模型参数W_Ai，根据通讯连接状态和数据完整性，设定丢包率和通信最长等待时间门限，当丢包率小于门限并在规定时间内完成秘密分享信息的训练成员作为最终参与训练的成员，成员编号集合K＝{1,...,j,...}，当前训练的参与成员的总数为n；

另一方面，利用秘密共享算法通过训练数据X_Ai和模型参数W_Ai同态相乘计算得到梯度h₀；即：h₀＝(X_A1,...,X_Aj,...)×(W_A1,...,W_Aj,...)；其中，j∈K且j≤N。

需要说明的是，在秘密共享算法运算过程中，将当前的迭代次数t_Aj作为样本数据验证信息，确保每次参与训练的样本数据具有相同的ID。

服务器获得训练数据X_Ai和模型参数W_Ai同态相乘计算得到梯度h₀之前，实际上是需要获得哪些训练成员的数据是需要放到梯度h₀这个公式中的。此时，服务器在计算梯度h₀之前，需要核实一下当前迭代次数T与Aj方计算的t_Aj是不是一样的：如果一样的，说明可以计算；如果不一样，说明Aj方的迭代次数还没有计算到当前迭代次数T这一步来，不能参与此步计算。

步骤3.2.4：将标签Y、梯度h₀、迭代次数差值Δt_Aj发送服务器C。

步骤3.3：服务器模型训练和更新

具体包括步骤3.3.1-步骤3.3.2。

步骤3.3.1：服务器C接收到训练成员Aj发送的标签Y、梯度h₀、迭代次数差值Δt_Aj，验证接收到的训练成员Aj迭代次数t_Aj和步骤3.1中发送的中心迭代次数T是否相同：

若相同则继续执行；

若不同则继续等待训练成员Aj发送正确的梯度h₀和标签Y。

步骤3.3.2：利用激活函数对梯度h₀进行激活，对模型参数W_Aj进行神经网络前向传播，得到相应的损失函数。

具体地，

Sigmoid激活函数

损失函数

其中，激活函数只是将其非线性化，可采用其他激活函数代替。

步骤3.3.3：服务器C采用优化算法对PSI数据交集这一自身模型进行更新，得到服务器输入层的梯度Δh，并将服务器输入层的梯度Δh存储到梯度集合ΔH中。

具体地，

梯度

W是参与训练的模型参数；X是参与训练的训练集；

是指泰勒展开后的预测值；y为标签值；L为损失函数计算得到的error。

步骤3.4：服务器下发梯度

具体是指：

服务器C根据训练成员Aj的迭代次数差值Δt_Aj从梯度集合ΔH中依次选取后Δt_Aj个梯度矩阵组成为训练成员Aj对应的梯度集合ΔH_j，并发送梯度集合ΔH_j至训练成员Aj。

步骤3.5：更新训练成员模型

根据步骤3.4下发的Δt_Aj个梯度，训练成员Aj利用优化算法，更新训练成员Aj内部模型参数W_Aj，

具体方法如下：

A)

B)

C)

D)

E)

F)通过m_tAj0＝m_tAj和v_tAj0＝v_tAj更新一阶矩和二阶矩原始值，

其中：Δh_jk∈ΔH_j；

ΔH_j是训练成员Aj所未计算的梯度集合；

Δh_jk是ΔH_j中各个元素，相当于各个训练成员Aj对应的梯度；

β₁超参数，是一种常数，需调节，一般取值0.01-0.1；

β₂超参数，是一种常数，需调节，一般取值0.95-0.99。

步骤3.6：继续循环执行步骤3.1-步骤3.6，直到完成设定的训练循环次数。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明中各训练成员分别独立累积一阶矩和二阶矩，保证了权重更新的独立性；且部分训练成员通信中断不影响整体训练进度，待通信恢复后还可利用迭代次数更新一阶矩和二阶矩，保证模型参数的准确性和鲁棒性；

(2)本发明通过算法中一阶矩和二阶矩提高了模型的收敛速度，提高了模型参数的自适应的调节能力，降低了超参调节的复杂度；

(3)本发明中服务端更新迭代次数并分发给训练成员，减少了通讯的信息量，降低了通讯时间。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

所用术语：

深度神经网络(Deep Neural Network DNN)：一种包含输入层、多个隐层和输出层的人工神经网络，网络中的每层都由多个独立的神经元组成，相邻两层的神经元之间互相连接，同一层的神经元之间没有连接，每一个连接对应一个权重参数。

秘密共享：参与者分别拥有数据的一部分，通过随机数拆分的方式在保证自身秘密的前提下实现矩阵运算的算法。

训练成员：参与模型联合训练的每个数据拥有者。

垂直切分：ID相同，特征不同的数据。

水平切分：特征相同，ID不同的数据。

PSI协议：Private Set Intersection。

实施例1：

本实施例以数据垂直切分的多方进行联合训练为例，记：Ai、Aj均为为训练成员，N为训练成员总数，i，j＝1,...,N且i≠j；即A1、A2、…、AN为联合训练中的数据所有者。服务器C作为训练的驱动中心。

本实施例具体包括以下步骤。

步骤1：数据对齐和拆分

多个训练成员之间利用PSI协议(Private Set Intersection)进行求交运算得到具有相同ID的数据交集，对数据交集进行编号，分别得到Ai(i＝1,...,N)对应的数据集，且各个数据集中包含训练的label数据，记label数据的标签为Y；

然后，将各个数据集进行拆分得到对应的训练集X_trAi、验证集X_valAi、测试集X_teAi；并提取训练集X_trAi的数据维度、样本个数n_Ai、特征个数f_Ai；i＝1,...,N。

步骤2：通信及网络结构初始化

(2.1)初始化。服务器端确定深度神经网络的结构，即网络的层数和每层的节点数，其中分为训练成员内部的网络结构和服务器端的网络结构。设定每一个batch的样本个数batch_size＝100。确定服务器及训练成员各自的通信IP地址。样本训练的迭代次数T＝0。

训练成员Ai的迭代次数t_Ai初始化为0，即t_Ai＝0，梯度集合ΔH初始化为空集。参与训练的成员起始编号batch_begin_now_i和batch_end_now_i初始化为0，初始化模型参数W_Ai和偏置向量b_Ai。

(2.2)训练成员之间进行通信握手。训练成员将数据维度进行广播，并确认所有训练成员Ai样本个数是否相同，如果n_Ai≠n_Aj，则返回步骤1重新进行求交运算，否则继续进行下一步。

(2.3)服务器端与训练成员进行通信握手。根据IP地址，服务器与训练成员进行通信连接，服务器将训练成员的网络结构发送给所有的训练成员Ai，同时训练成员Ai将各自的数据维度发送给服务器。

步骤3：中心驱动多方训练

(3.1)训练迭代次数更新

中心服务器的整体迭代次数T＝T+1，中心服务器将迭代次数T下发至训练成员Ai。分别计算得到迭代次数差值：Δt_Ai＝T-t_Ai；更新迭代次数：t_Ai＝T。训练成员Ai训练样本起始编号均为batch_begin_i＝batch_size*(T-1)，batch_end_i＝batch_size*T。

(3.2)利用秘密共享算法得到服务端输入层数据

比较3.1中得到的batch_end_i与当前的batch_end_now_i：

若batch_end_now_i<batch_end_i，则令batch_begin_now_i＝batch_begin_i，batch_end_now_i＝batch_end_i。根据batch编号读取对应的训练样本，得到每个batch的训练数据X_Ai和Ai中的label数据Y。

训练成员之间发送训练数据X_Ai和模型参数W_Ai，根据通讯连接状态和数据完整性，设定丢包率和通信最长等待时间门限，当丢包率小于门限，并在规定时间内完成秘密分享信息的训练成员作为最终参与训练的成员，成员编号集合K＝{1,...,j,...}，当前训练的参与成员的总数为n。利用秘密共享算法得到h₀＝(X_A1,...,X_Aj,...)×(W_A1,...,W_Aj,...)，其中，j∈K且j≤N。

在秘密共享算法运算过程中，将当前的迭代次数t_Aj作为样本数据验证信息，确保每次参与训练的样本数据具有相同的ID。

将标签Y、梯度h₀、迭代次数差值Δt_Aj发送服务器

(3.3)服务器模型训练和更新

服务器C接收到训练成员Aj发送的标签Y、梯度h₀、迭代次数差值Δt_Aj，验证接收到的训练成员Aj迭代次数t_Aj和步骤3.1中发送的中心迭代次数T是否相同：如果相同则继续执行，如果不同则继续等待Aj发送正确的h0。利用激活函数对h₀进行激活，对模型进行神经网络前向传播，得到相应的损失函数。服务器C采用优化算法对自身模型进行更新，得到服务器C输入层的梯度Δh，并将Δh存储到梯度集合ΔH中。

(3.4)服务器下发梯度

服务器C根据训练成员Aj的迭代次数差值Δt_Aj从梯度集合ΔH中依次选取后Δt_Aj个梯度矩阵组成为训练成员Aj对应的梯度集合ΔH_j，并发送梯度集合ΔH_j至训练成员Aj。

(3.5)训练成员模型更新

训练成员Aj利用优化算法，更新训练成员内部模型参数，具体方法如下：

A)

B)

C)

D)

E)

F)更新一阶矩和二阶矩原始值：m_tAj0＝m_tAj，v_tAj0＝v_tAj；其中Δh_jk∈ΔH_j。

继续循环执行步骤3.1，直到完成设定的训练循环次数。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (9)

1.一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：采用中心驱动多方训练的方式，利用秘密共享算法得到服务器端输入层数据，并分别获取各训练成员对应的迭代次数和服务器对应的中心迭代次数；且各训练成员分别独立累积一阶矩和二阶矩进行模型更新；最后通过使训练成员的迭代次数和中心迭代次数一致，进行多方训练成员训练进度的统一。

2.根据权利要求1所述的一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：所述中心驱动多方训练，先更新训练迭代次数，接着利用秘密共享算法得到服务器端输入层数据，进行服务器模型训练和更新，并获得训练成员对应的迭代次数与中心迭代次数的迭代次数差值，然后由服务器根据迭代次数差值将对应的梯度集合下发至训练成员，最后更新训练成员模型；循环执行上述操作，直至完成设定的训练循环次数。

3.根据权利要求1或2所述的一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：所述多数据库共享优化算法，具体包括以下步骤：

步骤1：数据对齐和拆分；

步骤2：通信及网络结构初始化；

步骤3：中心驱动多方训练；

其中，所述步骤3具体包括：

步骤3.1：更新训练迭代次数；

步骤3.2：利用秘密共享算法得到服务器端输入层数据；

步骤3.3：服务器模型训练和更新；

步骤3.4：服务器下发梯度；

步骤3.5：更新训练成员模型。

4.根据权利要求3所述的一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：所述步骤3.1具体是指：服务器更新中心迭代次数T＝T+1，服务器将更新后的迭代次数T下发至各训练成员Ai；通过Δt_Ai＝T-t_Ai分别计算得到迭代次数差值Δt_Ai；并更新迭代次数t_Ai，即t_Ai＝T；参与训练的训练样本的始末编号均为batch_begin_i、batch_end_i；

其中，

训练样本的起始编号为batch_begin_i，

且满足batch_begin_i＝batch_size*(T-1)；

训练样本的结尾编号为batch_end_i，

且满足batch_end_i＝batch_size*T。

5.根据权利要求4所述的一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：所述步骤3.2具体包括以下步骤：

步骤3.2.1：比较步骤3.1中得到的训练样本的结尾编号batch_end_i与当前的成员的结尾编号batch_end_now_i：若batch_end_now_i<batch_end_i，则令batch_begin_now_i＝batch_begin_i以及batch_end_now_i＝batch_end_i；在根据batch编号读取对应的训练样本，并得到每个batch的训练数据X_Ai和Ai中的label数据的标签Y；

步骤3.2.2：接着通过中心迭代次数T和训练成员Aj对应的迭代次数t_Aj，计算当前样本训练迭代次数与训练成员Aj的迭代次数差值Δt_Aj，即Δt_Aj＝T-t_Aj；

步骤3.2.3：训练成员之间发送训练数据X_Ai和模型参数W_Ai，根据通讯连接状态和数据完整性，设定丢包率和通信最长等待时间门限，当丢包率小于门限并在规定时间内完成秘密分享信息的训练成员作为最终参与训练的成员，成员编号集合K＝{1,...,j,...}，当前训练的参与成员的总数为n；

另一方面，利用秘密共享算法通过训练数据X_Ai和模型参数W_Ai同态相乘计算得到梯度h₀；即：h₀＝(X_A1,...,X_Aj,...)×(W_A1,...,W_Aj,...)；其中，j∈K且j≤N

步骤3.2.4：将标签Y、梯度h₀、迭代次数差值Δt_Aj发送服务器C。

6.根据权利要求5所述的一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：所述步骤3.3具体包括以下步骤：

步骤3.3.1：服务器C接收到训练成员Aj发送的标签Y、梯度h₀、迭代次数差值Δt_Aj，验证接收到的训练成员Aj迭代次数t_Aj和步骤3.1中发送的中心迭代次数T是否相同：

若相同则继续执行；

若不同则继续等待训练成员Aj发送正确的梯度h₀和标签Y；

步骤3.3.2：利用激活函数对梯度h₀进行激活，对模型参数W_Aj进行神经网络前向传播，得到相应的损失函数；

步骤3.3.3：服务器C采用优化算法对PSI数据交集这一自身模型进行更新，得到服务器输入层的梯度Δh，并将服务器输入层的梯度Δh存储到梯度集合ΔH中；

步骤3.4：服务器C根据训练成员Aj的迭代次数差值Δt_Aj从梯度集合ΔH中依次选取后Δt_Aj个梯度矩阵组成为训练成员Aj对应的梯度集合ΔH_j，并发送梯度集合ΔH_j至训练成员Aj，完成服务器下发梯度的操作；

步骤3.5：根据步骤3.4下发的Δt_Aj个梯度，训练成员Aj利用优化算法，更新训练成员Aj内部模型参数W_Aj，从而更新训练成员模型。

7.根据权利要求6所述的一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：所述步骤3.3.2中激活函数采用Sigmoid激活函数；

即

其中，w是指模型参数；x是指样本数据；

是指泰勒展开后的预测值。

8.根据权利要求7所述的一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：所述步骤3.3.2中损失函数如下：

其中，

是指泰勒展开后的预测；y为标签值。

9.根据权利要求8所述的一种基于同态加密技术的3D打印多数据库共享优化算法，其特征在于：所述步骤3.3.3中梯度Δh计算公式如下：

其中，w是指模型参数；x是指样本数据；

是指泰勒展开后的预测值；y为标签值；L为损失函数计算得到的error。