CN112910624A - 一种基于同态加密的密文预测方法 - Google Patents

Abstract

本发明提供一种基于同态加密的密文预测方法，涉及密文预测技术领域。本发明的方法采用C/S架构即客户端/服务端架构实现，包括数据预处理、密钥生成、同态加密、密文RNN运算、同态解密五个步骤，客户端完成数据预处理、密钥生成、数据同态加密后即可上传到云机器学习端，交由云服务器完成密文预测工作；云机器学习端，先基于已公开数据集完成训练阶段，在接收到用户的密文预测请求时，运行密文RNN运算，将得到的密文结果发送给客户端，客户端进行同态解密得到明文。本发明使用同态加密技术来保障用户隐私，克服了现有机器学习模型只能预测明文数据的不足，从根本上解决隐私保护问题。

Description

一种基于同态加密的密文预测方法

技术领域

本发明涉及密文预测技术领域，尤其涉及一种基于同态加密的密文预测方法。

背景技术

目前很多互联网公司提供了MLaaS(Machine Learning as a Service)的业务。MLaaS模型由云服务商提供，而客户拥有数据，并提交给服务器进行处理。模型处理时不可避免的接触到用户隐私数据，而很多医疗、法律、金融类的数据是要求严格保密的。假设交由本地处理这些数据，又需要有机器学习领域的专家建立模型，以及高性能的计算机。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于同态加密的密文预测方法，构思了一种全新的神经网络使其具有密文数据的处理能力，使用同态加密技术来保障用户隐私，克服了现有机器学习模型只能预测明文数据的不足，从根本上解决隐私保护问题。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于同态加密的密文预测方法，采用C/S架构即客户端/服务端架构实现，客户端完成数据预处理、密钥生成、数据同态加密后即可上传到云机器学习端，交由云服务器完成密文预测工作；云机器学习端，先基于已公开数据集完成训练阶段，在接收到用户的密文预测请求时，运行密文RNN运算，将得到的密文结果发送给客户端，客户端进行同态解密得到明文；具体包括以下步骤：

步骤1：客户端进行数据预处理，完成文本数据集、图像数据集到数字向量的转换，具体步骤为：

步骤1.1：分析数据集，提取出具有影响意义的数据，并做标准化处理；

步骤1.2：对于图像数据，将RGB矩阵切割成向量；对于文本数据，通过词嵌入的自然语言处理技术转换成词嵌入向量；

步骤2：密钥生成，具体步骤为：

步骤2.1：选择同态加密参数，包括明文素数模p、最高幂次r、运算层次深度L、密钥交换列数c、参数

步骤2.2：私钥生成sk＝s，s是在χ上随机均匀选取的向量，参数χ是整数域

上的噪音高斯分布，其值选取尽可能的小；私钥sk则由下式得到

s←χ (1)

其中，←表示随机选取得到；

步骤2.3：公钥生成，随机选取向量

随机选取向量e←χ，其中

是模q的整数多项式域；x是自变量；q是密文多项式的系数模，由m、p、r共同确定；Φ_m(x)是分圆多项式，可分解成ψ(m)个不可约多项式相乘，则公钥pk由下式确定，

pk＝([-as+e]_q，α)＝(pk₀，pk₁) (2)

步骤3：同态加密，用于将明文向量编码成多项式，然后用公钥对其进行加密，然后上传到云机器学习端；具体步骤为：

步骤3.1：明文向量编码成素数多项式

是模p的整数多项式域；

步骤3.2：随机生成噪音多项式e₁←χ、e₂←χ，和多项式系数取(-1，0，1)的多项式u；多项式M乘上一个放大因子q/p，对明文多项式M使用公钥pk加密，得到密文ct，如下式所示，

ct＝([pk₀u+e₁+qM/p]_q，[pk₁u+e₂]_q) (3)

步骤4：云服务器进行密文RNN运算，然后发送给客户端；

使用循环神经网络RNN结构，来完成密文预测；循环神经网络结构由输入层、16个神经元的RNN隐藏层、256个神经元的全连接层和Sigmoid激活输出组成；将网络的具体运算拆解成支持同态运算的向量乘和向量加，具体如下：

(a)同态加法：

设有密文ct₁和ct₂，ct₁＝([pk₀u₁+e₁+qM₁/p]_q，[pk₁u₁+e₂]_q)，ct₂＝([pk₀u₂+e₃+qM₂/p]_q，[pk₁u₂+e₄]_q)，则同态加法后为

ct₁+ct₂＝([pk₀(u₁+u₂)+(e₁+e₃)+q(M₁+M₂)/p]_q，[pk₁(u₁+u₂)+(e₂+e₄)]_q)；

设e₅＝e₁+e₃，e₆＝e₂+e₄，u₃＝u₁+u₂，则同态加法结果ct为

ct＝([pk₀(u₃)+(e₅)+q(M₁+M₂)/p]_q，[pk₁(u₃)+(e₆)]_q) (4)

其中，M₁、M₂分别表示两个明文；

(b)同态乘法：

密文ct₁和ct₂同态乘法后为：

ct₁·ct₂＝a₀+a₁·x+a₂·x² (5)

其中，a₀、a₁、a₂分别表示最后各阶次的系数项；

自定义同态矩阵乘法函数crypt_VecMul(W,X)，输入参数有加密权重矩阵W和密文向量X，首先将W转置得到W^T，然后将X与W^T的每一行相乘的结果求和并存入结果向量R中，最后返回R；

步骤5：客户端进行同态解密，将密文结果解密得到最终的明文数据，具体步骤为：

步骤5.1：使用私钥sk结合密文ct＝(c₀，c₁)，将sk乘上c₁后可得到掩码项aus，与c₀部分相加即可消去这个很大的掩码项，剩下明文和一些很小的噪音项，解密公式总结如下：

[c₀+c₁·sk]_q＝[-aus+eu+e₁+M]_q+[aus+e₂s]_q＝[qM/p+e₁+eu+e₂s]_q (6)

步骤5.2：噪音项e₁、eu、e₂s为小项，予以忽略，所剩的qM/p还原后即为所求明文。

采用上述技术方案所产生的有益效果在于：本发明提供的基于同态加密的密文预测方法，传输的数据以及模型预测的数据都是经过加密的，能够保证用户在使用云机器学习模型预测时，自身的隐私数据不被泄露。

附图说明

图1为本发明实施例提供的基于同态加密的密文预测方法流程图；

图2为本发明实施例提供的RNN网络模型的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例提供一种基于同态加密的密文预测方法，包括数据预处理、密钥生成、同态加密、密文RNN运算、同态解密五个步骤。密钥生成及同态加解密基于C++编写的HELib库，RNN网络模型则是用Python基于TensorFlow2.0框架搭建的。

本实施例所述的方法采用C/S架构(即客户端/服务端架构)的系统实现，客户端完成数据预处理、密钥生成及数据加密和最终的结果解密工作。用户数据集预处理并加密后即可上传到云机器学习端，交由云服务器完成计算量最大的密文预测工作。云机器学习端，需先基于已公开数据集完成训练阶段，在接收到用户的密文预测请求时，运行密文RNN运算，将得到的密文结果发送回给客户端。本实施例的方法具体如下。

步骤1：客户端进行数据预处理，完成文本数据集、图像数据集到数字向量的转换，具体步骤为：

步骤1.1：分析数据集(支持图片、文本数据集)，提取出具有影响意义的数据，并做标准化处理；如用ASSIST学生成绩数据集，往往学生成绩是有意义的，学生姓名可忽略；

步骤1.2：对于图像数据，将RGB矩阵切割成向量；对于文本数据，通过词嵌入的自然语言处理技术转换成词嵌入向量；

步骤2：密钥生成，本实施例使用到了IBM开源同态加密库Helib，具体步骤为：

步骤2.1：选择同态加密参数，包括明文素数模p、最高幂次r、运算层次深度L、密钥交换列数c、参数

(一般取2的幂次)；

步骤2.2：私钥生成sk＝s，s是在χ上随机均匀选取的向量，参数χ是整数域

上的噪音高斯分布，其值选取尽可能的小；私钥sk则由下式得到

s←χ (1)

其中，加粗的符号表示向量，←表示随机选取得到；

步骤2.3：公钥生成，随机选取向量

随机选取向量e←χ，其中

是模q的整数多项式域；x是自变量；q是密文多项式的系数模，由m、p、r共同确定；Φ_m(x)是分圆多项式，可分解成ψ(m)个不可约多项式相乘，则公钥pk由下式确定，

pk＝([-as+e]_q，a)＝(p_k0，pk₁) (2)

步骤3：同态加密，用于将明文向量编码成多项式，然后用公钥对其进行加密，然后上传到云机器学习端；具体步骤为：

步骤3.1：明文向量编码成素数多项式

是模p的整数多项式域；

步骤3.2：随机生成噪音多项式e₁←χ、e₂←χ，和多项式系数取(-1，0，1)的多项式u；多项式M乘上一个放大因子q/p，对明文多项式M使用公钥pk(即步骤2.3中得到的公钥pk)加密，得到密文ct，如下式所示，

ct＝([pk₀u+e₁+qM/p]_q，[pk₁u+e₂]_q) (3)

其中，u是加密时起辅助作用的小的多项式；

步骤4：云服务器进行密文RNN运算，然后发送给客户端；

使用循环神经网络RNN结构，来完成密文预测；如图2所示，循环神经网络结构由输入层(文本数据即嵌入层)、16个神经元的RNN隐藏层、256个神经元的全连接层和Sigmoid激活输出组成，具体实施中，隐藏层和全连接层的神经元个数可以根据实际情况进行调节；将网络的具体运算拆解成支持同态运算的向量乘和向量加，具体如下：

(a)同态加法：

设有密文ct₁和ct₂，ct₁＝([pk₀u₁+e₁+qM₁/p]_q，[pk₁u₁+e₂]_q)，ct₂＝(pk₀u₂+e₃+qM₂/p]_q，[pk₁u₂+e₄]_q)，则同态加法后为

ct₁+ct₂＝([pk₀(u₁+u₂)+(e₁+e₃)+q(M₁+M₂)/p]_q，[pk₁(u₁+u₂)+(e₂+e₄)]_q)；

设e₅＝e₁+e₃，e₆＝e₂+e₄，u₃＝u₁+u₂，则同态加法结果ct为

ct＝([pk₀(u₃)+(e₅)+q(M₁+M₂)/p]_q，[pk₁(u₃)+(e₆)]_q) (4)

其中，M₁、M₂分别表示两个明文；

(b)同态乘法：

密文ct₁和ct₂同态乘法后为：

ct₁×ct₂＝a₀+a₁×x+a₂×x₂ (5)

其中，a₀、a₁、a₂分别表示最后各阶次的系数项；

步骤5：客户端进行同态解密，将密文结果解密得到最终的明文数据，具体步骤为：

步骤5.1：使用私钥sk结合密文ct＝(c₀，c₁)，将sk乘上c₁后可得到掩码项aus，与c₀部分相加即可消去这个很大的掩码项，剩下明文和一些很小的噪音项；以同态加结果为例，c₀即[pk₀(u₃)+(e₅)+q(M₁+M₂)/p]_q，c₁即[pk₁u₃+e₆]_q，消去掩码项pk₀(u₃)代入展开即aus；解密公式总结如下：

[c₀+c₁·sk]_q＝[-aus+eu+e₁+M]_q+[aus+e₂s]_q＝[qM/p+e₁+eu+e₂s]_q (6)

步骤5.2：噪音项e₁、eu、e₂s为小项，予以忽略，所剩的qM/p还原后即为所求明文。

以IMDB影评分析的情感预测为示例，本实施例所述密文预测的实施流程如下：

使用python读取网络电影数据库的IMDB数据集，总共包含5万条影评文本，其积极评论和消极评论各占一半，即各有25000条。首先云服务端要先选择25000条用作训练集，另外25000条用作测试集完成最初的训练工作。

由于影评是文本数据，并且每条影评的长度长短不一，首先要做归一化处理，将句子统一成长度100，不足的补齐，过长的切断，之后需要借助一个大型的词库构建词向量，并采用词嵌入技术将每条影评转换成具有单词关系的嵌入矩阵(维度：sequence、embeding)。这样处理过后的数据即可输入到HERNN模型中进行训练和预测。需指出的是，预测阶段，用户需上传的是加密后的词嵌入矩阵。模型参数设置如下：token词库大小10000，词嵌入维数32维，RNN隐藏单元个数16，dropout率0.35，全连接层大小256，最后sigmoid输出一维结果。

其次客户端的用户如果有新的影评，想要交给云服务端让其预测新影评的情感倾向，则要求客户端先完成密钥生成、数据加密工作。

同态加密部分，需先设定参数p＝1000000513，r＝1，L＝1200，c＝6，m＝2^8，s＝1024(明文槽大小)，然后通过HElib库的sk.GenSeckey()函数生成私钥，再生成公钥pk。

数字向量结合公钥pk通过ea.encrypt()函数编码成Ctxt的密文多项式结构。

数据加密后，用户即可上传给云服务器。云服务器在密文预测RNN网络中，涉及Ctxt密文结构的运算，密文向量乘是调用crypt_VecMul()函数，为了让RNN支持同态运算，本实施例对RNN内部进行修改，采用多项式近似后的激活函数。对于RELU使用0.0012x²+0.5x+52近似；对于Sigmoid激活输出，Sigmoid是输出数值最大的，可以简化成输出给用户解密后的最大值，获得最终的分类预测结果，完成RNN密文运算。

当RNN循环至最后一个序列时，即可得到密文结果，随后云服务端即可将该密文结果发回给客户端。

客户收到密文结果，使用私钥sk调用ea.decrypt()函数解密后softmax输出的最大值即为最终预测结果，即用户对该电影的情感倾向。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (1)

1.一种基于同态加密的密文预测方法，其特征在于：该方法采用C/S架构即客户端/服务端架构实现，客户端完成数据预处理、密钥生成、数据同态加密后即可上传到云机器学习端，交由云服务器完成密文预测工作；云机器学习端，先基于已公开数据集完成训练阶段，在接收到用户的密文预测请求时，运行密文RNN运算，将得到的密文结果发送给客户端，客户端进行同态解密得到明文；具体包括以下步骤：

步骤1：客户端进行数据预处理，完成文本数据集、图像数据集到数字向量的转换，具体步骤为：

步骤1.1：分析数据集，提取出具有影响意义的数据，并做标准化处理；

步骤1.2：对于图像数据，将RGB矩阵切割成向量；对于文本数据，通过词嵌入的自然语言处理技术转换成词嵌入向量；

步骤2：密钥生成，具体步骤为：

步骤2.1：选择同态加密参数，包括明文素数模p、最高幂次r、运算层次深度L、密钥交换列数c、参数

步骤2.2：私钥生成sk＝s，s是在χ上随机均匀选取的向量，参数χ是整数域

上的噪音高斯分布，其值选取尽可能的小；私钥sk则由下式得到

s←χ (1)

其中，←表示随机选取得到；

步骤2.3：公钥生成，随机选取向量

随机选取向量e←χ，其中

是模q的整数多项式域；x是自变量；q是密文多项式的系数模，由m、p、r共同确定；Φ_m(x)是分圆多项式，可分解成ψ(m)个不可约多项式相乘，则公钥pk由下式确定，

pk＝([-as+e]_q，a)＝(pk₀，pk₁) (2)

步骤3：同态加密，用于将明文向量编码成多项式，然后用公钥对其进行加密，然后上传到云机器学习端；具体步骤为：

步骤3.1：明文向量编码成素数多项式

是模p的整数多项式域；

步骤3.2：随机生成噪音多项式e₁←χ、e₂←χ，和多项式系数取(-1，0，1)的多项式u；多项式M乘上一个放大因子q/p，对明文多项式M使用公钥pk加密，得到密文ct，如下式所示，

ct＝([pk₀u+e₁+qM/p]_q，[pk₁u+e₂]_q) (3)

步骤4：云服务器进行密文RNN运算，然后发送给客户端；

使用循环神经网络RNN结构，来完成密文预测；循环神经网络结构由输入层、16个神经元的RNN隐藏层、256个神经元的全连接层和Sigmoid激活输出组成；将网络的具体运算拆解成支持同态运算的向量乘和向量加，具体如下：

(a)同态加法：

设有密文ct₁和ct₂，ct₁＝([pk₀u₁+e₁+qM₁/p]_q，[pk₁u₁+e₂]_q)，

ct₂＝([pk₀u₂+e₃+qM₂/p]_q，[pk₁u₂+e₄]_q)，则同态加法后为

ct₁+ct₂＝([pk₀(u₁+u₂)+(e₁+e₃)+q(M₁+M₂)/p]_q，[pk₁(u₁+u₂)+(e₂+e₄)]_q)；

设e₅＝e₁+e₃，e₆＝e₂+e₄，u₃＝u₁+u₂，则同态加法结果ct为

ct＝([pk₀(u₃)+(e₅)+q(M₁+M₂)/p]_q，[pk₁(u₃)+(e₆)]_q) (4)

其中，M₁、M₂分别表示两个明文；

(b)同态乘法：

密文ct₁和ct₂同态乘法后为：

ct₁·ct₂＝a₀+a₁·x+a₂·x² (5)

其中，a₀、a₁、a₂分别表示最后各阶次的系数项；

自定义同态矩阵乘法函数crypt_VecMul(W,X)，输入参数有加密权重矩阵W和密文向量X，首先将W转置得到W^T，然后将X与W^T的每一行相乘的结果求和并存入结果向量R中，最后返回R；

步骤5：客户端进行同态解密，将密文结果解密得到最终的明文数据，具体步骤为：

步骤5.1：使用私钥sk结合密文ct＝(c₀，c₁)，将sk乘上c₁后可得到掩码项aus，与c₀部分相加即可消去这个很大的掩码项，剩下明文和一些很小的噪音项，解密公式总结如下：

[c₀+c₁·sk]_q＝[-αus+eu+e₁+M]_q+[aus+e₂s]_q＝[qM/p+e₁+eu+e₂s]_q (6)

步骤5.2：噪音项e₁、eu、e₂s为小项，予以忽略，所剩的qM/p还原后即为所求明文。

Images