CN110490128A - 一种基于加密神经网络的手写识别方法 - Google Patents

Abstract

本发明提出了一种基于加密神经网络的手写识别方法，包括以下步骤：步骤1：对特征数据和标签数据进行预处理；步骤2：构建深度学习模型，训练超参数；步骤3：同态加密预处理过的数据；步骤4：改进矩阵点乘和激活函数，构建加密神经网络；步骤5：利用加密神经网络进行分类识别，通过将同态加密算法和神经网络模型进行结合，可以实现对数据隐私的保护，防止数据信息的泄露，本方法主要应用于信息安全与人工智能交叉领域。

Description

一种基于加密神经网络的手写识别方法

技术领域

本发明涉及一种图像识别方法，具体的说是一种手写识别方法，属于信息安全和人工智能交叉领域。

背景技术

当今机器学习发展迅猛，各大研究领域都在试图用机器学习技术来实习人工智能。但是，将机器学习技术应用于一个涉及医疗、金融或其他敏感数据的问题时，我们不仅要求其具有精准的预测能力，还要关注到数据的隐私性和安全性。法律和道德上也许会禁止将其应用在这些场景中。

现有的机器学习技术是无法对加密的数据的进行处理，而同态加密算法可以直接对密文结果进行特定的四则运算，得到的结果虽然还是密文形式，但解密之后的结果与对明文操作的结果一样。如果同态加密算法只支持加法运算，那就是加法同态加密；若只支持乘法运算的，那就是乘法同态加密；如果两者都支持，就是全同态加密。为了获得精准的预测，神经网络是很好的一个选择，它在近几年各种各样的学习任务中表现出显著的潜力。

加密神经网络的组成部分包括同态加密和神经网络，它是在密文上进行训练或测试的神经网络模型。

本发明就是首先训练好一个最优的神经网络模型，例如使用一系列未加密的数据训练过的神经网络。数据拥有者将自己的数据以密文形式发送给训练好的神经网络，神经网络通过预测，将密文结果返回给解密它们的密钥拥有者那里，密钥拥有者利用私钥解密得到分类结果。

发明内容

本发明的目的是提供一种基于加密神经网络的手写识别方法，通过将同态加密算法和神经网络模型进行结合，可以实现对数据隐私的保护，防止数据信息的泄露。

本发明的目的是这样实现的：一种基于加密神经网络的手写识别方法，包括以下步骤：

步骤1：对特征数据和标签数据进行预处理；

步骤2：构建深度学习模型，训练超参数；

步骤3：同态加密预处理过的数据；

步骤4：改进矩阵点乘和激活函数，构建加密神经网络；

步骤5：利用加密神经网络进行分类识别。

作为本发明的进一步限定，步骤1中预处理的方法具体包括：对特征数据进行z-score标准化处理，

特征数据在未处理时有各种不同的取值范围，有些特征是较小的浮点数，有些特征是相对较大的整数；

其中，X_i表示特征数据，m表示特征数据的大小，E(X)表示所有特征数据的平均值，D(X)是表示特征数据的方差，X^*表示标准化处理后的特征数据；

将数据输入网络之前，需要对每个特征数据分别做标准化，使其均值为0，标准差为1；

步骤1-2：对标签数据进行one-hot编码方式处理，标签的one-hot编码就是将每个标签标示为全零向量，只有标签索引对应的元素为1。

作为本发明的进一步限定，步骤2构建深度学习模型，具体包含如下步骤：

步骤2-1：构建前馈神经网络结构；

步骤2-2：通过前向传播公式，计算各个层的神经元的激活值：

z^(l)＝W^(l)·a^(l-1)+b^(l)

a^(l)＝f_l-1(z^(l))

其中，l表示神经网络的第l层，z^(l)表示l层神经元的净输入(净活性值)，W^(l)表示第l-1层到第l层的权重矩阵，a^(l)表示l层神经元的输出(活性值)，b^(l)表示第l-1层到第l层的偏置，f_l(·)表示l层神经元的激活函数；

步骤2-3：定义损失函数来表示神经网络性能的指标，对于样本(x,y)，其损失函数为：

其中x是输入的特征数据，y∈{0,1}为标签y对应的one-hot向量表示的；

步骤2-4：通过反向传播来回迭代更新参数，使其得到最优参数，反向传播过程通过随机梯度下降法进行更新权重W和偏置b，

将预处理后的数据代入神经网络中，循环执行上述过程，直到迭代结束，确定出最好的参数，训练出最优的神经网络模型。

作为本发明的进一步限定，步骤3中同态加密算法加密数据，具体包含如下步骤：

步骤3-1：初始化；

3-1-1)选择k＝k(k,L)比特的一个模q，Z上的错误分布x＝x(k,L)

n＝n(k,L)∈N

m＝m(k,L)＝O(nlog(q))

其中，n和m为参数；

3-1-2)令N＝(n+1)·l；

3-1-3)输出：params＝(n,q,x,m)；

其中，k为一个安全参数，L为Leveled FHE方案的层级数；

步骤3-2：密钥生成；

3-2-1)均匀选取

3-2-2)均匀选取随机公共矩阵和一个错误向量e←x^m；

3-2-3)计算向量并构造矩阵特别地，有

3-2-4)返回私钥sk←s和公钥pk←A；

步骤3-3：加密过程；

3-3-1)G为(n+1)×N维的工具矩阵，并均匀选取一个随机矩阵R←{0,1}^m×n；

3-3-2)计算并生成密文μ∈{0,1}；

步骤3-4：解密过程；

3-4-1)输入私钥令I满足q/4＜2^I-1≤q/2。令C_I为C的第I列；

3-4-2)在(-q/2,q/2]范围内计算并且有

C^Ts＝μG^Ts+R^TAs＝μ(1,2,4,…)^T+R^Te(modq)

其中，C的第I列对应于选择该向量的第I个坐标，即

3-4-3)输出如果|x|＜2^I-2≤q/4则返回0，如果|x|＞2^I-2则返回1；

3-5：同态加密算法Add(C₁,C₂)

3-6：同态乘法算法Mult(C₁,C₂)

C₁G^-1(C₂)＝(μ₁G+A^TR₁)G^-1(C₂)

＝μ₁C₂+A^TR₁G^-1(C₂)

＝μ₁μ₂G+A^TR₁G^-1(C₂)+μ₁A^TR₂

＝μ₁μ₂G+A^T(R₁G^-1(C₂)+A^TR₂)。

作为本发明的进一步限定，步骤4中构建加密神经网络的具体方法为：

步骤4-1：矩阵点乘；

前馈神经网络涉及的矩阵点乘公式如下：

向量形式表示为：

A^(l)＝W^(l)X+B^(l)

其中代表前一层的输入，代表权重，x₁为输入，为偏置，A^(l)、X、W^(l)和B^(l)为对应的矩阵向量形式；

X是加密过的数据，即密文，W是明文；

步骤4-2：激活函数；

选用Tanh函数作为激活函数，Tanh函数值域是(-1，1)；

采用泰勒展开式的方法来取近似Tanh函数，使其满足同态性；

其中f表示激活函数；

对前馈神经网络的矩阵点乘和激活函数进行改进，使其保持同态性，那么改进后的前馈神经网络可以对同态加密的数据进行分类预测，则此时的网络可称为加密神经网络。

作为本发明的进一步限定，步骤5的具体识别方法为：由以上得到训练好的参数用于构建加密神经网络模型，该模型对同态加密过后的数据进行预测，由于手写识别为0～9的图像数据集，所以神经网络的输出层的神经元的个数为10，那么可以输出对应的10个值，即预测值：

y＝[y₁,y₂,y₃,y₄,y₅,y₆,y₇,y₈,y₉,y₁₀]

标签数据t为one-hot编码形式，所以每个标签数据也有10个值。那么，找出预测值y和t中对应最大值的索引位置，如果两个索引位置相同则视为一次正确的预测。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1)本发明所提出的方法可以对加密的数据进行分类识别；

2)本发明所提出的方法可以很好的保护用户的隐私性和安全性；

3)本发明所提出的方法采用前馈神经网络，使分类结果更精准。

附图说明

图1是本发明中前馈神经网络的结构图。

图2是本发明整个方案系统图。

具体实施方式

如图2所示的一种基于加密神经网络的手写识别方法，包含以下步骤：

步骤1：对特征数据和标签数据进行预处理；

步骤2：构建深度学习模型，训练超参数；

步骤3：同态加密预处理过的数据；

步骤4：改进矩阵点乘和激活函数，构建加密神经网络；

步骤5：利用加密神经网络进行分类识别。

步骤1中数据预处理具体包含如下步骤。

A1：对特征数据进行z-score标准化处理；

特征数据在未处理时有各种不同的取值范围，有些特征是较小的浮点数，有些特征是相对较大的整数；

其中，X_i表示特征数据，m表示特征数据的大小，E(X)表示所有特征数据的平均值，D(X)是表示特征数据的方差，X^*表示标准化处理后的特征数据；

将数据输入网络之前，需要对每个特征数据分别做标准化，使其均值为0，标准差为1；标准化的好处有三个：1)、可以提升模型的收敛速度；2)、可以提升模型的精度；3)、深度学习中数据归一化可以防止模型梯度爆炸。

A2：对标签数据进行one-hot编码方式处理；one-hot编码是分类数据广泛使用的一种格式，也叫分类编码；标签的one-hot编码就是将每个标签标示为全零向量，只有标签索引对应的元素为1。

步骤2中构建深度学习模型具体包含如下步骤。

B1：首先构建前馈神经网络结构；在前馈神经网络中，各神经元分别属于不同的层。每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐藏层。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示，如图1所示。

B2：建立前馈神经网络前向传播过程；

前馈神经网络通过下面公式进行信息传播，

z^(l)＝W^(l)·a^(l-1)+b^(l)

a^(l)＝f_l-1(z^(l))

其中，l表示神经网络的第l层，z^(l)表示l层神经元的净输入(净活性值)，W^(l)表示第l-1层到第l层的权重矩阵，a^(l)表示l层神经元的输出(活性值)，b^(l)表示第l-1层到第l层的偏置，f_l(·)表示l层神经元的激活函数；

这样，前馈神经网络可以通过逐层的信息传递，得到网络最后的输出a^(L)(L表示神经网络的层数)。整个网络可以看作一个复合函数将向量x作为第l层的输入a⁽⁰⁾，将第L层的输出a^(L)作为整个函数的输出；

其中，W和b表示网络中所有层的连接权重和偏置。

B3：定义合适的损失函数；

神经网络学习中所用的指标称为损失函数，损失函数是表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据的不一致；对于输出概率值的模型，交叉熵往往是最好的选择，交叉熵是来自信息论领域的概念，用于衡量概率分布之间的距离，对于样本(x,y)，其损失函数为：

其中x是输入的特征数据，y∈{0,1}为标签y对应的one-hot向量表示的。

B4：建立前馈神经网络反向传播过程。第l层的一个神经元的误差项(或敏感性)是所有与该神经元相连的第l+1层的神经元的误差项的权重和。然后，再乘上该神经元激活函数的梯度；

然后计算误差项，我们用δ^(l)来定义第l层神经元的误差项：

那么对于输出层(n层)，误差的计算公式如下：

对于其他n＝n₁,n₂,…n_i网络层，误差可按如下公式计算：

最后，计算偏导数值：

并且需要更新参数：

其中α为学习率。

步骤3中同态加密算法加密数据具体包含如下步骤。

C1：初始化；

1)、选择k＝k(k,L)比特的一个模q，Z上的错误分布x＝x(k,L)

n＝n(k,L)∈N

m＝m(k,L)＝O(nlog(q))

其中，n和m为参数；

2)、令N＝(n+1)·l；

3)、输出：params＝(n,q,x,m)；

其中，k为一个安全参数，L为Leveled FHE方案的层级数。

C2：密钥生成；

1)、均匀选取

2)、均匀选取随机公共矩阵和一个错误向量e←x^m；

3)、计算向量并构造矩阵特别地，有

4)、返回私钥sk←s和公钥pk←A。

C3：加密过程；

1)、G为(n+1)×N维的工具矩阵，并均匀选取一个随机矩阵R←{0,1}^m×n；

2)、计算并生成密文μ∈{0,1}。

C4：解密过程；

1)、输入私钥令I满足q/4＜2^I-1≤q/2；令C_I为C的第I列；

2)、在(-q/2,q/2]范围内计算并且有

C^Ts＝μG^Ts+R^TAs＝μ(1,2,4,…)^T+R^Te(modq)

其中，C的第I列对应于选择该向量的第I个坐标，即

3)、输出因此，如果|x|＜2^I-2≤q/4则返回0，如果|x|＞2^I-2则返回1。

C5：同态加密算法Add(C₁,C₂)；

C6：同态乘法算法Mult(C₁,C₂)；

C₁G^-1(C₂)＝(μ₁G+A^TR₁)G^-1(C₂)

＝μ₁C₂+A^TR₁G^-1(C₂)

＝μ₁μ₂G+A^TR₁G^-1(C₂)+μ₁A^TR₂

＝μ₁μ₂G+A^T(R₁G^-1(C₂)+A^TR₂)。

步骤4中加密神经网络具体包含如下步骤：

本发明是将同态加密算法和神经网络算法相结合，因为单独的神经网络算法是无法对加密的数据进行分类识别的，而同态加密算法是可以实现加法同态和乘法同态。虽然前馈神经网络有较为复杂的结构，但其进行的操作都是类似的，主要包括：1)矩阵点乘；2)激活函数。

D1：矩阵点乘。

前馈神经网络涉及的矩阵点乘公式如下：

向量形式表示为：

A^(l)＝W^(l)X+B^(l)

其中代表前一层的输入，代表权重，x₁为输入，为偏置，A^(l)、X、W^(l)和B^(l)为对应的矩阵向量形式；

X是加密过的数据，即密文，W是明文，则WX就是一个矩阵点乘的操作。所以，神经网络的矩阵点乘就是神经网络自身参数与各个神经元输出的乘法，其中各个神经元的输出是加密过的数据。

D2：激活函数。

这里选用Tanh函数作为激活函数，Tanh函数可以看作是方法并平移的Logistic函数，值域是(-1，1)；

同态加密算法只适合四则运算，即线性运算，而Tanh函数是非线性函数，显然无法应用到同态加密算法中；我们采用泰勒展开式的方法来取近似Tanh函数，使其满足同态性；

其中f表示激活函数。

对前馈神经网络的矩阵点乘和激活函数进行改进，使其保持同态性，那么改进后的前馈神经网络可以对同态加密的数据进行分类预测，则此时的网络可称为加密神经网络。

步骤5中加密神经网络分类识别具体包含如下：

由以上得到训练好的参数用于构建加密神经网络模型，该模型对同态加密过后的数据进行预测；因为手写识别为0～9的图像数据集，所以神经网络的输出层的神经元的个数为10，那么可以输出对应的10个值，即预测值

y＝[y₁,y₂,y₃,y₄,y₅,y₆,y₇,y₈,y₉,y₁₀]

标签数据t为one-hot编码形式，所以每个标签数据也有10个值。那么，找出预测值y和t中对应最大值的索引位置，如果两个索引位置相同则视为一次正确的预测；本发明通过统计所有预测正确的个数与测试集的大小进行相比，就得到当前神经网络的准确率。

下面结合例子对本发明的技术方案做进一步的详细说明：

一种基于加密神经网络的手写识别方法，包括以下步骤：

步骤1：这里采用的数据集是MNIST手写数字图像集，该数据集是由0到9的数字图像构成；训练集有6万张，测试集有1万张，每个图像数据是由28像素×28像素的灰度图像，各个像素的取值，数据集是由特征数据和标签数据组成，每个特征数据的取值在在0到255之间，每个标签数据是对应的每个数字，如“7”，“2”，“1”等。

特征数据在未处理时有各种不同的取值范围，有些特征是较小的浮点数，有些特征是相对较大的整数；所以，对于特征数据进行z-score标准化处理，假设x为特征数据，则

由上面公式可以求出特征数据标准化后的数据为x′；

对标签数据进行one-hot编码方式处理；标签的one-hot编码就是将每个标签标示为全零向量，只有标签索引对应的元素为1；假设标签数据为t，采用one-hot编码后为t′；将数据集分为训练集和测试集，训练集中的特征数据为x_train，标签数据为t_train，测试集中的特征数据为x_test，标签数据为t_test。

步骤2：构建前馈神经网络模型；

首先通过前向传播公式，计算各个层的神经元的激活值：

z^(l)＝W^(l)·a^(l-1)+b^(l)

a^(l)＝f_l-1(z^(l))

其中，这里的激活函数为Tanh函数，需要采用改进后的激活函数来保持同态性，采用泰勒展开式来近似原函数：

定义损失函数来表示神经网络性能的指标，即当前当前的神经网络对监督数据在多大程度上不拟合。这里采用交叉熵损失函数：

通过反向传播来回迭代更新参数，使其得到最优参数。反向传播过程通过随机梯度下降法进行更新权重W和偏置b；

将上述的x_train和t_train代入神经网络中，循环执行上述过程，直到迭代结束，确定出最好的参数，训练出最优的神经网络模型。

步骤3：采用GSW全同态加密算法，通过以下过程生成密钥；

1)、均匀选取并计算

2)、均匀选取随机公共矩阵和一个错误向量e←x^m；

3)、计算向量并构造矩阵特别地，有

4)、返回私钥sk←s和公钥pk←A。

利用公钥pk，对测试集中的特征数据x_test进行同态加密，得到密文形式的特征数据x_test′。将x_test′代入训练好的神经网络模型进行预测，得到标签数据的密文结果t_test′。利用私钥sk对密文结果t_test′进行解密，得到最终的分类结果，完成手写识别的预测。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于加密神经网络的手写识别方法，其特征在于，包括以下步骤：

步骤1：对特征数据和标签数据进行预处理；

步骤2：构建深度学习模型，训练超参数；

步骤3：同态加密预处理过的数据；

步骤4：改进矩阵点乘和激活函数，构建加密神经网络；

步骤5：利用加密神经网络进行分类识别。

2.根据权利要求1所述的一种基于加密神经网络的手写识别方法，其特征在于，步骤1中预处理的方法具体包括：对特征数据进行z-score标准化处理，

特征数据在未处理时有各种不同的取值范围，有些特征是较小的浮点数，有些特征是相对较大的整数；

其中，X_i表示特征数据，m表示特征数据的大小，E(X)表示所有特征数据的平均值，D(X)是表示特征数据的方差，X^*表示标准化处理后的特征数据；

将数据输入网络之前，需要对每个特征数据分别做标准化，使其均值为0，标准差为1；

步骤1-2：对标签数据进行one-hot编码方式处理，标签的one-hot编码就是将每个标签标示为全零向量，只有标签索引对应的元素为1。

3.根据权利要求2所述的一种基于加密神经网络的手写识别方法，其特征在于，步骤2构建深度学习模型，具体包含如下步骤：

步骤2-1：构建前馈神经网络结构；

步骤2-2：通过前向传播公式，计算各个层的神经元的激活值：

z^(l)＝W^(l)·a^(l-1)+b^(l)

a^(l)＝f_l-1(z^(l))

其中，l表示神经网络的第l层，z^(l)表示l层神经元的净输入(净活性值)，W^(l)表示第l-1层到第l层的权重矩阵，a^(l)表示l层神经元的输出(活性值)，b^(l)表示第l-1层到第l层的偏置，f_l(·)表示l层神经元的激活函数；

步骤2-3：定义损失函数来表示神经网络性能的指标，对于样本(x,y)，其损失函数为：

其中x是输入的特征数据，y∈{0,1}为标签y对应的one-hot向量表示的；

步骤2-4：通过反向传播来回迭代更新参数，使其得到最优参数，反向传播过程通过随机梯度下降法进行更新权重W和偏置b，

将预处理后的数据代入神经网络中，循环执行上述过程，直到迭代结束，确定出最好的参数，训练出最优的神经网络模型。

4.根据权利要求3所述的一种基于加密神经网络的手写识别方法，其特征在于，步骤3中同态加密算法加密数据，具体包含如下步骤：

步骤3-1：初始化；

3-1-1)选择k＝k(k,L)比特的一个模q，Z上的错误分布x＝x(k,L)

n＝n(k,L)∈N

m＝m(k,L)＝O(nlog(q))

其中，n和m为参数；

3-1-2)令N＝(n+1)·l；

3-1-3)输出：params＝(n,q,x,m)；

其中，k为一个安全参数，L为Leveled FHE方案的层级数；

步骤3-2：密钥生成；

3-2-1)均匀选取

3-2-2)均匀选取随机公共矩阵和一个错误向量e←x^m；

3-2-3)计算向量并构造矩阵特别地，有

3-2-4)返回私钥sk←s和公钥pk←A；

步骤3-3：加密过程；

3-3-1)G为(n+1)×N维的工具矩阵，并均匀选取一个随机矩阵R←{0,1}^m×n；

3-3-2)计算并生成密文

步骤3-4：解密过程；

3-4-1)输入私钥令I满足q/4＜2^I-1≤q/2。令C_I为C的第I列；

3-4-2)在(-q/2,q/2]范围内计算并且有

C^Ts＝μG^Ts+R^TAs＝μ(1,2,4,…)^T+R^Te(mod q)

其中，C的第I列对应于选择该向量的第I个坐标，即

3-4-3)输出如果|x|＜2^I-2≤q/4则返回0，如果|x|＞2^I-2则返回1；

3-5：同态加密算法Add(C₁,C₂)

3-6：同态乘法算法Mult(C₁,C₂)

C₁G^-1(C₂)＝(μ₁G+A^TR₁)G^-1(C₂)

＝μ₁C₂+A^TR₁G^-1(C₂)

＝μ₁μ₂G+A^TR₁G^-1(C₂)+μ₁A^TR₂

＝μ₁μ₂G+A^T(R₁G^-1(C₂)+A^TR₂)。

5.根据权利要求4所述的一种基于加密神经网络的手写识别方法，其特征在于，步骤4中构建加密神经网络的具体方法为：

步骤4-1：矩阵点乘；

前馈神经网络涉及的矩阵点乘公式如下：

向量形式表示为：

A^(l)＝W^(l)X+B^(l)

其中代表前一层的输入，代表权重，x₁为输入，为偏置，A^(l)、X、W^(l)和B^(l)为对应的矩阵向量形式；

X是加密过的数据，即密文，W是明文；

步骤4-2：激活函数；

选用Tanh函数作为激活函数，Tanh函数值域是(-1，1)；

采用泰勒展开式的方法来取近似Tanh函数，使其满足同态性；

其中f表示激活函数；

对前馈神经网络的矩阵点乘和激活函数进行改进，使其保持同态性，那么改进后的前馈神经网络可以对同态加密的数据进行分类预测，则此时的网络可称为加密神经网络。

6.根据权利要求5所述的一种基于加密神经网络的手写识别方法，其特征在于，步骤5的具体识别方法为：由以上得到训练好的参数用于构建加密神经网络模型，该模型对同态加密过后的数据进行预测，由于手写识别为0～9的图像数据集，所以神经网络的输出层的神经元的个数为10，那么可以输出对应的10个值，即预测值：

y＝[y₁,y₂,y₃,y₄,y₅,y₆,y₇,y₈,y₉,y₁₀]

标签数据t为one-hot编码形式，所以每个标签数据也有10个值。那么，找出预测值y和t中对应最大值的索引位置，如果两个索引位置相同则视为一次正确的预测。