CN113642717B - 一种基于差分隐私的卷积神经网络训练方法 - Google Patents

Abstract

本发明公开了一种基于差分隐私的卷积神经网络训练方法，首先给定图像数据集，创建卷积神经网络模型，随机初始化卷积神经网络模型的参数，从图像数据集中随机取样输入至卷积神经网络模型中，对样本数据进行卷积操作得到特征图，由池化操作得到降维处理后的特征，对特征添加服从拉普拉斯分布的噪声，得到经过差分隐私保护的特征；具有差分隐私保护的特征在卷积神经网络模型中进行训练，计算隐私预算，得到最优模型参数，保存训练好的具有最优模型参数的差分隐私卷积神经网络模型；将需要保护的数据输入到所训练好的差分隐私卷积神经网络模型中，得到差分隐私保护后的数据。本发明解决了现有技术中存在的会使训练模型的精度降低或者梯度失真问题。

Description

一种基于差分隐私的卷积神经网络训练方法

技术领域

本发明属于信息安全技术领域，具体涉及一种基于差分隐私的卷积神经网络训练方法。

背景技术

大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展，深度学习(DeepLearning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络、深度置信网络和递归神经网络等。随着深度学习的不断发展，深度学习技术已经在各种数据挖掘任务中取得了令人瞩目的成果，如计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等。

卷积神经网络(Convolution Neural Network,CNN)在许多机器学习问题中均表现出出色的性能。卷积神经网络的一个处理步骤通常称为一层，卷积层、池化层和全连接层是卷积神经网络架构的三种主要类型的层。卷积层是卷积神经网络使用的主要构造块，卷积层进行的处理就是卷积运算。CNN中将卷积层的输入数据称为输入特征图，输出数据称为输出特征图。卷积层的输出特征图经池化层进行向下采样，池化是缩小长、高方向上的运算，减少网络的计算量。在全连接层中，每个神经元接收来自前一层的每个元素的输入，全连接层输出一个长度等于该层神经元数量的向量。

深度学习能够在诸多领域取得显著成果得益于拥有大量的可用于模型训练的数据，然而这些第三方数据源所提供的众包数据通常包含许多的敏感信息，深度学习模型的训练集在数据采集、模型训练等各个环节中均存在隐私泄漏的风险，隐私保护显得尤为重要。例如已经证实基于卷积神经网络的疾病识别分类器可以通过反复查询输出概率来恢复训练数据集中的个人隐私信息。但现有的隐私问题可能会阻碍用户共享其数据，这不利于深度学习的发展。

为了解决这类攻击所带来的问题，基于差分隐私(Differential Privacy,DP)的深度学习模型方法被提出。差分隐私保护是一种基于数据失真的隐私保护技术，其确保数据集中单个记录的变化不会影响查询结果，即使攻击者具有无限背景知识也可以保证相邻数据集的查询具有概率不可区分性。在深度学习领域，为了使深度学习模型满足差分隐私，一种方法是直接对原始数据添加噪声，但这种方法可能会使训练模型的精度严重下降。另一种方式是向梯度中添加噪声，由于这种方法在每次迭代过程中，给梯度添加了同一分布且相同数量的噪声，导致原始梯度过于失真，因此无法完全避免精度下降的问题，且会使得模型的收敛速度很慢。

差分隐私保护技术主要是通过对查询的结果加入噪声来实现的，其参数ε代表隐私保护强度，该参数的分配对保护隐私信息安全起到关键作用，噪声过小会影响隐私保护的强度，噪声过大则会影响数据的可用性，从而会使数据失真，因此，差分隐私保护的研究需要在保证数据可用性的前提下，合理分配隐私预算，提高隐私保护强度。本发明将差分隐私与神经网络相结合，在神经网络的训练过程中首先对卷积池化后的数据加入噪声，再对梯度进行裁剪，继而对梯度加入噪声，在保护数据隐私的同时提高模型的可用性。

发明内容

本发明的目的是提供一种基于差分隐私的卷积神经网络训练方法，解决了现有技术中存在的会使训练模型的精度降低或者梯度失真问题。

本发明所采用的技术方案是，一种基于差分隐私的卷积神经网络训练方法，具体按照以下步骤实施：

步骤1、给定图像数据集D＝{(X₁,y₁),...,(X_j,y_j),...,(X_m,y_m)|j∈(1,m)}，其中X_m表示元素记录，y_m表示元素类别。图像数据看作像素构成的矩阵，图像特征隐藏在像素矩阵中，通过构建卷积神经网络对特征进行处理，通过图像特征对图像进行分类，创建卷积神经网络模型，卷积神经网络模型包含输入层、卷积层、池化层和全连接层，随机初始化卷积神经网络模型的参数θ；

步骤2、从图像数据集D中随机取样，选取n个样本数据，将样本数据输入至卷积神经网络模型中，对样本数据进行卷积操作得到特征图，由池化操作得到降维处理后的特征，对特征添加服从拉普拉斯分布的噪声，得到经过差分隐私保护的特征；

步骤3、将步骤2中得到的具有差分隐私保护的特征，在卷积神经网络模型中进行训练，进行前向传播获取模型预测值，计算损失函数，并对参数求偏导，从而得出梯度值，再对梯度值进行裁剪；

步骤4，计算隐私预算，为裁剪后的梯度加入高斯噪声，并更新参数，直至完成t次迭代；得到最优模型参数，保存训练好的具有最优模型参数的差分隐私卷积神经网络模型；

步骤5，将需要保护的数据输入到步骤4中所训练好的差分隐私卷积神经网络模型中，得到差分隐私保护后的数据。

本发明的特点还在于，

步骤1具体按照以下步骤实施：

步骤1.1、给定图像数据集D＝{(X₁,y₁),...,(X_j,y_j),...,(X_m,y_m)|j∈(1,m)}。创建卷积神经网络模型CNN，包含输入层、两个卷积层、两个最大池化层和一个全连接层，卷积层需要定义的参数如下：卷积核大小为q×q，卷积核个数M，卷积核尺寸A、填充P以及步长S，池化层需要定义池化尺寸k，池化方式为最大池化，随机初始化卷积神经网络模型的参数θ；

其中，数据集D分为W个类，X_m表示数据记录，y_m表示数据真实值，即数据X_m属于哪个类。

步骤2具体按照以下步骤实施：

步骤2.1、设置迭代次数t＝1,2,...,T，从图像数据集D中进行随机取样，选取n_t个样本作为当前迭代的训练样本集D_t，其中n_t代表第t次迭代时的数据集D_t的样本数，θ_t代表第t次迭代时的模型参数，ε_t为第t次迭代时的隐私预算；

步骤2.2、将第t次迭代时的训练样本集D_t的样本输入至卷积神经网络模型中，对输入的数据进行卷积操作得到特征图，再池化操作，对特征图进行向下采样，特征数量会大量减少，得到降维后的特征；

步骤2.3、对步骤2.2中卷积池化之后的特征，添加服从拉普拉斯分布的噪声，得到经过差分隐私保护的四维张量。

步骤3具体按照以下步骤实施：

步骤3.1、将步骤2.3得到的结果继续在卷积神经网络模型中进行前向传播，得到n个模型预测值 代表训练样本集D_t中每个样本属于第W个类的概率；

步骤3.2、根据每个样本的模型预测值以及样本的真实值y_m计算损失函数；

步骤3.3、通过每个样本计算出的损失函数对第t次迭代的模型参数θ_t求偏导，得到当前迭代的模型梯度g_t；

步骤3.4、计算第t次迭代的梯度裁剪阈值C_t；

步骤3.5、将第t次迭代的模型梯度g_t的L2范数||g_t||₂与裁剪阈值C_t进行比较；

步骤3.6、如果模型梯度g_t的L2范数||g_t||₂小于等于裁剪阈值C_t，即||g_t||₂≤C_t，则让模型梯度g_t保持不变；

步骤3.7、如果模型梯度g_t的L2范数||g_t||₂大于裁剪阈值C_t，即||g_t||₂＞C_t，则令模型梯度g_t等于裁剪阈值C_t，即g_t＝C_t；

步骤3.8、根据步骤3.6和步骤3.7中梯度裁剪方法，得到最终裁剪后的梯度

步骤3.4中，裁剪阈值C_t的计算方式为：

其中，n_t表示第t次迭代时的训练样本集D_t的数量，X_i表示训练样本集D_t的一条数据，对训练样本集D_t中所有训练数据的模型梯度g_t求和，C_t-1表示第t-1次迭代的裁剪阈值。

步骤4具体按照以下步骤实施：

步骤4.1、计算当前迭代的隐私预算ε_t；

步骤4.2、对裁剪后的梯度添加高斯噪声，得到含噪声的梯度/>

其中，表示概率密度符合以0为均值、/>为方差的高斯分布的噪声，σ为高斯噪声的噪声规模，为预先设定的超参数，/>表示梯度裁剪阈值，I为指示函数；

步骤4.3、对模型参数进行更新：

其中，θ_t+1表示第t+1次迭代的模型参数，η_t为第t次迭代的学习率；

步骤4.4、判断t是否达到最大迭代次数T，如果是，则θ_t+1为最优模型参数进行输出，否则返回步骤1.2，进行下一次迭代。

步骤4.1中，第t次迭代时的隐私预算ε_t的计算方式为：

其中，ε为总的隐私预算，ε₁为第一次迭代时的隐私预算，T为最大迭代次数。

本发明的有益效果是，本发明在对数据特征添加噪声时并没有采取对输入数据的所有特征值添加噪声的方法，而是在数据经过卷积池化之后，对所得结果添加服从拉普拉斯分布的噪声，这有效减少了扰动数据时的噪声量，在保护隐私的同时能够有效提升模型的实用性。此外，在对模型梯度添加噪声前，首先对梯度进行裁剪，以限制单个样本对梯度的影响，在每一次迭代时计算不同的裁剪阈值，然后对裁剪后的梯度根据不同的隐私预算添加噪声，这进一步控制了噪声对模型精度和收敛速度的影响，从而提高了模型的实用性。

附图说明

图1是本发明基于差分隐私的卷积神经网络训练方法的流程框图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

在卷积网络训练的过程中加入服从拉普拉斯分布或高斯分布的噪声以保护数据的隐私。即首先对经过卷积之后的数据特征添加噪声，然后通过自适应梯度阈值裁剪的方法对梯度添加噪声，在此基础上对模型进行训练，得到具有差分隐私保护的卷积神经网络模型。

针对现有的深度学习隐私保护方法在做分类预测任务时，每次迭代中噪声过多而导致的模型精度下降的问题，本发明的特征加噪及自适应切割阈值的深度学习差分隐私保护方法与现有方法在思路上不同，首先对经过卷积之后的数据特征添加噪声，通过减少添加的噪声量来减少噪声对数据的影响，再通过自适应梯度阈值裁剪的方法对梯度添加噪声，而不是对原始数据添加噪声，经过两次加噪之后，训练出的模型能够具有更高的预测准确率。

本发明一种基于差分隐私的卷积神经网络训练方法，流程图如图1所示，具体按照以下步骤实施：

步骤1、给定图像数据集D＝{(X₁,y₁),...,(X_j,y_j),...,(X_m,y_m)|j∈(1,m)}，其中，数据集D分为W个类，X_m表示数据记录，y_m表示数据真实值，即数据X_m属于哪个类。图像数据看作像素构成的矩阵，图像特征隐藏在像素矩阵中，通过构建卷积神经网络对特征进行处理，通过图像特征对图像进行分类，创建卷积神经网络模型，卷积神经网络模型包含输入层、卷积层、池化层和全连接层，随机初始化卷积神经网络模型的参数θ；

步骤1具体按照以下步骤实施：

步骤1.1、给定图像数据集D＝{(X₁,y₁),...,(X_j,y_j),...,(X_m,y_m)|j∈(1,m)}，创建卷积神经网络模型CNN，包含输入层、两个卷积层、两个最大池化层和一个全连接层，卷积层需要定义的参数如下：卷积核大小为q×q，卷积核个数M，卷积核尺寸A、填充P以及步长S，池化层需要定义池化尺寸k，池化方式为最大池化，随机初始化卷积神经网络模型的参数θ；

其中，数据集分为W个类，X_m表示数据记录，y_m表示数据真实值，即数据X_m属于哪个类。

步骤2、从图像数据集D中随机取样，选取n个样本数据，将样本数据输入至卷积神经网络模型中，对样本数据进行卷积操作得到特征图，由池化操作得到降维处理后的特征，对特征添加服从拉普拉斯分布的噪声，得到经过差分隐私保护的特征；

步骤2具体按照以下步骤实施：

步骤2.1、设置迭代次数t＝1,2,...,T，从图像数据集D中进行随机取样，选取n_t个样本作为当前迭代的训练样本集D_t，其中n_t代表第t次迭代时的数据集D_t的样本数，θ_t代表第t次迭代时的模型参数，ε_t为第t次迭代时的隐私预算；

步骤2.2、将第t次迭代时的训练样本集D_t的样本输入至卷积神经网络模型中，对输入的数据进行卷积操作得到特征图，再池化操作，对特征图进行向下采样，特征数量会大量减少，得到降维后的特征；

步骤2.3、对步骤2.2中卷积池化之后的特征，添加服从拉普拉斯分布的噪声，得到经过差分隐私保护的四维张量。

步骤3、将步骤2中得到的具有差分隐私保护的特征，在卷积神经网络模型中进行训练，进行前向传播获取模型预测值，计算损失函数，并对参数求偏导，从而得出梯度值，再对梯度值进行裁剪；

步骤3具体按照以下步骤实施：

步骤3.1、将步骤2.3得到的结果继续在卷积神经网络模型中进行前向传播，得到n个模型预测值 代表训练样本集D_t中每个样本属于第W个类的概率；

步骤3.2、根据每个样本的模型预测值以及样本的真实值y_m计算损失函数；

步骤3.3、通过每个样本计算出的损失函数对第t次迭代的模型参数θ_t求偏导，得到当前迭代的模型梯度g_t；

步骤3.4、计算第t次迭代的梯度裁剪阈值C_t；

步骤3.5、将第t次迭代的模型梯度g_t的L2范数||g_t||₂与裁剪阈值C_t进行比较；

步骤3.6、如果模型梯度g_t的L2范数||g_t||₂小于等于裁剪阈值C_t，即||g_t||₂≤C_t，则让模型梯度g_t保持不变；

步骤3.7、如果模型梯度g_t的L2范数||g_t||₂大于裁剪阈值C_t，即||g_t||₂＞C_t，则令模型梯度g_t等于裁剪阈值C_t，即g_t＝C_t；

步骤3.8、根据步骤3.6和步骤3.7中梯度裁剪方法，得到最终裁剪后的梯度

步骤3.4中，裁剪阈值C_t的计算方式为：

其中，n_t表示第t次迭代时的训练样本集D_t的数量，X_i表示训练样本集D_t的一条数据，对训练样本集D_t中所有训练数据的模型梯度g_t求和，C_t-1表示第t-1次迭代的裁剪阈值。

步骤4、计算隐私预算，为裁剪后的梯度加入高斯噪声，并更新参数，直至完成t次迭代；得到最优模型参数，保存训练好的具有最优模型参数的差分隐私卷积神经网络模型；

步骤4具体按照以下步骤实施：

步骤4.1、计算当前迭代的隐私预算ε_t；

步骤4.2、对裁剪后的梯度添加高斯噪声，得到含噪声的梯度/>

其中，表示概率密度符合以0为均值、/>为方差的高斯分布的噪声，σ为高斯噪声的噪声规模，为预先设定的超参数，/>表示梯度裁剪阈值，I为指示函数；

步骤4.3、对模型参数进行更新：

其中，θ_t+1表示第t+1次迭代的模型参数，η_t为第t次迭代的学习率；

步骤4.4、判断t是否达到最大迭代次数T，如果是，则θ_t+1为最优模型参数进行输出，否则返回步骤1.2，进行下一次迭代。

步骤4.1中，第t次迭代时的隐私预算ε_t的计算方式为：

其中，ε为总的隐私预算，ε₁为第一次迭代时的隐私预算，T为最大迭代次数。

步骤5、将需要保护的数据输入到步骤4中所训练好的差分隐私卷积神经网络模型中，得到差分隐私保护后的数据。

Claims (3)

1.一种面向图像数据的卷积神经网络差分隐私训练方法，其特征在于，具体按照以下步骤实施：

步骤1、给定图像数据集D＝{(X₁,y₁),...,(X_j,y_j),...,(X_m,y_m)|j∈(1,m)}，其中，数据集D分为W个类，X_m表示数据记录，y_m表示数据真实值，即数据X_m属于哪个类；图像数据看作像素构成的矩阵，图像特征隐藏在像素矩阵中，通过构建卷积神经网络对特征进行处理，通过图像特征对图像进行分类，创建卷积神经网络模型，卷积神经网络模型包含输入层、卷积层、池化层和全连接层，随机初始化卷积神经网络模型的参数θ；

所述步骤1具体按照以下步骤实施：

步骤1.1、给定图像数据集D＝{(X₁,y₁),...,(X_j,y_j),...,(X_m,y_m)|j∈(1,m)}，创建卷积神经网络模型CNN，包含输入层、两个卷积层、两个最大池化层和一个全连接层，卷积层需要定义的参数如下：卷积核大小为q×q，卷积核个数M，卷积核尺寸A、填充P以及步长S，池化层需要定义池化尺寸k，池化方式为最大池化，随机初始化卷积神经网络模型的参数θ；

其中，数据集分为W个类，X_m表示数据记录，y_m表示数据真实值，即数据X_m属于哪个类；

步骤2、从图像数据集D中随机取样，选取n个样本数据，将样本数据输入至卷积神经网络模型中，对样本数据进行卷积操作得到特征图，由池化操作得到降维处理后的特征，对特征添加服从拉普拉斯分布的噪声，得到经过差分隐私保护的特征；

所述步骤2具体按照以下步骤实施：

步骤2.1、设置迭代次数t＝1,2,...,T，从图像数据集D中进行随机取样，选取n_t个样本作为当前迭代的训练样本集D_t，其中n_t代表第t次迭代时的数据集D_t的样本数，θ_t代表第t次迭代时的模型参数，ε_t为第t次迭代时的隐私预算；

步骤2.2、将第t次迭代时的训练样本集D_t的样本输入至卷积神经网络模型中，对输入的数据进行卷积操作得到特征图，再池化操作，对特征图进行向下采样，特征数量会大量减少，得到降维后的特征；

步骤2.3、对步骤2.2中卷积池化之后的特征，添加服从拉普拉斯分布的噪声，得到经过差分隐私保护的四维张量；

步骤3、将步骤2中得到的具有差分隐私保护的特征，在卷积神经网络模型中进行训练，进行前向传播获取模型预测值，计算损失函数，并对参数求偏导，从而得出梯度值，再对梯度值进行裁剪；

所述步骤3具体按照以下步骤实施：

步骤3.1、将步骤2.3得到的结果继续在卷积神经网络模型中进行前向传播，得到n个模型预测值代表训练样本集D_t中每个样本属于第W个类的概率；

步骤3.2、根据每个样本的模型预测值以及样本的真实值y_m计算损失函数；

步骤3.3、通过每个样本计算出的损失函数对第t次迭代的模型参数θ_t求偏导，得到当前迭代的模型梯度g_t；

步骤3.4、计算第t次迭代的梯度裁剪阈值C_t；

步骤3.5、将第t次迭代的模型梯度g_t的L2范数||g_t||₂与裁剪阈值C_t进行比较；

步骤3.6、如果模型梯度g_t的L2范数||g_t|₂|小于等于裁剪阈值C_t，即||g_t||₂≤C_t，则让模型梯度g_t保持不变；

步骤3.7、如果模型梯度g_t的L2范数||g_t||₂大于裁剪阈值C_t，即||g_t||₂＞C_t，则令模型梯度g_t等于裁剪阈值C_t，即g_t＝C_t；

步骤3.8、根据步骤3.6和步骤3.7中梯度裁剪方法，得到最终裁剪后的梯度

步骤4，计算隐私预算，为裁剪后的梯度加入高斯噪声，并更新参数，直至完成t次迭代；得到最优模型参数，保存训练好的具有最优模型参数的差分隐私卷积神经网络模型；

所述步骤4具体按照以下步骤实施：

步骤4.1、计算当前迭代的隐私预算ε_t；

步骤4.2、对裁剪后的梯度添加高斯噪声，得到含噪声的梯度/>

其中，表示概率密度符合以0为均值、/>为方差的高斯分布的噪声，σ为高斯噪声的噪声规模，为预先设定的超参数，/>表示梯度裁剪阈值，I为指示函数；

步骤4.3、对模型参数进行更新：

其中，θ_t+1表示第t+1次迭代的模型参数，η_t为第t次迭代的学习率；

步骤4.4、判断t是否达到最大迭代次数T，如果是，则θ_t+1为最优模型参数进行输出，否则返回步骤1.2，进行下一次迭代；

步骤5，将需要保护的数据输入到步骤4中所训练好的差分隐私卷积神经网络模型中，得到差分隐私保护后的数据。

2.根据权利要求1所述的一种面向图像数据的卷积神经网络差分隐私训练方法，其特征在于，所述步骤3.4中，裁剪阈值C_t的计算方式为：

其中，n_t表示第t次迭代时的训练样本集D_t的数量，X_i表示训练样本集D_t的一条数据，对训练样本集D_t中所有训练数据的模型梯度g_t求和，C_t-1表示第t-1次迭代的裁剪阈值。

3.根据权利要求1所述的一种面向图像数据的卷积神经网络差分隐私训练方法，其特征在于，所述步骤4.1中，第t次迭代时的隐私预算ε_t的计算方式为：

其中，ε为总的隐私预算，ε₁为第一次迭代时的隐私预算，T为最大迭代次数。