CN113468592B

CN113468592B - 一种基于深度学习的差分隐私保护方法及装置

Info

Publication number: CN113468592B
Application number: CN202110663663.1A
Authority: CN
Inventors: 杜亚娟; 柯银
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2021-06-15
Filing date: 2021-06-15
Publication date: 2022-05-17
Anticipated expiration: 2041-06-15
Also published as: CN113468592A

Abstract

本发明提供一种基于深度学习的差分隐私保护方法及装置，所述方法包括构建深度学习模型，所述深度学习模型包括初始学习率和多种模型参数；获取第一训练集，并根据所述深度学习模型计算所述第一训练集中训练样本的梯度；根据所述梯度确定梯度累计平方和矩阵；基于所述梯度累计平方和矩阵确定所述多种模型参数的隐私预算以及自适应学习率；对所述梯度进行梯度裁剪，获得多个裁剪梯度；基于隐私预算对所述多个裁剪梯度添加噪声，获得噪声梯度；当所述模型参数的梯度下降次数小于阈值次数时，基于梯度下降公式和所述噪声梯度对所述模型参数进行迭代更新，获得目标深度学习模型。本发明实现在保护深度学习模型隐私的同时保证深度学习模型精度。

Description

一种基于深度学习的差分隐私保护方法及装置

技术领域

本发明涉及差分隐私保护技术领域，具体涉及一种基于深度学习的差分隐私保护方法及装置。

背景技术

近些年来，深度学习技术在各种机器学习都取得了巨大的成功，如信号处理，网络建模等等。深度学习技术的成功是离不开大量的用户数据，通常收集大量的用户数据往往会引发严重的隐私和安全的问题。先前的工作已经证明了数据集中的个人隐私信息可以通过反复查询基于卷积神经网络构建的疾病识别分类器的输出概率来恢复。现在的隐私问题会阻碍用户分享他们的数据，从而阻碍深度学习本身的未来发展。

针对隐私问题，现有技术中提出了基于差分隐私的方法，主要是数据扰动和梯度扰动两类。基于数据扰动的方法会在潜在的敏感信息暴露之前用噪声混淆数据。基于梯度扰动的方法是在训练过程中对梯度添加噪声进行扰动，然而，上述两类方法均会导致训练模型精度下降。因此在现有技术中，为了保证深度学习模型的精度，通常加入的数据扰动和梯度扰动较小，导致差分隐私保护的可靠性较差。

因此设计一种差分隐私保护方法，在保证深度学习模型精度的同时，提高差分隐私保护的可靠性是很有必要的。

发明内容

本发明提供一种基于深度学习的差分隐私保护方法及装置，旨在解决现有技术中存在的差分隐私保护的可靠性较差的技术问题。

一方面，本发明提供了一种基于深度学习的差分隐私保护方法，包括：

构建深度学习模型，所述深度学习模型包括初始学习率和多种模型参数；

获取第一训练集，并根据所述深度学习模型计算所述第一训练集中训练样本的梯度；

根据所述梯度确定梯度累计平方和矩阵；

基于所述梯度累计平方和矩阵确定所述多种模型参数的隐私预算以及自适应学习率；

对所述梯度进行梯度裁剪，获得多个裁剪梯度；

基于隐私预算对所述多个裁剪梯度添加噪声，获得噪声梯度；

当所述模型参数的梯度下降次数小于阈值次数时，基于梯度下降公式和所述噪声梯度对所述模型参数进行迭代更新，获得目标深度学习模型。

在本发明一种可能的实现方式中，所述梯度具体为：

式中，g_t为训练样本x第t次迭代时的梯度；L_t(θ_t,x)为损失函数；θ_t为第t次迭代时的所述模型参数；

为求导符号。

在本发明一种可能的实现方式中，所述梯度累计平方和矩阵为：

式中，G_t为第t次迭代时的所述梯度累计平方和矩阵；m为所述多种模型参数的参数类型总数；

为第i种模型参数的所述梯度累计到第t次迭代的梯度累计平方和；

为第i种模型参数第t-1次迭代的梯度。

在本发明一种可能的实现方式中，所述隐私预算为：

式中，S_t为第t次迭代时的所述梯度累计平方和矩阵的迹；∈_i为第t次迭代时的第i种模型参数的隐私预算；∈为总隐私预算。

在本发明一种可能的实现方式中，所述自适应学习率为：

式中，α_t为第t次迭代时的所述自适应学习率；η为初始学习率；δ为常数。

在本发明一种可能的实现方式中，所述裁剪梯度为：

式中，

为第t次迭代时的所述裁剪梯度；‖g_t‖₂为所述梯度的二范数；C为裁剪范数。

在本发明一种可能的实现方式中，所述噪声梯度为：

式中，

为第t次迭代时的所述噪声梯度；

为第t次迭代时的拉普拉斯噪声。

在本发明一种可能的实现方式中，所述梯度下降公式为：

式中，θ_t为第t次迭代的梯度；θ_t-1为第t-1次迭代的梯度。

在本发明一种可能的实现方式中，所述基于深度学习的差分隐私保护方法还包括：

当所述模型参数的梯度下降次数大于或等于阈值次数时，计算经过所述第一训练集训练后的所述深度学习模型的均方误差；

判断所述均方误差是否小于阈值误差，若小于，则获取第二训练集，并通过所述第二训练集再次对所述深度学习模型进行训练。

另一方面，本发明还提供一种基于深度学习的差分隐私保护装置，所述基于深度学习的差分隐私保护装置备包括：

深度学习模型构建单元，用于构建深度学习模型，所述深度学习模型包括初始学习率和多种模型参数；

梯度确定单元，用于获取第一训练集，并根据所述深度学习模型计算所述第一训练集中训练样本的梯度；

梯度累计平方和矩阵确定单元，用于根据所述梯度确定梯度累计平方和矩阵；

隐私预算以及自适应学习率确定单元，用于基于所述梯度累计平方和矩阵确定所述多种模型参数的隐私预算以及自适应学习率；

梯度裁剪单元，用于对所述梯度进行梯度裁剪，获得多个裁剪梯度；

噪声添加单元，用于基于隐私预算对所述多个裁剪梯度添加噪声，获得噪声梯度；

模型参数更新单元，用于当所述模型参数的梯度下降次数小于阈值次数时，基于梯度下降公式和所述噪声梯度对所述模型参数进行迭代更新，获得目标深度学习模型。

另一方面，本发明提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现上述任一项所述的基于深度学习的差分隐私保护方法。

另一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行上述任一项所述的基于深度学习的差分隐私保护方法中的步骤。

本发明首先根据梯度确定梯度累计平方矩阵，然后基于梯度累计平方和矩阵确定多种模型参数的隐私预算以及自适应学习率，并基于隐私预算对多个裁剪梯度添加噪声，获得噪声梯度，再基于梯度下降公式和噪声梯度对模型参数进行迭代更新。将差分隐私和自适应学习率相结合，根据不同模型参数的梯度迭代速率的快慢将差分隐私自适应地加入,生成目标深度学习模型，实现在保护深度学习模型精度的同时，提高差分隐私保护的可靠性；并且，通过设置自适应学习率还可提高深度学习模型的训练的速度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于深度学习的差分隐私保护方法的一个实施例流程示意图；

图2是本发明实施例提供的判断深度学习模型是否收敛的一个实施例流程示意图；

图3是本发明实施例提供的基于深度学习的差分隐私保护装置的一个实施例结构示意图；

图4是本发明实施例提供的计算机设备的一个实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明提供了一种基于深度学习的差分隐私保护方法及装置，以下分别进行说明。

如图1所示，为本发明实施例提供的基于深度学习的差分隐私保护方法的一个实施例流程示意图，该方法包括：

S101、构建深度学习模型，深度学习模型包括初始学习率和多种模型参数；

其中，在第一次迭代前，初始学习率和多种模型参数可根据经验值进行设定。

S102、获取第一训练集，并根据深度学习模型计算第一训练集中训练样本的梯度；

其中，获取第一训练集具体为：将训练数据随机划分为多个训练集，多个训练集中包括第一训练集。

S103、根据梯度确定梯度累计平方和矩阵；

S104、基于梯度累计平方和矩阵确定多种模型参数的隐私预算以及自适应学习率；

S105、对梯度进行梯度裁剪，获得多个裁剪梯度；

S106、基于隐私预算对多个裁剪梯度添加噪声，获得噪声梯度；

S107、当模型参数的梯度下降次数小于阈值次数时，基于梯度下降公式和噪声梯度对模型参数进行迭代更新，获得目标深度学习模型。

具体地，由于在目标深度学习模型的训练过程中的梯度下降是通过上述S106中的噪声梯度和梯度下降公式进行下降，而噪声梯度是根据不同裁剪梯度所对应的隐私预算确定的，因此，生成的目标深度学习模型加入的噪声是根据不同的裁剪梯度自适应加入的，因此，本发明实施例中训练获得的目标深度学习模型在保证学习精度的同时，提高了差分隐私保护的可靠性。

本发明实施例提供的基于深度学习的差分隐私保护方法，首先根据梯度确定梯度累计平方矩阵，然后基于梯度累计平方和矩阵确定多种模型参数的隐私预算以及自适应学习率，并基于隐私预算对多个裁剪梯度添加噪声，获得噪声梯度，再基于梯度下降公式和噪声梯度对模型参数进行迭代更新，生成目标深度学习模型。将差分隐私和自适应学习率相结合，根据不同模型参数的梯度迭代速率的快慢将差分隐私自适应地加入，以训练获得目标深度学习模型，实现在保护深度学习模型精度的同时，提高差分隐私保护的可靠性；并且，通过设置自适应学习率还可提高深度学习模型的训练的速度。

进一步地，梯度具体为：

式中，g_t为训练样本x第t次迭代时的梯度；L_t(θ_t，x)为损失函数；θ_t为第t次迭代时的模型参数；

为求导符号。

进一步地，梯度累计平方和矩阵为：

式中，G_t为第t次迭代时的梯度累计平方和矩阵；m为多种模型参数的参数类型总数；

为第i种模型参数的梯度累计到第t次迭代的梯度累计平方和；

为第i种模型参数第t-1次迭代的梯度。

进一步地，隐私预算为：

式中，S_t为第t次迭代时的梯度累计平方和矩阵的迹；∈_i为第t次迭代时的第i种模型参数的隐私预算；∈为总隐私预算。

进一步地，自适应学习率为：

式中，α_t为第t次迭代时的自适应学习率；η为初始学习率；δ为常数。

通过上述设置，可对学习率进行自适应调整，提高深度学习模型的收敛速度。

进一步地，裁剪梯度为：

式中，

为第t次迭代时的裁剪梯度；‖g_t‖₂为梯度的二范数；C为裁剪范数。

进一步地，噪声梯度为：

式中，

为第t次迭代时的噪声梯度；

为第t次迭代时的拉普拉斯噪声。

需要说明的是：隐私预算越小，隐私保护越好，但是加入的拉普拉斯噪声就越大，训练数据的可用性就下降了。

因此，通过上述设置，可自适应的向梯度中添加拉普拉斯噪声，减少拉普拉斯噪声对深度学习模型的影响，提高深度学习模型的可靠性。

进一步地，梯度下降公式为：

式中，θ_t为第t次迭代的梯度；θ_t-1为第t-1次迭代的梯度。

通过上述公式，可在迭代次数，即：在模型参数的梯度下降次数小于阈值次数时，不断对模型参数进行迭代更新。

由上述公式可知：根据得到的隐私预算对梯度更新比较快的模型参数加入小噪声，对梯度更新比较慢的模型参数加入大噪声。

进一步地，在本发明的一些实施例中，为了保证训练后的目标深度学习模型的可靠性，如图2所示，在对模型参数进行迭代更新后，基于深度学习的差分隐私保护方法还包括：

S201、当模型参数的梯度下降次数大于或等于阈值次数时，计算经过第一训练集训练后的深度学习模型的均方误差；

S202、判断均方误差是否小于阈值误差，若小于，则获取第二训练集，通过第二训练集再次对深度学习模型进行训练。

通过当均方误差小于阈值误差时，用不同的训练集对深度学习模型进行训练，以保证深度学习模型中所有训练集的均方误差小于阈值误差，可提高目标深度学习模型的可靠性。

另一方面，为了更好实施本发明实施例中的基于深度学习的差分隐私保护方法，在基于深度学习的差分隐私保护方法基础之上，对应的，如图3所示，本发明实施例中还提供一种基于深度学习的差分隐私保护装置，基于深度学习的差分隐私保护装置300包括：

深度学习模型构建单元301，用于构建深度学习模型，深度学习模型包括初始学习率和多种模型参数；

梯度确定单元302，用于获取第一训练集，并根据所述深度学习模型计算所述第一训练集中训练样本的梯度；

梯度累计平方和矩阵确定单元303，用于根据梯度确定梯度累计平方和矩阵；

隐私预算以及自适应学习率确定单元304，用于基于梯度累计平方和矩阵确定多种模型参数的隐私预算以及自适应学习率；

梯度裁剪单元305，用于对梯度进行梯度裁剪，获得多个裁剪梯度；

噪声添加单元306，用于基于隐私预算对所述多个裁剪梯度添加噪声，获得噪声梯度；

模型参数更新单元307，用于当模型参数的梯度下降次数小于阈值次数时，基于梯度下降公式和噪声梯度对模型参数进行迭代更新，获得目标深度学习模型。

本发明实施例还提供一种计算机设备，其集成了本发明实施例所提供的任一种基于深度学习的差分隐私保护装置，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述基于深度学习的差分隐私保护方法实施例中任一实施例中所述的基于深度学习的差分隐私保护方法中的步骤。

如图4所示，其示出了本发明实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、操作用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与操作用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

根据所述梯度确定梯度累计平方和矩阵；

对所述梯度进行梯度裁剪，获得多个裁剪梯度；

为此，本发明实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本发明实施例所提供的任一种基于深度学习的差分隐私保护方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：

根据所述梯度确定梯度累计平方和矩阵；

对所述梯度进行梯度裁剪，获得多个裁剪梯度；

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上对本发明所提供的基于深度学习的差分隐私保护方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。