CN113177630A - 一种针对深度学习模型的数据记忆消除方法和装置 - Google Patents

Abstract

本发明涉及一种针对深度学习模型的数据记忆消除方法和装置。该方法的步骤包括：保存在深度学习模型的初次训练过程中得到的中间模型；在删除数据后对深度学习模型进行重训练时，直接调用在删除数据点之前且与删除数据点最接近的中间模型作为初始化的遗忘模型；利用删除数据点之后的数据对初始化的遗忘模型进行重训练，并衡量删除数据在重训练模型上的残留记忆，当残留记忆降低到能够忽略不计时终止重训练；在重训练结束后，调用保存的中间模型对重训练后的遗忘模型进行拼接，得到最终的遗忘模型。本发明大幅降低了模型服务商提供删除服务需要耗费的时间和算力，也对删除数据提供了隐私保护，同时保证了遗忘数据后模型的高可用性。

Description

一种针对深度学习模型的数据记忆消除方法和装置

技术领域

本发明主要涉及为实现深度神经网络的训练数据隐私保护，提出一种针对深度学习模型遗忘的数据记忆消除方法和装置。

背景技术

以神经网络为代表的深度学习技术带来了人工智能发展的第三次浪潮，显著提升了图像分类，语音识别，自然语言处理的能力，为人们的生产生活方式带来了巨大的便利。训练一个高准确率和高可靠性的模型，往往需要依赖大量的训练数据。这些从大量用户采集而来的数据往往包含用户的隐私或敏感信息。例如，房屋门牌号的图像数据可能会暴露房主的家庭住址、建筑材料和房屋颜色，商场的购物记录数据可能会暴露用户的购物喜好、购物习惯和收入水平。因此，针对模型带来的隐私泄露风险用户可能要求模型服务商将自己的数据从模型中移除。另外，从立法的角度来看，许多国家的法律法规都强调用户有权删除用户的私有数据。因此，除了从训练集中删除用户的隐私数据，模型服务商还必须在已训练完成的模型中移除该数据所带来的影响。

为了删除数据在模型中的影响，最直接的方法是将训练集中的数据删除并在此数据基础上重新训练一个深度学习模型。但是，由于深度学习模型的规模越来越大，每次训练会耗费大量的时间和算力，重训练的方法已不太可行。

发明内容

针对上述问题，本发明提出了一种针对深度学习模型遗忘的数据记忆消除技术，帮助模型服务商大幅缩减了模型遗忘服务所需要的时间及算力开销，帮助数据拥有者高效删除其数据信息，提供了数据隐私保护，并获得具有高可用性的模型。

本发明首先提出时序残留记忆(Temporal Residual Memory,TRM)的概念。通过对模型训练的实验观察，先经过训练的数据随着训练过程的加深，在模型中留下的影响越来越小，并在一定的迭代训练后降低至一个可忽略的程度。本发明采用在两个数据集上同时训练模型来观察删除数据在模型中的残留记忆，并提出了对两个模型学习相同数据后得到的参数变化量作差，对差向量的L1范数进行去趋势波动分析，从而判断何时可以结束重训练。

本发明提出了存储训练过程的中间模型以及模型拼接的技术，在模型初次训练过程中，每训练固定步数后保存一遍当前模型，直到模型训练完毕，这样在遗忘数据进行模型重训练时，可以直接调用中间某个最接近的模型，减少重新训练的开销，并在重新训练结束时，调用保存的模型进行模型拼接，从而大大降低重新训练所带来的时间及算力开销。

本发明包含了时序残留记忆、模型的存储与拼接、向量的范数、去趋势波动分析、最小二乘法等多种技术，从一个训练好的模型中，遗忘特定数据产生的记忆，高效地完成了模型遗忘的操作，保护了遗忘数据的个人隐私，以更高的效率得到可用的遗忘模型。

本发明所采用的技术方案的原理是：数据点在模型训练的过程中留下的记忆随着训练的进行会渐渐变小，于是通过衡量删除数据在重训练模型上的残留记忆，当删除数据点的残留记忆降低到可以忽略不计时，终止重新训练，再利用存储的中间模型以及模型拼接技术，就可以快速地得到遗忘模型。

本发明的技术方案为：

一种针对深度学习模型的数据记忆消除方法，包括以下步骤：

保存在深度学习模型的初次训练过程中得到的中间模型；

在删除数据后对深度学习模型进行重训练时，直接调用在删除数据点之前且与删除数据点最接近的中间模型作为初始化的遗忘模型；

利用删除数据点之后的数据对初始化的遗忘模型进行重训练，并衡量删除数据在重训练模型上的残留记忆，当残留记忆降低到能够忽略不计时终止重训练；

在重训练结束后，调用保存的中间模型对重训练后的遗忘模型进行拼接，得到最终的遗忘模型。

进一步地，所述保存在深度学习模型的初次训练过程中得到的中间模型，包括：

将数据集按训练顺序划分成n个数据片，并且在训练原始模型时，当训练完成每个数据片后都对此时的模型进行存储，即训练完前i个数据片后得到模型M(i)，并将模型的参数提取成向量P(i)，当训练完n个数据片后得到M(n)。

进一步地，所述直接调用在删除数据点之前且与删除数据点最接近的中间模型作为初始化的遗忘模型，包括：

假定需要删除的数据点位于第k个数据片，令原第k个数据片表示为D(k)，删除数据点后第k个数据片表示为Du(k)，其它数据片没有发生变化，取前k-1个数据片训练后保存的模型M(k-1)，令遗忘模型Mu初始化为M(k-1)，将模型的参数提取成向量Pu(k-1)。

进一步地，所述衡量删除数据在重训练模型上的残留记忆，包括：

取遗忘模型在训练数据片D(k+t)前后的模型参数变化量，即Vu(k+t)＝Pu(k+t)-Pu(k+t-1)；

取原始模型在训练数据片D(k+t)前后的模型参数变化量，即令V(k+t)＝P(k+t)-P(k+t-1)；

计算两个变化量的差向量的L1范数，即令Δ(k+t)＝||Vu(k+t)-V(k+t)||₁；通过Δ(k+t)衡量删除数据在重训练模型上的残留记忆。

进一步地，利用去趋势波动分析技术和最小二乘法来分析所述残留记忆是否下降到平稳水平。

进一步地，所述的利用去趋势波动分析技术和最小二乘法来分析所述残留记忆是否下降到平稳水平，包括：

形成序列{Δ(k),Δ(k+1),...,Δ(k+t)}，对其进行去趋势波动分析，得到衰减指数h；

构造要拟合的幂律衰减函数y＝a·x^-h+b，其中(x,y(x))取值为序列{(k,Δ(k)),(k+1,Δ(k+1)),...,(k+t,Δ(k+t))}，并利用最小二乘法求解参数a，b；

求解函数y对x的导函数f＝a·(-h)·x^-h-1，并计算x＝k+t时的导函数p＝f(k+t)，如果最右侧边界的导数的绝对值小于常量ε，则认定序列{Δ(k),Δ(k+1),...,Δ(k+t)}已经趋于稳定，即遗忘模型和原始模型的参数变化量的差距趋于0，终止重训练。

进一步地，所述调用保存的中间模型对重训练后的遗忘模型进行模型拼接，得到最终的遗忘模型，包括：

将剩余数据片(D(k+t+1),...,D(n))上保存的训练结果直接拼接到遗忘模型Mu上，形成最终的遗忘模型Mu，最终模型的参数Pu(n)＝Pu(k+t)+[P(n)-P(k+t)]。

一种采用上述方法的针对深度学习模型的数据记忆消除装置，其包括：

初次训练模块，用于对深度学习模型进行初次训练，并保存在深度学习模型的初次训练过程中得到的中间模型；

重训练模块，用于在删除数据后对深度学习模型进行重训练，进行重训练时直接调用在删除数据点之前且与删除数据点最接近的中间模型作为初始化的遗忘模型；利用删除数据点之后的数据对初始化的遗忘模型进行重训练，并衡量删除数据在重训练模型上的残留记忆，当残留记忆降低到能够忽略不计时终止重训练；

模型拼接模块，用于在重训练结束后，调用保存的中间模型对重训练后的遗忘模型进行拼接，得到最终的遗忘模型。

本发明提供了一种高效的深度学习模型删除数据的技术，既大幅降低了模型服务商提供删除服务需要耗费的时间和算力，也对删除数据提供了隐私保护，同时保证了遗忘数据后模型的高可用性。通过对多种数据集如MNIST、CIFAR-10、SVHN，ImageNet和主流的深度学习模型如ResNet18、RestNet152、VGG16等进行了广泛的实验，本发明得到的遗忘模型既可以移除删除数据点的记忆，同时也保证了遗忘模型的高可用性。

附图说明

图1为本发明方法的技术流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实例，对本发明做进一步详细说明。

本发明主要解决面向保护数据点被遗忘权的机器学习遗忘技术，研究在训练好的模型中消除特定训练数据记忆的方法。在现有的机器学习遗忘技术中，有的需要大量的重训练时间成本，造成了遗忘过程的算力浪费；有的尽管降低了重训练时间，但是将模型拆分成了若干小模型，大大降低了整体模型的高预测准确率。为了解决上述问题，本发明提出了将训练模型的中间过程进行保存，并通过计算删除数据在模型中的残留记忆，以及采用去趋势波动分析降低重训练的开销，最终形成了完整的机器学习数据遗忘技术。本发明在百万级规模数据集(如ImageNet)训练的模型上进行数据点遗忘，在遗忘时间开销、遗忘数据的隐私保护、遗忘模型的高可用性等指标上均高于现有水平。本发明的具体实施及性能评测如下：

1)数据残留记忆度量技术。

本发明提出一种度量删除数据点在原模型的残留记忆的度量技术，主要是比较两个模型在训练一个新的数据片时，两个模型训练后产生的增量的差异大小。具体来讲，模型Ma和Mb具有相同的初始状态以及训练参数，然后令Ma在数据集D上进行训练并提取训练完后的模型参数Pa，Mb在数据集D\{d}(d是删除的数据点)上进行训练并提取训练完后的模型参数Pb，此时加入一个新的数据片Dk，Ma在新数据片上训练并提取训练完后的模型参数Pa’，Mb在新数据片上训练并提取训练完后的模型参数Pb’，两个模型在训练Dk后产生的增量为：

Δa＝Pa′-Pa

Δb＝Pb′-Pb

数据的残留记忆通过两个增量的差异大小来衡量，即两个增量差向量的L1范数，用公式表示为：

TRM＝||Δa-Δb||₁

这个残留记忆随着训练越来越多的新数据片而变的越来越小，当小到一定程度时，就结束重训练。

2)残留记忆平稳度分析技术。

本发明提出了利用去趋势波动分析技术和最小二乘法来分析残留记忆是否下降到平稳水平。首先将加入每个数据片求出的TRM组成一个序列，并用一个幂律衰减函数对其进行拟合，去趋势波动分析可以求出幂律衰减函数的衰减指数h，然后用最小二乘法拟合出衰减函数的参数a，b，幂律衰减函数及其导函数的形式如下：

y＝a·x^-h+b

y′＝a·(-h)·x^-h-1

然后在末位数据片的位置求解导数值，如果导数的绝对值小于ε，则在该数据片上，删除的数据点对此时模型的影响几乎可以忽略不计，从而可以终止重训练过程。

本发明的一个实施例的针对深度学习模型的数据记忆消除方法，包括以下步骤：

1)将数据集按训练顺序划分成n个数据片，并且在训练原始模型original model时，当训练完成每个数据片后都对此时的模型进行一个存储，例如训练完前i个数据片后得到模型M(i)，并将模型的参数提取成向量P(i)，那么当训练完n个数据片后得到M(n)，即original model；

2)假定需要删除的数据点位于第k个数据片，令原第k个数据片表示为D(k)，删除数据点后第k个数据片表示为Du(k)，其它数据片没有发生变化，取前k-1个数据片训练后保存的模型M(k-1)，令遗忘模型Mu初始化为M(k-1)，将模型的参数提取成向量Pu(k-1)；

3)在删除数据点后的数据片Du(k)上训练并更新Mu，将模型的参数提取成向量Pu(k)；

4)设定一个常量ε来判断趋势稳定，通过实验发现ε取为0.01～0.1效果较好；选定一个重训练区间t，t初始值为0。

5)(t＝0时不执行)在数据片D(k+t)上训练并更新Mu，将模型的参数提取成向量Pu(k+t)；

6)取遗忘模型在训练数据片D(k+t)前后的模型参数变化量，即Vu(k+t)＝Pu(k+t)-Pu(k+t-1)；

7)取原始模型在训练数据片D(k+t)前后的模型参数变化量，即令V(k+t)＝P(k+t)-P(k+t-1)；

8)计算两个变化量的差向量的L1范数，即令Δ(k+t)＝||Vu(k+t)-V(k+t)||₁；

9)形成序列{Δ(k),Δ(k+1),...,Δ(k+t)}，该序列大致符合幂律衰减函数，对其进行去趋势波动分析(detrended fluctuation analysis)，得到衰减指数h；

10)构造要拟合的幂律衰减函数y＝a·x^-h+b，其中(x,y(x))取值为序列{(k,Δ(k)),(k+1,Δ(k+1)),...,(k+t,Δ(k+t))}，并利用最小二乘法(least square)求解参数a，b；

11)求解函数y对x的导函数f＝a·(-h)·x^-h-1，并计算x＝k+t时的导函数p＝f(k+t)，如果最右侧边界(即末位数据片的位置)的导数的绝对值小于常量ε，则认定序列{Δ(k),Δ(k+1),...,Δ(k+t)}已经趋于稳定，即遗忘模型和原始模型的参数变化量的差距趋于0，可以终止重训练；

12)如果|p|<ε，或已达到最后一个数据片，即k+t＝n，则继续步骤13)；若不满足，且k+t<n，则令t＝t+1，跳转到步骤5)；

13)将剩余数据片(D(k+t+1),...,D(n))上保存的训练结果(即初次训练过程中保存的中间模型)直接拼接到遗忘模型Mu上(通过对参数进行加法运算实现模型的拼接)，形成最终的遗忘模型Mu，最终模型的参数Pu(n)＝Pu(k+t)+[P(n)-P(k+t)]。

最终本发明可以将遗忘模型对于删除数据点的记忆去除掉，同时保留遗忘模型的高可用性。通过将遗忘模型在多个数据集上进行广泛的评测，本发明可以大幅降低模型遗忘所需要的时间、算力开销，同时删除对数据点的记忆，并保证了遗忘模型在测试集上的预测准确率。该发明可以广泛地用于深度学习模型需要遗忘训练数据的场景中，实现了对训练数据的隐私保护。

基于同一发明构思，本发明的另一个实施例提供一种采用上述方法的针对深度学习模型的数据记忆消除装置，其包括：

初次训练模块，用于对深度学习模型进行初次训练，并保存在深度学习模型的初次训练过程中得到的中间模型；

重训练模块，用于在删除数据后对深度学习模型进行重训练，进行重训练时直接调用在删除数据点之前且与删除数据点最接近的中间模型作为初始化的遗忘模型；利用删除数据点之后的数据对初始化的遗忘模型进行重训练，并衡量删除数据在重训练模型上的残留记忆，当残留记忆降低到能够忽略不计时终止重训练；

模型拼接模块，用于在重训练结束后，调用保存的中间模型对重训练后的遗忘模型进行拼接，得到最终的遗忘模型。

其中各模块的具体实施过程参见前文对本发明方法的描述。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (10)

1.一种针对深度学习模型的数据记忆消除方法，其特征在于，包括以下步骤：

保存在深度学习模型的初次训练过程中得到的中间模型；

在删除数据后对深度学习模型进行重训练时，直接调用在删除数据点之前且与删除数据点最接近的中间模型作为初始化的遗忘模型；

利用删除数据点之后的数据对初始化的遗忘模型进行重训练，并衡量删除数据在重训练模型上的残留记忆，当残留记忆降低到能够忽略不计时终止重训练；

在重训练结束后，调用保存的中间模型对重训练后的遗忘模型进行拼接，得到最终的遗忘模型。

2.根据权利要求1所述的方法，其特征在于，所述保存在深度学习模型的初次训练过程中得到的中间模型，包括：

将数据集按训练顺序划分成n个数据片，并且在训练原始模型时，当训练完成每个数据片后都对此时的模型进行存储，即训练完前i个数据片后得到模型M(i)，并将模型的参数提取成向量P(i)，当训练完n个数据片后得到M(n)。

3.根据权利要求2所述的方法，其特征在于，所述直接调用在删除数据点之前且与删除数据点最接近的中间模型作为初始化的遗忘模型，包括：

假定需要删除的数据点位于第k个数据片，令原第k个数据片表示为D(k)，删除数据点后第k个数据片表示为Du(k)，其它数据片没有发生变化，取前k-1个数据片训练后保存的模型M(k-1)，令遗忘模型Mu初始化为M(k-1)，将模型的参数提取成向量Pu(k-1)。

4.根据权利要求3所述的方法，其特征在于，所述衡量删除数据在重训练模型上的残留记忆，包括：

取遗忘模型在训练数据片D(k+t)前后的模型参数变化量，即Vu(k+t)＝Pu(k+t)-Pu(k+t-1)；

取原始模型在训练数据片D(k+t)前后的模型参数变化量，即令V(k+t)＝P(k+t)-P(k+t-1)；

计算两个变化量的差向量的L1范数，即令Δ(k+t)＝||Vu(k+t)-V(k+t)||₁；通过Δ(k+t)衡量删除数据在重训练模型上的残留记忆。

5.根据权利要求4所述的方法，其特征在于，利用去趋势波动分析技术和最小二乘法来分析所述残留记忆是否下降到平稳水平。

6.根据权利要求5所述的方法，其特征在于，所述的利用去趋势波动分析技术和最小二乘法来分析所述残留记忆是否下降到平稳水平，包括：

形成序列{Δ(k),Δ(k+1),...,Δ(k+t)}，对其进行去趋势波动分析，得到衰减指数h；

构造要拟合的幂律衰减函数y＝a·x^-h+b，其中(x,y(x))取值为序列{(k,Δ(k)),(k+1,Δ(k+1)),...,(k+t,Δ(k+t))}，并利用最小二乘法求解参数a，b；

求解函数y对x的导函数f＝a·(-h)·x^-h-1，并计算x＝k+t时的导函数p＝f(k+t)，如果最右侧边界的导数的绝对值小于常量ε，则认定序列{Δ(k),Δ(k+1),...,Δ(k+t)}已经趋于稳定，即遗忘模型和原始模型的参数变化量的差距趋于0，终止重训练。

7.根据权利要求6所述的方法，其特征在于，所述调用保存的中间模型对重训练后的遗忘模型进行模型拼接，得到最终的遗忘模型，包括：

将剩余数据片(D(k+t+1),...,D(n))上保存的训练结果直接拼接到遗忘模型Mu上，形成最终的遗忘模型Mu，最终模型的参数Pu(n)＝Pu(k+t)+[P(n)-P(k+t)]。

8.一种采用权利要求1～7中任一权利要求所述方法的针对深度学习模型的数据记忆消除装置，其特征在于，包括：

初次训练模块，用于对深度学习模型进行初次训练，并保存在深度学习模型的初次训练过程中得到的中间模型；

重训练模块，用于在删除数据后对深度学习模型进行重训练，进行重训练时直接调用在删除数据点之前且与删除数据点最接近的中间模型作为初始化的遗忘模型；利用删除数据点之后的数据对初始化的遗忘模型进行重训练，并衡量删除数据在重训练模型上的残留记忆，当残留记忆降低到能够忽略不计时终止重训练；

模型拼接模块，用于在重训练结束后，调用保存的中间模型对重训练后的遗忘模型进行拼接，得到最终的遗忘模型。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一权利要求所述的方法。

Images