CN117711078A - 一种针对人脸识别系统的模型遗忘方法 - Google Patents

Abstract

本发明公开了涉及人脸识别系统中的模型安全技术领域的一种针对人脸识别系统的模型遗忘方法，包括模型遗忘中毒攻击算法，该攻击可以使得人脸识别系统在执行遗忘请求前性能正常，当攻击者提出删除请求时，中毒模型在响应用户删除请求后性能异常从而无法继续对外服务，本发明的有益效果是：通过设计和分析针对人脸识别系统的模型遗忘中毒攻击算法，通过将双层优化问题与模型遗忘步骤相结合来生成中毒样本，在保证模型遗忘算法正常运行的同时，通过中毒样本来损害算法模型，揭示了现存的人脸识别系统存在的安全问题。

Description

一种针对人脸识别系统的模型遗忘方法

技术领域

本发明涉及人脸识别系统中的模型安全技术领域，特别是涉及一种针对人脸识别系统的模型遗忘方法。

背景技术

现如今，大量数据的可用性推动了现代深度学习的发展，以人脸识别为例，公司要自研一款人脸识别系统来对自己的员工进行识别，那么就需要收集员工的人脸数据对模型进行训练。这些数据属于用户的隐私数据，收集这些信息的公司或组织必须遵守数据保护法规，不能泄露用户的隐私与安全信息。在欧盟《通用数据保护条例》以及《加州消费者隐私法案》中，突出强调了组织机构必须在用户提出请求时立即删除该用户的个人信息等数据，包括用该数据经过训练的模型。比如，如果某个员工申请了离职，这位员工就有权要求公司删除他人脸数据相关的全部数据信息。然而，如果仅仅是在数据库中删除掉该用户的人脸数据，而不对人脸识别模型进行重新训练的话，可能无法完全删除用户数据的隐私信息，该用户的某些信息可能隐式的包含的模型的参数当中，因此想要彻底的删除掉该员工的人脸数据，就需要使用不包含该员工人脸数据的训练集从头重新训练人脸识别模型。对于大模型而言，频繁的重新训练会消耗大量的财力和算力，计算成本的代价是昂贵的。

如何高效的删除数据对模型的影响催生了一个新的研究领域，机器学习模型遗忘。模型遗忘算法可以使模型在不重新训练模型的情况下删除掉指定训练数据集的信息。已有的研究工作提出了基于梯度的可认证模型遗忘算法，可以在不重新训练模型的情况下有效地删除数据对模型的影响。然而，虽然上述研究结果为模型遗忘描绘了一副乐观的图景，但此类工作假设请求的用户都是受信任的安全用户，这些用户不会试图以任何方式损害系统的性能，这就给我们的中毒算法可乘之机。

发明内容

针对上述问题，本发明提供了一种针对人脸识别系统的模型遗忘中毒攻击算法，该算法可以让人脸识别模型在执行完模型遗忘算法后，无法正常对外提供服务，用于解决上述问题。

本发明的技术方案是：

一种针对人脸识别系统的模型遗忘方法，包括模型遗忘中毒攻击算法，具体包括以下步骤：

S1、选择干净的训练数据集插入训练集中的中毒样本集

S2、假设攻击者拥有全部的模型信息，并设计一组中毒数据集作为攻击者的目标；

S3、将人脸识别模型w^u在包含中毒样本的整个数据集D_cl∪D_p上进行训练，直至人脸识别模型删除了指定的数据D_act。

作为本发明的一种优选方案：所述模型遗忘中毒攻击算法的优化问题包括上层优化问题和下层优化问题，所述上层优化问题表示系统在执行完模型遗忘算法后在验证集上的对抗损失最小化，具体公式为：

和w^p＝argmin_wL(w；D_cl∪D_p)

所述下层优化问题表示模型在包含中毒样本的训练集上的损失最小化，具体公式为：

s.t.x_ai+δ_ai∈β(x_ai,p)

其中，U(w^p；D_act)表示为模型遗忘算法的过程、D_act表示为需要被遗忘的数据集。

作为本发明的一种优选方案：所述需要被遗忘数据集的遗忘算法公式表示为：

作为本发明的一种优选方案：所述模型遗忘中毒攻击算法具体如下：

输入：干净训练数据集D_cl，待删除数据集D_act，初始中毒数据集D_p[0],训练损失L,对抗损失L_adv,对抗扰动限制β(x,r)，预训练模型w[0]；

fort＝0,1,2,...,T-1do

选出小批次样本集D_val[t],D_cl[t],D_p[t]；

构造L(w)＝L(w；D_cl[t]∪D_p[t])；

下层优化：

For k＝0,1,...,K-1do

end for

上层优化：

w^p＝w[k]

选择1：构造

选择2：构造

计算：

计算：

计算：

通过ADAM,CG等算法近似解决Ag＝b

计算：

计算：D_p[t]＝D_p[t-1]-δhg(D_p[t-1])

End for。

作为本发明的一种优选方案：所述模型遗忘中毒攻击算法在使用时分为制造毒物阶段和触发攻击阶段，所述制造毒物阶段的具体步骤如下：

S5.1、算法需要多个循环批次，在每个循环中，选出一批样本，并且从选出的训练集中抽取一定比例的样本作为初始中毒样本，然后对双层优化进行求解；

S5.2、对下层问题进行梯度下降优化，求出模型的参数，之后通过之前介绍的超梯度算法计算出上层中毒样本的梯度信息；

S5.3、将问题转换成最小化损失||Ag-b||²，之后对中毒样本进行更新；

S5.4、在S5.3的更新完成后，完成一次完整的循环，经过T轮算法的迭代，最终生成中毒样本。

作为本发明的一种优选方案：所述触发攻击阶段的具体步骤如下：

S6.1、将生成的中毒样本混入训练集，得到模型遗忘训练集；

S6.2、通过S6.1得到的模型遗忘训练集对模型进行训练；

S6.3、在接收到人脸识别系统的遗忘请求后，将训练完成的遗忘模型接入至人脸识别系统中；

S6.4、若需要对人脸识别系统进行数据遗忘，则触发遗忘模型的攻击许可，对人脸识别系统进行中毒攻击；若不需要对人脸识别系统进行数据遗忘，则不进行遗忘模型的攻击许可。

本发明的有益效果是：

本发明通过设计和分析针对人脸识别系统的模型遗忘中毒攻击算法，通过将双层优化问题与模型遗忘步骤相结合来生成中毒样本，在保证模型遗忘算法正常运行的同时，通过中毒样本来损害算法模型，揭示了现存的人脸识别系统存在的安全问题。

附图说明

图1是本发明的模型遗忘中毒攻击算法算法流程图；

图2是本发明的模型遗忘中毒攻击算法制造毒物阶段框架流程图；

图3是本发明的模型遗忘中毒攻击算法触发攻击阶段框架流程图；

图4是本发明的模型遗忘前后模型在测试集上的精度对比图；

图5是本发明的在使用时中毒样本可视化图。

具体实施方式

下面结合附图对本发明的实施例作进一步说明。

在数据集FDDB和Labeled Faces in the Wi ld上进行本发明提出的模型遗忘中毒攻击算法攻击实验，具体如下：

LFW是一个包含13,000多个人脸图像的数据集，涵盖了各种不同的姿势、表情和光照条件，每个人脸图像都有相应的身份标签，FDDB是一个用于人脸检测任务的数据集，包含2,845张图片和5,171个人脸实例。每个人脸实例都有精确的边界框注释，实验模型我们考虑了深度卷积神经网络模型，满足理论分析所做的假设，模型遗忘算法我们采用了Newton法和Influence法，两种都是近似遗忘的经典算法，本实验是在中央处理器为Inter(R)Core(TM)i5-9400F 2.9GHz CPU、NVIDIA RTX 3090、Ubuntu 18.04操作系统上，基于Pytorch1.10深度学习框架进行实验。

我们将所提出的方法在多个维度进行了验证与实验：

1)模型遗忘前后模型在测试集上的精度对比；

2)中毒样本的可视化。

实验结果

1、模型遗忘前后模型在测试集上的精度对比

如图4所示，其展示了不同中毒率下，模型执行了不同的遗忘算法前后性能的对比，其中横轴代表着中毒率，即中毒数据占总训练数据的比率，纵轴代表模型在测试集上的精度。图中，蓝色实线代表使用Newton法进行模型遗忘，橙色实线代表使用Influence法进行模型遗忘，绿色实线代表删除前模型的性能，从结果可以看出，在模型进行了遗忘算法之后准确率性能下降了很多，也就达到了攻击的目的。

2、中毒样本的可视化

如图5所示，可以看出中毒样本表面会有轻微的噪声，对人眼的影响微乎其微，但是对模型性能有这很大的影响，这种噪声越大，模型性能损失的也越厉害，但是为了实现肉眼的不可区分，也不能一味地添加噪声。

具体的，一种针对人脸识别系统的模型遗忘方法，在工作时，我们令是干净的训练数据集，令/>是插入训练集中的中毒样本集，我们假设攻击者拥有全部的模型信息，包括模型的参数以及全部训练数据集和验证集，攻击者的目标是设计一组中毒数据集/>当人脸识别模型w^u在包含中毒样本的整个数据集D_cl∪D_p上训练完成后，之后当该模型删除了指定的数据D_act，模型性能会大幅下降，从而无法继续对外提供服务，其中，待删除的指定数据来自于干净的训练集，也即

该优化问题可以由如下双层优化问题表示：

w^p＝argmin_wL(w；D_cl∪D_p)#2

s.t.x_ai+δ_ai∈β(x_ai,p)#3

上述问题表述中，上层问题表示系统在执行完模型遗忘算法后在验证集上的对抗损失最小化，代表着系统执行完遗忘操作后，性能下降；下层问题表示模型在包含中毒样本的训练集上的损失最小化，代表着训练过程中以及训练完成后性能一切正常。其中，U(w^p；D_act)代表模型遗忘算法的过程，D_act是需要被遗忘的数据集，典型的遗忘算法可以表示为：

对于不同的遗忘算法，黑森矩阵有不同的计算方法，本专利考虑两种常用更新算法：

1、通过牛顿法遗忘：

2、通过Influence公式遗忘：

直接解决公式1、公式2是一个棘手的问题，因为上层的优化结果会影响到下层问题，下层的结果反过来影响上层问题，因此，本专利设计了超梯度下降算法来解决该问题，具体地，我们要求梯度但是无法直接从公式1中求得，因为公式1中并没有D_p相关的数据，但是公式1中包含w_p，而w_p中包含D_p，于是我们通过链式法则可以得到：

其中第一项是直接对目标进行求导，第二项是链式求导，对于第一项，由于不存在直接的函数关系，本问题中视为0，对于第二项，我们假设公式2是全凸问题，那么就可以通过求导为0推出w_p和D_p的隐函数关系，将公式1带入，我们得到：

整个算法如下写出：

输入：干净训练数据集D_cl，待删除数据集D_act，初始中毒数据集D_p[0],训练损失L,对抗损失L_adv,对抗扰动限制β(x,r)，预训练模型w[0]；

fort＝0,1,2,...,T-1do

选出小批次样本集D_val[t],D_cl[t],D_p[t]；

构造L(w)＝L(w；D_cl[t]∪D_p[t])；

下层优化：

For k＝0,1,...,K-1do

end for

上层优化：

w^p＝w[k]

选择1：构造

选择2：构造

计算：

计算：

计算：

通过ADAM,CG等算法近似解决Ag＝b

计算：

计算：D_p[t]＝D_p[t-1]-δhg(D_p[t-1])

End for

上述算法展示了针对人脸识别系统的模型遗忘中毒攻击算法的全貌。首先算法需要多个循环批次，每个循环中，我们选出一批样本，并且从选出的训练集中抽取一定比例的样本作为初始中毒样本，然后对双层优化进行求解。首先对下层问题进行梯度下降优化，求出模型的参数，之后通过之前介绍的超梯度算法计算出上层中毒样本的梯度信息，注意到算法中我们需要求矩阵U和A的逆，从而算出A^-1b，但是直接计算矩阵的逆是非常棘手的，不仅耗时而且占用大量显存，我们可以将问题转换成最小化损失||Ag-b||²，其中A和b是已知的，这样求出来的g就无限逼近A^-1b，之后就可以对中毒样本进行更新。更新完成后，完成一次完整的循环，经过T轮算法的迭代，最终生成中毒样本，生成的中毒样本混入训练集，拿此训练集训练出来的模型便会因为遗忘特定样本从而导致性能下降，达到了攻击的效果。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种针对人脸识别系统的模型遗忘方法，包括模型遗忘中毒攻击算法，其特征在于，具体包括以下步骤：

S1、选择干净的训练数据集插入训练集中的中毒样本集

S2、假设攻击者拥有全部的模型信息，并设计一组中毒数据集作为攻击者的目标；

S3、将人脸识别模型w^u在包含中毒样本的整个数据集D_cl∪D_p上进行训练，直至人脸识别模型删除了指定的数据D_act。

2.根据权利要求1所述的一种针对人脸识别系统的模型遗忘方法，其特征在于：所述模型遗忘中毒攻击算法的优化问题包括上层优化问题和下层优化问题，所述上层优化问题表示系统在执行完模型遗忘算法后在验证集上的对抗损失最小化，具体公式为：

和w^p＝argmin_wL(w；D_cl∪D_p)

所述下层优化问题表示模型在包含中毒样本的训练集上的损失最小化，具体公式为：

s.t.x_ai+δ_ai∈β(x_ai,p)

其中，U(w^p；D_act)表示为模型遗忘算法的过程、D_act表示为需要被遗忘的数据集。

3.根据权利要求2所述的一种针对人脸识别系统的模型遗忘方法，其特征在于：所述需要被遗忘数据集的遗忘算法公式表示为：

4.根据权利要求1所述的一种针对人脸识别系统的模型遗忘方法，其特征在于：所述模型遗忘中毒攻击算法具体如下：

输入：干净训练数据集D_cl，待删除数据集D_act，初始中毒数据集D_p[0],训练损失L,对抗损失L_adv,对抗扰动限制β(x,r)，预训练模型w[0]；

fort＝0,1,2,...,T-1 do

选出小批次样本集D_val[t],D_cl[t],D_p[t]；

构造L(w)＝L(w；D_cl[t]∪D_p[t])；

下层优化：

For k＝0,1,...,K-1 do

end for

上层优化：

w^p＝w[k]

选择1：构造

选择2：构造

计算：

计算：

计算：

通过ADAM,CG等算法近似解决Ag＝b

计算：

计算：D_p[t]＝D_p[t-1]-δhg(D_p[t-1])

End for。

5.根据权利要求4所述的一种针对人脸识别系统的模型遗忘方法，其特征在于：所述模型遗忘中毒攻击算法在使用时分为制造毒物阶段和触发攻击阶段，所述制造毒物阶段的具体步骤如下：

S5.1、算法需要多个循环批次，在每个循环中，选出一批样本，并且从选出的训练集中抽取一定比例的样本作为初始中毒样本，然后对双层优化进行求解；

S5.2、对下层问题进行梯度下降优化，求出模型的参数，之后通过之前介绍的超梯度算法计算出上层中毒样本的梯度信息；

S5.3、将问题转换成最小化损失||Ag-b||²，之后对中毒样本进行更新；

S5.4、在S5.3的更新完成后，完成一次完整的循环，经过T轮算法的迭代，最终生成中毒样本。

6.根据权利要求5所述的一种针对人脸识别系统的模型遗忘方法，其特征在于：所述触发攻击阶段的具体步骤如下：

S6.1、将生成的中毒样本混入训练集，得到模型遗忘训练集；

S6.2、通过S6.1得到的模型遗忘训练集对模型进行训练；

S6.3、在接收到人脸识别系统的遗忘请求后，将训练完成的遗忘模型接入至人脸识别系统中；

S6.4、若需要对人脸识别系统进行数据遗忘，则触发遗忘模型的攻击许可，对人脸识别系统进行中毒攻击；若不需要对人脸识别系统进行数据遗忘，则不进行遗忘模型的攻击许可。