CN113869152A - 一种基于对抗性攻击的反人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于对抗性攻击的反人脸识别方法及系统，包括扰动位置的确定、扰动强度的约束及平滑剪切扰动图像。在扰动位置的确定过程中，将单个像素的扰动分解为强度和位置两个特征，通过联合优化连续的扰动强度和是否进行扰动的二值选择因子，确定扰动的位置。在扰动强度的约束过程中，使用感知色差替代l_p范数约束扰动的强度，通过产生附加扰动增强对抗扰动的同时保证扰动的不可察觉性。最后，采用平滑剪切函数代替传统剪切函数进行扰动图像的剪切，使得生成的对抗性扰动更具平滑性。本发明通过在用户人脸图像上添加对抗性扰动，能有效保护人脸图像不被未经授权的人脸识别模型识别，且保证扰动是不可察觉的，从而保护人脸身份信息的隐私。

Description

一种基于对抗性攻击的反人脸识别方法及系统

技术领域

本发明属于人工智能安全技术领域，涉及一种人脸隐私保护方法及系统，具体涉及一种基于对抗性攻击的反人脸识别方法及系统。

技术背景

随着大数据时代的到来，个人数据的网络化和透明化已成为不可抗拒的趋势。任何人只要掌握相关的技术，都能在我们不知情的情况下，通过互联网收集数据建立高精度的人脸识别模型，并以此确认人们的身份。公民的个人隐私受到严重威胁，我们迫切需要有效的技术手段来保护人们的人脸身份隐私数据。

当前反人脸识别方法生成的人脸图像大多会产生不自然的失真，在实用性和有效性方面都较局限。基于对抗性攻击的方法，通过向用户的面部图像中添加不易察觉的对抗性扰动来实现反人脸识别的效果。当用户想要在社交媒体或公共网络上共享照片时，可以在上传照片之前对图像进行细微的人眼分辨不出的修改。如果未经授权的第三方跟踪器收集到这些照片并且用来训练人脸识别模型来识别用户，这些细微的修改会导致模型识别错误。

然而，现有的基于对抗攻击原理的反人脸识别方案仍然存在如下严重缺陷：

(1)现有的对抗性攻击方法一般假设所有的像素都受到扰动，通过优化扰动的强度使得扰动强度在人眼不可见的范围之内。而实际上，如果一副图像上仅部分位置的像素受到干扰，深度神经网络模型也有可能会被欺骗。

(2)现有对抗性攻击方法主要通过严格限制扰动的范数大小保证扰动的不可察觉性，但是不可察觉性的必要条件不一定是小范数大小的扰动，也与图像变化的不可见性有关。

(3)传统对抗性扰动的高频结构容易被许多显式和隐式的方法利用来减轻对抗效应，而平滑的对抗性扰动更容易隐藏在原始图像中，但是传统的剪切函数会降低扰动的平滑性。

发明内容

针对上述问题，本发明从稀疏对抗性攻击、感知色差约束和平滑剪切的角度优化反人脸识别方法，提出了一种基于对抗性攻击的反人脸识别方法及系统。

本发明的方法所采用的技术方案是：一种基于对抗性攻击的反人脸识别方法，包括以下步骤：

步骤1：针对原始图像，添加扰动，包括稀疏对抗性攻击的扰动位置确定和约束扰动强度；

所述稀疏对抗性攻击的扰动位置确定，具体实现包括以下子步骤：

步骤A1：将单个像素的扰动分解为扰动强度和扰动位置两个特征，用一个连续的扰动强度向量δ和一个二值选择因子G之间的点乘表示扰动r，从而将稀疏对抗性攻击问题转化为混合整数规划问题；

步骤A2：将二值选择因子G上的二值约束替换为一个箱型约束和一个l₂球体约束，用两个附加变量Y₁和Y₂分解G上的箱型和球体约束；

步骤A3：初始化G＝1，保持G不变，通过梯度下降法更新δ；

步骤A4：保持δ不变，添加对偶变量将损失函数化为增广拉格朗日形式，先通过计算最优解更新Y₁和Y₂，然后通过梯度下降法更新G，最后更新对偶变量；

步骤A5：重复步骤A4和步骤A5，直至损失函数收敛，收敛对应位置即为扰动位置；

所述约束扰动强度，具体实现包括以下子步骤：

步骤B1：计算扰动图像与原始图像之间的感知色差；

步骤B2：用感知色差替代范数约束作为损失函数的正则化项，通过反向传播优化扰动的强度，直至损失函数收敛，收敛对应扰动强度即为向该扰动位置添加的扰动强度；

步骤2：平滑剪切扰动图像，获得最终的扰动图像；

具体实现包括以下子步骤：

步骤2.1：当x+r的范围超出有效范围时，分别计算掩码m₀和m₁作为超过有效界限的像素的指示符；其中，x为图像，r为每轮迭代中计算出的扰动；

步骤2.2：结合扰动的邻域相关性，使用低通滤波器g将越界误差传播到邻域扰动；

步骤2.3：使用步长∈和越界误差的最大值调整扰动r；

步骤2.4：重复步骤2.1-2.3，直至x+r中所有像素都位于输入域的有效范围内。

本发明的系统所采用的技术方案是：一种基于对抗性攻击的反人脸识别系统，包括以下模块：

模块1，用于针对原始图像，添加扰动，包括稀疏对抗性攻击的扰动位置确定和约束扰动强度；

所述稀疏对抗性攻击的扰动位置确定，具体实现包括以下子步骤：

步骤A1：将单个像素的扰动分解为扰动强度和扰动位置两个特征，用一个连续的扰动强度向量δ和一个二值选择因子G之间的点乘表示扰动r，从而将稀疏对抗性攻击问题转化为混合整数规划问题；

步骤A2：将二值选择因子G上的二值约束替换为一个箱型约束和一个l₂球体约束，用两个附加变量Y₁和Y₂分解G上的箱型和球体约束；

步骤A3：初始化G＝1，保持G不变，通过梯度下降法更新δ；

步骤A4：保持δ不变，添加对偶变量将损失函数化为增广拉格朗日形式，先通过计算最优解更新Y₁和Y₂，然后通过梯度下降法更新G，最后更新对偶变量；

步骤A5：重复步骤A4和步骤A5，直至损失函数收敛，收敛对应位置即为扰动位置；

所述约束扰动强度，具体实现包括以下子步骤：

步骤B1：计算扰动图像与原始图像之间的感知色差；

步骤B2：用感知色差替代范数约束作为损失函数的正则化项，通过反向传播优化扰动的强度，直至损失函数收敛，收敛对应扰动强度即为向该扰动位置添加的扰动强度；

模块2，用于平滑剪切扰动图像，获得最终的扰动图像；

具体实现包括以下子步骤：

步骤2.1：当x+r的范围超出有效范围时，分别计算掩码m₀和m₁作为超过有效界限的像素的指示符；其中，x为图像，r为每轮迭代中计算出的扰动；

步骤2.2：结合扰动的邻域相关性，使用低通滤波器g将越界误差传播到邻域扰动；

步骤2.3：使用步长∈和越界误差的最大值调整扰动r；

步骤2.4：重复步骤2.1-2.3，直至x+r中所有像素都位于输入域的有效范围内。

本发明通过在用户人脸图像上添加对抗性扰动，在有效保护用户图像不被未经授权的人脸识别模型识别的同时，增强扰动的不可察觉性。与现有的反人脸识别攻击方法相比，本发明方法具有以下的优点与积极效果：

1)与密集对抗性攻击相比，本发明采用的稀疏对抗性攻击只需要更少的扰动，因而能最大限度的减小主观察觉效果。

2)本发明使用感知色差替代范数限制扰动的强度，通过附加扰动增强对抗强度的同时仍然保证扰动的不可见性。

3)本发明采用平滑剪切函数剪切扰动图像，能获得比传统方法更好的扰动平滑性。

附图说明

图1：本发明实施例的方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

现有对抗性攻击方法主要集中在优化扰动的强度，却忽略了对扰动位置的影响。本发明将图像中每个像素处的扰动分解为扰动强度与二值选择因子的乘积，通过联合优化扰动强度与扰动选择因子的方式确定扰动的位置。

由于人眼感知的RGB空间中的颜色具有不会随距离均匀变化的性质，感知颜色扰动更不容易被人眼察觉，尤其是在颜色饱和的区域。感知色差可以有效隐藏RGB空间中较强的扰动，因而本发明使用感知色差作为正则化项约束扰动强度。

传统的剪切函数会分离地截断每个像素，从而导致邻域之间的局部相关性丢失，本发明提出平滑剪切函数来剪切扰动图像。

基于以上原理，本发明提出一种基于对抗性攻击的反人脸识别方法，请见图1，具体包括以下步骤：

步骤1：针对原始图像，添加扰动，包括稀疏对抗性攻击的扰动位置确定和约束扰动强度；

本实施例稀疏对抗性攻击的扰动位置确定，具体实现包括以下子步骤：

步骤A1：将扰动r分解为一个扰动强度向量δ和一个二值选择因子G的点乘，从而得到稀疏对抗攻击的损失函数为：

其中，f:x→y代表分类模型，x表示原始图像，y是它的真值标签，f(x)代表后验向量；f(x+δ⊙G)表示将扰动图像输入分类模型得到的标签，若y_t＝y，则为无目标的攻击，损失函数L设置为负的交叉熵损失函数；若y_t≠y，则为有目标的攻击，损失函数L设置为交叉熵损失函数；p可以根据攻击者的要求赋不同的值，表示计算扰动的l_p范数；λ₁＞0是一个权衡参数；N为图像的总像素数；基数约束1^TG＝k表示只有k＜N个像素被扰动；因为δ是一个连续值，G是一个整数，该稀疏对抗攻击优化问题转化为混合整数规划优化问题；

步骤A2：将G上的二值约束进行如下替换：

其中S_b＝[0,1²是一个箱型约束，

是一个l₂球体约束；

则损失函数改写为：

其中，Y₁和Y₂是两个附加变量，用于分解G上的箱型和球体约束；

步骤A3：给定G，通过梯度下降更新δ，即：

其中，η_δ表示更新δ的学习率；

步骤A4：给定δ，根据ADMM算法更新G；

首先计算步骤A2中损失函数的增广拉格朗日函数：

其中，Y₁和Y₂是两个附加变量，用于分解G上的箱型和球体约束；Z₁∈R^N，Z₂∈R^N，z₃∈R，(ρ₁,ρ₂,ρ₃)是正惩罚参数，

和

是指示函数，当自变量值为真时，函数值为0；当自变量值为假时，函数值为+∞；遵循ADMM算法常规过程，更新原始变量和对偶变量；

更新Y₁：

由于上式目标函数是凸函数，箱型约束S_b也是凸函数，最优解为：

其中，

a∈Rⁿ表示投影在箱型约束上，Rⁿ为n维实数向量集；

接着，更新Y₂：

Y₂的最优解为：

其中，

b∈Rⁿ表示投影在l₂球体约束上；

然后，用梯度下降更新G：

其中，η_G表示更新G的学习率；

最后，更新对偶变量：

Z₁←Z₁+ρ₁(G-Z₁)；

Z₂←Z₂+ρ₂(G-Z₂)；

z₃←z₃+ρ₃(G-Z₃)；

步骤A5：重复步骤A3-A4，直至损失函数收敛。

本实施例约束扰动强度，使用感知色差替代

范数约束扰动强度；具体实现包括以下子步骤：

步骤B1：计算扰动图像与原始图像之间的感知色差，计算公式如下：

其中，x为图像，r为每轮迭代中计算出的扰动；ΔL、ΔC、ΔH分别表示CIELCH颜色空间中亮度L、饱和度C和色调H三个通道像素之间的距离；S_L、S_C、S_H分别为亮度、饱和度和色调的权重函数，R_T为饱和度差和色调差的交互项，用来改进蓝色的性能，它们都通过大量的实验确定，模拟人类对色彩的感知；k_L、k_C、k_H是三个常量参数，它们的数值根据不同的测量对象或色彩品质要求来进行定义，一般设置为1即可；训练数据集按相应标签类型进行分类；

步骤B2：利用感知色差约束扰动强度，得到新的损失函数：

min_δ,GΔE₀₀(x+r,x)+λ₁L(f(x+δ⊙G),y_t),s.t.1^TG＝k,G∈{0,1}^N；

依据步骤A1-A5中的方法迭代优化损失函数，直至损失函数收敛。

步骤2：平滑剪切扰动图像，获得最终的扰动图像；

具体实现包括以下子步骤：

步骤2.1：当x+r的范围超出有效范围时，分别计算掩码m₀和m₁作为超过有效界限的像素的指示符；

m₀＝I₀(-(x+r))；

m₁＝I₀((x+r)-1)；

其中，x为图像，r为每轮迭代中计算出的扰动；I₀是指示函数，对于大于零的元素输出1；

步骤2.2：结合扰动的邻域相关性，使用低通滤波器g将越界误差传播到邻域扰动，即：

m₀←m₀*g；

m₁←m₁*g；

步骤2.3：使用步长∈和越界误差的最大值调整扰动r，即：

r←r-∈max(x+r-1)m₁+∈min(x+r)m₀；

步骤2.4：重复步骤2.1-2.3，直至x+r中所有像素都位于输入域的有效范围内。

本发明包括扰动位置的确定、扰动强度的约束及平滑剪切扰动图像。在扰动位置确定过程中，将单一像素的扰动分解为强度和位置两个特征，从而将稀疏对抗性攻击问题转化为混合整数规划问题，通过联合优化连续的扰动强度和扰动的二值选择因子，确定扰动的位置。在扰动强度的约束过程中，使用感知色差替代l_p范数约束扰动的强度，通过产生附加扰动增强对抗扰动的同时保证扰动的不可察觉性。在平滑剪切扰动图像过程中，采用平滑剪切函数代替传统剪切函数进行扰动图像的剪切，使得生成的对抗性扰动更具平滑性。本发明通过在用户人脸图像上添加对抗性扰动，可以在有效保护人脸图像不被未经授权的人脸识别模型识别的同时保证扰动是不可察觉的，从而保护人脸身份信息的隐私。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于对抗性攻击的反人脸识别方法，其特征在于，包括以下步骤：

步骤1：针对原始图像，添加扰动，包括稀疏对抗性攻击的扰动位置确定和约束扰动强度；

所述稀疏对抗性攻击的扰动位置确定，具体实现包括以下子步骤：

步骤A1：将单个像素的扰动分解为扰动强度和扰动位置两个特征，用一个连续的扰动强度向量δ和一个二值选择因子G之间的点乘表示扰动r，从而将稀疏对抗性攻击问题转化为混合整数规划问题；

步骤A2：将二值选择因子G上的二值约束替换为一个箱型约束和一个l₂球体约束，用两个附加变量Y₁和Y₂分解G上的箱型和球体约束；

步骤A3：初始化G＝1，保持G不变，通过梯度下降法更新δ；

步骤A4：保持δ不变，添加对偶变量将损失函数化为增广拉格朗日形式，先通过计算最优解更新Y₁和Y₂，然后通过梯度下降法更新G，最后更新对偶变量；

步骤A5：重复步骤A4和步骤A5，直至损失函数收敛，收敛对应位置即为扰动位置；

所述约束扰动强度，具体实现包括以下子步骤：

步骤B1：计算扰动图像与原始图像之间的感知色差；

步骤B2：用感知色差替代范数约束作为损失函数的正则化项，通过反向传播优化扰动的强度，直至损失函数收敛，收敛对应扰动强度即为向该扰动位置添加的扰动强度；

步骤2：平滑剪切扰动图像，获得最终的扰动图像；

具体实现包括以下子步骤：

步骤2.1：当x+r的范围超出有效范围时，分别计算掩码m₀和m₁作为超过有效界限的像素的指示符；其中，x为图像，r为每轮迭代中计算出的扰动；

步骤2.2：结合扰动的邻域相关性，使用低通滤波器g将越界误差传播到邻域扰动；

步骤2.3：使用步长∈和越界误差的最大值调整扰动r；

步骤2.4：重复步骤2.1-2.3，直至x+r中所有像素都位于输入域的有效范围内。

2.根据权利要求1所述的基于对抗性攻击的反人脸识别方法，其特征在于，步骤1中所述稀疏对抗性攻击的扰动位置确定，具体实现包括以下子步骤：

步骤A1：将扰动r分解为一个扰动强度向量δ和一个二值选择因子G的点乘，从而得到稀疏对抗攻击的损失函数为：

其中，f:x→y代表分类模型，x表示原始图像，y是它的真值标签，f(x)代表后验向量；f(x+δ⊙G)表示将扰动图像输入分类模型得到的标签；若y_t＝y，则为无目标的攻击，损失函数L设置为负的交叉熵损失函数；若y_t≠y，则为有目标的攻击，损失函数L设置为交叉熵损失函数；p可以根据攻击者的要求赋不同的值，表示计算扰动的l_p范数；λ₁＞0是一个权衡参数；N为图像的总像素数；基数约束1^TG＝k表示只有k＜N个像素被扰动；因为δ是一个连续值，G是一个整数，该稀疏对抗攻击优化问题转化为混合整数规划优化问题；

步骤A2：将G上的二值约束进行如下替换：

其中S_b＝[0,1]²是一个箱型约束，

是一个l₂球体约束；

则损失函数改写为：

其中，Y₁和Y₂是两个附加变量，用于分解G上的箱型和球体约束；

步骤A3：给定G，通过梯度下降更新δ，即：

其中，η_δ表示更新δ的学习率；

步骤A4：给定δ，根据ADMM算法更新G；

首先计算步骤A2中损失函数的增广拉格朗日函数：

其中，Y₁和Y₂是两个附加变量，用于分解G上的箱型和球体约束；Z₁∈R^N，Z₂∈R^N，z₃∈R，(ρ₁，ρ₂，ρ₃)是正惩罚参数；

和

是指示函数，当自变量值为真时，函数值为0；当自变量值为假时，函数值为+∞；遵循ADMM算法常规过程，更新原始变量和对偶变量；

更新Y₁：

由于上式目标函数是凸函数，箱型约束S_b也是凸函数，最优解为：

其中，

表示投影在箱型约束上，Rⁿ为n维实数向量集；

接着，更新Y₂：

Y₂的最优解为：

其中，

表示投影在l₂球体约束上；

然后，用梯度下降更新G：

其中，η_G表示更新G的学习率；

最后，更新对偶变量：

Z₁←Z₁+ρ₁(G-Z₁)；

Z₂←Z₂+ρ₂(G-Z₂)；

z₃←z₃+ρ₃(G-Z₃)；

步骤A5：重复步骤A3-A4，直至损失函数收敛。

3.根据权利要求1所述的基于对抗性攻击的反人脸识别方法，其特征在于，步骤1中，使用感知色差替代l_p范数约束扰动强度；具体实现包括以下子步骤：

步骤B1：计算扰动图像与原始图像之间的感知色差，计算公式如下：

其中，x为图像，r为每轮迭代中计算出的扰动；ΔL、ΔC、ΔH分别表示CIELCH颜色空间中亮度L、饱和度C和色调H三个通道像素之间的距离；S_L、S_C、S_H分别为亮度、饱和度和色调的权重函数，R_T为饱和度差和色调差的交互项，用来改进蓝色的性能，它们都通过实验确定，模拟人类对色彩的感知；k_L、k_C、k_H是三个常量参数，它们的数值根据不同的测量对象或色彩品质要求来进行定义；训练数据集按相应标签类型进行分类；

步骤B2：利用感知色差约束扰动强度，得到新的损失函数：

min_δ,GΔE₀₀(x+r,x)+λ₁L(f(x+δ⊙G),y_t),s.t.1^TG＝k,G∈{0,1}^N；

迭代优化损失函数，直至损失函数收敛。

4.根据权利要求1-3任意一项所述的基于对抗性攻击的反人脸识别方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：当x+r的范围超出有效范围时，分别计算掩码m₀和m₁作为超过有效界限的像素的指示符；

m₀＝I₀(-(x+r))；

m₁＝I₀((x+r)-1)；

其中，x为图像，r为每轮迭代中计算出的扰动；I₀是指示函数，对于大于零的元素输出1；

步骤2.2：结合扰动的邻域相关性，使用低通滤波器g将越界误差传播到邻域扰动；

即：

m₀←m₀*g；

m₁←m₁*g；

步骤2.3：使用步长∈和越界误差的最大值调整扰动r；

即：

r←r-∈max(x+r-1)m₁+∈min(x+r)m₀；

步骤2.4：重复步骤2.1-2.3，直至x+r中所有像素都位于输入域的有效范围内。

5.一种基于对抗性攻击的反人脸识别系统，其特征在于，包括以下模块：

模块1，用于针对原始图像，添加扰动，包括稀疏对抗性攻击的扰动位置确定和约束扰动强度；

所述稀疏对抗性攻击的扰动位置确定，具体实现包括以下子步骤：

步骤A1：将单个像素的扰动分解为扰动强度和扰动位置两个特征，用一个连续的扰动强度向量δ和一个二值选择因子G之间的点乘表示扰动r，从而将稀疏对抗性攻击问题转化为混合整数规划问题；

步骤A2：将二值选择因子G上的二值约束替换为一个箱型约束和一个l₂球体约束，用两个附加变量Y₁和Y₂分解G上的箱型和球体约束；

步骤A3：初始化G＝1，保持G不变，通过梯度下降法更新δ；

步骤A4：保持δ不变，添加对偶变量将损失函数化为增广拉格朗日形式，先通过计算最优解更新Y₁和Y₂，然后通过梯度下降法更新G，最后更新对偶变量；

步骤A5：重复步骤A4和步骤A5，直至损失函数收敛，收敛对应位置即为扰动位置；

所述约束扰动强度，具体实现包括以下子步骤：

步骤B1：计算扰动图像与原始图像之间的感知色差；

步骤B2：用感知色差替代范数约束作为损失函数的正则化项，通过反向传播优化扰动的强度，直至损失函数收敛，收敛对应扰动强度即为向该扰动位置添加的扰动强度；

模块2，用于平滑剪切扰动图像，获得最终的扰动图像；

具体实现包括以下子步骤：

步骤2.1：当x+r的范围超出有效范围时，分别计算掩码m₀和m₁作为超过有效界限的像素的指示符；其中，x为图像，r为每轮迭代中计算出的扰动；

步骤2.2：结合扰动的邻域相关性，使用低通滤波器g将越界误差传播到邻域扰动；

步骤2.3：使用步长∈和越界误差的最大值调整扰动r；

步骤2.4：重复步骤2.1-2.3，直至x+r中所有像素都位于输入域的有效范围内。

Images