CN109858368B - 一种基于Rosenbrock-PSO的人脸识别攻击防御方法 - Google Patents

Abstract

本发明公开了一种基于Rosenbrock‑PSO的人脸识别攻击防御方法，包括：(1)采集人脸图像数据并进行预处理，分成预训练数据集和扰动数据集；(2)在扰动数据集中的人脸图像上制作用于限制扰动区域的纯色眼镜框模板；(3)利用预训练数据集训练人脸识别模型的人脸分类器；(4)搭建Rosenbrock‑PSO人脸攻击模型；(5)将带纯色眼镜框的人脸图像输入Rosenbrock‑PSO人脸攻击模型中进行进化寻优，得到眼镜框上RGB值为最优解时的人脸图像作为对抗样本；(6)将对抗样本加入到预训练数据集中重新训练人脸分类器，使人脸识别模型具有防御对抗样本攻击的能力。利用本发明，可以得到能够防御对抗样本、泛化能力较强的人脸识别模型。

Description

一种基于Rosenbrock-PSO的人脸识别攻击防御方法

技术领域

本发明属于计算机视觉、深度学习领域，尤其是涉及一种基于Rosenbrock-PSO的人脸识别攻击防御方法。

背景技术

人脸识别主要是从人脸图像中自动提取人脸特征，然后根据这些特征进行身份验证。随着机器学习的快速发展，人脸识别技术不断被完善，识别精度也在不断提高，尤其是在商业上得到了广泛应用，例如刷脸支付、刷脸考勤、刷脸签到、刷脸开门等。同时人脸识别技术还能广泛地应用于智慧警务和智慧城市建设，为全社会提供智慧人脸服务。

尽管先进的人脸识别技术为我们的日常生活提供了很大的便利，然而最近的研究表明，先进的卷积神经网络很容易受到对抗性的例子的影响，这是由于模型的输入中加入了小规模的扰动，甚至人类视觉系统无法察觉这种扰动。我们知道神经网络学习到的函数是不连续的，因此这些扰动信息可以对神经网络模型造成干扰，影响模型的输出，对于人脸识别来说，这些干扰可能让人脸识别系统出现错误识别。当这种情况发生在现实场景中时，一些基于人脸识别的安全系统就可能会受到威胁。

目前针对人脸识别攻击的研究主要是基于已知的人脸识别模型，即白盒模型，然而在现实中意味着这种攻击需要获得人脸识别模型的内部参数，这几乎很难做到，相比之下黑盒攻击更容易在现实生活中实现，它不依赖人脸识别系统的内部信息、可以模拟物理场景轻易完成对人脸识别系统的攻击，从而引起危害。

鉴于人脸识别技术存在上述的安全威胁，研究一种可以简单高效满足黑盒人脸识别模型的攻击防御方法，并通过该方法来实现对敌对攻击的防御具有极其重要的理论与实践意义。

发明内容

针对目前的人脸识别技术存在容易受到对抗攻击的安全性问题，本发明提供了一种基于Rosenbrock-PSO的人脸识别攻击防御方法，可以得到能够防御对抗样本、泛化能力较强的人脸识别模型。

一种基于Rosenbrock-PSO的人脸识别攻击防御方法，其特征在于，包括：

(1)采集人脸图像数据并进行预处理，分成预训练数据集和用于生成对抗样本的扰动数据集；

(2)在扰动数据集中的人脸图像上制作用于限制扰动区域的纯色眼镜框模板；

(3)利用预训练数据集训练人脸识别模型的人脸分类器，使人脸分类器达到预设的分类准确率；

(4)搭建由Rosenbrock算法与带线性递减惯性因子的PSO算法相结合的Rosenbrock-PSO人脸攻击模型，设置Rosenbrock算法与PSO算法的参数，设定人脸攻击模型的对抗攻击参数和目标函数；

(5)由PSO算法随机初始化得到若干带有纯色眼镜框的人脸图像，将这些图像输入到Rosenbrock-PSO人脸攻击模型中进行进化寻优，得到眼镜框上RGB值的最优解，将眼镜框上RGB值为最优解时的人脸图像作为对抗样本；

(6)将对抗样本加入到预训练数据集中，用新得到的数据集重新训练人脸分类器，使人脸识别模型具有防御对抗样本攻击的能力。

本发明通过使用生成针对黑盒人脸识别模型的对抗样本用来进行对抗训练，从而防御敌对的人脸识别攻击。同时，为了使生成的对抗样本不明显、符合实际情况以及降低因PSO算法局部搜索能力弱、计算速度慢带来的昂贵的时间成本，本发明将扰动限制在现实世界中人所佩戴的眼镜框上，并使用Rosenbrock算法与带线性递减惯性因子的粒子群算法相结合的进化策略，大大降低生成对抗样本所耗费的时间成本。

步骤(1)中，所述预处理包括对人脸图像进行裁剪、缩放和添加相应标签，并将人脸图像做好封装处理，作为训练人脸分类器所需要的数据集。

步骤(4)的具体过程为：

(4-1)设置PSO算法的参数，包括：微粒数m，第i个粒子的位置x_i，速度υ_i，其中0≤i≤(m-1)；最大迭代数G_k，当前迭代数g，当前惯性权重因子ω^(g)，允许误差E_pso，第i个粒子的历史最优位置pbest_i，种群发现的全局最优位置gbest_i；

当前惯性权重因子的更新公式如下：

ω^(g)＝(ω_ini-ω_end)(G_k-g)/G_k+ω_end (1)

其中，ω_ini为初始惯性因子，ω_end为迭代至最大进化代数时的惯性因子，G_k为最大迭代数；

各个微粒速度的更新公式如下：

υ_i＝ω^(g)×υ_i+c₁×rand()×(pbest_i-x_i)+c₂×rand()×(gbest_i-x_i) (2)

其中，c₁、c₂为学习因子，rand()为介于(0,1)之间的随机数；

各个微粒位置的更新公式如下：

x_i＝x_i+υ_i (3)

(4-2)设置Rosenbrock算法的参数，包括：初始点x¹＝gbest；初始单位正交搜索方向d⁽¹⁾，d⁽²⁾，...，d⁽ⁿ⁾；各方向上的探测步长

将其都初始化为1；各方向上探测的步长的代数和λ₁，λ₂，...，λ_n都初始化为0；向量组p⁽¹⁾，p⁽²⁾，...，p⁽ⁿ⁾和q⁽¹⁾，q⁽²⁾，...，q⁽ⁿ⁾全部值初始化为0；步长收缩因子β∈(-1,0)；步长放大因子α＞1；允许误差ε＞0；最大迭代数G_t，当前迭代数t；置j＝1,k＝1，y⁽¹⁾＝x⁽¹⁾；

各方向上探测的步长及步长的代数和的更新公式如下：

其中，y^(j)表示当前方向的最佳位置，函数f(·)为目标函数；

正交搜索方向的更新方法如下：

Step1：先由公式(5)计算得到向量组{p^(j)}；

Step2：然后利用Gram-Schmidt正交化方法，将向量组{p^(j)}正交化，公式如下：

Step3：单位化q^(j)得到n个新的正交搜索方向，公式如下：

(4-3)设定对抗攻击的参数，包括：攻击者的真实标签y_true，攻击者的真实标签置信度分数score_true；攻击者的目标标签y_target，攻击者的目标标签置信度分数score_target；

(4-4)设定目标函数f(x)，定义如下：

其中，rank表示当前目标置信度分数的排名，score_top是当前最高的置信度分数，n表示当前人脸分类器的类总数。

步骤(5)进化寻优时，首先初始化粒子群，使用PSO算法进行全局搜索与进化；当进化到一定代数或收敛到一定范围时，以目前搜索到的最优点作为基点，并采用Rosenbrock算法进行局部精细搜索，直到得到满足预设值的最优解。具体过程为：

(5-1)进行PSO算法初始化，将不同颜色的纯色眼镜框上所有像素点的RGB值作为微粒的位置矩阵x，RGB值的变化快慢作为微粒的速度矩阵υ，在迭代计算过程中，采用目标函数计算每个微粒的当前适应值f(x_i)，并记录每个微粒的历史最佳适应值fit_{p_best}、历史最佳位置pbest_i，以及当前所有微粒的全局最佳适应值fit_{g_best}、当前所有微粒的历史最佳位置gbest_i；当进化到最大迭代数或全局最佳适应值fit_{g_best}≤E_pso时转步骤(5-2)；否则更新微粒的惯性权重因子ω^(g)、速度υ_i和位置x_i，之后继续迭代；

(5-2)进行Rosenbrock算法初始化，初始化眼镜框上所有像素点的RGB值的变化方向以及每个像素点的RGB值变化快慢；以步骤(5-1)进化得到的所有微粒的历史最佳位置gbest_i作为初始点开始进化寻优，得到眼镜框上RGB值的最优解。

步骤(5-2)的具体步骤为：

(5-2-1)在每个方向上进行极小化搜索，计算目标函数适应值，如果搜索成功，即f(y^(j)+δ_jd^(j))＜f(y^(j))，更新y^(j+1)、采用步长放大因子α更新步长；如果搜索失败，即f(y^(j)+δ_jd^(j))≥f(y^(j))，更新y^(j+1)、采用步长收缩因子β更新步长；如果j＜n，置j＝j+1，否则置t＝t+1,如果t＝G_t，结束迭代，输出当前最优解，否则转步骤(5-2-2)；

(5-2-2)对每个方向完成一轮搜索之后，如果f(y⁽ⁿ⁺¹⁾)＜f(y⁽¹⁾)，则令y⁽¹⁾＝y⁽ⁿ⁺¹⁾，置j＝1，转步骤(5-2-1)；否则转步骤(5-2-3)；

(5-2-3)如果f(y⁽ⁿ⁺¹⁾)＜f(x^(k))，则转步骤(5-2-4)；否则，如果对于每个j，|δ_j|≤ε，则进化结束得到最优解为x^(k)；否则令y⁽¹⁾＝y⁽ⁿ⁺¹⁾，置j＝1，转步骤(5-2-1)；

(5-2-4)令x^(k+1)＝y⁽ⁿ⁺¹⁾，如果||x^(k+1)-x^(k)||≤ε，则进化结束得到最优解为x^(k+1)；否则转步骤(5-2-5)；

(5-2-5)更新正交搜索方向，置j＝1,y⁽¹⁾＝x^(k+1),k＝k+1，返回步骤(5-2-1)，直到最终得到眼镜框上RGB值的最优解。

由于生成的扰动相邻像素点的RGB值之间的差往往较大，在现实世界中则存在几个问题：a.打印机较难打印带有该扰动的眼镜；b.相机难以捕捉像素值变化剧烈的物体，容易造成像素失真；c.像素值变化较大的眼镜不美观，容易引起关注。

为了解决上述问题，优选地，步骤(5)中，对于微粒的进化寻优采用块状区域优化方式，将眼镜框上的所有像素点按一定区域形状划分成64-128块，把每块区域上的所有像素点看成一个整体，使其像素值保持相等。如此不仅可以降低打印机打印和相机采集图像时的像素失真程度，还可使眼镜看起来不容易引起关注。

优选地，为了使人脸识别模型具有较强的泛化能力，在采集人脸图像制作数据集时，综合考虑复杂背景、距离、角度以及光影等因素的变化；同时，为了提高对抗样本的泛化能力，在输入攻击者的人脸图像时也使用一组不同场景下的图片，即背景、距离、角度以及光影不同。

优选地，步骤(5)进化寻优过程中，当微粒的位置、速度越界时，即像素点的RGB值及其变化速度超出范围时，则用边界值取代υ_i，x_i。为了考虑粒子是否越界，对于公式(4)f(y^(j)+δ_jd^(j))＜f(y^(j))部分做如下修改：对每一维测试y^(j)'判断是否越界，如果越界，则y^(j)'在方向分量d^(j)上退回至该维的边界；计算：

并置越界标志为1,；如果越界标志为0，则置y^(j+1)＝y^(j)'，λ_j＝λ_j+δ_j，δ_j＝αδ_j；否则置y^(j+1)＝y^(j)'，λ_j＝λ_j+δ_j'，δ_j＝βδ_j。

优选地，在步骤(5)获得对抗样本后先进行物理攻击测试，将扰动物理化，即打印进化生成的眼镜，让攻击者佩戴并在人脸识别系统下进行人脸识别攻击测试，计算攻击成功率，判断对抗样本的鲁棒性。

物理攻击测试前，通过放大、旋转和矫正等操作提取基于步骤(5)进化得到的对抗样本中的眼镜框并打印，使其适应攻击者人脸的尺寸；让攻击者佩戴物理化的眼镜框；再通过摄像头获取攻击者的人脸图像并输入到人脸识别模型中进行测试。

与现有技术相比，本发明具有以下有益效果：

1、本发明采用进化寻优的策略来生成具有使人脸识别模型错误分类的对抗样本用于对抗训练，解决了在现实世界中，无法获取黑盒模型的内部参数的问题。

2、本发明采用扰动划分成块状区域降低像素的失真程度和提高其美观性，使眼镜框上的扰动可以物理化。

3、在进化策略中，由于PSO算法局部搜索能力弱、早熟收敛，而Rosenbrock算法的局部搜索能力非常强，本发明将Rosenbrock算法与PSO算法进行有效地互补，可以大大降低进化的时间成本，获得更高精度的最优解；

4、本发明在采集人脸图像时综合考虑了距离、角度和光影等场景变化情况，提高人脸识别模型和生成的对扰动的泛化能力。

5、本发明对生成的对抗样本采用对抗训练的方法使人脸识别模型具有防御对抗样本攻击的能力，为人脸识别系统的安全领域提供指导。

附图说明

图1为本发明一种基于Rosenbrock-PSO的人脸识别攻击防御方法的流程示意图；

图2为本发明实施例中Rosenbrock-PSO人脸攻击模型进行进化寻优的流程示意图；

图3为本发明实施例中物理眼镜效果示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种基于Rosenbrock-PSO的人脸识别攻击防御方法，包括以下步骤：

步骤1，采集人脸图像数据并进行预处理，分成预训练数据集和用于生成对抗样本的扰动数据集。

首先采集多位实验人员的人脸图像，根据人脸识别模型网络的输入要求对实验人员的人脸图像进行裁剪、缩放和添加相应标签，并将人脸图像做好封装处理，作为训练分类器所需要的数据集。然后选择一位实验人员作为攻击者，再另采集多张该实验人员在不同物理场景下的人脸图像，并作图像预处理，再将处理好的图像作为生成对抗样本所需要的扰动数据集。

为了使人脸识别模型具有较强的泛化能力，在采集人脸图像制作数据集时，综合考虑复杂背景、距离、角度以及光影等因素的变化；同时，为了提高对抗样本的泛化能力，在输入攻击者的人脸图像时也使用一组不同场景下的图片，即背景、距离、角度以及光影不同。

步骤2，在扰动数据集中的人脸图像上制作用于限制扰动区域的纯色眼镜框模板。

本实施例中的人脸识别模型采用的是官方提供的被称为facenet的人脸识别模型；并且在广泛使用的野外标记人脸(LFW)数据集中，系统实现了99.63％的精确度。

步骤3，利用预训练数据集训练人脸识别模型的人脸分类器，并通过实验人员现场测试其精度，保证人脸分类器达到预设的分类准确率。

步骤4，搭建由Rosenbrock算法与带线性递减惯性因子的PSO算法相结合的Rosenbrock-PSO人脸攻击模型，设置Rosenbrock算法与PSO算法的参数，设定人脸攻击模型的对抗攻击参数和目标函数。具体过程如下：

(4-1)设置带线性递减惯性因子的粒子群算法(PSO)参数，包括微粒数m，第i个粒子的位置x_i，速度υ_i，其中0≤i≤(m-1)；最大迭代数G_k，当前迭代数g，当前惯性权重因子ω^(g)，允许误差E_pso，第i个粒子的历史最优位置pbest_i，种群发现的全局最优位置gbest；

当前惯性权重因子的更新公式如下：

ω^(g)＝(ω_ini-ω_end)(G_k-g)/G_k+ω_end (1)

其中，ω_ini为初始惯性因子，ω_end为迭代至最大进化代数时的惯性因子，G_k为最大迭代数；

各个微粒速度的更新公式如下：

υ_i＝ω^(g)×υ_i+c₁×rand()×(pbest_i-x_i)+c₂×rand()×(gbest_i-x_i) (2)

其中，c₁、c₂为学习因子，rand()为介于(0,1)之间的随机数；各个微粒位置的更新公式如下：

x_i＝x_i+υ_i (3)

当微粒的位置、速度越界时，即像素点的RGB值及其变化速度超出范围时，则用边界值取代υ_i，，x_i。

(4-2)设置Rosenbrock算法参数，包括初始点x¹＝gbest；初始单位正交搜索方向d⁽¹⁾，d⁽²⁾，...，d⁽ⁿ⁾；各方向上的探测步长

将其都初始化为1；各方向上探测的步长的代数和λ₁，λ₂，...，λ_n都初始化为0；向量组p⁽¹⁾，p⁽²⁾，...，p⁽ⁿ⁾和q⁽¹⁾，q⁽²⁾，...，q⁽ⁿ⁾全部值初始化为0；步长收缩因子β∈(-1,0)；步长放大因子α＞1；允许误差ε＞0；最大迭代数G_t，当前迭代数t；置j＝1,k＝1，y⁽¹⁾＝x⁽¹⁾；

各方向上探测的步长及步长的代数和的更新公式如下：

其中，y^(j)表示当前方向的最佳位置，函数f(·)为目标函数，具体定义见所述步骤(4-4)；

为了考虑粒子是否越界，对于公式(4)f(y^(j)+δ_jd^(j))＜f(y^(j))部分做如下修改：对每一维测试y^(j)'判断是否越界，如果越界，则y^(j)'在方向分量d^(j)上退回至该维的边界；计算：

并置越界标志为1,；如果越界标志为0，则置y^(j+1)＝y^(j)'，λ_j＝λ_j+δ_j，δ_j＝αδ_j；否则置y^(j+1)＝y^(j)'，λ_j＝λ_j+δ_j'，δ_j＝βδ_j；

正交搜索方向的更新方法如下：

Step1:先由公式(6)计算得到向量组{p^(j)}；

Step2:然后利用Gram-Schmidt正交化方法,将向量组{p^(j)}正交化，公式如下：

Step3：单位化q^(j)得到n个新的正交搜索方向，公式如下：

(3-3)设置对抗攻击的参数，包括攻击者的真实标签y_true，攻击者的真实标签置信度分数score_true；攻击者的目标标签y_target，攻击者的目标标签置信度分数score_target；

(3-4)目标函数f(x)定义如下：

其中，rank表示当前目标置信度分数的排名，score_top是当前最高的置信度分数，n表示当前人脸分类器的类总数。

步骤5，由PSO算法随机初始化得到若干带有纯色眼镜框的人脸图像，将这些图像输入到Rosenbrock-PSO人脸攻击模型中进行进化寻优，得到眼镜框上RGB值的最优解，将眼镜框上RGB值为最优解时的人脸图像作为对抗样本。

本发明使用PSO算法进行全局搜索与进化，当进化到一定代数或收敛到一定范围时，以目前搜索到的最优点作为基点，并采用Rosenbrock算法进行局部精细搜索，直到得到满足预设值的最优解。如图2所示，进化寻优的过程如下：

(5-1)首先进行PSO算法初始化，生成一定数量的微粒，即带有不同颜色的纯色眼镜框人脸图像，眼镜框上所有像素点的RGB值作为微粒的位置矩阵x，RGB值得变化快慢作为微粒的速度矩阵υ；在每次迭代中，采用公式(8)计算每个微粒的当前适应值f(x_i)，并记录每个微粒的历史最佳适应值fit_{p_best}、历史最佳位置pbest_i，以及当前所有微粒的全局最佳适应值fit_{g_best}、当前所有微粒的历史最佳位置gbest_i；当进化到最大迭代数或全局最佳适应值fit_{g_best}≤E_pso时转步骤4.2)；否则更新微粒的惯性权重因子ω^(g)、速度υ_i和位置x_i，之后继续迭代。

(5-2)进行Rosenbrock算法初始化，初始化单位正交搜索方向，即眼镜框上所有像素点的RGB值的变化方向；初始化各个方向上的探测步长，即眼镜框上每个像素点的RGB值变化快慢；以步骤4.1)进化得到的所有微粒的历史最佳位置gbest_i作为初始点开始进化寻优，过程如下：

Step1：在每个方向上进行极小化搜索：根据公式(8)计算目标函数适应值，如果搜索成功，即f(y^(j)+δ_jd^(j))＜f(y^(j))，根据公式(4)更新y^(j+1)、采用步长放大因子α更新步长；如果搜索失败，即f(y^(j)+δ_jd^(j))≥f(y^(j))，更新y^(j+1)、采用步长收缩因子β更新步长；如果j＜n，置j＝j+1，否则转Step2；

Step2：对每个方向完成一轮搜索之后，如果f(y⁽ⁿ⁺¹⁾)＜f(y⁽¹⁾)，则令y⁽¹⁾＝y⁽ⁿ⁺¹⁾，置j＝1,转Step1；否则转Step3；

Step3：如果f(y⁽ⁿ⁺¹⁾)＜f(x^(k))，则转Step4；否则，如果对于每个j，|δ_j|≤ε，则进化结束得到最优解为x^(k)；否则令y⁽¹⁾＝y⁽ⁿ⁺¹⁾，置j＝1,转Step1；

Step4：令x^(k+1)＝y⁽ⁿ⁺¹⁾，如果||x^(k+1)-x^(k)||≤ε，则进化结束得到最优解为x^(k+1)；否则转Step5；

Step5：根据公式(5)、(6)、(7)更新正交搜索方向；置j＝1,y⁽¹⁾＝x^(k+1),k＝k+1，并返回Step1，直到最终得到眼镜框上RGB值的最优解。

基于上述步骤5获得的对抗样本，将扰动物理化，即打印进化生成的眼镜，让攻击者佩戴并在人脸识别系统下进行人脸识别攻击测试，计算攻击成功率，判断对抗样本的鲁棒性。如图3所示，为打印出的物理眼镜的效果图。

由于生成的扰动相邻像素点的RGB值之间的差往往较大，在现实世界中则存在几个问题：a.打印机较难打印带有该扰动的眼镜；b.相机难以捕捉像素值变化剧烈的物体，容易造成像素失真；c.像素值变化较大的眼镜不美观，容易引起关注；为了解决上述问题，对于微粒的优化采用块状区域优化方式，即将眼镜框上的所有像素点按一定区域形状划分成若干块，把每块区域上的所有像素点看成一个整体，使其像素值保持相等，如此不仅可以降低打印机打印和相机采集图像时的像素失真程度，还可使眼镜看起来不容易引起关注。

在物理攻击测试前，通过放大、旋转和矫正等操作提取基于步骤5进化得到的对抗样本中的眼镜框并打印，使其适应攻击者人脸的尺寸；让攻击者佩戴物理化的眼镜框；再通过摄像头获取攻击者的人脸图像并输入到人脸识别模型中进行测试，同时定义公式：

步骤6，将对抗样本加入到预训练数据集中，用新得到的数据集重新训练人脸分类器，使人脸识别模型具有防御对抗样本攻击的能力。

本发明基于Rosenbrock-PSO的人脸识别攻击防御方法，通过进化策略生成对抗样本用于对抗训练，提高人脸识别模型的泛化能力。实验中，在对抗训练之前，数字环境下对抗样本输入到人脸识别模型中，对抗样本的目标攻击成功率为100％，物理环境下对抗样本的目标攻击成功率为88％，对抗样本的无目标攻击成功率为92％；在对抗训练之后，使用新的模型生成对抗样本，数字环境下对抗样本输入到人脸识别模型中，对抗样本的目标攻击成功率为22％，物理环境下对抗样本的目标攻击成功率为17％，对抗样本的无目标攻击成功率为20％；因此，通过对抗训练可以显著地降低对抗样本的攻击成功率，提高人脸识别模型的泛化能力。

本发明采用对抗训练的方法提高模型的泛化能力，在对抗样本的生成中采用Rosenbrock算法与带线性递减惯性因子的粒子群算法相结合的进化策略，使用相同的目标函数完成进化寻优的接力，在黑盒模型和没有对目标函数求导等操作下具有较优的时间复杂度和较高精度的扰动最优解。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于Rosenbrock-PSO的人脸识别攻击防御方法，其特征在于，包括：

(1)采集人脸图像数据并进行预处理，分成预训练数据集和用于生成对抗样本的扰动数据集；

(2)在扰动数据集中的人脸图像上制作用于限制扰动区域的纯色眼镜框模板；

(3)利用预训练数据集训练人脸识别模型的人脸分类器，使人脸分类器达到预设的分类准确率；

(4)搭建由Rosenbrock算法与带线性递减惯性因子的PSO算法相结合的Rosenbrock-PSO人脸攻击模型，设置Rosenbrock算法与PSO算法的参数，设定人脸攻击模型的对抗攻击参数和目标函数；具体过程为：

(4-1)设置PSO算法的参数，包括：微粒数m，第i个粒子的位置x_i，速度υ_i，其中0≤i≤(m-1)；最大迭代数G_k，当前迭代数g，当前惯性权重因子ω^(g)，允许误差E_pso，第i个粒子的历史最优位置pbest_i，种群发现的全局最优位置gbest_i；

当前惯性权重因子的更新公式如下：

ω^(g)＝(ω_ini-ω_end)(G_k-g)/G_k+ω_end (1)

其中，ω_ini为初始惯性因子，ω_end为迭代至最大进化代数时的惯性因子，G_k为最大迭代数；

各个微粒速度的更新公式如下：

υ_i＝ω^(g)×υ_i+c₁×rand()×(pbest_i-x_i)+c₂×rand()×(gbest_i-x_i) (2)

其中，c₁、c₂为学习因子，rand()为介于(0,1)之间的随机数；

各个微粒位置的更新公式如下：

x_i＝x_i+υ_i (3)

(4-2)设置Rosenbrock算法的参数，包括：初始点x¹＝gbest；初始单位正交搜索方向d⁽¹⁾，d⁽²⁾，...，d⁽ⁿ⁾；各方向上的探测步长

将其都初始化为1；各方向上探测的步长的代数和λ₁，λ₂，...，λ_n都初始化为0；向量组p⁽¹⁾，p⁽²⁾，...，p⁽ⁿ⁾和q⁽¹⁾，q⁽²⁾，...，q⁽ⁿ⁾全部值初始化为0；步长收缩因子β∈(-1,0)；步长放大因子α＞1；允许误差ε＞0；最大迭代数G_t，当前迭代数t；置j＝1,k＝1，y⁽¹⁾＝x⁽¹⁾；

各方向上探测的步长及步长的代数和的更新公式如下：

其中，y^(j)表示当前方向的最佳位置，函数f(·)为目标函数；

正交搜索方向的更新方法如下：

Step1：先由公式(5)计算得到向量组{p^(j)}；

Step2：然后利用Gram-Schmidt正交化方法，将向量组{p^(j)}正交化，公式如下：

Step3：单位化q^(j)得到n个新的正交搜索方向，公式如下：

(4-3)设定对抗攻击参数，包括：攻击者的真实标签y_true，攻击者的真实标签置信度分数score_true；攻击者的目标标签y_target，攻击者的目标标签置信度分数score_target；

(4-4)设定目标函数f(x)，定义如下：

其中，rank表示当前目标置信度分数的排名，score_top是当前最高的置信度分数，n表示当前人脸分类器的类总数；

(5)由PSO算法随机初始化得到若干带有纯色眼镜框的人脸图像，将这些图像输入到Rosenbrock-PSO人脸攻击模型中进行进化寻优，得到眼镜框上RGB值的最优解，将眼镜框上RGB值为最优解时的人脸图像作为对抗样本；具体过程为：

(5-1)进行PSO算法初始化，将不同颜色的纯色眼镜框上所有像素点的RGB值作为微粒的位置矩阵x，RGB值的变化快慢作为微粒的速度矩阵υ，在迭代计算过程中，采用目标函数计算每个微粒的当前适应值f(x_i)，并记录每个微粒的历史最佳适应值fit_{p_best}、历史最佳位置pbest_i，以及当前所有微粒的全局最佳适应值fit_{g_best}、当前所有微粒的历史最佳位置gbest_i；当进化到最大迭代数或全局最佳适应值fit_{g_best}≤E_pso时转步骤(5-2)；否则更新微粒的惯性权重因子ω^(g)、速度υ_i和位置x_i，之后继续迭代；在进化寻优过程中，当微粒的位置、速度越界时，用边界值取代υ_i和x_i；

(5-2)进行Rosenbrock算法初始化，初始化眼镜框上所有像素点的RGB值的变化方向以及每个像素点的RGB值变化快慢；以步骤(5-1)进化得到的所有微粒的历史最佳位置gbest_i作为初始点开始进化寻优，得到眼镜框上RGB值的最优解；

在进化寻优过程中，各方向上探测的步长及步长的代数和的更新公式在f(y^(j)+δ_jd^(j))＜f(y^(j))时，对每一维测试y^(j)'判断是否越界，如果越界，则y^(j)'在方向分量d^(j)上退回至该维的边界，计算

并置越界标志为1；如果越界标志为0，则置y^(j+1)＝y^(j)'，λ_j＝λ_j+δ_j，δ_j＝αδ_j；否则置y^(j+1)＝y^(j)'，λ_j＝λ_j+δ_j'，δ_j＝βδ_j；

(6)将对抗样本加入到预训练数据集中，用新得到的数据集重新训练人脸分类器，使人脸识别模型具有防御对抗样本攻击的能力。

2.根据权利要求1所述的基于Rosenbrock-PSO的人脸识别攻击防御方法，其特征在于，步骤(1)中，所述预处理包括对人脸图像进行裁剪、缩放和添加相应标签，并将人脸图像做好封装处理，作为训练人脸分类器所需要的数据集。

3.根据权利要求1所述的基于Rosenbrock-PSO的人脸识别攻击防御方法，其特征在于，步骤(5)中，对于微粒的进化寻优采用块状区域优化方式，将眼镜框上的所有像素点按一定区域形状划分成64-128块，把每块区域上的所有像素点看成一个整体，使其像素值保持相等。

4.根据权利要求1所述的基于Rosenbrock-PSO的人脸识别攻击防御方法，其特征在于，步骤(5-2)的具体步骤为：

(5-2-1)在每个方向上进行极小化搜索，计算目标函数适应值，如果搜索成功，即f(y^(j)+δ_jd^(j))＜f(y^(j))，更新y^(j+1)、采用步长放大因子α更新步长；如果搜索失败，即f(y^(j)+δ_jd^(j))≥f(y^(j))，更新y^(j+1)、采用步长收缩因子β更新步长；如果j＜n，置j＝j+1，否则置t＝t+1,如果t＝G_t，结束迭代，输出当前最优解，否则转步骤(5-2-2)；

(5-2-2)对每个方向完成一轮搜索之后，如果f(y⁽ⁿ⁺¹⁾)＜f(y⁽¹⁾)，则令y⁽¹⁾＝y⁽ⁿ⁺¹⁾，置j＝1，转步骤(5-2-1)；否则转步骤(5-2-3)；

(5-2-3)如果f(y⁽ⁿ⁺¹⁾)＜f(x^(k))，则转步骤(5-2-4)；否则，如果对于每个j，|δ_j|≤ε，则进化结束得到最优解为x^(k)；否则令y⁽¹⁾＝y⁽ⁿ⁺¹⁾，置j＝1，转步骤(5-2-1)；

(5-2-4)令x^(k+1)＝y⁽ⁿ⁺¹⁾，如果||x^(k+1)-x^(k)||≤ε，则进化结束得到最优解为x^(k+1)；否则转步骤(5-2-5)；

(5-2-5)更新正交搜索方向，置j＝1,y⁽¹⁾＝x^(k+1),k＝k+1，返回步骤(5-2-1)，直到最终得到眼镜框上RGB值的最优解。

Images