CN113989898A - 一种基于空间敏感度的人脸对抗样本检测方法 - Google Patents

Abstract

本发明针对人脸识别模型的安全性问题，公开了一种基于空间敏感度的人脸对抗样本检测方法。所述方法首先通过视频流和帧采样获取人脸图像数据集，然后计算人脸图像数据集和基于攻击方法生成的人脸对抗样本集之间的空间域敏感度作为样本特征，训练由全连接FC层和批量归一化BN层构成的二分类器，来区分人脸图像中的对抗样本和正常样本。本发明方法可以对人脸图像数据过滤对抗样本，加固人脸识别系统的安全性。

Description

一种基于空间敏感度的人脸对抗样本检测方法

技术领域

本发明涉及对抗样本的防御技术领域，具体涉及人脸识别系统中的安全性问题，提出了一种基于空间敏感度的人脸对抗样本检测方法。

背景技术

受益于大数据的出现和大规模计算能力的提升，基于深度学习的人脸检测和识别技术已经取得了良好的性能，已大大超越了传统的算法，广泛应用于金融验证、侦察安防、手机登录等现实场景中。但其深度学习模型存在微小调整的输入样本导致输出错误问题，这种问题称为对抗样本。对抗样本的存在会使深度学习模型在现实场景中造成巨大的安全威胁，成为人脸识别模型进一步要解决的关键问题。

人脸对抗样本攻击的形式主要分为两种，物理和数字形式的对抗攻击。物理对抗样本攻击来源于采集人脸图像的摄像头获取了实物化的对抗样本因子，如眼镜、帽子等。数字对抗样本攻击来源于数据传输中的数据包劫持被替换为对抗样本。现今的对抗样本防御方法主要分为仅检测与完全防御两类，在一定程度上都达到了抵御对抗攻击的效果。但在安全敏感的人脸识别应用领域中，完全防御方法需要大量的人脸样本训练，具有较差的可行性。仅检测防御方法可以通过无监督的方法，在少量的样本数据上获取对抗样本和正常样本的差异特征，从而得到良好性能的人脸对抗样本的分类器。

发明内容

为了降低对抗样本对人脸识别系统造成错误判断的影响，本发明提供一种基于空间敏感度的人脸对抗样本检测方法，能够准确地检测来自实时人脸数据中的对抗性样本，解决具有挑战性的微小扰动的人脸对抗样本攻击的问题。本发明的技术方案特征包括以下步骤：

步骤一：设置人脸检测区域，通过摄像头获得实时视频流，经过帧采样得到人脸图像数据集X；

步骤二：对人脸图像数据集X归一化预处理得到原始样本数据集X_data，同时划分训练集与测试集，选定神经网络模型M进行训练和测试，得到具有良好分类性能的基础模型M_data及其预测置信度m_data；

步骤三：基于迭代对抗样本攻击方法，利用梯度优化在原始人脸图像数据集X的特征值上生成变化细微的人脸对抗样本集X_adv；

步骤四：对人脸图像数据集X，使用线性降维方法对人脸图像数据进行空间域转换，得到空间变换域WT的样本数据集X_tran；

步骤五：使用样本数据X_tran在神经网络模型M进行训练和测试，得到与基础模型M_data预测标签相同的域转换模型M_wt；

步骤六：使用人脸对抗样本集X_adv在域转换模型M_wt上进行再次训练，得到对抗样本攻击后的域转换模型M_awt及其预测置信度m_awt；

步骤七：对输入的人脸图像数据，计算x_i的空间敏感度值S(x_i)，其中1≤i≤n,公式如下：

S(x_i)＝{m_data(x_i)-m_awt(x_i)}

步骤八：搭建由全连接FC层和批量归一化BN层组成的二分类器，将空间敏感度值S(x_i)作为深度神经网络二分类器的输入，训练得到二分类模型D；

步骤九：计算新输入的人脸图像样本数据集空间敏感度值，基于构建的二分类模型D来判断新输入人脸图像样本是否为正常样本或者对抗样本。若检测器结果label＝0，则表示样本为对抗样本，否则label＝1，样本为原始样本。

附图说明

附图1为本发明的一种基于空间敏感度的人脸对抗样本检测方法流程图。

具体实施方式

本发明实施一种基于空间敏感度的人脸对抗样本检测方法，以人脸图像的对抗样本与正常样本在空间域敏感度的差异性为鉴别特征，检测正确率更高，能够有效抵挡多种情景攻击下的威胁，加强人脸识别应用的安全性能。以下结合附图1，以Resnet神经网络为例，对本发明提出的基于空间敏感度的人脸对抗样本检测方法进行详细地描述。

步骤一：设置人脸检测区域，通过摄像头的获得实时视频流，按照帧频率将视频流截取成人脸图像序列，得到实时的人脸图像数据集X；

步骤二：CIFAR-10数据集用于识别普适物体，共有60000张彩色图像，分为10个类。对CIFAR-10图像数据集使用归一化预处理后划分为相应的训练集和测试集进行训练和测试，选取Resnet神经网络模型，经过10个epochs训练得到精确率98.7％的基础模型M_data及其预测置信度m_data；

步骤三：使用基于迭代的对抗样本攻击方法BIM(Basic Iterative Method)对图像数据集，通过迭代的方式查找各个图像像素点的扰动执行裁剪，保证得到的对抗样本的各个像素都在X的步长为∈的邻域内，生成变化细微的对抗样本集X_adv；公式如下：

步骤四：对于CIFAR-10图像数据集使用小波变换方法对数据的进行空间域转换，得到空间变换域WT的样本数据集X_tran达到压平对抗样本敏感的高曲线区域，公式如下：

X_train＝w₁X_ll+w₂X_lh+w₃X_hl+w₄X_hh

X_ll,X_lh,X_hl,X_hh分别为小波变换的四个子频带，w₁,w₂,w₃,w₄为平衡不同子频带的权重；

步骤五：使用样本数据X_tran在Resnet神经网络神经网络上进行训练和测试，得到与基础模型M_data预测标签相同的域转换模型M_wt；

步骤六：使用生成的对抗样本集X_adv在域转换模型M_wt上进行再次训练，得到对抗样本攻击后的域转换模型M_wt及其预测置信度m_awt；

步骤七：对输入的人脸图像数据x_i，计算x_i的空间敏感度值S(x_i)，其中1≤i≤n,公式如下：

S(x_i)＝{m_data(x_i)-m_awt(x_i)}

对于x_i，在基础模型M_data和域转换模型M_wt得到的预测值置信度存在一定的差异性，此差异性源于为对抗样本与原始样本的在空间域中敏感性不一致。

步骤八：AUC是判断二分类模型性能优劣的标准，搭建由全连接FC(FullyConnected)层和批量归一化BN(Batch Normalization)层组成的二分类器，将空间敏感度值S(x_i)作为深度神经网络二分类器的输入，训练得到AUC＝97.35％二分类模型D。

步骤九：计算新输入的人脸图像样本数据集空间敏感度值，基于构建的二分类模型D来判断新输入人脸图像样本是否为正常样本或者对抗样本。若检测器结果label＝0，则表示样本为对抗样本，否则label＝1，样本为原始样本。

通过以上过程可以实现一种基于空间敏感度的人脸对抗样本检测方法，具体流程图如图1所示，分为采集和检测两个阶段。采集阶段的主要任务是实获取人脸原始样本。检测阶段的主要任务是利用在空间转换域中，正常样本与对抗样本的空间敏感度不一致特征检测出所采集人脸图像中的对抗样本。在实际人脸识别应用过程中，可以很好地检测未知类型的人脸对抗样本，从而达到滤除对抗样本来保护人脸识别模型的目的。

针对Resnet模型，在CIFAR-10数据集上使用基于迭代的BIM攻击算法进行实验，最终使用AUC指标作为该检测方法效果的标准。表1为所提出的基于空间敏感度的对抗样本检测方法(SD,Sensitivity Domain)与基于局部内在维度(LID,Local IntrinsicDimensionality)、基于对比学习(MD,Mahalanobis Distance)的对抗样本检测方法在CIFAR-10和LFW(Labled Faces in the Wild)数据集上的AUC指标值。由表1可以看出，本发明提出的检测方法SD与LID、MD检测方法相比AUC值最高，更能有效地检测出对抗样本。LFW数据集是来源于生活中的自然场景的人脸图像数据集，共有5749人。以LFW数据集中100个人脸图像数据为例，验证基于空间敏感度的对抗样本检测方法(SD)的性能。由表1可以看出，本发明提出的对抗样本检测方法(SD)的AUC值达到96.9％，仍能够有效检测出人脸对抗样本。

表1 CIFAR-10和LFW数据集上不同对抗样本检测方法的AUC比较

Claims (1)

1.一种基于空间敏感度的人脸对抗样本检测方法，其特征在于包括以下步骤：

步骤一：设置人脸检测区域，通过摄像头获得实时视频流，经过帧采样得到人脸图像数据集X；

步骤二：对人脸图像数据集X归一化预处理得到原始样本数据集X_data，同时划分训练集与测试集，选定神经网络模型M进行训练和测试，得到具有良好分类性能的基础模型M_data及其预测置信度m_data；

步骤三：基于迭代对抗样本攻击方法，利用梯度优化在原始人脸图像数据集X的特征值上生成变化细微的人脸对抗样本集X_adv；

步骤四：对人脸图像数据集X，使用线性降维方法对人脸图像数据进行空间域转换，得到空间变换域WT的样本数据集X_tran；

步骤五：使用样本数据X_tran在神经网络模型M进行训练和测试，得到与基础模型M_data预测标签相同的域转换模型M_wt；

步骤六：使用人脸对抗样本集X_adv在域转换模型M_wt上进行再次训练，得到对抗样本攻击后的域转换模型M_awt及其预测置信度m_awt；

步骤七：对输入的人脸图像数据x_i，计算x_i的空间敏感度值S(x_i)，其中1≤i≤n,公式如：

S(x_i)＝{m_data(x_i)-m_awt(x_i)}

步骤八：搭建由全连接FC层和批量归一化BN层组成的二分类器，将空间敏感度值S(x_i)作为深度神经网络二分类器的输入，训练得到二分类模型D；

步骤九：计算新输入的人脸图像样本数据集空间敏感度值，基于构建的二分类模型D来判断新输入人脸图像样本是否为正常样本或者对抗样本。若检测器结果label＝0，则表示样本为对抗样本，否则label＝1，样本为原始样本。

Images