CN114241587B - 人脸活体检测对抗鲁棒性的评估方法及装置 - Google Patents

人脸活体检测对抗鲁棒性的评估方法及装置 Download PDF

Info

Publication number
CN114241587B
CN114241587B CN202210165316.0A CN202210165316A CN114241587B CN 114241587 B CN114241587 B CN 114241587B CN 202210165316 A CN202210165316 A CN 202210165316A CN 114241587 B CN114241587 B CN 114241587B
Authority
CN
China
Prior art keywords
network
noise
face image
feature
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210165316.0A
Other languages
English (en)
Other versions
CN114241587A (zh
Inventor
王伟
董晶
彭勃
杨嵩林
王建文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210165316.0A priority Critical patent/CN114241587B/zh
Publication of CN114241587A publication Critical patent/CN114241587A/zh
Application granted granted Critical
Publication of CN114241587B publication Critical patent/CN114241587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种人脸活体检测对抗鲁棒性的评估方法及装置、电子设备及计算机设备，所述方法包括：将原始人脸图像输入预先训练好的语义特征增广网络，输出噪声特征；将原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量；根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；将原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；根据两者之间的差值确定各分支特征的对抗鲁棒性，细粒度对抗样本包括噪声特征和分支特征向量，能够利用细粒度对抗样本从多个干扰特征中选出对骨干网络的人脸活体检测准确率重要的特征。

Description

人脸活体检测对抗鲁棒性的评估方法及装置
技术领域
本公开涉及图像检测领域，尤其涉及一种人脸活体检测对抗鲁棒性的评估方法及装置、电子设备及计算机设备。
背景技术
人脸活体检测用于鉴别输入人脸数据是否为真人，这一道防线是人脸识别系统可靠性的关键保障。如果人脸活体检测可信度低，那么不法分子就能使用用户的人脸照片或视频，解锁用户手机或者其它基于人脸特征的识别系统，这将极大的危害用户隐私和财产安全。
近年来，随着数据标注的丰富以及基础骨干网络的快速发展，人脸活体检测模型在公开学术数据集上的精度已经能够逼近百分之百。但是，对抗样本的发现对所有使用深度学习方法的模型提出了巨大挑战，包括人脸活体检测任务。使用最简单的快速梯度下降法（FastGradient Sign Method，FGSM）和投影梯度下降法（Project Gradient Descent，PGD）就能够通过噪声的添加，轻易地误导目标模型，致使其以高置信度给出一个错误的输出。这样的对抗脆弱性在人脸活体检测这样的二分类任务上更加严重。对抗样本通过叠加噪声的方式产生，其带来的视觉效果类似于改变输入图片的纹理。这对于现在工业界普遍使用卷积神经网络构建模型的现状危害更大，因为基于卷积神经网络模型更偏好学习纹理特征而非形状特征。
对抗样本的问题应该被研究人脸活体检测任务的科研人员充分考虑，但鲜有研究关注这一特殊的二分类问题的对抗鲁棒性。相较于对抗鲁棒性，之前的研究更关注于提升模型精度，比如通过使用更加丰富的标注信息，包括人脸属性、假体种类、深度图和反射图等。实验结果也表明，使用丰富的标注确实比稀疏标注有更好的分类精度表现。但是，是否高精度的模型会带来对抗鲁棒性的提升仍是一个问题。除此以外，各个标注部分的重要性也没有被细粒度地进行分析。此外，骨干基础网络的发展不断刷新深度学习模型的性能，但是哪个模型架构具备更好的对抗鲁棒性仍没有被充分研究。
将对抗攻击作为一种衡量手段揭示模型对抗脆弱性，能够使得研究者对数据和模型有更深入的理解。但是，现有对抗样本生成方法只考虑到最终的输出结果，具有一定的随机性、缺乏较好的可解释性，这样只能反映出模型整体的对抗脆弱性，而无法反映模型具体的问题。这样使得研究者无法进一步定位对抗脆弱性，对模型的优化、提升没有实际意义。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种一种人脸活体检测对抗鲁棒性的评估方法及装置、电子设备及计算机设备。
本公开的目的是通过以下技术方案实现的：
第一方面，本公开的实施例提供了一种人脸活体检测对抗鲁棒性的评估方法，包括：
将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；
将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；
根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；
将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；
根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性。
在一个示例性实施例中，所述多分支网络包括语义特征网络、几何特征网络和决策网络，通过以下表达式训练所述多任务网络模型：
Figure DEST_PATH_IMAGE001
其中，
Figure 849430DEST_PATH_IMAGE002
为多任务网络损失函数，
Figure DEST_PATH_IMAGE003
为语义损失函数，
Figure 506807DEST_PATH_IMAGE004
为几何损失函数，
Figure DEST_PATH_IMAGE005
为决策网络输出的真人和假人二分类决策向量，
Figure 3516DEST_PATH_IMAGE006
为决策向量对应的真实标注信息，
Figure DEST_PATH_IMAGE007
为决策损失函数。
在一个示例性实施例中，语义特征网络包括人脸属性网络、假体种类网络和光照网络，其中，所述语义损失函数为以下表达式：
Figure 74241DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
为人脸属性损失函数，
Figure 65330DEST_PATH_IMAGE010
为假体种类损失函数，
Figure DEST_PATH_IMAGE011
为光照损失函数，
Figure 92061DEST_PATH_IMAGE012
为人脸属性网络输出的人脸属性向量，
Figure DEST_PATH_IMAGE013
为假体种类网络输出的假体种类向量，
Figure 572721DEST_PATH_IMAGE014
为光照网络输出的光照向量，
Figure DEST_PATH_IMAGE015
为人脸属性向量对应的真实标注信息，
Figure 68424DEST_PATH_IMAGE016
为假体种类向量对应的真实标注信息，
Figure DEST_PATH_IMAGE017
为光照向量对应的真实标注信息，
Figure 846893DEST_PATH_IMAGE018
、
Figure DEST_PATH_IMAGE019
和
Figure 541180DEST_PATH_IMAGE020
为设置参数。
在一个示例性实施例中，几何特征网络包括深度图网络和反射图网络，所述几何损失函数为以下表达式：
Figure DEST_PATH_IMAGE021
其中，
Figure 396003DEST_PATH_IMAGE022
为几何损失函数，
Figure DEST_PATH_IMAGE023
为深度图损失函数，
Figure 359762DEST_PATH_IMAGE024
为反射图损失函数，
Figure DEST_PATH_IMAGE025
为深度图网络输出的深度图特征图，
Figure 754971DEST_PATH_IMAGE026
为反射图网络输出的反射图特征图，
Figure DEST_PATH_IMAGE027
为深度图特征图对应的正确标注，
Figure 507026DEST_PATH_IMAGE028
为反射图特征图对应的正确标注，
Figure DEST_PATH_IMAGE029
和
Figure 516439DEST_PATH_IMAGE030
为设置参数。
在一个示例性实施例中，所述语义特征增广网络包括真人噪声生成网络和假人噪声生成网络，所述真人噪声生成网络和所述假人噪声生成网络通过以下步骤训练得到：
将原始人脸图像分别输入真人噪声生成网络和假人噪声生成网络；
根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声；
根据真人增广噪声和假人增广噪声对原始人脸图像进行处理，并将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练。
在一个示例性实施例中，通过以下表达式，根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声：
Figure DEST_PATH_IMAGE031
Figure 783473DEST_PATH_IMAGE032
其中，
Figure DEST_PATH_IMAGE033
为真人增广噪声，
Figure 920056DEST_PATH_IMAGE034
为假人增广噪声，
Figure DEST_PATH_IMAGE035
为原始人脸图像的局部二值特征，
Figure 775885DEST_PATH_IMAGE036
为真人噪声生成网络的输出值，
Figure DEST_PATH_IMAGE037
为假人噪声生成网络的输出值。
在一个示例性实施例中，通过以下表达式，根据真人增广噪声和假人增广噪声对原始人脸图像进行处理：
Figure 706932DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
为处理后的人脸图像，
Figure 461262DEST_PATH_IMAGE040
为原始人脸图像，
Figure DEST_PATH_IMAGE041
为真人增广噪声，
Figure 385224DEST_PATH_IMAGE042
为假人增广噪声，
Figure DEST_PATH_IMAGE043
表示输入的人脸图像是真人数据，
Figure 846292DEST_PATH_IMAGE044
表示输入的人脸图像是假人数据。
在一个示例性实施例中，通过以下表达式，将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练：
Figure DEST_PATH_IMAGE045
其中，
Figure 276137DEST_PATH_IMAGE046
为真人噪声生成网络和假人噪声生成网络的损失函数，
Figure 707643DEST_PATH_IMAGE039
为处理后的人脸图像，
Figure DEST_PATH_IMAGE047
为将处理后的人脸图像输入预先训练好的骨干网络中的输出值，
Figure 982766DEST_PATH_IMAGE043
表示输入的人脸图像是真人数据，
Figure 563920DEST_PATH_IMAGE044
表示输入的人脸图像是假人数据。
在一个示例性实施例中，通过以下表达式，根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本：
Figure 899087DEST_PATH_IMAGE048
其中，
Figure DEST_PATH_IMAGE049
，
Figure 814959DEST_PATH_IMAGE050
为人脸属性特征，
Figure DEST_PATH_IMAGE051
为假体种类特征，
Figure DEST_PATH_IMAGE053
为光照特征，
Figure 831456DEST_PATH_IMAGE054
为深度图特征，
Figure DEST_PATH_IMAGE055
为反射图特征，
Figure 329434DEST_PATH_IMAGE056
为第k种特征对应的对抗样本，
Figure DEST_PATH_IMAGE057
为原始人脸图像，
Figure 288031DEST_PATH_IMAGE058
为攻击步长，
Figure DEST_PATH_IMAGE059
为第k种特征对应的网络输出的特征值，
Figure 176353DEST_PATH_IMAGE060
为第k种特征对应的真实标注信息，
Figure DEST_PATH_IMAGE061
为第k种特征对应的损失函数，
Figure 58858DEST_PATH_IMAGE062
表示
Figure 598293DEST_PATH_IMAGE061
对
Figure DEST_PATH_IMAGE063
进行求导，
Figure 540841DEST_PATH_IMAGE064
为噪声特征。
在一个示例性实施例中，通过以下表达式计算所述噪声特征：
Figure DEST_PATH_IMAGE065
其中，
Figure 916459DEST_PATH_IMAGE066
为预先训练好的语义特征增广网络，
Figure 521097DEST_PATH_IMAGE033
为真人增广噪声，
Figure DEST_PATH_IMAGE067
为假人增广噪声，
Figure 993667DEST_PATH_IMAGE057
为原始人脸图像，
Figure 44799DEST_PATH_IMAGE068
表示输入的原始人脸图像是真人数据，
Figure DEST_PATH_IMAGE069
表示输入的原始人脸图像是假人数据。
第二方面，本公开的实施例提供了一种人脸活体检测对抗鲁棒性的评估装置，包括：
第一输入模块，其用于将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；
第二输入模块，其用于将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；
生成模块，其用于根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；
第三输入模块，其用于将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；
确定模块，其用于根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性。
第三方面，本公开的实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的人脸活体检测对抗鲁棒性的评估方法。
第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的人脸活体检测对抗鲁棒性的评估方法。
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：
利用本实施例提供的人脸活体检测对抗鲁棒性的评估方法，将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性，能够通过将噪声特征和分支特征向量与原始人脸图像结合生成细粒度对抗样本，利用细粒度对抗样本确定骨干网络对不同干扰特征的对抗鲁棒性，从而从多个干扰特征中选出对骨干网络的人脸活体检测准确率重要的特征。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了本公开实施例的人脸活体检测对抗鲁棒性的评估方法的流程图；
图2示意性示出了本公开另一实施例的人脸活体检测对抗鲁棒性的评估方法的流程图；
图3示意性示出了本公开实施例的真人增广噪声和假人增广噪声的生成流程图；
图4示意性示出了本公开实施例的人脸活体检测对抗鲁棒性的评估方法分别对三种语义特征（人脸属性、假人种类、光照）、两种几何特征图（深度图、反射图）进行对抗攻击的结果；
图5示意性示出了本实施例的人脸活体检测对抗鲁棒性的评估方法的详细流程图；
图6示意性示出了本实施例的人脸活体检测对抗鲁棒性的评估装置的结构示意图；
图7示意性示出了本公开实施例提供的一种电子设备的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本公开。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本公开实施例中提供了一种人脸活体检测对抗鲁棒性的评估方法，图1示意性示出了本公开实施例的一种人脸活体检测对抗鲁棒性的评估方法的流程图，如图1所示，该流程包括如下步骤：
S1，将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；
S2，将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；
S3，根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；
S4，将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；
S5，根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性。
在本实施例中，步骤S2中，所述多分支网络包括语义特征网络、几何特征网络和决策网络，通过以下表达式训练所述多任务网络模型：
Figure 970030DEST_PATH_IMAGE070
其中，
Figure 381289DEST_PATH_IMAGE002
为多任务网络损失函数，
Figure 442785DEST_PATH_IMAGE003
为语义损失函数，
Figure 727136DEST_PATH_IMAGE004
为几何损失函数，
Figure 77346DEST_PATH_IMAGE005
为决策网络输出的真人和假人二分类决策向量，
Figure DEST_PATH_IMAGE071
为决策向量对应的真实标注信息，
Figure 105345DEST_PATH_IMAGE007
为决策损失函数，
Figure 473878DEST_PATH_IMAGE007
为Softmax交叉熵损失函数，
其中，语义特征网络包括人脸属性网络、假体种类网络和光照网络，其中，所述语义损失函数为以下表达式：
Figure 663551DEST_PATH_IMAGE072
其中，
Figure 563374DEST_PATH_IMAGE009
为人脸属性损失函数，
Figure 67168DEST_PATH_IMAGE010
为假体种类损失函数，
Figure 368836DEST_PATH_IMAGE011
为光照损失函数，
Figure 729410DEST_PATH_IMAGE012
为人脸属性网络输出的人脸属性向量，
Figure 116529DEST_PATH_IMAGE013
为假体种类网络输出的假体种类向量，
Figure DEST_PATH_IMAGE073
为光照网络输出的光照向量，
Figure 673281DEST_PATH_IMAGE074
为人脸属性向量对应的真实标注信息，
Figure 563877DEST_PATH_IMAGE016
为假体种类向量对应的真实标注信息，
Figure 298615DEST_PATH_IMAGE017
为光照向量对应的真实标注信息，
Figure 907451DEST_PATH_IMAGE018
、
Figure 80943DEST_PATH_IMAGE075
和
Figure 281505DEST_PATH_IMAGE020
为设置参数，其中，
Figure 249461DEST_PATH_IMAGE076
、
Figure 345593DEST_PATH_IMAGE075
和
Figure 994880DEST_PATH_IMAGE077
的取值可以为：
Figure 860068DEST_PATH_IMAGE078
、
Figure 998925DEST_PATH_IMAGE079
、
Figure 769304DEST_PATH_IMAGE080
，骨干网络分别后接的四个全连接层作为决策网络、人脸属性网络、假体种类网络和光照网络，
Figure 19020DEST_PATH_IMAGE010
和
Figure 4293DEST_PATH_IMAGE011
为Softmax交叉熵损失函数，而
Figure 251735DEST_PATH_IMAGE009
采用二元交叉熵损失函数，
其中，几何特征网络包括深度图网络和反射图网络，所述几何损失函数为以下表达式：
Figure 322459DEST_PATH_IMAGE021
其中，
Figure 562816DEST_PATH_IMAGE022
为几何损失函数，
Figure 402596DEST_PATH_IMAGE023
为深度图损失函数，
Figure 883256DEST_PATH_IMAGE024
为反射图损失函数，
Figure 113380DEST_PATH_IMAGE025
为深度图网络输出的深度图特征图，
Figure 970478DEST_PATH_IMAGE026
为反射图网络输出的反射图特征图，
Figure 664765DEST_PATH_IMAGE027
为深度图特征图对应的正确标注，
Figure 503276DEST_PATH_IMAGE028
为反射图特征图对应的正确标注，
Figure 548593DEST_PATH_IMAGE029
和
Figure 881485DEST_PATH_IMAGE030
为设置参数，其中，
Figure 430278DEST_PATH_IMAGE029
和
Figure 518320DEST_PATH_IMAGE030
可以为0.1，骨干网络后接两个3×3卷积，并上采样到14×14的特征图尺寸，得到深度图网络和反射图网络，真人图片的深度图的正确标注由PRNet网络给出，假人图片的深度图为0；真人图片的反射图为0，假人图片的反射图的正确标注由基于感知损失函数的方法得到，
Figure 305312DEST_PATH_IMAGE081
和
Figure 504212DEST_PATH_IMAGE024
均方误差损失函数，
如图2所示，步骤S1中，所述语义特征增广网络包括真人噪声生成网络和假人噪声生成网络，所述真人噪声生成网络和所述假人噪声生成网络通过以下步骤训练得到：
S21，将原始人脸图像分别输入真人噪声生成网络和假人噪声生成网络；
在实际应用中，真人噪声生成网络和假人噪声生成网络可以使用两个变分自编码器。
S22，根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声；
S23，根据真人增广噪声和假人增广噪声对原始人脸图像进行处理，并将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练，
其中，如图3所示，通过以下表达式，根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声：
Figure 104138DEST_PATH_IMAGE031
Figure 858467DEST_PATH_IMAGE032
其中，
Figure 595479DEST_PATH_IMAGE033
为真人增广噪声，
Figure 305815DEST_PATH_IMAGE034
为假人增广噪声，
Figure 735659DEST_PATH_IMAGE035
为原始人脸图像的局部二值特征，
Figure 711705DEST_PATH_IMAGE036
为真人噪声生成网络的输出值，
Figure 252408DEST_PATH_IMAGE037
为假人噪声生成网络的输出值，
其中，通过以下表达式，根据真人增广噪声和假人增广噪声对原始人脸图像进行处理：
Figure 833562DEST_PATH_IMAGE038
其中，
Figure 168728DEST_PATH_IMAGE039
为处理后的人脸图像，
Figure 897650DEST_PATH_IMAGE040
为原始人脸图像，
Figure 163415DEST_PATH_IMAGE041
为真人增广噪声，
Figure 661393DEST_PATH_IMAGE042
为假人增广噪声，
Figure 167460DEST_PATH_IMAGE043
表示输入的人脸图像是真人数据，
Figure 321361DEST_PATH_IMAGE044
表示输入的人脸图像是假人数据，
其中，通过以下表达式，将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练：
Figure 203866DEST_PATH_IMAGE045
其中，
Figure 556350DEST_PATH_IMAGE084
是一组带有标签的训练数据，
Figure 685849DEST_PATH_IMAGE046
为真人噪声生成网络和假人噪声生成网络的损失函数，
Figure 123784DEST_PATH_IMAGE046
可以为二元交叉熵损失函数，
Figure 544401DEST_PATH_IMAGE039
为处理后的人脸图像，
Figure 954654DEST_PATH_IMAGE047
为将处理后的人脸图像输入预先训练好的骨干网络中的输出值，
Figure 802524DEST_PATH_IMAGE043
表示输入的人脸图像是真人数据，
Figure 727755DEST_PATH_IMAGE044
表示输入的人脸图像是假人数据，其中，将预先训练好的骨干网络作为人脸活体检测判别器，定义为D，在训练真人噪声生成网络
Figure 141943DEST_PATH_IMAGE036
和假人噪声生成网络
Figure 469019DEST_PATH_IMAGE037
的过程中，人脸活体检测判别器D的参数固定，其中，带有标签的训练数据通过以下步骤构造：
构造活体检测人脸图像数据集：采集10000个不同人的人脸数据，分别在室内、室外等不同光照条件下，用不同设备（手机、相机）拍摄正脸图像，对采集后的图像，分别再进行海报、手机屏幕、电脑显示屏的翻拍，以作为假人数据；
标注采集的人脸图像数据集，对所搜集的数据，分别从人脸属性、假体种类、光照、真人/假人进行标注。
本实施例的语义增广网络考虑到了基于卷积神经网络的模型对于纹理改变的敏感性，并通过添加正负样本进训练流程来完成优化，能够针对一张输入图片，产生两种注意力图，分别提升输入图片针对真人/假人的响应，通过该语义增广网络预处理后再生成的对抗样本能够将噪声添加至真人/假人的决策边界上，能够减轻对抗噪声的随机性问题。
表1展示的是将输入数据先经过语义特征增广网络预处理，再和各种对抗攻击方法进行结合后，对抗攻击成功率的前后变化情况。
表1
Figure 753370DEST_PATH_IMAGE085
由表1可以看出，本实施例中提出的语义特征增广网络能够显著提高对抗攻击成功率，因此，本实施例中提出的语义特征增广网络还能够应用于提高检测模型的抗干扰能力。
在本实施例中，步骤S3中，通过以下表达式，通过以下表达式，根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本：
Figure 165897DEST_PATH_IMAGE048
其中，
Figure 865999DEST_PATH_IMAGE049
，
Figure 47582DEST_PATH_IMAGE050
为人脸属性特征，
Figure 502834DEST_PATH_IMAGE051
为假体种类特征，
Figure 589608DEST_PATH_IMAGE053
为光照特征，
Figure 155718DEST_PATH_IMAGE054
为深度图特征，
Figure 191807DEST_PATH_IMAGE055
为反射图特征，
Figure 755644DEST_PATH_IMAGE056
为第k种特征对应的对抗样本，
Figure 142763DEST_PATH_IMAGE057
为原始人脸图像，
Figure 246985DEST_PATH_IMAGE058
为攻击步长，
Figure 590111DEST_PATH_IMAGE059
为第k种特征对应的网络输出的特征值，
Figure 387165DEST_PATH_IMAGE060
为第k种特征对应的真实标注信息，
Figure 996001DEST_PATH_IMAGE061
为第k种特征对应的损失函数，
Figure 107177DEST_PATH_IMAGE062
表示
Figure 117858DEST_PATH_IMAGE061
对
Figure 85814DEST_PATH_IMAGE063
进行求导，
Figure 368897DEST_PATH_IMAGE064
为噪声特征，
其中，通过以下表达式计算所述噪声特征：
Figure 814922DEST_PATH_IMAGE065
其中，
Figure 883372DEST_PATH_IMAGE066
为预先训练好的语义特征增广网络，
Figure 22229DEST_PATH_IMAGE033
为真人增广噪声，
Figure 605657DEST_PATH_IMAGE067
为假人增广噪声，
Figure 39394DEST_PATH_IMAGE057
为原始人脸图像，
Figure 24667DEST_PATH_IMAGE068
表示输入的原始人脸图像是真人数据，
Figure 334426DEST_PATH_IMAGE069
表示输入的原始人脸图像是假人数据。
本实施例的人脸活体检测对抗鲁棒性的评估方法在不同骨干网络，例如VGG网络、Resnet网络、Densenet网络和Swin Transformer网络上分别实验，在实验过程中只需替换骨干网络为特定架构，在所构建数据集上训练骨干网络，即可得到基于不同骨干网络的待评估的预训练模型。下表2展示的是将本实施例的人脸活体检测对抗鲁棒性的评估方法在以上四种骨干网络上分别实验的结果。在构建活体检测模型时，通过在不同骨干网络上进行这样的系统性评估，能够从不同的骨干网络中选择出最具对抗鲁棒性的骨干网络架构，并从语义特征、几何特征和决策中筛选出兼顾检测精度和对抗鲁棒性的关键数据标注信息。
表2
Figure 342833DEST_PATH_IMAGE086
由表2可知，从横向看，对比四个骨干网络对三种语义特征（人脸属性、假人种类、光照）、两种几何特征图（深度图、反射图）进行对抗攻击的结果，由于VGG骨干网络对于语义特征对抗样本、几何特征图对抗样本和真人/假人决策对抗样本的检测准确率整体比其他三种骨干网络高，因此，优选VGG骨干网络作为人脸活体图像的检测；从纵向看，VGG骨干网络对于人脸属性对抗样本、假人种类对抗样本、光照对抗样本、深度图对抗样本、反射图对抗样本、决策对抗样本进行对抗攻击的结果，对人脸属性对抗样本的检测准确率从0.9416下降至0.7849，对反射图对抗样本的准确率从0.9416下降至0.6484，因而，VGG骨干网络对人脸属性和反射图的对抗鲁棒性较好，因此，在检测人脸活体图像时，需要细化假人种类特征、光照特征、深度图特征、决策特征的标注信息和辅助信息，以提高VGG骨干网络对干扰图像的检测准确率。
图4示出了分别对三种语义特征（人脸属性、假人种类、光照）、两种几何特征图（深度图、反射图）进行对抗攻击的结果，采取类激活映射图进行可视化，能够更加直观地展示对抗攻击对于模型决策地影响。如图4所示，在本实施例中，人脸属性攻击对于模型影响不大。
本实施例的人脸活体检测对抗鲁棒性的评估方法采用LBP对生成的真人噪声和假人噪声进行加权，将噪声添加至神经网络更为敏感的纹理特征上，使得该噪声更能够攻击到神经网络模型的脆弱点（因为神经网络更倾向于学习图片中的纹理信息）。
本实施例的人脸活体检测对抗鲁棒性的评估方法采用构造正负样本参与训练，不仅加强目标标签的信息，还对与目标相反标签的信息进行减弱，例如，对样本中真人信息增强，增强真人响应的同时，也减弱其假人响应，增强/减弱通过＋/—操作得到，避免只考虑自身目标信息带来的训练收敛速度慢、效果差的问题。
图5示出了本实施例的人脸活体检测对抗鲁棒性的评估方法的整体流程：首先，提出一种针对人脸活体检测的语义特征增广网络，分别增强输入数据中真人/假人的目标模型响应信息，并使用两个变分自编码器生成真人/假人噪声，利用局部二值特征对生成噪声进行加权，组合两种加权后的噪声构造正负样本同步参与模块模型训练；使用上述语义特征增广网络对输入数据进行预处理，结合对抗攻击生成基于数据语义信息的细粒度对抗样本；该框架分别对三种语义特征（人脸属性、假人种类、光照）、两种几何特征图（深度图、反射图）进行对抗攻击，以筛选出骨干网络以及兼顾检测精度和对抗鲁棒性的关键数据标注信息。
本实施例的人脸活体检测对抗鲁棒性的评估方法为了更加细粒度地分析人脸活体检测任务的对抗脆弱性，利用语义特征增广网络对输入数据进行预处理，分别增强输入数据中真人/假人的目标模型响应信息，结合白盒对抗攻击方法生成基于数据语义信息的细粒度对抗样本，生成的对抗样本具有细粒度、可解释性较强（即知道哪些特征被扰动了）的特点，更有利于对人脸活体检测模型进行系统性的对抗鲁棒性评估，例如，通过该细粒度对抗样本考察哪些特征对二分类判定结果具有更好的对抗鲁棒性，从而筛选出兼顾检测精度和对抗鲁棒性的关键数据标注信息。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random AccessMemory，简称为RAM）、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，组件服务端，或者网络设备等）执行本公开各个实施例的方法。
在本实施例中还提供了一种人脸活体检测对抗鲁棒性的评估装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
参见图6，本公开的实施例提供了一种人脸活体检测对抗鲁棒性的评估装置，包括：
第一输入模块11，其用于将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；
第二输入模块12，其用于将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；
生成模块13，其用于根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；
第三输入模块14，其用于将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；
确定模块15，其用于根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本公开的实施例提供了一种电子设备。
图7示意性示出了本公开实施例提供的一种电子设备的结构框图。
参照图7所示，本公开实施例提供的电子设备400包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401、通信接口402和存储器403通过通信总线404完成相互间的通信；存储器403，用于存放计算机程序；处理器401，用于执行存储器上所存放的程序时，实现上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该输入输出设备与上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；
将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；
根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；
将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；
根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性。
本公开的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；
将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；
根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；
将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；
根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本公开的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本公开不限制于任何特定的硬件和软件结合。
以上所述仅为本公开的优选实施例而已，并不用于限制于本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (12)

1.一种人脸活体检测对抗鲁棒性的评估方法，其特征在于，包括：
将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；
将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；
根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；
将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；
根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性，
其中，所述语义特征增广网络包括真人噪声生成网络和假人噪声生成网络，所述真人噪声生成网络和所述假人噪声生成网络通过以下步骤训练得到：
将原始人脸图像分别输入真人噪声生成网络和假人噪声生成网络；
根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声；
根据真人增广噪声和假人增广噪声对原始人脸图像进行处理，并将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练。
2.根据权利要求1所述的方法，其特征在于，所述多分支网络包括语义特征网络、几何特征网络和决策网络，通过以下表达式训练所述多任务网络模型：
Figure 896004DEST_PATH_IMAGE001
其中，
Figure 504840DEST_PATH_IMAGE002
为多任务网络损失函数，
Figure 412753DEST_PATH_IMAGE003
为语义损失函数，
Figure 610385DEST_PATH_IMAGE004
为几何损失函数，
Figure 578341DEST_PATH_IMAGE005
为决策网络输出的真人和假人二分类决策向量，
Figure 674473DEST_PATH_IMAGE006
为决策向量对应的真实标注信息，
Figure 323760DEST_PATH_IMAGE007
为决策损失函数。
3.根据权利要求2所述的方法，其特征在于，语义特征网络包括人脸属性网络、假体种类网络和光照网络，其中，所述语义损失函数为以下表达式：
Figure 454527DEST_PATH_IMAGE008
其中，
Figure 593385DEST_PATH_IMAGE009
为人脸属性损失函数，
Figure 98184DEST_PATH_IMAGE010
为假体种类损失函数，
Figure 613479DEST_PATH_IMAGE011
为光照损失函数，
Figure 598753DEST_PATH_IMAGE012
为人脸属性网络输出的人脸属性向量，
Figure 846194DEST_PATH_IMAGE013
为假体种类网络输出的假体种类向量，
Figure 651339DEST_PATH_IMAGE014
为光照网络输出的光照向量，
Figure 704746DEST_PATH_IMAGE015
为人脸属性向量对应的真实标注信息，
Figure 734406DEST_PATH_IMAGE016
为假体种类向量对应的真实标注信息，
Figure 215066DEST_PATH_IMAGE017
为光照向量对应的真实标注信息，
Figure 773087DEST_PATH_IMAGE018
、
Figure 302288DEST_PATH_IMAGE019
和
Figure 262154DEST_PATH_IMAGE020
为设置参数。
4.根据权利要求2所述的方法，其特征在于，几何特征网络包括深度图网络和反射图网络，所述几何损失函数为以下表达式：
Figure 913715DEST_PATH_IMAGE021
其中，
Figure 880403DEST_PATH_IMAGE022
为几何损失函数，
Figure 275612DEST_PATH_IMAGE023
为深度图损失函数，
Figure 89984DEST_PATH_IMAGE024
为反射图损失函数，
Figure 850130DEST_PATH_IMAGE025
为深度图网络输出的深度图特征图，
Figure 117163DEST_PATH_IMAGE026
为反射图网络输出的反射图特征图，
Figure 316063DEST_PATH_IMAGE027
为深度图特征图对应的正确标注，
Figure 171893DEST_PATH_IMAGE028
为反射图特征图对应的正确标注，
Figure 165257DEST_PATH_IMAGE029
和
Figure 919586DEST_PATH_IMAGE030
为设置参数。
5.根据权利要求1所述的方法，其特征在于，通过以下表达式，根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声：
Figure 859860DEST_PATH_IMAGE031
Figure 383245DEST_PATH_IMAGE032
其中，
Figure 547511DEST_PATH_IMAGE033
为真人增广噪声，
Figure 976087DEST_PATH_IMAGE034
为假人增广噪声，
Figure 516789DEST_PATH_IMAGE035
为原始人脸图像的局部二值特征，
Figure 894681DEST_PATH_IMAGE036
为真人噪声生成网络的输出值，
Figure 433110DEST_PATH_IMAGE037
为假人噪声生成网络的输出值。
6.根据权利要求1所述的方法，其特征在于，通过以下表达式，根据真人增广噪声和假人增广噪声对原始人脸图像进行处理：
Figure 896452DEST_PATH_IMAGE038
其中，
Figure 240846DEST_PATH_IMAGE039
为处理后的人脸图像，
Figure 657265DEST_PATH_IMAGE040
为原始人脸图像，
Figure 428912DEST_PATH_IMAGE041
为真人增广噪声，
Figure 379551DEST_PATH_IMAGE042
为假人增广噪声，
Figure 199739DEST_PATH_IMAGE043
表示输入的人脸图像是真人数据，
Figure 552223DEST_PATH_IMAGE044
表示输入的人脸图像是假人数据。
7.根据权利要求1所述的方法，其特征在于，通过以下表达式，将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练：
Figure 494771DEST_PATH_IMAGE045
其中，
Figure 119656DEST_PATH_IMAGE046
为真人噪声生成网络和假人噪声生成网络的损失函数，
Figure 805853DEST_PATH_IMAGE047
为处理后的人脸图像，
Figure 12843DEST_PATH_IMAGE048
为将处理后的人脸图像输入预先训练好的骨干网络中的输出值，
Figure 63976DEST_PATH_IMAGE043
表示输入的人脸图像是真人数据，
Figure 989206DEST_PATH_IMAGE044
表示输入的人脸图像是假人数据。
8.根据权利要求1所述的方法，其特征在于，通过以下表达式，根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本：
Figure 213514DEST_PATH_IMAGE049
其中，
Figure 727541DEST_PATH_IMAGE050
，
Figure 746313DEST_PATH_IMAGE051
为人脸属性特征，
Figure 158840DEST_PATH_IMAGE052
为假体种类特征，
Figure 124521DEST_PATH_IMAGE054
为光照特征，
Figure 306104DEST_PATH_IMAGE055
为深度图特征，
Figure 761356DEST_PATH_IMAGE056
为反射图特征，
Figure 582551DEST_PATH_IMAGE057
为第k种特征对应的对抗样本，
Figure 148661DEST_PATH_IMAGE058
为原始人脸图像，
Figure 450329DEST_PATH_IMAGE059
为攻击步长，
Figure 14166DEST_PATH_IMAGE060
为第k种特征对应的网络输出的特征值，
Figure 135706DEST_PATH_IMAGE061
为第k种特征对应的真实标注信息，
Figure 505507DEST_PATH_IMAGE062
为第k种特征对应的损失函数，
Figure 661682DEST_PATH_IMAGE063
表示
Figure 648617DEST_PATH_IMAGE062
对
Figure 257453DEST_PATH_IMAGE064
进行求导，
Figure 165366DEST_PATH_IMAGE065
为噪声特征。
9.根据权利要求8所述的方法，其特征在于，通过以下表达式计算所述噪声特征：
Figure 113731DEST_PATH_IMAGE066
其中，
Figure 81687DEST_PATH_IMAGE067
为预先训练好的语义特征增广网络，
Figure 177819DEST_PATH_IMAGE033
为真人增广噪声，
Figure 76373DEST_PATH_IMAGE068
为假人增广噪声，
Figure 941561DEST_PATH_IMAGE058
为原始人脸图像，
Figure 80418DEST_PATH_IMAGE069
表示输入的原始人脸图像是真人数据，
Figure 601530DEST_PATH_IMAGE070
表示输入的原始人脸图像是假人数据。
10.一种人脸活体检测对抗鲁棒性的评估装置，其特征在于，包括：
第一输入模块，其用于将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；
第二输入模块，其用于将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；
生成模块，其用于根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；
第三输入模块，其用于将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；
确定模块，其用于根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性，
其中，所述语义特征增广网络包括真人噪声生成网络和假人噪声生成网络，所述真人噪声生成网络和所述假人噪声生成网络通过以下步骤训练得到：
将原始人脸图像分别输入真人噪声生成网络和假人噪声生成网络；
根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声；
根据真人增广噪声和假人增广噪声对原始人脸图像进行处理，并将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9中任一项所述的人脸活体检测对抗鲁棒性的评估方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的人脸活体检测对抗鲁棒性的评估方法。
CN202210165316.0A 2022-02-23 2022-02-23 人脸活体检测对抗鲁棒性的评估方法及装置 Active CN114241587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210165316.0A CN114241587B (zh) 2022-02-23 2022-02-23 人脸活体检测对抗鲁棒性的评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210165316.0A CN114241587B (zh) 2022-02-23 2022-02-23 人脸活体检测对抗鲁棒性的评估方法及装置

Publications (2)

Publication Number Publication Date
CN114241587A CN114241587A (zh) 2022-03-25
CN114241587B true CN114241587B (zh) 2022-05-24

Family

ID=80747797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210165316.0A Active CN114241587B (zh) 2022-02-23 2022-02-23 人脸活体检测对抗鲁棒性的评估方法及装置

Country Status (1)

Country Link
CN (1) CN114241587B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116483733A (zh) * 2023-06-12 2023-07-25 数据堂（北京）科技股份有限公司 多维度人工智能产品评测方法及装置
CN117240979B (zh) * 2023-11-15 2024-01-26 清华大学 一种基于对抗鲁棒训练的人脸图像预保护方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558840A (zh) * 2018-11-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种特征融合的活体检测方法
CN109784148A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 活体检测方法及装置
WO2020159437A1 (en) * 2019-01-29 2020-08-06 Agency For Science, Technology And Research Method and system for face liveness detection
CN113705397A (zh) * 2021-08-16 2021-11-26 南京信息工程大学 基于双流cnn结构融合prnu的gan生成人脸检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558840A (zh) * 2018-11-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种特征融合的活体检测方法
CN109784148A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 活体检测方法及装置
WO2020159437A1 (en) * 2019-01-29 2020-08-06 Agency For Science, Technology And Research Method and system for face liveness detection
CN113705397A (zh) * 2021-08-16 2021-11-26 南京信息工程大学 基于双流cnn结构融合prnu的gan生成人脸检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Semantically Stealthy Adversarial Attacks against Segmentation Models;Zhenhua Chen 等;《2022 IEEE/CVF Winter Conference on Applications of Computer Vision》;20220215;第4080-4089页 *
视觉对抗样本生成技术概述;王伟等;《信息安全学报》;20200315;第5卷(第02期);第39-48页 *

Also Published As

Publication number Publication date
CN114241587A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN114241587B (zh) 人脸活体检测对抗鲁棒性的评估方法及装置
WO2020199611A1 (zh) 活体检测方法和装置、电子设备及存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN111401521B (zh) 神经网络模型训练方法及装置、图像识别方法及装置
CN110569916B (zh) 用于人工智能分类的对抗样本防御系统及方法
CN109345553A (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN114331829A (zh) 一种对抗样本生成方法、装置、设备以及可读存储介质
CN111401192B (zh) 基于人工智能的模型训练方法和相关装置
CN113792871A (zh) 神经网络训练方法、目标识别方法、装置和电子设备
CN113723530B (zh) 基于视频分析和电子心理沙盘的智能心理评估系统
CN113011387B (zh) 网络训练及人脸活体检测方法、装置、设备及存储介质
CN111652087A (zh) 验车方法、装置、电子设备和存储介质
CN116311214B (zh) 车牌识别方法和装置
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN113177559A (zh) 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
CN113806564B (zh) 多模态信息性推文检测方法及系统
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN112308093B (zh) 基于图像识别的空气质量感知方法、模型训练方法及系统
CN114282258A (zh) 截屏数据脱敏方法、装置、计算机设备及存储介质
CN112818774A (zh) 一种活体检测方法及装置
CN117636426A (zh) 一种基于注意力机制的面部和情景情感识别方法
CN112989932A (zh) 基于改进原型网络的少样本森林火灾烟雾识别方法及装置
Liu et al. Manigen: A manifold aided black-box generator of adversarial examples

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant