CN113642003A - 基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法 - Google Patents

基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法 Download PDF

Info

Publication number
CN113642003A
CN113642003A CN202110861427.0A CN202110861427A CN113642003A CN 113642003 A CN113642003 A CN 113642003A CN 202110861427 A CN202110861427 A CN 202110861427A CN 113642003 A CN113642003 A CN 113642003A
Authority
CN
China
Prior art keywords
sticker
shape
face
attacker
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110861427.0A
Other languages
English (en)
Inventor
沈蒙
于灏
孙润庚
王明慧
魏雅倩
祝烈煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110861427.0A priority Critical patent/CN113642003A/zh
Publication of CN113642003A publication Critical patent/CN113642003A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，属于人脸识别安全防护技术领域。本方法设计了一种对抗样本物理攻击方法，通过一次生成多个不同形状的贴纸来攻击目标深度人脸识别系统，并设计一个转换器来模拟真实世界中附着贴纸的人脸样子，这些不同形状的贴纸能够灵活地附着在人脸的任意地方。同时，利用贴纸方式对深度人脸识别系统实施物理攻击，无需设计专门的装置即可在物理世界重构出对抗样本，从而检测系统的安全性。本发明方法易用性高，生成的贴纸更加灵活、鲁棒性强。通过目标深度人脸识别系统检验生成器贴纸的有效性判断出系统的安全性，为进一步调整优化人脸识别系统提供了方向。

Description

基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法
技术领域
本发明涉及一种基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，属于人脸识别安全防护技术领域。
背景技术
人脸识别系统作为人工智能最为成熟的应用领域，已经大规模落地并服务于人们的日常生活。例如，基于二代身份证的人证核验、刷脸支付、人脸闸机验证等。但是，在大规模商业化的同时，人脸识别技术也面临更多方面的威胁。随着深度神经网络(DNN)的发展，其越来越受到人们的关注，并应用于人脸识别系统中。
对抗样本，是一类被恶意设计用来攻击深度学习模型的样本。通过对输入添加刻意构造的扰动，对抗样本可以使得特定的深度学习模型产生错误的分类。因此，对抗样本可以被用来检测深度学习模型是否存在安全问题。对于人脸识别系统而言，如果能够生成对抗样本，就意味着目标人脸识别系统就不再安全。
对抗样本分为数字世界的对抗样本和物理世界的对抗样本。其中，数字世界的对抗样本是利用数字攻击方法直接修改人脸图像的像素大小，物理世界的对抗样本则需要在物理世界中重构出来。
与物理攻击方法制作的对抗样本相比，数字攻击方法生成的对抗样本需要直接输入人脸识别系统的识别模型中，因此其实用性较差。物理世界的人脸对抗样本，通过对人脸进行微小的改动(附着贴纸或佩戴眼镜)就可以欺骗深度识别系统做出错误的判断，从而造成重大损失。
物理攻击方法可进一步分为仿冒攻击和躲避攻击。其中，仿冒攻击是指对攻击者的人脸施加扰动，使得人脸识别系统的识别结果为受害者；躲避攻击是指扰动攻击者的人脸，使其无法被人脸识别系统成功识别出来。
衡量物理攻击方法好坏的标准是：有效性、易用性和鲁棒性。物理攻击的目标是能够成功地欺骗目标人脸识别系统，并且可以抵抗环境因素的变化，这里的环境因素包括攻击者到摄像机的距离、环境亮度和攻击者头部姿态等，环境因素的变化会使得降低物理攻击方法的攻击效果；易用性是指攻击可以不用借助于专门的装置在物理世界中生成扰动；鲁棒性是指对抗样本可以抵抗环境因素的变化，比如攻击者姿态的变化。
因此，如果能够设计一种高鲁棒物理对抗样本生成方法用于检验在物理场景下深度人脸识别系统的安全性，从而验证人脸识别系统的识别结果可信性，具有重要的意义。
发明内容
本发明的目的是为了解决有效检验在物理场景下深度人脸识别系统的安全性、验证人脸识别系统的识别结果可信性的技术问题，提出一种基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法。
由于深度人脸识别系统总是在特定的人脸区域(比如五官附近)提取信息。因此，将贴纸附着在这些区域就能够改变人脸特征，从而降低人脸识别系统的识别准确率。例如，当正方形的贴纸被贴在特定位置时(比如眉毛)，贴纸的四角可能会遮挡眼睛，这可能会导致攻击者无法通过活体检测系统。活体检测系统会通过检测眼球的移动来判断摄像机前面是真实活体还是播放的视频。同时，为保证贴纸在物理世界仍然保持有效性，攻击方法需要模拟出贴纸附着在人脸图片时的样子。这是因为人脸是3D形状而不是2D平面，贴纸附着在人脸上时会产生形变。另一方面，现实世界中的物理环境是不断变化的，要求生成的贴纸具备非常强的鲁棒性。
针对以上问题，本方法设计了一种对抗样本物理攻击方法，通过一次生成多个不同形状的贴纸来攻击目标深度人脸识别系统，并设计一个转换器来模拟真实世界中附着贴纸的人脸样子，这些不同形状的贴纸能够灵活地附着在人脸的任意地方(鼻梁、眉毛、嘴唇旁等)。同时，考虑到易用性问题，利用贴纸方式对深度人脸识别系统实施物理攻击，无需设计专门的装置即可在物理世界重构出对抗样本，从而检测系统的安全性。
借助于对抗生成网络机制用来生成贴纸的形状，包含四个不同的部分：贴纸生成器
Figure BDA0003185814080000021
形状判别器
Figure BDA0003185814080000022
转换器
Figure BDA0003185814080000023
和目标深度人脸识别系统
Figure BDA0003185814080000024
并且实现仿冒攻击和躲避攻击。
给定一个人脸图像x和标签y，假设人脸识别系统识别正确，则
Figure BDA0003185814080000025
仿冒攻击是指：攻击者首先指定一个受害者y*使得对抗样本的识别结果为
Figure BDA0003185814080000031
躲避攻击是指：攻击者制作一个对抗样本x*＝x+Δx，使得识别结果为
Figure BDA0003185814080000032
贴纸生成器
Figure BDA0003185814080000033
包括形状组件和贴纸组件，分别负责生成贴纸的形状和内容。贴纸生成器
Figure BDA0003185814080000034
包含不同分支，用以同时生成多个贴纸；形状组件用于生成一个形状掩码，贴纸组件用于生成一个对抗性贴纸，其中，形状掩码是一个二值图片，即仅包含白色(像素为255)和黑色(像素为0)，被用来裁剪原本生成的方形贴纸，使得裁剪后的贴纸形状和形状模板一致。
形状判别器
Figure BDA0003185814080000035
用于判别输入的形状图像是贴纸生成器
Figure BDA0003185814080000036
生成的形状，还是来自于模板形状数据集。
转换器
Figure BDA0003185814080000037
将贴纸生成器
Figure BDA0003185814080000038
生成的贴纸附着在输入人脸图像x上。首先，基于深度学习的3D人脸重建方法(比如R-Net)，得到包括3D人脸形状、照明模型参数在内的辅助信息。然后，把贴纸生成器生成的贴纸放置到预先选择的位置上，形成贴纸模板。之后，将贴纸模板和辅助信息输入到渲染器中，得到渲染出的贴纸。将渲染出的贴纸放置到原始的人脸图片上，得到附着贴纸的人脸图片。最后，目标深度人脸识别系统
Figure BDA0003185814080000039
将附着贴纸的人脸图片作为输入，并给出最终的识别结果。在训练贴纸生成器
Figure BDA00031858140800000310
和形状判别器
Figure BDA00031858140800000311
的过程中，形状掩码的参数是不变的，从而保证识别结果的有效性。
通过目标深度人脸识别系统
Figure BDA00031858140800000312
检验生成器贴纸的有效性，判断出系统的安全性，为进一步调整优化人脸识别系统提供了方向。
有益效果
本发明方法，具有以下有益效果：
(1)易用性高，无需定制特殊的设备；
(2)贴纸的位置不固定，使得攻击更加灵活；
(3)可以生成不同形状的贴纸，贴纸的形状是事先准备的模板形状数据集中的形状，使得生成的贴纸更加灵活地附着到人脸上；
(4)生成的贴纸鲁棒性强，转换器可以将贴纸附着在不同姿态的人脸上。且转换器可以利用估计的照明模型参数进行渲染，会增加贴纸对环境亮度变化的鲁棒性。
附图说明
图1是本发明方法的物理攻击过程；
图2是本发明方法中的贴纸生成器、形状判别器、转换器和目标深度人脸识别系统的架构图；
图3是本发明方法中的转换器将贴纸附着在人脸图片上的具体过程。
具体实施方式
下面结合附图和实施例对本发明方法做进一步详细说明。
一种基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，包括如下步骤：
步骤1：准备攻击者PA的人脸图片数据集DA和模板形状数据集Ds，并选择一个3D人脸重建算法
Figure BDA0003185814080000041
具体地，包括以下步骤：
步骤1.1：准备攻击者PA的人脸图片数据集DA。
具体地，采集在不同环境条件下拍摄的攻击者人脸图片，环境条件包括：攻击者与摄像机之间的距离、环境亮度和攻击者的头部姿态。
步骤1.2：准备攻击者PA的模板形状数据集Ds。
其中，DS是想要生成的贴纸形状，贴纸形状没有具体限制。整个数据集DS的分布表示为
Figure BDA0003185814080000042
步骤1.3：利用3D人脸重建算法
Figure BDA0003185814080000043
(如R-Net算法)处理攻击者的每个图片，获取攻击者的辅助信息
Figure BDA0003185814080000044
其中，辅助信息
Figure BDA0003185814080000045
包括3D人脸形状、照明模型参数。
步骤2：设置贴纸生成器一次能够生成的贴纸数量为m，每个贴纸放置的位置为li,i＝1,2,…,m。设置攻击者的攻击模式，包括仿冒攻击、躲避攻击两种，若为仿冒攻击，还需设置受害者PB。
其中，贴纸生成器包括形状组件和贴纸组件，分别负责生成贴纸的形状和内容。贴纸生成器包含不同分支，用以同时生成多个贴纸。形状组件用于生成形状掩码，贴纸组件用于生成对抗性贴纸，其中，形状掩码是一个二值图片，即仅包含白色(像素为255)和黑色(像素为0)，被用来裁剪原本生成的方形贴纸，使得裁剪后的贴纸形状和形状模板一致。
仿冒攻击是指：攻击者首先指定一个受害者y*使得对抗样本的识别结果为
Figure BDA0003185814080000051
躲避攻击是指：攻击者制作一个对抗样本x*＝x+Δx，使得识别结果为
Figure BDA0003185814080000052
其中，x、y的含义为：给定一个人脸图像x和标签y，假设人脸识别系统识别正确，则
Figure BDA0003185814080000053
步骤3：从一个均值为0、方差为1的高斯分布
Figure BDA0003185814080000054
中采样一个随机噪声n。之后，将随机噪声n输入到贴纸生成器中，生成m个正方形的贴纸SCi，i＝1,2,…,m，以及m个形状掩码SHi，i＝1,2,…,m。然后，依次使用第i个形状掩码SHi去裁剪对应的正方形贴纸SCi，得到裁剪后的贴纸
Figure BDA0003185814080000055
步骤4：从模板形状数据集DS中随机采样m个形状模板Si，并将其与贴纸生成器生成的形状掩码SH输入到形状判别器
Figure BDA0003185814080000056
中。计算损失函数
Figure BDA0003185814080000057
Figure BDA0003185814080000058
其中，
Figure BDA0003185814080000059
为贴纸生成器，SH为形状掩码，S为形状模板，
Figure BDA00031858140800000510
表示从高斯分布
Figure BDA00031858140800000511
中采样得到的随机噪声n，
Figure BDA00031858140800000512
表示从形状模板数据集中采样得到的形状模板S；λ表示平衡因子，对式(1)中第三项损失
Figure BDA00031858140800000513
进行缩放；
Figure BDA00031858140800000514
表示从形状模板的随机分布
Figure BDA00031858140800000515
得到的形状模板
Figure BDA00031858140800000516
Figure BDA00031858140800000517
表示
Figure BDA00031858140800000518
的梯度；其中，形状模板
Figure BDA00031858140800000519
从形状掩码SHi和形状模板Si随机采样得到：
Figure BDA00031858140800000520
其中，ε从U[0，1]分布中采样得到，U表示均匀分布。贴纸生成器
Figure BDA00031858140800000521
的输出包括贴纸内容SC和形状掩码SH，计算时只需选择形状掩码SH即可。
形状判别器用于判别输入的形状图像是贴纸生成器生成的形状，还是来自于模板形状数据集。
步骤5：根据对抗生成网络机制，计算损失函数
Figure BDA00031858140800000522
Figure BDA00031858140800000523
步骤6：将攻击者图片xA、裁剪后的贴纸ST和辅助信息
Figure BDA00031858140800000524
输入到转换器
Figure BDA00031858140800000525
中，得到附着贴纸的攻击者图片
Figure BDA00031858140800000526
步骤7：将附着贴纸的攻击者图片
Figure BDA00031858140800000527
输入到目标深度人脸识别模型
Figure BDA0003185814080000061
中，判断其是仿冒攻击还是躲避攻击，并且计算损失函数
Figure BDA0003185814080000062
若为仿冒攻击，则：
Figure BDA0003185814080000063
其中，PB表示受害者。
若为躲避攻击，则：
Figure BDA0003185814080000064
其中，PA表示攻击者。
步骤8：在现实世界中，如果贴纸相邻位置的像素变化特别大，则相机是无法捕捉到这种剧烈变化的。因此，引入总方差损失(Total Variation Loss)
Figure BDA0003185814080000065
来限制贴纸相邻位置的像素变化：
Figure BDA0003185814080000066
其中，SCi,j表示在(i，j)位置处的贴纸SC的像素值。SCi,j+1表示在(i,j+1)位置处的贴纸SC的像素值。SCi，j-1表示在(i,j-1)位置处的贴纸SC的像素值。
步骤9：真实世界有些颜色值是无法被彩色打印机打印出来。因此，引入非打印分数
Figure BDA0003185814080000067
(Non-Printability Score)来限制贴纸的颜色：
Figure BDA0003185814080000068
其中，
Figure BDA0003185814080000069
为贴纸SC中的像素值；P代表打印机能够打印出的像素值集合，p为该集合中的像素。
步骤10：结合公式(3)、(4)、(5)、(6)和(7)，得到贴纸生成器的损失
Figure BDA00031858140800000610
Figure BDA00031858140800000611
其中，α、β和γ分别表示
Figure BDA00031858140800000612
和
Figure BDA00031858140800000613
的平衡因子。
Figure BDA00031858140800000614
表示贴纸生成器形状组件的损失函数。
步骤11：分别通过公式(1)和公式(8)，更新形状判别器
Figure BDA00031858140800000615
和贴纸生成器
Figure BDA00031858140800000616
当训练结束之后，贴纸生成器
Figure BDA00031858140800000617
能够一次生成不同形状的贴纸来攻击目标人脸识别系统
Figure BDA0003185814080000072
步骤12：将生成的贴纸彩色打印出来，并让贴纸附着在攻击者的脸上，从而在物理世界攻击目标人脸识别系统。
步骤13：目标深度人脸识别系统
Figure BDA0003185814080000073
将附着贴纸的人脸图片作为输入，并给出最终的识别结果。
通过目标深度人脸识别系统
Figure BDA0003185814080000074
检验生成器贴纸的有效性，判断分析人脸识别系统的安全性，为进一步调整优化系统提供了方向。
实施例
一种面向深度人脸识别系统的高鲁棒物理对抗样本生成方法的物理攻击过程如图1所示。贴纸生成器、形状判别器、转换器和目标深度人脸识别系统的架构关系如图2所示，转换器将贴纸附着在人脸图片上的具体过程如图3所示。
本实施例中，贴纸生成器和形状判别器的网络结构分别如表1和表2所示。
表1贴纸生成器的网络结构
Figure BDA0003185814080000071
Figure BDA0003185814080000081
根据上述图1中的攻击过程，具体实施本发明所述方法时，采取如下步骤：
步骤1：准备相机、打印机和光源。
其中，相机选择Logitech C270，能够捕获960×1280尺寸的图像。
打印机选择HP DeskJet 2677，可以打印的RGB像素值包括(26,14,27)，(122,24,43)，(127,133,44)，(21,81,46)，(121,155,132)，(19,78,116)，(172,38,45)，(22,36,67)，(68,94,121)，(193,138,139)，(186,126,70)，(65,89,45)，(121,57,93)，(69,22,30)，(180,82,51)，(70,34,75)，(191,192,160)，(72,140,104)，(121,74,38)，(191,178,72)，(24,108,113)，(128,165,167)，(31,108,59)，(125,148,85)，(67,126,67)，(19,38,31)，(22,51,91)，(174,39,76)，(76,139,146)，(183,83,103)等30个像素值。
光源为Philips 66135，可以改变环境光强为30lux,130lux和250lux。
表2形状判别器的网络结构
Figure BDA0003185814080000082
步骤2：选择ArcFace(https://github.com/nizhib/pytorch-insightface)、CosFace(https://github.com/MuggleWang/CosFace_pytorch)和FaceNet深度人脸识别系统(https://github.com/timesler/facenet-pytorch)，依次作为被攻击的人脸识别系统。
步骤3：根据步骤1，制作人脸图片数据集DA和模板形状数据集Ds，并选择一个3D人脸重建算法
Figure BDA0003185814080000083
。
具体为：
步骤3.1：招募20个人作为攻击者，为每个攻击者拍摄45张图片。环境光强为30lux、130lux和250lux，攻击者到摄像机的距离为30cm、50cm和70cm，攻击者的头部姿态可以为直视相机、右偏头20度、左偏头20度、斜向上20度和低头20度，共有45种环境组合，并在每组环境因素组合下拍摄一张照片。
步骤3.2：选择圆、正方形、五边形、六边形和七边形共五种形状15000张二值图片作为模板形状数据集。
步骤3.3：选择R-Net(https://github.com/microsoft/Deep3DFaceReconstruction)作为3D人脸重建算法。
步骤4：设置一个可以生成的贴纸数量为3，并且将贴纸的位置设为：(200，100)、(400,100)和(300，200)分别是右眉毛、左眉毛和鼻梁附近的位置。设置攻击模式为躲避攻击。
步骤5：:设置参数α＝100、β＝1和γ＝10，用于计算贴纸生成器的损失函数。
步骤6：利用训练好的贴纸生成器生成贴纸，并按照图1所示攻击过程进行物理攻击。
在实施物理攻击过程中，攻击者到摄像机的距离为50cm，环境亮度为130lux，并且攻击者直视摄像机。整个攻击过程将持续25秒，并记录目标人脸识别系统无法检测出被攻击者的帧数占总帧数的比例作为攻击成功率，最终计算出20个攻击者的平均攻击成功率。
将本发明方法(记为FaceAdv)与利用对抗生成网络生成眼镜框贴纸在物理世界攻击深度人脸识别系统(记为AGNs)做对比，验证本发明的优势和有效性。
表3 FaceAdv和AGNs对三个不同人脸识别系统的攻击效果
Figure BDA0003185814080000091
表3展示了FaceAdv和AGNs在三种不同的人脸识别系统上的结果。可以看出，FaceAdv的攻击成功率比AGNs攻击成功率高30％左右，这表明转换器成功模拟出贴纸附着在人脸表面所产生的形变。

Claims (2)

1.基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，其特征在于，包括如下步骤：
步骤1：准备攻击者PA的人脸图片数据集DA和模板形状数据集Ds，并选择一个3D人脸重建算法
Figure FDA0003185814070000011
步骤2：设置贴纸生成器一次能够生成的贴纸数量为m，每个贴纸放置的位置为li,i＝1,2,…,m；设置攻击者的攻击模式，包括仿冒攻击、躲避攻击两种，若为仿冒攻击，还需设置受害者PB；
其中，贴纸生成器包括形状组件和贴纸组件，分别负责生成贴纸的形状和内容；贴纸生成器包含不同分支，用以同时生成多个贴纸；形状组件用于生成形状掩码，贴纸组件用于生成对抗性贴纸，其中，形状掩码是一个二值图片，仅包含白色和黑色，被用来裁剪原本生成的方形贴纸，使得裁剪后的贴纸形状和形状模板一致；
仿冒攻击是指：攻击者指定一个受害者y*，使得对抗样本的识别结果为
Figure FDA0003185814070000012
躲避攻击是指：攻击者制作一个对抗样本x*＝x+Δx，使得识别结果为
Figure FDA0003185814070000013
其中，x、y的含义为：给定一个人脸图像x和标签y，假设人脸识别系统识别正确，则
Figure FDA0003185814070000014
步骤3：从一个均值为0、方差为1的高斯分布
Figure FDA0003185814070000015
中采样一个随机噪声n；之后，将随机噪声n输入到贴纸生成器中，生成m个正方形的贴纸SCi，i＝1,2,…,m，以及m个形状掩码SHi，i＝1,2,…,m；然后，依次使用第i个形状掩码SHi去裁剪对应的正方形贴纸SCi，得到裁剪后的贴纸
Figure FDA0003185814070000016
步骤4：从模板形状数据集DS中随机采样m个形状模板Si，并将其与贴纸生成器生成的形状掩码SH输入到形状判别器
Figure FDA0003185814070000017
中；计算损失函数
Figure FDA0003185814070000018
Figure FDA0003185814070000019
其中，
Figure FDA00031858140700000110
为贴纸生成器，SH为形状掩码，S为形状模板，
Figure FDA00031858140700000111
表示从高斯分布
Figure FDA00031858140700000112
中采样得到的随机噪声n，
Figure FDA00031858140700000113
表示从形状模板数据集中采样得到的形状模板S；λ表示平衡因子，对式(1)中第三项损失
Figure FDA00031858140700000114
进行缩放；
Figure FDA00031858140700000115
表示从形状模板的随机分布
Figure FDA00031858140700000116
得到的形状模板
Figure FDA00031858140700000117
Figure FDA00031858140700000118
表示
Figure FDA00031858140700000119
的梯度；其中，形状模板
Figure FDA0003185814070000021
从形状掩码SHi和形状模板Si随机采样得到：
Figure FDA0003185814070000022
其中，ε从U[0，1]分布中采样得到，U表示均匀分布；贴纸生成器
Figure FDA0003185814070000023
的输出包括贴纸内容SC和形状掩码SH，计算时只需选择形状掩码SH即可；
形状判别器用于判别输入的形状图像是贴纸生成器生成的形状还是来自于模板形状数据集；
步骤5：根据对抗生成网络机制，计算损失函数
Figure FDA0003185814070000024
Figure FDA0003185814070000025
步骤6：将攻击者图片xA、裁剪后的贴纸ST和辅助信息
Figure FDA0003185814070000026
输入到转换器
Figure FDA0003185814070000027
中，得到附着贴纸的攻击者图片
Figure FDA0003185814070000028
步骤7：将附着贴纸的攻击者图片
Figure FDA0003185814070000029
输入到目标深度人脸识别模型
Figure FDA00031858140700000210
中，判断其是仿冒攻击还是躲避攻击，并且计算损失函数
Figure FDA00031858140700000211
若为仿冒攻击，则：
Figure FDA00031858140700000212
其中，PB表示受害者；
若为躲避攻击，则：
Figure FDA00031858140700000213
其中，PA表示攻击者；
步骤8：引入总方差损失
Figure FDA00031858140700000214
来限制贴纸相邻位置的像素变化：
Figure FDA00031858140700000215
其中，SCi,j表示在(i，j)位置处的贴纸SC的像素值；SCi,j+1表示在(i，j+1)位置处的贴纸SC的像素值；SCi,j-1表示在(i,j-1)位置处的贴纸SC的像素值；
步骤9：引入非打印分数
Figure FDA00031858140700000216
来限制贴纸的颜色：
Figure FDA00031858140700000217
其中，
Figure FDA00031858140700000218
为贴纸SC中的像素值；P代表打印机能够打印出的像素值集合，p为该集合中的像素；
步骤10：结合公式(3)、(4)、(5)、(6)和(7)，得到贴纸生成器的损失
Figure FDA0003185814070000031
Figure FDA0003185814070000032
其中，α、β和γ分别表示
Figure FDA0003185814070000033
和
Figure FDA0003185814070000034
的平衡因子；
Figure FDA0003185814070000035
表示贴纸生成器形状组件的损失函数；
步骤11：分别通过公式(1)和公式(8)，更新形状判别器
Figure FDA0003185814070000036
和贴纸生成器
Figure FDA0003185814070000037
当训练结束之后，贴纸生成器
Figure FDA0003185814070000038
能够一次生成不同形状的贴纸来攻击目标人脸识别系统
Figure FDA0003185814070000039
步骤12：将生成的贴纸彩色打印出来，并让贴纸附着在攻击者的脸上，从而在物理世界攻击目标人脸识别系统；
步骤13：目标深度人脸识别系统
Figure FDA00031858140700000313
将附着贴纸的人脸图片作为输入，并给出最终的识别结果；
通过目标深度人脸识别系统
Figure FDA00031858140700000314
检验生成器贴纸的有效性，判断分析人脸识别系统的安全性。
2.如权利要求1所述的基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，其特征在于，步骤1的实现方法如下
步骤1.1：准备攻击者PA的人脸图片数据集DA；
采集在不同环境条件下拍摄的攻击者人脸图片，环境条件包括：攻击者与摄像机之间的距离、环境亮度和攻击者的头部姿态；
步骤1.2：准备攻击者PA的模板形状数据集Ds；
其中，DS是想要生成的贴纸形状，贴纸形状没有具体限制；整个数据集DS的分布表示为
Figure FDA00031858140700000310
步骤1.3：利用3D人脸重建算法处理攻击者的每个图片，获取攻击者的辅助信息
Figure FDA00031858140700000311
其中，辅助信息
Figure FDA00031858140700000312
包括3D人脸形状、照明模型参数。
CN202110861427.0A 2021-07-29 2021-07-29 基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法 Pending CN113642003A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110861427.0A CN113642003A (zh) 2021-07-29 2021-07-29 基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110861427.0A CN113642003A (zh) 2021-07-29 2021-07-29 基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法

Publications (1)

Publication Number Publication Date
CN113642003A true CN113642003A (zh) 2021-11-12

Family

ID=78418930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110861427.0A Pending CN113642003A (zh) 2021-07-29 2021-07-29 基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法

Country Status (1)

Country Link
CN (1) CN113642003A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266050A (zh) * 2022-03-03 2022-04-01 西南石油大学 一种跨平台恶意软件对抗样本生成方法及系统
CN116071797A (zh) * 2022-12-29 2023-05-05 北华航天工业学院 一种基于自编码器的稀疏人脸比对对抗样本生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266050A (zh) * 2022-03-03 2022-04-01 西南石油大学 一种跨平台恶意软件对抗样本生成方法及系统
CN116071797A (zh) * 2022-12-29 2023-05-05 北华航天工业学院 一种基于自编码器的稀疏人脸比对对抗样本生成方法
CN116071797B (zh) * 2022-12-29 2023-09-26 北华航天工业学院 一种基于自编码器的稀疏人脸比对对抗样本生成方法

Similar Documents

Publication Publication Date Title
CN110991299B (zh) 一种物理域上针对人脸识别系统的对抗样本生成方法
Liu et al. Learning deep models for face anti-spoofing: Binary or auxiliary supervision
CN103440479B (zh) 一种活体人脸检测方法与系统
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
JP2022547183A (ja) 生体顔検出方法、装置、設備及びコンピュータプログラム
Geetha et al. Design of face detection and recognition system to monitor students during online examinations using Machine Learning algorithms
CN108596041B (zh) 一种基于视频的人脸活体检测方法
CN110516616A (zh) 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法
CN108369785A (zh) 活性检测
Shen et al. Effective and robust physical-world attacks on deep learning face recognition systems
CN106778525A (zh) 身份认证方法和装置
CN104951773A (zh) 一种实时人脸识别监视系统
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
US12008471B2 (en) Robustness assessment for face recognition
CN113642003A (zh) 基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法
CN107316029A (zh) 一种活体验证方法及设备
CN109377429A (zh) 一种人脸识别素质教育智慧评价系统
CN110909634A (zh) 可见光与双红外线相结合的快速活体检测方法
CN113221655A (zh) 基于特征空间约束的人脸欺骗检测方法
CN109101925A (zh) 活体检测方法
Ryu et al. Adversarial attacks by attaching noise markers on the face against deep face recognition
Lin et al. Invisible adversarial attacks on deep learning-based face recognition models
Rabiha et al. Face detection and recognition based e-learning for students authentication: study literature review
CN111368803A (zh) 一种人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination