CN117392722A - 对抗假体生成方法、相关装置及存储介质 - Google Patents
对抗假体生成方法、相关装置及存储介质 Download PDFInfo
- Publication number
- CN117392722A CN117392722A CN202311387017.2A CN202311387017A CN117392722A CN 117392722 A CN117392722 A CN 117392722A CN 202311387017 A CN202311387017 A CN 202311387017A CN 117392722 A CN117392722 A CN 117392722A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- face
- dimensional face
- model
- prosthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000009471 action Effects 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001574 biopsy Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 31
- 210000003128 head Anatomy 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000010146 3D printing Methods 0.000 description 5
- 230000004397 blinking Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 239000000427 antigen Substances 0.000 description 3
- 102000036639 antigens Human genes 0.000 description 3
- 108091007433 antigens Proteins 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例涉及计算机视觉技术领域,提供一种对抗假体生成方法、相关装置及存储介质,该方法包括:获取受害者的二维人脸图像以及攻击者的三维人脸数据;根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据;根据三维人脸图像数据和三维人脸数据对三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型;确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。本申请实施例可基于受害者的二维人脸图像生成能够攻击带有动作活体检测功能的人脸识别系统的三维人脸假体,从而推动人脸识别系统安全性提升。
Description
技术领域
本申请实施例涉及计算机视觉技术领域,更具体地涉及一种对抗假体生成方法、相关装置及存储介质。
背景技术
随着人脸识别技术被广泛应用到银行、金融公司的支付验证过程中,人脸识别系统安全问题日益成为人们广泛关注的热点问题。在人脸识别技术的发展过程中,假体攻击一直是威胁其安全的重要攻击手段之一,防御假体攻击是人脸识别系统算法设计时必须要解决的一个难点。
现有技术中,三维(3D)人头模型攻击人脸识别技术是一种利用三维打印技术或计算机图形学生成的逼真的人脸模型欺骗人脸识别系统的攻击方法。然而,由于3D人头模型攻击人脸识别技术需要采集受害者人头的3D数据,这种攻击方法只能用于人脸识别系统的测试中。真实黑产攻击场景下,攻击者无法获取受害者人头的3D数据。因此,这种攻击方法是不完备的,也无法模拟黑产攻击的真实数据。另外,由于3D人头模型无法做张嘴、眨眼等动作,3D人头模型攻击人脸识别技术无法攻击带有动作活体检测功能的人脸识别系统。
发明内容
本申请实施例提供一种对抗假体生成方法、相关装置及存储介质,以无需采集受害者人头的三维数据,即可生成能够攻击带有动作活体检测功能的人脸识别系统的三维人脸假体,从而推动人脸识别系统安全性提升。
第一方面,本申请实施例提供一种对抗假体生成方法,该对抗假体生成方法包括:
获取受害者的二维人脸图像以及攻击者的三维人脸数据;
根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据;
根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型;
根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。
第二方面,本申请实施例提供一种对抗假体生成装置,具有实现对应于上述第一方面提供的对抗假体生成方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。
在本申请的一种实施方式中,上述对抗假体生成装置包括:
获取模型,被配置为获取受害者的二维人脸图像以及攻击者的三维人脸数据;
第一确定模块,被配置为根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据;
处理模块,被配置为根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型;
第二确定模块,被配置为根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。
第三方面,本申请实施例提供一种计算机设备,其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现第一方面所述的对抗假体生成方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器进行加载,以执行第一方面所述的对抗假体生成方法中的步骤。
第五方面,本申请实施例提供一种包含指令的计算机程序产品,计算机程序产品包括程序指令,当程序指令在计算机或处理器上运行时,使得计算机或处理器执行如第一方面所述的对抗假体生成方法。
相较于现有技术,本申请实施例中,通过获取受害者的二维人脸图像以及攻击者的三维人脸数据,并根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据,然后根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型,并根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。由于本申请实施例是基于受害者的二维人脸图像生成目标三维人脸假体模型(即,对抗假体),而不是现有技术中的基于受害者人头的三维数据生成对抗假体,因此,本申请实施例无需受害者人头的三维数据即可得到对抗假体,能够提供一种更加完备的攻击方法。进一步地,由于本申请实施例中基于受害者的二维人脸图像生成的对抗假体与攻击者的人脸相适配,因此,本申请实施例中生成的对抗假体能够用于攻击带有动作活体检测功能的人脸识别系统,以检验人脸识别系统对动作活体识别的准确性,从而能够推动人脸识别系统安全性提升。
附图说明
通过参考附图阅读本申请实施例的详细描述,本申请实施例的目的、特征和优点将变得易于理解。其中:
图1为本申请实施例中对抗假体生成方法的一种对抗假体生成系统示意图;
图2为本申请实施例的对抗假体生成方法的一种流程示意图;
图3为本申请实施例的三维人脸生成模型的结构示意图;
图4为本申请实施例的对抗假体生成方法的另一种流程示意图;
图5为本申请实施例的对抗假体生成装置的结构示意图;
图6为本申请实施例的计算机设备的一种结构示意图;
图7为本申请实施例中手机的一种结构示意图;
图8为本申请实施例中服务器的一种结构示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象(例如第一xx和第二xx分别表示为不同的xx,其他类似),而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本申请实施例中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行。另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合,通信连接可以是电性或其他类似的形式,本申请实施例中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例提供一种对抗假体生成方法、相关装置及存储介质,可应用于人脸身份识别的对抗攻击场景下的对抗假体生成系统,该对抗假体生成系统可以包括本申请实施例提供的任一种对抗假体生成装置,该对抗假体生成装置可以获取受害者的二维人脸图像以及攻击者的三维人脸数据,并根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据,然后根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型,并根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。
本申请实施例提供的方案涉及人工智能(Artificial Intelligence,AI)、计算机视觉技术(Computer Vision,CV)、机器学习(Machine Learning,ML)等技术,具体通过如下实施例进行说明:
其中,AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
AI技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
CV是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人脸识别技术被广泛应用到银行、金融公司的支付验证过程中,人脸识别系统安全问题日益成为人们广泛关注的热点问题。在人脸识别技术的发展过程中,假体攻击一直是威胁其安全的重要攻击手段之一,防御假体攻击是人脸识别系统算法设计时必须要解决的一个难点。另外,基于深度神经网络的人脸识别技术在理论层面上已经被验证存在对抗样本攻击风险。如果假体攻击和对抗样本攻击结合到一起,将会给人脸识别系统带来更高的风险挑战。为了提升人脸识别系统在对抗假体攻击方面的鲁棒性,人脸识别系统的安全评测工具集中必须增加对抗假体攻击。在这种背景下,本申请实施例提供了一种对抗假体生成方法,用来基于受害者的二维人脸图像生成三维人脸假体,攻击者的人脸佩戴该三维人脸假体的物理实体后,可以在物理世界对带有动作活体检测功能的人脸识别系统进行攻击,衡量该人脸识别系统在对抗假体攻击方面的鲁棒性,以提升人脸识别系统安全评测能力,从而推动人脸识别系统安全性提升,且无需采集受害者人头的三维数据,能够提供一种更加完备的攻击方法,丰富人脸识别系统的安全评测工具集。
现有技术中的对抗假体包括三维(3D)人头模型和仿真人脸面具等,用于由相应的人员佩戴,被人脸识别系统的图像获取设备拍摄后形成对抗样本。
现有的3D人头模型攻击人脸识别技术是制作与目标人脸(也即,受害者的人脸)尽可能相似的3D人头模型,攻击者佩戴该3D人头模型后,可以有效地绕过传统的人脸识别系统,以实现身份欺骗或匿名化。
现有的3D人头模型攻击人脸识别技术通常分为两个主要步骤:
步骤1.数据采集和建模。
具体地,首先需要采集目标人(也即,受害者)的面部数据,该面部数据包括照片、视频或三维扫描件。这些面部数据用于创建目标人的高精度人脸模型。采集的数据越多,模型的真实性和准确性就越高。
步骤2.3D打印或计算机生成。
具体地,根据采集到的面部数据,可以使用3D打印技术创建一个逼真的人脸模型,或者还可以利用计算机图形学生成一个虚拟的3D人脸模型。无论是3D打印还是计算机生成,目标都是制作一个与目标人脸尽可能相似的模型。
并且,通过将这个逼真的3D人头模型放在攻击者自己的头部上,攻击者可以成功欺骗人脸识别系统,使该人脸识别系统将攻击者认为是目标人。这是因为3D人头模型具有与目标人脸相似的外观和结构,使得传统的2D人脸识别算法无法区分真实人脸和3D模型之间的差异。
然而,现有的3D人头模型攻击人脸识别技术需要采集受害者人头的3D数据,这种攻击方法只能用于人脸识别系统的测试中。真实黑产攻击场景下,攻击者无法获取受害者人头的3D数据。因此,这种头模攻击方式是不完备的,也无法模拟黑产攻击的真实数据。另外,3D打印的头模无法做张嘴、眨眼等动作,无法攻击带有动作活体的人脸识别系统。
现有的3D面具生成技术通过3D人脸生成技术(比如,NeRF、styleGan2等)生成局部人脸3D模型,并在生成过程中引入对抗优化,使攻击者佩戴3D面具后和受害者的相似度能达到识别阈值。
然而,现有的3D面具生成技术为了欺骗活体检测模型,故意减小面具面积,会不可避免地引入了相似度损失。而且,减小面积的方法只能降低被人脸活体检测模型检测到的风险,无法从本质上欺骗人脸活体检测模型,仅当人脸活体检测模型的训练数据集中没有此类数据时攻击才可能奏效。另外,此类局部面具仍然遮挡了部分五官,很难欺骗人脸动作活体检测模型。
综上,现有的3D人头模型攻击方式需要获取受害者的3D扫描信息,是不完备的,且现有的人脸活体检测模型基本都能防御这种攻击。现有的3D面具攻击方式,由于使用的3D面具无法做出张嘴、眨眼等动作,因此无法攻击人脸动作活体检测模型。
为了解决上述问题,本申请实施例提供了一种对抗假体生成方法,以基于受害者的二维人脸图像生成与攻击者的人脸相适配的对抗假体,从而无需采集受害者人头的三维数据,且攻击者佩戴该对抗假体的物理实体后,在物理世界可攻击带有动作活体检测功能的人脸识别系统,以检验该人脸识别系统对动作活体识别的准确性,从而能够推动人脸识别系统安全性提升。
一些实施方式中,参照图1,本申请实施例提供的对抗假体生成方法可基于图1所示的一种对抗假体生成系统实现。该对抗假体生成系统可以包括终端设备01和服务器02。
该终端设备01可以将获得的受害者的二维人脸图像和攻击者的三维人脸数据转发给服务器02。服务器02可以根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据,并根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型,然后根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。之后,服务器02还可以将目标三维对抗扰动和三维人脸假体模型以两个独立个体的方式发送给终端设备01,或者将目标三维对抗扰动叠加于三维人脸假体模型上得到一个整体发送给终端设备01。接着,终端设备01可以将叠加有目标三维对抗扰动的三维人脸假体模型制作成物理实体,攻击者将该物理实体佩戴在脸上,在物理世界攻击带有动作活体检测功能的人脸识别系统,便可检验该人脸识别系统对动作活体识别的准确性。
需要说明的是,本申请实施例涉及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例涉及的终端设备,可以是指向用户提供语音和/或数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语音和/或数据。例如,个人通信业务(英文全称:Personal Communication Service,英文简称:PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless Local Loop,英文简称:WLL)站、个人数字助理(英文全称:Personal Digital Assistant,英文简称:PDA)等设备。
参照图2,图2为本申请实施例提供的一种对抗假体生成方法的流程示意图。该方法可由对抗假体生成装置执行,可应用于人脸身份识别的对抗攻击场景,基于获得的受害者的二维人脸图像以及攻击者的三维人脸数据,确定与攻击者的人脸相适配的三维人脸假体模型以及目标对抗扰动,并可将目标对抗扰动叠加在三维人脸假体模型上,得到用于攻击人脸动作活体检测模型的三维人脸对抗假体。所述方法包括S101-S104:
S101.获取受害者的二维人脸图像以及攻击者的三维人脸数据。
在本实施例中,攻击者为实施对抗攻击的物理载体,即附着实体对抗假体的实体对象,可以是即将实施对抗攻击的人。例如,用户A希望通过对抗攻击检测手机b的人脸识别功能的安全性,手机b录入了用户B的人脸图像,即仅当手机b通过摄像头采集的人脸图像匹配已录入的用户B的人脸图像时,才会解锁,那么用户A希望生成对应的对抗假体,并将该对抗假体实体化后,附着在自己的人脸上,以期望能够欺骗手机b,达到解锁手机b的目的,用户A即为本实施例中的攻击者,用户B即为本实施例中的受害者。
在一些实施例中,上述受害者的二维人脸图像可以通过图像采集设备(比如,相机)对受害者的人脸进行拍摄而得到。并且,为了确保基于该二维人脸图像生成的目标三维人脸假体模型对人脸识别系统的攻击效果,上述受害者的二维人脸图像可以包括上述受害者的正脸图像,相应地,上述受害者的二维人脸图像可以通过对上述受害者的正脸进行拍摄而得到。
上述攻击者的三维人脸数据可以通过3D扫描仪对攻击者的全脸(包括正脸以及左右侧脸)进行3D扫描而得到。具体地,上述攻击者的三维人脸数据可以包括用于表征攻击者的三维人脸形状的三维几何数据,在一些示例中,该三维几何数据可以具体为上述攻击者的三维人脸几何模型。
S102.根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据。
在本实施例中,上述受害者的三维人脸几何模型可以是上述受害者的局部人脸的三维几何模型,也可以是上述受害者的完整人脸的三维几何模型。
上述受害者的三维人脸图像可以包括上述受害者的三维人脸几何模型的各个顶点的颜色信息,并可用于对上述受害者的三维人脸几何模型进行渲染而实现对上述受害者真实人脸的仿真。
在一些实施例中,如图3所示,上述对抗假体生成装置可以将上述受害者的二维人脸图像输入已训练的三维人脸生成模型,得到所述受害者的三维人脸几何模型和三维人脸图像数据。其中,上述三维人脸生成模型可以包括三维几何生成器和三维像素生成器,三维几何生成器可以用于根据二维人脸图像生成上述受害者的三维人脸几何模型,上述三维像素生成器可以用于根据二维人脸图像生成上述受害者的三维人脸图像数据。
在一些示例中,上述三维人脸生成模型可以具体为EG3D模型,EG3D模型是一种高效的几何感知3D生成对抗网络。并且,相较于仅根据二维人脸图像即可生成三维人脸几何模型的其他三维人脸生成模型(比如,神经辐射场(NeRF)模型),EG3D模型根据受害者的二维人脸图像生成受害者的三维人脸几何模型,在速度上更快,能大大提高3D人脸假体模型的生成速度。
另外,相较于现有的3D人头模型攻击人脸识别技术需要受害者配合采集3D头部信息,本实施例仅根据受害者的一张二维人脸图像,即可生成受害者的三维人脸几何模型以及三维人脸图像数据,无需受害者配合采集3D头部信息,因而能够使得假体攻击方式更加完备,更有利于模拟黑产攻击的真实数据。
S103.根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型。
在一些实施例中,上述S103可以具体包括:根据攻击者的三维人脸数据对受害者的三维人脸几何模型进行适配处理,得到与攻击者的人脸相适配的适配后的三维人脸几何模型;以及,根据受害者的三维人脸图像数据对该适配后的三维人脸几何模型进行渲染处理,得到渲染后的三维人脸几何模型,并将该渲染后的三维人脸几何模型作为三维人脸假体模型。
在本实施例中,上述三维人脸假体模型包括至少一个人脸特征(比如,鼻子、眼睛等),并可以具体为三维面具,该三维面具可以至少部分覆盖上述攻击者的人脸。并且,上述三维人脸假体模型与攻击者的人脸相适配,可以理解为:该三维面具的内侧表面与上述攻击者的人脸轮廓相一致,以使攻击者人脸的各个部位均能与该三维面具的内侧表面紧密贴合。
具体地,上述三维面具的内侧表面与上述攻击者的人脸轮廓相一致,可以指的是:上述攻击者的人脸上的凸起部(比如,鼻子)在上述三维面具的内侧表面中对应有凹陷区域,上述攻击者的人脸上的凹陷部(比如,眼睛)在上述三维面具的内侧表面中对应有凸起区域,上述攻击者的人脸上的平坦部在上述三维面具的内侧表面中对应有平坦区域。从而,使得攻击者佩戴实体三维面具后,攻击者人脸的各个部位均能与该实体三维面具的内侧表面紧密贴合。
在一些具体实施例中,如图4所示,上述S103可以具体包括:
S1031.根据攻击者的三维人脸数据生成攻击者的三维人脸几何模型。
具体地,在通过3D扫描仪对攻击者的全脸进行3D扫描而得到攻击者的三维人脸数据之后,上述对抗假体生成装置可以接着通过3D扫描仪对攻击者的全脸进行3D建模而得到攻击者的三维人脸几何模型。
S1032.根据攻击者的三维人脸几何模型,对受害者的三维人脸几何模型进行裁剪处理,以得到具有裁剪面的三维人脸假体几何模型,裁剪面与攻击者的人脸相适配。
具体地,上述对抗假体生成装置可以将上述受害者的三维人脸几何模型减去上述攻击者的三维人脸几何模型,并将剩下的上述受害者的三维人脸几何模型作为上述三维人脸假体几何模型。
在一些实施例中,为了确保上述受害者的三维人脸几何模型减去上述攻击者的三维人脸几何模型能够得到可穿戴的三维人脸假体几何模型,在对上述受害者的三维人脸几何模型进行裁剪处理之前,上述对抗假体生成方法还可以包括:根据攻击者的三维人脸几何模型对受害者的三维人脸几何模型进行缩放处理,以使缩放后的受害者的三维人脸几何模型能够覆盖上述攻击者的三维人脸几何模型。
相应地,上述S1032可以具体包括:将缩放后的受害者的三维人脸几何模型减去上述攻击者的三维人脸几何模型,并将剩下的缩放上述受害者的三维人脸几何模型作为上述三维人脸假体几何模型,从而使得上述三维人脸假体几何模型的内侧表面(也即,上述裁剪面)能够与上述攻击者的人脸轮廓紧密贴合,并且上述三维人脸假体几何模型的外侧表面能够与上述受害者者的人脸轮廓相一致。从而,确保了基于上述三维人脸假体几何模型得到的目标三维人脸假体模型的物理实体在穿戴于攻击者脸上后,能够跟随攻击者的脸部运行而运动,以使得上述攻击者佩戴基于上述三维人脸假体几何模型得到的目标三维人脸假体模型的物理实体后能够做出活体动作,骗过人脸识别系统的动作活体检测。
在另一些实施例中,在对上述受害者的三维人脸几何模型进行裁剪处理之前,上述对抗假体生成方法还可以包括:根据攻击者的三维人脸几何模型,对受害者的三维人脸几何模型中目标人脸特征所在的位置进行调整,以使调整后的三维人脸几何模型中目标人脸特征所在的位置与上述攻击者的三维人脸几何模型中相应目标人脸特征所在的位置相一致。
其中,上述目标人脸特征可以包括眼睛、鼻子和嘴巴等人脸特征中的至少一种。并且,需要说明的是,通过使调整后的三维人脸几何模型中目标人脸特征所在的位置与上述攻击者的三维人脸几何模型中相应目标人脸特征所在的位置一致,能够确保上述攻击者佩戴基于该调整后的人脸假体三维几何模型得到的目标人脸假体模型的物理实体后,上述攻击者人脸中的目标人脸特征能够被该目标人脸假体模型的物理实体中相同目标人脸特征所在的区域至少部分覆盖。从而,确保基于该调整后的三维人脸假体几何模型得到的目标三维人脸假体模型的物理实体在穿戴于攻击者脸上后,攻击者人脸中的目标人脸特征运动,能够带动该目标三维人脸假体模型的物理实体中相同的目标人脸特征所在区域运动,因而使得上述攻击者佩戴该目标三维人脸假体模型的物理实体后能够做出准确的活体动作,更容易骗过人脸识别系统的动作活体检测。
例如,攻击者佩戴基于上述调整后的三维人脸假体几何模型得到的目标三维人脸假体模型的物理实体后,攻击者人脸中的眼睛眨动,能够带动该目标三维人脸假体模型的物理实体中眼睛所在的区域运动,从而使得攻击者佩戴该目标三维人脸假体模型的物理实体后能够准确地做出眨眼动作。
例如,攻击者佩戴基于上述调整后的三维人脸假体几何模型得到的目标三维人脸假体模型的物理实体后,攻击者人脸中的嘴巴张开,能够带动该目标三维人脸假体模型的物理实体中嘴巴所在的区域运动,从而使得攻击者佩戴该目标三维人脸假体模型的物理实体后能够准确地做出张嘴动作。
S1033.根据受害者的三维人脸图像数据对三维人脸假体几何模型进行渲染,以得到三维人脸假体模型。
具体地,上述对抗假体生成装置可以利用三维人脸假体几何模型的各个顶点坐标对上述受害者的三维人脸图像数据进行采样,并映射到上述三维人脸假体几何模型,以得到渲染后的三维人脸假体几何模型(也即,上述三维人脸假体模型)。
S104.根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。
在本实施例中,上述已训练的人脸活体检测模型用于检测人脸识别系统的图像采集设备捕捉到的人脸图像是否来源于活体,且其对活体的识别程度是准确的、可信的。上述三维对抗扰动用于在上述三维人脸假体模型的表面添加干扰而形成对抗样本,在一些示例中,上述三维对抗噪声可以是干扰噪声。上述人脸动作活体检测模型用于检测做出指定动作的人脸是否为活体,在一些示例中,上述人脸动作活体检测模型可以是真实场景(比如,手机、打卡机等)所使用的人脸识别系统中用于进行动作活体检测的人脸动作活体检测模型。
具体地,上述对抗假体生成装置可以根据三维人脸假体模型和已训练的人脸活体检测模型,对三维对抗扰动进行优化而得到目标三维对抗扰动。并且,将上述目标三维人脸假体模型制作为物理实体,由攻击者佩戴,能够使上述已训练的人脸活体检测模型错误地将攻击者识别为上述受害者的真实活体。
在一些实施例中,在上述S104之前,且在得到上述三维人脸假体几何模型之后,上述对抗假体生成方法还可以包括:根据三维人脸假体几何模型生成三维对抗扰动。具体地,在得到上述三维人脸假体几何模型之后,上述对抗假体生成装置可以在上述三维人脸假体几何模型的各个表面上随机生成干扰噪声,而得到上述三维对抗扰动。
在一些具体实施例中,如图4所示,上述S104可以具体包括:
S1041.在三维人脸假体模型上叠加三维对抗扰动,以得到三维对抗样本。
其中,三维对抗样本为叠加有上述三维对抗扰动的三维人脸假体模型,并用于攻击上述已训练的人脸活体检测模型。
S1042.获取三维对抗样本在不同视角下的多个二维对抗样本。
具体地,上述三维对抗样本在不同视角下的多个二维对抗样本能够模拟物理世界中受害者在人脸识别系统的图像采集设备前被拍摄到的人脸图像,从而能够实现上述三维对抗样本对上述已训练的人脸活体检测模型的攻击性。
在一些示例中,上述对抗假体生成装置可以通过多个预设角度对上述三维对抗样本进行投影得到上述多个二维对抗样本。
S1043.将多个二维对抗样本输入已训练的人脸活体检测模型,得到人脸活体检测模型的输出。
其中,上述已训练的人脸活体检测模型的输出能够用于判断上述三维对抗样本是否对应为受害者的真实活体。并且,该已训练的人脸活体检测模型的输出可以是一个预测标签,也可以是对应于多个预测标签的概率分布。
S1044.确定输出与受害者对应的标签之间的差异。
在一些示例中,上述S1044可以具体包括:根据上述已训练的人脸活体识别模型的输出以及上述受害者对应的标签确定损失函数,其中,损失函数用于表征上述人脸活体识别模型的输出与上述受害者对应的标签之间的差异。
具体地,上述损失函数可以表示为L(Y,f(x)),其中,Y为上述受害者对应的标签,f(x)为上述人脸活体检测模型的输出。并且,上述损失函数越小,对应上述已训练的人脸活体检测模型的输出与受害者对应的标签之间的差异越小。
S1045.当差异大于预设差异阈值时,对三维对抗扰动进行更新,并返回执行上述S1041。
具体地,当上述差异大于预设差异阈值时,可以认为上述三维对抗样本不能欺骗上述已训练的人脸活体检测模型,也即,上述三维对抗样本不能使上述已训练的人脸活体检测模型错误地将其识别为上述受害者的真实活体
S1046.当差异不大于预设差异阈值时,将三维对抗扰动作为目标三维对抗扰动。
具体地,当上述差异不大于预设差异阈值时,可以认为上述三维对抗样本能够欺骗上述已训练的人脸活体检测模型,也即,上述三维对抗样本能够使上述已训练的人脸活体检测模型错误地将其识别为上述受害者的真实活体。
并且,在对上述三维对抗扰动进行更新之后,可以重新依次执行上述S1041、S1042、S1043、S1044和S1045。如此,能够构成循环,且随着循环次数的增加,上述已训练的人脸活体检测模型的输出与上述受害者对应的标签之间的差异会逐渐减少,且在该差异不大于上述预设差异阈值时,结束循环,并可以将当前次循环中的三维对抗扰动作为目标三维对抗扰动。
在一些具体实施例中,上述对三维对抗扰动进行更新,可以具体包括:获取上述三维对抗扰动的梯度信息,并根据梯度信息更新上述三维对抗扰动。具体地,上述梯度信息可以包括梯度幅值和梯度优化方向,上述根据梯度信息更新上述三维对抗扰动,可以具体包括:将上述三维对抗扰动的值沿梯度优化方向增大一个梯度幅值,并利用增大后的三维对抗扰动更新上述三维对抗扰动。
在上述实施例中,如图4所示,在确定上述目标三维对抗扰动之后,上述对抗假体生成方法还可以包括:
S105.在三维人脸假体模型上叠加目标三维对抗扰动,以得到目标三维人脸假体模型。
S106.利用柔性材料将目标三维人脸假体模型制作成物理实体,得到物理世界的目标三维人脸假体模型实体。
在一些示例中,上述对抗假体生成装置可以利用柔性材料(比如,硅胶)通过3D打印机将上述目标三维人脸假体模型打印出来,以得到物理世界的目标三维人脸假体模型实体。
具体地,在得到上述目标三维人脸假体模型实体之后,上述攻击者将该目标三维人脸假体模型实体穿戴于脸上后,可直接出现在带有动作活体检测的人脸识别系统的数据采集设备前,若该人脸识别系统将其识别成受害者,则说明该人脸识别系统存在3D对抗假体攻击漏洞。
并且,需要说明的是,本实施例中利用柔性材料将上述目标人脸假体模型制作成物理实体而得到物理世界的目标三维人脸假体模型实体,由于目标三维人脸假体模型实体的内侧表面与攻击者的人脸轮廓相适配,确保了攻击者的人脸能够与目标三维人脸假体模型实体的内侧表面紧密贴合,以使得攻击者的人脸做出动作(比如,眨眼、张嘴等)时,能够带动目标三维人脸假体模型实体的相应区域运动,因而能够确保攻击者佩戴该目标三维人脸假体模型实体后可不受限制地做出张嘴、眨眼等活体动作,以实现对人脸识别系统的动作活体检测的对抗攻击。
本申请实施例中,通过获取受害者的二维人脸图像以及攻击者的三维人脸数据,并根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据,然后根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型,并根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。由于本申请实施例是基于受害者的二维人脸图像生成对抗假体,而不是现有技术中的基于受害者人头的三维数据生成对抗假体,因此,本申请实施例无需受害者人头的三维数据即可得到对抗假体,能够提供一种更加完备的攻击方法,进一步地,由于本申请实施例中基于受害者的二维人脸图像生成的对抗假体与攻击者的人脸相适配,因此,本申请实施例中生成的对抗假体能够用于攻击带有动作活体检测功能的人脸识别系统的三维人脸假体,以检验人脸识别系统对动作活体识别的准确性,从而能够推动人脸识别系统安全性提升。
以上对本申请实施例中一种对抗假体生成方法进行说明,以下对执行上述对抗假体生成方法的对抗假体生成装置(例如服务器)分别进行介绍。
参阅图5,如图5所示的一种对抗假体生成装置的结构示意图,其可应用于人脸身份识别的对抗攻击场景下的服务器中,基于受害者的二维人脸图像以及攻击者的三维人脸数据,生成与攻击者的人脸相适配的三维人脸假体模型,并在该三维人脸假体模型上叠加目标三维对抗扰动,以得到用于攻击人脸动作活体检测模型的目标三维人脸假体模型,从而能够对人脸识别系统的安全性进行评测。在本申请实施例中的对抗假体生成装置60能够实现对应于上述图2中所对应的实施例中所执行的对抗假体生成方法的步骤。对抗假体生成装置60实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。所述对抗假体生成装置60可包括获取模块601、第一确定模块602、处理模块603以及第二确定模块604,所述获取模块601、所述第一确定模块602、所述处理模块603以及所述第二确定模块604的功能实现可参考图2所对应的实施例中所执行的操作,此处不作赘述。
所述获取模型601,被配置为获取受害者的二维人脸图像以及攻击者的三维人脸数据;
所述第一确定模块602,被配置为根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据;
所述处理模块603,被配置为根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型;
所述第二确定模块604,被配置为根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。
在一些实施方式中,上述处理模块603可以具体包括:
生成单元,被配置为根据攻击者的三维人脸数据生成攻击者的三维人脸几何模型;
裁剪单元,被配置为根据攻击者的三维人脸几何模型,对受害者的三维人脸几何模型进行裁剪处理,以得到具有裁剪面的三维人脸假体几何模型,裁剪面与攻击者的人脸相适配;
渲染单元,被配置为根据受害者的三维人脸图像数据对三维人脸假体几何模型进行渲染,以得到三维人脸假体模型。
在一些实施方式中,上述对抗假体生成装置60还可以包括:
第三确定模块,被配置为根据三维人脸假体几何模型生成三维对抗扰动。
在一些实施方式中,上述第一确定模块602在根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据时,可以具体执行:
将二维人脸图像输入已训练的三维人脸生成模型,得到受害者的三维人脸几何模型和三维人脸图像数据,三维人脸生成模型包括三维几何生成器和三维像素生成器,三维几何生成器用于根据二维人脸图像生成所述受害者的三维人脸几何模型,三维像素生成器用于根据二维人脸图像生成所述受害者的三维人脸图像数据。
在一些实施方式中,上述第二确定模块604可以具体包括:
叠加单元,被配置为在三维人脸假体模型上叠加三维对抗扰动,以得到三维对抗样本;
获取单元,被配置为获取三维对抗样本在不同视角下的多个二维对抗样本;
输入单元,被配置为将多个二维对抗样本输入已训练的人脸活体检测模型,得到人脸活体检测模型的输出;
第一确定单元,被配置为确定输出与受害者对应的标签之间的差异;
更新单元,被配置为当差异大于预设差异阈值时,对三维对抗扰动进行更新,并触发上述叠加单元重新执行在三维人脸假体模型上叠加三维对抗扰动,以得到三维对抗样本的步骤;
第二确定单元,被配置为当差异不大于预设差异阈值时,将三维对抗扰动作为目标三维对抗扰动。
在一些实施方式中,上述对抗假体生成装置60还可以包括:
叠加模块,被配置为在三维人脸假体模型上叠加目标三维对抗扰动,以得到目标三维人脸假体模型;
制作模块,被配置为利用柔性材料将目标三维人脸假体模型制作成物理实体,得到物理世界的目标三维人脸假体模型实体。
本申请实施例中,获取模型,被配置为获取受害者的二维人脸图像以及攻击者的三维人脸数据;第一确定模块,被配置为根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据;处理模块,被配置为根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型;第二确定模块,被配置为根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型,由于本申请实施例是基于受害者的二维人脸图像生成目标三维人脸假体模型(即,对抗假体),而不是现有技术中的基于受害者人头的三维数据生成对抗假体,因此,本申请实施例无需受害者人头的三维数据即可得到对抗假体,能够提供一种更加完备的攻击方法,进一步地,由于本申请实施例中基于受害者的二维人脸图像生成的对抗假体与攻击者的人脸相适配,因此,本申请实施例中生成的对抗假体能够用于攻击带有动作活体检测功能的人脸识别系统,以检验人脸识别系统对动作活体识别的准确性,从而能够推动人脸识别系统安全性提升。
上面从模块化功能实体的角度对本申请实施例中的对抗假体生成装置60进行了描述,下面从硬件处理的角度分别对本申请实施例中的对抗假体生成装置进行描述。
需要说明的是,图5所示的获取模块601对应的实体设备可以为收发器、射频电路、通信模块和输入/输出(I/O)接口等,第一确定模块602、处理模块603和第二确定模块604对应的实体设备可以为处理器。
图5所示的装置均可以具有如图6所示的结构,当图5所示的对抗假体生成装置60具有如图6所示的结构时,图6中的处理器和收发器能够实现前述对应该装置的装置实施例提供的获取模块601、第一确定模块602、处理模块603和第二确定模块604相同或相似的功能,图7中的存储器存储处理器执行上述对抗假体生成方法时需要调用的计算机程序。
本申请实施例还提供了一种终端设备,如图7所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、销售终端设备(Point of Sales,POS)、车载电脑等任意终端设备,以终端设备为手机为例:
图7示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图7,手机包括:射频(Radio Frequency,RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity,WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图7中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图7对手机的各个构成部件进行具体的介绍:
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier,LNA)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General PacketRadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041,可选的,可以采用液晶显示器(LiquidCrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的,触控面板1031可覆盖显示面板1041,当触控面板1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图7中,触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给比如另一手机,或者将音频数据输出至存储器1020以便进一步处理。
Wi-Fi属于短距离无线传输技术,手机通过Wi-Fi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图7示出了Wi-Fi模块1070,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1080可包括一个或多个处理单元;可选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池),可选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该手机所包括的处理器1080还具有控制执行以上由对抗假体生成装置执行的对抗假体生成方法流程。
本申请实施例还提供了一种服务器,请参阅图8,图8是本申请实施例提供的一种服务器结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(英文全称:central processing units,英文简称:CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图中未示出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器1100的结构。例如,例如上述实施例中由图8所示的数据处理装置60或图像处理装置70所执行的步骤可以基于该图8所示的服务器结构。例如,所述中央处理器1122通过调用存储器1132中的指令,执行以下操作:
通过输入输出接口1158获取受害者的二维人脸图像以及攻击者的三维人脸数据;
根据二维人脸图像确定受害者的三维人脸几何模型和三维人脸图像数据;
根据受害者的三维人脸图像数据和攻击者的三维人脸数据,对受害者的三维人脸几何模型进行处理,以得到与攻击者的人脸相适配的三维人脸假体模型;
根据三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,目标三维对抗扰动用于叠加在三维人脸假体模型上以得到目标三维人脸假体模型,目标三维人脸假体模型用于攻击人脸动作活体检测模型。
还可以通过输入输出接口1158将目标三维对抗扰动和三维人脸假体模型输出,以便制作叠加有目标三维对抗扰动的三维人脸假体模型的物理实体,叠加在攻击者的人脸上,在物理世界对带有动作活体检测功能的人脸识别系统进行攻击,衡量该人脸识别系统的安全性。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍,本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请实施例的限制。
Claims (10)
1.一种对抗假体生成方法,其特征在于,包括:
获取受害者的二维人脸图像以及攻击者的三维人脸数据;
根据所述二维人脸图像确定所述受害者的三维人脸几何模型和三维人脸图像数据;
根据所述受害者的三维人脸图像数据和所述攻击者的三维人脸数据,对所述受害者的三维人脸几何模型进行处理,以得到与所述攻击者的人脸相适配的三维人脸假体模型;
根据所述三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,所述目标三维对抗扰动用于叠加在所述三维人脸假体模型上以得到目标三维人脸假体模型,所述目标三维人脸假体模型用于攻击人脸动作活体检测模型。
2.根据权利要求1所述的对抗假体生成方法,其特征在于,所述根据所述受害者的三维人脸图像数据和所述攻击者的三维人脸数据,对所述受害者的三维人脸几何模型进行处理,以得到与所述攻击者的人脸相适配的三维人脸假体模型,具体包括:
根据所述攻击者的三维人脸数据生成所述攻击者的三维人脸几何模型;
根据所述攻击者的三维人脸几何模型,对所述受害者的三维人脸几何模型进行裁剪处理,以得到具有裁剪面的三维人脸假体几何模型,所述裁剪面与所述攻击者的人脸相适配;
根据所述受害者的三维人脸图像数据对所述三维人脸假体几何模型进行渲染,以得到三维人脸假体模型。
3.根据权利要求2所述的对抗假体生成方法,其特征在于,在所述根据所述三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动之前,所述方法还包括:
根据所述三维人脸假体几何模型生成三维对抗扰动。
4.根据权利要求1所述的对抗假体生成方法,其特征在于,所述根据所述二维人脸图像确定所述受害者的三维人脸几何模型和三维人脸图像数据,具体包括:
将所述二维人脸图像输入已训练的三维人脸生成模型,得到所述受害者的三维人脸几何模型和三维人脸图像数据,所述三维人脸生成模型包括三维几何生成器和三维像素生成器,所述三维几何生成器用于根据所述二维人脸图像生成所述受害者的三维人脸几何模型,所述三维像素生成器用于根据所述二维人脸图像生成所述受害者的三维人脸图像数据。
5.根据权利要求1所述的对抗假体生成方法,其特征在于,所述根据所述三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,具体包括:
在所述三维人脸假体模型上叠加三维对抗扰动,以得到三维对抗样本;
获取所述三维对抗样本在不同视角下的多个二维对抗样本;
将所述多个二维对抗样本输入已训练的人脸活体检测模型,得到所述人脸活体检测模型的输出;
确定所述输出与所述受害者对应的标签之间的差异;
当所述差异大于预设差异阈值时,对所述三维对抗扰动进行更新,并返回执行所述在所述三维人脸假体模型上叠加三维对抗扰动,以得到三维对抗样本的步骤;
当所述差异不大于预设差异阈值时,将所述三维对抗扰动作为目标三维对抗扰动。
6.根据权利要求1所述的对抗假体生成方法,其特征在于,所述方法还包括:
在所述三维人脸假体模型上叠加所述目标三维对抗扰动,以得到目标三维人脸假体模型;
利用柔性材料将所述目标三维人脸假体模型制作成物理实体,得到物理世界的目标三维人脸假体模型实体。
7.一种对抗假体生成装置,其特征在于,该装置包括:
获取模块,被配置为获取受害者的二维人脸图像以及攻击者的三维人脸数据;
第一确定模块,被配置为根据所述二维人脸图像确定所述受害者的三维人脸几何模型和三维人脸图像数据;
处理模块,被配置为根据所述受害者的三维人脸图像数据和所述攻击者的三维人脸数据,对所述受害者的三维人脸几何模型进行处理,以得到与所述攻击者的人脸相适配的三维人脸假体模型;
第二确定模块,被配置为根据所述三维人脸假体模型、三维对抗扰动以及已训练的人脸活体检测模型,确定目标三维对抗扰动,所述目标三维对抗扰动用于叠加在所述三维人脸假体模型上以得到目标三维人脸假体模型,所述目标三维人脸假体模型用于攻击人脸动作活体检测模型。
8.一种计算机设备,其特征在于,其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的对抗假体生成方法。
9.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至6任一项所述的对抗假体生成方法中的步骤。
10.一种包含指令的计算机程序产品,所述计算机程序产品包括程序指令,当所述程序指令在计算机或处理器上运行时,使得所述计算机或所述处理器执行如权利要求1-6中任意一项所述的对抗假体生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311387017.2A CN117392722A (zh) | 2023-10-24 | 2023-10-24 | 对抗假体生成方法、相关装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311387017.2A CN117392722A (zh) | 2023-10-24 | 2023-10-24 | 对抗假体生成方法、相关装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117392722A true CN117392722A (zh) | 2024-01-12 |
Family
ID=89469825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311387017.2A Pending CN117392722A (zh) | 2023-10-24 | 2023-10-24 | 对抗假体生成方法、相关装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117392722A (zh) |
-
2023
- 2023-10-24 CN CN202311387017.2A patent/CN117392722A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111461089A (zh) | 一种人脸检测的方法、人脸检测模型的训练方法及装置 | |
CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
CN111401445B (zh) | 一种图像识别模型的训练方法、图像识别的方法及装置 | |
CN107590463A (zh) | 人脸识别方法及相关产品 | |
CN114387647B (zh) | 对抗扰动生成方法、装置及存储介质 | |
CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
CN116310745B (zh) | 图像处理方法、数据处理方法、相关装置及存储介质 | |
CN112989767B (zh) | 医学词语标注方法、医学词语映射方法、装置及设备 | |
CN115937638B (zh) | 模型训练方法、图像处理方法、相关装置及存储介质 | |
CN111310575A (zh) | 一种人脸活体检测的方法、相关装置、设备及存储介质 | |
CN113515987B (zh) | 掌纹识别方法、装置、计算机设备及存储介质 | |
CN111598896B (zh) | 图像检测方法、装置、设备及存储介质 | |
CN111339737A (zh) | 实体链接方法、装置、设备及存储介质 | |
CN114333031A (zh) | 活体检测模型的漏洞检测方法、装置及存储介质 | |
CN108932505A (zh) | 一种图像处理方法和电子设备 | |
CN116486463B (zh) | 图像处理方法、相关装置及存储介质 | |
CN115171196B (zh) | 人脸图像处理方法、相关装置及存储介质 | |
CN116778306A (zh) | 伪造对象检测方法、相关装置及存储介质 | |
CN115239941B (zh) | 对抗图像生成方法、相关装置及存储介质 | |
CN113569822B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN114333029A (zh) | 模板图像生成方法、装置及存储介质 | |
CN117392722A (zh) | 对抗假体生成方法、相关装置及存储介质 | |
CN115221888A (zh) | 实体提及的识别方法、装置、设备及存储介质 | |
CN111597823A (zh) | 中心词提取方法、装置、设备及存储介质 | |
CN114943639B (zh) | 图像获取方法、相关装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |