CN116704570A - 一种人脸图像处理方法、装置及存储介质 - Google Patents

一种人脸图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN116704570A
CN116704570A CN202211181299.6A CN202211181299A CN116704570A CN 116704570 A CN116704570 A CN 116704570A CN 202211181299 A CN202211181299 A CN 202211181299A CN 116704570 A CN116704570 A CN 116704570A
Authority
CN
China
Prior art keywords
face
candidate
countermeasure
patch
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211181299.6A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202211181299.6A priority Critical patent/CN116704570A/zh
Publication of CN116704570A publication Critical patent/CN116704570A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请实施例涉及计算机视觉技术领域，并提供一种人脸图像处理方法、装置及存储介质，该方法包括：获取第一用户的候选人脸特征系数；根据候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理；基于候选人脸形状和候选面部纹理生成候选对抗补丁；获取候选对抗样本，候选对抗样本为候选对抗补丁与第二用户的攻击者人脸图像叠加得到；获取候选对抗样本与目标人脸图像的相似度；若相似度小于预设值，则更新候选特征系数和候选对抗补丁，直至相似度大于预设值，将此时的候选对抗补丁作为目标对抗补丁输出。本方案能够提高对抗补丁的对抗性，避免因为变形或者与面部贴合度而降低攻击效果。

Description

一种人脸图像处理方法、装置及存储介质
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种人脸图像处理方法、装置及存储介质。
背景技术
人脸识别算法广泛应用于支付、安防及身份验证等诸多领域。然而，当前的人脸识别模型容易被构造的恶意对抗样本欺骗，呈现出一定的脆弱性。这些恶意对抗样本对人脸识别的应用带来了一定的安全隐患。目前主要基于对抗攻击技术生成有效对抗样本，再基于有效对抗样本评估人脸识别算法的安全性。由于人脸识别系统通常是在真实世界中收集人脸图像并进行识别，因此物理世界攻击技术的研究更加重要，比如构造一些典型的对抗眼睛、口罩等。
目前，主要采用对抗帽子的对抗攻击形式，即将对抗噪声限制在帽子的区域范围之内，采用二维曲率近似的方式模拟真实世界中的帽子变化，使得在物理世界中可以成功攻击人脸识别模型。
在对现有技术的研究和实践过程中，本申请实施例的发明人发现，仅仅通过曲率近似的方式模拟真实世界的形变，并未利用真实的3D形状信息进行对抗样本生成，所以导致攻击效果受限。
发明内容
本申请实施例提供了一种人脸图像处理方法、装置及存储介质，能够提高对抗补丁的对抗性，避免因为变形或者与面部贴合度而降低攻击效果；同时也解决了制作的实体对抗补丁变形的问题，从而保证其攻击效果，又能够提高攻击人脸识别系统中的活体检测模块的成功率。
第一方面，本申请实施例提供一种人脸图像处理方法，所述方法包括：
获取第一用户的候选人脸特征系数；
根据所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理；
基于所述候选人脸形状和候选面部纹理生成候选对抗补丁；
获取候选对抗样本，所述候选对抗样本为所述候选对抗补丁与第二用户的攻击者人脸图像叠加得到；
获取所述候选对抗样本与所述第一用户的目标人脸图像的相似度；
若所述相似度小于预设值，则更新所述候选特征系数和所述候选对抗补丁，直至候选对抗样本与所述目标人脸图像的相似度大于所述预设值，将相似度大于所述预设距离时的候选对抗补丁作为目标对抗补丁输出。
第二方面，本申请实施例提供一种图像处理装置，具有实现对应于上述第一方面提供的人脸图像处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
一些实施方式中，所述图像处理装置包括：
输入输出模块，用于获取第一用户的候选人脸特征系数；
处理模块，用于根据所述输入输出模块获取的所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理；
所述处理模块还用于基于所述候选人脸形状和候选面部纹理生成候选对抗补丁；获取候选对抗样本，所述候选对抗样本为所述候选对抗补丁与第二用户的攻击者人脸图像叠加得到；获取所述候选对抗样本与所述第一用户的目标人脸图像的相似度；
若所述相似度小于预设值，则更新所述候选特征系数和所述候选对抗补丁，直至候选对抗样本与所述目标人脸图像的相似度大于所述预设值，将相似度大于所述预设距离时的候选对抗补丁作为目标对抗补丁通过所述输入输出模块输出。
一种可能的设计中，所述处理模块具体用于：
确定人脸三维面片的预设拓扑连接；
对所述预设拓扑连接进行投影变换，得到二值化掩膜，所述二值化掩膜用于指示待向攻击者人脸图像中添加所述候选对抗补丁的位置；
根据所述二值化掩膜指示的位置将所述候选对抗补丁添加至所述攻击者人脸图像，得到所述候选对抗样本。
一种可能的设计中，所述处理模块具体用于：
获取目标人脸图像；
将所述目标人脸图像输入三维形变模型，根据三维形变模型中预设定的平均人脸形状、平均脸纹理向量、预设特征脸，以及所述目标图像，计算所述候选人脸特征系数；
根据所述平均人脸形状、所述预设特征脸和所述候选特征脸系数，得到所述候选人脸形状，以及根据所述预设特征脸和所述候选特征脸系数，得到所述候选面部纹理。
一些实施方式中，所述攻击者人脸图像为来自所述目标图像集中所述第二用户的第一人脸图像；所述处理模块具体用于：
获取所述候选对抗补丁和所述攻击者人脸图像；
将所述候选对抗补丁和所述第一人脸图像叠加，得到3D人脸对抗样本；
将所述3D人脸对抗样本映射为2D的所述候选对抗样本。
一种可能的设计中，所述处理模块具体用于：
获取光照参数值、拍摄视角、以及人脸三维面片的预设拓扑连接；
根据所述光照参数值、所述拍摄视角、以及所述预设拓扑连接，将所述3D人脸对抗样本输入渲染器，得到所述候选对抗样本。
一种可能的设计中，所述处理模块具体用于：
通过所述输入输出模块获取拍摄装置实时采集的第二人脸图像，所述第二人脸图像为第二用户佩戴实体的3D对抗补丁后采集的图像；
将所述第二人脸图像作为所述候选对抗样本。
一种可能的设计中，所述人脸图像处理方法基于具有柔性屏的可穿戴设备实现；所述柔性屏包括N个弯曲的子块；在所述输入输出模块输出所述目标对抗补丁之后，所述处理模块还可用于：
通过所述输入输出模块接收第一指令，所述第一指令包括控制端发送的指令、用户在所述可穿戴设备的输入操作、录制的用户说话声中的一项；
响应于所述第一指令，生成3D人脸对抗图案，并生成第二指令，所述第二指令包括对应所述柔性屏上各子块中人脸特征的位置序列；
响应于所述第二指令，控制各子块按照所述第二指令指令中为位置序列分别对应显示所述3D人脸对抗图案的各像素点。
第三方面，本申请实施例提供了一种计算机设备，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面、第一方面中的各种可能的设计中提供的方法。
本申请实施例又一方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面、第一方面中的各种可能的设计中的各种可能的设计中提供的方法。
本申请实施例又一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面、第一方面中的各种可能的设计中提供的方法。
相较于现有技术，本申请实施例提供的方案中，由于候选人脸形状和候选面部纹理根据所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量得到，而候选人脸特征系数为作为被攻击者的第一用户的人脸基于预设特征脸(给定的固定值)得到的个性化的特征系数，所以该候选人脸特征仅表征第一用户的面部特点，那么，一方面中，基于具备这样特点的候选人脸特征系数得到的候选人脸形状和候选面部纹理是能够表征原人脸的关键特征且贴合真实人脸的。因此，能够使得基于该候选人脸形状和候选面部纹理生成的候选对抗补丁具备非常好的对抗性，与2D对抗补丁相比，不会因为变形或者与面部贴合度而降低攻击效果；另一方面中，当基于该候选对抗补丁进行人脸验证任务后，可以有效验证该候选对抗补丁攻击人脸识别系统的攻击效果，并且本申请实施例是通过有限循环来确定目标对抗补丁的，因此，最终得到的目标对抗补丁充分的考虑到真实场景中的3D变换，因此能够更好的贴合真实人脸，相较于现有技术中的2D对抗补丁而言，既解决了制作的实体对抗补丁变形的问题，从而保证其攻击效果，又能够提高攻击人脸识别系统中的活体检测模块的成功率。
附图说明
图1为本申请实施例提供的一种人脸识别场景示意图；
图2为本申请实施例中人脸图像处理方法的一种流程示意图；
图3为本申请实施例初始人脸图像、3D对抗补丁到2D人脸图像的一种流程示意图；
图4a为本申请实施例中3D对抗补丁的一种示意图；
图4b为本申请实施例中从制作目标对抗补丁到用于测试人脸验证任务的一种流程示意图；
图5为本申请实施例中图像处理装置的一种结构示意图；
图6为本申请实施例中实施人脸图像处理方法的实体设备的一种结构示意图；
图7为本申请实施例中实施人脸图像处理方法的服务器的一种结构示意图；
图8为本申请实施例中实施人脸图像处理方法的手机的一种结构示意图。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象(例如本申请实施例中的第一用户、第二用户分别表示不同身份的用户)，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例供了一种人脸图像处理方法、装置及存储介质，可应用于对人脸识别系统进行鲁棒性检测，例如应用于智慧安防、智慧监控或智慧教育等场景时，人脸识别结果可以用于确定用户身份信息。该方案可应用于服务器或服务终端。本申请实施例以服务器为例，当应用于服务终端侧，可参考对服务器的实施例，不作赘述。
一些实施方式中，本申请实施例可应用于如图1所示的一种人脸识别场景时，人脸识别场景涉及图像处理装置、3D打印机、人脸识别系统(图1中未标示出)。该人脸识别系统包括至少一个人脸识别装置(也可以理解为人脸识别模型，本申请实施例不对此区分)、至少一个图像采集装置(也可称作拍摄装置，本申请实施例不对此区分，图1中未标示出)。所述图像处理装置与所述人脸识别装置之间可以进行数据交互，所述图像采集装置与所述人脸识别装置可以进行数据交互。人脸识别装置与图像采集装置可集中部署或分离式部署，本申请实施例不对此作限定，仅以分离式部署为例。
其中，图像处理装置用于对生成3D对抗补丁。
3D对抗补丁用于根据从图像处理装置接收到的打印指令打印3D对抗补丁实体。
拍摄装置用于对佩戴该3D对抗补丁的用户人脸进行人脸图像采集，并传输到人脸识别装置，以进行人脸验证任务。
人脸识别装置用于对拍摄装置侧采集的人脸图像进行身份验证。
当在如图1所示的应用场景实施上述人脸图像处理方法时，图像处理装置可先基于作为受害者的第一用户的面部特征生成后续实施例中生成的3D对抗补丁，再向3D打印机发送打印指令，使得3D打印机打印该3D对抗补丁。作为攻击者的第二用户佩戴该3D对抗补丁后，人脸识别装置对着该第二用户进行图像采集，将采集得到的人脸图像进行人脸识别，得到人脸识别结果，该人脸识别结果为第一用户，表示该佩戴了3D对抗补丁的第二用户攻击成功。
本申请实施例的方案可基于人工智能技术实现，具体来说涉及人工智能技术中的计算机视觉技术领域和云技术中的云计算、云存储和数据库等领域，下面将分别进行介绍。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
其中，需要特别说明的是，本申请实施例涉及的服务器、服务终端(例如人脸识别装置)可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例涉及的对抗样本生成装置可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、个人数字助理等，但并不局限于此。人脸识别装置以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。
针对对抗帽子没有考虑真实场景中的3D变换、对抗补丁贴在人脸上存在变形，导致效果较差的问题，本申请实施例主要提供以下技术方案：
结合对抗技术的3D对抗面罩具有更接近真实人脸的深度信息与纹理信息。因此在实际的人脸识别系统中，3D对抗面罩不仅可以获得与真实受害者人脸较高的相似度，并且可以有效地逃离活体检测模块。因此基于对抗技术的3D对抗面罩的攻击技术可以更好地评估当前人脸识别系统的鲁棒性。
下面，将结合图2-图4对本申请实施例的技术方案进行示例性说明。
参照图2，以下介绍本申请实施例所提供的一种人脸图像处理方法，所述人脸识别系统包括给定的人脸库，所述人脸库包括多个用户的人脸图像。本申请实施例包括：
201、获取第一用户的候选人脸特征系数。
其中，第一用户为被攻击用户，为人脸识别模型的人脸库(例如后文中给定的人脸库x)中的合法用户。
候选人脸特征系数为被攻击用户人脸(即特定用户人脸)的人脸特征系数，假设Bid,Bexp,Bt基于是给定的人脸库χ求出，Bid,Bexp,Bt分别表征人脸所属个体、表情和纹理的正交基，那么该候选人脸特征系数包括α,β,δ，α,β,δ是特定用户人脸(例如第一用户的人脸)在给定上述正交基下求出的所属个体、表情和纹理的系数。如将子空间的正交基按照图象阵列排列，则可以看出Bid,Bexp,Bt呈现人脸的形状，因此Bid,Bexp,Bt也被称作特征脸，本申请实施例不对此作区分。
一些实施方式中，为了使得最后制作的3D对抗补丁具有更接近真实人脸的深度信息与纹理信息，可通过下述操作获取第一用户的候选人脸特征系数：
获取目标人脸图像，该目标人脸图像为上述第一用户的人脸图像；
将所述目标人脸图像输入三维形变模型，根据三维形变模型中预设定的平均人脸形状、平均脸纹理向量、预设特征脸，以及所述目标人脸图像，计算所述候选人脸特征系数。
其中，三维形变模型即人脸数字模型，本申请实施例主要是指(3D Morphablemodels，3DMM)，其建立在三维人脸数据库的基础上，以人脸形状和人脸纹理统计为约束，同时考虑到了人脸的姿态和光照因素的影响，因而生成的三维人脸模型精度高。3DMM利用统计方法，构建2D人脸的3D模型形变，以实现人脸变形模型的表达。本申请实施例中，三维形变模型可采用大规模的3D人脸模型(Large scale 3D Morphable Models，LSFM)、Nonlinear-3DMM等模型结构，本申请实施例不对所采用的模型结构做任何限定，只要能够逼真的还原真实世界的人脸即可。
202、根据所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理。
相应的，一些实施方式中，在基于上述操作获取第一用户的候选人脸特征系数后，具体可根据所述平均人脸形状、所述预设特征脸和所述候选特征脸系数，得到所述候选人脸形状，以及根据所述预设特征脸和所述候选特征脸系数，得到所述候选面部纹理。
举例来说，给定人脸图片 为给定的人脸库。采用3D人脸建模方式重建x对应的三维人脸信息，进而可以通过3D打印技术得到一个3D面罩。具体来讲，首先基于三维可变形人脸模型(3DMM)重建出人脸x的形状S和纹理T，具体表示如下：
其中，是给定人脸库/>中的平均人脸形状，/>是给定人脸库/>中的平均人脸纹理向量，Bid,Bexp,Bt均为基于给定人脸库/>求出，分别表征人脸所属个体、表情和纹理的正交基。α是某张特定人脸在给定上述正交基下求出的所属个体的系数，β为某张特定人脸在给定上述正交基下求出的表情的系数，δ是某张特定人脸在给定上述正交基下求出的纹理的系数。
然后，基于上述公式(1)、公式(2)重建的人脸x的形状S和纹理T得到3D人脸图像即3D对抗补丁，以用于为后续实施例中的每一轮迭代过程中的人脸认证任务提供数据支撑。
203、基于所述候选人脸形状和候选面部纹理生成候选对抗补丁。
该候选对抗补丁可用于生成3D人脸对抗样本，例如图4a所示。
204、获取候选对抗样本。
其中，所述候选对抗样本为所述候选对抗补丁与第二用户的攻击者人脸图像叠加得到。
一些实施方式中，可通过下述操作获取候选对抗样本：
确定人脸三维面片的预设拓扑连接；
对所述预设拓扑连接进行投影变换，得到二值化掩膜，所述二值化掩膜用于指示待向攻击者人脸图像中添加所述候选对抗补丁的位置；
根据所述二值化掩膜指示的位置将所述候选对抗补丁添加至所述攻击者人脸图像，得到所述候选人脸对抗样本。
需要知道的是，候选对抗样本的获取过程是循环迭代过程，本申请实施例仅以单次循环为例对候选对抗样本的获取方式进行举例，通过多轮迭代最终能够得到攻击效果达到预期的候选对抗扰动，以及添加了该候选对抗扰动而生成的人脸对抗样本(即后续实施例中的3D人脸对抗样本)，其他迭代伦次本申请实施例不再赘述。
考虑到需要对生成的候选对抗样本或目标对抗样本进行人脸识别验证任务，以验证该候选对抗样本或目标对抗样本是否达到较好的攻击效果，本申请实施例主要从下述方式一、方式二来进行：
方式一：模拟人脸验证任务
当所述攻击者人脸图像为来自所述目标图像集中所述第二用户的第一人脸图像时，可通过下述步骤a-c获取候选对抗样本：
a、获取所述候选对抗补丁和所述攻击者人脸图像。
即在每轮迭代中，获取一个候选对抗补丁作为待添加到第一人脸图像的对抗扰动，以验证本轮迭代中该候选对抗补丁的攻击效果。
b、将所述候选对抗补丁和所述第一人脸图像叠加，得到3D人脸对抗样本。
c、将所述3D人脸对抗样本映射为2D的所述候选对抗样本。
其中，该映射为2D的所述候选对抗样本用于后续的人脸验证任务，以验证该候选对抗补丁的攻击效果。
一些实施方式中，所述将所述3D人脸对抗样本映射为2D的所述目标对抗样本，包括：
获取光照参数值、拍摄视角、以及人脸三维面片的预设拓扑连接；
根据所述光照参数值、所述拍摄视角、以及所述预设拓扑连接，将所述3D人脸对抗样本输入渲染器，得到所述候选对抗样本。
具体来说，本申请实施例可采用渲染器将3D人脸对抗样本渲染为2D的目标对抗样本，基于R渲染后得到的目标对抗样本可通过下述表达式表征：
x′＝R(α,β,θ,γ,p；tri) 公式(3)
其中，R代表渲染器，表示从3D人脸渲染成2D人脸图片的过程，γ代表光照，p代表视角；tri代表人脸三维面片的拓扑连接方式；f代表人脸识别模型。
相应的，将每一轮迭代中3D的候选对抗样本渲染为2D人脸图像后，该渲染后的2D人脸图片可用于后续的人脸验证任务，以验证本轮迭代中该候选对抗补丁的攻击效果。
需要说明的是，每一轮迭代中，都会得到一个候选对抗补丁，并在将其叠加到第一人脸图像得到当前迭代伦次的3D对抗样本后，为验证其攻击效果，每轮迭代都需要将该迭代伦次得到的3D对抗样本映射为2D人脸图像，以基于该2D人脸图像来实时当前伦次的人脸验证任务，以此来验证该轮迭代中得到的3D对抗补丁是否可以作为具备较好攻击效果的目标对抗补丁输出。
可见，在重构人脸的深度信息和面部纹理信息后，通过每一轮的3D对抗补丁生成过程中，在数字世界模拟该3D对抗补丁的预期攻击效果，所以能够实时的验证每一轮得到的3D对抗补丁在制作为物理世界的实体后的攻击效果是否达到预期，这样可以不断的迭代和修正，最终能够在较短时间内输出符合预期攻击效果的目标3D对抗补丁，一方面能够缩小数字世界与物理世界之间的对抗损失，另一方面能够节省试验成本和提高试验效率。
方式二：实时在物理世界进行测评
具体来说，实际测试人脸验证任务时，以第二用户来利用第一用户的身份对人脸识别系统攻击测试为例，当第二用户佩戴上述实体的3D对抗补丁后，与人脸识别系统通信连接或者内置于人脸识别系统的拍摄装置可对该佩戴3D对抗补丁的第二用户的上半身进行人脸图像采集并传输给人脸识别系统中的图像处理装置，如图4b所示的从制作目标对抗补丁到用于测试人脸验证任务的一种流程示意图，图像处理装置通过下述步骤获取候选对抗样本：
获取拍摄装置实时采集的第二人脸图像，所述第二人脸图像可为打印的3D对抗补丁实体，或者为第二用户佩戴实体的3D对抗补丁后采集的图像；
将所述第二人脸图像作为所述候选对抗样本。
可见，通过该方式能够直接采集物理世界中的人脸对抗图像(即叠加了具有对抗攻击效果的第二人脸图像)，然后对其渲染为2D人脸图像，以便可以是实时的用于攻击人脸识别系统中的人脸识别装置，通过基于采集的物理世界的第二人脸图像，能够更加有效的去验证该3D对抗补丁距离物理世界攻击的成功率，以便于缩小数字世界与物理世界之间的对抗损失，更加优化3D对抗补丁的生成，以便通过实时的优化3D对抗补丁以制作出攻击效果较好的3D对抗补丁。
205、获取所述候选对抗样本与所述第一用户的目标人脸图像的相似度。
206、若所述相似度小于预设值，则更新所述候选特征系数和所述候选对抗补丁，直至候选对抗样本与所述目标人脸图像的相似度大于所述预设值，将相似度大于所述预设距离时的候选对抗补丁作为目标对抗补丁输出。
其中，目标对抗补丁可为3D对抗补丁，例如可制作成眼罩、面罩等实体，可称为3D面罩、3D假体、3D眼罩等，本申请实施例不对此作区分。
为便于理解，下面以具体的应用场景来对上述人脸图像处理方法进行举例说明。具体来说，每轮迭代更新一轮人脸特征系数，就反馈到3DMM中生成一组S、T，生成一轮的3D面罩，并同时渲染一轮得到2D图以进行人脸验证任务，从而确定本轮的3D面罩的攻击效果，若达标，则输出3D面罩；若未达标，则进入下一轮的人脸特征系数更新。主要分下述三个阶段：
第一阶段：3D人脸攻击场景
为了让生成的3D面罩在物理世界中的形状和纹理都能达到攻击人脸识别模型的效果，本申请实施例设计了以下的攻击目标函数：
其中M代表二值化掩膜，用于表示候选对抗补丁添加的位置。而triM代表该二值化掩膜对应的三维拓扑连接。表示损失函数，其在躲避攻击中定义为/>在伪装攻击(即每轮的人脸验证任务)中定义为/>R代表渲染过程。实际算法中，给定triM后，再通过投影变换直接求出M。
求解该攻击目标函数后，可以利用每轮迭代中所得的新α,β,δ生成3D对抗面罩。求解方法可采用典型的多步梯度迭代方法，即每一步依次求解上述攻击目标函数对于求解目标α*,β*,δ*梯度，然后对α*,β*,δ*进行更新，具体本申请实施例不作赘述。
第二阶段：3D人脸重建
给定人脸图片 为给定的人脸库。采用3D人脸建模方式重建x对应的三维人脸信息，进而可以通过3D打印技术得到一个3D面罩。具体来说，首先基于上述公式(1)、公式(2)重建出人脸x的形状S和纹理T，即得到了人脸重构图像。然后，将第一阶段得到的3D对抗补丁叠加到该人脸重构图像上，得到3D人脸对抗样本。
为便于进行人脸识别任务，先采用上述公式(3)将3D人脸对抗样本渲染为2D的目标对抗样本，即x*。
第三阶段：人脸识别任务
举例来说，人脸识别通常包含两个子任务，分别是人脸验证与人脸识别。本申请实施例主要针对人脸验证任务进行设计。对于一个人脸验证任务，给定一对人脸图片首先计算出这一对图片的特征表示的距离(即/>)，进而通过其距离是否超过阈值判断这一对图片是否属于同一个人，即C(xa,xb)＝I(Df(xa,xb)<δ)，其中I代表指示函数，δ代表阈值。当C(xa,xb)＝1时，这一对人脸图片被识别为同一个人，否则识别为不同人。本申请实施例主要考虑伪装攻击(impersonation attack)，其目标是使人脸识别模型将第二阶段得到的目标对抗样本识别为特定的身份，具体来讲，给定属于不同身份的一对人脸图片{xa,xb}，伪装攻击针对xa生成目标对抗样本x*，使得人脸识别模型将x*和xb识别为相同身份，即C(x*,xb)＝1，表示攻击成功。
与现有技术相比，本申请实施例中，由于候选人脸形状和候选面部纹理根据所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量得到，而候选人脸特征系数为作为被攻击者的第一用户的人脸基于预设特征脸(给定的固定值)得到的个性化的特征系数，所以该候选人脸特征仅表征第一用户的面部特点，那么，一方面中，基于具备这样特点的候选人脸特征系数得到的候选人脸形状和候选面部纹理是能够表征原人脸的关键特征且贴合真实人脸的。因此，能够使得基于该候选人脸形状和候选面部纹理生成的候选对抗补丁具备非常好的对抗性，与2D对抗补丁相比，不会因为变形或者与面部贴合度而降低攻击效果；另一方面中，当基于该候选对抗补丁进行人脸验证任务后，可以有效验证该候选对抗补丁攻击人脸识别系统的攻击效果，并且本申请实施例是通过有限循环来确定目标对抗补丁的，因此，最终得到的目标对抗补丁充分的考虑到真实场景中的3D变换，因此能够更好的贴合真实人脸，相较于现有技术中的2D对抗补丁而言，既解决了制作的实体对抗补丁变形的问题，从而保证其攻击效果，又能够提高攻击人脸识别系统中的活体检测模块的成功率。
可选的，在本申请的一些实施例中，上述图像处理装置可与至少一个3D打印机通信连接，具体本申请实施例不作限定。在图像处理装置生成3D对抗补丁后，图像处理装置可发送打印指令到3D打印机，以制作3D对抗补丁。考虑到打印损失，还可以微调3D打印机的打印参数，具体来说，在图像处理装置发送打印指令到3D打印机之前，先获取3D打印机的打印参数(影响打印效果的关键因子)，再推导基于该打印参数打印出的3D对抗补丁的质量与3D对抗补丁的理论参数之间的差值，若各项差值大于各自对应的阈值，则对应调整打印参数，或者切换其它符合打印质量的3D打印机。
其中，理论参数包括α,β,δ。基于该打印参数打印出的3D对抗补丁的质量可以通过历史打印数据来推测。阈值也可根据经验值或者历史打印数据来设置或选定，不作限定。
通过该方式，一方面，能够在不升级或替换打印机的条件下，不过渡依赖打印机的硬件，也能通过调整来打印出符合理论参数的3D对抗补丁，进而保证攻击效果。另一方面，能够适配多种打印机，或者动态调整参数，以保证打印质量、以及佩戴该打印的3D对抗补丁后的攻击效果。
一些实施方式中，上述图像处理可以与至少一个3D打印机通信连接，面对不同业务场景或业务需求，打印出对应的3D对抗补丁。
具体来说，可以先确定业务场景或业务需求，根据业务场景或业务需求确定适配目标模型的目标打印机，再发送打印指令。
可见，本方案能面向不同对象或需求提供灵活多变的方式，且打印的3D对抗补丁与实际需求更匹配，成本更低，不局限于严苛的实施条件。
图1至图4b中任一项所对应的实施例中所提及的任一技术特征也同样适用于本申请实施例中的图5-图8所对应的实施例，后续类似之处不再赘述。
以上对本申请实施例中一种人脸图像处理方法进行说明，以下对执行上述人脸图像处理方法的图像处理装置进行介绍。该图像处理装置可以为人脸识别装置。
参阅图5，图5为本申请实施例中人脸识别装置的一种结构示意图，其可应用于人脸识别场景。本申请实施例中的图像处理装置50能够实现对应于上述图1-图4b任一所对应的实施例中由图像处理装置50所执行的人脸图像处理方法中的步骤。图像处理装置50实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述图像处理装置50可包括输入输出模块501和处理模块502。所述输入输出模块501和处理模块502的功能实现可参考图1-图4b任一所对应的实施例中所执行的操作，此处不作赘述。
一些实施方式中，该输入输出模块501可用于获取第一用户的候选人脸特征系数；
所述处理模块502可用于根据所述输入输出模块获取的所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理；
所述处理模块502还用于基于所述候选人脸形状和候选面部纹理生成候选对抗补丁；获取候选对抗样本，所述候选对抗样本为所述候选对抗补丁与第二用户的攻击者人脸图像叠加得到；获取所述候选对抗样本与所述第一用户的目标人脸图像的相似度；
若所述相似度小于预设值，则更新所述候选特征系数和所述候选对抗补丁，直至候选对抗样本与所述目标人脸图像的相似度大于所述预设值，将相似度大于所述预设距离时的候选对抗补丁作为目标对抗补丁通过所述输入输出模块501输出。
一些实施方式中，所述处理模块502具体用于：
确定人脸三维面片的预设拓扑连接；
对所述预设拓扑连接进行投影变换，得到二值化掩膜，所述二值化掩膜用于指示待向攻击者人脸图像中添加所述候选对抗补丁的位置；
根据所述二值化掩膜指示的位置将所述候选对抗补丁添加至所述攻击者人脸图像，得到所述候选对抗样本。
一些实施方式中，所述处理模块502具体用于：
获取目标人脸图像；
将所述目标人脸图像输入三维形变模型，根据三维形变模型中预设定的平均人脸形状、平均脸纹理向量、预设特征脸，以及所述目标人脸图像，计算所述候选人脸特征系数；
根据所述平均人脸形状、所述预设特征脸和所述候选特征脸系数，得到所述候选人脸形状，以及根据所述预设特征脸和所述候选特征脸系数，得到所述候选面部纹理。
一些实施方式中，所述攻击者人脸图像为来自所述目标图像集中所述第二用户的第一人脸图像；所述处理模块502具体用于：
获取所述候选对抗补丁和所述攻击者人脸图像；
将所述候选对抗补丁和所述第一人脸图像叠加，得到3D人脸对抗样本；
将所述3D人脸对抗样本映射为2D的所述候选对抗样本。
一些实施方式中，所述处理模块502具体用于：
获取光照参数值、拍摄视角、以及人脸三维面片的预设拓扑连接；
根据所述光照参数值、所述拍摄视角、以及所述预设拓扑连接，将所述3D人脸对抗样本输入渲染器，得到所述候选对抗样本。
一些实施方式中，所述处理模块502具体用于：
通过所述输入输出模块501获取拍摄装置实时采集的第二人脸图像，所述第二人脸图像为第二用户佩戴实体的3D对抗补丁后采集的图像；
将所述第二人脸图像作为所述候选对抗样本。
一些实施方式中，所述处理模块502还可用于执行以下项中的至少一项：
确定业务需求，根据所述业务需求确定适配目标模型的目标打印机；
或者，获取历史打印数据，根据所述历史打印数据推导基于所述历史打印数据打印出的3D对抗补丁的质量与3D对抗补丁的理论参数之间的差值，若各项差值大于各自对应的阈值，则对应调整3D打印机的打印参数，或者切换3D打印机。
本申请实施例中，由于候选人脸形状和候选面部纹理根据所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量得到，而候选人脸特征系数为作为被攻击者的第一用户的人脸基于预设特征脸(给定的固定值)得到的个性化的特征系数，所以该候选人脸特征仅表征第一用户的面部特点，那么，一方面中，基于具备这样特点的候选人脸特征系数得到的候选人脸形状和候选面部纹理是能够表征原人脸的关键特征且贴合真实人脸的。因此，能够使得基于该候选人脸形状和候选面部纹理生成的候选对抗补丁具备非常好的对抗性，与2D对抗补丁相比，不会因为变形或者与面部贴合度而降低攻击效果；另一方面中，当基于该候选对抗补丁进行人脸验证任务后，可以有效验证该候选对抗补丁攻击人脸识别系统的攻击效果，并且本申请实施例是通过有限循环来确定目标对抗补丁的，因此，最终得到的目标对抗补丁充分的考虑到真实场景中的3D变换，因此能够更好的贴合真实人脸，相较于现有技术中的2D对抗补丁而言，既解决了制作的实体对抗补丁变形的问题，从而保证其攻击效果，又能够提高攻击人脸识别系统中的活体检测模块的成功率。
上面从模块化功能实体的角度对本申请实施例中的图像处理装置50进行了描述，下面从硬件处理的角度分别对本申请实施例中的图像处理装置50进行描述。
需要说明的是，在本申请实施例图5所示的实施例中的输入输出模块501对应的实体设备可以为输入/输出单元、收发器、射频电路、通信模块和输出接口等，处理模块502对应的实体设备可以为处理器。图5所示的图像处理装置50可以具有如图6所示的结构，当图5所示的图像处理装置50具有如图6所示的结构时，图6中的处理器和收发器能够实现前述对应该图像处理装置50的装置实施例提供的输入输出模块501和处理模块502相同或相似的功能，图6中的存储器存储处理器执行上述人脸图像处理方法时需要调用的计算机程序。
图5所示的图像处理装置50可以具有如图6所示的结构，当图5所示的图像处理装置50具有如图6所示的结构时，图6中的处理器能够实现前述对应该装置的装置实施例提供的所述处理模块502相同或相似的功能，图6中的收发器能够实现前述对应该装置的装置实施例提供的所述输入输出模块501相同或相似的功能，图6中的存储器存储处理器执行上述人脸图像处理方法时需要调用的计算机程序。在本申请实施例图5所示的实施例中的所述收发模块501和所示处理模块502所对应的实体设备可以为输入输出接口，所述处理模块502对应的实体设备可以为处理器。
本申请实施例还提供了另一种终端设备，如图7所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)、销售终端(英文全称：Point of Sales，英文简称：POS)、车载电脑等任意终端设备，以终端为手机为例：
图7示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图7，手机包括：射频(英文全称：Radio Frequency，英文简称：RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(英文全称：wirelessfidelity，英文简称：WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图7中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图7对手机的各个构成部件进行具体的介绍：
RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器680处理；另外，将设计上行的数据发送给基站。通常，RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文简称：LNA)、双工器等。此外，RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，英文简称：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，英文简称：GPRS)、码分多址(英文全称：Code Division Multiple Access，英文简称：CDMA)、宽带码分多址(英文全称：Wideband Code Division Multiple Access,英文简称：WCDMA)、长期演进(英文全称：LongTerm Evolution，英文简称：LTE)、电子邮件、短消息服务(英文全称：Short MessagingService，英文简称：SMS)等。
存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显示器(英文全称：LiquidCrystal Display，英文简称：LCD)、有机发光二极管(英文全称：Organic Light-EmittingDiode,英文简称：OLED)等形式来配置显示面板641。进一步的，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在手机移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路660、扬声器661，传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一手机，或者将音频数据输出至存储器620以便进一步处理。
Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了W-iFi模块670，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。
手机还包括给各个部件供电的电源690(比如电池)，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的处理器680还具有控制执行以上由图5所示的图像处理装置50执行的人脸图像处理方法流程。
图8是本申请实施例提供的一种服务器结构示意图，该服务器720可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：centralprocessing units，英文简称：CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器720上执行存储介质730中的一系列指令操作。
服务器720还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，和/或，一个或一个以上操作系统741，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器720的结构。例如上述实施例中由图5所示的第一节点所执行的步骤可以基于该图8所示的服务器结构。例如，所述处理器7202通过调用存储器732中的指令，执行以下操作：
通过所述输入输出接口758获取第一用户的候选人脸特征系数；
根据所述输入输出接口758获取的所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理；
基于所述候选人脸形状和候选面部纹理生成候选对抗补丁；获取候选对抗样本，所述候选对抗样本为所述候选对抗补丁与第二用户的攻击者人脸图像叠加得到；获取所述候选对抗样本与所述第一用户的目标人脸图像的相似度；
若所述相似度小于预设值，则更新所述候选特征系数和所述候选对抗补丁，直至候选对抗样本与所述目标人脸图像的相似度大于所述预设值，将相似度大于所述预设距离时的候选对抗补丁作为目标对抗补丁通过所述输入输出接口758输出。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。

Claims (10)

1.一种人脸图像处理方法，其特征在于，所述方法包括：
获取第一用户的候选人脸特征系数；
根据所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理；
基于所述候选人脸形状和候选面部纹理生成候选对抗补丁；
获取候选对抗样本，所述候选对抗样本为所述候选对抗补丁与第二用户的攻击者人脸图像叠加得到；
获取所述候选对抗样本与所述第一用户的目标人脸图像的相似度；
若所述相似度小于预设值，则更新所述候选特征系数和所述候选对抗补丁，直至候选对抗样本与所述目标人脸图像的相似度大于所述预设值，将相似度大于所述预设距离时的候选对抗补丁作为目标对抗补丁输出。
2.根据权利要求1所述的方法，其特征在于，所述获取候选对抗样本，包括：
确定人脸三维面片的预设拓扑连接；
对所述预设拓扑连接进行投影变换，得到二值化掩膜，所述二值化掩膜用于指示待向攻击者人脸图像中添加所述候选对抗补丁的位置；
根据所述二值化掩膜指示的位置将所述候选对抗补丁添加至所述攻击者人脸图像，得到所述候选对抗样本。
3.根据权利要求1或2所述的方法，其特征在于，所述获取第一用户的候选人脸特征系数，包括：
获取目标人脸图像；
将所述目标人脸图像输入三维形变模型，根据三维形变模型中预设定的平均人脸形状、平均脸纹理向量、预设特征脸，以及所述目标人脸图像，计算所述候选人脸特征系数；
所述根据所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理，包括：
根据所述平均人脸形状、所述预设特征脸和所述候选特征脸系数，得到所述候选人脸形状，以及根据所述预设特征脸和所述候选特征脸系数，得到所述候选面部纹理。
4.根据权利要求3所述的方法，其特征在于，所述攻击者人脸图像为来自所述目标图像集中所述第二用户的第一人脸图像；所述获取候选对抗样本，包括：
获取所述候选对抗补丁和所述攻击者人脸图像；
将所述候选对抗补丁和所述第一人脸图像叠加，得到3D人脸对抗样本；
将所述3D人脸对抗样本映射为2D的所述候选对抗样本。
5.根据权利要求4所述的方法，其特征在于，所述将所述3D人脸对抗样本映射为2D的所述候选对抗样本，包括：
获取光照参数值、拍摄视角、以及人脸三维面片的预设拓扑连接；
根据所述光照参数值、所述拍摄视角、以及所述预设拓扑连接，将所述3D人脸对抗样本输入渲染器，得到所述候选对抗样本。
6.根据权利要求3所述的方法，其特征在于，所述获取候选对抗样本，包括：
获取拍摄装置实时采集的第二人脸图像，所述第二人脸图像为第二用户佩戴实体的3D对抗补丁后采集的图像；
将所述第二人脸图像作为所述候选对抗样本。
7.根据权利要求1-2、4-6中任一项所述的方法，其特征在于，在输出所述目标对抗补丁之前，所述方法还包括以下项中的至少一项：
确定业务需求，根据所述业务需求确定适配目标模型的目标打印机；
或者，获取历史打印数据，根据所述历史打印数据推导基于所述历史打印数据打印出的3D对抗补丁的质量与3D对抗补丁的理论参数之间的差值，若各项差值大于各自对应的阈值，则对应调整3D打印机的打印参数，或者切换3D打印机。
8.一种图像处理装置，其特征在于，所述图像处理装置包括：
输入输出模块，用于获取第一用户的候选人脸特征系数；
处理模块，用于根据所述输入输出模块获取的所述候选人脸特征系数、预设特征脸、平均人脸形状和平均脸纹理向量，得到候选人脸形状和候选面部纹理；
所述处理模块还用于基于所述候选人脸形状和候选面部纹理生成候选对抗补丁；获取候选对抗样本，所述候选对抗样本为所述候选对抗补丁与第二用户的攻击者人脸图像叠加得到；获取所述候选对抗样本与所述第一用户的目标人脸图像的相似度；
若所述相似度小于预设值，则更新所述候选特征系数和所述候选对抗补丁，直至候选对抗样本与所述目标人脸图像的相似度大于所述预设值，将相似度大于所述预设距离时的候选对抗补丁作为目标对抗补丁通过所述输入输出模块输出。
9.一种人脸识别装置，其特征在于，所述装置包括：
至少一个处理器、存储器和收发器；
其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项由第一节点执行的方法。
CN202211181299.6A 2022-09-27 2022-09-27 一种人脸图像处理方法、装置及存储介质 Pending CN116704570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211181299.6A CN116704570A (zh) 2022-09-27 2022-09-27 一种人脸图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211181299.6A CN116704570A (zh) 2022-09-27 2022-09-27 一种人脸图像处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116704570A true CN116704570A (zh) 2023-09-05

Family

ID=87838083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211181299.6A Pending CN116704570A (zh) 2022-09-27 2022-09-27 一种人脸图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116704570A (zh)

Similar Documents

Publication Publication Date Title
US20220076000A1 (en) Image Processing Method And Apparatus
CN114297730B (zh) 对抗图像生成方法、装置及存储介质
CN108989678B (zh) 一种图像处理方法、移动终端
US20210152751A1 (en) Model training method, media information synthesis method, and related apparatuses
CN114387647B (zh) 对抗扰动生成方法、装置及存储介质
US20230014409A1 (en) Detection result output method, electronic device and medium
CN116310745B (zh) 图像处理方法、数据处理方法、相关装置及存储介质
CN111556337B (zh) 一种媒体内容植入方法、模型训练方法以及相关装置
CN115937638B (zh) 模型训练方法、图像处理方法、相关装置及存储介质
CN111399819A (zh) 数据生成方法、装置、电子设备及存储介质
CN116486463B (zh) 图像处理方法、相关装置及存储介质
CN115171196B (zh) 人脸图像处理方法、相关装置及存储介质
CN115239941A (zh) 对抗图像生成方法、相关装置及存储介质
CN115170440A (zh) 图像处理方法、相关装置及存储介质
CN116704570A (zh) 一种人脸图像处理方法、装置及存储介质
CN111914106B (zh) 纹理与法线库构建方法、纹理与法线图生成方法及装置
CN111145119B (zh) 一种图像处理方法及电子设备
CN114333029A (zh) 模板图像生成方法、装置及存储介质
CN113706446A (zh) 一种镜头检测方法和相关装置
CN111756705B (zh) 活体检测算法的攻击测试方法、装置、设备及存储介质
CN114943639B (zh) 图像获取方法、相关装置及存储介质
CN116863031A (zh) 一种人脸编辑方法和相关装置
CN117079356A (zh) 一种对象鉴伪模型构建方法、虚假对象检测方法及装置
CN117671755A (zh) 对抗样本识别模型训练方法、装置、电子设备及存储介质
CN117392722A (zh) 对抗假体生成方法、相关装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination