CN115171196B

CN115171196B - 人脸图像处理方法、相关装置及存储介质

Info

Publication number: CN115171196B
Application number: CN202211027352.7A
Authority: CN
Inventors: 请求不公布姓名
Original assignee: Beijing Real AI Technology Co Ltd
Current assignee: Beijing Real AI Technology Co Ltd
Priority date: 2022-08-25
Filing date: 2022-08-25
Publication date: 2023-03-28
Anticipated expiration: 2042-08-25
Also published as: CN115171196A

Abstract

本申请实施例涉及计算机视觉领域，提供一种人脸图像处理方法、相关装置及存储介质，该方法包括：基于目标平均脸图像获取目标主成分，所述目标主成分与所述第一原始人脸图像集合中任一图像的第一主成分之间的第一相似度均符合第一预设条件；获取候选对抗扰动以及目标对抗主成分；获取所述目标对抗主成分与所述目标主成分的第二相似度；若所述第二相似度不符合第二预设条件，则更新所述候选对抗扰动，根据更新的候选对抗扰动和所述候选对抗人脸图像得到候选对抗主成分，将所述候选对抗主成分作为所述目标对抗主成分，直至目标对抗主成分与目标主成分的第二相似度符合第二预设条件，并将此时的候选对抗扰动作为用于生成对抗人脸图像的目标对抗扰动。

Description

人脸图像处理方法、相关装置及存储介质

技术领域

本申请实施例涉及计算机视觉领域，更具体地涉及一种人脸图像处理方法、相关装置及存储介质。

背景技术

对抗攻击可以分为有目标攻击和无目标攻击，无目标攻击是指使得识别模型无法识别出对抗图像所属的正确类别，例如在人脸识别领域的无目标攻击是指人脸识别模型无法正确识别对抗人脸图像，即给出与所述对抗人脸图像的原始人脸图像不同的人物标签；有目标攻击是指使得识别模型将对抗图像错误识别为指定的类别，例如，例如在人脸识别领域的有目标攻击是指人脸识别模型将对抗人脸图像错误识别为指定的人，即给出与所述指定的人相同的人物标签

现有技术在生成对抗人脸图像时，往往是设置使对抗人脸图像与目标人脸图像的特征在预设空间中距离最大化或最小化的目标函数，然后优化求解所述目标函数，在目标函数收敛时得到能够实现攻击目标的对抗人脸图像。此种方式中，优化求解时仅仅要求对抗人脸图像与目标人脸图像的特征距离变大或变小。然而，由于不同的识别模型即使基于同一图像，获取的特征也可能不同，因此，现有技术中对目标函数进行优化求解得到的对抗人脸图像，可能由于不同识别模型获取的特征不同，而导致对不同识别模型的攻击效果不同，即不具备稳定的攻击效果。对抗人脸图像的攻击效果不稳定、攻击鲁棒性低，可能使得其无法对较多不同的识别模型进行稳定的安全性测试。

发明内容

本申请实施例提供一种人脸图像处理方法、相关装置及存储介质,可以快速、高效地迭代获取攻击鲁棒性强的目标对抗扰动或对抗人脸图像。

第一方面，本申请实施例提供一种人脸图像处理方法，该方法包括：

基于目标平均脸图像获取目标主成分，其中，所述目标平均脸图像基于原始平均脸图像更新得到，所述原始平均脸图像基于第一原始人脸图像集合获取；所述目标主成分与所述第一原始人脸图像集合中任一图像的第一主成分之间的第一相似度均符合第一预设条件；

获取候选对抗扰动以及目标对抗主成分，其中，所述目标对抗主成分基于候选对抗人脸图像获取，所述候选对抗人脸图像基于所述候选对抗扰动和第二原始人脸图像集合得到，所述候选对抗扰动基于历史候选对抗扰动更新得到；

获取所述目标对抗主成分与所述目标主成分的第二相似度；

若所述第二相似度不符合第二预设条件，则更新所述候选对抗扰动，根据更新的候选对抗扰动和所述候选对抗人脸图像得到候选对抗主成分，将所述候选对抗主成分作为所述目标对抗主成分，直至目标对抗主成分与目标主成分的第二相似度符合所述第二预设条件，并将第二相似度符合所述第二预设条件时的候选对抗扰动作为目标对抗扰动；其中，所述目标对抗扰动用于生成对抗人脸图像。

第二方面，本申请实施例提供一种图像处理装置，具有实现对应于上述第一方面提供的人脸图像处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

在一个实施方式中，所述图像处理装置包括：

输入输出模块，被配置为获取目标平均脸图像；

处理模块，被配置为基于目标平均脸图像获取目标主成分，其中，所述目标平均脸图像基于原始平均脸图像更新得到，所述原始平均脸图像基于第一原始人脸图像集合获取；所述目标主成分与所述第一原始人脸图像集合中任一图像的第一主成分之间的第一相似度均符合第一预设条件；

所述处理模块，还被配置为获取候选对抗扰动以及目标对抗主成分，其中，所述目标对抗主成分基于候选对抗人脸图像获取，所述候选对抗人脸图像基于所述候选对抗扰动和第二原始人脸图像集合得到，所述候选对抗扰动基于历史候选对抗扰动更新得到；

所述处理模块，还被配置为获取所述目标对抗主成分与所述目标主成分的第二相似度；以及

第三方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的人脸图像处理方法。

第四方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的人脸图像处理方法。

相较于现有技术，本申请实施例中，通过获取目标对抗主成分（基于第一原始人脸图像叠加候选对抗扰动后获取）与目标主成分（基于目标平均脸图像获取、且目标平均脸图像与任一第一原始人脸图像的相似度均符合第一预设条件）之间的第二相似度是否符合第二预设条件，作为迭代更新候选对抗扰动的循环是否终止的条件。相当于采用了目标平均脸主成分约束，替代了在现有技术中使得对抗人脸图像与目标人脸图像的识别特征的距离（例如欧式距离）扩大或缩小的优化目标，一方面，由于目标平均脸图像是基于从多张真实人脸图像获取的原始平均脸更新得到，且目标平均脸主成分是基于目标平均脸图像的人脸特征获取的主要内容，其相对于现有技术的人脸图像特征，表示的人脸关键内容更具有代表性，包含的噪声更少，因此，若对抗人脸图像的主成分与目标平均脸图像的主成分较为一致，则对抗人脸图像更加容易在更多的识别模型上被获取相同的人脸特征，具有相同的识别表现，可以在更多的识别模型上发挥稳定的攻击效果；另一方面，相当于在现有技术的无目标攻击的目标函数优化求解空间中划定了一个优化方向和求解范围，显著缩小了求解空间，可以更加快速、高效地得到用于生成对抗人脸图像的目标对抗扰动。另外，相比于人脸特征，人脸主成分的数据维度更低，在进行相似度计算时计算复杂度和计算成本更小。

附图说明

通过参考附图阅读本申请实施例的详细描述，本申请实施例的目的、特征和优点将变得易于理解。其中：

图1为本申请实施例中人脸图像处理方法的一种图像处理系统示意图；

图2为本申请实施例的人脸图像处理方法的流程示意图；

图3a为本申请实施例的亚洲女性群体平均脸图像的示意图；

图3b为本申请实施例的亚洲男性群体平均脸图像的示意图；

图4为本申请实施例中一个获取目标主成分的流程示意图；

图5a为本申请实施例的中国女性平均脸图像的示意图；

图5b为本申请实施例的韩国女性平均脸图像的示意图；

图5c为本申请实施例的日本女性平均脸图像的示意图；

图6为本申请实施例中各个脸型的平均脸图像的示意图；

图7为本申请实施例中人脸关键区域的示意图；

图8为本申请实施例的图像处理装置的结构示意图；

图9为本申请实施例的计算设备的一种结构示意图；

图10为本申请实施例中手机的一种结构示意图；

图11为本申请实施例中服务器的一种结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象（例如第一相似度和第二相似度分别表示为不同的相似度，其他类似），而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合，通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。

本申请实施例提供一种人脸图像处理方法、相关装置及存储介质，可应用于图像处理系统，该图像处理系统可包括图像处理装置和识别装置，图像处理装置和识别装置可以集成部署，也可分离式部署。该图像处理装置至少用于基于识别装置反馈的人脸特征提取主成分，然后基于各个主成分之间的相似度更新候选平均脸图像、生成目标平均脸图像，更新候选对抗扰动、生成目标对抗扰动。该识别装置用于对各个人脸图像进行人脸特征获取，得到各个人脸图像的人脸特征。识别装置得到的各个人脸图像的人脸特征可用于图像处理装置去获取各个人脸图像的主成分，进而基于主成分之间的相似度迭代更新所述候选平均脸图像、所述候选对抗扰动，例如更新候选对抗扰动的像素值。其中，图像处理装置可为更新候选平均脸图像、生成目标平均脸图像，更新候选对抗扰动、生成目标对抗扰动的应用程序，或为安装了更新候选平均脸图像、生成目标平均脸图像，更新候选对抗扰动、生成目标对抗扰动的应用程序的服务器；识别装置可为对对各个人脸图像进行人脸特征获取，得到各个人脸图像的人脸特征的识别程序，所述识别程序例如是人脸识别模型，所述识别装置还可为部署了人脸识别模型的终端设备。

本申请实施例提供的方案涉及人工智能(Artificial Intelligence， AI)、计算机视觉技术(Computer Vision，CV)、机器学习(Machine Learning， ML)等技术，具体通过如下实施例进行说明:

其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

CV是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括对抗扰动生成、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

现有技术中为了生成对抗图像，往往是设置使得对抗图像与原始图像的识别特征的距离最大化或最小化的目标函数。由于不同识别模型基于同一个图像提取的识别特征可能不同，因此，现有技术生成的对抗图像可能被不同的识别模型获取到不同的识别特征，从而导致不同的攻击结果。即现有技术生成的对抗图像的攻击鲁棒性不强、迁移攻击性能较弱，可能无法对多个不同的识别模型产生稳定的攻击效果。与现有技术相比，本申请实施例中采用了目标平均脸主成分约束，替代了在现有技术中使得对抗人脸图像与原始人脸图像的识别特征的距离（例如欧式距离）扩大或缩小的目标函数，由于目标平均脸图像是基于从多张真实人脸图像获取的原始平均脸更新得到，且目标平均脸主成分是基于目标平均脸图像的人脸特征获取，因此，若对抗人脸图像的主成分与目标平均脸图像的主成分较为一致，则其可以在更多的识别模型上发挥稳定的攻击效果。另外，相比于人脸特征，人脸主成分的数据维度更低，在进行距离或相似度计算时，复杂度和计算成本更小。本申请实施例中可以通过包括图像处理装置和识别装置的图像处理系统生成目标对抗扰动或对抗人脸图像。

一些实施方式中，图像处理装置和识别装置分离式部署，参照图1，本申请实施例提供的人脸图像处理方法可基于图1所示的一种图像处理系统实现。该图像处理系统可以包括服务器01和终端设备02。

该服务器01可以是图像处理装置，其中可以部署图像处理程序，例如人脸图像处理程序。

该终端设备02可以是识别装置，其中可以部署有识别模型，例如基于机器学习的方法训练得到的图像识别模型。其中图像识别模型可以为人脸识别模型等。

服务器01可以从外部接收原始人脸图像，然后以原始人脸图像为基础，获取候选平均脸图像（包括原始平均脸图像）和候选对抗人脸图像，并将各个人脸图像向该终端设备02发送。终端设备02可以采用人脸识别模型对各个人脸图像进行处理，得到各个人脸图像的人脸特征，然后向服务器01反馈。服务器01 可以基于各个人脸图像的人脸特征获取主成分，例如获取候选平均脸图像的候选主成分、第一原始人脸图像的第一主成分、目标平均脸图像的目标主成分和候选对抗人脸图像的目标对抗主成分；基于第一主成分与候选主成分之间的第一相似度，可以确定当前的候选主成分关联的候选平均脸图像是否足够有代表性（例如在无目标攻击中可以是足够大众化、与任一第一原始人脸图像的差异均较大），若是则可以将所述候选平均脸图像确定为目标平均脸图像，并获取目标主成分；基于目标对抗主成分与目标主成分之间的第二相似度，可以确定候选对抗人脸图像是否能够实现攻击目标，若能够实现攻击目标，则将其当前的候选对抗扰动确定为目标对抗扰动，以便生成对抗人脸图像。

需要说明的是，本申请实施例涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话（或称为“蜂窝”电话）和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务（英文全称：Personal Communication Service，英文简称：PCS）电话、无绳电话、会话发起协议（SIP）话机、无线本地环路（Wireless Local Loop，英文简称：WLL）站、个人数字助理（英文全称：Personal Digital Assistant，英文简称：PDA）等设备。

参照图2，图2为本申请实施例提供的一种人脸图像处理方法的流程示意图。该方法可由图像处理装置执行，对候选对抗扰动进行更新，得到目标对抗扰动，该目标对抗扰动可用于生成对抗人脸图像，对目标识别模型进行对抗攻击，测试目标识别模型的安全性。所述人脸图像处理方法包括：

步骤S110，基于目标平均脸图像获取目标主成分。

在本申请实施例中，所述目标平均脸图像基于原始平均脸图像更新得到，所述原始平均脸图像基于第一原始人脸图像集合获取。在本申请实施例中，该所述目标平均脸图像包括平均脸，平均脸指的是经过计算机技术处理得到的某一群体的合成性容貌，例如可以是从一定数量的普通人脸提取面部特征，根据测量数据求平均值，再利用计算机技术得到的一张合成脸。

具体来说，所述平均脸可以通过以下步骤获取得到：首先获取需要得出平均脸的群体的一定数量照片；然后将每张照片的五官（耳朵除外）轮廓提取出来，之后根据五官类别分别将各个五官的轮廓平均，例如一个大眼睛加一个小眼睛就是一个中等大小的眼睛；最后将上一步得到的五官平均轮廓，用对应位置的平均肤色将之填充，就可以得到该群体一张比较精确的“平均脸”。参照图3a和图3b，其中，图3a为亚洲女性群体的平均脸图像，图3b为亚洲男性群体的平均脸图像。

所述目标主成分基于所述目标平均脸图像获取，所述目标主成分与所述第一原始人脸图像集合中任一图像的第一主成分之间的第一相似度均符合第一预设条件。可以理解的是，在本申请实施例中，基于一个人脸图像获取主成分可以是先获取所述人脸图像的人脸特征，然后再基于所述人脸特征进行主成分分析，获取所述人脸图像的主成分；或者也可以是直接基于所述人脸图像进行主成分分析，获取所述人脸图像的主成分。

例如，可以先获取人脸图像的人脸特征，然后再基于所述人脸图像的人脸特征获取主成分；获取所述人脸特征的方式可以是将所述人脸图像输入人脸识别模型，由所述人脸识别模型获取所述人脸图像的人脸特征。在获取到所述人脸特征之后，即可对所述人脸特征进行主成分分析（Principal Component Analysis，PCA），得到主成分。具体的主成分分析方法可以基于特征值分解协方差矩阵实现、或者基于奇异值（Singular ValueDecomposition，SVD）分解协方差矩阵实现，本申请实施例对此不做限定。

在本申请实施例中，为了获取到具备强鲁棒性的对抗人脸图像，采用使得候选对抗人脸图像向与目标平均脸的主成分相似或不相似的方向优化的方式（即采用目标平均脸主成分约束），替代现有技术中使得候选对抗人脸图像向与目标人脸图像的特征距离增大或缩的方向优化。考虑到基于真实人脸图像获取的原始平均脸图像，可能依然保留真实人脸图像中不必要的人脸特征，例如在无目标攻击中，原始平均脸图像可能与一个人脸图像中的人脸特征过于相似，不够大众化，若直接基于所述原始平均脸图像进行无目标攻击的对抗人脸图像生成，则可能使得所述对抗人脸图像与所述一个人脸图像较为相似，无法实现无目标攻击。因此，为了使得后续步骤迭代更新候选对抗扰动时的噪声更少，本申请对原始平均脸图像进行迭代更新，得到与第一原始人脸图像集合中任一图像之间的相似度均符合预设条件的目标平均脸图像。

在无目标攻击中，相比于原始平均脸图像，目标平均脸图像由于与任意一个真实人脸图像都不相似，所以足够大众化，其中保留的噪声信息更少，可以更加高效且精准地指导生成目标对抗扰动。在有目标攻击中，目标平均脸图像由于与被攻击者的任意一个真实人脸图像都相似，所以包括了被攻击者人脸的多张真实人脸图像表示的共性人脸特征，其中保留的噪声信息更少，可以更加高效且精准指导生成目标对抗扰动。

需要说明的是，本申请实施例中既可以生成用于进行有目标攻击的目标对抗扰动，也可以生成用于实现无目标攻击的目标对抗扰动。具体来说，目标对抗扰动用于生成对抗人脸图像，所述对抗人脸图像的攻击目的为对目标模型进行有目标攻击或无目标攻击；在所述攻击目的为对目标模型进行有目标攻击时，为了生成鲁棒性强的目标对抗扰动，希望目标平均脸图像具备被攻击者图像更多的共性人脸特征，和被攻击者的各个人脸图像均较为相似，即所述第一原始人脸图像集合包括被攻击者的多个真实人脸图像，所述第一预设条件包括所述第一相似度大于第一预设阈值（例如90%）；在所述攻击目的为对目标模型进行无目标攻击时，为了生成较为通用的目标对抗扰动，则需要目标平均脸图像较为大众化，和更多的真实人脸不同，由此，需要其与更多的真实人脸图像不相似，即所述第一原始人脸图像集合包括不同人物的多个真实人脸图像，所述第一预设条件包括所述第二相似度小于第二预设阈值（例如40%）。

更进一步地，本申请实施例中，为了使得目标平均脸图像保留的人脸特征更加具有代表性，在获取所述目标平均脸图像的过程中，也是基于候选平均脸图像的候选主成分与第一原始人脸图像集合中各个图像的第一主成分之间的第一相似度，而不是现有技术中的特征距离，从而使得目标平均脸图像保留的非关键人脸特征进一步减少，从而在指导目标对抗扰动生成时更加有保障。

在一个可能的设计中，参照图4，所述目标平均脸图像可以通过以下步骤S210-S240获取：

步骤S210，获取候选平均脸图像以及候选主成分。

在本申请实施例中，所述候选平均脸图像基于历史候选平均脸图像更新得到，所述历史候选平均脸图像包括所述原始平均脸图像，所述候选主成分基于所述候选平均脸图像获取。

具体来说，本申请实施例中可以基于原始平均脸图像逐步迭代更新，得到目标平均脸图像。初始的候选平均脸图像可以是原始平均脸图像，在后续的生成目标平均脸图像的过程中，则以历史候选平均脸图像为基础更新得到所述目标平均脸图像。即目标平均脸图像由上一个时间步长更新得到的候选平均脸图像更新得到，例如，假设基于原始平均脸图像c1进行3次更新得到了目标平均脸图像C，那么首先基于原始平均脸图像c1进行第一次更新得到候选平均脸图像c2，然后基于候选平均脸图像c2进行第二次更新得到候选平均脸图像c3，最后基于候选平均脸图像c3更新得到目标平均脸图像C。

在获取目标平均脸图像的每个时间步长，得到当前时间步长的候选平均脸图像之后，即可基于所述候选平均脸图像，获取当前时间步长的候选主成分。从各个候选平均脸图像获取候选主成分的方式，可以与从上述人脸图像获取主成分的方式相同，本申请实施例对此不做具体限制。

步骤S220，从所述第一原始人脸图像集合中获取一个第一原始人脸图像的第一主成分。

在本申请实施例中，所述第一主成分基于一个第一原始人脸图像获取，具体的获取方式可以与候选主成分的获取方式相同，此处不再赘述。

在获取目标平均脸图像的每个时间步长，均可以从所述第一原始人脸图像集合中获取当前时间步长的第一原始人脸图像。为了使得最终生成的目标平均脸图像与各个第一人脸图像的主成分相比，均满足第一预设条件，各个时间步长的第一原始人脸图像可以不同。即在本申请实施例中，可以遍历第一原始人脸图像集合，以保证目标平均脸图像的生成效果。

步骤S230，获取所述候选主成分与所述第一主成分的第一相似度。

在本申请实施例中，为了更加快速、高效地获取到噪声更少、保留共性人脸特征更多的目标平均脸图像，进而更加快速、高效地迭代更新出目标对抗扰动；将现有技术中计算两个图像之间的特征相似度，替换为计算两个图像之间主成分相似度。另外，相比于图像特征，图像主成分的数据维度更低，在计算相似度时的复杂度更低、且图像主成分保留了图像特征的关键部分，基于图像主成分计算的相似度，与基于图像特征计算的相似度，结果上更加优秀。

为了获取目标平均脸图像，本申请实施例中需要计算候选平均脸图像的主成分（即候选主成分）与第一原始人脸图像（即第一主成分）之间的第一相似度，然后再基于所述第一相似度更新候选平均脸图像。

步骤S240，若所述第一相似度不符合第一预设条件，则更新所述候选平均脸图像以及所述候选主成分，直至候选主成分与第一主成分的第一相似度符合所述第一预设条件，并将第一相似度符合所述第一预设条件时的候选平均脸图像作为所述目标平均脸图像。

在本申请实施例中，如果候选平均脸图像和第一原始人脸图像之间的主成分相似度（即所述第一相似度）较大，例如大于预设数值（可以是90%），则认为两个图像之间较为相似，可能会被人脸识别模型识别出相同的结果。在无目标攻击中，可以认为所述候选平均脸图像不够大众化，还是包括太多真实人物的人脸特征。由此，可以对所述候选平均脸图像进行修改或更新，以使得其更加大众化，即与真实人物的真实人脸图像的相似度变小，直到候选平均脸图像与第一原始人脸图像之间的主成分相似度（即所述第一相似度）不大于所述预设数值。

在一个可能的设计中，针对无目标攻击，为了使得最终生成的目标平均脸图像更加大众化，在进行候选平均脸图像的迭代更新时，也可以将循环终止条件设置为第一相似度达到极小值。由此，在本申请实施例中对候选平均脸图像进行迭代更新的目标就是使其与第一原始人脸图像的差异最大。类似地，针对有目标攻击，在进行候选平均脸图像的迭代更新时，也可以将循环终止条件设置为第一相似度达到极大值。

可以理解的是，虽然本申请实施例以第一相似度的数值判断作为候选平均脸图像的更新停止条件，但是并不限于此。在其他可能的设计中，还可以是根据具体的攻击目的，使得第一相似度向变大或变小的方向，更新迭代达到预设次数，例如100次。

修改或更新所述候选平均脸图像的方式可以采用梯度优化法，例如可以基于候选主成分与第一主成分的第一相似度构建目标函数，然后基于所述目标函数值与所述候选平均脸图像计算梯度方向，基于所述梯度方向以及预设更新变化量确定所述候选平均脸图像的修改方式。具体来说，可以根据所述目标函数值的偏导与所述候选平均脸图像的偏导的比值，计算得到梯度，然后根据所述梯度的数值正负，确定修改方向，例如梯度数值为正，则可以确定修改方向为正方向，在修改所述候选平均脸图像时则将预设更新变化量叠加在所述候选平均脸图像的各个像素值上。

可以理解的是，本申请实施例中的对某个对象的迭代更新不仅限于以上示例的梯度优化法，还可以构建相关的目标函数，然后采用现有的任意优化器，例如随机梯度下降法（Stochastic Gradient Descent，SGD）、自适应学习率算法AdaGrad、Adam优化器等等，进行优化求解，得到目标对象（例如目标平均脸图像或目标对抗扰动）。在进行相似度或距离计算时，可以采用任意现有的欧氏距离、余弦相似度等方式，本申请实施例不做限定。

考虑到，如果对候选平均脸图像进行无限制的修改或更新，可能导致修改或更新后的候选平均脸图像与人脸差异过大，即最终得到的所述目标平均脸不再具备基本的人脸特征。因此，在一个可能的设计中，可以增加一个更新或修改约束，例如所述候选平均脸图像的更新变化量受到第三预设条件约束，所述第三预设条件包括所述更新变化量在无穷范数的数值符合第一预设范围（例如-30~30）。

需要说明的是，在基于原始平均脸图像更新得到目标平均脸图像的过程中，每个像素都有可能受到扰动，即每个像素都有可能更新，且一些像素可能经历不止一次更新。由此，在一个可能的设计中，可以设置原始平均脸图像各个像素总的修改量或更新变化量受到约束。

可以理解的是，在一个可能的设计中，也可以对原始平均脸图像各个像素总的修改量进行划分，设置原始平均脸图像各个像素各个迭代更新的时间步长的修改量或更新变化量受到约束。

可以理解的是，本申请实施例中为了保证最终得到的目标平均脸图像还具备基本的人脸特征，而不是被修改到面目全非，也可以对最终的修改结果进行约束，例如设置每个时间步长更新得到的候选平均脸图像与标准人脸图像的相似度符合预设数值。

为了实现有目标攻击，生成目标平均脸图像的方法流程和条件约束与无目标攻击类似，其他步骤流程此处不再赘述。

在步骤S110中，关键在于获取目标平均脸图像，以及基于目标平均脸图像获取目标主成分，从而得到迭代更新中的候选对抗人脸图像的目标对抗主成分与目标主成分的第二相似度，指导步骤S140中对候选对抗扰动或候选对抗人脸图像的更新。

考虑到不同群体的平均脸可能具有不同的面部特点，例如图3a和图3b所示的不同性别的群体的平均脸图像不同，或者例如即使是同一种族的人，不同地区的平均脸的表现也不同。参照图5a-图5c，可以看出，虽然中国女孩、韩国女孩和日本女孩虽然均为东亚女性，但是不同国家的女性平均脸还是存在较大差异。更具体来说，中国中原地区的汉族人可能具有一些明显区别于东北地区的汉族人的人脸特点。在针对目标人物或者目标群体生成无目标攻击的目标对抗扰动时，为了使得目标平均脸图像的迭代更新过程更加快速、高效，且最终生成的目标平均脸图像更加符合其攻击目标群体的大众化人脸，在一个可能的设计中，所述原始平均脸图像可以基于目标人物的属性信息获取，所述目标人物为所述原始人脸图像中的人物；所述目标人物的属性信息可以基于所述原始人脸图像获取或者基于其他设备的输入获取，基于所述属性信息可以明确所述原始人脸图像所属的群体（目标群体），然后基于目标群体可以获取原始平均脸图像。

在本申请实施例中，所述属性信息可以包括所述目标人物至少一个维度的身份信息。例如所述属性信息可以包括目标人物的籍贯信息、年龄信息、性别信息和职业信息，所述籍贯信息即可以认为所述目标人物一个维度的身份信息。由此，所述目标群体可以基于所述目标人物至少一个维度的身份信息确定。例如，若属性信息可以包括目标人物的籍贯信息、年龄信息、性别信息和职业信息，那么目标群体可以单独基于籍贯信息、年龄信息、性别信息和职业信息中的任一个确定，也可以基于其中的多个组合确定。

在一个可能的设计中，所述属性信息可以包括所述目标人物的地域信息（可以是籍贯信息），在获取所述原始人脸图像时，还可以获取所述原始人脸图像中的人物的籍贯信息（即所述目标人物的籍贯信息），然后获取所述籍贯信息表示的区域的群体的平均脸图像作为原始平均脸图像。可以理解的是，各个区域的平均脸可以事先准备，例如，可以预先准备亚洲平均脸、中国平均脸、中国西北地区平均脸和中国甘肃平均脸等等。

在一个可能的设计中，所述属性信息还可以包括目标人物的脸型、性别、年龄和职业中的至少一个，然后可以方便获取相应属性信息的平均脸。在一个可能的设计中，可以基于只包括一个单一维度的属性信息获取单一维度的平均脸，例如可以是鹅蛋脸平均脸、男性平均脸或医生平均脸等等。可以理解的是，目标人物可以有多个维度的属性信息，即所述目标人物的身份是复杂多样的，由此，在一个可能的设计中，获取的目标人物的所述属性信息包括多个维度的身份信息，例如可以包括籍贯为河北、性别为男和年龄为35，那么可以针对籍贯为河北、性别为男和年龄为35的群体获取平均脸。

以上几个可能的设计介绍了如何针对目标人物或目标群体获取原始平均脸图像，从而更加快速地迭代得到用于生成无目标攻击的目标对抗扰动的目标平均脸图像和目标主成分。

在介绍了本申请实施例中的目标平均脸图像和目标主成分如何获取之后，下面继续介绍如何更新迭代出目标对抗扰动。

步骤S120，获取候选对抗扰动以及目标对抗主成分。

其中，所述目标对抗主成分基于候选对抗人脸图像获取，所述候选对抗人脸图像基于所述候选对抗扰动和第二原始人脸图像集合得到，所述候选对抗扰动基于历史候选对抗扰动更新得到，所述历史候选对抗扰动包括原始对抗扰动。

为了进一步提高迭代更新效率，本申请实施例中，在确定候选对抗人脸图像与目标平均脸图像的识别相似度时，通过二者之间的主成分相似度确定。即本申请实施例中，首先基于目标平均脸图像获取目标主成分，然后在每个迭代更新候选对抗人脸图像的时间步长，均从当前时间步长的候选对抗人脸图像获取候选对抗主成分，之后，将所述候选对抗主成分作为所述目标对抗主成分，计算目标对抗主成分与目标主成分之间的第二相似度，作为当前时间步长的候选对抗人脸图像与目标平均脸图像之间的识别相似度。

通常来说，对抗扰动可以直接叠加在原始图像上，得到对抗图像。因此，迭代更新候选对抗图像、得到目标对抗图像的过程，可以视为迭代更新候选对抗扰动、得到目标对抗扰动的过程，而未对原始图像进行任何修改。

由此，本申请实施例中，可以直接初始化得到一个原始对抗扰动，然后对所述原始对抗扰动进行迭代更新，在迭代更新过程中，可能得到多个历史候选对抗扰动作为下一个时间步长更新候选对抗扰动的基础，直到得到目标对抗扰动。即目标对抗扰动由上一个时间步长更新得到的候选对抗扰动更新得到，例如，假设基于原始对抗扰动a1进行3次更新得到了目标对抗扰动A，那么首先基于原始对抗扰动a1进行第一次更新得到候选对抗扰动a2，然后基于候选对抗扰动a2进行第二次更新得到候选对抗扰动a3，最后基于候选对抗扰动a3更新得到目标对抗扰动A。

可以理解的是，由于对抗扰动用于叠加在原始图像上生成对抗图像。因此，对候选对抗扰动的更新，会造成候选对抗图像的更新。为了节省一些计算步骤和计算资源，在一个可能的设计中，也可以不初始化对抗扰动，而直接在原始人脸图像上进行扰动更新，例如直接修改原始人脸图像的像素值。在此种设计之中，步骤S120也可以是获取候选对抗人脸图像和目标对抗主成分。

具体来说，本申请实施例中可以基于原始人脸图像逐步迭代更新，得到对抗人脸图像。初始的候选对抗人脸图像可以是原始人脸图像，在后续的生成对抗人脸图像的过程中，则以历史候选对抗人脸图像为基础更新得到所述对抗人脸图像。即对抗人脸图像由上一个时间步长更新得到的候选对抗人脸图像更新得到，例如，假设基于原始人脸图像b1进行3次更新得到了对抗人脸图像B，那么首先基于原始人脸图像b1进行第一次更新得到候选对抗人脸图像b2，然后基于候选对抗人脸图像b2进行第二次更新得到候选对抗人脸图像b3，最后基于候选对抗人脸图像b3更新得到对抗人脸图像B。

步骤S130，获取所述目标对抗主成分与所述目标主成分的第二相似度。

现有技术中，为了实现对抗攻击目标，往往需要计算迭代中的候选对抗图像与目标图像的相似度，以便确定候选对抗图像是否能够实现攻击目标、且在候选对抗图像无法实现攻击目标时，确定当前时间步长的候选对抗图像的更新变化量。例如，为了实现无目标对抗攻击，则需要目标对抗图像与原始图像（即所述目标图像）不相似（例如二者之间的相似度小于80%）。

与现有技术不同的是，在本申请实施例中，不再计算迭代中的候选对抗图像与目标图像的相似度，而是计算迭代中的候选对抗图像与目标图像的主成分相似度。具体来说，在本申请实施例中，更新候选对抗扰动之后，基于所述候选对抗扰动重新获取候选对抗人脸图像，然后从所述候选对抗人脸图像中获取候选对抗主成分，并将所述候选对抗主成分作为所述目标对抗主成分。

步骤S140，若所述第二相似度不符合第二预设条件，则更新所述候选对抗扰动，根据更新的候选对抗扰动和所述候选对抗人脸图像得到候选对抗主成分，将所述候选对抗主成分作为所述目标对抗主成分，直至目标对抗主成分与目标主成分的第二相似度符合所述第二预设条件，并将第二相似度符合所述第二预设条件时的候选对抗扰动作为目标对抗扰动；其中，所述目标对抗扰动用于生成对抗人脸图像。

在本申请实施例中，为了生成攻击鲁棒性更强的目标对抗扰动或对抗人脸图像，采用了目标平均脸主成分约束，即本申请实施例中将现有技术的计算两个图像特征之间的相似度，替换为计算两个图像之间的主成分相似度，即本申请实施例中基于候选对抗人脸图像与目标平均脸图像之间的主成分相似度（即所述第二相似度）确定是否终止候选对抗人脸图像的迭代更新。

可以理解的是，本申请实施例中既可以生成用于进行有目标攻击的目标对抗扰动，也可以生成用于实现无目标攻击的目标对抗扰动。具体来说，在所述攻击目的为对目标模型进行有目标攻击时，为了生成鲁棒性强的目标对抗扰动，希望目标对抗扰动或对抗人脸图像（基于攻击者图像得到）具备被攻击者图像更多的共性人脸特征，和被攻击者的各个人脸图像均较为相似，即所述第二原始人脸图像集合包括攻击者的多个真实人脸图像，所述第二预设条件包括第二相似度大于第三预设阈值（例如80%）；在所述攻击目的为对目标模型进行无目标攻击时，为了生成较为通用的目标对抗扰动，则需要目标对抗扰动或对抗人脸图像（基于攻击者图像得到）较为大众化，和更多的真实人脸不同，即与目标平均脸图像更加相似，由此，需要其与更多的真实人脸图像不相似，即所述第二原始人脸图像集合包括不同人物的多个真实人脸图像，所述第二预设条件包括所述第二相似度大于第四预设阈值（例如40%）。

可以理解的是，在本申请实施例中，针对无目标攻击，第一原始人脸图像集合可以和第二原始人脸图像集合相同，也可以不同，本申请实施例不做限定。另外，本申请实施例中，无论是有目标攻击，还是无目标攻击，均要求第二相似度大于某个数值（即所述第三预设阈值和所述第四预设阈值），因此，所述第三预设阈值和所述第四预设阈值也可以相同或不同，本申请实施例不做限定。

可以理解的是，虽然本申请实施例以第二相似度的数值判断作为更新停止条件，但是并不限于此。在其他可能的设计中，还可以是更新迭代达到预设次数，例如100次。

为了使得最终生成的对抗人脸图像与各个第二人脸图像的主成分相比，均满足第二预设条件，各个时间步长的第二原始人脸图像可以不同。在获取候选对抗人脸图像的每个时间步长，均可以从所述第二原始人脸图像集合中获取当前时间步长的第二原始人脸图像。即在本申请实施例中，可以遍历第二原始人脸图像集合，以保证目标对抗扰动或对抗人脸图像的生成效果。

在一个可能的设计中，本申请实施例中生成的目标对抗扰动或对抗人脸图像还可以基于原始人脸图像的脸型信息确定扰动项，即对目标区域进行扰动，以使得最终生成的对抗人脸图像更加自然美观。参照图6，图6为各种脸型的平均脸图像示意图，且示意性地示出了不同脸型的匹配眉形、眼睛、鼻子、嘴巴和脸部轮廓。

具体来说，原始人脸图像中目标人物（例如攻击者）的属性信息至少可以用于确定所述目标人物的脸型信息；例如所述属性信息可以直接包括所述目标人物的脸型信息，或者可以包括所述目标人物的籍贯信息，然后根据所述籍贯信息的平均脸图像确定所述目标人物的脸型信息，即默认所述目标人物与其籍贯所在地的群体具有相同的脸型。然后可以基于脸型信息确定具体的扰动项，所述扰动项可以是一个人脸关键区域，例如对于圆脸，扰动项可以包括对眉形的扰动，使得眉形与脸型更加相符，即在更新所述候选对抗人脸图像时，至少更新所述候选对抗人脸图像中的目标区域。

在一些其他设计中，所述目标区域可以包括至少一个人脸关键区域，且依然可以基于所述脸型信息确定，参照图7，所述人脸关键区域至少包括以下项之一：眉毛区域、眼睛区域、鼻子区域、嘴巴区域和脸部轮廓区域。即在基于脸型信息确定扰动项时，可以不仅仅确定一个人脸关键区域，而是可以对多个人脸关键区域均进行扰动，使得最终生成的对抗人脸图像整体上更加美观。

可以理解的是，和迭代更新生成目标平均脸图像的要求类似，本申请实施例中也希望原始人脸图像叠加目标对抗扰动之后，得到的对抗人脸图像较为符合人脸基本特征，而不是面目全非，通过人的肉眼观察之后完全不像一张人脸。由此，在一个可能的设计中，在更新所述候选对抗扰动时，所述候选对抗扰动的更新变化量受到第四预设条件约束，所述第四预设条件包括所述更新变化量在无穷范数的数值符合第二预设范围。考虑到，本申请实施例中，对候选对抗扰动的更新变化量约束，与对候选平均脸图像的更新变化量约束，都是使得生成的人脸图像具备基本人脸特征，因此，在一个可能的设计中，所述第一预设条件可以和所述第二预设条件相同，即第一预设范围可以和第二预设范围相同。

考虑到，目标平均脸图像只是为了提供指导目标对抗扰动（或对抗人脸图像）生成的目标主成分，并没有切实在物理世界或数字世界展示给人观察的需要。由此，为了使得目标对抗扰动的攻击效果更好，即对抗人脸图像与原始人脸图像的差异更大，对候选平均脸图像的更新变化量约束可以相对宽松，即候选平均脸图像的修改范围，可以比候选对抗人脸图像（候选对抗扰动）的修改范围更大，例如所述第一预设范围可以包括所述第二预设范围，所述第二预设范围可以是所述第一预设范围的真子集。

为了使得最终生成的对抗人脸图像更加自然，不易被肉眼察觉出与原始人脸图像的差异，在一些设计中，可以不在影响表情展示效果的人脸区域进行扰动。例如，考虑到面部表情主要是通过眼部肌肉、颜面肌肉和口部肌肉的变化来表现各种情绪状态，由此，可以将迭代更新候选对抗人脸图像过程中的扰动（更新）区域约束在预设人脸区域，所述预设人脸区域不包括会使面部表情发生变化的眼部肌肉、颜面肌肉和口部肌肉，即眼部肌肉、颜面肌肉和口部肌肉能够影响的面部区域属于非扰动区域。由此，可以保证所述目标对抗扰动叠加于原始人脸图像得到的对抗人脸图像与所述原始人脸图像的表情相似度（可以基于任意现有表象相似度模型获取）大于第五预设阈值（例如75%）。

在得到目标对抗扰动或对抗人脸图像之后，可以直接在数字世界对人脸识别模型进行测试。例如可以基于目标人脸的原始人脸图像生成无目标攻击的目标对抗扰动，即叠加在原始人脸图像后能够使得人脸识别模型识别不出所述目标人脸的目标对抗扰动；然后将所述目标对抗扰动叠加在目标人脸后生成对抗人脸图像，输入人脸识别模型进行测试；在所述人脸识别模型基于所述对抗人脸图像得到的识别结果与所述目标人脸的标签不一致时，确定成功实施无目标攻击。例如可以针对公安公共监测领域的识别犯罪分子的场景中进行人脸识别模型的测试，在基于一个罪犯的原始人脸图像生成无目标攻击的对抗人脸图像之后，将所述罪犯的对抗人脸图像（对应物理世界可能是罪犯伪装后的人脸）输入人脸识别模型进行测试，观察人脸识别是否能够基于对抗人脸图像得出罪犯的真实身份。

在得到所述目标对抗扰动之后，可以将所述目标对抗扰动实体化，例如通过3D打印的方式，然后采用实体化的目标对抗扰动叠加在真实用户的目标人脸上（例如将所述目标对抗扰动制作为眼镜、由用户佩戴），对物理世界的人脸识别模型进行攻击测试，衡量所述识别模型的安全性，确定所述人脸识别模型的脆弱点，以便优化所述人脸识别模型。

例如，可以将本申请实施例中生成的对抗人脸图像用于衡量人脸识别系统的人脸识别模型的安全性。具体来说，可以采用本申请实施例的方法生成目标对抗扰动，所述目标对抗扰动可以是以无目标攻击的攻击方式生成的，即能够使得人脸识别模型识别出对抗人脸图像不为目标人物；然后可以将叠加所述目标对抗扰动的人脸置于人脸识别的测试场地，例如人脸识别门禁前，测试人脸识别门禁是否能够正确识别对抗人脸图像，从而不打开门禁，防止恶意攻击者离开。

需要说明的是，虽然本申请实施例的以目标对抗扰动为输出结果，但是在一些其他可能的设计中，还可以直接生成对抗人脸图像，以方便直接在数字世界对人脸识别模型进行测试。

可以理解的是，即使生成的是对抗人脸图像，也可以得到目标对抗扰动。例如，以衡量人脸识别系统的人脸识别模型的安全性为例，在采用本申请实施例的方法得到对抗人脸图像之后，可以将所述对抗人脸图像与原始人脸图像进行对比，得出二者之间的差异，即为所述对抗扰动，然后将所述对抗扰动实体化后，附着于目标人物脸部，以对人脸识别系统的人脸识别模型的安全性进行测试。由于实体化对抗扰动的体积显著小于实体化对抗人脸图像，由此可以节省实体化时的材料，且实体化的工作量更少，节省时间。

可以理解的是，本申请实施例还可以应用于隐私保护场景，例如在需要保护人脸隐私的网络环境中，有些用户可能需要上传一些自拍或他拍的人脸图片，那么可以采用本申请实施例的方法在上传的人脸图片上增加目标对抗扰动，使得最终上传的对抗人脸图像与原始人脸图像看起来更加相似，却不会被识别出图像中人物的真实身份。

本申请实施例的人脸图像处理方法，通过获取目标对抗主成分（基于第一原始人脸图像叠加候选对抗扰动后获取）与目标主成分（基于目标平均脸图像获取、且目标平均脸图像与任一第一原始人脸图像的相似度均符合第一预设条件）之间的第二相似度是否符合第二预设条件，作为迭代更新候选对抗扰动的循环是否终止的条件。相当于采用了目标平均脸主成分约束，替代了在现有技术中使得对抗人脸图像与目标人脸图像的识别特征的距离（例如欧式距离）扩大或缩小的优化目标，一方面相当于在现有技术的无目标攻击的目标函数优化求解空间中划定了一个优化方向和求解范围，显著缩小了求解空间，可以更加快速、高效地得到用于生成对抗人脸图像的目标对抗扰动；另一方面，由于目标平均脸图像是基于从多张真实人脸图像获取的原始平均脸更新得到，且目标平均脸主成分是基于目标平均脸图像的人脸特征获取的主要内容，其相对于现有技术的人脸图像特征，表示的人脸关键内容更具有代表性，包含的噪声更少，因此，若对抗人脸图像的主成分与目标平均脸图像的主成分较为一致，则对抗人脸图像更加容易在更多的识别模型上被获取相同的人脸特征，具有相同的识别表现，可以在更多的识别模型上发挥稳定的攻击效果。另外，相比于人脸特征，人脸主成分的数据维度更低，在进行相似度计算时计算复杂度和计算成本更小。

在介绍了本申请实施例的方法之后，接下来，参考图8对本申请实施例的图像处理装置进行介绍，该装置同样可以适用于图1所示的服务器01，所述装置60包括：

输入输出模块601，被配置为获取目标平均脸图像；

处理模块602，被配置为基于目标平均脸图像获取目标主成分，其中，所述目标平均脸图像基于原始平均脸图像更新得到，所述原始平均脸图像基于第一原始人脸图像集合获取；所述目标主成分与所述第一原始人脸图像集合中任一图像的第一主成分之间的第一相似度均符合第一预设条件；

所述处理模块602，还被配置为获取候选对抗扰动以及目标对抗主成分，其中，所述目标对抗主成分基于候选对抗人脸图像获取，所述候选对抗人脸图像基于所述候选对抗扰动和第二原始人脸图像集合得到，所述候选对抗扰动基于历史候选对抗扰动更新得到；

所述处理模块602，还被配置为获取所述目标对抗主成分与所述目标主成分的第二相似度；以及

在一些实施方式中，所述处理模块601，还被配置为获取候选平均脸图像以及候选主成分，其中，所述候选平均脸图像基于历史候选平均脸图像更新得到，所述历史候选平均脸图像包括所述原始平均脸图像，所述候选主成分基于所述候选平均脸图像获取；以及

从所述第一原始人脸图像集合中获取一个第一原始人脸图像的第一主成分；以及获取所述候选主成分与所述第一主成分的第一相似度；以及

若所述第一相似度不符合第一预设条件，则更新所述候选平均脸图像以及所述候选主成分，直至候选主成分与第一主成分的第一相似度符合所述第一预设条件，并将第一相似度符合所述第一预设条件时的候选平均脸图像作为所述目标平均脸图像。

在一些实施方式中，所述对抗人脸图像的攻击目的为对目标模型进行有目标攻击或无目标攻击；

在所述攻击目的为对目标模型进行有目标攻击时，所述第一原始人脸图像集合包括被攻击者的多个真实人脸图像，所述第一预设条件包括所述第一相似度大于第一预设阈值；

在所述攻击目的为对目标模型进行无目标攻击时，所述第一原始人脸图像集合包括不同人物的多个真实人脸图像，所述第一预设条件包括所述第一相似度小于第二预设阈值。

在一些实施方式中，在所述攻击目的为对目标模型进行有目标攻击时，所述第二原始人脸图像集合包括攻击者的多个真实人脸图像，所述第二预设条件包括第二相似度大于第三预设阈值；

在所述攻击目的为对目标模型进行无目标攻击时，所述第二原始人脸图像集合包括不同人物的多个真实人脸图像，所述第二预设条件包括第二相似度大于第四预设阈值。

在一些实施方式中，各个主成分均基于各自关联的人脸特征获取，所述人脸特征基于所述主成分关联的人脸图像获取。

在一些实施方式中，所述处理模块601，还被配置为更新所述候选平均脸图像时，使得所述候选平均脸图像的更新变化量受到第三预设条件约束，所述第三预设条件包括所述更新变化量在无穷范数的数值符合第一预设范围；以及

更新所述候选对抗扰动时，使得所述候选对抗扰动的更新变化量受到第四预设条件约束，所述第四预设条件包括所述更新变化量在无穷范数的数值符合第二预设范围；

其中，所述第一预设范围包括所述第二预设范围。

在一些实施方式中，所述处理模块601，还被配置为在更新所述候选对抗扰动时，使得所述候选对抗扰动被约束在预设人脸区域，所述预设人脸区域不包括以下人脸区域：眉毛区域、眼睛区域和嘴巴区域；

所述目标对抗扰动叠加于原始人脸图像得到的对抗人脸图像与所述原始人脸图像的表情相似度大于第五预设阈值。

本申请实施例的图像处理装置，通过获取目标对抗主成分（基于第一原始人脸图像叠加候选对抗扰动后获取）与目标主成分（基于目标平均脸图像获取、且目标平均脸图像与任一第一原始人脸图像的相似度均符合第一预设条件）之间的第二相似度是否符合第二预设条件，作为迭代更新候选对抗扰动的循环是否终止的条件。相当于采用了目标平均脸主成分约束，替代了在现有技术中使得对抗人脸图像与目标人脸图像的识别特征的距离（例如欧式距离）扩大或缩小的优化目标，一方面相当于在现有技术的无目标攻击的目标函数优化求解空间中划定了一个优化方向和求解范围，显著缩小了求解空间，可以更加快速、高效地得到用于生成对抗人脸图像的目标对抗扰动；另一方面，由于目标平均脸图像是基于从多张真实人脸图像获取的原始平均脸更新得到，且目标平均脸主成分是基于目标平均脸图像的人脸特征获取的主要内容，其相对于现有技术的人脸图像特征，表示的人脸关键内容更具有代表性，包含的噪声更少，因此，若对抗人脸图像的主成分与目标平均脸图像的主成分较为一致，则对抗人脸图像更加容易在更多的识别模型上被获取相同的人脸特征，具有相同的识别表现，可以在更多的识别模型上发挥稳定的攻击效果。另外，相比于人脸特征，人脸主成分的数据维度更低，在进行相似度计算时计算复杂度和计算成本更小。

上面从模块化功能实体的角度对本申请实施例中的图像处理装置60进行了描述，下面从硬件处理的角度分别对本申请实施例中的执行人脸图像处理方法的服务器、终端设备进行描述。

需要说明的是，在本申请图像处理装置实施例的图8所示的输入输出模块601对应的实体设备可以为输入/输出单元、收发器、射频电路、通信模块和输入/输出（I/O）接口等，处理模块602对应的实体设备可以为处理器。图8所示的图像处理装置60可以具有如图9所示的结构，当图8所示的图像处理装置60具有如图9所示的结构时，图9中的处理器和收发器能够实现前述对应该装置的装置实施例提供的处理模块602和输入输出模块601相同或相似的功能，图9中的存储器存储处理器执行上述人脸图像处理方法时需要调用的计算机程序。

本申请实施例还提供了一种终端设备，如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：

图10示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图10，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图10对手机的各个构成部件进行具体的介绍：

RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General PacketRadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；可选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

手机还包括给各个部件供电的电源1090(比如电池)，可选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该手机所包括的处理器1080还具有控制执行以上由识别装置执行的基于输入的人脸图像获取人脸特征的方法流程。

本申请实施例还提供了一种服务器，请参阅图11，图11是本申请实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（英文全称：central processing units，英文简称：CPU）1122（例如，一个或一个以上处理器）和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130（例如一个或一个以上海量存储设备）。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块（图中未示出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。

服务器1100还可以包括一个或一个以上电源1120，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows Server，Mac OS X，Unix, Linux，FreeBSD等等。

上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器1100的结构。例如，例如上述实施例中由图11所示的图像处理装置60所执行的步骤可以基于该图11所示的服务器结构。例如，所述中央处理器1122通过调用存储器1132中的指令，执行以下操作：

通过输入输出接口1158获取目标平均脸图像；

获取所述目标对抗主成分与所述目标主成分的第二相似度；

还可以通过输入输出接口1158将所述目标对抗扰动输出，以便将其实体化，叠加在真实的目标人脸上，在物理世界对目标人脸识别模型进行攻击，衡量目标人脸识别模型的安全性。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘Solid State Disk(SSD)）等。

以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。

Claims

1.一种人脸图像处理方法，所述方法包括：

获取所述目标对抗主成分与所述目标主成分的第二相似度；

2.如权利要求1所述的方法，其中，所述目标平均脸图像通过以下方式获取包括：

获取候选平均脸图像以及候选主成分，其中，所述候选平均脸图像基于历史候选平均脸图像更新得到，所述历史候选平均脸图像包括所述原始平均脸图像，所述候选主成分基于所述候选平均脸图像获取；

从所述第一原始人脸图像集合中获取一个第一原始人脸图像的第一主成分；

获取所述候选主成分与所述第一主成分的第一相似度；

3.如权利要求1或2所述的方法，其中，所述对抗人脸图像的攻击目的为对目标模型进行有目标攻击或无目标攻击；

4.如权利要求3所述的方法，其中，在所述攻击目的为对目标模型进行有目标攻击时，所述第二原始人脸图像集合包括攻击者的多个真实人脸图像，所述第二预设条件包括第二相似度大于第三预设阈值；

5.如权利要求1或2所述的方法，其中，各个主成分均基于各自关联的人脸特征获取，所述人脸特征基于所述主成分关联的人脸图像获取。

6.如权利要求4所述的方法，其中，在更新所述候选平均脸图像时，所述候选平均脸图像的更新变化量受到第三预设条件约束，所述第三预设条件包括所述更新变化量在无穷范数的数值符合第一预设范围；

在更新所述候选对抗扰动时，所述候选对抗扰动的更新变化量受到第四预设条件约束，所述第四预设条件包括所述更新变化量在无穷范数的数值符合第二预设范围；

其中，所述第一预设范围包括所述第二预设范围。

7.如权利要求1或2所述的方法，其中，在更新所述候选对抗扰动时，所述候选对抗扰动被约束在预设人脸区域，所述预设人脸区域不包括以下人脸区域：眉毛区域、眼睛区域和嘴巴区域；

8.一种图像处理装置，包括：

输入输出模块，被配置为获取目标平均脸图像；

9.一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。