CN113343951A - 人脸识别对抗样本生成方法及相关设备 - Google Patents

人脸识别对抗样本生成方法及相关设备 Download PDF

Info

Publication number
CN113343951A
CN113343951A CN202110894201.0A CN202110894201A CN113343951A CN 113343951 A CN113343951 A CN 113343951A CN 202110894201 A CN202110894201 A CN 202110894201A CN 113343951 A CN113343951 A CN 113343951A
Authority
CN
China
Prior art keywords
face image
image
face
vector
confrontation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110894201.0A
Other languages
English (en)
Inventor
张华�
郭璐
涂腾飞
王稼慧
王华伟
金正平
秦素娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110894201.0A priority Critical patent/CN113343951A/zh
Publication of CN113343951A publication Critical patent/CN113343951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本公开提供一种人脸识别对抗样本生成方法和对应的人脸识别方法以及相关设备,基于人脸图像的预设区域的关键特征,设计系统化对抗样本生成方法,使用空白图像替代人脸图像上的预设区域,并且将所生成的预设区域对抗图像应用于图形变换后的人脸图像上,由此所获得的对抗图像,能够在实际的网络攻击应用中为网络安全测试提供准确的数据依据,提高了网络安全测试的工作效率,且整个方法实际应用便捷,实现成本低,并能够快速实施,准确获得对抗图像。

Description

人脸识别对抗样本生成方法及相关设备
技术领域
本公开涉及人脸识别技术领域,尤其涉及一种人脸识别对抗样本生成方法及相关设备。
背景技术
近年来人们越来越关注深度模型的安全问题,目前也有很多对电子世界人脸识别系统的攻击,诸如通过化妆和改变发型逃避Eigenfaces等系统的检测、利用照相机对近红外光敏感特点设计的发光眼镜来逃避人脸识别系统的检测。现有技术诸如提出了对抗样本的概念,对抗样本攻击主要是指在图片上添加一些扰动,使得神经网络的输出结果出错。输出的原始类的置信度大大降低,其他任意类别的置信度大大增高的攻击为无目标攻击,也称逃逸攻击,输出特定类别的置信度最高的攻击为有目标攻击,也称模仿攻击。因此需要一种能够准确生成针对人脸识别系统的高效率对抗样本的方案。
发明内容
有鉴于此,本公开的目的在于提出一种人脸识别对抗样本生成方法和对应的人脸识别方法以及相关设备。
基于上述目的,本公开提供了一种人脸识别对抗样本生成方法,包括:
获取第一人脸图像和所述第一人脸图像的预设区域的弧度信息;
获取与所述预设区域同样大小的空白图像,根据所述弧度信息处理所述空白图像,得到曲面空白图像;
将所述曲面空白图像映射到所述第一人脸图像的预设区域,得到第二人脸图像;
对目标人脸图像进行图形变换,得到第三人脸图像;
获取所述第二人脸图像和所述第三人脸图像的矢量向量;
根据所述第二人脸图像的矢量向量和第三人脸图像的矢量向量计算所述第二人脸图像和所述第三人脸图像的对抗损失;
响应于确定所述对抗损失小于预设的阈值,所述曲面空白图像作为所述第三人脸图像的预设区域的对抗图像。
基于同一发明构思,本公开还提供了一种人脸识别对抗样本生成装置,包括:
采集模块,被配置为获取第一人脸图像和所述第一人脸图像的预设区域的弧度信息;
预处理模块,被配置为获取与所述预设区域同样大小的空白图像,根据所述弧度信息处理所述空白图像,得到曲面空白图像;
映射模块,被配置为将所述曲面空白图像映射到所述第一人脸图像的预设区域,得到第二人脸图像;
变换模块,被配置为对目标人脸图像进行图形变换,得到第三人脸图像;
矢量模块,被配置为获取所述第二人脸图像和所述第三人脸图像的矢量向量;
计算模块,被配置为根据所述第二人脸图像的矢量向量和第三人脸图像的矢量向量计算所述第二人脸图像和所述第三人脸图像的对抗损失;
生成模块,被配置为响应于确定所述对抗损失小于预设的阈值,所述曲面空白图像作为所述第三人脸图像的预设区域的对抗图像。
基于同一发明构思,本公开还提供了一种人脸识别方法,包括:
根据如上任意一项所述的方法生成人脸识别对抗样本;
根据所述人脸识别对抗样本对人脸识别模型进行对抗训练,得到训练后的人脸识别模型;
根据所述训练后的人脸识别模型进行人脸识别。
基于同一发明构思,本说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任意一项所述的方法。
从上面所述可以看出,本公开提供的人脸识别对抗样本生成方法和对应的人脸识别方法以及相关设备,基于人脸图像的预设区域的关键特征,设计系统化对抗样本生成方法,在人脸图像上贴纸,保证了在弯曲表面贴贴纸的对抗样本生成效果,并且将所生成的预设区域对抗图像应用于不同的人脸图像上,由此所获得的对抗图像,能够在实际的网络攻击应用中,表现出优秀、稳定的攻击效果,为网络安全测试提供了准确的数据依据,提高了网络安全测试的工作效率,且整个方法实际应用便捷,实现成本低,并能够快速实施,准确获得对抗图像,不仅能实现对人脸验证系统的逃逸攻击,而且能够实现实际应用当中的模仿攻击。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例的人脸识别对抗样本生成方法流程图;
图2为本公开实施例的人脸识别对抗样本生成方法示例图;
图3为本公开实施例的获取矢量向量流程图;
图4为本公开实施例的人脸识别对抗样本生成装置结构示意图;
图5为本公开实施例的电子设备结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
如背景技术部分所述,现有的人脸识别对抗样本生成方案还难以满足高效率的需要。申请人在实现本公开的过程中发现,:近年来人们越来越关注深度模型的安全问题,现有技术诸如提出了对抗样本的概念,对抗样本攻击主要是指在图片上添加一些扰动,使得神经网络的输出结果出错。输出的原始类的置信度大大降低,其他任意类别的置信度大大增高的攻击为无目标攻击,也称逃逸攻击,输出特定类别的置信度最高的攻击为有目标攻击,也称模仿攻击。现有技术通过3D打印的面具或是网上下载的图片去攻击,但这种方法极易被反欺诈手段阻止。现有技术中,还提出了一种利用梯度下降生成眼镜框贴纸攻击特征脸的方法,在大多数情况下攻击成功率可以达到0.75,并且为了通过眼镜架贴纸来实现通用攻击,现有技术提出了一种基于GAN的AGN(敌对生成网),它生成一个类似于普通眼镜的眼镜框架贴纸来攻击VGG模型,这种攻击方法的攻击成功率在0.5的概率下大于0.67,此外现有技术还设计了一种将贴纸贴在帽子上以躲避Arcface模型的方法,该方法首次揭示了基于深度学习的Arcface模型的缺陷,但他们无法实现模仿攻击。在现有的技术中,可以在平面上贴贴纸的情况中取得很好的攻击效果,但无法保证在弯曲的表面贴贴纸的情况下的攻击效果,比如在现实人脸上贴贴纸。在实际环境中,人脸的弯曲表面会对攻击效果产生一定的影响。
有鉴于此,本公开一个或多个实施例提供了一种人脸识别对抗样本生成方案,具体的,首先获取待处理的人脸图像和其预设区域的弧度信息,然后使用与预设区域的弧度信息相同的空白图像替代预设区域;进一步的对待处理的人脸图像进行图形变换,根据图形变换后的人脸图像和替代预设区域后的人脸图像的矢量向量计算出对抗损失;最后将对抗损失满足预设条件的替代预设区域后的人脸图像作为对抗图像。
可见,本公开一个或多个实施例的人脸识别对抗样本生成方案,基于人脸图像的预设区域的关键特征,设计系统化对抗样本生成方法,使用空白图像替代人脸图像上的预设区域,并且将所生成的预设区域对抗图像应用于图形变换后的人脸图像上,由此所获得的对抗图像,能够在实际的网络攻击应用中为网络安全测试提供准确的数据依据,提高了网络安全测试的工作效率,且整个方法实际应用便捷,实现成本低,并能够快速实施,准确获得对抗图像。
以下,通过具体的实施例来详细说明本公开一个或多个实施例的技术方案。
参考图1,本说明书一个实施例的人脸识别对抗样本生成方法,包括以下步骤:
步骤S101、获取第一人脸图像和所述第一人脸图像的预设区域的弧度信息;
本步骤中,以人脸的人眼正视图像方向获得人脸所对应的第一人脸图像,同时,预设区域的弧度信息是基于正视人脸的方向,与人脸预设区域对应水平方向的弧度信息获得的,其反应了预设区域的凹凸程度。
在本实施例中,以预设区域为佩戴口罩的区域为例。针对任意一个佩戴口罩的待处理人脸,以待处理人脸的人眼正视图像方向获得待处理人脸所对应的待处理人脸图像,并基于正视待处理人脸的方向,获得待处理人脸所佩戴口罩区域对应水平方向的弧度信息,作为待处理人脸所对应的口罩弧度信息。对于待处理人脸所佩戴口罩区域对应水平方向弧度信息的获得过程,是基于正视待处理人脸的方向去实现获得的,即在应用中,考虑抛物线变化时不使用抛物线变换后的俯仰角变换,保证了后续针对空白图像弯曲应用的效果。
步骤S102、获取与所述预设区域同样大小的空白图像,根据所述弧度信息处理所述空白图像,得到曲面空白图像;
在本实施例中,选择与待处理人脸图像中口罩区域尺寸比例相同的空白平面图像,按待处理人脸所对应的口罩弧度信息,对空白平面图像进行弯曲,获得曲面空白图像,获得的曲面空白图像和待处理人脸图像中口罩区域的弧度信息相同。
步骤S103、将所述曲面空白图像映射到所述第一人脸图像的预设区域,得到第二人脸图像;
在本实施例中,将曲面空白图像映射到待处理人脸图像中的口罩区域,获得处理过的口罩人脸图像,即第二人脸图像。
步骤S104、对目标人脸图像进行图形变换,得到第三人脸图像;
在本实施例中,目标人脸图像指未佩戴口罩的待处理人脸图像,图形变换可以是旋转,也可以是翻转,还可以是其他类型的图形变换,旋转是图像整体旋转一个预设的角度,翻转为镜像后的图像;每一种图形变换都对应了一种不同姿态的第三人脸图像。在一个步骤中,可以对目标人脸图像进行多次图形变换,生成对应的多个第三人脸图像,然后对多个第三人脸图像中的每一个都进行接下来的步骤。
步骤S105、获取所述第二人脸图像和所述第三人脸图像的矢量向量;
本步骤中,矢量向量是通过Arcface模型的嵌入层获得的。
步骤S106、根据所述第二人脸图像的矢量向量和第三人脸图像的矢量向量计算所述第二人脸图像和所述第三人脸图像的对抗损失;
本步骤中,对抗损失通过以下公式获取:
Figure 352455DEST_PATH_IMAGE001
其中, 1≤n≤N,N表示第三人脸图像的数量;ea表示第二人脸图像的矢量向量;etn表示第n幅第三人脸图像的矢量向量; Ladv表示对抗损失;f(·)表示相似度函数,f(ea,etn)表示矢量向量ea与矢量向量etn之间的相似度。
步骤S107、响应于确定所述对抗损失小于预设的阈值,所述曲面空白图像作为所述第三人脸图像的预设区域的对抗图像。
本实施例中,预设区域即为口罩区域,当对抗损失小于预设的阈值时,将口罩区域对应的曲面空白图像作为第三人脸图像的口罩区域的对抗图像。
可见,本实施例中,基于人脸图像的预设区域的关键特征,设计系统化对抗样本生成方法,在人脸图像上贴纸,同时考虑到了预设区域的弧度变化,保证了在弯曲表面贴贴纸的对抗样本生成效果,并且将所生成的预设区域对抗图像应用于不同图形变换的人脸图像上,由此所获得的对抗图像,能够在实际的网络攻击应用中,表现出优秀、稳定的攻击效果,为网络安全测试提供了准确的数据依据,提高了网络安全测试的工作效率,且整个方法实际应用便捷,实现成本低,并能够快速实施,准确获得对抗图像。
作为一个可选的实施例,对于前述实施例中的方法,其还可以包括以下步骤:
响应于确定所述对抗损失大于或等于预设的阈值,沿着对抗损失减少的梯度方向更新所述第二人脸图像的预设区域,并重新计算所述第二人脸图像和所述第三人脸图像的对抗损失。
在本步骤中,使用PGD攻击方法,沿着对抗损失减少的梯度方向,按照一定大小对像素点进行更新,更新一次后,重新计算对抗损失减少的梯度方向,再按照一定大小对像素点更新;重复这个步骤,直到对抗损失达到预设的阈值。
作为一个具体的示例,参考图2,生成口罩区域的对抗样本的过程可以描述如下:首先与待处理人脸图像的口罩区域同样大小的空白平面图像根据待处理人脸图像的口罩区域的弧度信息进行映射,之后将映射完具有待处理人脸图像的口罩区域弧度信息的空白曲面图像替换掉待处理人脸图像的口罩区域完成图像叠加;进一步对目标人脸图像进行图形变换,提取图形变换完的目标人脸图像和图像叠加之后的待处理人脸图像的矢量向量,根据其矢量向量进行对抗损失的计算,对于对抗损失小于预设的阈值的直接获得口罩区域的对抗图像,对于对抗损失大于等于预设的阈值的进行PGD攻击方法更新后再次计算对抗损失直到满足预设的阈值条件,生成口罩区域的对抗图像。
作为一个可选的实施例,参考图3,对于前述实施例中的步骤S105,其还可以包括以下步骤:
S201、调整所述第二人脸图像和所述第三人脸图像的尺寸相同;
本步骤中,所述第二人脸图像和所述第三人脸图像的尺寸通常调整为112*112像素。
S202、将调整过的第二人脸图像和所述第三人脸图像输入到Arcface模型;
S203、所述Arcface模型输出所述第二人脸图像和所述第三人脸图像对应的矢量向量。
本步骤中,输出的矢量向量可以是512维的。
作为一个可选的实施例,对于前述实施例中的方法,在获得预设区域的对抗图像后,在实际应用中,其还可以包括以下步骤:
S301、获取至少一个与第三人脸图像尺寸相同的第四人脸图像;
本步骤中,获取的第四人脸图像同样以待处理人脸的人眼正视图像方向获得,尺寸大小要与目标人脸图像一致。
S302、将所述第三人脸图像的预设区域的对抗图像映射到所述第四人脸图像的对应区域,得到所述第三人脸图像对应的对抗人脸图像。
在本实施例中,得到了整个人脸区域的对抗图像。
将本公开的人脸识别对抗样本生成方法应用于实际当中,可以将所生成的预设区域的对抗图像应用于不同年龄、性别、肤色的人脸图像上,由此所获得的对抗样本,在针对电子世界人脸识别系统的攻击成功率为0.65,余弦相似度在0.5-0.7之间,并且通过实验可知,口罩区域对抗图像尺寸越大,越集中,攻击效果越好。集中指的是对抗图像在口鼻处攻击效果最好,如果偏离到左侧或者右侧,效果略差。
在一些实施例中,相似度函数为正弦函数或余弦函数。
在一些实施例中,Arcface模型为LResNet100E IR模型。
需要说明的是,本公开实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种人脸识别对抗样本生成装置。
参考图4,所述人脸识别对抗样本生成装置,包括:
采集模块,被配置为获取第一人脸图像和所述第一人脸图像的预设区域的弧度信息;
预处理模块,被配置为获取与所述预设区域同样大小的空白图像,根据所述弧度信息处理所述空白图像,得到曲面空白图像;
映射模块,被配置为将所述曲面空白图像映射到所述第一人脸图像的预设区域,得到第二人脸图像;
变换模块,被配置为对目标人脸图像进行图形变换,得到第三人脸图像;
矢量模块,被配置为获取所述第二人脸图像和所述第三人脸图像的矢量向量;
计算模块,被配置为根据所述第二人脸图像的矢量向量和第三人脸图像的矢量向量计算所述第二人脸图像和所述第三人脸图像的对抗损失;
生成模块,被配置为响应于确定所述对抗损失小于预设的阈值,所述曲面空白图像作为所述第三人脸图像的预设区域的对抗图像。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的人脸识别对抗样本生成方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种人脸识别方法,包括:
根据前述任一实施例中相应的人脸识别对抗样本生成方法生成人脸识别对抗样本;
根据所述人脸识别对抗样本对人脸识别模型进行对抗训练,得到训练后的人脸识别模型;
根据所述训练后的人脸识别模型进行人脸识别。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上任意一实施例所述的人脸识别对抗样本生成方法。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图, 该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的人脸识别对抗样本生成方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的人脸识别对抗样本生成方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的人脸识别对抗样本生成方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本公开实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本公开实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本公开实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本公开实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (10)

1.一种人脸识别对抗样本生成方法,包括:
获取第一人脸图像和所述第一人脸图像的预设区域的弧度信息;
获取与所述预设区域同样大小的空白图像,根据所述弧度信息处理所述空白图像,得到曲面空白图像;
将所述曲面空白图像映射到所述第一人脸图像的预设区域,得到第二人脸图像;
对目标人脸图像进行图形变换,得到第三人脸图像;
获取所述第二人脸图像和所述第三人脸图像的矢量向量;
根据所述第二人脸图像的矢量向量和第三人脸图像的矢量向量计算所述第二人脸图像和所述第三人脸图像的对抗损失;
响应于确定所述对抗损失小于预设的阈值,所述曲面空白图像作为所述第三人脸图像的预设区域的对抗图像。
2.根据权利要求1所述的方法,其中,所述方法还包括:
响应于确定所述对抗损失大于或等于预设的阈值,沿着对抗损失减少的梯度方向更新所述第二人脸图像的预设区域,并重新计算所述第二人脸图像和所述第三人脸图像的对抗损失。
3.根据权利要求1所述的方法,其中,所述弧度信息从所述第一人脸图像的正视方向获得。
4.根据权利要求1所述的方法,其中,所述图形变换包括旋转和翻转中的至少一种。
5.根据权利要求1所述的方法,其中,所述获取所述第二人脸图像和所述第三人脸图像的矢量向量,包括:
调整所述第二人脸图像和所述第三人脸图像的尺寸相同;
将调整过的第二人脸图像和所述第三人脸图像输入到Arcface模型;
所述Arcface模型输出所述第二人脸图像和所述第三人脸图像对应的矢量向量。
6.根据权利要求1所述的方法,其中,所述对抗损失通过以下公式获得:
Figure 760244DEST_PATH_IMAGE001
其中, 1≤n≤N,N表示第三人脸图像的数量;ea表示第二人脸图像的矢量向量;etn表示第n幅第三人脸图像的矢量向量;Ladv表示对抗损失;f(·)表示相似度函数,f(ea,etn)表示矢量向量ea与矢量向量etn之间的相似度。
7.根据权利要求1所述的方法,其中,所述方法还包括:
获取至少一个与第三人脸图像尺寸相同的第四人脸图像;
将所述第三人脸图像的预设区域的对抗图像映射到所述第四人脸图像的对应区域,得到所述第三人脸图像对应的对抗图像。
8.一种人脸识别对抗样本生成装置,包括:
采集模块,被配置为获取第一人脸图像和所述第一人脸图像的预设区域的弧度信息;
预处理模块,被配置为获取与所述预设区域同样大小的空白图像,根据所述弧度信息处理所述空白图像,得到曲面空白图像;
映射模块,被配置为将所述曲面空白图像映射到所述第一人脸图像的预设区域,得到第二人脸图像;
变换模块,被配置为对目标人脸图像进行图形变换,得到第三人脸图像;
矢量模块,被配置为获取所述第二人脸图像和所述第三人脸图像的矢量向量;
计算模块,被配置为根据所述第二人脸图像的矢量向量和第三人脸图像的矢量向量计算所述第二人脸图像和所述第三人脸图像的对抗损失;
生成模块,被配置为响应于确定所述对抗损失小于预设的阈值,所述曲面空白图像作为所述第三人脸图像的预设区域的对抗图像。
9.一种人脸识别方法,包括:
根据权利要求1至7任意一项所述的方法生成人脸识别对抗样本;
根据所述人脸识别对抗样本对人脸识别模型进行对抗训练,得到训练后的人脸识别模型;
根据所述训练后的人脸识别模型进行人脸识别。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
CN202110894201.0A 2021-08-05 2021-08-05 人脸识别对抗样本生成方法及相关设备 Pending CN113343951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110894201.0A CN113343951A (zh) 2021-08-05 2021-08-05 人脸识别对抗样本生成方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110894201.0A CN113343951A (zh) 2021-08-05 2021-08-05 人脸识别对抗样本生成方法及相关设备

Publications (1)

Publication Number Publication Date
CN113343951A true CN113343951A (zh) 2021-09-03

Family

ID=77480813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110894201.0A Pending CN113343951A (zh) 2021-08-05 2021-08-05 人脸识别对抗样本生成方法及相关设备

Country Status (1)

Country Link
CN (1) CN113343951A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898450A (zh) * 2022-07-14 2022-08-12 中国科学院自动化研究所 基于生成模型的人脸对抗口罩样本生成方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091080A (zh) * 2019-12-06 2020-05-01 贵州电网有限责任公司 人脸识别方法及系统
CN113095149A (zh) * 2021-03-18 2021-07-09 西北工业大学 一种基于单张人脸图像的全头部纹理网络结构及生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091080A (zh) * 2019-12-06 2020-05-01 贵州电网有限责任公司 人脸识别方法及系统
CN113095149A (zh) * 2021-03-18 2021-07-09 西北工业大学 一种基于单张人脸图像的全头部纹理网络结构及生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEKSANDER MADRY等: "《arXiv》", 4 September 2019, WWW.ARXIV.ORG *
LU GUO等: "A white-box impersonation attack on the FaceID system in the real world", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898450A (zh) * 2022-07-14 2022-08-12 中国科学院自动化研究所 基于生成模型的人脸对抗口罩样本生成方法和系统

Similar Documents

Publication Publication Date Title
US9684827B2 (en) Eye gaze tracking based upon adaptive homography mapping
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
WO2021169637A1 (zh) 图像识别方法、装置、计算机设备及存储介质
CN107967693B (zh) 视频关键点处理方法、装置、计算设备及计算机存储介质
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
US11455765B2 (en) Method and apparatus for generating virtual avatar
CN113826110B (zh) 利用移动设备检测生物特征身份识别的欺骗的方法、系统和介质
US11663775B2 (en) Generating physically-based material maps
JP2019117577A (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN111524216B (zh) 生成三维人脸数据的方法和装置
CN109754464B (zh) 用于生成信息的方法和装置
CN112766027A (zh) 图像处理方法、装置、设备及存储介质
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN112017212A (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
WO2021042544A1 (zh) 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质
CN110414522A (zh) 一种字符识别方法及装置
CN113343951A (zh) 人脸识别对抗样本生成方法及相关设备
US11436804B2 (en) Augmented reality system
CN111353325A (zh) 关键点检测模型训练方法及装置
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
CN113223128B (zh) 用于生成图像的方法和装置
CN114972587A (zh) 表情驱动方法、装置、电子设备及可读存储介质
CN114299590A (zh) 人脸补全模型的训练方法、人脸补全方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210903