CN115131465A - 一种基于身份关系保持的人脸匿名图像生成及识别方法 - Google Patents

一种基于身份关系保持的人脸匿名图像生成及识别方法 Download PDF

Info

Publication number
CN115131465A
CN115131465A CN202210590795.0A CN202210590795A CN115131465A CN 115131465 A CN115131465 A CN 115131465A CN 202210590795 A CN202210590795 A CN 202210590795A CN 115131465 A CN115131465 A CN 115131465A
Authority
CN
China
Prior art keywords
face
image
anonymous
ciphertext
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210590795.0A
Other languages
English (en)
Inventor
彭春蕾
万爽
刘德成
苗紫民
张鼎文
王楠楠
高新波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210590795.0A priority Critical patent/CN115131465A/zh
Publication of CN115131465A publication Critical patent/CN115131465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • G06V40/53Measures to keep reference information secret, e.g. cancellable biometrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于身份关系保持的人脸匿名图像生成及识别方法,包括:获取原始人脸图像的身份关系密文;利用经训练的视觉面貌编辑器对原始人脸图像进行人脸外貌编辑,获得编辑后的匿名图像;将编辑后的匿名图像输入经训练的视觉增强器以添加图像细节和纹理;利用经训练的密文嵌入器将身份关系密文嵌入到视觉增强后的匿名图像中;将保持身份关系的匿名人脸图像输入经训练的匿名识别器中,获得识别出的身份关系密文;将识别出的身份关系密文与保存的身份关系密文进行对比,选取最接近的为最终的身份关系密文和人脸图像。本发明可以提高匿名面孔的识别率,并且以较高的定性和定量质量完成人脸匿名化任务。

Description

一种基于身份关系保持的人脸匿名图像生成及识别方法
技术领域
本发明属于人脸匿名化技术领域,具体涉及一种基于身份关系保持的人脸匿名图像生成及识别方法。
背景技术
随着大数据技术的广泛应用,我们接触到越来越多的视频监控。为了防止人脸数据泄露引起的严重社会问题,人脸匿名化已成为保护人脸隐私的一种重要方法。人脸匿名化在匿名化的人脸图像生成中同时操纵视觉外观和身份信息,同时尽可能保持与身份无关的视觉信息,例如姿势和面部表情。随着深度学习的广泛应用,人脸识别已成为身份认证必不可少的技术,应用在移动支付、安全监控等场景。在我们暴露于越来越多的摄像头时,许多公司收集了大量的面孔,这导致这些身份的隐私存在许多安全隐患。为了保护脸部隐私,脸部匿名化最近成为一个重要领域。
人脸匿名化技术可以应用于许多场景,以保护面部隐私。例如:(1)可以在新闻采访中保护受访者的隐私,例如新闻案件报道中的人,街头采访的人,禁毒警察以及其他需要保护其身份和隐私的人;(2)在医疗咨询和病例共享中,可以保护患者的人脸隐私;(3)在社交网站上分享图片时,可以保护上传者的隐私;(4)为了保护公共数据集中的人脸隐私,有时需要对包含人脸的数据集进行隐私保护预处理,否则可能无法继续分享它们。DUKE MTMC数据集和MS-Celeb-1M数据集都因泄露数据集中的人脸身份隐私而被终止。著名的ImageNet数据集也模糊了数据集中的人脸,以保护隐私。
现有的人脸图像匿名化方法可以分为两种不同的类型:传统的人脸匿名化方法和基于深度学习的人脸匿名化方法。前者使用图像模糊和马赛克等传统技术使面部图像在视觉上无法识别。后者使用深度网络模型来修改图像中的面部和身份信息,同时保持视觉特征(例如姿势,面部表情)不变以重建匿名面部。
传统的人脸匿名化方法:在处理人脸匿名化问题的早期,对人脸图像进行大量方法操作,例如图像模糊、马赛克和下采样,以隐藏身份信息。例如,Newton等提出了一种K-Same匿名化方法,其核心思想是融合与原脸最相似的K张脸图像,得到匿名化的脸。然而,这种方法的弱点是匿名面孔的视觉质量不够好,匿名人脸图像往往不清楚,并伴有人工伪造痕迹。
基于深度学习的匿名化方法:得益于深度学习技术的显着进步,GAN(GenerativeAdversarial Network,生成对抗网络)模型生成的图像已达到人眼难以分辨真伪的水平。基于深度学习的人脸匿名化方法通常在图像分辨率和真实感方面表现优于传统的人脸匿名化方法,因此成为研究热点。使用深度学习技术的人脸匿名化方法可以分为人脸恢复、人脸替换和基于特征解缠的方法。例如,Li等提出了一种简单有效的图像恢复方法DeepBlur,该方法首先使用预先训练的模型对输入图像进行模糊处理,然后基于模糊的人脸生成逼真的人脸。与现有的图像模糊技术相比,该方法生成的图像的视觉质量达到了更高级的水平。
可逆人脸匿名化方法:在某些情况下,希望对人脸图像进行匿名化以保护人脸隐私,并在需要时恢复匿名的人脸图像。例如,在社交网络上共享图片时,图像所有者希望使用匿名化工具来保护自己的面部图像不被未知的人访问。另一方面,他们希望他们的亲戚能够恢复匿名的图像。Gu等提出了一种基于密码的匿名化方法。给定密码和面部图像以获得匿名的图像,可以利用先前使用的密码和匿名的面部来恢复原始面部图像。Cao等提出一种方法,利用身份和属性特征的解耦操作,保留了匿名人脸图像的面部表情、姿势、光照等属性细节,实现了去身份识别图像与原始图像的身份一致性。
然而,现有的人脸匿名化方法都集中在如何修改原始图像的视觉身份信息上,并没有考虑过匿名后的人脸是否还能继续应用于人脸识别等相关场景。最近出现了几种可逆匿名化方法,这些方法可以从匿名图像中重建原始人脸。尽管重建后的人脸可以用于人脸识别任务,但重建后失去了人脸匿名化的意义,并将隐私问题带回重建后的人脸。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于身份关系保持的人脸匿名图像生成及识别方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种基于身份关系保持的人脸匿名图像生成及识别方法,包括:
S1:获取原始人脸图像的身份关系密文,所述身份关系密文是与人脸的身份信息对应的二进制加密文本;
S2:利用经训练的视觉面貌编辑器对所述原始人脸图像进行人脸外貌编辑,获得编辑后的匿名图像;
S3:将所述编辑后的匿名图像输入经训练的视觉增强器以添加图像细节和纹理,获得视觉增强后的匿名图像;
S4:利用经训练的密文嵌入器将所述身份关系密文嵌入到所述视觉增强后的匿名图像中,获得保持身份关系的匿名人脸图像;
S5:将保持身份关系的匿名人脸图像输入经训练的匿名识别器中,获得识别出的身份关系密文;
S6:将识别出的身份关系密文与保存的身份关系密文进行对比,选取最接近的为最终的身份关系密文和人脸图像。
在本发明的一个实施例中,所述二进制加密文本为随机二进制编码或使用MD5或SHA-256加密算法生成。
在本发明的一个实施例中,所述S2还包括:
将视觉面貌编辑器、伪造判别器和身份提取器一起进行训练以获得训练后的视觉面貌编辑器,其中,所述视觉面貌编辑器输入人脸图像和对应的身份关系密文,得到被操纵的视觉外观图像,随后在所述伪造判别器中输入被操纵的视觉外观图像和原始人脸图像并判断其真实性,训练损失函数为:
Figure BDA0003667259080000041
Figure BDA0003667259080000042
其中,D表示伪造判别器,V表示视觉面貌编辑器,x表示输入的原始人脸图像,D(x)表示伪造判别器的输出,V(x)表示视觉面貌编辑器的输出,
Figure BDA0003667259080000043
表示伪造判别器的损失函数,
Figure BDA0003667259080000044
表示视觉面貌编辑器的损失函数,
Figure BDA0003667259080000045
表示交叉熵损失。
在本发明的一个实施例中,所述S2还包括:
在训练过程中将所述视觉面貌编辑器输出的人脸图像输入身份提取器以将面貌编辑后的人脸图像与原始人脸图像进行比较,以提升视觉面貌编辑器生成的图像的面貌编辑性能,在训练过程中使用
Figure BDA0003667259080000051
Figure BDA0003667259080000052
损失函数指导视觉面貌编辑器:
Figure BDA0003667259080000053
Figure BDA0003667259080000054
其中,V表示视觉面貌编辑器,F表示身份提取器,c1和c1是两个不同的身份关系密文,y表示原始人脸图像的身份关系密文,
Figure BDA0003667259080000055
表示从面貌编辑后图像x′i中提取的身份关系密文,F(x)表示身份提取器的输出,Femb表示提取人脸嵌入特征的函数。
在本发明的一个实施例中,所述S2还包括:
在所述视觉面貌编辑器模型训练完成后,将所述密文嵌入器与所述匿名识别器一起训练,以使所述匿名识别器能够准确提取嵌入在匿名人脸图像中的身份关系密文,训练损失函数为:
Figure BDA0003667259080000056
Figure BDA0003667259080000057
x′=V(x)
其中,R是匿名识别器,E是密文嵌入器,I是视觉增强器,V是视觉面貌编辑器,ck表示身份关系密文的第k位,n为身份关系密文的的长度,
Figure BDA0003667259080000058
表示识别出来的身份关系密文,E(I(x′))表示在视觉面貌编辑后图像中嵌入的身份关系密文。
在本发明的一个实施例中,所述S2还包括:
将所述密文编辑器与所述视觉增强器一起训练,以减小嵌入的身份关系密文对匿名图像视觉质量的影响,训练损失函数为:
Figure BDA0003667259080000061
其中,E是密文嵌入器,I是视觉增强器,
Figure BDA0003667259080000062
表示求两个向量的L2范数。
本发明的另一方面提供了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序用于执行上述实施例中任一项所述的基于身份关系保持的人脸匿名图像生成及识别方法的步骤。
本发明的另一方面提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如上述实施例中任一项所述基于身份关系保持的人脸匿名图像生成及识别方法的步骤。
与现有技术相比,本发明的有益效果在于:
本发明基于身份关系保持的人脸匿名图像生成及识别方法将人脸图像的身份关系编码为二进制密文,并设计了一个生成对抗网络,以在匿名人脸图像中嵌入关系线索来执行人脸匿名化。设计了人脸伪造判别器,以增强匿名人脸图像的真实感,匿名人脸识别由设计良好的身份关系识别网络执行。所提出的匿名识别器为匿名人脸图像的识别和应用提供了新的视角。在Megaface数据集上的实验表明,本发明的方法可以提高匿名面孔的100%识别率,并且以较高的定性和定量质量完成人脸匿名化任务,同时对各种现实世界图像扰动的鲁棒性。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于身份关系保持的人脸匿名图像生成及识别方法的流程图;
图2是本发明实施例提供的一种基于身份关系保持的人脸匿名图像生成及识别方法的处理过程示意图;
图3是本发明实施例提供的一种基于身份关系保持的人脸匿名图像生成过程示意图;
图4是本发明实施例提供的一种密文嵌入器的处理过程示意图;
图5是本发明实施例提供的一种匿名识别器的处理过程示意图;
图6是利用现有方法以及本发明实施例的方法分别生成的匿名图像。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种基于身份关系保持的人脸匿名图像生成及识别方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
实施例一
请参见图1和图2,本实施例基于身份关系保持的人脸匿名图像生成及识别方法包括如下步骤:
S1:获取原始人脸图像的身份关系密文,所述身份关系密文为与人脸的身份信息对应的二进制加密文本。
引入身份关系密文是本实施例的人脸匿名化和识别框架中的核心之一。具体地,人脸图像之间的身份关系被编码为二进制加密文本,并设计了生成对抗网络,以在生成匿名人脸图像的过程中将身份关系密文嵌入到匿名化的人脸图像中。本实施例采用100位二进制编码表示人脸图像之间的身份关系。身份关系密文有两个要求:(1)不同人的人脸图像应具有不同的关系密文;(2)来自同一人的人脸图像应保持其关系密文相同。遵循上述两个原则,可以通过应用随机二进制编码或使用MD5或SHA-256加密算法生成身份关系密文,其中对人脸的隐私信息(例如其身份,姓名,性别等)进行加密。
S2:利用经训练的视觉面貌编辑器对所述原始人脸图像进行人脸外貌编辑,获得编辑后的匿名图像。
具体地,如图3所示,将需要进行匿名化的原始人脸图像输入视觉面貌编辑器,视觉面貌编辑器可以完成人脸外貌的编辑,隐藏原始人脸图像的身份信息得到编辑后的匿名图像。本实施例的视觉面貌编辑器是基于CycleGAN(循环生成对抗网络)修改的,将其中的小步幅卷积层替换为调整大小的卷积层,以减轻图像中的伪影。在其他实施例中,该视觉面貌编辑器还可以使用能够进行面貌编辑的其他合适的网络。
S3:将所述编辑后的匿名图像输入经训练的视觉增强器以添加图像细节和纹理,获得视觉增强后的匿名图像。
具体地,利用视觉增强器可以提高图像的分辨率,添加图像细节和纹理。本实施例的视觉增强器使用GPEN(GAN Prior Embedded Network,GAN先验嵌入式网络)模型,总体上遵循U型模型的设计思路,使用一个映射网络将潜在编码z映射到一个解构的空间w∈W,这个将被输入到每个GAN网络的每个模块中。由于预训练GAN网络嵌入到U型深度神经网络后还需要进行微调,因此需要为生成部分的特征图留出空间,为此还增加了一个额外的noise输入。该GPEN模型能够输入低分辨率的图片,通过多个卷积层和一个全连接将图片映射到潜在编码z,随后由映射到结构的特征向量w,最后送入微调后的预训练GAN模型,生成修复后的高分辨率图片,从而增强图片的细节和纹理。
S4:利用经训练的密文嵌入器将所述身份关系密文嵌入到所述视觉增强后的匿名图像中,获得保持身份关系的匿名人脸图像。
为了将身份关系密文嵌入到匿名后的人脸图像中,密文嵌入器使用视觉增强器处理后高质量的面貌编辑图像和对应的身份关系密文作为输入,得到保持身份关系的匿名人脸图像。
具体地,请参见图4,图4是本发明实施例提供的一种密文嵌入器的处理过程示意图。本实施例的密文嵌入器基于StegaStamp神经网络,整体是一个U型的网络结构,并且在U型网络的上采样阶段会有来自下采样阶段的拼接,以此来保留图像的细节信息。在输入阶段,身份关系密文经过全连接和多个上采样层,调整到和输入图像相同形状的张量,之后再与图像拼接形成六通道的张量输入到U型网络当中。将身份关系密文嵌入到匿名图像中,同时最小化输入图像和匿名图像之间的像素差异。二进制身份关系密文向量首先通过全连接层,随后以一个通道维度和覆盖图像的相同空间维度重塑为张量。随后将该身份关系密文张量和沿通道维度的图像连接为U型体系结构的输入。密文嵌入器的输出,即添加身份关系密文后的匿名图像,具有与输入图像相同的大小。
如图3所示,本实施例的人脸匿名图像生成过程包括图像数据预处理阶段和人脸匿名化阶段。在图像数据预处理阶段,对待处理的人脸图像做匿名化准备,并获得人脸图像对应的身份关系密文。在人脸匿名化阶段,将原始人脸图像xi和对应的身份关系密文ci输入由视觉面貌编辑器、视觉增强器和密文嵌入器组成的模块中,从而生成匿名化人脸图像。
S5:将保持身份关系的匿名人脸图像输入经训练的匿名识别器中,获得识别出的身份关系密文。
本实施例的人脸匿名图像生成及识别方法还能够从含身份关系密文的匿名图像中提取身份关系密文,以实现匿名环境下的人脸识别需求。本实施例中,通过匿名识别器提取身份关系密文,通过对比不同的身份关系密文完成人脸识别。本实施例的匿名识别器由一系列内核大小为3x3且步幅≥1的卷积层、密集层和sigmoid输出激活组成,以产生与二进制身份关系密文长度相同的输出。请参见图5,图5是本发明实施例提供的一种匿名识别器的处理过程示意图。将嵌入身份关系密文的匿名图像输入该匿名识别器中,首先下采样两倍,然后通过卷积层,重复2次后,通道数调整到64。之后再通过两个连续的下采样,最后通过两个全连接层和一个激活层,得到识别后的身份关系密文。
S6:将识别出的身份关系密文与预先保存的身份关系密文进行对比,选取最接近的为最终的身份关系密文和人脸图像。
具体地,在利用上述匿名过程获得嵌入身份关系密文的匿名图像过程中,可以将原始图像与其对应的身份关系密文通过文本进行保存,形成关系密文库,可以在以下识别阶段中使用。
随后在识别阶段,人脸图像已匿名。我们可以应用匿名识别器从匿名图像中提取身份关系密文。随后将提取出来的身份关系密文与关系密文库中的密文进行比较,将具有最接近L1距离的密文排序为识别结果,其对应的图片即为匿名前的图像。
总之,本实施例基于身份关系保持的人脸匿名图像生成方法的处理过程为:获得原始人脸图片的身份关系密文,利用视觉面貌编辑器对原始人脸图像进行初步人脸属性编辑,获得高质量的视觉编辑图像,随后输入视觉增强器,以提升视觉效果,然后输入密文嵌入器,在高质量的视觉编辑图像中嵌入身份关系密文,获得含身份关系密文的匿名图像。
需要说明的是,在实际的图像匿名和识别过程之前,需要对各处理网络模块进行训练。为了获得本实施例的人脸匿名化模型,首先需要将视觉面貌编辑器、伪造判别器和身份提取器一起训练,伪造判别器和身份提取器旨在提高面貌编辑后的人脸图像的真实感和多样性。具体地,视觉面貌编辑器输入训练数据集,所述训练数据集中包括大量人脸图像xi和对应的身份关系密文ci,得到每个人脸图像被编辑后的视觉外观图像x′i,然后伪造判别器输入x′i和原始人脸图像xi并判断它们的真实性。本实施例利用LSGAN损失函数作为该过程的训练损失函数:
Figure BDA0003667259080000121
Figure BDA0003667259080000122
其中,D表示伪造判别器,V表示视觉面貌编辑器,x表示输入的原始人脸图像,D(x)表示伪造判别器的输出,V(x)表示视觉面貌编辑器的输出,
Figure BDA0003667259080000123
表示伪造判别器的损失函数,
Figure BDA0003667259080000124
表示视觉面貌编辑器的损失函数,
Figure BDA0003667259080000125
表示交叉熵损失。
本实施例使用的身份提取器是预先训练的SphereFace网络,该SphereFace网络为多输出网络,输入图像x,输出F(x)和Femb(x),其中,F(x)提取身份关系密文(十进制数),Femb(x)提取高维的人脸特征向量。本实施例使用的伪造判别器是基于ProGAN修改的,使用两个具有相同结构但以输入不同尺度图像的判别器,它们共同协助,判别输入的图像是原始图像还是人工生成图像,在和视觉面貌编辑器对抗训练中,提高视觉面貌编辑器输出照片真实感。
进一步地,为了提升视觉面貌编辑器生成的图像x′i的面貌编辑性能,在训练过程中将所述视觉面貌编辑器输出的人脸图像输入身份提取器以将面貌编辑后的人脸图像与原始人脸图像进行比较,以提升视觉面貌编辑器生成的图像的面貌编辑性能,在训练过程中使用
Figure BDA0003667259080000126
Figure BDA0003667259080000127
损失函数指导视觉面貌编辑器:
Figure BDA0003667259080000128
Figure BDA0003667259080000129
其中,V表示视觉面貌编辑器,F表示身份提取器,c1和c1是两个不同的身份关系密文,y表示原始人脸图像的身份关系密文,
Figure BDA00036672590800001210
表示从面貌编辑后图像x′i中提取的身份关系密文,F(x)表示身份提取器的输出,Femb表示提取人脸嵌入特征的函数。
Figure BDA0003667259080000131
Figure BDA0003667259080000132
的目标都是约束视觉面貌编辑后的图像与原图识别出来的身份不一样。
Figure BDA0003667259080000133
希望识别的人脸高维特征不一样,
Figure BDA0003667259080000134
希望识别出的身份关系密文不一样。
此外,当视觉面貌编辑器操纵输入面部图像的外面信息时,希望可以尽可能多地保留面部图像中的背景信息,因此本实施例还使用
Figure BDA0003667259080000135
损失函数,如下所示:
Figure BDA0003667259080000136
其中,V是视觉面貌编辑器,‖*‖1表示求两个向量之间的L1距离。
在所述视觉面貌编辑器模型训练完成后,将所述密文嵌入器与所述匿名识别器一起训练,以使所述匿名识别器能够准确提取嵌入在匿名人脸图像中的身份关系密文,训练损失函数为:
Figure BDA0003667259080000137
Figure BDA0003667259080000138
x′=V(x)
其中,R是匿名识别器,E是密文嵌入器,I是视觉增强器,V是视觉面貌编辑器,ck表示身份关系密文的第k位,n为身份关系密文的的长度,
Figure BDA0003667259080000139
表示识别出来的身份关系密文,E(I(x′))表示在视觉面貌编辑后图像中嵌入的身份关系密文。
进一步地,为了减少嵌入的身份关系密文对匿名图像的视觉质量的影响,将所述密文编辑器与所述视觉增强器一起训练,在此处应用
Figure BDA00036672590800001310
损失函数,其定义如下:
Figure BDA0003667259080000141
其中,E是密文嵌入器,I是视觉增强器,
Figure BDA0003667259080000142
表示求两个向量的L2范数。
为了评估基于身份关系保持的人脸匿名图像生成及识别方法的性能,本实施例对匿名人脸应用了客观图像质量评估指标和主观用户研究。
以下分别从匿名人脸图像质量和人脸识别两个方面描述本发明实施例的人脸匿名图像生成及识别方法的效果。
请参见图6,图6是利用现有基于深度隐私和基于密码的人脸匿名化方法以及本发明实施例的方法分别生成的匿名图像,其中,第一行显示来自CelebA数据集的原始图像。从视觉比较来看,可以观察到这三种方法都产生人脸匿名化结果,看起来与原始图像非常不同,并全部完成面部隐私的保护。但是如果放大图6,可以发现通过现有基于深度隐私的人脸匿名化方法生成的匿名图像是模糊,质量低的。而基于密码的人匿名化方法的结果与本发明实施例的方法显示效果类似。但是本实施例方法获得的匿名图像中面孔更清晰,具有更好的视觉质量,显着提高了匿名面的质量。
进一步地,对于匿名人脸识别评估,本实施例使用rank-1人脸识别准确性来评估匿名人脸识别的性能。对于Megaface数据集,本实施例遵循挑战2的协议进行评估。对于CelebA数据集,本实施例参照Megaface challenge 2的评估方式,将CelebA数据集中的50个身份作为探测集,并将其余10127个身份作为图库集来评估rank-1人脸识别率。下面给出了将本发明实施例的方法与现有方法进行比较的定量结果。表1示出了根据上述评估协议在CelebA数据集上通过各种人脸匿名化方法生成的匿名图像的rank-1准确性。可以看出,本发明实施例的匿名识别器实现了100%的准确性,远远优于其他方法。此外,为了说明本实施例的方法在大规模匿名人脸识别任务中的能力,进一步在Megaface数据集上进行了实验,并再次达到100%的rank-1精度,这证明了匿名识别器在匿名环境中用于大规模人脸识别任务的有效性。
表1本方法与已有方法在人脸匿名识别准确率对比情况
基于密码的匿名方法 基于深度隐私的方法 本方法
0.2% 1% 100%
综上,本实施例基于身份关系保持的人脸匿名图像生成及识别方法首先介绍了联合人脸匿名化和识别的主题,可以保护人脸图像中的身份信息,而匿名图像仍可以应用于人脸识别任务。
本发明实施例的人脸匿名图像生成及识别方法将人脸图像的身份关系编码为二进制密文,并设计了一个生成对抗网络,以在匿名人脸图像中嵌入关系线索来执行人脸匿名化。设计了人脸伪造判别器,以增强匿名人脸图像的真实感,匿名人脸识别由设计良好的身份关系识别网络执行。所提出的匿名识别器为匿名人脸图像的识别和应用提供了新的视角。在Megaface数据集上的实验表明,本发明的方法可以提高匿名面孔的100%识别率,并且以较高的定性和定量质量完成人脸匿名化任务,同时对各种现实世界图像扰动的鲁棒性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于身份关系保持的人脸匿名图像生成及识别方法,其特征在于,包括:
S1:获取原始人脸图像的身份关系密文,所述身份关系密文是与人脸的身份信息对应的二进制加密文本;
S2:利用经训练的视觉面貌编辑器对所述原始人脸图像进行人脸外貌编辑,获得编辑后的匿名图像;
S3:将所述编辑后的匿名图像输入经训练的视觉增强器以添加图像细节和纹理,获得视觉增强后的匿名图像;
S4:利用经训练的密文嵌入器将所述身份关系密文嵌入到所述视觉增强后的匿名图像中,获得保持身份关系的匿名人脸图像;
S5:将保持身份关系的匿名人脸图像输入经训练的匿名识别器中,获得识别出的身份关系密文;
S6:将识别出的身份关系密文与保存的身份关系密文进行对比,选取最接近的为最终的身份关系密文和人脸图像。
2.根据权利要求1所述的基于身份关系保持的人脸匿名图像生成及识别方法,其特征在于,所述二进制加密文本为随机二进制编码或使用MD5或SHA-256加密算法生成。
3.根据权利要求1所述的基于身份关系保持的人脸匿名图像生成及识别方法,其特征在于,所述S2还包括:
将视觉面貌编辑器、伪造判别器和身份提取器一起进行训练以获得训练后的视觉面貌编辑器,其中,所述视觉面貌编辑器输入人脸图像和对应的身份关系密文,得到被操纵的视觉外观图像,随后在所述伪造判别器中输入被操纵的视觉外观图像和原始人脸图像并判断其真实性,训练损失函数为:
Figure FDA0003667259070000021
Figure FDA0003667259070000022
其中,D表示伪造判别器,V表示视觉面貌编辑器,x表示输入的原始人脸图像,D(x)表示伪造判别器的输出,V(x)表示视觉面貌编辑器的输出,
Figure FDA0003667259070000023
表示伪造判别器的损失函数,
Figure FDA0003667259070000024
表示视觉面貌编辑器的损失函数,
Figure FDA0003667259070000025
表示交叉熵损失。
4.根据权利要求1所述的基于身份关系保持的人脸匿名图像生成及识别方法,其特征在于,所述S2还包括:
在训练过程中将所述视觉面貌编辑器输出的人脸图像输入身份提取器以将面貌编辑后的人脸图像与原始人脸图像进行比较,以提升视觉面貌编辑器生成的图像的面貌编辑性能,在训练过程中使用
Figure FDA0003667259070000026
Figure FDA0003667259070000027
损失函数指导视觉面貌编辑器:
Figure FDA0003667259070000028
Figure FDA0003667259070000029
其中,V表示视觉面貌编辑器,F表示身份提取器,c1和c1是两个不同的身份关系密文,y表示原始人脸图像的身份关系密文,
Figure FDA00036672590700000210
表示从面貌编辑后图像x′i中提取的身份关系密文,F(x)表示身份提取器的输出,Femb表示提取人脸嵌入特征的函数。
5.根据权利要求1所述的基于身份关系保持的人脸匿名图像生成及识别方法,其特征在于,所述S2还包括:
在所述视觉面貌编辑器模型训练完成后,将所述密文嵌入器与所述匿名识别器一起训练,以使所述匿名识别器能够准确提取嵌入在匿名人脸图像中的身份关系密文,训练损失函数为:
Figure FDA0003667259070000031
Figure FDA0003667259070000032
x′=V(x)
其中,R是匿名识别器,E是密文嵌入器,I是视觉增强器,V是视觉面貌编辑器,ck表示身份关系密文的第k位,n为身份关系密文的的长度,
Figure FDA0003667259070000035
表示识别出来的身份关系密文,E(I(x′))表示在视觉面貌编辑后图像中嵌入的身份关系密文。
6.根据权利要求1所述的基于身份关系保持的人脸匿名图像生成及识别方法,其特征在于,所述S2还包括:
将所述密文编辑器与所述视觉增强器一起训练,以减小嵌入的身份关系密文对匿名图像视觉质量的影响,训练损失函数为:
Figure FDA0003667259070000033
其中,E是密文嵌入器,I是视觉增强器,
Figure FDA0003667259070000034
表示求两个向量的L2范数。
7.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序用于执行权利要求1至6中任一项所述的基于身份关系保持的人脸匿名图像生成及识别方法的步骤。
8.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至6任一项所述基于身份关系保持的人脸匿名图像生成及识别方法的步骤。
CN202210590795.0A 2022-05-27 2022-05-27 一种基于身份关系保持的人脸匿名图像生成及识别方法 Pending CN115131465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210590795.0A CN115131465A (zh) 2022-05-27 2022-05-27 一种基于身份关系保持的人脸匿名图像生成及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210590795.0A CN115131465A (zh) 2022-05-27 2022-05-27 一种基于身份关系保持的人脸匿名图像生成及识别方法

Publications (1)

Publication Number Publication Date
CN115131465A true CN115131465A (zh) 2022-09-30

Family

ID=83378174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210590795.0A Pending CN115131465A (zh) 2022-05-27 2022-05-27 一种基于身份关系保持的人脸匿名图像生成及识别方法

Country Status (1)

Country Link
CN (1) CN115131465A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778564A (zh) * 2023-08-24 2023-09-19 武汉大学 一种身份保持的人脸匿名化方法、系统及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778564A (zh) * 2023-08-24 2023-09-19 武汉大学 一种身份保持的人脸匿名化方法、系统及设备
CN116778564B (zh) * 2023-08-24 2023-11-17 武汉大学 一种身份保持的人脸匿名化方法、系统及设备

Similar Documents

Publication Publication Date Title
Meden et al. Privacy–enhancing face biometrics: A comprehensive survey
Redi et al. Digital image forensics: a booklet for beginners
Lathey et al. Image enhancement in encrypted domain over cloud
Yu et al. Privacy protecting visual processing for secure video surveillance
CN110633650A (zh) 基于隐私保护的卷积神经网络人脸识别方法及装置
CN110610144B (zh) 隐私保护的表情识别方法及系统
CN112949535A (zh) 一种基于生成式对抗网络的人脸数据身份去识别方法
Anand et al. Health record security through multiple watermarking on fused medical images
Aparna et al. A blind medical image watermarking for secure E-healthcare application using crypto-watermarking system
Kuang et al. Unnoticeable synthetic face replacement for image privacy protection
Barni et al. Iris deidentification with high visual realism for privacy protection on websites and social networks
Singh et al. Multimodal fusion-based image hiding algorithm for secure healthcare system
Anand et al. A hybrid optimization-based medical data hiding scheme for industrial internet of things security
CN115424314A (zh) 一种可识别的人脸匿名化处理方法及系统
Hao et al. Robustness analysis of face obscuration
CN106454367A (zh) 一种多媒体文件的标识方法及系统
Wen et al. IdentityMask: deep motion flow guided reversible face video de-identification
CN115131465A (zh) 一种基于身份关系保持的人脸匿名图像生成及识别方法
Li et al. Copyright protection for elemental image array by hypercomplex Fourier transform and an adaptive texturized holographic algorithm
Shahreza et al. Comprehensive vulnerability evaluation of face recognition systems to template inversion attacks via 3d face reconstruction
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
Shahreza et al. Face reconstruction from facial templates by learning latent space of a generator network
CN114373200A (zh) 一种基于边缘智能感知体的人脸采集系统及隐私保护方法
Hwang et al. Hiding a picture in two pictures
Meena et al. Image splicing forgery detection techniques: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination