CN115424314A - 一种可识别的人脸匿名化处理方法及系统 - Google Patents

一种可识别的人脸匿名化处理方法及系统 Download PDF

Info

Publication number
CN115424314A
CN115424314A CN202210873245.XA CN202210873245A CN115424314A CN 115424314 A CN115424314 A CN 115424314A CN 202210873245 A CN202210873245 A CN 202210873245A CN 115424314 A CN115424314 A CN 115424314A
Authority
CN
China
Prior art keywords
image
face
anonymization
network
anonymous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210873245.XA
Other languages
English (en)
Inventor
袁霖
刘林国
李红波
高新波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210873245.XA priority Critical patent/CN115424314A/zh
Publication of CN115424314A publication Critical patent/CN115424314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术，特别涉及一种可识别的人脸匿名化处理方法及系统，所述方法包括将原图像进行匿名化处理，并将原图像与匿名化预处理后的图像进行融合得到匿名图像，将匿名图像作为进行人脸识别的图像；通过深度图像融合网络对原图像和匿名化预处理后的图像进行融合，深度图像融合网络包括两个孪生U‑Net深度神经网络，一个网络用于处理原始图像，另一个用于处理匿名化预处理后的图像，两个U‑Net在解码器进行图像融合，得到融合图像；本发明保证处理后的图像在视觉上与匿名化处理的图像相似，同时保证处理后的图像可用于机器识别，既保护原始图像的隐私，又保证了图像的可用性，可用于多种需要人脸隐私保护的场景中。

Description

一种可识别的人脸匿名化处理方法及系统
技术领域
本发明属于图像处理技术，特别涉及一种可识别的人脸匿名化处理方法及 系统。
背景技术
在人工智能赋能深度广度不断加强的科技浪潮下，人脸识别和视频监控等 技术日益成熟，商业化进程不断加速，在各个领域纷纷落地。在技术层面上， 我们仍然需一种有效手段，能够在保证人脸识别系统正常运转的同时，保护图 像中人脸面部的视觉信隐私。
在研究领域，现有的人脸图像隐私保护方法可归纳为三大类：
1)基于传统图像处理的方法。主要包括图像混淆处理、视觉掩蔽方法、隐私 信息隐藏、基于概率生成模的手段，以及基于不同图像域的变换方法，如空域 变换、频域变换、编码域变换等。该类方法通常缺乏对隐私保护图像可用性的 考量，如被保护的图像通常无法直接用于实时机器分析，或存在明显处理痕迹、 形变扭曲或视觉瑕疵，容易引起攻击者的额外关注。
2)基于对抗扰动或对抗样本的方法。该类方法通过向输入图像故意添加细微 且不易被人觉察的干扰(对抗扰动)，导致人脸识别模型无法准确识别图像属性 (如身份、类别等)，保证未经授权的第三方无法轻易利用机器识别模型侵犯人 们的隐私。近日，清华大学朱军团队提出一种有目标的身份保护迭代方法TIP-IM， 用来生成可以覆盖在人脸图像上的对抗性身份掩码，在不牺牲视觉质量的前提 下隐藏原始身份，对各种先进的人脸识别算法与商用模型均可实现95％以上的 隐私保护率。基于对抗样本的隐私保护方法能有效限制机器对图像隐私属性的 准确识别，而不影响图像可视信息对人眼的主观感知，因此该类方法更加适用 于社交媒体等场景中的图像视频分享或发布，而不适合对实时智能分析有一定 要求且需预防人眼窥视的视频监控等场景。
3)基于匿名化人脸生成或编辑的方法。该类方法基于GAN等生成模型，对 输入人脸图像进行处理或编辑，生成视觉上真实自然但呈现与原始人脸身份不 同的匿名化人脸。例如，慕尼黑工业大学Maximov等提出以人脸关键点、人脸 背景信息以及目标身份索引向量为输入的匿名化生成网络CIAGAN，保证生成的 人脸身份介于原图与某个目标身份之间，并保持原图相同的姿态和背景。
然而，以上诸多方法均未考虑匿名化图像识别可用性的问题。针对可识别 的匿名化方法，仅存少量的研究，如中国科学院操晓春团队提出的一种保留身 份信息的人脸匿名化算法，通过自适应的网络修改人脸的五官属性，使改后的 人脸样貌视觉上与原图不同，但仍可被人脸识别系统以一定概率识别出原始身 份，保留了匿名图像一定程度可用性，然而，该方法在匿名化图像上的识别率 并不高。
发明内容
针对当前主流人脸图像隐私保护技术中识别可用性缺失的问题，本发明提 出一种可识别的人脸匿名化处理方法及系统，所述方法首先将原图像进行匿名 化预处理，并将原图像与匿名化预处理后的图像进行融合得到匿名图像，该匿 名图像机器可以识别且人眼不可识别，因此可将匿名图像作为进行人脸识别的 图像。
进一步的，选择一个孪生结构的网络进行图像融合，孪生结构的网络包括 两个结构完全一致的子网络，每个子网络包括解码器和编码器，在解码器中令 两个子网络中图像的特征进行相互融合，两个子网络输出的图像进行最终的融 合得到匿名图像。
进一步的，为了使匿名图像机器可以识别且人眼不可识别，采用损失函数 对融合的网络进行参数，采用的损失函数至少包括匿名图像与原始图像之间的 身份信息损失，以及匿名图像与匿名化预处理后的图像之间的图像信息损失。
进一步的，采用的损失函数表示为：
Figure BDA0003759637490000031
其中，其中，
Figure BDA0003759637490000032
表示融合图像与输入图像之间的总损失函数；
Figure BDA0003759637490000033
为匿 名图像与原始图像之间的身份信息损失；
Figure BDA0003759637490000034
为匿名图像与匿名化预处理后的 图像之间的图像信息损失；λ1、λ2分别为
Figure BDA0003759637490000035
的权重。
进一步的，匿名图像与原始图像之间的身份信息损失
Figure BDA0003759637490000036
表示为：
Figure BDA0003759637490000037
其中，
Figure BDA0003759637490000038
为典型的三元 损失函数，E()表示预训练的人脸识别特征提取模型，其输出为人脸身份的特征 表示(通常为长度为512的一维向量)，A表示锚样本，P表示锚样本的正样本， N表示锚样本的负样本，α为三元组损失的距离阈值，身份信息损失由两个三元 组构造，其目的是为了有效支持匿名域与跨域的人脸识别；IA表示将一张输入深 度图像融合网络的图像，即锚样本；
Figure BDA0003759637490000039
表示将图像IA输入深度图像融合网络得到 的融合图像；
Figure BDA00037596374900000310
表示与输入图像IA所属身份相同的正样本IP输入深度图像融合网 络得到的融合图像；
Figure BDA00037596374900000311
表示与输入图像IA所属身份不同的负样本IN输入深度图像 融合网络得到的融合图像。本发明中下标A、P、N仅表示在计算损失函数过程 中样本的种类，若下标为A则表示锚样本，下标为P表示锚样本对应的正样本， 即该样本与锚样本身份信息一致但是图像信息不一致，下标为N表示锚样本对 应的负样本，即该样本与锚样本身份信息以及图像信息均不一致。
进一步的，匿名图像与匿名化预处理后的图像之间的图像信息损失
Figure BDA00037596374900000312
表 示为：
Figure BDA0003759637490000041
其中，
Figure BDA0003759637490000042
为图像视觉损失函数；
Figure BDA0003759637490000043
为图像L1损失函数；λ21、λ22分别为
Figure BDA0003759637490000044
Figure BDA0003759637490000045
的权重。
进一步的，图像视觉损失函数
Figure BDA0003759637490000046
表示为：
Figure BDA0003759637490000047
其实质为一个视觉上的三元损失，
Figure BDA0003759637490000048
表示图像的感知相似度，如学习感 知图像块相似度(Learned Perceptual Image Patch Similarity，LPIPS)。其中，I表 示原始人脸图像，
Figure BDA0003759637490000049
表示人脸图像匿名化预处理后的图像，
Figure BDA00037596374900000410
表示经过图像融合网 络生成的目标图像，β表示损失函数的阈值。
进一步的，采用两个结构一致的U-Net型网络构建孪生结构的网络，一个 U-Net型网络用于处理原图像、另一个用于处理匿名化预处理后的图像，两个 U-Net型网络均在解码器阶段进行特征融合。
本发明还提出一种可识别的人脸匿名化处理系统，包括图像预处理模块、 深度图像融合网络以及人脸图像识别网络，图像预处理模块对输入的原图像进 行图像模糊操作、像素化操作、人脸变形操作、换脸操作中的至少一种，或者 两种及两种以上的组合操作，得到匿名化预处理后的图像；深度图像融合网络 将原图像与匿名化预处理后的图像进行融合，人脸图像识别网络对融合后的图 像进行识别。
本发明通过U-Net深度神经网络构建孪生深度图像融合网络，通过将原始 图像的特征信息提取出来与匿名化预处理图像进行多层次的融合与嵌入，保证 了生成的图像对人眼匿名，对机器可识别，有效解决了人脸隐私图像的隐私保 护性与可用性的问题。本发明具体的有益效果包括：
1)、本发明具有较强通用性，即本发明在隐私保护方面，可以支持呈现不 同样貌与强度的人脸匿名化效果(包括模糊、像素化与人脸形变等)；本发明在 识别可用性方面，仅依赖预训练的人脸识别模型即可完成识别任务，即可作为 现有的人脸识别模型的扩展，提供隐私增强功能；
2)、本发明具有较高效率，经实验证明，本方法所提出的匿名化模型仅需 要小规模的深度神经网络模型即可完成匿名化任务，效率较高；
3)、本发明具有较强可用性，本发明可支持不同场景的人脸识别，包括匿 名域识别(匿名图像之间的识别匹配)与跨域识别(匿名图像与原始图像之间 进行识别匹配)；此外，通过实验验证，本方法可获得的识别率远高于相关研究 所提出的方法。
附图说明
图1为本发明一种可识别的人脸匿名化处理方法流程图；
图2为本发明中深度图像融合网络示意图；
图3为经过本发明方法处理后的效果示意图；
图4为本发明实现人脸识别的一优选实施例；
图5为本发明实现人脸识别的另一优选实施例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种可识别的人脸匿名化处理方法，将原图像进行匿名化处理， 并将原图像与匿名化预处理后的图像进行融合得到匿名图像，将匿名图像作为 进行人脸识别的图像。
实施例
在本实施例中，如图1，本发明为一种可识别的人脸匿名化处理方法，具体 包括以下步骤：
对于一个待处理的输入人脸图像，首先将其进行匿名化预处理，预处理手 段包括但不限于图像模糊、像素化、人脸变形与换脸；
将匿名化预处理图像与原始人脸图像送入一个基于特定人脸识别模型而训 练的深度图像融合网络，经融合网络的处理，输出最终的匿名化图像，该匿名 化图像在视觉上与匿名化预处理图像相似，但隐藏了部分原始图像的关键信息；
将匿名化图像送入上述人脸识别模型，识别模型可从匿名化图像中识别出 原始人脸的身份，本实施例不对人脸识别模型进行限定，可基于现有技术中各 种预训练的人脸识别模型来监督匿名化融合模型的训练，并利用与融合模型相 对应的人脸识别模型来识别本发明处理后的图像。
本实施例采用的深度图像融合网络的构建过程包括：
步骤1)通过将多个卷积密集块组成的编码器和解码器连接从而构建出 U-Net型网络，用于构建图像融合网络；
步骤2)通过将两个网络结构相同但权重不同的U-Net型网络构建出具有孪 生网络结构的深度图像融合网络，两个网络分别接收原始图像与原始图像的匿 名化预处理图像并进行特征融合。
本实施例采用的深度图像融合网络包括两个结构相同的孪生U-Net型网络， 但是两个网络的网络参数不同，其中一个网络用于处理原图像，另一个网络用 于处理经过匿名化预处理的图像，特征融合可发生在U-Net型网络的各个阶段， 本实施例尝试在U-Net网络的解码器解码阶段对各层级特征通过加法进行融合， 解码器每个层级的输出求和后发送到后续的层级。本实施例给出如图2所示的 一种深度图像融合网络的具体实施方式，在本实施例中解码器由三个下采样卷 积层构成，解码器由三个上采样卷积层构成，在本实施例中图像的融合发生在 解码器阶段，在解码器进行融合时，同时融合来自编码器以及另一个网络的解 码器的图像信息，两个网络输出的特征图最后通过相加或者相乘进行融合，得到匿名图像，该图像机器可以识别出身份信息，但是人眼不可识别。
本实施例中选择两个结构相同的孪生U-Net型网络构建深度图像融合网络， 本领域也可以选择其他网络来对两个图像进行融合，本发明不对网络的具体结 构作出要求。另外可以采用任意现有技术中的网络进行两张图像的融合，融合 可以发生在解码器，也可以发生在编码器，不发明不对此进行其他限定。
作为一种优选的实施方式，本实施例中深度图像融合网络每次训练可以使 用不同类型和不同强度的匿名化预处理手段，训练得到相应的深度图像融合网 络。
深度图像融合网络受到两个损失函数的约束，分别是身份损失函数和图像 损失函数，其中身份损失函数用来保证生成图像与原始图像在身份特征表示上 相似，图像损失函数用来保证生成的图像视觉上与匿名化图像相似，本实施例 选择两个函数保证生成的图像视觉上与匿名化图像相似，所述总损失函数包括：
Figure BDA0003759637490000071
其中，
Figure BDA0003759637490000072
表示融合图像与输入图像之间的总损失函数；
Figure BDA0003759637490000073
为匿名图像 与原始图像之间的身份信息损失；
Figure BDA0003759637490000074
为匿名图像与匿名化预处理后的图像之 间的图像信息损失；λ1、λ2分别为
Figure BDA0003759637490000075
的权重。匿名图像与原始图像之间 的身份信息损失
Figure BDA0003759637490000076
表示为：
Figure BDA0003759637490000077
其中，
Figure BDA0003759637490000078
为典型的三元 损失函数，E()表示预训练的人脸识别特征提取模型，其输出为人脸身份的特征 表示(通常为长度为512的一维向量)，A表示锚样本，P表示锚样本的正样本， N表示锚样本的负样本，α为三元组损失的距离阈值。身份信息损失
Figure BDA0003759637490000079
由两个 上述三元组构成，其目的是为了有效支持匿名域与跨域的人脸识别，其中，IA表 示一张输入深度图像融合网络的图像，即锚样本；
Figure BDA00037596374900000710
表示将图像IA输入深度图像 融合网络得到的融合图像；IP表示与输入图像IA所属身份相同的正样本图像，
Figure BDA00037596374900000711
表示IP输入深度图像融合网络后得到的融合图像；IN表示与输入图像IA所属身份 不同的负样本图像，
Figure BDA00037596374900000712
表示IN输入深度图像融合网络得到的融合图像。
本实施例中，最终匿名图像与匿名化预处理后的图像之间的图像信息损失
Figure BDA00037596374900000713
表示为：
Figure BDA00037596374900000714
其中，
Figure BDA00037596374900000715
为图像视觉损失函数；
Figure BDA00037596374900000716
为图像L1损失函数；λ21、λ22分别为
Figure BDA00037596374900000717
Figure BDA0003759637490000081
的权重。图像视觉损失函数
Figure BDA0003759637490000082
可通过三元组损失表示为：
Figure BDA0003759637490000083
其中，I表示原始人脸图像，
Figure BDA0003759637490000084
表示人脸图像匿名化预处理后的图像，
Figure BDA0003759637490000085
表示 经过图像融合网络生成的目标图像，β表示三元组损失函数的距离阈值，
Figure BDA0003759637490000086
表 示度量两个图像视觉相似度的函数，如LPIPS。此外，除了感知损失以外，本实 施例还利用图像像素级L1距离损失函数来监督匿名图像的生成。
将原始人脸图像与所述匿名化预处理后的图像输入深度图像融合网络，生 成可识别的人脸匿名化图像，此图像视觉上与匿名化预处理图像相似，但现有 的机器视觉人脸识别模型依然可以从此图像中识别出原始图像人脸身份，本发 明可以仅依赖于预训练的人脸识别模型，不需要对人脸识别模型进行训练，即 本发明无需使用匿名化预处理后的图像以及原图像对人脸识别模型进行训练、 更新人脸识别模型的网络参数，现有已经通过训练的模型可以直接对本发明匿 名化预处理后的图像进行识别，并且具有良好的识别正确率。
本实施例该提出一种可识别的人脸匿名化处理系统，包括图像预处理模块、 深度图像融合网络以及人脸图像识别网络，图像预处理模块对输入的原图像进 行图像模糊操作、像素化操作、人脸变形操作、换脸操作中的至少一种，或者 两种及两种以上的组合操作，得到匿名化预处理后的图像；深度图像融合网络 将原图像与匿名化预处理后的图像进行融合，人脸图像识别网络对融合后的图 像进行识别；其中深度图像融合网络包括两个孪生U-Net深度神经网络，一个 网络用于处理原始图像，另一个用于处理匿名化预处理后的图像，将两个U-Net 深度神经网络的输出相加进行融合，得到融合图像；每个U-Net深度神经网络 包括编码器和解码器，将输入的图像通过一个卷积模块提取特征，编码器包括 级联的三个下采样模块，提取的特征通过编码器进行连续三次下采样后输入一 个卷积模块；解码器包括级联的三个上采样层，每个上采样模块通过前一层的 输入进行上采样并与对应尺寸的下采样模块的输出进行跳跃连接后作为下一级 上采样模块的输入。
该发明所述方法可用于隐私友好的人脸识别系统。具体实施案例如图4与 图5所示。其中，图4展示了一种在匿名域图像进行人脸识别的案例，其中， 首先对模板图像通过方案所述方法进行匿名化处理，利用匿名化后的模板图像 进行注册操作，即将匿名化处理后的人脸图像作为该用户在APP中的虚拟身份 特征库中的身份特征，当需要进行人脸识别时，采集当前实时的人脸数据，并 对采集的数据进行匿名化处理，利用匿名化后的图像进行识别，匹配得到对应 的人脸信息。在上述实施例中，模板图像与待识别图像在整个系统的存储、显 示与传输等环节中均保持视觉匿名，保证用户的视觉隐私。图5则展示了另外一种跨域人脸识别系统实施例，其中，用户可能会被要求在注册阶段必须使用 原始图像进行注册(如公安系统所用的身份证照片)，而在识别阶段同样可以使 用本发明提出的匿名化方法，通过待识别图像的匿名化图像与原始图像进行身 份匹配。
本实施例还给出对深度图像匿名化网络的具体训练过程，具体包括以下步 骤：
1)数据集与预处理
CelebA数据集：包含来自10177个身份的202599张人脸图像，并且标注了 约40种人脸属性，如是否戴眼镜、是否微笑等；该数据集的训练集用于本实施 例中模型的训练，测试集用于模型的测试。
VGGFace2数据集：包含来自9131个身份的331万张图像，平均每一个人 有362.6张图像；约有59.7％的男性；每张图篇还标注了人脸框、5个关键点， 以及年龄和姿态等信息；该数据集的测试集用于本实施例中模型的测试。
LFW数据集：包含来自5749个身份的13233张图像，其中的1680人有2 张或2张以上人脸图像；该数据集提供了标准化的人脸匹配流程，用于本实施 例中模型的测试。
利用预训练的人脸开源工具对上述数据集中的人脸图像进行检测、剪裁和 对齐，保持人脸头部在图像的中心区域，图像分辨率设置为112*112。
2)网络的训练
使用CelebA的训练集对所提出的深度图像融合网络进行训练，训练中使用 了四种匿名化预处理手段和五种人脸识别基础模型，共训练产生20个模型。其 中，四种匿名化预处理手段分别是：
·高斯模糊(Blur)：模糊核尺寸固定为31，训练中使用2-8不等的模糊核 方差，测试阶段固定方差为5。
·像素化(Pixelate)：训练中使用尺寸为4-10不等的像素块，测试中固定 像素块尺寸为7。
·换脸算法一(FaceShifter)：通过FaceShifter深度换脸算法，以随机选取 的其他人脸图像作为目标进行换脸操作。
·换脸算法二(SimSwap)：通过SimSwap深度换脸算法，以随机选取的其 他人脸图像作为目标进行换脸操作。
五种人脸识别基础模型的详情如表1所示。
表1五种人脸识别基础模型的详情
人脸识别主干模型 训练方法 参数量 LFW识别准确率
MobileFaceNet ArcFace 1M 0.9863
InceptionResNet FaceNet 28M 0.9906
IResNet50 ArcFace 44M 0.9898
SEResNet50 ArcFace 44M 0.9896
IResNet100 ArcFace 65M 0.9983
训练过程使用β1＝0.9，β2＝0.999，学习率＝0.001的Adam优化器优化训练过程。
本实施例给出如图3所示的效果示意图，图3每一行为一张人脸图像经过 各种处理的示意图片，第一列为该图像的原图像(Original),第二列为原图像经 模糊(Blur)预处理的版本，第三列为与模糊相对应的匿名融合图像(Blur*)， 同理，第四到第九列分别展示了其余匿名化预处理图像与最终的匿名图像。由 图3所示，最终的匿名化图像在视觉上与经匿名化预处理的图像高度相似。
本实施例还通过仿真实验对所提出的可识别的匿名化模型进行量化验证， 其目的为检验生成图像的隐私保护性能与识别可用性。部分实验通过与Li所提 出的方法进行对比并有效证明了本发明方法的优越性。
在隐私保护性能方面，分别通过主客观方法对匿名化图像与原始图像之间 的视觉差异进行衡量。客观方面，使用LPIPS与SSIM用来度量匿名化图像与原 始图像之间的差距，表2与3分别展示了本发明方法在CelebA与VGGFace2数 据集上的隐私保护性能客观指标，而表4则展示了本发明方法与Li方法在客观 隐私保护性能的对比，结果表明本发明方法通过像素化与模糊化操作后的隐私 保护性远高于Li的方法，通过换脸操作的隐私保护性与Li的方法近似。
表2本发明方法在CelebA数据集上的隐私保护性能客观指标
Figure BDA0003759637490000111
表3本发明方法在VGGFace2数据集上的隐私保护性能客观指标
Figure BDA0003759637490000112
表4本发明方法与Li方法在客观隐私保护性能的对比
Figure BDA0003759637490000113
主观方面，本实施例使用亚马逊提供的商业众包平台Mechanical Turk，以 在线问卷调查的方式，雇用众包用户通过人眼观察的方式对匿名化图像进行身 份识别，识别率越低则表明隐私保护性能越强。表5展示了不同类型图像的主 观识别率，通过本发明方法的匿名化处理，主观识别准确率有较大幅度的降低。 表5中识别率越低表示隐私保护效果越好，★表示经过本发明所述方法处理过后 的图像。
表5不同类型图像的主观识别率
图像类型 正确率 置信度
原始图像 0.920 4.20
Blur 0.490 3.25
Blur★ 0.675 3.55
Pixelate 0.350 3.11
Pixelate★ 0.520 3.30
FaceShifter 0.510 3.32
FaceShifter★ 0.675 3.67
SimSwap 0.455 3.44
SimSwap★ 0.700 3.79
识别可用性方面，在CelebA,VGGFace2与LFW三个人脸图像数据集上进行 人脸匹配实验，以匿名化图像的人脸识别率作为可用性衡量指标。表6展示了 本发明方法在匿名域与跨域两种场景下的人脸识别率(LFW数据集，识别率用 TAR@FAR＝0.01/0.1来衡量)，其结果表明，两种情况下，通过本发明方法处理过 的人脸图像，仍然可保持较高的识别率。表7则通过CelebA与VGGFace2与Li 方法的在平均识别率上进行了对比，由此可见，本发明方法的人脸识别率远高 于Li的方法。
表6本发明方法在匿名域(ADR)与跨域(XDR)两种场景下的人脸识别率
Figure BDA0003759637490000121
表7本发明方法与Li方法通过CelebA与VGGFace2在平均识别率上的对比
Figure BDA0003759637490000122
Figure BDA0003759637490000131
上述表格中，MobileFaceNet方法来自Qiong Cao等人发表的《VGGFace2:ADataset for Recognising Faces across Pose and Age》；InceptionResNet方法来自Jiankang Deng等人发表的《ArcFace:Additive Angular Margin Loss for Deep FaceRecognition》；IResNet50、IResNet100来自Ankur Chattopadhyay等人发表的《PrivacyCam:A Privacy Preserving Camera Using uCLinux on the Blackfin DSP》；SEResNet50方法来自Renwang Chen等人发表的《SimSwap:An Efficient Framework ForHigh Fidelity Face Swapping》。
综上所述，本发明实例通过上述仿真实验，验证了本施例中方案的可行性， 本发明实例提供的一种通用的机器可识别人脸视觉匿名化处理方法保证了生成 的图像对人眼匿名，对机器可识别，有效解决了人脸隐私图像的隐私保护性与 可用性的问题。
本发明还提出一种计算机设备，该计算机设备包括处理器和存储器，处理 器用于运行存储在存储器中的计算机程序，以实现前面一种可识别的人脸匿名 化处理方法。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言， 可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变 化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种可识别的人脸匿名化处理方法，其特征在于，将原图像进行匿名化预处理，并将原图像与匿名化预处理后的图像进行融合得到匿名图像，该匿名图像在视觉上与匿名化预处理图像相似，且无法被人眼视觉准确识别其原始身份，而预训练的机器识别模型仍可从匿名图像提取出人脸的原始身份特征并识别匿名图像。
2.根据权利要求1所述的一种可识别的人脸匿名化处理方法，其特征在于，通过一个孪生结构的网络进行图像融合，孪生结构的网络包括两个结构完全一致的子网络，每个子网络包括编码器和解码器，并在两个子网络间对图像进行特征融合，两个子网络输出的图像进行最终的融合得到匿名图像。
3.根据权利要求2所述的一种可识别的人脸匿名化处理方法，其特征在于，为了使匿名图像机器可以识别且人眼不可识别，采用损失函数对融合的网络进行参数更新，采用的损失函数至少包括匿名图像与原始图像之间的身份信息损失，以及匿名图像与匿名化预处理后的图像之间的图像信息损失。
4.根据权利要求3所述的一种可识别的人脸匿名化处理方法，其特征在于，采用的损失函数表示为：
Figure FDA0003759637480000011
其中，
Figure FDA0003759637480000012
表示融合图像与输入图像之间的总损失函数；
Figure FDA0003759637480000013
为匿名图像与原始图像之间的身份信息损失；
Figure FDA0003759637480000014
为匿名图像与匿名化预处理后的图像之间的图像信息损失；λ1、λ2分别为
Figure FDA0003759637480000015
的权重。
5.根据权利要求4所述的一种可识别的人脸匿名化处理方法，其特征在于，匿名图像与原始图像之间的身份信息损失
Figure FDA0003759637480000016
表示为：
Figure FDA0003759637480000017
其中，
Figure FDA0003759637480000018
表示一个典型的三元损失函数，A表示锚样本，P表示锚样本的正样本，N表示锚样本的负样本，IA表示一张输入深度图像融合网络的图像，即锚样本；
Figure FDA0003759637480000019
表示将图像IA输入深度图像融合网络得到的融合图像；IP表示与输入图像IA所属身份相同的正样本图像，
Figure FDA0003759637480000021
表示IP输入深度图像融合网络后得到的融合图像；IN表示与输入图像IA所属身份不同的负样本图像，
Figure FDA0003759637480000022
表示IN输入深度图像融合网络得到的融合图像。
6.根据权利要求4所述的一种可识别的人脸匿名化处理方法，其特征在于，匿名图像与匿名化预处理后的图像之间的图像信息损失
Figure FDA0003759637480000023
表示为：
Figure FDA0003759637480000024
其中，
Figure FDA0003759637480000025
为图像视觉感知损失函数，用于衡量图像在视觉上的相似度；
Figure FDA0003759637480000026
为图像L1-norm损失函数，用于衡量图像在像素级的相似度；λ21、λ22分别为
Figure FDA0003759637480000027
Figure FDA0003759637480000028
的权重。
7.根据权利要求6所述的一种可识别的人脸匿名化处理方法，其特征在于，图像视觉损失函数
Figure FDA0003759637480000029
可通过三元组损失表示为：
Figure FDA00037596374800000210
其中，I表示原始人脸图像，
Figure FDA00037596374800000211
表示人脸图像匿名化预处理后的图像，
Figure FDA00037596374800000212
表示经过图像融合网络生成的目标图像，β表示三元组损失函数的距离阈值，
Figure FDA00037596374800000213
表示度量两个图像视觉相似度的函数。
8.根据权利要求6所述的一种可识别的人脸匿名化处理方法，其特征在于，图像L1损失函数
Figure FDA00037596374800000214
表示为：
Figure FDA00037596374800000215
其中，
Figure FDA00037596374800000216
表示人脸图像匿名化预处理后的图像，
Figure FDA00037596374800000217
表示经过图像融合网络生成的目标图像，‖·,·‖1表示两个图像像素上的L1距离。
9.根据权利要求2所述的一种可识别的人脸匿名化处理方法，其特征在于，采用两个结构一致的U-Net型网络构建孪生结构的网络，一个U-Net型网络用于处理原图像、另一个用于处理匿名化预处理后的图像，同时在两个U-Net型网络之间进行特征融合。
10.一种可识别的人脸匿名化处理系统，其特征在于，包括图像预处理模块、深度图像融合网络以及人脸图像识别网络，图像预处理模块对输入的原图像进行匿名化预处理，得到匿名化预处理后的图像，其中，预处理方法包括但不限于图像模糊操作、像素化操作、人脸变形操作或换脸操作；深度图像融合网络将原图像与匿名化预处理后的图像进行融合，人脸图像识别网络对融合后的图像进行识别。
CN202210873245.XA 2022-07-22 2022-07-22 一种可识别的人脸匿名化处理方法及系统 Pending CN115424314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210873245.XA CN115424314A (zh) 2022-07-22 2022-07-22 一种可识别的人脸匿名化处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210873245.XA CN115424314A (zh) 2022-07-22 2022-07-22 一种可识别的人脸匿名化处理方法及系统

Publications (1)

Publication Number Publication Date
CN115424314A true CN115424314A (zh) 2022-12-02

Family

ID=84196490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210873245.XA Pending CN115424314A (zh) 2022-07-22 2022-07-22 一种可识别的人脸匿名化处理方法及系统

Country Status (1)

Country Link
CN (1) CN115424314A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778564A (zh) * 2023-08-24 2023-09-19 武汉大学 一种身份保持的人脸匿名化方法、系统及设备
CN117078507A (zh) * 2023-08-18 2023-11-17 上海凌立健康管理股份有限公司 一种基于ai技术的虚拟数字人动态追溯监管方法与系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078507A (zh) * 2023-08-18 2023-11-17 上海凌立健康管理股份有限公司 一种基于ai技术的虚拟数字人动态追溯监管方法与系统
CN117078507B (zh) * 2023-08-18 2024-05-14 上海凌立健康管理股份有限公司 一种基于ai技术的虚拟数字人动态追溯监管方法与系统
CN116778564A (zh) * 2023-08-24 2023-09-19 武汉大学 一种身份保持的人脸匿名化方法、系统及设备
CN116778564B (zh) * 2023-08-24 2023-11-17 武汉大学 一种身份保持的人脸匿名化方法、系统及设备

Similar Documents

Publication Publication Date Title
Neves et al. Ganprintr: Improved fakes and evaluation of the state of the art in face manipulation detection
Tariq et al. One detector to rule them all: Towards a general deepfake attack detection framework
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
Wu et al. Privacy-protective-gan for face de-identification
CN115424314A (zh) 一种可识别的人脸匿名化处理方法及系统
Chen et al. Locally GAN-generated face detection based on an improved Xception
CN112991278B (zh) RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统
CN106295501A (zh) 基于唇部运动的深度学习身份识别方法
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
Rahman et al. A qualitative survey on deep learning based deep fake video creation and detection method
Gong et al. Deepfake forensics, an ai-synthesized detection with deep convolutional generative adversarial networks
CN112215780A (zh) 基于类特征修复融合的图像取证对抗性攻击防御方法
Tanaka et al. Fake-image detection with Robust Hashing
Sabeena et al. Digital image forensic using deep flower pollination with adaptive Harris hawk optimization
Meng et al. High-capacity steganography using object addition-based cover enhancement for secure communication in networks
CN114139198A (zh) 基于层次k匿名身份替换的人脸生成隐私保护方法
Xu et al. Facial depth forgery detection based on image gradient
CN113011307A (zh) 一种基于深度残差网络的人脸识别身份认证方法
Xu et al. SFRNet: Feature Extraction‐Fusion Steganalysis Network Based on Squeeze‐and‐Excitation Block and RepVgg Block
CN112668401B (zh) 一种基于特征解耦合的人脸隐私保护方法和装置
CN115131465A (zh) 一种基于身份关系保持的人脸匿名图像生成及识别方法
Li et al. Exposing deepfakes via localizing the manipulated artifacts
Chang et al. Cyber Vaccine for Deepfake Immunity
Tang et al. Few-sample generation of amount in figures for financial multi-bill scene based on GAN
Rao et al. ResTran: Long distance relationship on image forgery detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination