CN116778564B - 一种身份保持的人脸匿名化方法、系统及设备 - Google Patents

一种身份保持的人脸匿名化方法、系统及设备 Download PDF

Info

Publication number
CN116778564B
CN116778564B CN202311069966.6A CN202311069966A CN116778564B CN 116778564 B CN116778564 B CN 116778564B CN 202311069966 A CN202311069966 A CN 202311069966A CN 116778564 B CN116778564 B CN 116778564B
Authority
CN
China
Prior art keywords
pixel
identity
layer
image
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311069966.6A
Other languages
English (en)
Other versions
CN116778564A (zh
Inventor
王中元
黄宝金
艾家欣
杨冀帆
王骞
邹勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202311069966.6A priority Critical patent/CN116778564B/zh
Publication of CN116778564A publication Critical patent/CN116778564A/zh
Application granted granted Critical
Publication of CN116778564B publication Critical patent/CN116778564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种身份保持的人脸匿名化方法、系统及设备，首先使用特征提取模块转换图像到卷积特征图。然后，利用身份‑外观耦合的双分支网络模块分别学习外观和身份特征。这样从提取的人脸身份特征中剔除了身份无关的外观特征，而且补充了缺失的身份信息。进而，通过重建层预测外观和身份图像，其中的身份图像作为身份保持的匿名化结果。为了方便模型训练，本发明采用一个重聚模块合并外观和身份图像来重现原来的人脸，从而可以采用自监督的方式训练模型。本发明能产生本质身份信息保持、外观信息移除的匿名化人脸图像，实现匿名化的同时保有数据的可用性。

Description

一种身份保持的人脸匿名化方法、系统及设备
技术领域
本发明属于计算机视觉技术领域，涉及一种人脸匿名化的方法、系统及设备，具体涉及一种身份保持的人脸匿名化方法、系统及设备。
背景技术
随着视频监控与人脸识别的应用普及，人脸身份隐私安全问题日益突出。为了保护人脸身份隐私，人脸匿名化成为一个重要领域。人脸匿名化技术可以应用于许多场景，例如，在新闻采访中保护受访者的隐私，医疗档案中保护患者的人脸隐私，甚至护公共数据集中的人脸隐私。
现有的人脸图像匿名化方法可以分为两种不同类型：传统的人脸匿名化方法和基于深度学习的人脸匿名化方法。传统方法使用图像模糊和马赛克等技术使面部图像的敏感区域失真，在视觉上无法识别，达到隐私保护的效果。这类方法虽然简单易用，但在保护人脸身份隐私的同时也易失去人脸属性信息，如表情、年龄。深度学习的人脸匿名化方法使用深度网络模型来修改图像中的面部和身份信息，旨在隐藏身份的同时，对其他人脸属性（如性别、年龄）的改动最小。【文献1】利用属性分类网络提取人脸的个体属性参数，并通过优化不断更新，使得生成的人脸不被识别为原始人脸。【文献2】提出一种生成模型，该模型将图库数据中具有不同身份的K个人脸进行组合，以生成匿名人脸。【文献3】提出了一种隐私保护动作检测模型，该模型使用人脸修改器来改变输入人脸的身份，并允许动作检测正常进行。【文献4】提出了一种从噪声中生成匿名人脸的生成架构，但其生成结果不够真实。【文献5】提出了一种去身份方法，该方法使用多图像感知损失，应用于人脸视频，取得了良好的效果，但生成的匿名人脸较单一。【文献6】提出了一种多样化的图像和视频人脸匿名化方法，可以灵活操纵生成的匿名化的人脸的身份，同时保证其他属性不变和看起来更加自然。
然而，上述无论传统的还是深度学习的人脸匿名化方案存在一个致命缺陷，即产生的匿名化人脸“既不能看又不能用”。换句话，匿名化后的人脸不仅人眼无法正确识别真实身份，人脸识别算法模型同样无法识别，因而制约了匿名化后人脸的后续利用。现实中存在这样一种场景，在人机世界信息交互的场合，不希望接触到人脸图像的人（如计算机操作人员）认出人脸，但又不影响计算机对人脸数据的识别分析。更一般化的业务场景，将涉密数据提供给第三方或云端进行分析时，对人脸字段匿名化处理，保护实体的隐私，但对计算机维持人脸数据的可用性。为此，亟待发展一种更高级的人脸匿名化方法，取得人不能辨认但计算机上的人脸识别程序照常工作的效果。
参考文献：
[1]Amin Jourabloo, Xi Yin, and Xiaoming Liu. Attribute preserved facede-identification. 2015 International conference on biometrics (ICB), pp.278–285, 2015.
[2]Blaˇz Meden, Refik Can Mallı, SebastjanFabijan, Hazım KemalEkenel, VitomirStruc, and Peter Peer. Face deidentificationwith generativedeep neural networks. IET Signal Processing, 11(9): 1046–1054, 2017.
[3]Zhongzheng Ren, Yong Jae Lee, and Michael S Ryoo. Learning toanonymize faces for privacy preserving action detection. ECCV, pp. 620–636,2018.
[4]HakonHukkelas, Rudolf Mester, and Frank Lindseth. Deepprivacy: Agenerative adversarial network for face anonymization. InternationalSymposium on Visual Computing, pp. 565–578, 2019.
[5]Oran Gafni, Lior Wolf, and Yaniv Taigman. Live facedeidentification in video. ICCV, pp. 9378–9387, 2019.
[6]Tianxiang Ma, Dongze Li, Wei Wang Jing Dong, Face Anonymization byManipulating Decoupled Identity Representation, arXiv:2105.11137, 2021。
发明内容
为了解决上述技术问题，本发明结合身份与外观成分的解耦模型，提供了一种身份保持的人脸匿名化方法、系统及设备，实现匿名化的同时最大限度维护数据的可用性。
本发明的方法所采用的技术方案是：一种身份保持的人脸匿名化方法，包括以下步骤：
步骤1：将人脸图像转化为卷积特征图；
步骤2：将步骤1中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络，分别学习外观和身份特征；
步骤3：将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像，其中的身份图像作为身份保持的匿名化结果；
步骤4：合并步骤3中获得的外观图像和身份图像，重现原来的人脸。
作为优选，步骤1中，采用特征提取网络将人脸图像转化为卷积特征图；所述特征提取网络是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络。
作为优选，步骤2中，所述身份-外观耦合的双分支网络，由若干残差通道注意力块、若干残差空间注意力块和耦合块级联而成；
所述残差空间注意力块，由五个卷积层及Sigmoid函数层、逐像素相加层和两个逐像素相乘层组成；所述五个卷积层分别为F3N8、F1N16、F3N1、F1N16和F3N32；所述输入经过所述F3N8后，分为两支，一支由F1N16、F3N1和Sigmoid函数层组成，另一支由F1N16和F3N32组成；两支输出经过所述逐像素相乘层后，与输入通过逐像素相加层后，再与耦合块输出经过所述逐像素相乘层后输出；
所述残差通道注意力块，由五个卷积层及Sigmoid函数层、逐像素相加层、两个逐像素相乘层和全局平均池化层组成；所述五个卷积层分别为F3N8、F1N16、F1N32、F1N16和F3N32；所述输入经过所述F3N8后，分为两支，一支由F1N16、全局平均池化层、F1N32和Sigmoid函数层组成，另一支由F1N16和F3N32组成；两支输出经过所述逐像素相乘层后，与输入通过逐像素相加层后，再与耦合块输出值用常数1减去后经过所述逐像素相乘层后输出；
所述耦合块，由顺序连接的拼接层、全局平均池化层、F1N8、F1N32和Sigmoid函数层；所述残差空间注意力块的F3N8和所述残差通道注意力块的F3N8输出经过拼接层后、依次经过所述全局平均池化层、F1N8、F1N32和Sigmoid函数层后输出。
作为优选，步骤3中，利用重建网络将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像；所述重建网络，是由两个串联的卷积层组成的网络。
作为优选，步骤4中，采用重聚网络合并步骤3中获得的外观图像和身份图像；
所述重聚网络，由六个卷积层及Sigmoid函数、两个逐像素相加层、两个逐像素相乘层组成；所述六个卷积层包括F3N8、F3N8、F1N16、F1N16、F1N16和F1N3；所述外观图像经过F3N8和F1N16输出第一部分；所述身份图像经过F3N8和F1N16输出第二部分；所述外观图像经过F3N8后与所述身份图像经过F3N8的输出经过所述逐像素相加层F1N16、F1N3和Sigmoid函数后输出第三部分；所述第一部分与第三部分经过所述逐像素相乘层后输出第四部分，所述第三部分输出值用常数1减去后与第二部分经过所述逐像素相乘层后输出第五部分；所述第四部分与第五部分经过所述逐像素相加层后输出重构人面图像。
作为优选，采用特征提取网络将人脸图像转化为卷积特征图，利用重建网络将外观特征和身份特征分别转化为外观图像和身份图像，采用重聚网络合并外观图像和身份图像；所述特征提取网络、身份-外观耦合的双分支网络、重建网络和重聚网络，均是训练好的网络；训练过程中采用的损失函数L定义为：
；
；
；
；
；
；
其中，和/>表示平衡超参数，/>分别表示外观损失、身份损失、重建损失；/>和/>分别表示Charbonnier 罚函数和识别相似性度量函数，、/>分别表示外观图像、身份图像、输入人脸图像、重建人脸图像、预测图像、原始图像；/>为惩罚系数，/>表示ArcFace()人脸识别模型，将人脸图像转化为归一化识别特征，/>表示内积操作。
本发明的系统所采用的技术方案是：一种身份保持的人脸匿名化系统，包括以下模块：
第一模块，用于将人脸图像转化为卷积特征图；
第二模块，用于将第一模块中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络，分别学习外观和身份特征；
第三模块，用于将第二模块中学习的外观特征和身份特征分别转化为外观图像和身份图像，其中的身份图像作为身份保持的匿名化结果；
第四模块，用于合并第三模块中获得的外观图像和身份图像，重现原来的人脸。
本发明的设备所采用的技术方案是：一种身份保持的人脸匿名化设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的身份保持的身份保持的人脸匿名化方法。
与现有的人脸匿名化方法相比，本发明具有以下的优点与积极效果：
（1）本发明将人脸图像看作外观成分与身份成分的结合体，进而通过深度学习建模，对这两部分进行解耦学习，将身份特征嵌入破坏了面部五官的草图人脸中，产生本质身份信息保持、外观信息移除的匿名化人脸图像。
（2）本发明无需特殊的训练样本，仅利用常规的人脸样本即可进行自监督训练，达到身份保持的人脸匿名化目的。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1：本发明实施例方法的流程图；
图2：本发明实施例的身份-外观耦合的双分支网络结构图；
图3：本发明实施例的重聚网络结构图；
图4：本发明实施例的实验结果示例。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种身份保持的人脸匿名化方法，包括以下步骤：
步骤1：通过特征提取模块将人脸图像转化为卷积特征图；
在一种实施方式中，特征提取网络是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络。
步骤2：将步骤1中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络，分别学习外观和身份特征；
在一种实施方式中，请见图2，身份-外观耦合的双分支网络由若干残差通道注意力块、若干残差空间注意力块和耦合块级联而成；
本实施例的残差空间注意力块，由五个卷积层及Sigmoid函数层、逐像素相加层和两个逐像素相乘层组成；本实施例的五个卷积层分别为F3N8、F1N16、F3N1、F1N16和F3N32；本实施例的输入经过本实施例的F3N8后，分为两支，一支由F1N16、F3N1和Sigmoid函数层组成，另一支由F1N16和F3N32组成；两支输出经过本实施例的逐像素相乘层后，与输入通过逐像素相加层后，再与耦合块输出经过本实施例的逐像素相乘层后输出；其中，F3N32表示卷积核为3×3，输出通道为32的卷积层；F3N8表示卷积核为3×3，输出通道为8的卷积层；F3N1表示卷积核为3×3，输出通道为1的卷积层；F1N16表示卷积核为1×1，输出通道为16的卷积层。
本实施例的残差通道注意力块，由五个卷积层及Sigmoid函数层、逐像素相加层、两个逐像素相乘层和全局平均池化层（GAP）组成；本实施例的五个卷积层分别为F3N8、F1N16、F1N32、F1N16和F3N32；本实施例的输入经过本实施例的F3N8后，分为两支，一支由F1N16、全局平均池化层、F1N32和Sigmoid函数层组成，另一支由F1N16和F3N32组成；两支输出经过本实施例的逐像素相乘层后，与输入通过逐像素相加层后，再与耦合块输出值用常数1减去后经过本实施例的逐像素相乘层后输出；其中， F1N32表示卷积核为1×1，输出通道为32的卷积层。
本实施例的耦合块，由顺序连接的拼接层、全局平均池化层（GAP）、F1N8、F1N32和Sigmoid函数层；本实施例的残差空间注意力块的F3N8和本实施例的残差通道注意力块的F3N8输出经过拼接层后、依次经过本实施例的全局平均池化层（GAP）、F1N8、F1N32和Sigmoid函数层后输出。
步骤3：利用重建网络将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像，其中的身份图像作为身份保持的匿名化结果；
在一种实施方式中，重建网络是由两个串联的卷积核为3×3的卷积层组成的网络。
步骤4：采用一个重聚网络合并步骤3中获得的外观图像和身份图像，重现原来的人脸。
在一种实施方式中，请见图3，重聚网络由六个卷积层及Sigmoid函数、两个逐像素相加层、两个逐像素相乘层组成；本实施例的六个卷积层包括F3N8、F3N8、F1N16、F1N16、F1N16和F1N3；本实施例的外观图像经过F3N8和F1N16输出第一部分；本实施例的身份图像经过F3N8和F1N16输出第二部分；本实施例的外观图像经过F3N8后与本实施例的身份图像经过F3N8的输出经过本实施例的逐像素相加层F1N16、F1N3和Sigmoid函数后输出第三部分；本实施例的第一部分与第三部分经过本实施例的逐像素相乘层后输出第四部分，本实施例的第三部分输出值用常数1减去后与第二部分经过本实施例的逐像素相乘层后输出第五部分；本实施例的第四部分与第五部分经过本实施例的逐像素相加层后输出重构人面图像。
在一种实施方式中，采用特征提取网络将人脸图像转化为卷积特征图，利用重建网络将外观特征和身份特征分别转化为外观图像和身份图像，采用重聚网络合并外观图像和身份图像；
本实施例的特征提取网络、身份-外观耦合的双分支网络、重建网络和重聚网络，均是训练好的网络；训练过程中采用的损失函数L定义为：
；
；
；
；
；
；
其中，和/>表示平衡超参数，被设置为0.1和0.2；/>分别表示外观损失、身份损失、重建损失；/>和/>分别表示Charbonnier 罚函数和识别相似性度量函数，/>、/>分别表示外观图像、身份图像、输入人脸图像、重建人脸图像、预测图像、原始图像；/>为惩罚系数，被设置为/>；/>表示ArcFace()人脸识别模型，将人脸图像转化为归一化识别特征，/>表示内积操作。
基于本发明实现的算法对人脸匿名化的效果，图4给出了部分示例，第一、第三行为正常的人脸图像，第二、第四行为对应的匿名化后的人脸图像。即通过人脸草图风格形式，以取得人不能辨认、但计算机上的人脸识别程序照常工作的效果。同时测试了主流人脸数据集CFP-FP和AgeDB-30在本发明匿名化前后由经典人脸识别模型（CosFace、ArcFace和CurricularFace）识别的精度，相比原始人脸，匿名化后人脸的平均识别精度下降小于5%。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种身份保持的人脸匿名化方法，其特征在于，包括以下步骤：
步骤1：将人脸图像转化为卷积特征图；
步骤2：将步骤1中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络，分别学习外观和身份特征；
所述身份-外观耦合的双分支网络，由若干残差通道注意力块、若干残差空间注意力块和耦合块级联而成；
所述残差空间注意力块，由五个卷积层及Sigmoid函数层、逐像素相加层和两个逐像素相乘层组成；所述五个卷积层分别为F3N8、F1N16、F3N1、F1N16和F3N32；所述输入经过所述F3N8后，分为两支，一支由F1N16、F3N1和Sigmoid函数层组成，另一支由F1N16和F3N32组成；两支输出经过所述逐像素相乘层后，与输入通过逐像素相加层后，再与耦合块输出经过所述逐像素相乘层后输出；
所述残差通道注意力块，由五个卷积层及Sigmoid函数层、逐像素相加层、两个逐像素相乘层和全局平均池化层组成；所述五个卷积层分别为F3N8、F1N16、F1N32、F1N16和F3N32；所述输入经过所述F3N8后，分为两支，一支由F1N16、全局平均池化层、F1N32和Sigmoid函数层组成，另一支由F1N16和F3N32组成；两支输出经过所述逐像素相乘层后，与输入通过逐像素相加层后，再与耦合块输出值用常数1减去后经过所述逐像素相乘层后输出；
所述耦合块，由顺序连接的拼接层、全局平均池化层、F1N8、F1N32和Sigmoid函数层；所述残差空间注意力块的F3N8和所述残差通道注意力块的F3N8输出经过拼接层后、依次经过所述全局平均池化层、F1N8、F1N32和Sigmoid函数层后输出；
步骤3：将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像，其中的身份图像作为身份保持的匿名化结果；
步骤4：合并步骤3中获得的外观图像和身份图像，重现原来的人脸；
采用重聚网络合并步骤3中获得的外观图像和身份图像；
所述重聚网络，由六个卷积层及Sigmoid函数、两个逐像素相加层、两个逐像素相乘层组成；所述六个卷积层包括F3N8、F3N8、F1N16、F1N16、F1N16和F1N3；所述外观图像经过F3N8和F1N16输出第一部分；所述身份图像经过F3N8和F1N16输出第二部分；所述外观图像经过F3N8后与所述身份图像经过F3N8的输出经过所述逐像素相加层F1N16、F1N3和Sigmoid函数后输出第三部分；所述第一部分与第三部分经过所述逐像素相乘层后输出第四部分，所述第三部分输出值用常数1减去后与第二部分经过所述逐像素相乘层后输出第五部分；所述第四部分与第五部分经过所述逐像素相加层后输出重构人面图像。
2.根据权利要求1所述的身份保持的人脸匿名化方法，其特征在于：步骤1中，采用特征提取网络将人脸图像转化为卷积特征图；所述特征提取网络是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络。
3.根据权利要求1所述的身份保持的人脸匿名化方法，其特征在于：步骤3中，利用重建网络将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像；所述重建网络，是由两个串联的卷积层组成的网络。
4.根据权利要求1-3任意一项所述的身份保持的人脸匿名化方法，其特征在于：采用特征提取网络将人脸图像转化为卷积特征图，利用重建网络将外观特征和身份特征分别转化为外观图像和身份图像，采用重聚网络合并外观图像和身份图像；
所述特征提取网络、身份-外观耦合的双分支网络、重建网络和重聚网络，均是训练好的网络；训练过程中采用的损失函数L定义为：
；
；
；
；
；
；
其中，和/>表示平衡超参数，/>分别表示外观损失、身份损失、重建损失；/>和/>分别表示Charbonnier 罚函数和识别相似性度量函数，/>、分别表示外观图像、身份图像、输入人脸图像、重建人脸图像、预测图像、原始图像；/>为惩罚系数，/>表示ArcFace()人脸识别模型，将人脸图像转化为归一化识别特征，/>表示内积操作。
5.一种身份保持的人脸匿名化系统，其特征在于，包括以下模块：
第一模块，用于将人脸图像转化为卷积特征图；
第二模块，用于将第一模块中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络，分别学习外观和身份特征；
所述身份-外观耦合的双分支网络，由若干残差通道注意力块、若干残差空间注意力块和耦合块级联而成；
所述残差空间注意力块，由五个卷积层及Sigmoid函数层、逐像素相加层和两个逐像素相乘层组成；所述五个卷积层分别为F3N8、F1N16、F3N1、F1N16和F3N32；所述输入经过所述F3N8后，分为两支，一支由F1N16、F3N1和Sigmoid函数层组成，另一支由F1N16和F3N32组成；两支输出经过所述逐像素相乘层后，与输入通过逐像素相加层后，再与耦合块输出经过所述逐像素相乘层后输出；
所述残差通道注意力块，由五个卷积层及Sigmoid函数层、逐像素相加层、两个逐像素相乘层和全局平均池化层组成；所述五个卷积层分别为F3N8、F1N16、F1N32、F1N16和F3N32；所述输入经过所述F3N8后，分为两支，一支由F1N16、全局平均池化层、F1N32和Sigmoid函数层组成，另一支由F1N16和F3N32组成；两支输出经过所述逐像素相乘层后，与输入通过逐像素相加层后，再与耦合块输出值用常数1减去后经过所述逐像素相乘层后输出；
所述耦合块，由顺序连接的拼接层、全局平均池化层、F1N8、F1N32和Sigmoid函数层；所述残差空间注意力块的F3N8和所述残差通道注意力块的F3N8输出经过拼接层后、依次经过所述全局平均池化层、F1N8、F1N32和Sigmoid函数层后输出；
第三模块，用于将第二模块中学习的外观特征和身份特征分别转化为外观图像和身份图像，其中的身份图像作为身份保持的匿名化结果；
第四模块，用于合并第三模块中获得的外观图像和身份图像，重现原来的人脸；
采用重聚网络合并第三模块中获得的外观图像和身份图像；
所述重聚网络，由六个卷积层及Sigmoid函数、两个逐像素相加层、两个逐像素相乘层组成；所述六个卷积层包括F3N8、F3N8、F1N16、F1N16、F1N16和F1N3；所述外观图像经过F3N8和F1N16输出第一部分；所述身份图像经过F3N8和F1N16输出第二部分；所述外观图像经过F3N8后与所述身份图像经过F3N8的输出经过所述逐像素相加层F1N16、F1N3和Sigmoid函数后输出第三部分；所述第一部分与第三部分经过所述逐像素相乘层后输出第四部分，所述第三部分输出值用常数1减去后与第二部分经过所述逐像素相乘层后输出第五部分；所述第四部分与第五部分经过所述逐像素相加层后输出重构人面图像。
6.一种身份保持的人脸匿名化设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的身份保持的人脸匿名化方法。
CN202311069966.6A 2023-08-24 2023-08-24 一种身份保持的人脸匿名化方法、系统及设备 Active CN116778564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311069966.6A CN116778564B (zh) 2023-08-24 2023-08-24 一种身份保持的人脸匿名化方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311069966.6A CN116778564B (zh) 2023-08-24 2023-08-24 一种身份保持的人脸匿名化方法、系统及设备

Publications (2)

Publication Number Publication Date
CN116778564A CN116778564A (zh) 2023-09-19
CN116778564B true CN116778564B (zh) 2023-11-17

Family

ID=87986378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311069966.6A Active CN116778564B (zh) 2023-08-24 2023-08-24 一种身份保持的人脸匿名化方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116778564B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550249A (zh) * 2022-02-15 2022-05-27 Oppo广东移动通信有限公司 人脸图像生成方法及装置、计算机可读介质和电子设备
CN115131465A (zh) * 2022-05-27 2022-09-30 西安电子科技大学 一种基于身份关系保持的人脸匿名图像生成及识别方法
CN115424314A (zh) * 2022-07-22 2022-12-02 重庆邮电大学 一种可识别的人脸匿名化处理方法及系统
US11631208B1 (en) * 2021-12-22 2023-04-18 RealizeMD Ltd. Systems and methods for generating clinically relevant images that preserve physical attributes of humans while protecting personal identity
WO2023060918A1 (zh) * 2021-10-14 2023-04-20 天翼数字生活科技有限公司 一种基于语义和姿态图引导的图片匿名化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023060918A1 (zh) * 2021-10-14 2023-04-20 天翼数字生活科技有限公司 一种基于语义和姿态图引导的图片匿名化方法
US11631208B1 (en) * 2021-12-22 2023-04-18 RealizeMD Ltd. Systems and methods for generating clinically relevant images that preserve physical attributes of humans while protecting personal identity
CN114550249A (zh) * 2022-02-15 2022-05-27 Oppo广东移动通信有限公司 人脸图像生成方法及装置、计算机可读介质和电子设备
CN115131465A (zh) * 2022-05-27 2022-09-30 西安电子科技大学 一种基于身份关系保持的人脸匿名图像生成及识别方法
CN115424314A (zh) * 2022-07-22 2022-12-02 重庆邮电大学 一种可识别的人脸匿名化处理方法及系统

Also Published As

Publication number Publication date
CN116778564A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
Yi et al. Audio-driven talking face video generation with learning-based personalized head pose
Lin et al. FPGAN: Face de-identification method with generative adversarial networks for social robots
Seow et al. A comprehensive overview of Deepfake: Generation, detection, datasets, and opportunities
Han et al. Fighting fake news: two stream network for deepfake detection via learnable SRM
Tolosana et al. DeepFakes detection across generations: Analysis of facial regions, fusion, and performance evaluation
Kong et al. Appearance matters, so does audio: Revealing the hidden face via cross-modality transfer
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
Li et al. Deep dual relation modeling for egocentric interaction recognition
Pan et al. K-same-siamese-gan: K-same algorithm with generative adversarial network for facial image de-identification with hyperparameter tuning and mixed precision training
Jin et al. Countering spoof: towards detecting deepfake with multidimensional biological signals
Liu et al. RGB‐D human action recognition of deep feature enhancement and fusion using two‐stream convnet
CN112258388A (zh) 一种公共安全视图脱敏测试数据生成方法、系统以及存储介质
Wu et al. From image to video face inpainting: spatial-temporal nested GAN (STN-GAN) for usability recovery
Zhang et al. Multimodal emotion recognition by extracting common and modality-specific information
Tang et al. A novel micro-expression recognition algorithm using dual-stream combining optical flow and dynamic image convolutional neural networks
Zhang et al. Multi-scale spatiotemporal feature fusion network for video saliency prediction
CN114093013A (zh) 一种深度伪造人脸逆向溯源方法及系统
CN116778564B (zh) 一种身份保持的人脸匿名化方法、系统及设备
Lin et al. BRPPNet: Balanced privacy protection network for referring personal image privacy protection
Li et al. Decoupled pose and similarity based graph neural network for video person re-identification
Zhao et al. ChildPredictor: A child face prediction framework with disentangled learning
CN112668401B (zh) 一种基于特征解耦合的人脸隐私保护方法和装置
Jang et al. L-GAN: landmark-based generative adversarial network for efficient face de-identification
Fu et al. Masnet: A robust deep marine animal segmentation network
Liu et al. Embedded autoencoders: A novel framework for face de-identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant