CN116778564A - 一种身份保持的人脸匿名化方法、系统及设备 - Google Patents
一种身份保持的人脸匿名化方法、系统及设备 Download PDFInfo
- Publication number
- CN116778564A CN116778564A CN202311069966.6A CN202311069966A CN116778564A CN 116778564 A CN116778564 A CN 116778564A CN 202311069966 A CN202311069966 A CN 202311069966A CN 116778564 A CN116778564 A CN 116778564A
- Authority
- CN
- China
- Prior art keywords
- identity
- pixel
- image
- face
- appearance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 238000012423 maintenance Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000004321 preservation Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 15
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 7
- 238000011524 similarity measure Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种身份保持的人脸匿名化方法、系统及设备,首先使用特征提取模块转换图像到卷积特征图。然后,利用身份‑外观耦合的双分支网络模块分别学习外观和身份特征。这样从提取的人脸身份特征中剔除了身份无关的外观特征,而且补充了缺失的身份信息。进而,通过重建层预测外观和身份图像,其中的身份图像作为身份保持的匿名化结果。为了方便模型训练,本发明采用一个重聚模块合并外观和身份图像来重现原来的人脸,从而可以采用自监督的方式训练模型。本发明能产生本质身份信息保持、外观信息移除的匿名化人脸图像,实现匿名化的同时保有数据的可用性。
Description
技术领域
本发明属于计算机视觉技术领域,涉及一种人脸匿名化的方法、系统及设备,具体涉及一种身份保持的人脸匿名化方法、系统及设备。
背景技术
随着视频监控与人脸识别的应用普及,人脸身份隐私安全问题日益突出。为了保护人脸身份隐私,人脸匿名化成为一个重要领域。人脸匿名化技术可以应用于许多场景,例如,在新闻采访中保护受访者的隐私,医疗档案中保护患者的人脸隐私,甚至护公共数据集中的人脸隐私。
现有的人脸图像匿名化方法可以分为两种不同类型:传统的人脸匿名化方法和基于深度学习的人脸匿名化方法。传统方法使用图像模糊和马赛克等技术使面部图像的敏感区域失真,在视觉上无法识别,达到隐私保护的效果。这类方法虽然简单易用,但在保护人脸身份隐私的同时也易失去人脸属性信息,如表情、年龄。深度学习的人脸匿名化方法使用深度网络模型来修改图像中的面部和身份信息,旨在隐藏身份的同时,对其他人脸属性(如性别、年龄)的改动最小。【文献1】利用属性分类网络提取人脸的个体属性参数,并通过优化不断更新,使得生成的人脸不被识别为原始人脸。【文献2】提出一种生成模型,该模型将图库数据中具有不同身份的K个人脸进行组合,以生成匿名人脸。【文献3】提出了一种隐私保护动作检测模型,该模型使用人脸修改器来改变输入人脸的身份,并允许动作检测正常进行。【文献4】提出了一种从噪声中生成匿名人脸的生成架构,但其生成结果不够真实。【文献5】提出了一种去身份方法,该方法使用多图像感知损失,应用于人脸视频,取得了良好的效果,但生成的匿名人脸较单一。【文献6】提出了一种多样化的图像和视频人脸匿名化方法,可以灵活操纵生成的匿名化的人脸的身份,同时保证其他属性不变和看起来更加自然。
然而,上述无论传统的还是深度学习的人脸匿名化方案存在一个致命缺陷,即产生的匿名化人脸“既不能看又不能用”。换句话,匿名化后的人脸不仅人眼无法正确识别真实身份,人脸识别算法模型同样无法识别,因而制约了匿名化后人脸的后续利用。现实中存在这样一种场景,在人机世界信息交互的场合,不希望接触到人脸图像的人(如计算机操作人员)认出人脸,但又不影响计算机对人脸数据的识别分析。更一般化的业务场景,将涉密数据提供给第三方或云端进行分析时,对人脸字段匿名化处理,保护实体的隐私,但对计算机维持人脸数据的可用性。为此,亟待发展一种更高级的人脸匿名化方法,取得人不能辨认但计算机上的人脸识别程序照常工作的效果。
参考文献:
[1]Amin Jourabloo, Xi Yin, and Xiaoming Liu. Attribute preserved facede-identification. 2015 International conference on biometrics (ICB), pp.278–285, 2015.
[2]Blaˇz Meden, Refik Can Mallı, SebastjanFabijan, Hazım KemalEkenel, VitomirStruc, and Peter Peer. Face deidentificationwith generativedeep neural networks. IET Signal Processing, 11(9): 1046–1054, 2017.
[3]Zhongzheng Ren, Yong Jae Lee, and Michael S Ryoo. Learning toanonymize faces for privacy preserving action detection. ECCV, pp. 620–636,2018.
[4]HakonHukkelas, Rudolf Mester, and Frank Lindseth. Deepprivacy: Agenerative adversarial network for face anonymization. InternationalSymposium on Visual Computing, pp. 565–578, 2019.
[5]Oran Gafni, Lior Wolf, and Yaniv Taigman. Live facedeidentification in video. ICCV, pp. 9378–9387, 2019.
[6]Tianxiang Ma, Dongze Li, Wei Wang Jing Dong, Face Anonymization byManipulating Decoupled Identity Representation, arXiv:2105.11137, 2021。
发明内容
为了解决上述技术问题,本发明结合身份与外观成分的解耦模型,提供了一种身份保持的人脸匿名化方法、系统及设备,实现匿名化的同时最大限度维护数据的可用性。
本发明的方法所采用的技术方案是:一种身份保持的人脸匿名化方法,包括以下步骤:
步骤1:将人脸图像转化为卷积特征图;
步骤2:将步骤1中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络,分别学习外观和身份特征;
步骤3:将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像,其中的身份图像作为身份保持的匿名化结果;
步骤4:合并步骤3中获得的外观图像和身份图像,重现原来的人脸。
作为优选,步骤1中,采用特征提取网络将人脸图像转化为卷积特征图;所述特征提取网络是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络。
作为优选,步骤2中,所述身份-外观耦合的双分支网络,由若干残差通道注意力块、若干残差空间注意力块和耦合块级联而成;
所述残差空间注意力块,由五个卷积层及Sigmoid函数层、逐像素相加层和两个逐像素相乘层组成;所述五个卷积层分别为F3N8、F1N16、F3N1、F1N16和F3N32;所述输入经过所述F3N8后,分为两支,一支由F1N16、F3N1和Sigmoid函数层组成,另一支由F1N16和F3N32组成;两支输出经过所述逐像素相乘层后,与输入通过逐像素相加层后,再与耦合块输出经过所述逐像素相乘层后输出;
所述残差通道注意力块,由五个卷积层及Sigmoid函数层、逐像素相加层、两个逐像素相乘层和全局平均池化层组成;所述五个卷积层分别为F3N8、F1N16、F1N32、F1N16和F3N32;所述输入经过所述F3N8后,分为两支,一支由F1N16、全局平均池化层、F1N32和Sigmoid函数层组成,另一支由F1N16和F3N32组成;两支输出经过所述逐像素相乘层后,与输入通过逐像素相加层后,再与耦合块输出值用常数1减去后经过所述逐像素相乘层后输出;
所述耦合块,由顺序连接的拼接层、全局平均池化层、F1N8、F1N32和Sigmoid函数层;所述残差空间注意力块的F3N8和所述残差通道注意力块的F3N8输出经过拼接层后、依次经过所述全局平均池化层、F1N8、F1N32和Sigmoid函数层后输出。
作为优选,步骤3中,利用重建网络将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像;所述重建网络,是由两个串联的卷积层组成的网络。
作为优选,步骤4中,采用重聚网络合并步骤3中获得的外观图像和身份图像;
所述重聚网络,由六个卷积层及Sigmoid函数、两个逐像素相加层、两个逐像素相乘层组成;所述六个卷积层包括F3N8、F3N8、F1N16、F1N16、F1N16和F1N3;所述外观图像经过F3N8和F1N16输出第一部分;所述身份图像经过F3N8和F1N16输出第二部分;所述外观图像经过F3N8后与所述身份图像经过F3N8的输出经过所述逐像素相加层F1N16、F1N3和Sigmoid函数后输出第三部分;所述第一部分与第三部分经过所述逐像素相乘层后输出第四部分,所述第三部分输出值用常数1减去后与第二部分经过所述逐像素相乘层后输出第五部分;所述第四部分与第五部分经过所述逐像素相加层后输出重构人面图像。
作为优选,采用特征提取网络将人脸图像转化为卷积特征图,利用重建网络将外观特征和身份特征分别转化为外观图像和身份图像,采用重聚网络合并外观图像和身份图像;所述特征提取网络、身份-外观耦合的双分支网络、重建网络和重聚网络,均是训练好的网络;训练过程中采用的损失函数L定义为:
;
;
;
;
;
;
其中,和/>表示平衡超参数,/>分别表示外观损失、身份损失、重建损失;/>和/>分别表示Charbonnier 罚函数和识别相似性度量函数,/>、/>分别表示外观图像、身份图像、输入人脸图像、重建人脸图像、预测图像、原始图像;/>为惩罚系数,/>表示ArcFace()人脸识别模型,将人脸图像转化为归一化识别特征,/>表示内积操作。
本发明的系统所采用的技术方案是:一种身份保持的人脸匿名化系统,包括以下模块:
第一模块,用于将人脸图像转化为卷积特征图;
第二模块,用于将第一模块中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络,分别学习外观和身份特征;
第三模块,用于将第二模块中学习的外观特征和身份特征分别转化为外观图像和身份图像,其中的身份图像作为身份保持的匿名化结果;
第四模块,用于合并第三模块中获得的外观图像和身份图像,重现原来的人脸。
本发明的设备所采用的技术方案是:一种身份保持的人脸匿名化设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现所述的身份保持的身份保持的人脸匿名化方法。
与现有的人脸匿名化方法相比,本发明具有以下的优点与积极效果:
(1)本发明将人脸图像看作外观成分与身份成分的结合体,进而通过深度学习建模,对这两部分进行解耦学习,将身份特征嵌入破坏了面部五官的草图人脸中,产生本质身份信息保持、外观信息移除的匿名化人脸图像。
(2)本发明无需特殊的训练样本,仅利用常规的人脸样本即可进行自监督训练,达到身份保持的人脸匿名化目的。
附图说明
下面使用实施例,以及具体实施方式作进一步说明本文的技术方案。另外,在说明技术方案的过程中,也使用了一些附图。对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图以及本发明的意图。
图1:本发明实施例方法的流程图;
图2:本发明实施例的身份-外观耦合的双分支网络结构图;
图3:本发明实施例的重聚网络结构图;
图4:本发明实施例的实验结果示例。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施案例对本发明做进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种身份保持的人脸匿名化方法,包括以下步骤:
步骤1:通过特征提取模块将人脸图像转化为卷积特征图;
在一种实施方式中,特征提取网络是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络。
步骤2:将步骤1中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络,分别学习外观和身份特征;
在一种实施方式中,请见图2,身份-外观耦合的双分支网络由若干残差通道注意力块、若干残差空间注意力块和耦合块级联而成;
本实施例的残差空间注意力块,由五个卷积层及Sigmoid函数层、逐像素相加层和两个逐像素相乘层组成;本实施例的五个卷积层分别为F3N8、F1N16、F3N1、F1N16和F3N32;本实施例的输入经过本实施例的F3N8后,分为两支,一支由F1N16、F3N1和Sigmoid函数层组成,另一支由F1N16和F3N32组成;两支输出经过本实施例的逐像素相乘层后,与输入通过逐像素相加层后,再与耦合块输出经过本实施例的逐像素相乘层后输出;其中,F3N32表示卷积核为3×3,输出通道为32的卷积层;F3N8表示卷积核为3×3,输出通道为8的卷积层;F3N1表示卷积核为3×3,输出通道为1的卷积层;F1N16表示卷积核为1×1,输出通道为16的卷积层。
本实施例的残差通道注意力块,由五个卷积层及Sigmoid函数层、逐像素相加层、两个逐像素相乘层和全局平均池化层(GAP)组成;本实施例的五个卷积层分别为F3N8、F1N16、F1N32、F1N16和F3N32;本实施例的输入经过本实施例的F3N8后,分为两支,一支由F1N16、全局平均池化层、F1N32和Sigmoid函数层组成,另一支由F1N16和F3N32组成;两支输出经过本实施例的逐像素相乘层后,与输入通过逐像素相加层后,再与耦合块输出值用常数1减去后经过本实施例的逐像素相乘层后输出;其中, F1N32表示卷积核为1×1,输出通道为32的卷积层。
本实施例的耦合块,由顺序连接的拼接层、全局平均池化层(GAP)、F1N8、F1N32和Sigmoid函数层;本实施例的残差空间注意力块的F3N8和本实施例的残差通道注意力块的F3N8输出经过拼接层后、依次经过本实施例的全局平均池化层(GAP)、F1N8、F1N32和Sigmoid函数层后输出。
步骤3:利用重建网络将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像,其中的身份图像作为身份保持的匿名化结果;
在一种实施方式中,重建网络是由两个串联的卷积核为3×3的卷积层组成的网络。
步骤4:采用一个重聚网络合并步骤3中获得的外观图像和身份图像,重现原来的人脸。
在一种实施方式中,请见图3,重聚网络由六个卷积层及Sigmoid函数、两个逐像素相加层、两个逐像素相乘层组成;本实施例的六个卷积层包括F3N8、F3N8、F1N16、F1N16、F1N16和F1N3;本实施例的外观图像经过F3N8和F1N16输出第一部分;本实施例的身份图像经过F3N8和F1N16输出第二部分;本实施例的外观图像经过F3N8后与本实施例的身份图像经过F3N8的输出经过本实施例的逐像素相加层F1N16、F1N3和Sigmoid函数后输出第三部分;本实施例的第一部分与第三部分经过本实施例的逐像素相乘层后输出第四部分,本实施例的第三部分输出值用常数1减去后与第二部分经过本实施例的逐像素相乘层后输出第五部分;本实施例的第四部分与第五部分经过本实施例的逐像素相加层后输出重构人面图像。
在一种实施方式中,采用特征提取网络将人脸图像转化为卷积特征图,利用重建网络将外观特征和身份特征分别转化为外观图像和身份图像,采用重聚网络合并外观图像和身份图像;
本实施例的特征提取网络、身份-外观耦合的双分支网络、重建网络和重聚网络,均是训练好的网络;训练过程中采用的损失函数L定义为:
;
;
;
;
;
;
其中,和/>表示平衡超参数,被设置为0.1和0.2;/>分别表示外观损失、身份损失、重建损失;/>和/>分别表示Charbonnier 罚函数和识别相似性度量函数,、/>分别表示外观图像、身份图像、输入人脸图像、重建人脸图像、预测图像、原始图像;/>为惩罚系数,被设置为/>;/>表示ArcFace()人脸识别模型,将人脸图像转化为归一化识别特征,/>表示内积操作。
基于本发明实现的算法对人脸匿名化的效果,图4给出了部分示例,第一、第三行为正常的人脸图像,第二、第四行为对应的匿名化后的人脸图像。即通过人脸草图风格形式,以取得人不能辨认、但计算机上的人脸识别程序照常工作的效果。同时测试了主流人脸数据集CFP-FP和AgeDB-30在本发明匿名化前后由经典人脸识别模型(CosFace、ArcFace和CurricularFace)识别的精度,相比原始人脸,匿名化后人脸的平均识别精度下降小于5%。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (7)
1.一种身份保持的人脸匿名化方法,其特征在于,包括以下步骤:
步骤1:将人脸图像转化为卷积特征图;
步骤2:将步骤1中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络,分别学习外观和身份特征;
步骤3:将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像,其中的身份图像作为身份保持的匿名化结果;
步骤4:合并步骤3中获得的外观图像和身份图像,重现原来的人脸;
采用重聚网络合并步骤3中获得的外观图像和身份图像;
所述重聚网络,由六个卷积层及Sigmoid函数、两个逐像素相加层、两个逐像素相乘层组成;所述六个卷积层包括F3N8、F3N8、F1N16、F1N16、F1N16和F1N3;所述外观图像经过F3N8和F1N16输出第一部分;所述身份图像经过F3N8和F1N16输出第二部分;所述外观图像经过F3N8后与所述身份图像经过F3N8的输出经过所述逐像素相加层F1N16、F1N3和Sigmoid函数后输出第三部分;所述第一部分与第三部分经过所述逐像素相乘层后输出第四部分,所述第三部分输出值用常数1减去后与第二部分经过所述逐像素相乘层后输出第五部分;所述第四部分与第五部分经过所述逐像素相加层后输出重构人面图像。
2.根据权利要求1所述的身份保持的人脸匿名化方法,其特征在于:步骤1中,采用特征提取网络将人脸图像转化为卷积特征图;所述特征提取网络是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络。
3.根据权利要求1所述的身份保持的人脸匿名化方法,其特征在于:步骤2中,所述身份-外观耦合的双分支网络,由若干残差通道注意力块、若干残差空间注意力块和耦合块级联而成;
所述残差空间注意力块,由五个卷积层及Sigmoid函数层、逐像素相加层和两个逐像素相乘层组成;所述五个卷积层分别为F3N8、F1N16、F3N1、F1N16和F3N32;所述输入经过所述F3N8后,分为两支,一支由F1N16、F3N1和Sigmoid函数层组成,另一支由F1N16和F3N32组成;两支输出经过所述逐像素相乘层后,与输入通过逐像素相加层后,再与耦合块输出经过所述逐像素相乘层后输出;
所述残差通道注意力块,由五个卷积层及Sigmoid函数层、逐像素相加层、两个逐像素相乘层和全局平均池化层组成;所述五个卷积层分别为F3N8、F1N16、F1N32、F1N16和F3N32;所述输入经过所述F3N8后,分为两支,一支由F1N16、全局平均池化层、F1N32和Sigmoid函数层组成,另一支由F1N16和F3N32组成;两支输出经过所述逐像素相乘层后,与输入通过逐像素相加层后,再与耦合块输出值用常数1减去后经过所述逐像素相乘层后输出;
所述耦合块,由顺序连接的拼接层、全局平均池化层、F1N8、F1N32和Sigmoid函数层;所述残差空间注意力块的F3N8和所述残差通道注意力块的F3N8输出经过拼接层后、依次经过所述全局平均池化层、F1N8、F1N32和Sigmoid函数层后输出。
4.根据权利要求1所述的身份保持的人脸匿名化方法,其特征在于:步骤3中,利用重建网络将步骤2中学习的外观特征和身份特征分别转化为外观图像和身份图像;所述重建网络,是由两个串联的卷积层组成的网络。
5.根据权利要求1-4任意一项所述的身份保持的人脸匿名化方法,其特征在于:采用特征提取网络将人脸图像转化为卷积特征图,利用重建网络将外观特征和身份特征分别转化为外观图像和身份图像,采用重聚网络合并外观图像和身份图像;
所述特征提取网络、身份-外观耦合的双分支网络、重建网络和重聚网络,均是训练好的网络;训练过程中采用的损失函数L定义为:
;
;
;
;
;
;
其中,和/>表示平衡超参数,/>分别表示外观损失、身份损失、重建损失;/>和/>分别表示Charbonnier 罚函数和识别相似性度量函数,/>、分别表示外观图像、身份图像、输入人脸图像、重建人脸图像、预测图像、原始图像;/>为惩罚系数,/>表示ArcFace()人脸识别模型,将人脸图像转化为归一化识别特征,/>表示内积操作。
6.一种身份保持的人脸匿名化系统,其特征在于,包括以下模块:
第一模块,用于将人脸图像转化为卷积特征图;
第二模块,用于将第一模块中获取的人脸卷积特征图输入到身份-外观耦合的双分支网络,分别学习外观和身份特征;
第三模块,用于将第二模块中学习的外观特征和身份特征分别转化为外观图像和身份图像,其中的身份图像作为身份保持的匿名化结果;
第四模块,用于合并第三模块中获得的外观图像和身份图像,重现原来的人脸;
采用重聚网络合并第三模块中获得的外观图像和身份图像;
所述重聚网络,由六个卷积层及Sigmoid函数、两个逐像素相加层、两个逐像素相乘层组成;所述六个卷积层包括F3N8、F3N8、F1N16、F1N16、F1N16和F1N3;所述外观图像经过F3N8和F1N16输出第一部分;所述身份图像经过F3N8和F1N16输出第二部分;所述外观图像经过F3N8后与所述身份图像经过F3N8的输出经过所述逐像素相加层F1N16、F1N3和Sigmoid函数后输出第三部分;所述第一部分与第三部分经过所述逐像素相乘层后输出第四部分,所述第三部分输出值用常数1减去后与第二部分经过所述逐像素相乘层后输出第五部分;所述第四部分与第五部分经过所述逐像素相加层后输出重构人面图像。
7.一种身份保持的人脸匿名化设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至5中任一项所述的身份保持的人脸匿名化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311069966.6A CN116778564B (zh) | 2023-08-24 | 2023-08-24 | 一种身份保持的人脸匿名化方法、系统及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311069966.6A CN116778564B (zh) | 2023-08-24 | 2023-08-24 | 一种身份保持的人脸匿名化方法、系统及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116778564A true CN116778564A (zh) | 2023-09-19 |
CN116778564B CN116778564B (zh) | 2023-11-17 |
Family
ID=87986378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311069966.6A Active CN116778564B (zh) | 2023-08-24 | 2023-08-24 | 一种身份保持的人脸匿名化方法、系统及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116778564B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114550249A (zh) * | 2022-02-15 | 2022-05-27 | Oppo广东移动通信有限公司 | 人脸图像生成方法及装置、计算机可读介质和电子设备 |
CN115131465A (zh) * | 2022-05-27 | 2022-09-30 | 西安电子科技大学 | 一种基于身份关系保持的人脸匿名图像生成及识别方法 |
CN115424314A (zh) * | 2022-07-22 | 2022-12-02 | 重庆邮电大学 | 一种可识别的人脸匿名化处理方法及系统 |
US11631208B1 (en) * | 2021-12-22 | 2023-04-18 | RealizeMD Ltd. | Systems and methods for generating clinically relevant images that preserve physical attributes of humans while protecting personal identity |
WO2023060918A1 (zh) * | 2021-10-14 | 2023-04-20 | 天翼数字生活科技有限公司 | 一种基于语义和姿态图引导的图片匿名化方法 |
-
2023
- 2023-08-24 CN CN202311069966.6A patent/CN116778564B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023060918A1 (zh) * | 2021-10-14 | 2023-04-20 | 天翼数字生活科技有限公司 | 一种基于语义和姿态图引导的图片匿名化方法 |
US11631208B1 (en) * | 2021-12-22 | 2023-04-18 | RealizeMD Ltd. | Systems and methods for generating clinically relevant images that preserve physical attributes of humans while protecting personal identity |
CN114550249A (zh) * | 2022-02-15 | 2022-05-27 | Oppo广东移动通信有限公司 | 人脸图像生成方法及装置、计算机可读介质和电子设备 |
CN115131465A (zh) * | 2022-05-27 | 2022-09-30 | 西安电子科技大学 | 一种基于身份关系保持的人脸匿名图像生成及识别方法 |
CN115424314A (zh) * | 2022-07-22 | 2022-12-02 | 重庆邮电大学 | 一种可识别的人脸匿名化处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116778564B (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yi et al. | Audio-driven talking face video generation with learning-based personalized head pose | |
Juefei-Xu et al. | Countering malicious deepfakes: Survey, battleground, and horizon | |
Lin et al. | FPGAN: Face de-identification method with generative adversarial networks for social robots | |
Meden et al. | Privacy–enhancing face biometrics: A comprehensive survey | |
Han et al. | Fighting fake news: two stream network for deepfake detection via learnable SRM | |
Tolosana et al. | DeepFakes detection across generations: Analysis of facial regions, fusion, and performance evaluation | |
Kong et al. | Appearance matters, so does audio: Revealing the hidden face via cross-modality transfer | |
CN113705290A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
Chen et al. | Unpaired deep image dehazing using contrastive disentanglement learning | |
Pan et al. | K-same-siamese-gan: K-same algorithm with generative adversarial network for facial image de-identification with hyperparameter tuning and mixed precision training | |
Jin et al. | Countering spoof: towards detecting deepfake with multidimensional biological signals | |
Liu et al. | RGB‐D human action recognition of deep feature enhancement and fusion using two‐stream convnet | |
Wu et al. | From image to video face inpainting: spatial-temporal nested GAN (STN-GAN) for usability recovery | |
CN114093013B (zh) | 一种深度伪造人脸逆向溯源方法及系统 | |
Zhang et al. | Multimodal emotion recognition by extracting common and modality-specific information | |
Tang et al. | A novel micro-expression recognition algorithm using dual-stream combining optical flow and dynamic image convolutional neural networks | |
Zhang et al. | Multi-scale spatiotemporal feature fusion network for video saliency prediction | |
CN114036553A (zh) | 一种结合k匿名的行人身份隐私保护方法 | |
Lin et al. | BRPPNet: Balanced privacy protection network for referring personal image privacy protection | |
Jiang et al. | DeepFakes detection: the DeeperForensics dataset and challenge | |
CN116778564B (zh) | 一种身份保持的人脸匿名化方法、系统及设备 | |
Zhao et al. | ChildPredictor: A child face prediction framework with disentangled learning | |
CN112668401B (zh) | 一种基于特征解耦合的人脸隐私保护方法和装置 | |
Fu et al. | Masnet: A robust deep marine animal segmentation network | |
Jang et al. | L-GAN: landmark-based generative adversarial network for efficient face de-identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |