CN112949535B - 一种基于生成式对抗网络的人脸数据身份去识别方法 - Google Patents

一种基于生成式对抗网络的人脸数据身份去识别方法 Download PDF

Info

Publication number
CN112949535B
CN112949535B CN202110277183.1A CN202110277183A CN112949535B CN 112949535 B CN112949535 B CN 112949535B CN 202110277183 A CN202110277183 A CN 202110277183A CN 112949535 B CN112949535 B CN 112949535B
Authority
CN
China
Prior art keywords
network
image
face
training
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110277183.1A
Other languages
English (en)
Other versions
CN112949535A (zh
Inventor
杨嵩林
程月华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110277183.1A priority Critical patent/CN112949535B/zh
Publication of CN112949535A publication Critical patent/CN112949535A/zh
Application granted granted Critical
Publication of CN112949535B publication Critical patent/CN112949535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的人脸数据身份去识别方法，涉及生物特征识别与人工智能安全技术领域，该方法包括：首先构建图像编码‑生成网络，用两个编码网络分别提取人脸图像的属性特征编码、表情位姿编码，组合得到第一隐向量，经映射网络得到第二隐向量，将第二隐向量送入生成网络得到输出图像，完成人脸图像属性特征与表情位姿的融合，利用换脸技术，实现对于人眼视觉的身份去识别；其次构建对抗向量映射网络，取第二隐向量输入对抗向量映射网络得到对抗隐向量，再经生成网络得到人脸识别模型识别结果差距较大、人眼视觉差距较小的对抗样本图像，通过对抗样本技术，实现人脸识别模型的身份去识别。

Description

一种基于生成式对抗网络的人脸数据身份去识别方法
技术领域
本发明涉及生物特征识别与人工智能安全技术领域，尤其是一种基于生成式对抗网络的人脸数据身份去识别方法。
背景技术
在以大数据训练为基础的人工智能时代，计算机视觉技术广泛应用于安防、追踪的任务场景，但由此带来的滥用人脸数据的安全问题，越发引起人们对保护人脸隐私必要性的重视。传统的匿名化人脸技术，比如打马赛克或模糊脸部，都具有信息损失较大的弊端，使得用户或者数据开发者都无法有效使用匿名化后的人脸数据。随着对抗样本和生成式对抗网络概念的提出，出现了以添加随机噪声、换脸为代表的两种人脸去识别(De-identify，De-id)技术。但随机噪声的扰动会造成图像质量下降，而换脸技术将以完全损失原脸信息为代价。为了满足在保护人脸数据隐私的前提下对人脸图像进行分享、开发的多样化需求，亟需一个鲁棒的模型，在不影响现有数据分布的前提下，能够灵活地对图片中的人脸进行去识别的预处理。人脸去识别技术的研究对提高人脸数据隐私安全性及防止人脸数据被滥用，具有重要现实意义和研究价值。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于生成式对抗网络的人脸数据身份去识别方法，在此算法框架下，既能够实现针对人眼视觉的去识别，即以换脸技术完全变身份，满足针对人脸数据集的去身份预处理、图像信息公开时完全匿名等场景的高强度隐私保护需求；也能够实现针对人脸识别模型的去识别，即以对抗样本技术扰动模型识别的结果，针对单个用户，在尽可能减少原图信息损失的前提下进行人脸隐私数据保护。
本发明的技术方案如下：
一种基于生成式对抗网络的人脸数据身份去识别方法，包括如下步骤：
构建图像编码-生成网络，图像编码-生成网络用于对人脸图像在隐空间的人脸属性、表情位姿进行编码与解耦，人脸图像包括人脸属性图像和表情位姿图像；
当人脸属性图像和表情位姿图像为不同人脸时，将人脸图像输入至图像编码-生成网络得到异脸新图生成图像，实现对于人眼视觉的身份去识别；
构建对抗向量-生成网络，取同脸输入时的人脸图像在隐空间的特征向量并输入至对抗向量-生成网络，得到对抗样本图像，对抗样本图像的特征为人脸识别模型识别结果差距较大、人眼视觉差距较小，实现人脸识别模型的身份去识别。
其进一步的技术方案为，构建图像编码-生成网络以及构建对抗向量-生成网络，均包括：
搭建模型框架，设置训练优化目标，根据优化目标对待训练模型进行训练。
其进一步的技术方案为，搭建图像编码-生成网络的模型框架，包括：
采用预训练好的ResNet-50网络作为人脸属性编码网络，采用Inception-V3网络作为表情位姿编码网络，采用预训练好的网络结构作为特征点编码网络，特征点编码网络用于提取表情位姿图像和输出图像的特征点编码，通过特征点编码描述人脸器官位置；
采用四层全连接神经网络作为映射网络，四层全连接神经网络的各层间采用LReLU作为激活函数；
采用预训练好的synthesis网络作为生成网络；
设置判别器，判别器用于判断经映射网络得到的第二隐向量是否服从满足输入生成网络要求的分布形式。
其进一步的技术方案为，设置图像编码-生成网络的训练优化目标，包括：
确定第一待训练模型包括表情位姿编码网络、映射网络和判别器；
采用人脸图像生成器生成多个人脸图像以及每张人脸图像对应的第二隐向量，构成二元组(image，w)数据作为第一训练数据集，其中image为人脸图像，w为第二隐向量；
设置第一训练优化目标，包括：最小化人脸属性图像、生成网络输出的输出图像分别输入至人脸属性编码网络得到的人脸属性编码间的距离，最小化表情位姿图像、输出图像输入至特征点编码网络得到的特征点编码间的距离，最小化判别器的衡量结果。
其进一步的技术方案为，根据优化目标对待训练模型进行训练，包括：
随机从第一训练数据集中抽样数据，抽样图像作为人脸属性图像和表情位姿图像输入至图像编码-生成网络的模型框架中进行训练，训练包括异脸训练与同脸训练，训练过程中得到的第二隐向量作为用于训练判别器的正样本；
当对不同人脸的人脸属性图像和表情位姿图像进行训练时，通过第一训练优化目标训练模型对于人脸属性和表情位姿的解耦能力；当对相同人脸的人脸属性图像和表情位姿图像进行训练时，通过第一训练优化目标训练模型对于输入的抽样图像的重构能力；
异脸训练与同脸训练按预设频率交替进行，每经过一轮训练更新一次第一待训练模型的参数，并重新选择抽样数据。
其进一步的技术方案为，搭建对抗向量-生成网络的模型框架，包括：
采用预训练好的ResNet-50网络作为人脸属性编码网络，采用预训练好的网络结构作为特征点编码网络，特征点编码网络用于提取表情位姿图像和对抗样本图像的特征点编码，通过特征点编码描述人脸器官位置；
采用四层全连接神经网络作为对抗向量映射网络，四层全连接神经网络的各层间采用LReLU作为激活函数，对抗向量映射网络与映射网络的神经元参数不同；
采用预训练好的synthesis网络作为生成网络。
其进一步的技术方案为，设置对抗向量-生成网络的训练优化目标，包括：
确定第二待训练模型包括对抗向量映射网络；
设置第二训练优化目标，包括：最大化同脸输入的人脸图像、对抗样本图像分别输入至人脸属性编码网络得到的人脸属性编码间的余弦相似度值，最小化表情位姿图像、对抗样本图像输入至特征点编码网络得到的特征点编码间的距离。
其进一步的技术方案为，根据优化目标对待训练模型进行训练，包括：
当图像编码-生成网络训练完成后，将从图像编码-生成网络中得到的第二隐向量输入至对抗向量-生成网络的模型框架中进行同脸训练，计算训练过程中得到的对抗隐向量的梯度，通过第二训练优化目标训练模型对于对抗样本图像扰动机器识别身份的能力；
每经过一轮训练利用梯度更新一次第二待训练模型的参数，并将生成的对抗样本图像作为下一轮训练的表情位姿图像输入至图像编码-生成网络得到更新后的第二隐向量，再进行下一轮的同脸训练。
其进一步的技术方案为，将人脸图像输入至图像编码-生成网络得到异脸新图生成图像，包括：
从人脸属性编码网络中提取人脸属性图像的人脸属性编码，从表情位姿编码网络中提取表情位姿图像的表情位姿编码；
人脸属性编码和表情位姿编码组合得到第一隐向量；
第一隐向量经过映射网络得到第二隐向量，映射网络用于将第一隐向量映射为服从满足输入生成网络要求的分布形式的第二隐向量；
将第二隐向量送入生成网络得到输出图像，完成人脸图像属性与表情位姿的融合；输出图像包括异脸新图生成图像和同脸原图重构图像。
其进一步的技术方案为，取同脸输入时的人脸图像在隐空间的特征向量并输入至对抗向量-生成网络，得到对抗样本图像，包括：
获取图像编码-生成网络中的第二隐向量作为特征向量，第二隐向量经过对抗向量映射网络得到对抗隐向量；
将对抗隐向量送入生成网络得到对抗样本图像。
本发明的有益技术效果是：
1、通过图像编码-生成网络得到异脸新图生成图像的功能，可以满足以换脸技术完全变身份的匿名化需求，并且匿名化后的图像具有较高的图像质量，便于后续数据训练或者信息公开展示；
2、以图像编码-生成网络得到同脸原图重构图像的功能为基础，取其中的第二隐向量依次输入对抗向量映射网络和生成网络中，得到人脸识别模型识别结果差距较大、人眼视觉差距较小的高质量对抗样本图像，通过扰动身份识别结果实现人脸数据隐私保护，使得去识别后的图片仍能够满足人们的分享需求。
附图说明
图1为人脸数据身份去识别方法的简易流程图。
图2为图像编码-生成网络的训练流程图。
图3为对抗向量-生成网络的训练流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于生成式对抗网络的人脸数据身份去识别方法，其流程图如图1所示，该去识别方法包括如下步骤：
步骤1：构建图像编码-生成网络。
图像编码-生成网络用于对人脸图像在隐空间的人脸属性、表情位姿进行编码与解耦，人脸图像包括人脸属性图像和表情位姿图像。
如图2所示，具体包括如下分步骤：
步骤11：搭建图像编码-生成网络的模型框架，包括：
采用预训练好的ResNet-50网络作为人脸属性编码网络，其中ResNet-50网络通过VGGFace2数据集进行预训练。采用Inception-V3网络作为表情位姿编码网络，以上两个编码网络的输出均为送入全连接层前的特征向量，两个编码网络的输出组合得到第一隐向量z。
采用预训练好的网络结构作为特征点编码网络，特征点编码网络用于提取表情位姿图像和输出图像的特征点编码，通过特征点编码描述人脸器官位置。
采用四层全连接神经网络作为映射网络M，四层全连接神经网络的各层间采用LReLU作为激活函数，映射网络M用于将第一隐向量z映射为服从满足输入生成网络G要求的分布形式的第二隐向量w。
采用预训练好的synthesis网络作为生成网络G，生成网络G用于生成输出图像，输出图像包括异脸新图生成图像和同脸原图重构图像。其中synthesis网络为取自人脸图像生成器StyleGAN在人像照片高清数据集FFHQ上训练好的图像合成网络。
设置判别器Dw，判别器Dw用于判断经映射网络M得到的第二隐向量w是否服从满足输入生成网络G要求的分布形式。
步骤12：设置图像编码-生成网络的训练优化目标，包括：
确定第一待训练模型包括表情位姿编码网络、映射网络M和判别器Dw。
采用人脸图像生成器StyleGAN生成多个人脸图像以及每张人脸图像对应的第二隐向量，构成二元组(image，w)数据作为第一训练数据集，第一训练数据集优选设有70000组。其中image为人脸图像，人脸图像的分辨率优选为256*256，w为第二隐向量。
设置第一训练优化目标，包括：最小化人脸属性图像、输出图像分别输入至人脸属性编码网络得到的人脸属性编码间的距离，最小化表情位姿图像、输出图像输入至特征点编码网络得到的特征点编码间的距离，最小化判别器Dw的衡量结果。
步骤13：根据优化目标对待训练模型进行训练，包括：
随机从第一训练数据集中抽样数据，抽样图像作为人脸属性图像和表情位姿图像输入至图像编码-生成网络的模型框架中进行训练，训练包括异脸训练与同脸训练，训练过程中得到的第二隐向量w作为用于训练判别器Dw的正样本。
当对不同人脸的人脸属性图像和表情位姿图像进行训练时，人脸属性图像和表情位姿图像为两种图像，抽样数据为两组(image，w)，通过第一训练优化目标训练模型对于人脸属性和表情位姿的解耦能力。
当对相同人脸的人脸属性图像和表情位姿图像进行训练时，人脸属性图像和表情位姿图像为同一图像，抽样数据为一组(image，w)，通过第一训练优化目标训练模型对于输入的抽样图像的重构能力；
异脸训练与同脸训练按预设频率交替进行，每经过一轮训练更新一次第一待训练模型的参数，并重新选择抽样数据作为下一轮训练的输入。
经过上述训练的结果为能够实现异脸图像输入的解耦功能、同脸图像输入的重构功能。
步骤2：当人脸属性图像和表情位姿图像为不同人脸时，将人脸图像输入至图像编码-生成网络得到异脸新图生成图像，实现对于人眼视觉的身份去识别。
具体包括如下分步骤：
步骤21：从人脸属性编码网络中提取人脸属性图像的人脸属性编码，从表情位姿编码网络中提取表情位姿图像的表情位姿编码。
步骤22：人脸属性编码和表情位姿编码组合得到第一隐向量z。
步骤23：第一隐向量z经过映射网络M得到第二隐向量w。
步骤24：将第二隐向量w送入生成网络G得到输出图像，完成人脸图像属性与表情位姿的融合。通过图像编码-生成网络得到异脸新图生成图像能够满足以换脸技术完全变身份的匿名化需求，并且匿名化后的图像具有较高的图像质量。
可选的，当人脸属性图像和表情位姿图像为相同人脸时，将人脸图像输入至图像编码-生成网络得到同脸原图重构图像，作为训练对抗向量-生成网络的基础。
步骤3：构建对抗向量-生成网络。
如图3所示，具体包括如下分步骤：
步骤31：搭建对抗向量-生成网络的模型框架，包括：
采用预训练好的ResNet-50网络作为人脸属性编码网络，采用预训练好的网络结构作为特征点编码网络，特征点编码网络用于提取表情位姿图像和对抗样本图像的特征点编码，通过特征点编码描述人脸器官位置。
采用四层全连接神经网络作为对抗向量映射网络Madv，四层全连接神经网络的各层间采用LReLU作为激活函数，对抗向量映射网络Madv用于将第二隐向量w映射为对抗隐向量wadv，对抗向量映射网络Madv与映射网络M的神经元参数不同，因此得到不同的隐向量。
采用预训练好的synthesis网络作为生成网络G。
步骤32：设置对抗向量-生成网络的训练优化目标，包括：
确定第二待训练模型包括对抗向量映射网络Madv。
设置第二训练优化目标，包括：最大化同脸输入的人脸图像(也即人脸属性图像)、对抗样本图像分别输入至人脸属性编码网络得到的人脸属性编码间的余弦相似度值，最小化表情位姿图像、对抗样本图像输入至特征点编码网络得到的特征点编码间的距离。
步骤33：根据优化目标对待训练模型进行训练，包括：
当图像编码-生成网络训练完成后，将从图像编码-生成网络中得到的第二隐向量w输入至对抗向量-生成网络的模型框架中进行同脸训练，计算训练过程中得到的对抗隐向量wadv的梯度，通过第二训练优化目标训练模型对于对抗样本图像扰动机器识别身份的能力。
每经过一轮训练利用梯度更新一次第二待训练模型的参数，并将生成的对抗样本图像作为下一轮训练的表情位姿图像输入至图像编码-生成网络得到更新后的第二隐向量w，再进行下一轮的同脸训练，以提高编码网络对于输入原图与对抗样本的区分能力。
经过上述训练的结果为生成的对抗样本图像能够扰动原图像中的机器识别身份的结果。
步骤4：取同脸输入时的人脸图像在隐空间的特征向量并输入至对抗向量-生成网络，得到对抗样本图像，对抗样本图像的特征为人脸识别模型识别结果差距较大、人眼视觉差距较小，实现人脸识别模型的身份去识别。
具体包括如下分步骤：
步骤41：获取图像编码-生成网络中的第二隐向量w作为特征向量，第二隐向量w经过对抗向量映射网络Madv得到对抗隐向量wadv。
步骤42：将对抗隐向量wadv送入生成网络G得到对抗样本图像，该对抗样本图像通过扰动身份识别结果实现人脸数据隐私保护，使得去识别后的图片仍能够满足人们的分享需求，比如经处理的图片仍能被展示在微博、脸书等社交平台。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (8)

1.一种基于生成式对抗网络的人脸数据身份去识别方法，其特征在于，所述去识别方法包括：
构建图像编码-生成网络，包括搭建模型框架；所述图像编码-生成网络用于对人脸图像在隐空间的人脸属性、表情位姿进行编码与解耦，所述人脸图像包括人脸属性图像和表情位姿图像；
当所述人脸属性图像和表情位姿图像为不同人脸时，将所述人脸图像输入至所述图像编码-生成网络得到异脸新图生成图像，实现对于人眼视觉的身份去识别；当所述人脸属性图像和表情位姿图像为相同人脸时，将所述人脸图像输入至所述图像编码-生成网络得到同脸原图重构图像，作为训练对抗向量-生成网络的基础；
构建对抗向量-生成网络，包括搭建模型框架；取同脸输入时的人脸图像在隐空间的特征向量并输入至所述对抗向量-生成网络，得到对抗样本图像，所述对抗样本图像的特征为人脸识别模型识别结果差距较大、人眼视觉差距较小，实现人脸识别模型的身份去识别；
搭建所述图像编码-生成网络的模型框架，包括：采用预训练好的ResNet-50网络作为人脸属性编码网络，采用Inception-V3网络作为表情位姿编码网络，两个编码网络的输出均为送入全连接层前的特征向量；采用预训练好的网络结构作为特征点编码网络，所述特征点编码网络用于提取所述表情位姿图像和输出图像的特征点编码，通过所述特征点编码描述人脸器官位置；
采用四层全连接神经网络作为映射网络，所述四层全连接神经网络的各层间采用LReLU作为激活函数；
采用预训练好的synthesis网络作为生成网络；
设置判别器，所述判别器用于判断经所述映射网络得到的第二隐向量是否服从满足输入所述生成网络要求的分布形式；所述第二隐向量还作为同脸输入时的人脸图像在隐空间的特征向量；
搭建所述对抗向量-生成网络的模型框架，包括：
采用预训练好的ResNet-50网络作为人脸属性编码网络，采用预训练好的网络结构作为特征点编码网络，所述特征点编码网络用于提取所述表情位姿图像和对抗样本图像的特征点编码，通过所述特征点编码描述人脸器官位置；
采用四层全连接神经网络作为对抗向量映射网络，所述四层全连接神经网络的各层间采用LReLU作为激活函数，所述对抗向量映射网络与映射网络的神经元参数不同；
采用预训练好的synthesis网络作为生成网络。
2.根据权利要求1所述的基于生成式对抗网络的人脸数据身份去识别方法，其特征在于，所述构建图像编码-生成网络以及构建对抗向量-生成网络，还包括：
设置训练优化目标，根据所述优化目标对待训练模型进行训练。
3.根据权利要求2所述的基于生成式对抗网络的人脸数据身份去识别方法，其特征在于，设置所述图像编码-生成网络的训练优化目标，包括：
确定第一待训练模型包括所述表情位姿编码网络、映射网络和判别器；
采用人脸图像生成器生成多个所述人脸图像以及每张所述人脸图像对应的第二隐向量，构成二元组（image，w）数据作为第一训练数据集，其中image为所述人脸图像，w为所述第二隐向量；
设置第一训练优化目标，包括：最小化所述人脸属性图像、所述生成网络输出的输出图像分别输入至所述人脸属性编码网络得到的人脸属性编码间的距离，最小化所述表情位姿图像、输出图像输入至所述特征点编码网络得到的特征点编码间的距离，最小化所述判别器的衡量结果。
4.根据权利要求3所述的基于生成式对抗网络的人脸数据身份去识别方法，其特征在于，根据所述优化目标对待训练模型进行训练，包括：
随机从所述第一训练数据集中抽样数据，抽样图像作为所述人脸属性图像和表情位姿图像输入至所述图像编码-生成网络的模型框架中进行训练，训练包括异脸训练与同脸训练，训练过程中得到的第二隐向量作为用于训练所述判别器的正样本；
当对不同人脸的所述人脸属性图像和表情位姿图像进行训练时，通过第一训练优化目标训练模型对于人脸属性和表情位姿的解耦能力；当对相同人脸的所述人脸属性图像和表情位姿图像进行训练时，通过第一训练优化目标训练模型对于输入的抽样图像的重构能力；
所述异脸训练与同脸训练按预设频率交替进行，每经过一轮训练更新一次所述第一待训练模型的参数，并重新选择抽样数据。
5.根据权利要求2所述的基于生成式对抗网络的人脸数据身份去识别方法，其特征在于，设置所述对抗向量-生成网络的训练优化目标，包括：
确定第二待训练模型包括所述对抗向量映射网络；
设置第二训练优化目标，包括：最大化同脸输入的人脸图像、对抗样本图像分别输入至人脸属性编码网络得到的人脸属性编码间的余弦相似度值，最小化所述表情位姿图像、对抗样本图像输入至所述特征点编码网络得到的特征点编码间的距离。
6.根据权利要求5所述的基于生成式对抗网络的人脸数据身份去识别方法，其特征在于，根据所述优化目标对待训练模型进行训练，包括：
当所述图像编码-生成网络训练完成后，将从所述图像编码-生成网络中得到的第二隐向量输入至所述对抗向量-生成网络的模型框架中进行同脸训练，计算训练过程中得到的对抗隐向量的梯度，通过第二训练优化目标训练模型对于对抗样本图像扰动机器识别身份的能力；
每经过一轮训练利用所述梯度更新一次所述第二待训练模型的参数，并将生成的对抗样本图像作为下一轮训练的表情位姿图像输入至所述图像编码-生成网络得到更新后的第二隐向量，再进行下一轮的同脸训练。
7.根据权利要求3所述的基于生成式对抗网络的人脸数据身份去识别方法，其特征在于，所述将所述人脸图像输入至所述图像编码-生成网络得到异脸新图生成图像，包括：
从所述人脸属性编码网络中提取所述人脸属性图像的人脸属性编码，从所述表情位姿编码网络中提取所述表情位姿图像的表情位姿编码；
所述人脸属性编码和表情位姿编码组合得到第一隐向量；
所述第一隐向量经过所述映射网络得到第二隐向量，所述映射网络用于将所述第一隐向量映射为服从满足输入所述生成网络要求的分布形式的所述第二隐向量；
将所述第二隐向量送入所述生成网络得到输出图像，完成人脸图像属性与表情位姿的融合；所述输出图像包括所述异脸新图生成图像和同脸原图重构图像。
8.根据权利要求1所述的基于生成式对抗网络的人脸数据身份去识别方法，其特征在于，所述取同脸输入时的人脸图像在隐空间的特征向量并输入至所述对抗向量-生成网络，得到对抗样本图像，包括：
获取所述图像编码-生成网络中的第二隐向量作为特征向量，所述第二隐向量经过所述对抗向量映射网络得到对抗隐向量；
将所述对抗隐向量送入所述生成网络得到所述对抗样本图像。
CN202110277183.1A 2021-03-15 2021-03-15 一种基于生成式对抗网络的人脸数据身份去识别方法 Active CN112949535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110277183.1A CN112949535B (zh) 2021-03-15 2021-03-15 一种基于生成式对抗网络的人脸数据身份去识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110277183.1A CN112949535B (zh) 2021-03-15 2021-03-15 一种基于生成式对抗网络的人脸数据身份去识别方法

Publications (2)

Publication Number Publication Date
CN112949535A CN112949535A (zh) 2021-06-11
CN112949535B true CN112949535B (zh) 2022-03-11

Family

ID=76229917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110277183.1A Active CN112949535B (zh) 2021-03-15 2021-03-15 一种基于生成式对抗网络的人脸数据身份去识别方法

Country Status (1)

Country Link
CN (1) CN112949535B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361659B (zh) * 2021-07-16 2023-08-22 广东工业大学 一种基于隐空间主成分分析的图像可控生成方法及系统
CN113674187B (zh) * 2021-08-02 2024-09-24 厦门美图之家科技有限公司 图像重构方法、系统、终端设备及存储介质
CN114120412B (zh) * 2021-11-29 2022-12-09 北京百度网讯科技有限公司 图像处理方法和装置
CN114241569B (zh) * 2021-12-21 2024-01-02 中国电信股份有限公司 人脸识别攻击样本的生成方法、模型训练方法及相关设备
KR20230133755A (ko) * 2022-03-10 2023-09-19 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 모델 트레이닝 방법 및 장치, 아이덴티티 익명화 방법 및 장치, 디바이스, 저장 매체, 그리고 프로그램 제품
CN114862699B (zh) * 2022-04-14 2022-12-30 中国科学院自动化研究所 基于生成对抗网络的人脸修复方法、装置及存储介质
CN114936591B (zh) * 2022-04-24 2024-08-20 支付宝(杭州)信息技术有限公司 特征补齐方法及装置、特征补齐模型、介质、设备及产品
CN114817986B (zh) * 2022-04-24 2024-06-25 海信集团控股股份有限公司 一种保护人脸图像隐私的方法及电子设备
CN116311481B (zh) * 2023-05-19 2023-08-25 广州视景医疗软件有限公司 一种增强视线估计模型的构建方法、装置及存储介质
CN117763523B (zh) * 2023-12-05 2024-07-02 浙江大学 一种抗梯度下降的隐私保护人脸识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9799096B1 (en) * 2014-07-08 2017-10-24 Carnegie Mellon University System and method for processing video to provide facial de-identification
CN111476200A (zh) * 2020-04-27 2020-07-31 华东师范大学 基于生成对抗网络的人脸去识别化生成方法
CN112084962A (zh) * 2020-09-11 2020-12-15 贵州大学 基于生成式对抗网络脸部隐私保护方法
CN112101087A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 一种面部图像身份去识别方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508669B (zh) * 2018-11-09 2021-07-23 厦门大学 一种基于生成式对抗网络的人脸表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9799096B1 (en) * 2014-07-08 2017-10-24 Carnegie Mellon University System and method for processing video to provide facial de-identification
CN111476200A (zh) * 2020-04-27 2020-07-31 华东师范大学 基于生成对抗网络的人脸去识别化生成方法
CN112101087A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 一种面部图像身份去识别方法、装置及电子设备
CN112084962A (zh) * 2020-09-11 2020-12-15 贵州大学 基于生成式对抗网络脸部隐私保护方法

Also Published As

Publication number Publication date
CN112949535A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949535B (zh) 一种基于生成式对抗网络的人脸数据身份去识别方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN112419327A (zh) 一种基于生成对抗网络的图像分割方法、系统和装置
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN114417427B (zh) 一种面向深度学习的数据敏感属性脱敏系统及方法
CN112633234B (zh) 人脸去眼镜模型训练、应用方法及其装置、设备和介质
CN115914505B (zh) 基于语音驱动数字人模型的视频生成方法及系统
WO2021177596A1 (en) Fast bi-layer neural synthesis of one-shot realistic images of neural avatar
CN116524125A (zh) 一种元宇宙聚合方法及平台
CN114783017A (zh) 基于逆映射的生成对抗网络优化方法及装置
CN111274946B (zh) 一种人脸识别方法和系统及设备
CN115795406A (zh) 一种可逆的人脸匿名化处理系统
CN116453025A (zh) 一种缺帧环境下融合时空信息的排球比赛群体行为识别方法
CN115424314A (zh) 一种可识别的人脸匿名化处理方法及系统
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
CN111737688A (zh) 基于用户画像的攻击防御系统
CN114723012B (zh) 基于分布式训练系统的计算方法和装置
CN116958306A (zh) 图像合成方法和装置、存储介质及电子设备
CN114612991A (zh) 攻击人脸图片的转换方法及装置、电子设备及存储介质
CN115131465A (zh) 一种基于身份关系保持的人脸匿名图像生成及识别方法
CN115708135A (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN115147921A (zh) 基于多域信息融合的重点区域目标异常行为检测与定位方法
CN113887577A (zh) 一种基于微观事件图谱的细粒度电信网络反欺诈检测方法
CN113762055A (zh) 图像处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant