CN114169002A - 一种关键点差分隐私驱动的人脸图像隐私保护方法 - Google Patents

一种关键点差分隐私驱动的人脸图像隐私保护方法 Download PDF

Info

Publication number
CN114169002A
CN114169002A CN202111485366.9A CN202111485366A CN114169002A CN 114169002 A CN114169002 A CN 114169002A CN 202111485366 A CN202111485366 A CN 202111485366A CN 114169002 A CN114169002 A CN 114169002A
Authority
CN
China
Prior art keywords
face
image
key point
privacy
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111485366.9A
Other languages
English (en)
Inventor
匡振中
沈英杰
俞俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111485366.9A priority Critical patent/CN114169002A/zh
Publication of CN114169002A publication Critical patent/CN114169002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种关键点差分隐私驱动的人脸图像隐私保护方法，首先进行数据预处理，构建关键点标识匿名空间；然后构建匿名人脸生成对抗网络结构，确定匿名人脸生成对抗网络优化目标函数；获得改进后的应用于匿名人脸关键点标识的差分隐私算法；最后通过预处理后的数据集，对匿名人脸生成对抗网络进行训练，输出最终结果。本方法对图像中人脸的面部关键点结构进行修改实现人脸身份匿名，取得了更好的数据可用性和视觉效果，在生成图像质量上更高，能够保持原本的非身份属性，且不需要使用任何属性标签。

Description

一种关键点差分隐私驱动的人脸图像隐私保护方法
技术领域
本发明属于图像隐私保护领域，具体涉及一种关键点差分隐私驱动的人脸图像隐私保护方法。随着大数据时代的快速发展，人脸数据作为最容易被泄露的个人数据之一，其隐私安全受到严重威胁。本发明提出了一种人脸关键点驱动的人脸图像隐私保护技术，通过使用差分隐私理论对人脸关键点标识进行匿名化处理，改变其面部几何结构来实现人脸图像的匿名化以保护身份信息。
背景技术
随着互联网多元化服务和社交网络平台的爆炸式增长，规模庞大的用户在社交网络平台上进行海量的信息交互，使得社交网络中存在巨量以视觉媒体为主的共享数据。这些人脸图像的爆炸性增长以及它们在社交媒体中的广泛传播和易访问性，个人身份信息的安全和隐私成为前所未有的挑战。为了解决隐私问题，《通用数据保护条例》(GDPR)等限制性法律法规已经生效。GDPR要求研究者需要获得个人定期同意才能使用其个人数据，以保证数据隐私，但是，这也使得创建包括人脸在内的高质量数据集变得极具挑战性。数据的缺乏将增加研究人员为设计智能算法的难度。优秀的图像数据对计算机视觉技术带来的便利也颇具吸引力。因此，在保护人们身份的同时，使用人脸图像非常重要。
事实上，像人脸检测、行人跟踪、统计数据分析等智能算法大多只关注一般性信息，而不是捕捉身份信息敏感的特征。给定一张人脸图像，人脸去识别，也称为人脸匿名化，是指在隐藏真实身份的同时生成另一张具有相似外观和相同背景的图像。尽管已经做出了广泛的努力，但现有的人脸去识别技术要么在照片现实中不够，要么无法很好地平衡隐私和实用性。因此为了确保发布数据的安全性和可用性，可靠的匿名化方法至关重要。
上面提到的所有问题和困境都可以归结为一个问题：给定一张人脸图像，我们如何创建另一张具有相似外观和相同背景的图像，而真实身份被隐藏，人脸检测器仍然可以工作？传统的匿名技术主要是基于模糊处理的，并且总是显著地改变原始人脸图像。因此人脸身份去识别技术主要考虑两个方面：身份信息去除和保留原始数据的非身份信息。传统的人脸身份去识别方法以图像失真方法为主，例如黑框覆盖、模糊、像素化或者加入随机噪声等，这些方法使图像中的人脸区域失真或者遮盖人脸的关键敏感区域，以去除或隐藏身份信息。这种方法的优点在于实现上不需要复杂的算法技术，运算速度快，处理后的结果对人眼识别具有足够的匿名性。但是Oh等人分析了人脸身份识别器在掩盖或模糊下的性能，表明这些常见的模糊处理方法尤其对深度识别器来说是不安全的。同时黑框覆盖、噪声等处理后的结果数据被严重破坏，失去数据的可用性。
近年来，随着深度学习技术的不断发展，2014年Goodfellow等人提出了生成对抗网络(GAN)。GAN代表了一个鼓舞人心的框架，通过目标函数生成清晰逼真的自然人脸图像样本。因此，它在最近的人脸去识别技术中变得很流行，可分为三类。基于属性操作的方法。人脸属性是人脸识别的关键，一些方法通过对属性的处理来实现去识别。Li等人提出了属性选择隐私保护(PPAS)算法来选择和更新人脸属性，使得任何属性的分布都接近其真实分布，并在隐私保证的情况下为人脸匿名提供可测量的隐私。基于条件修复的方法。由于人脸是推断一个人身份的最有力的线索之一，许多研究通过有条件地修复人脸区域来掩盖敏感的身份信息。Sun等人基于68个面部关键点生成了一个逼真的头部修复。基于条件ID交换的方法。用其他人替换人脸图像中的身份是一种直接但有效的人脸匿名化方法。Meden等人提出了一种去识别流程，即每个生成的面都是实体的组合。CIAGAN利用面部关键点和一个身份识别热向量来去除人的身份特征，同时仍然保留必要的特征以允许面部和身体检测器工作。
面部身份隐私保护的一个关键点就是人脸匿名的有效性以及其与数据复用性之间的平衡。但是，在目前大多数方法注重匿名的有效性，而忽略了非身份属性信息的可用性。
综上所述，面部身份隐私保护领域是一个值得深入研究的课题。本专利拟从该领域中几个关键点切入展开探讨，解决目前方法存在的问题。具体而言，现有方法主要存在以下两个方面的挑战：
(1)针对匿名后的人脸图像，如何保留非身份信息对提高数据的可复用性非常重要。数据可复用性的缺失将增加研究人员为设计智能算法的难度，因此做到保留非身份信息的情况下实现人脸匿名是一个很大的挑战。
(2)针对匿名后的人脸图像，如何防止攻击他人隐私信息对提高匿名方法的安全性非常重要。其目前的大多数深度学习方法生成图像不够逼真或者使用他人的id与本身的非身份信息进行融合以实现匿名，但会出现侵犯他人隐私的嫌疑。因此，如何全面评估人脸匿名方法的有效性也是目前视觉隐私保护的一个难点问题。
发明内容
本发明提出了一种关键点差分隐私驱动的人脸图像隐私保护方法。本发明主要包含三点：1、提出一种全新的生成式框架用于人脸图像匿名，能够通过参数调节灵活地实现可复用图像数据隐私保护；2、提出将人脸的关键点标识进行差分隐私保护，并作为输入条件用于去识别人脸图像的生成；3、通过引入风格编码器，将原始图像的风格样式迁移到匿名图像中，在不需要额外属性标注的情况下提高非身份属性的保持和生成图像的质量。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：数据预处理；
步骤2：构建匿名人脸生成对抗网络结构；
步骤3：确定匿名人脸生成对抗网络优化目标函数；
步骤4：获得改进后的应用于匿名人脸关键点标识的差分隐私算法；
步骤5：通过步骤1预处理后的数据集，对匿名人脸生成对抗网络进行训练，输出最终结果。
步骤1，具体步骤如下：
1-1.数据准备。
选取人脸数据集(例如CelebA-HQ数据集)，使用人脸关键点检测器(例如facealignment，dlib)检测人脸数据集图像，得到人脸关键点。
1-2.构建关键点标识匿名空间。
对关键点进行分析得到身份相关的16个可能包含身份信息的分量，这些分量组成16维度的关键点标识向量，包括了眉毛长度，眉毛弧度，眉毛间距，眉眼距离，眼睛间距，眼睛宽度，眼睛大小，鼻梁长度，鼻尖高度，鼻子宽度，嘴鼻距离，嘴鼻距离，上、下嘴唇厚度，人脸宽度，下巴弧度。
步骤2构建匿名人脸生成对抗网络结构，具体步骤如下：
所述的匿名人脸生成对抗网络包括生成器、真假判别器和风格判别器。
2-1.构建生成器G。
所述的生成器由风格编码器、融合器和遮罩生成器构成。风格编码器由6个残差块组成，其中最后一层结果求和并输出512维向量并将其作为风格特征向量。融合器由5个下采样残差块和8个上采样残差块组成，其中每个上采样块加入了AdaIN块并在最后一层采用Tanh作为激活函数。融合器将关键点标识进行解码，并将风格特征向量以仿射参数嵌入到AdaIN块中。遮罩生成器由3个下采样残差块和5个上采样残差块组成，最后生成单通道的脸部语义遮罩。该遮罩能够将生成的人脸图像更好地融合到背景。
2-2.构建真假判别器D。
真假判别器与风格编码器相比，判别器网络在末端具有额外的下采样残差块和一层全连接网络，最后输出输入图像的真假得分。真假判别器用于判断输入图像是否为真实人脸图像，以及是否和输入的关键点标识相匹配；
2-3.使用预训练的VGG19模型和VGGface模型作为风格判别器。
步骤3确定匿名人脸生成对抗网络优化目标函数，具体如下：
所述的人脸生成对抗网络优化目标函数如下：
Figure BDA0003397347890000061
其中包括对抗损失函数
Figure BDA0003397347890000063
人脸图像风格损失函数
Figure BDA0003397347890000064
特征匹配损失函数
Figure BDA0003397347890000065
和人脸语义损失函数
Figure BDA0003397347890000066
3-1.对抗损失函数。
采用pix2pix和StyleGAN结合的思想来控制图像不同内容的生成，以保证隐私属性和非隐私属性的可控制性。具体操作是将风格编码器提取到的原始图像xr的风格特征向量和关键点标识ξ作为条件输入到融合器中，风格特征向量控制融合器网络中的AdaIN块生成图像xf；随后将关键点标识和对应生成图像xf为一组输入判别器进行判别，生成器和真假判别器的对抗损失函数表示为：
xf＝G(ξ,xr)
Figure BDA0003397347890000062
3-2.人脸图像风格损失函数。
使用预训练的VGG19模型和VGGface模型作为风格判别器，计算生成图像xf与原始图像之间的风格损失。具体过程是利用风格判别器特征层的输出分别得到生成图像和原始图像的特征图，通过计算两个特征图之间的L1距离差，使得原始图像与生成图像的风格保持一致。从数学形式上可表示为：
Figure BDA0003397347890000071
其中T为所选择的特征层集合，VGGi是风格判别器第i层提取到的中间特征。
3-3.特征匹配损失函数。
为了提高网络模型训练的稳定性以及生成图像的质量，引入特征匹配损失函数。具体来说，与风格损失函数类似，针对原始图像和生成图像分别从真假判别器中提取多个中间层特征，并进行多尺度特征匹配。令特征匹配损失函数为：
Figure BDA0003397347890000072
其中T为所选择的特征层集合，Di为真假判别器第i层提取到的中间特征。
3-4.人脸语义损失函数。
为了更好得保持背景并且的减少网络的优化难度，采用一个额外的脸部语义生成器来生成一个只包含脸部语义遮罩M。损失函数从数学形式上可表示为：
Figure BDA0003397347890000073
其中Bξ表示人脸关键点标识的人脸区域。
步骤4获得改进后的应用于匿名人脸关键点标识的差分隐私算法，具体如下：
差分隐私理论算法：对给定相邻数据集U和U’，二者互相之间至多相差一条记录，即|DΔD'|≤1。给定一个隐私算法M，S为M的取值范围，若算法M在数据集U和U’上任意输出结果S满足下列不等式，则M满足ε-差分隐私。
Pr[M(U)∈S]≤eεPr[M(U')∈S]
这个参数ε通常称为隐私预算，是在相邻数据集上看到相同输出的可能性概率比的界限。ε的值越小，隐私保护越强。
使用拉普拉斯机制对关键点标识添加随机扰动来实现差分隐私。令Rξ(X)为关键点标识集合，f(X)是X到Rξ的映射函数，X和X’是数据集U的任意两个图像，Δf是全局隐私敏感度，用于校准函数f(X)的噪声量，是任意X和X’的关键点标识最大L1范数，定义为：
f(X)＝Rξ(X)
Figure BDA0003397347890000081
通过M(X)函数对标识向量加入拉普拉斯噪声机制进行扰动：
Figure BDA0003397347890000082
根据差分隐私定义，M(X)满足ε-差分隐私:
Figure BDA0003397347890000091
步骤5具体方法如下：
5-1.训练过程：
将步骤1预处理后的人脸数据集和关键点标识输入到构建的匿名人脸生成对抗网络中，获得生成图像，利用真假判别器判别图像的真假并计算相应损失，利用风格判别器判别生成图像和原始图像的风格一致性并计算相应损失，最后反传梯度进行网络参数的更新。
5-2.匿名人脸图像生成：
根据步骤4，通过差分隐私函数M(X)对关键点标识Rξ进行扰动，再将扰动后的关键点标识
Figure BDA0003397347890000092
和原始图像作为生成器的输入，输出最终的具有差分隐私保护的匿名人脸图像。
本发明具有的有益的效果是：
本方法对图像中人脸的面部关键点结构进行修改实现人脸身份匿名。与传统的马赛克、遮挡等方法相比，该方法取得了更好的数据可用性和视觉效果。与深度学习方法相比，在生成图像质量上更高，能够保持原本的非身份属性，且不需要使用任何属性标签。通过实验结果显然证实了所提出方法的高效性与实用性。总之，所提出的方法对人物图像的隐私保护更高效和美观。
附图说明
图1是本发明实施例整体网络架构流程图；
图2是本发明实施例匿名化过程的流程图；
图3是本发明实施例人脸的16个关键点标识匿名空间；
图4是本发明实施例不同隐私预算e下的实验指标曲线图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
基于生成对抗网络的人脸关键点标识隐私保护技术，具体整体架构流程图参看图1所示，匿名化流程图参看图2所示，定义人脸的关键点标识参看图3所示：
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：数据预处理；
1-1.数据准备。
选取人脸数据集CelebA-HQ和VGGFACE2，使用人脸关键点检测器(例如facealignment，dlib)检测人脸数据集图像，得到人脸关键点。
1-2.构建关键点标识匿名空间。
对关键点进行分析得到身份相关的16个可能包含身份信息的分量，这些分量组成16维度的关键点标识向量，包括了眉毛长度，眉毛弧度，眉毛间距，眉眼距离，眼睛间距，眼睛宽度，眼睛大小，鼻梁长度，鼻尖高度，鼻子宽度，嘴鼻距离，嘴鼻距离，上、下嘴唇厚度，人脸宽度，下巴弧度。
步骤2构建匿名人脸生成对抗网络结构，具体步骤如下：
所述的匿名人脸生成对抗网络包括生成器、真假判别器和风格判别器。
2-1.构建生成器G。
所述的生成器由风格编码器、融合器和遮罩生成器构成。风格编码器由6个残差块组成，其中最后一层结果求和并输出512维向量并将其作为风格特征向量。融合器由5个下采样残差块和8个上采样残差块组成，其中每个上采样块加入了AdaIN块并在最后一层采用Tanh作为激活函数。融合器将关键点标识进行解码，并将风格特征向量以仿射参数嵌入到AdaIN块中。遮罩生成器由3个下采样残差块和5个上采样残差块组成，最后生成单通道的脸部语义遮罩。该遮罩能够将生成的人脸图像更好地融合到背景。
2-2.构建真假判别器D。
真假判别器与风格编码器相比，判别器网络在末端具有额外的下采样残差块和一层全连接网络，最后输出输入图像的真假得分。真假判别器用于判断输入图像是否为真实人脸图像，以及是否和输入的关键点标识相匹配；
2-3.使用预训练的VGG19模型和VGGface模型作为风格判别器。
步骤3确定人脸生成对抗网络优化目标函数，具体如下：
所述的人脸生成对抗网络优化目标函数如下：
Figure BDA0003397347890000121
其中包括对抗损失函数
Figure BDA0003397347890000124
人脸图像风格损失函数
Figure BDA0003397347890000125
特征匹配损失函数
Figure BDA0003397347890000126
和人脸语义损失函数
Figure BDA0003397347890000127
3-1.对抗损失函数。
采用pix2pix和StyleGAN结合的思想来控制图像不同内容的生成，以保证隐私属性和非隐私属性的可控制性。具体操作是将风格编码器提取到的原始图像xr的风格特征向量和关键点标识ξ作为条件输入到融合器中，风格特征向量控制融合器网络中的AdaIN块生成图像xf；随后将关键点标识和对应生成图像xf为一组输入判别器进行判别，生成器和真假判别器的对抗损失函数表示为：
xf＝G(ξ,xr)
Figure BDA0003397347890000122
3-2.人脸图像风格损失函数。
使用预训练的VGG19模型和VGGface模型作为风格判别器，计算生成图像xf与原始图像之间风格损失。具体过程是利用风格判别器特征层的输出分别得到生成图像和原始图像的特征图，通过计算两个特征图之间的L1距离差，使得原始图像与生成图像的风格保持一致。从数学形式上可表示为：
Figure BDA0003397347890000123
其中T为所选择的特征层集合，VGGi是风格判别器第i层提取到的中间特征。
3-3.特征匹配损失函数。
为了提高网络模型训练的稳定性以及生成图像的质量，引入特征匹配损失函数。具体来说，与风格损失函数类似，针对原始图像和生成图像分别从真假判别器中提取多个中间层特征，并进行多尺度特征匹配。令特征匹配损失函数为：
Figure BDA0003397347890000131
其中T为所选择的特征层集合，Di为真假判别器第i层提取到的中间特征。
3-4.人脸语义损失函数。
为了更好得保持背景并且的减少网络的优化难度，采用一个额外的脸部语义生成器来生成一个只包含脸部语义遮罩M。损失函数从数学形式上可表示为：
Figure BDA0003397347890000132
其中Bξ表示人脸关键点标识的人脸区域。
步骤4：获得改进后的应用于匿名人脸关键点标识的差分隐私算法，具体如下：
差分隐私算法：
对给定相邻数据集U和U’，二者互相之间至多相差一条记录，即|DΔD'|≤1。给定一个隐私算法M，S为M的取值范围，若算法M在数据集U和U’上任意输出结果S满足下列不等式，则M满足ε-差分隐私。
Pr[M(U)∈S]≤eεPr[M(U')∈S]
这个参数ε通常称为隐私预算，是在相邻数据集上看到相同输出的可能性概率比的界限。ε的值越小，隐私保护越强。
使用拉普拉斯机制对关键点标识添加随机扰动来实现差分隐私。令Rξ(X)为关键点标识集合，f(X)是X到Rξ的映射函数，X和X’是数据集U的任意两个图像，Δf是全局隐私敏感度，用于校准函数f(X)的噪声量，是任意X和X’的关键点标识最大L1范数，定义为：
f(X)＝Rξ(X)
Figure BDA0003397347890000141
通过M(X)函数对标识向量加入拉普拉斯噪声机制进行扰动：
Figure BDA0003397347890000142
根据差分隐私定义，M(X)满足ε-差分隐私:
Figure BDA0003397347890000143
步骤5：通过步骤1预处理后的数据集，对匿名人脸生成对抗网络进行训练，输出最终结果，具体如下：
5-1.训练过程：
将步骤1预处理后的数据集和关键点标识输入到构建的匿名人脸生成对抗网络中，获得生成图像，利用真假判别器判别图像的真假并计算相应损失，利用风格判别器判别生成图像和原始图像的风格一致性并计算相应损失，最后反传梯度进行网络参数的更新。
5-2.匿名人脸图像生成：
根据步骤4，通过差分隐私函数M(X)对关键点标识Rξ进行扰动，再将扰动后的关键点标识
Figure BDA0003397347890000151
和原始图像作为生成器的输入，输出最终的具有差分隐私保护的匿名人脸图像。
5-3.为了全面评估提出方法的有效性，将其与当前优秀的方法(比如AnonymousNet、CIAGAN、DP_image等方法)进行比较，计算身份重识别率(ReID)、身份交换率(IDS)、图像质量(FID、SSIM、PSNR)和人脸的属性分类精度，综合分析方法的匿名效果，并且对不同隐私预算e下的匿名图像进行测试，分析方法在不同隐私预算下重识别率的可控性。
实验结果：
1.分别检测了本方法与模糊化、马赛克、高斯噪声、CIAGAN、AnonymousNet方法的重识别率，并且用FID、SSIM、PSNR来计算图像的质量。具体数据结果详情见表1。
表1本方法与其他方法的对比实验结果
Figure BDA0003397347890000152
Figure BDA0003397347890000161
2.分别测试了本方法在不同隐私预算下的对重识别率的可控性，并且用FID、SSIM、PSNR来计算图像的质量。具体数据结果详情见表2。
表2本方法不同隐私预算e下的对比实验结果
方法 top1_ReID top10_ReID FID SSIM PSNR
e＝0.1 0.0836 0.1873 5.3873 0.8189 23.3166
e＝0.5 0.1255 0.2581 4.4795 0.8283 23.8580
e＝1 0.1935 0.3421 3.9719 0.8372 24.4189
e＝2 0.3155 0.4934 3.5274 0.8505 25.2687
e＝4 0.5244 0.6933 3.3232 0.8656 26.3479
e＝1024 0.9190 0.9626 3.2656 0.8944 28.7426
图4是本发明实施例不同隐私预算e下的实验指标曲线图。
3.分别检测了不同隐私预算的本方法与模糊化、马赛克、高斯噪声、CIAGAN、AnonymousNet方法的IDS。具体数据结果详情见表3。
表3本方法不同隐私预算e下的IDS的实验结果
方法 IDS(score>0.25) score>0.3 score>0.35 score>0.4
e＝0.1 0.9980 0.7463 0.2445 0.0572
e＝1 0.9988 0.8417 0.3796 0.0935
e＝1024 0.9975 0.9728 0.8123 0.3605
mosaic＝15 0.9813 0.8797 0.7375 0.5609
noise＝6 0.8899 0.4299 0.1810 0.0980
Blur＝20 0.9730 0.6047 0.1745 0.0597
CIAGAN 0.9974 0.9343 0.4921 0.09094
AnonymousNet 0.9831 0.6275 0.15673 0.02535
4.不同方法下的属性分类精度如表4所示，属性分类精度包括了5个属性，分别是人脸检测率、性别、是否微笑、是否浓妆、是否年轻。
表4不同方法下的属性分类精度的实验结果
方法 detect male smiling heavy_makeup young
e＝0.1 1.00 0.9656 0.8251 0.8786 0.8780
mosaic＝15 0.12 0.4115 0.5404 0.5512 0.7360
noise＝6 0.98 0.4304 0.5319 0.5500 0.6318
Blur＝20 0.99 0.7837 0.6031 0.6213 0.8041
CIAGAN 0.99 0.8622 0.792 0.748 0.806
AnonymousNet 0.99 0.6263 0.5476 0.589 0.6581
。

Claims (6)

1.一种关键点差分隐私驱动的人脸图像隐私保护方法，其特征在于，步骤如下：
步骤1：数据预处理；
步骤2：构建匿名人脸生成对抗网络结构；
步骤3：确定匿名人脸生成对抗网络优化目标函数；
步骤4：获得改进后的应用于匿名人脸关键点标识的差分隐私算法；
步骤5：通过步骤1预处理后的数据集，对匿名人脸生成对抗网络进行训练，输出最终结果。
2.根据权利要求1所述的一种关键点差分隐私驱动的人脸图像隐私保护方法，其特征在于，步骤1具体步骤如下：
1-1.数据准备；
选取人脸数据集，使用人脸关键点检测器检测人脸数据集图像，得到人脸关键点；
1-2.构建关键点标识匿名空间；
对关键点进行分析得到身份相关的16个可能包含身份信息的分量，这些分量组成16维度的关键点标识向量，包括了眉毛长度，眉毛弧度，眉毛间距，眉眼距离，眼睛间距，眼睛宽度，眼睛大小，鼻梁长度，鼻尖高度，鼻子宽度，嘴鼻距离，嘴鼻距离，上、下嘴唇厚度，人脸宽度，下巴弧度。
3.根据权利要求2所述的一种关键点差分隐私驱动的人脸图像隐私保护方法，其特征在于，步骤2构建匿名人脸生成对抗网络结构，具体步骤如下：
所述的匿名人脸生成对抗网络包括生成器、真假判别器和风格判别器；
2-1.构建生成器G；
所述的生成器由风格编码器、融合器和遮罩生成器构成；风格编码器由6个残差块组成，其中最后一层结果求和并输出512维向量并将其作为风格特征向量；融合器由5个下采样残差块和8个上采样残差块组成，其中每个上采样块加入了AdaIN块并在最后一层采用Tanh作为激活函数；融合器将关键点标识进行解码，并将风格特征向量以仿射参数嵌入到AdaIN块中；遮罩生成器由3个下采样残差块和5个上采样残差块组成，最后生成单通道的脸部语义遮罩；该遮罩能够将生成的人脸图像更好地融合到背景；
2-2.构建真假判别器D；
真假判别器与风格编码器相比，判别器网络在末端具有额外的下采样残差块和一层全连接网络，最后输出输入图像的真假得分；真假判别器用于判断输入图像是否为真实人脸图像，以及是否和输入的关键点标识相匹配；
2-3.使用预训练的VGG19模型和VGGface模型作为风格判别器。
4.根据权利要求3所述的一种关键点差分隐私驱动的人脸图像隐私保护方法，其特征在于，步骤3确定匿名人脸生成对抗网络优化目标函数，具体如下：
所述的人脸生成对抗网络优化目标函数如下：
Figure FDA0003397347880000031
其中包括对抗损失函数
Figure FDA0003397347880000032
人脸图像风格损失函数
Figure FDA0003397347880000033
特征匹配损失函数
Figure FDA0003397347880000034
和人脸语义损失函数
Figure FDA0003397347880000035
3-1.对抗损失函数；
采用pix2pix和StyleGAN结合的思想来控制图像不同内容的生成，以保证隐私属性和非隐私属性的可控制性；具体操作是将风格编码器提取到的原始图像xr的风格特征向量和关键点标识ξ作为条件输入到融合器中，风格特征向量控制融合器网络中的AdaIN块生成图像xf；随后将关键点标识和对应生成图像xf为一组输入判别器进行判别，生成器和真假判别器的对抗损失函数表示为：
xf＝G(ξ，xr)
Figure FDA0003397347880000036
3-2.人脸图像风格损失函数；
使用预训练的VGG19模型和VGGface模型作为风格判别器，计算生成图像xf与原始图像之间风格损失；具体过程是利用风格判别器特征层的输出分别得到生成图像和原始图像的特征图，通过计算两个特征图之间的L1距离差，使得原始图像与生成图像的风格保持一致；从数学形式上可表示为：
Figure FDA0003397347880000037
其中T为所选择的特征层集合，VGGi是风格判别器第i层提取到的中间特征。
3-3.特征匹配损失函数；
为了提高网络模型训练的稳定性以及生成图像的质量，引入特征匹配损失函数；具体来说，与风格损失函数类似，针对原始图像和生成图像分别从真假判别器中提取多个中间层特征，并进行多尺度特征匹配；令特征匹配损失函数为：
Figure FDA0003397347880000041
其中T为所选择的特征层集合，Di为真假判别器第i层提取到的中间特征。
3-4.人脸语义损失函数；
为了更好得保持背景并且的减少网络的优化难度，采用一个额外的脸部语义生成器来生成一个只包含脸部语义遮罩M；损失函数从数学形式上可表示为：
Figure FDA0003397347880000042
其中Bξ表示人脸关键点标识的人脸区域。
5.根据权利要求4所述的一种关键点差分隐私驱动的人脸图像隐私保护方法，其特征在于，步骤4获得改进后的应用于匿名人脸关键点标识的差分隐私算法，具体如下：
差分隐私理论算法：对给定相邻数据集U和U’，二者互相之间至多相差一条记录，即|DΔD′|≤1；给定一个隐私算法M，S为M的取值范围，若算法M在数据集U和U’上任意输出结果S满足下列不等式，则M满足ε-差分隐私；
Pr[M(U)∈S]≤eεPr[M(U′)∈S]
这个参数ε通常称为隐私预算，是在相邻数据集上看到相同输出的可能性概率比的界限；ε的值越小，隐私保护越强；
使用拉普拉斯机制对关键点标识添加随机扰动来实现差分隐私；令Rξ(X)为关键点标识集合，f(X)是X到Rξ的映射函数，X和X′是数据集U的任意两个图像，Δf是全局隐私敏感度，用于校准函数f(X)的噪声量，是任意X和X′的关键点标识最大L1范数，定义为：
f(X)＝Rξ(X)
Figure FDA0003397347880000051
通过M(X)函数对标识向量加入拉普拉斯噪声机制进行扰动：
Figure FDA0003397347880000052
根据差分隐私定义，M(X)满足ε-差分隐私：
Figure FDA0003397347880000053
6.根据权利要求5所述的一种关键点差分隐私驱动的人脸图像隐私保护方法，其特征在于，步骤5具体方法如下：
5-1.训练过程：
将步骤1预处理后的人脸数据集和关键点标识输入到构建的匿名人脸生成对抗网络中，获得生成图像，利用真假判别器判别图像的真假并计算相应损失，利用风格判别器判别生成图像和原始图像的风格一致性并计算相应损失，最后反传梯度进行网络参数的更新；
5-2.匿名人脸图像生成：
根据步骤4，通过差分隐私函数M(X)对关键点标识Rξ进行扰动，再将扰动后的关键点标识
Figure FDA0003397347880000061
和原始图像作为生成器的输入，输出最终的具有差分隐私保护的匿名人脸图像。
CN202111485366.9A 2021-12-07 2021-12-07 一种关键点差分隐私驱动的人脸图像隐私保护方法 Pending CN114169002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111485366.9A CN114169002A (zh) 2021-12-07 2021-12-07 一种关键点差分隐私驱动的人脸图像隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111485366.9A CN114169002A (zh) 2021-12-07 2021-12-07 一种关键点差分隐私驱动的人脸图像隐私保护方法

Publications (1)

Publication Number Publication Date
CN114169002A true CN114169002A (zh) 2022-03-11

Family

ID=80483862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111485366.9A Pending CN114169002A (zh) 2021-12-07 2021-12-07 一种关键点差分隐私驱动的人脸图像隐私保护方法

Country Status (1)

Country Link
CN (1) CN114169002A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817986A (zh) * 2022-04-24 2022-07-29 海信集团控股股份有限公司 一种保护人脸图像隐私的方法及电子设备
CN115021933A (zh) * 2022-05-30 2022-09-06 杭州电子科技大学上虞科学与工程研究院有限公司 一种基于循环学习的人脸匿名方法
CN115187706A (zh) * 2022-06-28 2022-10-14 北京汉仪创新科技股份有限公司 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN115272534A (zh) * 2022-07-29 2022-11-01 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN116842626A (zh) * 2023-09-01 2023-10-03 中南大学 面向施工进度模拟的隧道钢筋网建模方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817986A (zh) * 2022-04-24 2022-07-29 海信集团控股股份有限公司 一种保护人脸图像隐私的方法及电子设备
CN115021933A (zh) * 2022-05-30 2022-09-06 杭州电子科技大学上虞科学与工程研究院有限公司 一种基于循环学习的人脸匿名方法
CN115021933B (zh) * 2022-05-30 2023-10-27 杭州电子科技大学上虞科学与工程研究院有限公司 一种基于循环学习的人脸匿名方法
CN115187706A (zh) * 2022-06-28 2022-10-14 北京汉仪创新科技股份有限公司 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN115187706B (zh) * 2022-06-28 2024-04-05 北京汉仪创新科技股份有限公司 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN115272534A (zh) * 2022-07-29 2022-11-01 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN115272534B (zh) * 2022-07-29 2024-02-02 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN116842626A (zh) * 2023-09-01 2023-10-03 中南大学 面向施工进度模拟的隧道钢筋网建模方法及系统
CN116842626B (zh) * 2023-09-01 2023-11-17 中南大学 面向施工进度模拟的隧道钢筋网建模方法及系统

Similar Documents

Publication Publication Date Title
CN114169002A (zh) 一种关键点差分隐私驱动的人脸图像隐私保护方法
Lin et al. FPGAN: Face de-identification method with generative adversarial networks for social robots
Li et al. Anonymousnet: Natural face de-identification with measurable privacy
CN111242837A (zh) 基于生成对抗网络的人脸匿名隐私保护方法
CN113537027B (zh) 基于面部划分的人脸深度伪造检测方法及系统
CN110472519A (zh) 一种基于多模型的人脸活体检测方法
CN111754637B (zh) 一种样本相似度抑制的大尺度三维人脸合成系统
CN113033511A (zh) 一种基于操控解耦身份表示的人脸匿名方法
Liu et al. A two-stage generative adversarial networks with semantic content constraints for adversarial example generation
CN115424314A (zh) 一种可识别的人脸匿名化处理方法及系统
CN115936958A (zh) 一种基于对抗学习的数据隐私保护方法
Ghafourian et al. Toward face biometric de-identification using adversarial examples
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
Brown et al. Making corgis important for honeycomb classification: Adversarial attacks on concept-based explainability tools
Xiao et al. Defed: An Edge-Feature-Enhanced Image Denoised Network Against Adversarial Attacks for Secure Internet of Things
CN116523300A (zh) 复杂电力作业场景安全风险解译方法
Bisogni et al. Multibiometric score-level fusion through optimization and training
CN112668401B (zh) 一种基于特征解耦合的人脸隐私保护方法和装置
CN111739168B (zh) 一种样本相似度抑制的大尺度三维人脸合成方法
Galiyawala et al. Dsa-pr: discrete soft biometric attribute-based person retrieval in surveillance videos
Costa et al. Improving human perception of GAN generated facial image synthesis by filtering the training set considering facial attributes
Gong et al. Stealthy Physical Masked Face Recognition Attack via Adversarial Style Optimization
CN115482595B (zh) 一种基于语义分割的特定人物视觉伪造检测与鉴别方法
Liu et al. Output-correlated adversarial attack for image translation network
Jagadeesha Facial Privacy Preservation using FGSM and Universal Perturbation attacks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination