CN116777733A - 基于生成对抗网络的人脸隐私保护方法 - Google Patents
基于生成对抗网络的人脸隐私保护方法 Download PDFInfo
- Publication number
- CN116777733A CN116777733A CN202310452187.8A CN202310452187A CN116777733A CN 116777733 A CN116777733 A CN 116777733A CN 202310452187 A CN202310452187 A CN 202310452187A CN 116777733 A CN116777733 A CN 116777733A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- face
- countermeasure network
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000010606 normalization Methods 0.000 claims abstract description 37
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 2
- 238000013508 migration Methods 0.000 abstract description 13
- 230000005012 migration Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 9
- 230000003595 spectral effect Effects 0.000 abstract description 6
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 241001074639 Eucalyptus albens Species 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229910052582 BN Inorganic materials 0.000 description 1
- PZNSFCLAULLKQX-UHFFFAOYSA-N Boron nitride Chemical compound N#B PZNSFCLAULLKQX-UHFFFAOYSA-N 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及一种基于生成对抗网络的人脸隐私保护方法。本发明主要是引入了一种新的网络AnimationGAN，用线性瓶颈残差和混合注意力机制，解决了AnimeGAN迁移图像细节丢失严重的问题,同时也防止了图像特征的变形。本发明所提网络包括生成器和鉴别器，生成器的核心是线性瓶颈残差块和混合注意力机制CBAM，在生成器和鉴别器中分别采用批组归一化(BGN)和谱归一化(SN)替代传统的主流网络中的Instance Normalization。本发明结合基于特征融合的生成对抗网络算法实现人脸隐私保护，在保护个人隐私的同时，满足人们各类线上社交活动需求，在实现社交多元化等方面均具有重大意义。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于生成对抗网络的人脸隐私保护方法。
背景技术
随着当前社会短视频流媒体的发展以及各种线上社交软件、线上视频互动游戏的流行，各类社交场合都存在着隐私泄露的隐患。其中人脸、相貌隐私是最为重要的组成部分，随着机器学习以及各类AI算法技术的不断发展，使得人脸隐私保护成为可能。为了防止人脸隐私泄露，提高隐私保护，同时又能满足人们线上互动社交的需求，基于机器学习的人脸自动成像技术已成为当前的研究热点。基于上述方法可极大地提升隐私保护强度。
目前在人像隐私保护的领域中，最常用的方法是：基于数据失真/抑制技术的隐私保护研究，该方法采用图像滤波器(Image Filtering)，使得图像中的隐私部位被弱化。主要的变换方法有:遮盖、扭曲(Distortion)、模糊化(Blurring)、随机噪声(Random Noise)等方法对敏感区域产生更加准确的扰动噪声，通过保留图像的多样性特征以生成可用性更高的隐私图像。
但这种传统的保护方法，只能抵抗普通的朴素识别，而对于专业的攻击软件如“鹦鹉识别”几乎都会被成功破解。除了容易被破解，传统的人脸隐私保护技术也会影响人脸识别的准确率、成本较高、实现复杂，而传统方法具有不可逆性。因此，为了更好地保护人脸隐私，需要开发更加高效、安全、准确的技术。
随着深度学习的不断发展，一种新的风格迁移技术悄然而生：生成对抗网络(Generative adversarial network)。生成对抗网络(GAN)的出现，推动了图像风格迁移领域的发展，相比于编解码网络，GAN网络生成图像的质量更好。与基于CNN的风格转换法不同，基于GAN的图像风格迁移方法不需要任何预先定义的描述计算风格。鉴别器通过拟合图像数据隐式地计算图像的风格，实现图像风格迁移。此外，GAN通过生成器和鉴别器的对抗训练来学习和适应图像数据的分布，使得图像的风格迁移变得更加真实。
而在2021年，计算机图形学顶级会议SIGGRAPH上的一篇论文提出了一种改进的GAN模型。AgileGAN模型是一个能对肖像图进行风格化的模型，通过隐射一致隐空间的转移学习生成高质量风格肖像的框架。引入了一种新颖的分层变分自编码器，以确保映射隐空间分布符合原始的高斯分布，同时将原始空间扩展为多维度隐空间，以便更好地编码不同级别的细节，进而实现优于以前最先进方法的肖像风格化质量，说明动漫化肖像化人物头像也具备高仿真能力来代替人脸。
如今，主流的人脸卡通化的网络有:AnimeGAN,Whitebox,CartoonGAN,GANILLA等。但这些主流的人脸卡通化网络多多少少存在图像特征的变形、线条和纹理上的细节丢失等问题。
发明内容
针对上述问题，本发明提出一种基于生成对抗网络的人脸隐私保护方法，本发明主要是引入了一种新的网络AnimationGAN，用线性瓶颈残差和混合注意力机制，解决了AnimeGAN迁移图像细节丢失严重的问题,同时也防止了图像特征的变形。
本发明的技术方案为：
基于生成对抗网络的人脸隐私保护方法，其特征在于，包括以下步骤：
S1、获取若干真实人物图片和卡通人物图片，并通过检测算法识别获取真实人物图片中的真实人脸头像和卡片人物图片中的卡通人脸头像作为训练样本；
S2、构建由生成器和鉴别器组成的生成对抗网络；所述生成器由编码器、线性瓶颈残差网络和解码器依次连接构成，所述线性瓶颈残差网络由八个线性瓶颈残差块依次连接构成，每个线性瓶颈残差块包括四层，第一层由卷积、批组归一化、ReLu6激活函数构成，第二层由深度可分离卷积、批组归一化、ReLu6激活函数构成，第三层由卷积层、批组归一化层、Linear激活函数，第四层为CBAM卷积注意力模块，包括通道注意力机制(CAM)和空间注意力机制(SAM)；所述鉴别器采用了谱归一化，即卷积层的输出经过谱归一化层后，再经过LReLU激活函数；
S3、采用S1中的训练样本对S2构建的生成对抗网络进行训练，即将训练样本中的真实人脸头像和卡通人脸头像分别作为生成对抗网络的输入，训练生成对抗网络以最小化损失函数，包括：将真实人脸头像输入生成器生成卡通人脸头像，再将生成的卡通人脸头像和训练样本中的卡通人脸头像输入鉴别器进行鉴别，最终达到鉴别器无法区分生成的卡通人脸头像和训练样本中的卡通人脸头像，则训练完成得到训练好的生成对抗网络；
S4、将需要隐私保护的人脸头像输入到训练好的生成对抗网络的生成器中，获得对应的卡通人脸图片，实现对真实人脸的隐私保护。
进一步的，所述生成器中编码器的具体结构为：从输入到输出依次包括第一卷积模块、第二卷积模块、第一下卷积采样层、第三卷积模块、第一深度可分离卷积层、第二下卷积采样层和第四卷积模块。
进一步的，所述生成器中解码器的具体结构为：从输入到输出依次包括第五卷积模块、第一上卷积采样层、第二深度可分离卷积层、第六卷积模块、第二上卷积采样层、第七卷积模块、第八卷积模块和卷积层。
进一步的，所述鉴别器的具体结构为：从输入到输出依次包括第一卷积层、第一LReLU层、第二卷积层、第二LReLU层、第三卷积层、第一谱归一化层、第三LReLU层、第四卷积层、第四LReLU层、第五卷积层、第二谱归一化层、第五LReLU层、第六卷积层、第三谱归一化层、第六LReLU层和第七卷积层。
本发明的有益效果是：本发明结合基于特征融合的生成对抗网络算法实现人脸隐私保护，在保护个人隐私的同时，满足人们各类线上社交活动需求，在实现社交多元化等方面均具有重大意义。
附图说明
图1是本发明中生成器和鉴别器的结构示意图；
图2是图1中各个模块的展开结构；
图3是CBAM混合注意力机制模型示意图；
图4是线性瓶颈残差块的结构示意图；
图5是本发明与传统方法生成的动漫头像对比示意图。
图6是动画风格传递效果比较图。
具体实施方式
下面结合附图对本发明进行详细说明，并结合仿真示例说明本发明方案的有效性。
在深度学习中，对于模型复杂而数据量小的情况，一般采用微调的方式来进行训练，即通过基础网络在较大的数据库上进行训练之后应用到新的数据集上，来防止过拟合的问题。本发明利用微调的思想，用一个小的网络来生成一张较为粗略的图像，让这个粗略的结果与真实的动漫图像尽可能的相似，从而保证网络的低层特征的有效性。然后将这个低层特征应用到新的生成网络来生成最终的风格图像。
本发明提出的神经网络主要包括生成器和鉴别器。生成器学习漫画风格的数据集分布，生成动漫风格的人脸图像；鉴别器将生成的漫画图像或实际漫画图像作为输入，通过学习尽可能区分生成图像和实际漫画图像。生成器生成的图像都将通过预先训练好的VGG19求出灰度对抗损失Lgra(G，D)，生成器最终生成鉴别器无法区分的、符合真实数据分布的图像。以原始人脸图像作为输入，经过生成器里面的编码器，线性瓶颈残差网络和解码器后，生成器会生成符合要求的人脸动漫化图像。AnimationGAN的网络结构如图1所示。其中Conv-Block为标准的卷积模块，DSconv为深度可分离卷积，Up-Conv是上卷积，而Down-Conv是下卷积。而编码器和解码器之间残差网络为线性瓶颈残差blocks，具体展开结构如图2所示。
AnimationGAN的核心模块是线性瓶颈残差块，而线性瓶颈残差块是专门提取图像特征的，先对图像特征通过1x1ExpansionConv进行升维,再经过深度可分离卷积进行特征提取，最后经过1x1 ProjectionConv进行降维以及线性激活函数，最后经过CBAM混合注意力机制模型提取关键特征，以实现更有效地捕捉图像中的重要信息。
混合域注意机制的代表模型CBAM(Convolutional Block Attention Module)则结合了图像特征空间维度和通道维度的注意力机制，可以对图像特征进行全面解析，从而使得网络模型更加精确的关注到图像中的目标特征，CBAM结构如图3所示。
本发明在每个线性残差块引入了CBAM卷积注意力模块，将其应用在生成网络的深层残差块中，以更好地解析图像特征。
线性瓶颈残差网络是由MobileNetv2首次提出。有人发现，在使用inverted残差网络时，DW部分的卷积核容易失效，即卷积核内数值大部分为零。这是由ReLU引起的，在变换过程中，IRB需要将低维信息映射到高维空间，再经ReLU重新映射回低维空间。所以输出的维度相对较高时，变换过程中信息损失较小；输出的维度相对较低时，变换过程中信息损失很大。所以线性瓶颈选择先降维，然后在末层使用Linear激活而非ReLu激活函数。MobileNetv2模型也证明了，使用linear bottleneck可以防止非线性破坏太多信息。本发明选择线性残差块来代替主流网络用的IRB。由于线性瓶颈残差块处于网络的中间层，这些层的特征图往往具有较大的感受野，包含有更多的图像信息，所以本发明将CBAM与线性瓶颈残差块结合，使它能够更有效地捕捉图像中的重要信息。Linear-Bottleneck-RB和Linear-Bottleneck-RB+CBAM的结构如图4所示。
本发明在Linear-Bottleneck-RB的最后一层引入了CBAM注意力机制，这是因为位于该层的CBAM能更为全面的针对残差中的抽象特征进行注意力学习，从而获得方法模型目标任务所需要的注意力特征。
若想获得比较好的人脸动漫风格迁移效果，则必须使得模型在训练中关注到动漫特征，例如，在迁移动漫人脸风格中，动漫人脸面部的线条笔触、面部色彩以及面部结构等特征是需要被着重关注的。通过在图像特征的通道维度和空间维度上获得相应的注意力权重，CBAM“指导”网络模型准确定位到目标特征，进行更为精细的优化，可以有效提升目标特征的风格化效果以及内容结构的稳定性。
在生成器中，使用参数和计算性能更高效的BGN来代替主流生成器中的实例归一化。虽然实例归一化，层归一化和Patch归一化在特定任务中表现良好，但是做普遍的风格迁移时，它们的通用性比较差，表现不佳。Batch Group归一化不仅继承了batch归一化更大的学习率、稳定的训练过程和极高的训练速度等优点,同时也能拥有group归一化的优点,比如避开batch size模型的影响,加快网络的收敛速度等。因此，BGN具有更好的性能、稳定性和generalizability，并且不需要使用额外的可训练参数(additional trainableparameters)、跨多层的信息或迭代(information across multiple layers oriterations),以及额外的计算。
在鉴别器网络中，采用谱归一化代替主流鉴别器中的Instance Normalization。根据有关网络参数调节与GAN相关的最新见解表明，生成器的条件几乎决定了训练的成败，因为GAN的训练总是不稳定的。但而归一化技术有助于加速训练，提高准确性，提高学习速率。Miyato等通过将谱归一化应用于判别器网络来稳定GAN的训练，因为这样做会限制网络每层的谱范数，从而限制了鉴别器的Lipschits条件。与其他归一化技术相比，谱归一化不需要额外的超参数调整，并且计算成本也相对较小。因此受该研究的启发，本文将谱归一化也应用于对AnimationGAN的鉴别器，以防止参数幅度的提升并避免异常的梯度。从实验中可以发现，鉴别器的谱归一化可以显着降低训练的计算成本，也能使训练更稳定。
仿真实验：
本发明所采用的实验平台为Intel i7-1165G7,主频为2.8GHz的4核处理器，显卡处理器为Nvidia GTX1660ti，内存8GB。实验中，batchsize设置为12,初始化学习率设置为0.0002，训练的迭代次数设置为50,每次epoch训练554次,初始化epoch权重为5,使用Adam优化器对网络进行优化。得出的实验模型可以提供给后续其他人工作使用以便做出改进。
训练数据包含真实图像和漫画图像，测试图像则仅包含真实图像。为了可以更好地展示出本发明改进的网络效果，实验延用了AnimeGAN选取的数据集,分辨率均为256x256。训练集为Hayao Miyazaki漫画中的1793张日漫图像,测试集为792张真实世界的图片，验证集为68张真实图像。由于真实世界数据集与动漫图像数据集没有进行匹配,故又准备了6,656真实世界的图片以cycleGAN策略训练,以保证生成器生成的动漫风格图片与真实图片相匹配。
如图5所示，将AnimationGAN生成的图片与多种人脸风格迁移的GAN进行比较，即cartoonGAN，WhiteBox以及AnimeGAN。CartoonGAN，WhiteBox,AnimeGAN和AnimationGAN的生成的动漫人脸图像，可以清楚地看到，这四种方法可以有效地捕捉动漫风格。但是，CartoonGAN最严重的问题在于其生成的图像局部区域会产生明显的彩色伪影(artifacts)，并丢失了原始内容图像的颜色。WhiteBox模型有效地减少了生成图片的伪影，同时一定程度上保留了精细的细节，但该方法会导致人脸特征过度平滑或变形，严重的情况下会出现人脸的崩坏。AnimeGAN生成的图像虽然在一定程度上可以有效地保留内容和照片中相应区域的颜色，但是在图片的部分内容如线条和纹理上仍然容易出现丢失过度保留等现象。AnimationGAN生成的图像不仅减少了生成图片的伪影，而且极大程度地保留了图像的人脸特征和相应区域的颜色，除此以外，生成的图片在线条和纹理上仍然没有出现过度的丢失或保留的现象。
值得注意的是，AnimeGAN和AnimationGAN拥有类似的网络框架以及损失函数，即灰度样式损失(grayscale style loss)、灰度对抗损失(grayscale adversarial loss)和颜色重建损失(color reconstruction loss)，但是在生成网络中本发明加入了线性瓶颈网络结构，使得生成图片的信息，如内容和色彩上得到了较改进前的AnimeGAN更多更好的保留。
总而言之，本发明的方法一定程度上优于其它的方法，生成的图片色彩和谐、很少或没有出现人脸特征的变形甚至人脸崩坏、也能保留动漫纹理、色彩等风格信息，并较好的保留了内容结构，细节纹理更加稳定。
性能分析：
采用广泛应用于GAN生成图像的评价指标Frechet Inception Distance(FID)和Inception Score(IS)来评估模型质量。FID利用预训练Inception-V3分类网络模型提取图像的高级特征,并计算两类图像分布之间的距离，一般来说，FID评价的数值越小，说明两类图像的分布越接近，图像特征相似度越高；IS主要用于评价GAN是否能生成清晰且具有多样性的图像，它是通过计算目标域图像与生成图像之间概率类别分布的KL散度来衡量两者之间的差异。通常，IS评价数值越高，生成图像质量越好。本发明分别用不同网络生成具有Hayao Miyazaki动漫风格的图像进行了性能测试，利用这些生成图像分别与其原真实图像和相应动漫风格的动漫图像进行FID评价，还利用了IS评价指标来评估生成图像的清晰度和多样性.最终结果如表1所示。
表1不同网络模型的性能比较
由上述表格可以看出AnimationGAN的FID to cartoon最小，AnimationGAN生成的图像能更有效的抓住图像内容，较好地平衡内容特征和动漫风格特征，得到与内容图像和动漫图像都具有较高特征相似度的生成图像。AnimationGAN的IS也最大，进一步说明Animation-GAN可以获得更好的生成结果。由于AnimationGAN在残差模块引入了注意力机制,which强化了图像中重要信息并弱化无关信息，因此生成图像的细节纹理等特征信息会根据其重要程度被保留或忽略。
算法的复杂度主要包括网络的参数量、网络模型的大小、图像风格化时间这几个方面。为了保证实验的可靠性，针对AnimeGAN,White-Box,AnimationGAN,Vtoonify方法对相同的数据集进行训练,对相同的测试集进行动漫化迁移，最后对模型复杂度进行了实验对比，测试结果如表2所示。
表2模型复杂度对比
AnimationGAN在AnimeGAN的基础上做了进一步改进。在残差模块,用的参数量更小的线性瓶颈，因此网络模型大小和推理时间相较于AnimeGAN和Vtoonify均有明显的提升。虽然WhiteBox的参数量和模型大小比AnimationGAN更小，但训练时间却更长,因为采取的Group归一化模块有利于加快网络的收敛速度，残差模块的group batch归一化有利于加快训练速度，而且鉴别器的谱归一化结构能加强训练的稳定性，让他持续保持快速的训练速度，这使得AnimationGAN拥有更快的训练效率。
消融实验：
本发明根据残差网络的不同，分别做出了含CBAM的线性瓶颈残差块、含CBAM的反残差块块,不含CBAM的线性瓶颈残差块和不含CBAM的反残差块的LBN+CBAM,IRB+CBAM,LBN,IRB四组网络。并用这四组网络分别对两组真实人脸图像进行了测试，测试结果如图6所示。
IRB方法能够较好的保留面部内容结构，但生成图像动漫特征不显著；LBN生成的图像虽然轮廓刻画柔和略显不足，但是它能有效地刻画高对比度边缘笔触，其生成图像具有明显的动漫人脸风格。IRB+CBAM和LBN+CBAM与未加入CBAM的方法相比保留了更多的动漫人脸的细节信息和动漫特征，较好地柔化了人脸轮廓，但LBN+CBAM生成图像的纹理、色彩等动漫化特征比IRB+CBAM更为显著，动漫迁移效果更好。
除在动漫边缘笔触特征等方面刻画较好的优势外，LBN+CBAM则能够捕捉到动漫人脸的色调，并与真实人脸进行匹配，获得较好的动漫风格迁移效果。LBN比IRB更好地刻画了人脸的动漫边缘笔触特征，图像整体对比度也比较高；加入CBAM后，生成图像都更好地保留了真实图像的色调，而LBN+CBAM的动漫化特征效果更显著。
Claims (4)
1.基于生成对抗网络的人脸隐私保护方法，其特征在于，包括以下步骤：
S1、获取若干真实人物图片和卡通人物图片，并通过检测算法识别获取真实人物图片中的真实人脸头像和卡片人物图片中的卡通人脸头像作为训练样本；
S2、构建由生成器和鉴别器组成的生成对抗网络；所述生成器由编码器、线性瓶颈残差网络和解码器依次连接构成，所述线性瓶颈残差网络由八个线性瓶颈残差块依次连接构成，每个线性瓶颈残差块包括四层，第一层由卷积、批组归一化、ReLu6激活函数构成，第二层由深度可分离卷积、批组归一化、ReLu6激活函数构成，第三层由卷积层、批组归一化层、Linear激活函数，第四层为CBAM卷积注意力模块，包括通道注意力机制和空间注意力机制；所述鉴别器采用了谱归一化，即卷积层的输出经过谱归一化层后，再经过LReLU激活函数；
S3、采用S1中的训练样本对S2构建的生成对抗网络进行训练，即将训练样本中的真实人脸头像和卡通人脸头像分别作为生成对抗网络的输入，训练生成对抗网络以最小化损失函数，包括：将真实人脸头像输入生成器生成卡通人脸头像，再将生成的卡通人脸头像和训练样本中的卡通人脸头像输入鉴别器进行鉴别，最终达到鉴别器无法区分生成的卡通人脸头像和训练样本中的卡通人脸头像，则训练完成得到训练好的生成对抗网络；
S4、将需要隐私保护的人脸头像输入到训练好的生成对抗网络的生成器中，获得对应的卡通人脸图片，实现对真实人脸的隐私保护。
2.根据权利要求1所述的基于生成对抗网络的人脸隐私保护方法，其特征在于，所述生成器中编码器的具体结构为：从输入到输出依次包括第一卷积模块、第二卷积模块、第一下卷积采样层、第三卷积模块、第一深度可分离卷积层、第二下卷积采样层和第四卷积模块。
3.根据权利要求2所述的基于生成对抗网络的人脸隐私保护方法，其特征在于，所述生成器中解码器的具体结构为：从输入到输出依次包括第五卷积模块、第一上卷积采样层、第二深度可分离卷积层、第六卷积模块、第二上卷积采样层、第七卷积模块、第八卷积模块和卷积层。
4.根据权利要求1所述的基于生成对抗网络的人脸隐私保护方法，其特征在于，所述鉴别器的具体结构为：从输入到输出依次包括第一卷积层、第一LReLU层、第二卷积层、第二LReLU层、第三卷积层、第一谱归一化层、第三LReLU层、第四卷积层、第四LReLU层、第五卷积层、第二谱归一化层、第五LReLU层、第六卷积层、第三谱归一化层、第六LReLU层和第七卷积层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310452187.8A CN116777733A (zh) | 2023-04-25 | 2023-04-25 | 基于生成对抗网络的人脸隐私保护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310452187.8A CN116777733A (zh) | 2023-04-25 | 2023-04-25 | 基于生成对抗网络的人脸隐私保护方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116777733A true CN116777733A (zh) | 2023-09-19 |
Family
ID=87986812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310452187.8A Pending CN116777733A (zh) | 2023-04-25 | 2023-04-25 | 基于生成对抗网络的人脸隐私保护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777733A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107577985A (zh) * | 2017-07-18 | 2018-01-12 | 南京邮电大学 | 基于循环生成对抗网络的人脸头像卡通化的实现方法 |
| CN112084962A (zh) * | 2020-09-11 | 2020-12-15 | 贵州大学 | 基于生成式对抗网络脸部隐私保护方法 |
-
2023
- 2023-04-25 CN CN202310452187.8A patent/CN116777733A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107577985A (zh) * | 2017-07-18 | 2018-01-12 | 南京邮电大学 | 基于循环生成对抗网络的人脸头像卡通化的实现方法 |
| CN112084962A (zh) * | 2020-09-11 | 2020-12-15 | 贵州大学 | 基于生成式对抗网络脸部隐私保护方法 |
Non-Patent Citations (1)
| Title |
|---|
| MINGXI CHEN等: "Linear-ResNet GAN-based anime style transfer of face images", 《IMAGE AND VIDEO PROCESSING》, pages 3237 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | MSTA-Net: Forgery detection by generating manipulation trace based on multi-scale self-texture attention | |
| Wu et al. | IID-Net: Image inpainting detection network via neural architecture search and attention | |
| CN109886881B (zh) | 人脸妆容去除方法 | |
| Yan et al. | Fine-grained attention and feature-sharing generative adversarial networks for single image super-resolution | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| Sun et al. | Facial age synthesis with label distribution-guided generative adversarial network | |
| CN106068514A (zh) | 用于在不受约束的媒体中识别面孔的系统和方法 | |
| CN109360170B (zh) | 基于高级特征的人脸修复方法 | |
| CN111160189A (zh) | 一种基于动态目标训练的深度神经网络人脸表情识别方法 | |
| CN112070658A (zh) | 一种基于深度学习的汉字字体风格迁移方法 | |
| CN109685724A (zh) | 一种基于深度学习的对称感知人脸图像补全方法 | |
| CN113642621A (zh) | 基于生成对抗网络的零样本图像分类方法 | |
| Wang et al. | Forgerynir: deep face forgery and detection in near-infrared scenario | |
| CN113449787B (zh) | 基于汉字笔画结构的字体库补全方法及系统 | |
| Kumar et al. | A GAN-based model of deepfake detection in social media | |
| CN113537027A (zh) | 基于面部划分的人脸深度伪造检测方法及系统 | |
| CN116310008B (zh) | 一种基于少样本学习的图像处理方法及相关设备 | |
| CN109147002A (zh) | 一种图像处理方法和装置 | |
| CN117495718A (zh) | 一种多尺度自适应的遥感图像去雾方法 | |
| Lin et al. | Generative adversarial image super‐resolution network for multiple degradations | |
| CN115457374B (zh) | 基于推理模式评估深伪图像检测模型泛化性方法及装置 | |
| CN117275063A (zh) | 基于三维信息时序一致性的人脸深度伪造检测方法及系统 | |
| CN112163605A (zh) | 一种基于生成注意力网络的多域图像翻译方法 | |
| CN116777733A (zh) | 基于生成对抗网络的人脸隐私保护方法 | |
| CN115527253A (zh) | 一种基于注意力机制的轻量级人脸表情识别方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |