CN113255788B - 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统 - Google Patents

基于两阶段掩码指导的生成对抗网络人脸校正方法及系统 Download PDF

Info

Publication number
CN113255788B
CN113255788B CN202110603035.4A CN202110603035A CN113255788B CN 113255788 B CN113255788 B CN 113255788B CN 202110603035 A CN202110603035 A CN 202110603035A CN 113255788 B CN113255788 B CN 113255788B
Authority
CN
China
Prior art keywords
image
network
face
mask image
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110603035.4A
Other languages
English (en)
Other versions
CN113255788A (zh
Inventor
刘芳
李任鹏
李玲玲
焦李成
黄欣研
刘旭
陈璞华
李硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110603035.4A priority Critical patent/CN113255788B/zh
Publication of CN113255788A publication Critical patent/CN113255788A/zh
Application granted granted Critical
Publication of CN113255788B publication Critical patent/CN113255788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统，构造并训练基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络，该网络包含生成器和判别器；构造并训练基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，该网络包含生成器、判别器和人脸特征提取器网络；输入侧脸图像至第一阶段网络生成正面化五官掩码图像，级联侧脸图像和生成的正面化五官掩码图像输入至第二阶段网络生成正脸图像；本发明将人脸校正划分为两阶段任务，第一阶段从侧脸五官掩码图像生成正脸五官掩码图像，第二阶段使用生成的正脸五官掩码图像指导生成正脸图像，使得生成的正脸图像在五官局部区域上能够与真实的正脸图像保持较好的一致性。

Description

基于两阶段掩码指导的生成对抗网络人脸校正方法及系统
技术领域
本发明属于图像生成技术领域，具体涉及一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统。
背景技术
人脸识别本质上是一种识别不合作对象的被动生物识别技术，现实无约束环境中由于姿态变化、光照、表情和遮挡等因素极大的降低了人脸识别的精度。尽管由于深度卷积神经网络能够对图像特征进行很强的表示，事实证明以上存在的一系列问题对人脸识别的最终性能存在很大影响，尤其是当姿态存在较大的变化时，特别是当人脸偏转角接近90°时，此时人脸识别的准确率迅速下降。人脸校正再识别目前能够较好的提升在大角度姿态下的人脸识别准确率。人脸校正再识别的一般流程为给一张侧脸图像，通过一个模型生成其对应身份的正脸图像，然后再与人脸底库中的正脸图像进行验证比对。
借助于生成对抗网络强大的生成能力，衍生出了一系列基于生成对抗网络进行人脸校正的方法。在较大偏转角下，由于自遮挡造成二维人脸图像上对应语义的丢失以及人脸纹理形状随姿态变化发生较大形变，导致侧脸图像生成对应身份的正脸图像难度较大，生成的正脸图像在五官局部区域上与真实正脸图像的一致性并不好。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统，第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像；第二阶段使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。
本发明采用以下技术方案：
一种基于两阶段掩码指导的生成对抗网络人脸校正方法，其特征在于，包括以下步骤：
S1、构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；
S2、使用离线预训练的人脸解析网络对步骤S1构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；
S3、构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用步骤S2中的成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；
S4、构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用步骤S1中成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用步骤S2中真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过步骤S3的生成对抗网络生成对应正脸的五官掩码图像；
S5、输入侧脸图像至步骤S2中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至步骤S3中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至步骤S4中的生成对抗网络生成正脸图像，实现人脸校正。
具体的，步骤S1中，侧脸图像Ip的偏转角由-90°以15°为间隔变化至+90°，包含13种人脸偏转角，将偏转角为0°的人脸图像作为正脸图像If。
具体的，步骤S2中，将眉毛、眼睛、眼镜、鼻子和嘴巴对应的像素灰度值设置为0，剩余语义类别设置为255，得到人脸的五官掩码图像。
具体的，步骤S3中，对构造的基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络进行训练具体为：
构造针对生成的正脸五官掩码图像
Figure BDA0003093240240000031
和真实的正脸五官掩码图像Mf的像素损失函数
Figure BDA0003093240240000032
对抗损失函数
Figure BDA0003093240240000033
针对生成的正脸五官掩码图像
Figure BDA0003093240240000034
的对称损失函数
Figure BDA0003093240240000035
和整体损失函数
Figure BDA0003093240240000036
通过上面构造的损失函数、侧脸五官掩码图像Mp和正脸五官掩码图像Mf，结合批随机梯度下降方法，对生成器网络GM和判别器网络DM依次进行交替训练；最终得到生成器网络GM和判别器网络DM训练后权值。
进一步的，借助批随机梯度下降方法对判别器网络DM、生成器网络GM依次进行交替训练具体为：
S301、设置训练批次大小n＝32和迭代次数t＝50，以及损失函数中包含的三种权重参数
Figure BDA0003093240240000037
S302、侧脸五官掩码图像-正脸五官掩码图像对中随机采样一个批次n个样本
S303、通过批随机梯度下降的方法更新判别器网络DM；
S304、通过批随机梯度下降的方法更新生成器网络GM；
S305、重复步骤S302至步骤S304，直到达到迭代次数t；
S306、输出训练完成的生成器网络GM的权值
Figure BDA0003093240240000038
判别器网络DM的权值
Figure BDA0003093240240000039
具体的，步骤S3中，生成器网络GM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；输入层为128×128×3大小的图像，输出层大小为128×128×3的图像；
生成器网络GM的输入为侧脸五官掩码图像Mp，输出为正面化五官掩码图像
Figure BDA0003093240240000041
随机初始化该网络中各个卷积核的参数，得到初始化的网络；
判别器网络DM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；输入层的输入为128×128×1大小的图像,输出是一个标量；
判别器网络DM的输入为真实的正脸五官掩码图像Mf和生成的正脸五官掩码图像
Figure BDA0003093240240000042
用来判别输入图像是来自于真实的正脸五官掩码图像Mf还是生成的正脸五官掩码图像
Figure BDA0003093240240000043
随机初始化该网络中各个卷积核的参数，得到初始化的网络。
具体的，步骤S4中，对构造的基于正脸五官掩码图像指导生成正脸图像的生成对抗网络进行训练具体为：
构造针对生成的正脸图像
Figure BDA0003093240240000044
和真实的正脸图像If的像素损失函数Lpixel、针对生成的正脸图像
Figure BDA0003093240240000045
的对称损失函数的Lsym、针对生成的正脸图像
Figure BDA0003093240240000046
的正则项Ltv、对抗损失函数Ladv、针对生成的正脸图像
Figure BDA0003093240240000047
和真实的正脸图像If的身份损失函数Lip和整体损失函数Ltotal；通过上面构造的损失函数、侧脸Ip和正脸If图像对，结合批随机梯度下降方法，对生成器网络G和判别器网络D依次进行交替训练；通过上面构造的损失函数、侧脸Ip和正脸If图像对，结合批随机梯度下降方法，对生成器网络G和判别器网络D依次进行交替训练；最终得到生成器网络G和判别器网络D训练后权值。
进一步的，借助批随机梯度下降方法对判别器网络D、生成器网络G依次进行交替训练具体为：
S401、设置训练批次大小n＝32和迭代次数t＝200，以及损失函数中包含的五种权重参数λ1＝10、λ2＝0.1、λ3＝100、λ4＝0.3和λ5＝0.0001；
S402、侧脸-正脸图像对中随机采样一个批次n个样本
S403、通过批随机梯度下降的方法更新判别器网络D；
S404、通过批随机梯度下降的方法更新生成器网络G；
S405、重复步骤S402至步骤S404，直到达到迭代次数t；
S406、输出训练完成的生成器网络G的权值θG、判别器网络D的权值θD；
S407、将测试集中的侧脸图像输入步骤S2中网络的生成器GM生成正面化五官掩码图像，将侧脸图像和正面化五官掩码图像级联输入步骤S3中网络的生成器G中生成正脸图像。
具体的，步骤S4中，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B，生成器网络G包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；
生成器网络G的输入为侧脸图像Ip和对应正脸的五官掩码图像Mf的级联，输出为正脸图像
Figure BDA0003093240240000051
随机初始化对应网络中各个卷积核的参数，得到初始化的网络；
判别器网络D包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；
判别器D的输入分别为生成的正脸图像
Figure BDA0003093240240000061
和正脸五官掩码图像Mf的级联，真实的正脸图像If和正脸五官掩码图像Mf的级联，用来判别输入图像是来自于真实的正脸图像If还是生成的正脸图像
Figure BDA0003093240240000062
随机初始化对应网络中各个卷积核的参数，得到初始化的网络。
本发明的另一技术方案是，一种基于两阶段掩码指导的生成对抗网络人脸校正系统，包括：
构建模块，构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；
提取模块，使用离线预训练的人脸解析网络对构建模块构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；
训练模块，构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用提取模块中的成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；
网络模块，构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用构建模块中成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用提取模块中真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过训练模块的生成对抗网络生成对应正脸的五官掩码图像；
校正模块，输入侧脸图像至提取模块中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至训练模块中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至网络模块中的生成对抗网络生成正脸图像，实现人脸校正。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于两阶段掩码指导的生成对抗网络人脸校正方法，第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像，学习侧脸五官轮廓到其正脸五官轮廓的转换，不包含局部纹理细节，任务学习相对简单；第二阶段使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性，第一阶段生成的正面化五官掩码图像能够约束第二阶段生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节。使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。
进一步的，构建不同偏转角下成对的侧脸和正脸图像对，侧脸图像的偏转角由-90°以15°为间隔变化至+90°，将偏转角为0°的人脸图像作为正脸图像，用于后续两阶段掩码指导的生成对抗网络的训练。。
进一步的，使用离线预训练的人脸解析网络对步骤S1的侧脸-正脸图像对提取五官掩码图像，将眉毛、眼睛、眼镜、鼻子和嘴巴对应的像素灰度值设置为0，剩余语义类别设置为255，用于后续训练基于侧脸五官掩码图像生成对应身份正脸五官掩码图像的生成对抗网络。
进一步的，构造基于侧脸五官掩码图像生成对应正脸五官掩码图像的生成对抗网络利用步骤S2得到的五官掩码图像进行训练，这一阶段相当于只是生成正脸五官轮廓，不包含局部纹理细节，任务学习相对简单，为后续侧脸图像生成正脸图像的过程提供指导。
进一步的，使用随机梯度下降方法对步骤S3网络中的判别器网络和生成器网络进行交替迭代训练，生成器网络和判别器网络两者相互促进，使得最终生成器能够生成足够逼真的正脸五官掩码图像，同时判别器无法区分输入图像是来自于真实的正脸五官掩码图像还是生成的正脸五官掩码图像。
进一步的，步骤S3网络中的生成器网络采取编码器-解码器结构，编码器由一系列卷积层和两层全连接层构成，解码器由连续的反卷积层模块构成，对于每一个卷积层模块和反卷积层模块，通过残差块来加深网络的深度，提升网络的学习能力。判别器网络由连续的卷积层和两层全连接层构成，用于判别输入图像的真假。
进一步的，构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络利用步骤S1中侧脸-正脸图像对以及步骤S2中提取得到的正脸五官掩码图像进行训练，测试阶段使用侧脸图像经过S3所构造的网络生成对应正脸的五官掩码图像，使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。
进一步的，使用随机梯度下降方法对步骤S4网络中的判别器网络和生成器网络进行交替迭代训练，生成器网络和判别器网络两者相互促进，使得最终生成器能够生成尽可能逼真同时保持身份信息一致性的正脸图像，同时判别器无法区分输入图像是来自于真实的正脸图像还是生成的正脸图像。
进一步的，步骤S4网络中的生成器网络采取编码器-解码器结构，编码器由一系列卷积层和两层全连接层构成，解码器由连续的反卷积层模块构成，对于每一个卷积层模块和反卷积层模块，通过残差块来加深网络的深度，提升网络的学习能力。判别器网络由连续的卷积层和两层全连接层构成，用于判别输入图像的真假。
综上所述，本发明通过将侧脸图像生成正脸图像的过程分为两阶段，在侧脸图像生成正脸图像的过程中添加相应的指导信息，使得生成的正脸图像与真实的正脸图像在五官局部区域能够有更好的一致性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明中第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像的生成对抗网络架构示意图；
图2为本发明中第二阶段基于正脸五官掩码图像指导生成正脸图像的生成对抗网络的网络架构示意图；
图3为针对不同偏转角侧脸图像的校正结果图；
图4为针对在较大偏转角下侧脸图像的校正结果图；
图5为在不同偏转角下与人脸校正相关对比方法的校正结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于两阶段掩码指导的生成对抗网络人脸校正方法，构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；使用离线预训练的人脸解析网络对侧脸-正脸图像对提取五官掩码图像；构造并训练基于侧脸五官掩码图像Mp生成其正脸五官掩码图像Mf的生成对抗网络，该网络包括生成器网络和判别器网络；构造并训练基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，该网络包括生成器网络、判别器网络和人脸特征提取网络。
请参阅图1和图2，本发明一种基于两阶段掩码指导的生成对抗网络人脸校正方法，包括以下步骤：
S1、构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；
侧脸图像Ip的偏转角由-90°以15°为间隔变化至+90°，共包含13种人脸偏转角，将偏转角为0°的人脸图像作为正脸图像If。
S2、使用离线预训练的人脸解析网络对步骤S1中的侧脸-正脸图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；
使用离线预训练的人脸解析网络对人脸图像进行像素级分类，将眉毛、眼睛、眼镜、鼻子和嘴巴这些语义类别对应的像素灰度值设置为0，其他语义类别设置为255，得到人脸的五官掩码图像；
S3、构造基于侧脸五官掩码图像Mp生成其正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用步骤S2中的成对的五官掩码图像进行训练；
生成器网络GM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；输入层为128×128×3大小的图像，输出层大小为128×128×3的图像；
生成器网络GM的输入为侧脸五官掩码图像Mp，输出为正面化五官掩码图像
Figure BDA0003093240240000111
随机初始化该网络中各个卷积核的参数，得到初始化的网络；
判别器网络DM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；输入层的输入为128×128×1大小的图像,输出是一个标量；
判别器网络DM的输入为真实的正脸五官掩码图像Mf和生成的正脸五官掩码图像
Figure BDA0003093240240000112
用来判别输入图像是来自于真实的正脸五官掩码图像Mf还是生成的正脸五官掩码图像
Figure BDA0003093240240000113
随机初始化该网络中各个卷积核的参数，得到初始化的网络；
对构造的基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络进行训练的具体方法是：
构造针对生成的正脸五官掩码图像
Figure BDA0003093240240000121
和真实的正脸五官掩码图像Mf的像素损失函数
Figure BDA0003093240240000122
对抗损失函数
Figure BDA0003093240240000123
针对生成的正脸五官掩码图像
Figure BDA0003093240240000124
的对称损失函数
Figure BDA0003093240240000125
和整体损失函数
Figure BDA0003093240240000126
通过上面构造的损失函数、侧脸五官掩码图像Mp和正脸五官掩码图像Mf，结合批随机梯度下降方法，对生成器网络GM和判别器网络DM依次进行交替训练；最终得到生成器网络GM和判别器网络DM训练后权值。
整体损失函数
Figure BDA0003093240240000127
由针对生成的正脸五官掩码图像
Figure BDA0003093240240000128
和真实的正脸五官掩码图像Mf的像素损失函数
Figure BDA0003093240240000129
对抗损失函数
Figure BDA00030932402400001210
和针对生成的正脸五官掩码图像
Figure BDA00030932402400001211
的对称损失函数
Figure BDA00030932402400001212
加权求和得到：
Figure BDA00030932402400001213
其中，
Figure BDA00030932402400001214
表示生成器网络GM的参数，
Figure BDA00030932402400001215
表示判别器网络DM的参数，
Figure BDA00030932402400001216
Figure BDA00030932402400001217
和
Figure BDA00030932402400001218
均为超参数，具体地：
针对生成的正脸五官掩码图像
Figure BDA00030932402400001219
和真实的正脸五官掩码图像Mf的像素损失函数表示为：
Figure BDA00030932402400001220
其中，W、H和C分别代表正脸五官掩码图像的宽、高和通道数。
Figure BDA00030932402400001221
和Mf分别表示生成的正脸图像和真实的正脸图像。
对抗损失函数
Figure BDA00030932402400001222
表示为：
Figure BDA00030932402400001223
其中，Mf和
Figure BDA00030932402400001224
分别表示真实的正脸五官掩码图像和生成的正脸五官掩码图像。DM(·)的值表示判别器网络DM的输出。
针对生成的正脸五官掩码图像
Figure BDA00030932402400001225
的对称损失函数
Figure BDA00030932402400001226
表示为：
Figure BDA0003093240240000131
其中，W、H和C分别代表正脸五官掩码图像的宽、高和通道数，
Figure BDA0003093240240000132
表示生成的正脸图像。
借助批随机梯度下降方法，对判别器网络DM、生成器网络GM依次进行交替训练的具体步骤为：
S301、设置训练批次大小n＝32和迭代次数t＝50，以及损失函数中包含的三种权重参数
Figure BDA0003093240240000133
S302、侧脸五官掩码图像-正脸五官掩码图像对中随机采样一个批次n个样本
S303、通过批随机梯度下降的方法更新判别器网络DM：
Figure BDA0003093240240000134
S304、通过批随机梯度下降的方法更新生成器网络GM：
Figure BDA0003093240240000135
S305、重复步骤S302至步骤S304，直到达到迭代次数t；
S306、输出训练完成的生成器网络GM的权值
Figure BDA0003093240240000136
判别器网络DM的权值
Figure BDA0003093240240000137
S4、构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，其中，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B，使用步骤S1中成对的侧脸Ip和正脸If图像对进行训练，其中训练阶段使用步骤S2中真实的正脸五官掩码图像，测试阶段使用侧脸图像经过步骤S3的生成对抗网络生成的正面化五官掩码图像。
生成器网络G包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层。
生成器网络G的输入为侧脸图像Ip和其正脸的五官掩码图像Mf的级联，输出为正脸图像
Figure BDA0003093240240000141
随机初始化该网络中各个卷积核的参数，得到初始化的网络。
判别器网络D包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器。
判别器D的输入分别为生成的正脸图像
Figure BDA0003093240240000142
和正脸五官掩码图像Mf的级联，真实的正脸图像If和正脸五官掩码图像Mf的级联，用来判别输入图像是来自于真实的正脸图像If还是生成的正脸图像
Figure BDA0003093240240000143
随机初始化该网络中各个卷积核的参数，得到初始化的网络。
对构造的基于正脸五官掩码图像指导生成正脸图像的生成对抗网络进行训练的具体方法是：
构造针对生成的正脸图像
Figure BDA0003093240240000144
和真实的正脸图像If的像素损失函数Lpixel、针对生成的正脸图像
Figure BDA0003093240240000145
的对称损失函数的Lsym、针对生成的正脸图像
Figure BDA0003093240240000146
的正则项Ltv、对抗损失函数Ladv、针对生成的正脸图像
Figure BDA0003093240240000147
和真实的正脸图像If的身份损失函数Lip和整体损失函数Ltotal；通过上面构造的损失函数、侧脸Ip和正脸If图像对，结合批随机梯度下降方法，对生成器网络G和判别器网络D依次进行交替训练；通过上面构造的损失函数、侧脸Ip和正脸If图像对，结合批随机梯度下降方法，对生成器网络G和判别器网络D依次进行交替训练；最终得到生成器网络G和判别器网络D训练后权值。
整体损失函数Ltotal由针对生成的正脸图像
Figure BDA0003093240240000148
和真实的正脸图像If的像素损失函数Lpixel、针对生成的正脸图像
Figure BDA0003093240240000151
的对称损失函数的Lsym、针对生成的正脸图像
Figure BDA0003093240240000152
的正则项Ltv、对抗损失函数Ladv和针对生成的正脸图像
Figure BDA0003093240240000153
和真实的正脸图像If的身份损失函数Lip加权求和得到：
Figure BDA0003093240240000154
其中，θG表示生成器网络G的参数，θD表示判别器网络D的参数，λ1、λ2、λ3、λ4和λ5均为超参数，具体地：
针对生成的正脸图像
Figure BDA0003093240240000155
和真实的正脸图像If的像素损失函数Lpixel表示为：
Figure BDA0003093240240000156
其中，W、H和C分别代表正脸图像的宽、高和通道数。
Figure BDA0003093240240000157
和If分别表示生成的正脸图像和真实的正脸图像。
对抗损失函数Ladv表示为：
Figure BDA0003093240240000158
其中(If,Mf)，
Figure BDA0003093240240000159
分别表示真实的正脸图像与正脸五官掩码图像的级联和生成的正脸图像与正脸五官掩码图像的级联。D(·)的值表示判别器网络D的输出。
针对生成的正脸图像
Figure BDA00030932402400001510
和真实的正脸图像If的身份损失函数Lip表示为
Figure BDA00030932402400001511
其中，Bfc表示人脸特征提取网络B倒数第二层全连接层，
Figure BDA00030932402400001512
和If分别表示生成的正脸图像和真实的正脸图像，||·||2表示矢量的二范数。
针对生成的正脸图像
Figure BDA00030932402400001513
的对称损失函数的Lsym表示为：
Figure BDA00030932402400001514
其中，W、H和C分别代表正脸图像的宽、高和通道数，
Figure BDA0003093240240000161
表示生成的正脸图像。
针对生成的正脸图像
Figure BDA0003093240240000162
的正则项Ltv表示为：
Figure BDA0003093240240000163
其中，W、H和C分别代表正脸图像的宽、高和通道数，
Figure BDA0003093240240000164
表示生成的正脸图像。
借助批随机梯度下降方法，对判别器网络D、生成器网络G依次进行交替训练的具体步骤为：
S401、设置训练批次大小n＝32和迭代次数t＝200，以及损失函数中包含的五种权重参数λ1＝10、λ2＝0.1、λ3＝100、λ4＝0.3和λ5＝0.0001；
S402、侧脸-正脸图像对中随机采样一个批次n个样本
S403、通过批随机梯度下降的方法更新判别器网络D：
Figure BDA0003093240240000165
S404、通过批随机梯度下降的方法更新生成器网络G：
Figure BDA0003093240240000166
S405、重复步骤S402至步骤S404，直到达到迭代次数t；
S406、输出训练完成的生成器网络G的权值θG、判别器网络D的权值θD。
S407、将测试集中的侧脸图像输入步骤S2中网络的生成器GM生成正面化五官掩码图像，将侧脸图像和正面化五官掩码图像级联输入步骤S3中网络的生成器G中生成正脸图像。
本发明再一个实施例中，提供一种基于两阶段掩码指导的生成对抗网络人脸校正系统，该系统能够用于实现上述基于两阶段掩码指导的生成对抗网络人脸校正方法，具体的，该基于两阶段掩码指导的生成对抗网络人脸校正系统包括构建模块、提取模块、训练模块、网络模块以及校正模块。
其中，构建模块，构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；
提取模块，使用离线预训练的人脸解析网络对构建模块构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；
训练模块，构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用提取模块中的成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；
网络模块，构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用构建模块中成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用提取模块中真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过训练模块的生成对抗网络生成对应正脸的五官掩码图像；
校正模块，输入侧脸图像至提取模块中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至训练模块中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至网络模块中的生成对抗网络生成正脸图像，实现人脸校正。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于两阶段掩码指导的生成对抗网络人脸校正方法的操作，包括：
构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；使用离线预训练的人脸解析网络对构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过生成对抗网络生成对应正脸的五官掩码图像；输入侧脸图像至提取侧脸五官掩码图像，将侧脸五官掩码图像输入至生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至生成对抗网络生成正脸图像，实现人脸校正。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于两阶段掩码指导的生成对抗网络人脸校正方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；使用离线预训练的人脸解析网络对构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过生成对抗网络生成对应正脸的五官掩码图像；输入侧脸图像至提取侧脸五官掩码图像，将侧脸五官掩码图像输入至生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至生成对抗网络生成正脸图像，实现人脸校正。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合仿真图对本发明的效果做进一步的描述。
1、仿真条件：
本发明仿真的硬件平台为：HP Z840；软件平台为：Pytorch；本发明使用的多姿态人脸数据集为M2FPA，训练集样本49140张，测试集样本19824张。
2、仿真内容与结果：
用本发明方法在上述仿真条件下进行实验，使用训练集中成对的侧脸图像和正脸图像对基于两阶段掩码指导的生成对抗网络进行训练。得到如图3的结果，按行查看，从左到右分别为输入的侧脸图像、侧脸的五官掩码图像、生成的正面化五官掩码图像、生成的正脸图像、真实的正脸五官掩码图像和真实的正脸图像，第一列为不同偏转角的输入侧脸图像，由上至下人脸偏转角分别为+15°、+30°、+45°、+60°、+75°和+90°。得到如图4的结果，按行查看，从左到右分别为输入的侧脸图像、侧脸的五官掩码图像、生成的正面化五官掩码图像、生成的正脸图像、真实的正脸五官掩码图像和真实的正脸图像，第一列为不同偏转角的输入侧脸图像，由上至下，人脸偏转角分别为+60°、-60°、-75°和+75°。图3和图4中每一行从左到右分别为输入的侧脸图像、侧脸的五官掩码图像、生成的正面化五官掩码图像、生成的正脸图像、真实的正脸五官掩码图像和真实的正脸图像。得到如图5的结果，按行查看，从左到右分别为输入侧脸图像，本发明生成的正脸图像，人脸校正相关对比方法生成的正脸图像和真实的正脸图像，第一列为不同偏转角下的输入侧脸图像，由上至下偏转角分别为为30°、45°、60°、75°和90°，第二列为本发明的校正结果，第三列至第五列为对比方法的校正结果，最后一列为真实的正脸图像。
表1为在不同偏转角下与人脸校正相关对比方法的人脸识别结果。按行查看，每一行从左到右，偏转角分别为±15°、±30°、±45°、±60°、±75°和±90°，最后一行为本发明的人脸识别结果。
表1(％)
Figure BDA0003093240240000211
从表1的结果看本发明能够提升在较大偏转角下的人脸识别准确率，与目前基于生成对抗网络进行人脸校正的先进方法进行对比，在大偏转角75°和90°下，相比于对比方法TP-GAN和CAPG-GAN有所提升。
综上所述，本发明一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统，第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像，该阶段相当于学习侧脸五官轮廓到正脸五官轮廓的转换，不包含局部纹理细节，任务学习相对简单。第二阶段使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.基于两阶段掩码指导的生成对抗网络人脸校正方法，其特征在于，包括以下步骤：
S1、构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；
S2、使用离线预训练的人脸解析网络对步骤S1构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；
S3、构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用步骤S2中的成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；
S4、构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用步骤S1中成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用步骤S2中真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过步骤S3的生成对抗网络生成对应正脸的五官掩码图像；
对构造的基于正脸五官掩码图像指导生成正脸图像的生成对抗网络进行训练的具体方法是：
构造针对生成的正脸图像
Figure FDA0004062975990000011
和真实的正脸图像If的像素损失函数Lpixel、针对生成的正脸图像
Figure FDA0004062975990000012
的对称损失函数的Lsym、针对生成的正脸图像
Figure FDA0004062975990000013
的正则项Ltv、对抗损失函数Ladv、针对生成的正脸图像
Figure FDA0004062975990000014
和真实的正脸图像If的身份损失函数Lip和整体损失函数Ltotal；通过上面构造的损失函数、侧脸Ip和正脸If图像对，结合批随机梯度下降方法，对生成器网络G和判别器网络D依次进行交替训练；最终得到生成器网络G和判别器网络D训练后权值；
生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B，生成器网络G包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；
生成器网络G的输入为侧脸图像Ip和对应正脸的五官掩码图像Mf的级联，输出为正脸图像
Figure FDA0004062975990000021
随机初始化对应网络中各个卷积核的参数，得到初始化的网络；
判别器网络D包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；
判别器D的输入分别为生成的正脸图像
Figure FDA0004062975990000022
和正脸五官掩码图像Mf的级联，真实的正脸图像If和正脸五官掩码图像Mf的级联，用来判别输入图像是来自于真实的正脸图像If还是生成的正脸图像
Figure FDA0004062975990000023
随机初始化对应网络中各个卷积核的参数，得到初始化的网络；
S5、输入侧脸图像至步骤S2中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至步骤S3中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至步骤S4中的生成对抗网络生成正脸图像，实现人脸校正。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，侧脸图像Ip的偏转角由-90°以15°为间隔变化至+90°，包含13种人脸偏转角，将偏转角为0°的人脸图像作为正脸图像If。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，将眉毛、眼睛、眼镜、鼻子和嘴巴对应的像素灰度值设置为0，剩余语义类别设置为255，得到人脸的五官掩码图像。
4.根据权利要求1所述的方法，其特征在于，步骤S3中，对构造的基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络进行训练具体为：
构造针对生成的正脸五官掩码图像
Figure FDA0004062975990000024
和真实的正脸五官掩码图像Mf的像素损失函数
Figure FDA0004062975990000025
对抗损失函数
Figure FDA0004062975990000026
针对生成的正脸五官掩码图像
Figure FDA0004062975990000027
的对称损失函数
Figure FDA0004062975990000028
和整体损失函数
Figure FDA0004062975990000029
通过上面构造的损失函数、侧脸五官掩码图像Mp和正脸五官掩码图像Mf，结合批随机梯度下降方法，对生成器网络GM和判别器网络DM依次进行交替训练；最终得到生成器网络GM和判别器网络DM训练后权值。
5.根据权利要求4所述的方法，其特征在于，借助批随机梯度下降方法对判别器网络DM、生成器网络GM依次进行交替训练具体为：
S301、设置训练批次大小n＝32和迭代次数t＝50，以及损失函数中包含的三种权重参数
Figure FDA0004062975990000031
S302、侧脸五官掩码图像-正脸五官掩码图像对中随机采样一个批次n个样本
S303、通过批随机梯度下降的方法更新判别器网络DM；
S304、通过批随机梯度下降的方法更新生成器网络GM；
S305、重复步骤S302至步骤S304，直到达到迭代次数t；
S306、输出训练完成的生成器网络GM的权值
Figure FDA0004062975990000032
判别器网络DM的权值
Figure FDA0004062975990000033
6.根据权利要求1所述的方法，其特征在于，步骤S3中，生成器网络GM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；输入层为128×128×3大小的图像，输出层大小为128×128×3的图像；
生成器网络GM的输入为侧脸五官掩码图像Mp，输出为正面化五官掩码图像
Figure FDA0004062975990000034
随机初始化该网络中各个卷积核的参数，得到初始化的网络；
判别器网络DM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；输入层的输入为128×128×1大小的图像,输出是一个标量；
判别器网络DM的输入为真实的正脸五官掩码图像Mf和生成的正脸五官掩码图像
Figure FDA0004062975990000035
用来判别输入图像是来自于真实的正脸五官掩码图像Mf还是生成的正脸五官掩码图像
Figure FDA0004062975990000036
随机初始化该网络中各个卷积核的参数，得到初始化的网络。
7.根据权利要求1所述的方法，其特征在于，步骤S4中，借助批随机梯度下降方法对判别器网络D、生成器网络G依次进行交替训练具体为：
S401、设置训练批次大小n＝32和迭代次数t＝200，以及损失函数中包含的五种权重参数λ1＝10、λ2＝0.1、λ3＝100、λ4＝0.3和λ5＝0.0001；
S402、侧脸-正脸图像对中随机采样一个批次n个样本
S403、通过批随机梯度下降的方法更新判别器网络D；
S404、通过批随机梯度下降的方法更新生成器网络G；
S405、重复步骤S402至步骤S404，直到达到迭代次数t；
S406、输出训练完成的生成器网络G的权值θg、判别器网络D的权值θD；
S407、将测试集中的侧脸图像输入步骤S2中网络的生成器GM生成正面化五官掩码图像，将侧脸图像和正面化五官掩码图像级联输入步骤S3中网络的生成器G中生成正脸图像。
8.一种基于两阶段掩码指导的生成对抗网络人脸校正系统，其特征在于，包括：
构建模块，构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；
提取模块，使用离线预训练的人脸解析网络对构建模块构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；
训练模块，构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用提取模块中的成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；
网络模块，构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用构建模块中成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用提取模块中真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过训练模块的生成对抗网络生成对应正脸的五官掩码图像；
对构造的基于正脸五官掩码图像指导生成正脸图像的生成对抗网络进行训练的具体方法是：
构造针对生成的正脸图像
Figure FDA0004062975990000051
和真实的正脸图像If的像素损失函数Lpixel、针对生成的正脸图像
Figure FDA0004062975990000052
的对称损失函数的Lsym、针对生成的正脸图像
Figure FDA0004062975990000053
的正则项Ltv、对抗损失函数Ladv、针对生成的正脸图像
Figure FDA0004062975990000054
和真实的正脸图像If的身份损失函数Lip和整体损失函数Ltotal；通过上面构造的损失函数、侧脸Ip和正脸If图像对，结合批随机梯度下降方法，对生成器网络G和判别器网络D依次进行交替训练；最终得到生成器网络G和判别器网络D训练后权值；
生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B，生成器网络G包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；
生成器网络G的输入为侧脸图像Ip和对应正脸的五官掩码图像Mf的级联，输出为正脸图像
Figure FDA0004062975990000055
随机初始化对应网络中各个卷积核的参数，得到初始化的网络；
判别器网络D包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；
判别器D的输入分别为生成的正脸图像
Figure FDA0004062975990000056
和正脸五官掩码图像Mf的级联，真实的正脸图像If和正脸五官掩码图像Mf的级联，用来判别输入图像是来自于真实的正脸图像If还是生成的正脸图像
Figure FDA0004062975990000057
随机初始化对应网络中各个卷积核的参数，得到初始化的网络；
校正模块，输入侧脸图像至提取模块中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至训练模块中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至网络模块中的生成对抗网络生成正脸图像，实现人脸校正。
CN202110603035.4A 2021-05-31 2021-05-31 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统 Active CN113255788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110603035.4A CN113255788B (zh) 2021-05-31 2021-05-31 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110603035.4A CN113255788B (zh) 2021-05-31 2021-05-31 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统

Publications (2)

Publication Number Publication Date
CN113255788A CN113255788A (zh) 2021-08-13
CN113255788B true CN113255788B (zh) 2023-04-07

Family

ID=77185487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110603035.4A Active CN113255788B (zh) 2021-05-31 2021-05-31 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统

Country Status (1)

Country Link
CN (1) CN113255788B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022740B (zh) * 2021-11-18 2024-06-28 贵州大学 人脸对抗样本生成模型的构建方法、装置及设备
CN114596615B (zh) * 2022-03-04 2023-05-05 湖南中科助英智能科技研究院有限公司 基于对抗学习的人脸活体检测方法、装置、设备及介质
CN117218693A (zh) * 2022-05-31 2023-12-12 青岛云天励飞科技有限公司 人脸属性预测网络生成方法、人脸属性预测方法及装置
CN116579917B (zh) * 2023-05-16 2023-09-26 山东大学 基于级联双生成器的人脸正面化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815928A (zh) * 2019-01-31 2019-05-28 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN110738161A (zh) * 2019-10-12 2020-01-31 电子科技大学 一种基于改进生成式对抗网络的人脸图像矫正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934116B (zh) * 2019-02-19 2020-11-24 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
US12062154B2 (en) * 2019-03-06 2024-08-13 Electronics And Telecommunications Research Institute Image correction system and image correcting method thereof
CN111860362A (zh) * 2020-07-24 2020-10-30 北京百度网讯科技有限公司 生成人脸图像校正模型及校正人脸图像的方法和装置
CN112001859B (zh) * 2020-08-10 2024-04-16 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815928A (zh) * 2019-01-31 2019-05-28 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN110738161A (zh) * 2019-10-12 2020-01-31 电子科技大学 一种基于改进生成式对抗网络的人脸图像矫正方法

Also Published As

Publication number Publication date
CN113255788A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113255788B (zh) 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统
CN112801040B (zh) 嵌入高阶信息的轻量级无约束人脸表情识别方法及系统
Ricci et al. Monocular depth estimation using multi-scale continuous CRFs as sequential deep networks
CN110188239B (zh) 一种基于跨模态注意力机制的双流视频分类方法和装置
Park et al. Combining multiple sources of knowledge in deep cnns for action recognition
Hara et al. Learning spatio-temporal features with 3d residual networks for action recognition
Nguyen et al. Facial emotion recognition using an ensemble of multi-level convolutional neural networks
Zuo et al. Convolutional recurrent neural networks: Learning spatial dependencies for image representation
WO2019227479A1 (zh) 人脸旋转图像的生成方法及装置
CN112149459B (zh) 一种基于交叉注意力机制的视频显著性物体检测模型及系统
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN113221639A (zh) 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN110796080A (zh) 一种基于生成对抗网络的多姿态行人图像合成算法
CN113239870B (zh) 一种基于身份约束的生成对抗网络人脸校正方法及系统
CN112131908A (zh) 基于双流网络的动作识别方法、装置、存储介质及设备
CN113378721B (zh) 一种基于对称和局部判别的生成对抗人脸校正方法及系统
Jiang et al. Blind image quality measurement by exploiting high-order statistics with deep dictionary encoding network
CN110619316A (zh) 人体关键点检测方法、装置和电子设备
CN108229432A (zh) 人脸标定方法及装置
CN110516643A (zh) 一种基于联合热力图的人脸3d关键点检测方法及系统
Kecheril Sadanandan et al. Spheroid segmentation using multiscale deep adversarial networks
Li et al. Spectral feature fusion networks with dual attention for hyperspectral image classification
Suganuma et al. Hierarchical feature construction for image classification using genetic programming
Abdullah et al. A Comparative Approach for Facial Expression Recognition in Higher Education Using Hybrid-Deep Learning from Students' Facial Images.
CN113239866A (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant