CN110751098A - 一种基于光照、姿态生成对抗网络的人脸识别方法 - Google Patents
一种基于光照、姿态生成对抗网络的人脸识别方法 Download PDFInfo
- Publication number
- CN110751098A CN110751098A CN201911003816.9A CN201911003816A CN110751098A CN 110751098 A CN110751098 A CN 110751098A CN 201911003816 A CN201911003816 A CN 201911003816A CN 110751098 A CN110751098 A CN 110751098A
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- training
- posture
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 90
- 230000006870 function Effects 0.000 claims abstract description 51
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000036544 posture Effects 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000004321 preservation Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 241001522296 Erithacus rubecula Species 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 238000012800 visualization Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 5
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 208000032538 Depersonalisation Diseases 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000011387 Li's method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于光照、姿态生成对抗网络的人脸识别方法，包括步骤：(1)获取各种光照以及角度的人脸图像作为样本数据；(2)通过端到端训练生成对抗网络得到最优光照生成器；(3)通过端到端训练生成对抗网络得到最优姿态生成器；(4)设置目标光照以及姿态，进行人脸光照、姿态变换。本发明利用生成对抗网络方法及各种损失函数，可有效地将给定的人脸图像变换到指定光照条件以及指定姿态下，另外在姿态变换网络中引入了双路注意力机制，将人脸跟关键点信息分开处理，使得在进行姿态变换的同时，能够很好地保留原有图像中的光照信息。本发明具有参数量小、速度较快的特点。
Description
技术领域
本发明涉及人脸光照、人脸姿态以及生成对抗网络领域，特别涉及一种基于光照、姿态生成对抗网络的人脸识别方法。
背景技术
人脸图像广泛应用于门禁考勤、信息安全、电子证件、监控安防等领域，现实应用中遇到的人脸图像所处的光照或者姿态非常复杂，会极大影响实际应用中的效果，因此有必要发明一种智能的人脸光照跟姿态变换方法来缓解这一问题。
针对人脸光照问题，目前已经存在许多方法：Li(Image-based faceillumination transferring using logarithmic total variation models[J].Thevisual computer，2010，26(1)：41.)将输入人脸图像和参考人脸进行对齐，然后将图像分解为光照相关和光照无关两部分，然后输入人脸图像的光照相关部分与参考人脸的光照相关部分进行交换，达到光照迁移的目的。基于Li的工作，Chen(Face illuminationtransfer through edge-preserving filters.CVPR 2011.IEEE，2011.)使用加权最小二乘滤波器来保持最终重光照图像的颜色。而Wang(Face relighting from a single imageunder arbitrary unknown lighting conditions.IEEE Transactions on PatternAnalysis and Machine Intelligence，31(11)：1968-1984，2009.2)等人将任意光照下的人脸通过球面谐波与形态模型进行表征，Shu(Portrait lighting transfer using amass transport approach.ACM Transactions on Graphics)利用标准颜色直方图匹配来表示光照，而不是球面谐波。
针对人脸姿态问题，主要方法可以分成三种：3D/2D局部纹理变换、统计建模、深度学习。例如Hassne(Effective face frontalization in unconstrained images.InCVPR，2015.)使用一个未被修改的三维参考面来产生正面人脸视图；Kan(Stackedprogressive auto-encoders(SPAE)for face recognition across poses.In CVPR，2014.)提出了通过自动编码器实现人脸正前方化的SPAE方案；Yang(Weaklysuperviseddisentangling with recurrent transformations for 3d view synthesis.In NIPS，2015)使用一个循环变换单元来合成离散的3D视图；Huang(Beyond face rotation：Globaland local perception gan for photorealistic and identity preserving frontalview synthesis.In ICCV，2017.)提出了全局跟局部的双路生成对抗网络来将侧面2D图像进行矫正；Hu(Pose-Guided Photorealistic Face Rotation.In CVPR 2018)提出将人脸关键点信息引入到生成对抗网络中，利于其来辅佐网络进行任意姿态的人脸生成。
现有的人脸光照姿态方法还存在以下不足：只考虑光照或者姿态，没有将两者结合起来，这可能导致进行矫正后人脸的光照或者姿态与原始图像发生偏差；需要额外的辅助信息以及时间开销较大，例如利用人脸的3D信息来解决问题，这大大增加了问题的复杂性，不利于实际应用。
发明内容
为了克服现有的人脸光照、姿态变换方法的不足，本发明提出了一种基于光照、姿态生成对抗网络的人脸识别方法，该方法在姿态变换中引入注意力机制，使得在训练姿态的同时能更好地保留光照信息，最终在端到端的训练将输入图像自适应地按照给定的光照条件以及姿态条件进行变换，得到想要的人脸视图。
本发明的目的通过以下的技术方案实现：一种基于光照、姿态生成对抗网络的人脸识别方法，包括步骤：
(1)获取多种不同光照以及角度的人脸图像作为样本数据；
(2)对人脸图像进行关键点检测；
(3)生成对抗网络的光照对抗训练：从训练样本中随机选取一张图像作为输入人脸图像，得到图像I、身份标签Iid、原始光照标签Slight，再随机选择一个目标光照标签Tlight作为目标光照，将图像I跟Tlight输入到光照生成器Glight得到图像It_fake，接着将It_fake跟原始光照标签Slight输入到Glight得到图像Is_fake，将原图像I和图像Is_fake的误差反馈给Glight，这个误差称之为循环一致性损失；
训练过程中对I、Is_fake、It_fake进行真假判别、身份判别、光照判别；通过不断迭代上述过程，得到最优光照生成器Glight；
(4)生成对抗网络的姿态对抗训练：利用成对的、相同身份、光照条件下的训练数据进行训练，每一对中一张为正脸图像，一张为侧脸图像，分别表示为图像I1，包括图像I1中所有关键点坐标信息的heatmap图kp1，图像I2，包括图像I2中所有关键点坐标信息的heatmap图kp2，将I1跟kp1、kp2输入姿态生成器Gpose，得到I’1，将I2跟kp1、kp2输入Gpose得到I’2，然后将I1、I’1以及I2、I’1这两对分别进行身份保存损失函数计算，接着进行感知损失函计算，最后对I’1、I’2做一个全变分正则损失计算；
姿态对抗训练中，身份真假判别器Did对[I1，I′2]、[I1，I2]、[I2，I’1]、[I2，I1]进行真假判别，姿态真假判别器Dpose对[I1，kp1]、[I’1，kp2]、[I2，kp2]、[I’2，kp1]进行真假判别，以此来跟姿态生成网络对抗，不断迭代优化，最终得到最优姿态生成器Gpose；
(5)人脸光照、姿态变换：输入待变换原始人脸图像、目标光照标签，先将待变换原始人脸图像跟目标光照标签输入光照生成器，然后将光照生成器的输出再输入到姿态生成器中，得到最终目标图像。
本发明利用生成对抗网络方法及相应损失函数，另外在姿态变换网络中引入了双路注意力机制，将人脸跟关键点信息分开处理，使得模型在进行姿态变换的同时，能够很好地保留原有图像中的光照信息。
优选的，在获取人脸图像后，先对其进行归一化处理。
优选的，针对样本数据通过MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)方法对人脸图像进行关键点检测，关键点选取左眼、右眼、鼻子、嘴左、嘴右五个关键点，将所述关键点坐标进行保存。
更进一步的，利用MTCNN方法得到的关键点坐标会跟图像路径以及标签共同保存到文本文件中，用于训练时得到对应关键点的heatmap图用于训练跟测试。
优选的，步骤(3)中，生成对抗网络的光照对抗训练过程中，循环一致性损失函数为：
其中，||·||1表示L1范数，通过循环一致性损失函数，以保证生成图像的身份跟光照信息与期待的保持一致。
优选的，步骤(3)中，生成对抗网络的光照对抗训练过程中，对抗损失函数为：
其中，I为输入人脸图像，Tlight为目标光照，Did为身份真假判别器，输入为一张图像，表示取一个训练批次中所有训练样本计算值的期望值，训练过程中，生成器试图最大化
判别器试图最小化
优选的，步骤(3)中，生成对抗网络的光照对抗训练过程中，身份判别损失函数为：
其中，I为输入人脸图像，Cid为该人脸对应身份标签，
表示取一个训练批次中所有训练样本计算值的期望值，通过身份判别损失函数，就可以保留生成图像的身份信息，得到具有判别力的图像。
优选的，步骤(3)中，生成对抗网络的光照对抗训练过程中，光照判别损失函数为：
其中，I为输入人脸图像，Clight为该人脸对应光照标签，表示取一个训练批次中所有训练样本计算值的期望值，通过光照判别损失函数，就能约束生成图像的光照分布为目标光照。
优选的，步骤(4)中，生成对抗网络的姿态对抗训练过程中，身份真假判别器Did、姿态真假判别器Dpose均跟姿态生成网络进行对抗训练，身份真假判别器Did的对抗损失函数：
姿态真假判别器Dpose的对抗损失函数：
最终的对抗损失函数：
其中I1和I2分别代表相同身份、光照条件下不同姿态的两张人脸图像，kp1、kp2分别对应两张人脸图像的关键坐标heatmap，表示取一个训练批次中所有训练样本计算值的期望值。
优选的，步骤(4)中，生成对抗网络的姿态对抗训练过程中，身份保存损失函数为：
其中，||·||1表示L1范数，
代表NFR最后一个池化层的输出，
代表NFR全连接层的输出。
优选的，步骤(4)中，生成对抗网络的姿态对抗训练过程中，感知损失函数为：
其中Φp为VGG19在ImageNet上的预训练模型，p代表第几层的输出，Wp、Hp、Cp分别代表Φp在第p层上输出特征图的宽度、高度、通道数。
优选的，步骤(4)中，生成对抗网络的姿态对抗训练过程中，全变分正则损失函数为：
其中W、H、C分别代表最终生成图片的宽度、高度、通道数。
本发明与现有技术相比，具有如下优点和有益效果：
1)本发明通过端到端训练生成对抗网络得到最优光照生成器Glight，可以根据想要的多种光照条件进行变换，能很好地实现在不同数据域的光照变换，对于人脸光照分布不均匀的图像仍然有显著的效果。
2)本发明通过端到端训练生成对抗网络得到最优姿态生成器Gpose，可以根据给定的目标关键点信息将人脸旋转到多种不同姿态，并视觉效果良好。
3)本发明将注意力机制引入到Gpose中，保证在进行光照变换后再进行姿态变换能很好地保留光照信息，同时引入注意力机制改进后的网络结构具有参数量小、速度较快的特点。
4)本发明利用生成对抗网络可有效地将给定的人脸图像变换到指定光照条件以及指定姿态下，来满足实际应用中的多元化需求。
附图说明
图1是本发明总框架图。
图2是本发明中光照生成器的框架图。
图3是本发明中姿态生成器的框架图。
图4是光照算法的可视化结果。
图5是光照算法对于光照不均匀人脸的变换结果。
图6是姿态算法的可视化结果。
图7是针对光照在LFW上的可视化效果。
图8是针对姿态算法结果的CMU可视化对比。
图9是针对姿态算法结果的LFW可视化对比。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例提供一种基于光照、姿态生成对抗网络的人脸识别方法，该方法包括光照变换网络和姿态变换网络，其中，光照变换网络用于将给定的人脸图像变换到指定的光照条件下，姿态变换网络用于将给定的人脸图像变换到指定的姿态下，其中在姿态变换网络中还引入了双路注意力机制，将人脸跟关键点信息分开处理，能够在进行姿态变换的同时，能够很好地保留原有图像中的光照信息。
本实施例中，首先需要根据样本数据训练生成对抗网络，具体包括获取样本数据、训练样本预处理、生成对抗网络的光照对抗训练、生成对抗网络的姿态对抗训练四个步骤。
在获取样本数据步骤，要求获取各种光照以及角度的人脸图像作为样本数据，本实施例采用CMU Multi-PIE中13种姿态，以及20种光照条件下的人脸图像作为训练数据集。由于便于后面模型训练，首先对各个样本图像进行归一化，本实施例将图像大小统一调整设置为128*128像素。
在训练样本预处理步骤，本实施例通过MTCNN方法对人脸图像进行关键点检测，然后选取左眼、右眼、鼻子、嘴左、嘴右作为五个关键点，将关键点坐标跟图像路径以及标签共同保存到文本文件中，用于训练时得到对应关键点的heatmap图用于训练跟测试。
参见图2，在生成对抗网络的光照对抗训练步骤，从样本数据中选择一张图像以及目标光照标签作为光照生成器的输入，生成器输出目标光照图像，然后将目标光照图像跟原始光照标签再次送入光照生成器得到假原始光照图像。判别器将真实图像和假原始光照图像的误差反馈给光照生成器，身份分类器和光照分类器分别将目标人脸图像和生成图像的身份信息和光照信息的误差反馈给光照生成器；光照生成器、判别器、分类器不断迭代训练。
具体的，从训练样本中随机选取一张图像作为输入人脸图像，可以得到图像、身份标签、光照标签等信息，分别记为I、Iid、Slight，再随机选择一个目标光照Tlight作为目标光照，将图像I跟目标光照输入到生成器Glight得到It_fake＝Glight(I，Tlight)，接着将得到的It_fake跟原始光照输入到Glight得到Is_fake＝Glight(It_fake，Slight)，将原目标人脸图像I和重构图像Is_fake的误差反馈给生成器，这个误差称之为循环一致性损失。训练过程中判别器D会对I、Is_fake、It_fake进行真假判别、身份判别、光照判别。通过不断迭代上述过程，可以不断优化光照生成器Glight，生成更加逼真的人脸光照变换图像。
上述的训练过程包含对抗损失、身份判别损失、光照判别损失、循环一致性损失等，各个损失的损失函数计算方法如下：
(3-1)对抗损失函数：
其中，I为输入人脸图像，Tlight为目标光照。Did为身份真假判别器，输入为一张图像。
表示取一个训练批次中所有训练样本计算值的期望值。生成器试图最大化
判别器试图最小化
(3-2)身份判别损失函数：
其中I为输入人脸图像，Cid该人脸对应身份标签，通过身份判别损失函数，就可以保留生成图像的身份信息，得到具有判别力的图像。
(3-3)光照判别损失函数：
其中I为输入人脸图像，Clight该人脸对应光照标签，通过光照判别损失函数，就能约束生成图像的光照分布为目标光照。
(3-4)循环一致性损失函数：
其中||·||1表示L1范数，通过循环一致性损失函数，可以保证进一步保证生成图像的身份跟光照信息与期待的保持一致。
参见图3，在生成对抗网络的姿态对抗训练步骤，以原始图片、原始关键点、目标关键点作为输入，每次训练的时候挑选同个身份、光照下不同姿态的两张图片作为输入，互相生成对应姿态的图像，然后将生成图跟原始姿态图像进行误差计算并反馈给姿态生成器，双判别器会对同身份联合跟同关键点联合两种输入方式分别进行真假判断，以此来跟姿态生成网络对抗，不断迭代优化生成图像质量。
具体的，姿态对抗训练引入关键点信息，利用成对相同身份、光照的训练数据(一张为正脸，一张为侧脸)进行训练，分别表示为I1，kp1，I2，kp2，将I1跟kp1、kp2输入姿态生成器Gpose，得到I’1＝Gpose(I1，[kp1，kp2])，同理输入I2得到I’2＝Gpose(I2，[kp2，kp1])，然后将I1、I’1以及I2、I’1这两对分别进行身份保存损失函数计算，接着进行感知损失函计算，最后对I’2、I’2做一个全变分正则损失计算.姿态对抗训练中存在两个判别器Did和Dpose，Did对[I1，I’2]、[I1，I2]、[I2，I’1]、[I2，I1]进行真假判别，Dpose对[I1，kp1]、[I’1，kp2]、[I2，kp2]、[I’2，kp1]进行真假判别。为了更好地保留图像身份信息，引入了在CMU Multi-PIE上预训练好的特征提取网络NFR，进行图像特征匹配。
其中，说明的是，单个关键点的heatmap图就是单通道的灰度图，图上只有对应关键点的坐标附近为一个白点，其余均为黑色，本实施例选择左眼、右眼、鼻子、嘴左、嘴右五个关键点，因此五个关键点就有五个heatmap图；然后这里的kp1跟kp2就是将这五个关键点的五个heatmap图在通道维度拼起来得到的，得到的5*宽度*高度的这么一个张量，所以kp1跟kp2可以理解为5个heatmap拼接在一起。
姿态变换训练过程中损失函数的计算方法为：
(4-1)步骤(4)中Did跟Dpose的判别训练中，对抗损失函数：
身份真假判别器Did的对抗损失函数：
姿态真假判别器Dpose的对抗损失函数：
最终的对抗损失函数：
其中I1和I2分别代表相同身份、光照条件下不同姿态的两张人脸图像，kp1、kp2分别对应两张人脸图像的关键坐标heatmap。
(4-2)身份保存损失函数：
(4-3)全变分正则损失函数：
全变分正则损失，主要是计算I’1和I’2，其中W，H，C分别代表最终生成图片的宽度、高度、通道数。通常GAN模型合成的图像存在伪影，影响了图像的可视化和识别性能，因此在最终的生成图像上加入一个全变分正则损失来缓解这个问题。
(4-4)感知损失函数：
与身份保持损失的对象一致，其中Φp为VGG19在ImageNet上的预训练模型，p代表第几层的输出，Wp，Hp，Cp分别代表Φp在第p层上输出特征图的宽度、高度、通道数。通过感知损失函数，可以使得生成图像更自然平滑，减小形变，该损失函数广泛应用在超分辨率、风格迁移等任务上。
通过上述样本数据，训练得到最优光照生成器Glight和最优姿态生成器Gpose后，即可利用得到的生成对抗网络对输入图像进行光照、姿态的变换处理。具体的，输入原始人脸图像、目标光照、原始关键点坐标、目标关键点坐标，先将原始图像跟目标光照输入光照生成器，然后将光照生成器的输出以及两种关键点坐标再输入到姿态生成器中，得到最终目标图像。
本实施例对本发明所述的方法进行了充分的实验测试以及比较。为了全面且客观地比较算法的结果，本实验从可视化结果和量化结果两方面对不同算法来进行对比。本实验从CMU Multi PIE中对测试集中相同id进行两两成对，互相生成对方的光照，然后通过定量指标衡量生成图像质量，同时本实施还从可视化角度出发，分别可视化了多张测试图片下的20种光照效果，以及人脸光照分布不均匀的情况。
本实施例实验中20种光照效果的可视化结果如图4，第一列为输入图像，接着的20列为各种光照条件，可以清楚地看到生成图像在很好地保留原有身份细节的同时，变换到了期望的光照条件。对于光照分布不均匀的情况，结果如图5所示，无论是变换到较亮的光照，还是较暗的光照下，变换后的光照都分布均匀，而且原始身份信息保持良好。
实验各个模型的量化结果比较如表1所示。本实验采用PSNR和SSIM来对生成图像进行评估。其中，评估值越大，表示图像的生成质量越好。从表1中可以看出，本发明取得了最好的效果。
表1生成图像质量的量化对比
| 方法 | SSIM | PSNR |
| Li方法 | 0.2678 | 11.7512 |
| Chen方法 | 0.2669 | 11.3369 |
| Wen方法 | 0.4808 | 14.7351 |
| Shu方法 | 0.5647 | 14.0244 |
| 本发明方法 | 0.6840 | 18.3411 |
其中，Wen方法的是指″Face relighting with radiance environment maps.″2003IEEE Computer Society Conference on Computer Vision and PatternRecognition，2003.Proceedings..Vol.2.IEEE，2003。其他3种方法出处见背景技术。
本实施例还进行实验验证本发明提出的注意力-姿态生成器网络的效果。为了客观公平地比较，本实验更改网络中的生成器模型，超参数保持默认设置。同时，训练集和测试集，以及训练策略均保持一致。
类似地，本实验也从可视化结果和量化结果两方面对不同算法来进行对比。测试方法有三种：(1)从CMU Multi PIE测试集中随机抽取16张图像，然后对着16张图像进行13种姿态人脸的生成；(2)从CMU Multi PIE测试集中选择三张不同身份的侧面人脸图像作为测试集，通过不同方法得到一系列正面人脸图像进行对比；(3)同记录不同姿态生成器的模型大小以及图像生成速度。
测试(1)的可视化结果如图6所示。对于给定的任意姿态人脸图像，注意力-姿态生成器能够很好地生成一系列不同的姿态人脸，同时人脸的光照跟输入图像的光照分布也较为一致；测试(2)的可视化结果如图7所示，可以看到跟一系列姿态变换方法相比，本发明方法仍能取得很好地效果，而且有些TP-GAN是只针对侧面到正面这一过程，可以看做多对一的方法，而本发明模型是任意姿态到任意姿态，是多对多的方法；测试(3)的量化结果如表2所示，也可以看到，本发明注意力-姿态生成器比矫正效果最好的TP-GAN跟CAPG-GAN相比，模型参数大大减小，生成速度加快，而且生成图像质量也接近。
表2姿态网络模型的量化对比
| 方法 | 模型大小 | 模型速度 |
| TP-GAN | 137.059M | 23.095fps |
| CAPG-GAN | 87.191M | 60.73fps |
| 本发明方法 | 41.655M | 115.17fps |
本实施例还进行实验验证本发明提出的光照、姿态变换方法的人脸识别效果。为了客观公平地比较，本实验除了改变生成测试数据集的网络结构外，超参数保持默认设置。同时用于生成假测试集的原始测试集、以及训练策略均保持一致。
本实验可以对于假图像的准确率进行好坏判断。测试时先用CMU Multi PIE在LightCNN上预训练一个模型，然后将测试集在预训练模型上直接进行准确率计算，接着分别通过光照生成器跟姿态生成器得到两个假的光照跟姿态测试数据集，分别对这两个数据集进行准确率计算。另外本实施例通过图8和图9的方法对比验证本发明的方法有效性。在图8中，选择了同等条件下采集但与训练图像不同的人脸照片作为测试对比，从结果可以看本发明相比大多数方法视觉上效果更优，而视觉上接近的方法的模型参数量则比本发明的大；为了说明本发明的通用性，选择了其他数据域的图像进行对比，对比结果在可以附图9看到，将模型迁移到其他数据域仍能取得较好的视觉效果。
测试结果如表3所示，可以发现通过两个假数据集得到的分类准确率都是较高的，而假姿态数据集准确率比假光照数据集准确率低，这也符合一般的客观认识，因为姿态变换相对于光照变换来说，难度大了很多，因此识别准确率也比光照低
表3经过姿态校正后人脸识别率对比
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明实施例中的实现各算法步骤的功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，包括步骤：
(1)获取多种不同光照以及角度的人脸图像作为样本数据；
(2)对人脸图像进行关键点检测；
(3)生成对抗网络的光照对抗训练：从训练样本中随机选取一张图像作为输入人脸图像，得到图像I、身份标签Iid、原始光照标签Slight，再随机选择一个目标光照标签Tlight作为目标光照，将图像I跟Tlight输入到光照生成器Glight得到图像It_fake，接着将It_fake跟原始光照标签Slight输入到Glight得到图像Is_fake，将原图像I和图像Is_fake的误差反馈给Glight，这个误差称之为循环一致性损失；
训练过程中对I、Is_fake、It_fake进行真假判别、身份判别、光照判别；通过不断迭代上述过程，得到最优光照生成器Glight；
(4)生成对抗网络的姿态对抗训练：利用成对的、相同身份、光照条件下的训练数据进行训练，每一对中一张为正脸图像，一张为侧脸图像，分别表示为图像I1,包括图像I1中所有关键点坐标信息的heatmap图kp1,图像I2,包括图像I2中所有关键点坐标信息的heatmap图kp2，将I1跟kp1、kp2输入姿态生成器Gpose，得到I’1，将I2跟kp1、kp2输入Gpose得到I’2，然后将I1、I’1以及I2、I’1这两对分别进行身份保存损失函数计算，接着进行感知损失函计算，最后对I’1、I’2做一个全变分正则损失计算；
姿态对抗训练中，身份真假判别器Did对[I1,I’2]、[I1,I2]、[I2,I’1]、[I2,I1]进行真假判别，姿态真假判别器Dpose对[I1,kp1]、[I’1,kp2]、[I2,kp2]、[I’2,kp1]进行真假判别，以此来跟姿态生成网络对抗，不断迭代优化，最终得到最优姿态生成器Gpose；
(5)人脸光照、姿态变换：输入待变换原始人脸图像、目标光照标签，先将待变换原始人脸图像跟目标光照标签输入光照生成器，然后将光照生成器的输出再输入到姿态生成器中，得到最终目标图像。
2.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，针对样本数据通过MTCNN方法对人脸图像进行关键点检测，关键点选取左眼、右眼、鼻子、嘴左、嘴右五个关键点，将所述关键点坐标进行保存；
利用MTCNN方法得到的关键点坐标会跟图像路径以及标签共同保存到文本文件中，用于训练时得到对应关键点的heatmap图用于训练跟测试。
3.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(3)中，生成对抗网络的光照对抗训练过程中，循环一致性损失函数为：
其中，||·||1表示L1范数，通过循环一致性损失函数，以保证生成图像的身份跟光照信息与期待的保持一致。
4.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(3)中，生成对抗网络的光照对抗训练过程中，对抗损失函数为：
其中，I为输入人脸图像，Tlight为目标光照，Did为身份真假判别器，输入为一张图像，
表示取一个训练批次中所有训练样本计算值的期望值，训练过程中，生成器试图最大化
判别器试图最小化
5.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(3)中，生成对抗网络的光照对抗训练过程中，身份判别损失函数为：
其中，I为输入人脸图像，Cid为该人脸对应身份标签，
表示取一个训练批次中所有训练样本计算值的期望值。
6.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(3)中，生成对抗网络的光照对抗训练过程中，光照判别损失函数为：
其中，I为输入人脸图像，Clight为该人脸对应光照标签，
表示取一个训练批次中所有训练样本计算值的期望值。
7.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(4)中，生成对抗网络的姿态对抗训练过程中，身份真假判别器Did、姿态真假判别器Dpose均跟姿态生成网络进行对抗训练，身份真假判别器Did的对抗损失函数：
姿态真假判别器Dpose的对抗损失函数：
最终的对抗损失函数：
其中I1和I2分别代表相同身份、光照条件下不同姿态的两张人脸图像，kp1、kp2分别对应两张人脸图像的关键坐标heatmap，
表示取一个训练批次中所有训练样本计算值的期望值。
8.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(4)中，生成对抗网络的姿态对抗训练过程中，身份保存损失函数为：
其中，||·||1表示L1范数，
代表NFR最后一个池化层的输出，
代表NFR全连接层的输出。
9.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(4)中，生成对抗网络的姿态对抗训练过程中，感知损失函数为：
其中Φp为VGG19在ImageNet上的预训练模型，p代表第几层的输出，Wp、Hp、Cp分别代表Φp在第p层上输出特征图的宽度、高度、通道数。
10.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(4)中，生成对抗网络的姿态对抗训练过程中，全变分正则损失函数为：
其中W、H、C分别代表最终生成图片的宽度、高度、通道数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911003816.9A CN110751098B (zh) | 2019-10-22 | 2019-10-22 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911003816.9A CN110751098B (zh) | 2019-10-22 | 2019-10-22 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110751098A true CN110751098A (zh) | 2020-02-04 |
| CN110751098B CN110751098B (zh) | 2022-06-14 |
Family
ID=69279296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911003816.9A Active CN110751098B (zh) | 2019-10-22 | 2019-10-22 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110751098B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523413A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成人脸图像的方法和装置 |
| CN112150615A (zh) * | 2020-09-24 | 2020-12-29 | 四川川大智胜软件股份有限公司 | 基于三维人脸模型的人脸图像生成方法、装置及存储介质 |
| CN112200055A (zh) * | 2020-09-30 | 2021-01-08 | 深圳市信义科技有限公司 | 联合对抗生成网络的行人属性识别方法、系统及装置 |
| CN112395971A (zh) * | 2020-11-16 | 2021-02-23 | 公安部第三研究所 | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 |
| CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
| CN112749679A (zh) * | 2021-01-22 | 2021-05-04 | 北京百度网讯科技有限公司 | 模型的训练方法、人脸识别方法、装置、设备和介质 |
| CN112800937A (zh) * | 2021-01-26 | 2021-05-14 | 华南理工大学 | 一种智能人脸识别方法 |
| CN113052972A (zh) * | 2021-04-09 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种基于神经网络的灯光光照效果增强的方法、装置、系统和存储介质 |
| CN113158784A (zh) * | 2021-03-10 | 2021-07-23 | 苏州臻迪智能科技有限公司 | 具有提高的识别精度的人脸识别方法及无人机 |
| CN113239870A (zh) * | 2021-05-31 | 2021-08-10 | 西安电子科技大学 | 一种基于身份约束的生成对抗网络人脸校正方法及系统 |
| CN113361489A (zh) * | 2021-07-09 | 2021-09-07 | 重庆理工大学 | 基于解耦表示的人脸正面化模型构建方法和训练方法 |
| CN113688799A (zh) * | 2021-09-30 | 2021-11-23 | 合肥工业大学 | 一种基于改进深度卷积生成对抗网络的人脸表情识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
-
2019
- 2019-10-22 CN CN201911003816.9A patent/CN110751098B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
Non-Patent Citations (4)
| Title |
|---|
| 李英等: "非均匀光照下的人脸表情多状态检测与分类", 《中山大学学报》 * |
| 李英等: "非均匀光照下的人脸表情多状态检测与分类", 《中山大学学报》, vol. 45, no. 05, 30 September 2006 (2006-09-30) * |
| 陈家大等: "一种人脸姿势判别与正脸合成的新方法", 《计算机研究与发展》 * |
| 陈家大等: "一种人脸姿势判别与正脸合成的新方法", 《计算机研究与发展》, vol. 43, no. 08, 31 December 2006 (2006-12-31) * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523413B (zh) * | 2020-04-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 生成人脸图像的方法和装置 |
| CN111523413A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成人脸图像的方法和装置 |
| CN112150615A (zh) * | 2020-09-24 | 2020-12-29 | 四川川大智胜软件股份有限公司 | 基于三维人脸模型的人脸图像生成方法、装置及存储介质 |
| CN112200055A (zh) * | 2020-09-30 | 2021-01-08 | 深圳市信义科技有限公司 | 联合对抗生成网络的行人属性识别方法、系统及装置 |
| CN112200055B (zh) * | 2020-09-30 | 2024-04-30 | 深圳市信义科技有限公司 | 联合对抗生成网络的行人属性识别方法、系统及装置 |
| CN112395971A (zh) * | 2020-11-16 | 2021-02-23 | 公安部第三研究所 | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 |
| CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
| CN112749679A (zh) * | 2021-01-22 | 2021-05-04 | 北京百度网讯科技有限公司 | 模型的训练方法、人脸识别方法、装置、设备和介质 |
| CN112749679B (zh) * | 2021-01-22 | 2023-09-05 | 北京百度网讯科技有限公司 | 模型的训练方法、人脸识别方法、装置、设备和介质 |
| CN112800937A (zh) * | 2021-01-26 | 2021-05-14 | 华南理工大学 | 一种智能人脸识别方法 |
| CN112800937B (zh) * | 2021-01-26 | 2023-09-05 | 华南理工大学 | 一种智能人脸识别方法 |
| CN113158784A (zh) * | 2021-03-10 | 2021-07-23 | 苏州臻迪智能科技有限公司 | 具有提高的识别精度的人脸识别方法及无人机 |
| CN113052972B (zh) * | 2021-04-09 | 2022-08-23 | 杭州群核信息技术有限公司 | 基于神经网络的光照效果增强的方法、装置、系统和介质 |
| CN113052972A (zh) * | 2021-04-09 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种基于神经网络的灯光光照效果增强的方法、装置、系统和存储介质 |
| CN113239870B (zh) * | 2021-05-31 | 2023-08-11 | 西安电子科技大学 | 一种基于身份约束的生成对抗网络人脸校正方法及系统 |
| CN113239870A (zh) * | 2021-05-31 | 2021-08-10 | 西安电子科技大学 | 一种基于身份约束的生成对抗网络人脸校正方法及系统 |
| CN113361489A (zh) * | 2021-07-09 | 2021-09-07 | 重庆理工大学 | 基于解耦表示的人脸正面化模型构建方法和训练方法 |
| CN113688799A (zh) * | 2021-09-30 | 2021-11-23 | 合肥工业大学 | 一种基于改进深度卷积生成对抗网络的人脸表情识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110751098B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110751098B (zh) | 一种基于光照、姿态生成对抗网络的人脸识别方法 | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN112418095B (zh) | 一种结合注意力机制的面部表情识别方法及系统 | |
| CN106650806B (zh) | 一种用于行人检测的协同式深度网络模型方法 | |
| Hassanien et al. | Rough sets and near sets in medical imaging: A review | |
| CN107194371B (zh) | 基于层次化卷积神经网络的用户专注度识别方法及系统 | |
| CN100520807C (zh) | 基于多尺度总体变分商图像的独立分量分析人脸识别方法 | |
| CN105138954A (zh) | 一种图像自动筛选查询识别系统 | |
| CN112818862A (zh) | 基于多源线索与混合注意力的人脸篡改检测方法与系统 | |
| Aydogdu et al. | Comparison of three different CNN architectures for age classification | |
| CN108681725A (zh) | 一种加权稀疏表示人脸识别方法 | |
| CN112288645B (zh) | 一种颅骨面貌复原模型构建方法及复原方法与系统 | |
| CN101169830A (zh) | 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法 | |
| CN113095149A (zh) | 一种基于单张人脸图像的全头部纹理网络结构及生成方法 | |
| CN109410158B (zh) | 一种基于卷积神经网络的多焦点图像融合方法 | |
| CN112102928A (zh) | 病理图像染色风格归一化方法及装置 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| Qu et al. | Umle: Unsupervised multi-discriminator network for low light enhancement | |
| CN116342968B (zh) | 一种双通道人脸识别方法及装置 | |
| CN105389573B (zh) | 一种基于局部三值模式分层重构的人脸识别方法 | |
| Vezzetti et al. | Application of geometry to rgb images for facial landmark localisation-a preliminary approach | |
| Del Coco et al. | Assessment of deep learning for gender classification on traditional datasets | |
| Hiremani et al. | Human and Machine Vision Based Indian Race Classification Using Modified-Convolutional Neural Network. | |
| Zhao et al. | A Face Recognition Algorithm Based on Optimal Feature Selection. | |
| CN111882495A (zh) | 一种基于自定义模糊逻辑与gan的图像高光处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared |