CN108537133A - 一种基于监督学习深度自编码器的人脸重构方法 - Google Patents

Abstract

一种基于监督学习深度自编码器的人脸重构方法，针对存在信息缺失或部分遮挡的人脸图像，首先利用监督学习的优势和自编码器高效的特征学习能力进行人脸图像特征学习，然后通过提取学习完善的特征权值构建一个具有深度结构的人脸重构网络，最后通过构建的基于深度自编码的人脸重构网络来重构出完整的人脸信息。本发明充分结合了监督学习的优势和深度自编码器的特征学习能力，利用先验知识对存在信息缺失或部分遮挡的人脸图像进行特征提取，同时采用编解码的方式对提取特征进行重构，有效地修复了缺失或被遮挡的人脸信息，并能够取得比传统方法更优秀的效果。

Description

一种基于监督学习深度自编码器的人脸重构方法

技术领域

本发明属于计算机视觉领域，涉及到针对人脸识别、图像修复等技术方法，具体为一种基于监督学习深度自编码器的人脸重构方法。

背景技术

目前许多基于人脸识别的应用都以完整的人脸图像为基础进行识别的，例如安防监控、火车站的自动门禁系统等，但在现实使用中，人脸图像存在缺失与遮挡的情况是非常普遍的，这时，利用人脸重构技术实现对人脸图像的补全或去除遮挡，人脸识别系统能够更好地识别人脸图像。

传统的图像修复方法可以分为两个类：基于偏微分方程和基于纹理合成的方法。两种方法在数学分析上虽然是比较完备的，但其存在各种假设的前提与模型的简化，因此在实际应用中效果并不理想。深度学习理论方法在计算机视觉领域的成功，为图像修复提供了新的思路与方法。本发明所涉及的方法属于图像修复。

自编码器本身是是一种浅层网络结构(输入-编码-输出，共3层)，深层的自编码器是通过多个浅层自编码器以堆叠的方式构成的，但在监督学习的方式下，原来的堆叠的方式已经不再成立，本发明中提出了一种新的针对监督学习自编码器的堆叠方式，使监督学习的自编码器可以成为一种深度模型。

实现基于自编码器对存在缺损或遮挡人脸图像进行重构的关键问题在于从不完整的图像信息中学习有效特征，以及如何完善和利用学习的特征。近年来，图像修复方法的研究取得了较大的进展，许多研究者提出了效果优秀的图像修复方法，这些方法往往利用了图像受损区域的边缘信息和图像的先验知识。

随着人脸识别技术的出现和广泛应用，针对存在部分信息缺损或遮挡的人脸重构方法也有了很大的应用价值，然而将传统的方法直接应用于受到噪声干扰的人脸图像并不能解决信息缺损或遮挡问题，因此有必要提出针对存在部分信息缺损或遮挡的人脸图像的重构方法。

发明内容

本发明要解决的问题是：针对在人脸识别任务中人脸图像正面受损或遮挡人脸的情况下，识别正确率会显著降低，因为在人脸识别过程中受损或遮挡的人脸缺乏完整的人脸特征信息；现有的针对人脸重构的方法大多数为去除人脸图像中噪声的信息，而对正面部分信息缺损或遮挡的人脸图像没有显著作用。

本发明的技术方案为：一种基于监督学习深度自编码器的人脸重构方法，先利用多级监督学习浅层自编码器通过多对一的学习策略对人脸特征进行学习，提取在多级监督学习自编码器中学习完毕的特征编解码表达，然后按照先编码后解码的顺序构建一个基于深度自编码器的人脸重构网络，对存在缺损或遮挡的人脸图像进行人脸重构，最终获得补全或去除遮挡的人脸图像结果，包括以下步骤：

1)训练第一级监督学习浅层自编码器，将存在缺损或遮挡的人脸灰度图像作为输入，利用监督学习浅层自编码器学习人脸图像的特征表达，特征表达包括特征编码表达和特征解码表达：

其中，W为特征表达，α是调节特征表达变化的参数，表示特征权值更新量，b为特征偏置，为一个常数；

2)将第一级监督学习浅层自编码器输出的人脸输出结果作为输入，在浅层特征重构的基础上，对获得的人脸输出结果用第二级监督学习浅层自编码器进行训练，进一步对人脸的特征、特征表达进行学习和优化；

3)将第一级监督学习浅层自编码器输出的人脸特征表达作为第三级监督学习浅层自编码器的输入，将第二级监督学习浅层自编码器优化输出的人脸特征作为监督，利用第三级监督学习浅层自编码器对上述步骤1)中学习的人脸特征表达进行抽象化的描述，学习能够描述人脸抽象特征的特征表达；

4)将三级监督学习浅层自编码器中学习的特征表达进行提取，构建基于监督学习的深度人脸重构网络，输入存在缺损或遮挡的人脸图像的灰度图像，通过构建的深度人脸重构网络，获得补全或者去除遮挡的人脸图像，具体为：

4.1)综合三级监督学习浅层自编码器，抽取每级学习获得的人脸特征表达，按照先编码后解码的顺序构建一个具有深度结构的自编码前馈神经网络：

其中，表示第n层特征编码，表示第n层特征解码；表示第k级自编码器的特征编码表达，表示第k级自编码器的特征解码表达，为第级自编码器的特征编码偏置和特征解码偏置，为常数；

4.2)输入存在缺失或遮挡的人脸图片，通过在步骤4.1)建立的深度自编码的前馈神经网络中先编码后解码的迭代，最终获得补全或者去除遮挡的人脸图像。

进一步的，步骤3)中，第三级监督学习浅层自编码器利用第一级和第二级监督学习浅层自编码的输出进一步学习，进行基于人脸特征的抽象描述，具体为：

学习函数如下：

其中，m为训练样本个数，Zⁱ表示人脸特征编码中第i个特征编码，即第一级监督学习浅层自编码器的输出，表示第i个给予监督的特征编码，即第二级监督学习浅层自编码器的输出。

本发明与现有技术相比有如下优点：本发明中提出了一种新的针对监督学习自编码器的堆叠方式，充分利用利用自动编码器高效的特征编码能力，对分别基于部分信息丢失和信息遮挡的人脸图像进行特征学习；结合监督学习的训练方法来完善在不同人脸图像在信息缺损条件下获得的部分人脸特征，以改善特征学习的完备性；在此基础上，将监督学习的自编码器构建为一种深度模型，采用深度网络结构，将监督学习自编码器上学习的更完善的特征表达依次提取，构建一个具有先编码后解码的深度前馈神经网络，以提高对受损或遮挡人脸进行特征学习的完整性，使得在完善的人脸特征情况下重构出更加高质的无损或无遮挡的人脸图像。

附图说明

图1为本发明的三级自编码器的训练流程。

图2为本发明的深度前馈重构网络的实施流程。

图3为本发明的重构结果示例，展示了传统无监督学习AE模型的重构结果和本发明的监督学习深度AE模型的重构结果的比较示例，分别为(a)受损的人脸测试样本，(b)基于传统自编码器模型对受损人脸重构的结果，(c)本发明对受损人脸重构的结果，(d)遮挡人脸的测试样本，(e)基于传统自编码器模型对遮挡人脸重构的结果，(f)本发明对遮挡人脸的重构结果。

图4为本发明与传统自编码器方法在AR人脸集上针对存在缺损或遮挡的人脸图像重构的相似性的比较结果，(a)为对缺损人脸重构的相关性分析的比较，(b)为对遮挡人脸重构的相关性分析。

图5为本发明与传统自编码器方法在AR数据集上针对存在缺损或遮挡的人脸图像重构的峰值信噪比值的比较结果，(a)为对缺损人脸重构的信噪比分析比较结果，(b)为对遮挡人脸重构的信噪比分析比较结果。

具体实施方式

本发明针对在人脸识别任务中，正面部分信息受损或存在遮挡的人脸图像提出了一种基于监督学习深度自编码器的人脸重构方法，本发明包括两个部分，自编码器的训练以及人脸重构网络的建立，如图1所示包括4个步骤，步骤1)-3)为对多级监督学习浅层自编码器的学习训练过程，步骤4)为构建的基于深度自编码器的人脸重构网络。下面具体说明本发明的实施。

1)将存在缺损或遮挡的人脸图像的灰度图像作为输入，采用第一级监督学习浅层自编码器对存在缺损或遮挡的人脸图像进行特征学习，在特征学习的过程中利用部分完整人脸作为先验信息，对学习的特征表达以及特征结果进行调整优化，即进行监督学习。特征表达包括特征编码表达和特征解码表达：

其中，W为特征表达，α是调节特征表达变化的参数，表示特征权值更新量，b为特征偏置，为一个常数；

2)第二级监督学习浅层自编码器的训练，将1)中获得的人脸特征表达结果作为输入，在浅层人脸特征编码的基础上，对1)中学习的人脸特征表达进行抽象化的特征学习。其学习过程仍然采用监督学习浅层自编码器。

3)将1)中学习的人脸特征作为输入，将2)中优化的人脸特征作为监督，利用监督学习浅层自编码器对上述1)中提取的人脸特征进行抽象化的描述，并学习能够描述人脸抽象特征的特征表达。具体为将第一级监督学习浅层自编码器输出的人脸特征表达作为第三级监督学习浅层自编码器的输入，将第二级监督学习浅层自编码器优化输出的人脸特征作为监督，利用第三级监督学习浅层自编码器对上述步骤1)中学习的人脸特征表达进行训练，学习函数如下：

其中，m为训练样本个数，Zⁱ表示人脸特征编码中第i个特征编码，即第一级监督学习浅层自编码器的输出，表示第i个给予监督的特征编码，即第二级监督学习浅层自编码器的输出。

4)将1)、2)和3)三级自编码器中学习的特征表达进行提取，构建基于监督学习的深度人脸重构网络。输入存在缺损或遮挡的人脸图像的灰度图像，通过构建的深度人脸重构网络，获得补全或者去除遮挡的人脸图像。

具体为：按照先编码后解码的顺序构建一个具有深度结构的自编码前馈神经网络：

其中，表示神经网络第n层特征编码，表示第n层特征解码；表示第k级自编码器的特征编码表达，k∈{1，2，3}，表示第k级自编码器的特征解码表达，为第级自编码器的特征编码偏置和特征解码偏置，为常数；

综上所述，输入存在缺损或遮挡的人脸图像，通过建立的深度自编码前馈神经网络中先编码后解码的深度迭代，最终获得补全或者去除遮挡的人脸图像。

如图2所示，本发明的人脸重构过程包括以下几个方面：先由步骤1)和步骤3)中所得到的特征编码表达构成对存在缺损或遮挡的人脸图像进行特征的提取过程；然后，通过由步骤2)和步骤3)中所获得的特征解码表达构成对上述过程提取的人脸特征的重构过程，进而得到最终的补全或者去除遮挡的人脸图像。本发明的实施例中使用了3级浅层的监督学习自编码器构建了一个5层的深度自编码人脸重构网络，分别通过2层特征编码和2层特征解码，实现了对存在缺损或遮挡的人脸图像的重构。

本发明的实施例在1个面向人脸识别的公开数据集上与传统的无监督学习自编码器对存在缺损或遮挡的图像重构方法在结果上进行了比较。这个公开数据集为AR人脸库(参考文献1)，其它针对存在缺损或遮挡的人脸重构方法分别有参考文献2、参考文献 3、参考文献4、参考文献5、参考文献6、参考文献7以及参考文献9提出的方法。本发明的实施例所采用的评估方法为皮尔逊相关性(Pearson correlation)和峰值信噪比测度 (PeakSingnal to Noise Ratio,PSNR)两种客观评价指标。

图3为本发明实施例的重构结果示例，展示了传统无监督学习AE模型的重构结果和本发明的监督学习深度AE模型的重构结果的比较示例，明显可见本发明重构方法具有更出色的重构结果。

图4为AR人脸数据集上针对存在缺损或遮挡人脸重构后的相似性折线；图5为AR人脸数据集上针对存在缺损或遮挡人脸重构后的峰值信噪比折线。从图4可以看出，本发明的实施例在AR人脸数据集上的效果明显优于利用传统自编码器模型对人脸重构的结果。从图5可以看出，本发明的实施例在AR人脸数据集上的效果也明显优于利用传统自编码器模型对人脸重构的结果。由此可见，本发明可以取得比传统自编码器对存在缺损或遮挡人脸的重构方法更好的效果。

参考文件：

1：A.M.Martinez and R.Benavente.The AR Face Database.CVC TechnicalReport#24, June 1998

2：Deng Y,Li D,Xie X,et al.Partially occluded face completion andrecognition[C]// IEEE International Conference on Image Processing.IEEE,2010:4145-4148.

3：Deng Y,Dai Q,Zhang Z.Graph Laplace for occluded face completion andrecognition[J].IEEE Transactions on Image Processing A Publication of theIEEE Signal Processing Society,2011,20(8):2329-2338.

4：Xie J,Xu L,Chen E.Image denoising and inpainting with deep neuralnetworks[C]// International Conference on Neural Information ProcessingSystems.Curran Associates Inc. 2012:341-349.

5：Kang Y,Lee K T,Eun J,et al.Stacked Denoising Autoencoders for FacePose Normalization[C]//International Conference on Neural InformationProcessing.Springer Berlin Heidelberg,2013:241-248.

6：Gao S,Zhang Y,Jia K,et al.Single Sample Face Recognition viaLearning Deep Supervised Autoencoders[J].IEEE Transactions on InformationForensics&Security,2015, 10(10):2108-2118.

7：Huanga R,Chang L,Lic G,et al.Adaptive Deep Supervised AutoencoderBased Image Reconstruction for Face Recognition[J].Mathematical Problems inEngineering,2016,(2016-12- 19),2016,2016(5):1-14.

8：Radford A,Metz L,Chintala S.Unsupervised Representation Learningwith Deep Convolutional Generative Adversarial Networks[J].Computer Science,2015.

9：Avery Allen.Generative Adversarial Denoising Autoencoder for FaceCompletion[DB/OL].https://www.cc.gatech.edu/～hays/7476/projects/Avery_Wenchen/.2017.01. 17。

Claims (2)

1.一种基于监督学习深度自编码器的人脸重构方法，其特征是先利用多级监督学习浅层自编码器通过多对一的学习策略对人脸特征进行学习，提取在多级监督学习自编码器中学习完毕的特征编解码表达，然后按照先编码后解码的顺序构建一个基于深度自编码器的人脸重构网络，对存在缺损或遮挡的人脸图像进行人脸重构，最终获得补全或去除遮挡的人脸图像结果，包括以下步骤：

1)训练第一级监督学习浅层自编码器，将存在缺损或遮挡的人脸灰度图像作为输入，利用监督学习浅层自编码器学习人脸图像的特征表达，特征表达包括特征编码表达和特征解码表达：

其中，W为特征表达，α是调节特征表达变化的参数，表示特征权值更新量，b为特征偏置，为一个常数；

2)将第一级监督学习浅层自编码器输出的人脸输出结果作为输入，在浅层特征重构的基础上，对获得的人脸输出结果用第二级监督学习浅层自编码器进行训练，进一步对人脸的特征、特征表达进行学习和优化；

3)将第一级监督学习浅层自编码器输出的人脸特征表达作为第三级监督学习浅层自编码器的输入，将第二级监督学习浅层自编码器优化输出的人脸特征作为监督，利用第三级监督学习浅层自编码器对上述步骤1)中学习的人脸特征表达进行抽象化的描述，学习能够描述人脸抽象特征的特征表达；

4)将三级监督学习浅层自编码器中学习的特征表达进行提取，构建基于监督学习的深度人脸重构网络，输入存在缺损或遮挡的人脸图像的灰度图像，通过构建的深度人脸重构网络，获得补全或者去除遮挡的人脸图像，具体为：

4.1)综合三级监督学习浅层自编码器，抽取每级学习获得的人脸特征表达，按照先编码后解码的顺序构建一个具有深度结构的自编码前馈神经网络：

其中，f_e ⁿ(x)表示第n层特征编码，表示第n层特征解码；表示第k级自编码器的特征编码表达，表示第k级自编码器的特征解码表达，为第级自编码器的特征编码偏置和特征解码偏置，为常数；

4.2)输入存在缺失或遮挡的人脸图片，通过在步骤4.1)建立的深度自编码的前馈神经网络中先编码后解码的迭代，最终获得补全或者去除遮挡的人脸图像。

2.根据权利要求1所述的一种基于监督学习深度自编码器的人脸重构方法，其特征是步骤3)中，第三级监督学习浅层自编码器利用第一级和第二级监督学习浅层自编码的输出进一步学习，进行基于人脸特征的抽象描述，具体为：

学习函数如下：

其中，m为训练样本个数，Zⁱ表示人脸特征编码中第i个特征编码，即第一级监督学习浅层自编码器的输出，表示第i个给予监督的特征编码，即第二级监督学习浅层自编码器的输出。