CN109886167B - 一种遮挡人脸识别方法及装置 - Google Patents

Abstract

本发明涉及一种遮挡人脸识别方法及装置。该方法利用带身份标记的人脸图像训练人脸识别器；利用带身份标记的非遮挡人脸图像、对应的遮挡人脸图像、对应的人脸遮挡标记图、对应的人脸语义分割图、预先训练好的人脸解析器，结合人脸识别器，在生成对抗网络框架中训练人脸生成器、全局人脸判别器和局部人脸判别器；利用人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；利用人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记，利用人脸特征进行人脸识别，利用身份标记鉴别人脸的身份信息。本发明采用人脸生成器、人脸判别器和人脸识别器实现三方博弈，能够同时实现遮挡人脸的修复和识别。

Description

一种遮挡人脸识别方法及装置

技术领域

本发明属于计算机视觉和深度学习领域，尤其涉及一种针对遮挡条件下的人脸识别方法及装置。

背景技术

在现实世界的应用如视频监控、无人驾驶等，人脸识别常常受到遮挡问题的干扰。尽管当前以深度学习为代表的人脸识别模型已经在无遮挡情况下取得了很高的识别精度，但是这些模型在识别遮挡人脸的时候，性能往往会急剧下降。其原因在于，与无遮挡人脸不同，遮挡人脸由于不完整的视觉内容以及不充分的身份线索造成识别困难。尽管如此，遮挡人脸对于人类来说，在给定部分内容情况下仍然是可以识别的，这表明人类的神经系统具有从遮挡中修复损失的人脸线索的能力。基于这一事实，人们提出了遮挡人脸识别方法，这些方法主要基于两个思路：表达和重构。

基于表达的遮挡人脸识别方法采用特征提取器直接从部分人脸内容中表达遮挡人脸，这些特征提取器采用稀疏表达、卷积神经网络、深度学习方法等来构造，其目标是使提取的人脸特征能够对遮挡鲁棒。通常地，这些方法在识别具有小遮挡的人脸时，能够取得较好的性能。但是，当人脸遭遇较严重遮挡(如蒙面遮挡)时，由于难以恢复身份线索，从而获得较低的识别精度。不同于基于表达的方法，基于重构的遮挡人脸识别方法在识别之前先修复损失的人脸内容。早期的处理方式是采用图算法修复遮挡人脸然后再使用稀疏表达来提取人脸特征，从而提升遮挡人脸识别的精度。此外，传统的基于样例的方法应用纹理合成，可以有效的修复人脸内容损失部分。近年来，在深度学习尤其是生成对抗网络的帮助下，很多人脸修复方法被提出，这些方法能够较好地提取高层语义特征从而能够对遮挡人脸修复，并得到具有真实感的结果。另外，这些方法的框架具有较好的灵活性，可以在框架中引入身份信息，从而修复的人脸图像也能在一定程度上进一步提升识别精度。

尽管如此，这些现有的方法中，一方面基于表达的遮挡人脸识别方法难以找到一种较为鲁棒的方案恢复失去的人脸线索，另一方面基于重构的遮挡人脸修复方法往往将修复与识别处理割裂开来，方法带来的身份保留能力较为有限。遮挡人脸识别的一个关键是同时修复损失的人脸内容以满足人类视觉感知需要，并使修复的结果满足机器算法对人脸识别的需求，即达到人机共判的协同。

发明内容

为克服现有技术的不足，本发明提供了一种遮挡人脸识别方法及装置，该方法采用生成对抗网络框架将基于重构的方法与基于表达的方法进行结合，不同于传统的生成对抗网络采用生成器和判别器的两方博弈训练，本发明的网络采用人脸生成器、人脸判别器和人脸识别器实现三方博弈，通过该网络同时实现遮挡人脸的修复和识别。

为解决上述技术问题，本发明通过以下技术方案来实现。

一种遮挡人脸识别方法，其步骤包括：

利用带身份标记的人脸图像训练一个深度神经网络，作为人脸识别器；

利用带身份标记的非遮挡人脸图像、对应的遮挡人脸图像、对应的人脸遮挡标记图、对应的人脸语义分割图、预先训练好的人脸解析器，结合已经获得的人脸识别器，在生成对抗网络框架中训练一个深度神经网络，作为人脸生成器；再训练两个深度神经网络，分别作为全局人脸判别器和局部人脸判别器；

利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；

利用获得的人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记；

利用获得的人脸特征，可以用于进行人脸比对和人脸检索等人脸识别应用；

利用获得的身份标记，可以直接鉴别人脸的身份信息。

进一步地，为了获得人脸识别器，可以直接采用预训练好的一个人脸识别器或者集成多个预训练好的人脸识别器或者重新训练一个人脸识别器。

进一步地，为了训练人脸生成器和人脸判别器，预先准备训练数据集，由大量人脸图像对组成，一般地需要几十万对；每对图像包括一张非遮挡人脸图像及对应的遮挡人脸图像。

进一步地，训练数据集中的遮挡人脸图像通过合成方法获得；具体地，在非遮挡人脸图像上随机地遮挡某个区域，获得对应的遮挡人脸图像。

进一步地，利用训练数据集，在生成对抗网络框架中结合获得的人脸识别器，通过交替训练获得人脸生成器和人脸判别器，具体步骤包括：

由训练数据集获得身份中心特征集；

随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；

从训练数据集中随机选择一批人脸图像对，形成训练样本批；

对训练样本批中的遮挡人脸图像，随机初始化图像中的遮挡区域像素，得到输入遮挡人脸图像；同时，训练样本批中的非遮挡人脸图像作为输入非遮挡人脸图像；

每幅输入遮挡人脸图像送入人脸生成器，得到当前的生成人脸图像；

利用生成人脸图像与对应的输入非遮挡人脸图像，获得表观修复损失和结构修复损失；

表观修复损失和结构修复损失进行相加，组成总的修复损失；根据总的修复损失进行优化，更新人脸生成器的网络参数；

每对生成人脸图像与对应的输入非遮挡人脸图像，通过获得全局人脸判别器获得全局判别损失，通过局部人脸判别器获得局部判别损失，通过人脸识别器获得身份多样性损失；

全局判别损失、局部判别损失和身份多样性损失进行加权累加，得到判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络参数；

从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有都被选择后，完成一轮迭代；

进行下一轮迭代，直到迭代轮次达到预先设定的最大迭代轮数或者修复损失低于某个预先设定的阈值或者判别损失低于某个预先设定的阈值。

进一步地，所述获得身份中心特征集的方法为：由训练数据集中的非遮挡人脸图像，结合其身份标签，按身份标签类别，每类分别送入人脸识别器，提取得到人脸身份特征，对人脸身份特征进行平均，得到该类的身份中心特征；所有类的身份中心特征组成身份中心特征集。

进一步地，所述获得表观修复损失和结构修复损失的方法为：

生成人脸图像与对应的输入非遮挡人脸图像进行差异计算，得到其中表观修复损失；

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入预先训练好的人脸解析器中，得到相应的一对人脸语义分割图像，进行人脸语义分割图像的差异计算，得到结构修复损失。

进一步地，所述全局判别损失、所述局部判别损失、所述身份多样性损失采用以下方法获得：

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入全局人脸判别器，根据判别结果与真实标注结果的差异，得到该图像对的全局判别损失；当前训练样本批中所有图像对的全局判别损失累加得到全局判别损失；

截取每对生成人脸图像与对应的输入非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，根据判别结果与真实标注结果的差异，得到该图像对的局部判别损失；当前训练样本批中所有图像对的局部判别损失累加得到局部判别损失；

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入人脸识别器，提取到人脸身份特征，与身份中心特征集进行计算，得到该图像对的身份多样性损失；当前训练样本批中所有图像对的身份多样性损失累加得到身份多样性损失。

与上面方法对应地，本发明还提供一种遮挡人脸识别装置，包括人脸修复模块、人脸判别模块和人脸识别模块；所述人脸修复模块采用人脸生成器实现遮挡人脸的修复；所述人脸判别模块采用人脸判别器，判别人脸图像是真实非遮挡人脸图像还是修复的遮挡人脸图像，由全局判别模块和局部判别模块组成；所述人脸修复模块和所述人脸判别模块利用生成对抗网络进行训练得到；所述人脸识别模块采用人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记。

进一步地，还包括人脸解析模块，用于在所述人脸修复模块和所述人脸判别模块的训练过程中，根据每对生成人脸图像与对应的输入非遮挡人脸图像，得到相应的一对人脸语义分割图像，进行人脸语义分割图像的差异计算，得到结构修复损失。

本发明的有益效果在于：针对有遮挡情况下的人脸识别问题，尤其是自然环境下的遮挡人脸识别问题，本发明的识别方法及装置具有接近无遮挡人脸识别模型的精度。对无遮挡情况下的人脸，本发明的人脸识别方法及装置也具备良好的处理能力。

附图说明

图1为本发明一种遮挡人脸识别方法训练阶段的流程图。

图2中(a)、(b)、(c)为原始人脸图像特征可区分、非常接近、不可区分的三种情况下本发明方法的处理结果示意图。

图3为本发明一种遮挡人脸识别方法识别阶段的流程图。

具体实施方式

为使本发明的上述方案和有益效果更明显易懂，下文通过实施例，并配合附图作详细说明如下。

本实施例提供一种遮挡人脸识别方法及实现该方法的装置。该装置包括人脸修复模块I、人脸识别模块R、人脸判别模块D、人脸解析模块P。人脸识别模块和人脸解析模块采用预先训练的人脸识别器和人脸解析器进行初始化；人脸修复模块采用人脸生成器，实现遮挡人脸的修复；人脸判别模块D采用人脸判别器，判别人脸图像是真实非遮挡人脸图像还是修复的遮挡人脸图像，由全局判别模块D_g和局部判别模块D_l组成，即D＝{D_g,D_l}。人脸修复模块和人脸判别模块，需要利用生成对抗网络进行训练得到，如图1所示，具体说明如下：

预先准备训练数据集

由大量人脸图像对组成，一般地N等于几十万；每对图像包括一张非遮挡人脸图像及对应的遮挡人脸图像

I_i∈[1,2,…,n]是其身份标签，身份标签类别数目n通常为1万左右。

遮挡人脸图像通过合成方法获得；具体地，在非遮挡人脸图像

上随机地遮挡某个区域，获得对应的遮挡人脸图像

由训练数据集中的非遮挡人脸图像，结合其身份标签，按身份标签类别，每类非遮挡人脸图像F分别送入人脸识别模块，提取得到人脸身份特征，对人脸身份特征进行平均，得到该类的身份中心特征f_id；所有类的身份中心特征组成身份中心特征集

随机初始化人脸修复模块I中的人脸生成器和人脸判别模块D中的人脸判别器的网络参数，然后以批次形式进行如下多轮迭代训练。

从训练数据集中随机选择一批人脸图像对，形成训练样本批

b_i∈{1,2,…,N}；其中b表示该训练样本批中人脸图像对的数目；

每幅输入遮挡人脸图像

送入人脸修复模块I，得到当前的生成人脸图像

生成人脸图像

与对应的输入非遮挡人脸

进行差异计算，得到其中表观修复损失；

每对生成人脸图像

与对应的输入非遮挡人脸

分别送入预先训练好的人脸解析模块P中，得到相应的一对人脸语义分割图像，进行人脸语义分割图像的差异计算，得到结构修复损失；

表观修复损失和结构修复损失进行相加，组成总的修复损失；根据损失进行优化，更新人脸修复模块I的参数；

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入全局人脸判别模块D_g，根据判别结果与真实标注结果的差异，得到该对的全局判别损失；当前训练样本批中所有对的全局判别损失累加得到全局判别损失；

截取每对生成人脸图像与对应的输入非遮挡人脸图像中修复区域，分别送入局部人脸判别模块D_l，根据判别结果与真实标注结果的差异，得到该对的局部判别损失；当前训练样本批中所有对的局部判别损失累加得到局部判别损失；

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入人脸识别模块R，提取到人脸身份特征

和

与身份中心特征集

进行计算，得到该对的身份多样性损失，定义为：

其中

表示身份中心特征，即前述f_id的下标id＝I_i时身份中心特征，

为取大于0操作，该操作期望生成人脸图像的身份特征比对应的输入非遮挡人脸图像的身份特征更靠近身份中心特征，从而增加了人脸的多样性；当前训练样本批中所有对的身份多样性损失累加得到身份多样性损失

全局判别损失、局部判别损失和身份多样性损失进行加权累加，得到判别损失，根据判别损失进行优化，更新人脸判别模块D的网络参数；将基于更新后的人脸判别模块D的判别损失传递到人脸修复模块I，对人脸修复模块I进行优化，更新人脸生成器的网络参数；

从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有都被选择后，完成一轮迭代；

进行下一轮迭代，直到迭代轮次达到预先设定的最大迭代轮数或者修复损失低于某个预先设定的阈值或者判别损失低于某个预先设定的阈值。

为了使提升遮挡人脸识别性能，本发明在生成对抗网络框架中引入识别器，与传统的生成对抗网络框架仅包含生成器和判别器形成两方博弈相比，增加了一个第三方模块，形成三方博弈，使生成器修复得到的人脸图像能够保持身份属性。

进一步地，为了使更好地保持身份属性，本发明在人脸识别器中引入身份多样性损失。如图2中(a)到(c)所示，是该损失的作用，其中，f_id1、f_id2表示身份中心特征，X₁、Y₁分别表示第一个样本修复后人脸图像的身份特征和真实人脸图像的身份特征，X₂、Y₂分别表示第二个样本修复后人脸图像的身份特征和真实人脸图像的身份特征。图2中(a)：当原始不同类别的未遮挡人脸图像的身份特征可以区分情况下，引入身份多样性损失可以使不同类别的修复后人脸图像的身份特征保持区分性，并且特征间隔增大；图2中(b)：当原始不同类别的未遮挡人脸图像的身份特征非常接近情况下，引入身份多样性损失可以使不同类别的修复后人脸图像的身份特征距离拉大，增加了区分性的可能性；图2中(c)：当原始不同类别的未遮挡人脸图像的身份特征不能区分情况下，引入身份多样性损失可以使不同类别的修复后人脸图像的身份特征能够区分。可见，本发明的身份多样性损失的引入，能够更好的保持身份属性，并且更好地保持不同类别人脸图像之间的区分性，因此更好地提升了遮挡人脸识别的性能。

该方法识别阶段的流程如图3所示，其步骤包括：

1)接收带遮挡的人脸图像。

2)对遮挡区域采用随机噪声初始化，然后通过人脸修复模块，对遮挡区域进行生成，得到修复后的人脸图像。经过裁剪和对齐后，输入人脸识别模块。

3)通过人脸识别模块，提取修复后的人脸图像的人脸特征或者身份标记。

4)利用获得的人脸特征，可以用于进行人脸比对和人脸检索等人脸识别应用。

5)利用获得的身份标记，可以直接鉴别人脸的身份信息。

本发明中的人脸生成器、人脸解析器、人脸判别器(全局人脸判别器和局部人脸判别器)和人脸识别器，可以采用现有的神经网络结构实现。

以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (6)

1.一种遮挡人脸识别方法，其特征在于，包括以下步骤：

利用带身份标记的人脸图像训练一个深度神经网络，作为人脸识别器；

利用带身份标记的非遮挡人脸图像、对应的遮挡人脸图像、对应的人脸遮挡标记图、对应的人脸语义分割图、预先训练好的人脸解析器，结合已经获得的人脸识别器，在生成对抗网络框架中训练一个深度神经网络作为人脸生成器，再训练两个深度神经网络分别作为全局人脸判别器和局部人脸判别器；

利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；

利用获得的人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记，利用获得的人脸特征进行人脸识别，利用获得的身份标记鉴别人脸的身份信息；

所述人脸生成器、所述全局人脸判别器和所述局部人脸判别器的训练过程包括：

由训练数据集获得身份中心特征集；

随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；

从训练数据集中随机选择一批人脸图像对，形成训练样本批；

对训练样本批中的遮挡人脸图像，随机初始化图像中的遮挡区域像素，得到输入遮挡人脸图像；同时，训练样本批中的非遮挡人脸图像作为输入非遮挡人脸图像；

每幅输入遮挡人脸图像送入人脸生成器，得到当前的生成人脸图像；

利用生成人脸图像与对应的输入非遮挡人脸图像，获得表观修复损失和结构修复损失；

表观修复损失和结构修复损失进行相加，组成总的修复损失；根据总的修复损失进行优化，更新人脸生成器的网络参数；

每对生成人脸图像与对应的输入非遮挡人脸图像，通过获得全局人脸判别器获得全局判别损失，通过局部人脸判别器获得局部判别损失，通过人脸识别器获得身份多样性损失；

全局判别损失、局部判别损失和身份多样性损失进行加权累加，得到判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络参数；

从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有都被选择后，完成一轮迭代；

进行下一轮迭代，直到迭代轮次达到预先设定的最大迭代轮数或者修复损失低于某个预先设定的阈值或者判别损失低于某个预先设定的阈值；

所述由训练数据集获得身份中心特征集，包括：

由训练数据集中的非遮挡人脸图像，结合其身份标签，按身份标签类别，每类分别送入人脸识别器，提取得到人脸身份特征，对人脸身份特征进行平均，得到该类的身份中心特征；

所有类的身份中心特征组成身份中心特征集；

所述获得表观修复损失和结构修复损失，包括：

生成人脸图像与对应的输入非遮挡人脸图像进行差异计算，得到其中表观修复损失；

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入预先训练好的人脸解析器中，得到相应的一对人脸语义分割图像，进行人脸语义分割图像的差异计算，得到结构修复损失；

所述全局判别损失、所述局部判别损失、所述身份多样性损失采用以下方法获得：

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入全局人脸判别器，根据判别结果与真实标注结果的差异，得到该图像对的全局判别损失；当前训练样本批中所有图像对的全局判别损失累加得到全局判别损失；

截取每对生成人脸图像与对应的输入非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，根据判别结果与真实标注结果的差异，得到该图像对的局部判别损失；当前训练样本批中所有图像对的局部判别损失累加得到局部判别损失；

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入人脸识别器，提取到人脸身份特征，与身份中心特征集进行计算，得到该图像对的身份多样性损失；当前训练样本批中所有图像对的身份多样性损失累加得到身份多样性损失。

2.根据权利要求1所述的方法，其特征在于，所述人脸识别器直接采用预训练好的一个人脸识别器，或者集成多个预训练好的人脸识别器，或者重新训练一个人脸识别器。

3.根据权利要求1所述的方法，其特征在于，所述人脸生成器、所述全局人脸判别器和所述局部人脸判别器的训练数据集由大量人脸图像对组成，每对图像包括一张非遮挡人脸图像及对应的遮挡人脸图像；所述训练数据集中的遮挡人脸图像通过合成方法获得，通过在非遮挡人脸图像上随机地遮挡某个区域获得对应的遮挡人脸图像。

4.根据权利要求1所述的方法，其特征在于，所述身份多样性损失采用下式计算：

其中，

表示身份多样性损失，

表示身份中心特征，

和

为第i对生成人脸图像与对应的输入非遮挡人脸图像分别送入人脸识别模块提取到的人脸身份特征，

为取大于0操作，该操作期望生成人脸图像的身份特征比对应的输入非遮挡人脸图像的身份特征更靠近身份中心特征，从而增加人脸的多样性。

5.一种采用权利要求1～4中任一权利要求所述方法的遮挡人脸识别装置，其特征在于，包括人脸修复模块、人脸判别模块和人脸识别模块；所述人脸修复模块采用人脸生成器实现遮挡人脸的修复；所述人脸判别模块采用人脸判别器，判别人脸图像是真实非遮挡人脸图像还是修复的遮挡人脸图像，由全局判别模块和局部判别模块组成；所述人脸修复模块和所述人脸判别模块利用生成对抗网络进行训练得到；所述人脸识别模块采用人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记。

6.根据权利要求5所述的装置，其特征在于，还包括人脸解析模块，用于在所述人脸修复模块和所述人脸判别模块的训练过程中，根据每对生成人脸图像与对应的输入非遮挡人脸图像，得到相应的一对人脸语义分割图像，进行人脸语义分割图像的差异计算，得到结构修复损失。

Images