CN112036266A - 人脸识别方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例提供了一种人脸识别方法、装置、设备及介质，所述方法包括：获得待识别的人脸图像；在所述人脸图像包含被遮挡的局部人脸区域的情况下，从所述人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域；对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别。采用本发明技术方案，可以实现在人脸图像中的部分人脸区域被遮挡的情况下，成功进行人脸图像识别。

Description

人脸识别方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种人脸识别方法、装置、设备及介质。

背景技术

目前，人脸识别技术已经得到了广泛应用，具体而言人脸识别技术是指对拍摄的人脸图像进行识别，以获得相应人员的身份信息。相关技术中，对拍摄的人脸图像进行识别时，主要是依据人脸图像中的人脸面部信息，一般对人脸面部信息的完整度要求较高，即人脸面部信息越完整便越能成功地进行人脸识别，否则会为人脸识别造成阻碍。

然而，随着用户进行人脸识别的场景的多样化，一些情况下用户会在脸部佩戴遮挡物品的情况下进行人脸识别，此时，用户需要摘除所佩戴的遮挡物品才能成功进行人脸识别。而在一些特殊场景中，用户往往不能摘除所佩戴的遮挡物品，例如，在一些安全作业场景中，用户会佩戴安全帽、防护目镜等，在此场景中用户脱掉安全帽或防护目镜会面临潜在的危险。因此，如何实现用户在脸部佩戴遮挡物品情况下的人脸识别便成了亟待解决的技术问题。

发明内容

鉴于上述问题，提出了本发明实施例的一种人脸识别方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。

为了解决上述问题，本发明的第一方面，公开了一种人脸识别方法，所述方法包括：

获得待识别的人脸图像；

在所述人脸图像包含被遮挡的局部人脸区域的情况下，从所述人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域；

对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；

根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别。

本申请实施例的第二方面，提供了一种人脸识别装置，所述装置包括：

图像获得模块，用于获得待识别的人脸图像；

图像提取模块，用于在所述人脸图像包含被遮挡的局部人脸区域的情况下，从所述人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域；

第一特征提取模块，用于对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；

第一识别模块，用于根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别。

本发明实施例的第三方面，还公开了一种电子设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如本发明第一方面实施例所述的人脸识别方法。

本发明实施例的第四方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明第一方面实施例所述的人脸识别方法。

本发明实施例包括以下优点：

在本发明实施例中，可以获得待识别的人脸图像，在人脸图像包含被遮挡的局部人脸区域的情况下，从人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域；之后，人脸图像进行特征提取，得到第一全脸特征表示，以及，对未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；根据第一全脸特征表示和局部人脸特征表示，对人脸图像对应的身份进行识别。

由于本发明实施例中，在人脸图像中的局部人脸区域被遮挡时，可以从未遮挡的人脸区域中提取局部人脸区域，并结合该局部人脸区域被遮挡的人脸图像的第一全脸特征表示、以及未被遮挡的局部人脸区域的局部人脸特征表示，对人脸图像进行识别。由于第一全脸特征表示中仍然包括未被遮挡的局部人脸区域的特征表示，因此强化了未被遮挡的人脸局部区域的人脸特征，从而实现了脸部特定区域特征的精细化识别、做到了从整体和局部两个维度进行人脸识别，从而提高了在部分人脸图像被遮挡情况下的人脸识别精度，成功实现了此种情况下的人脸识别。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的人脸识别方法的步骤流程图；

图2是本发明实施例以戴口罩的人脸图像为例进行图像处理的示意图；

图3是本发明实施中又一人脸识别方法的步骤流程图；

图4是本发明实施中第一全脸特征提取模型W_1的模型结构示意图；

图5是本发明实施中第二全脸特征提取模型的模型结构示意图；

图6是本发明实施中又一种人脸识别方法的步骤流程图；

图7是本发明实施中获得第二全脸特征提取模型的步骤流程图；

图8是本发明实施中示出了联合模型的结构示意图；

图9是本发明本实施例中对联合模型进行训练的步骤流程图；

图10是本发明本实施例中另一种人脸识别方法的步骤流程图；

图11是本发明实施例的一种人脸图像识别装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，对人脸进行识别时，一般需要参考完整的人脸面部信息，即人脸面部不能有遮挡。例如，在一些严格的身份识别中，甚至额前都不能有遮挡物、还需露出两耳。在较为普通的场景中，此种识别方式一般不会给用户造成困扰或不方便。但是，在一些特殊场景中，这样的人脸识别技术便会给用户造成一些困扰。

例如，在生物安全性要求较高的实验室中，一般实验人员会佩戴头盔、护目镜等，如果摘掉头盔、护目镜会让用户暴露在危险的环境中。再例如，在新冠肺炎疫情期间，每个人在公众场所均需佩戴口罩，此种情况下，如果摘掉口罩，会有感染风险。而在上述场景中，无论是护目镜和口罩都会遮挡将近50％的人脸面部信息，当用户不得不进行人脸识别时，如果不摘掉口罩或护目镜，便无法成功地进行人脸识别。

综上所述，现有技术中迫切需要一种在人脸面部的部分区域被遮挡的情况下，仍然可以成功进行人脸识别的技术。

有鉴于此，本申请人提出了如下核心技术构思

：在人脸图像中包括被遮挡的局部人脸区域时，可以从未被遮挡的人脸区域中提取出局部人脸区域，并对未被遮挡的局部人脸区域和人脸图像进行特征提取，之后，结合提取出的局部人脸区域的特征和人脸图像的全脸特征进行人脸识别，由于强化了对未被遮挡的局部人脸区域的识别，因此，可以使得在人脸图像的局部人脸区域被遮挡情况下，也能进行正常的人脸识别。

参照图1及图2所示，图1示出了本发明实施例的一种人脸识别方法的步骤流程图，图2示出了本发明实施例中以戴口罩的人脸图像为例进行人脸识别的示意图。

如图1所示，本实施例的一种人脸识别方法具体可以包括以下步骤：

步骤S101：获得待识别的人脸图像。

本实施例中，待识别的人脸图像可以是实时拍摄的人脸图像，或者，可以是预先存储的人脸图像，例如，在手机上进行人脸识别认证时，可以是现拍摄的人脸图像，或者是从手机的图库中选择的人脸图像。

步骤S102：在所述人脸图像包含被遮挡的局部人脸区域的情况下，从所述人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域。

本实施例中，人脸图像包含被遮挡的局部人脸区域的情况可以是指：人脸图像中的部分人脸区域因佩戴饰物被遮挡、或因周围物体被遮挡的情况。此种情况下，可以认为是人脸图像不具备完整的人脸信息。例如，如图2所示的戴口罩的人脸图像，其中，人在戴口罩时，便遮挡了人脸面部的口、鼻以及两边脸颊，这样，拍摄得到的人脸图像中便不具备口、鼻以及两边脸颊处的人脸面部信息。

此种情况下，可以从人脸图像中未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域，具体实施时，由于对于不同的人而言，五官可以作为不同人之间较为明显的区分点，因此，提取的该未遮挡的局部人脸区域可以是未被遮挡的某一个五官的区域，从而将可以显著表征人与人之间不同之处的五官区域提取出来，作为未被遮挡的局部人脸区域。

示例地，如图2所示，人脸图像是戴口罩的人脸图像，则未被遮挡的剩余人脸区域便是人脸上半部区域，包括双眼、额头以及部分耳朵，则可以将这些区域中的某一只人眼区域的图像提取出来作为局部人脸区域。

具体实施时，可以利用抠图技术或人脸关键点检测技术，从人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域。抠图技术和人脸关键点检测技术是图像处理领域中较为成熟的技术，在此不再进行赘述。

步骤S103：对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示。

本实施例中，得到的第一全脸特征表示和局部人脸特征表示均可以是指特征向量。其中，第一全脸特征表示是指对人脸图像的全部人脸区域进行特征提取后得到的，可以反映人脸图像的全部人脸区域的特征向量，而局部人脸特征表示可以是指对提取出的未遮挡的局部人脸区域进行特征提取后得到的，可以反映未遮挡的局部人脸区域的特征向量。

由于第一全脸特征是指对人脸图像的全部人脸区域进行特征提取后得到的，该人脸图像的全部人脸区域包括了未遮挡的局部人脸区域以及被遮挡的人脸区域，因此，第一全脸特征表示中也包括了未遮挡的局部人脸区域的特征。这样，未遮挡的局部人脸区域的特征既包括在第一全脸特征表示中，也包括在局部人脸特征表示中，因此，使得未遮挡的局部人脸区域的特征被得到了强化。

步骤S104：根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别。

本实施例中，可以结合第一全脸特征表示和局部人脸特征，对人脸图像对应的身份进行识别。具体实施时，可以将第一全脸特征表示和局部人脸特征进行拼接或融合，之后，采用拼接或融合后得到的融合特征表示对人脸图像对应的身份进行识别。

本实施例中，在人脸图像包含被遮挡的局部人脸区域的情况下，可以从未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域，这样，针对人脸图像的全部人脸区域可以得到第一全脸特征表示，针对未被遮挡的局部人脸区域，可以得到局部人脸特征表示，并结合第一全脸特征表示和局部人脸特征表示进行人脸识别。由于第一全脸特征表示中也包括了未遮挡的局部人脸区域的特征，这样，便可以强化未遮挡的局部人脸区域的特征，从而，综合整体人脸和局部人脸这两个维度的人脸特征，对人脸图像进行识别，从而提高人脸图像的识别准确度，以在用户脸部佩戴遮挡物的情况下成功实现人脸识别。

参照图3所示，示出了本申请实施例的一种人脸识别方法的步骤流程图，在本实施例中，由于提取到了局部人脸特征和第一全脸人脸特征，这样，第一全脸人脸特征中包括了提取出的未被遮挡的局部人脸区域的特征。因此，在进行人脸识别时，可以将两种特征进行融合，以强化局部人脸特征在人脸识别中的重要性，从而可以将识别的焦点和精细度主要放在局部人脸特征中，以成功进行人脸识别。相应地，如图3所示，在根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别时，具体可以为以下步骤：

步骤S104：基于与所述第一全脸特征表示对应的权重，以及与所述局部人脸特征表示对应的权重，对所述第一全脸特征表示和所述局部人脸特征表示进行融合，得到融合特征表示。

本实施例中，与第一全脸特征表示对应的权重以及与局部人脸特征表示对应的权重可以根据实验数据或者需求进行预先设置。这样，可以按照各自对应的权重，对第一全脸特征表示和局部人脸特征表示进行加权求和，从而得到融合特征表示。

具体实施时，第一全脸特征表示和局部人脸特征表示均可以是用特征向量表示的特征图，则融合特征表示也可以是特征向量表示的特征图。

步骤S105：根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

由于第一全脸特征表示中也包括了未遮挡的局部人脸区域的特征，则在对二者进行融合时，在融合特征表示中，强化了未遮挡的局部人脸区域的特征，即强化了人脸特定区域的特征，从而通过对强化的人脸特定区域的特征，进行人脸识别，可以提高人脸识别的准确度。

在一种可选示例中，在根据所述融合特征表示，对所述人脸图像对应的身份进行识别时，可以按照以下步骤进行：

步骤S1051：获得预存的至少一个预设人脸特征表示，每个预设人脸特征具有预先标记的身份标签。

本实施例中，预存的预设人脸特征表示可以是指预存的人脸图像对应的特征向量，身份标签可以用于表征该预存的人脸图像对应的真实身份ID。

具体实施时，预存的人脸图像可以是具有完整人脸信息的人脸图像，即无遮挡的人脸图像，当然，实际中也可以是人脸局部区域被遮挡的人脸图像。当预存的人脸图像是有遮挡的人脸图像时，其预存的人脸图像中(即底库中的人脸图像)被遮挡的人脸局部区域与待识别的人脸图像被遮挡的局部区域相同。例如，待识别的人脸图像是戴口罩的人脸图像，则预存的人脸图像可以是不戴口罩的人脸图像，也可以是戴口罩的人脸图像。

步骤S1052：确定所述融合特征表示分别与所述至少一个预设人脸特征表示之间的相似距离。

本实施例中，由于预设人脸特征表示可以是指预存的人脸图像对应的特征向量，而融合特征表示也可以是采用特征向量表示的，因此可以计算融合特征表示分别与至少一个预设人脸特征表示之间的余弦距离，该余弦距离即为相似距离，进而可以根据各相似距离，确定与待识别的人脸图像的融合特征表示相似度较高的预设人脸特征表示。

其中，相似距离可以反映融合特征表示与预设人脸特征表示之间的相似程度，实际中可以取0-1之间的值，相似程度越高，相似距离越接近0，即二者的差距越小；反之，相似距离越接近1，即二者的差距越大。

其中，在预存的人脸图像是包含完整面部信息的人脸图像时，该预设人脸特征表示便可以包括完整的人脸区域的特征，在预存的人脸图像是人脸局部区域被遮挡的人脸图像时，该预设人脸特征表示便可以包括未被遮挡的人脸区域的特征。

实际中，由于融合特征表示中强化了未被遮挡的局部人脸区域的特征，则在计算融合特征表示分别与各预设人脸特征表示之间的余弦距离时，可以更加强化未被遮挡的局部人脸区域之间的余弦距离，即增强了未被遮挡的局部人脸区域之间的差距所占据的比重，从而提高此种情况下人脸识别的准确度。因此，无论预设人脸特征表示是完整的人脸区域的特征表示还是局部区域被遮挡的人脸区域的特征表示，均可以得到较高准确度的人脸识别。

步骤S1053：将相似距离小于预设相似距离的预设人脸特征表示所具有的身份标签，确定为所述人脸图像对应的身份标签。

本实施例中，预设相似距离可以根据实际情况进行预先设置，当融合特征表示与其中一个预设人脸特征表示之间的相似距离小于预设相似距离时，表示人脸图像与该预设人脸特征表示所具有的身份标签均属于同一用户，因此，该人脸图像对应的身份即为该预设人脸特征表示所具有的身份标签。

当然，实际中，当融合特征表示与两个及以上的预设人脸特征表示之间的相似距离小于预设相似距离时，可以将最小的相似距离所对应的预设人脸特征表示所具有的身份标签，确定为该待识别的人脸图像所对应的身份。

采用本实施例的技术方案时，一方面，由于根据融合特征表示和至少一个预设人脸特征表示之间的相似距离，确定待识别的人脸图像对应的身份，这样，通过相似距离的判定可以提高人脸识别的准确性。

又一方面，由于预设人脸特征表示可以是完整的人脸区域的特征表示、也可以是局部区域被遮挡的人脸区域的特征表示，即底库中预存的人脸图像可以是无遮挡的人脸图像也可以是有遮挡的人脸图像。这样，也方便了用户在普通场景和特殊场景下录入底库人脸图像，例如，用户在设置人脸验证时，可以在普通场景中录入脸部未有遮挡物的人脸图像作为底库图像，也可以在疫情期间，录入戴口罩的的人脸图像作为底库图像。进而，方便用户在进行人脸识别时，即使在底库中存储的是无遮挡的人脸图像，也可以实现用户在佩戴遮挡物，例如口罩的情况下进行人脸识别验证。

实际中，为了提高人脸识别的智能性和泛化性，一般可以利用神经网络模型进行人脸识别。参照图4和图5所示，图4示出了第一全脸特征提取模型W_1的模型结构示意图，第一全脸特征提取模型W_1可以用于对人脸图像进行特征提取，得到第一全脸特征表示。图5示出了第二全脸特征提取模型的模型结构示意图，其中，第二全脸特征提取模型可以包括多个特征提取分支，不同特征提取分支可以对人脸面部不同的区域进行特征提取。

相应地，在进行人脸识别时，可以分别利用上述图4和图5所示的第一全脸特征提取模型W_1和局部人脸特征提取子模型M_1进行人脸图像的特征提取，以提高人脸图像识别的效率和智能化程度。

下面，对图4和图5，对本实施例的一种人脸识别方法进行阐述，如图6所示，具体可以包括以下步骤：

步骤S601：以被遮挡人脸图像为样本，对第一预设模型进行训练，得到第一全脸特征提取模型。

本实施例中，第一预设模型的模型结构可以是类Resnet结构的多层卷积神经网络。其中，对第一预设模型进行训练用的人脸图像所被遮挡的局部人脸区域与待识别的人脸图像所被遮挡的局部人脸区域相同，即，待识别的人脸图像是戴口罩的人脸图像时，对第一预设模型进行训练用的人脸图像也可以是戴口罩的人脸图像。其中，用于对第一预设模型进行训练的人脸图像均具有身份标签，该身份标签可以是指作为训练样本的人脸图像所对应的真实身份。

本实施例中，对第一预设模型进行训练的过程可以参考训练卷积神经网络的过程。如图4所示，根据第一预设模型的输出特征表示feat与身份标签，确定第一预设模型的损失值loss_f，并根据第一预设模型的损失值loss_f，对第一预设模型进行迭代更新，从而得到第一全脸特征提取模型。

步骤S602：以无遮挡人脸图像的局部人脸区域为样本，对包括多个分支和融合模块的第二预设模型进行训练，得到第二全脸特征提取模型，所述第二全脸特征提取模型包括的多个分支为多个局部人脸特征提取子模型。

本实施例中，第二预设模型可以包括多个分支，不同分支对应不同的人脸局部区域。其中，多个分支可以是彼此独立的分支，相互不共享参数。

其中，训练第二预设模型所使用的样本可以是无遮挡人脸图像中不同的局部人脸区域的图像。示例地，如图5所示，包括了4个分支，其中，不同分支对应同一人脸的不同局部人脸区域，分别对应了人左眼区域、右眼区域、左下脸颊区域和鼻翼区域。

在第二预设模型进行训练时，可以同时将同一无遮挡人脸图像中的各局部人脸区域的图像输入与该局部人脸区域对应的分支中，从而得到各个分支输出的局部特征表示，进而根据各个分支输出的局部特征表示和该无遮挡人脸图像具有的身份标签，确定第二预设模型对应的损失，进而根据该损失进行迭代更新，得到第二全脸特征提取模型。此时，该第二全脸特征提取模型中的各个分支可以作为独立的局部人脸特征提取子模型，进行局部人脸区域的特征提取。

在得到上述两个模型后，便可以利用上述两个模型进行人脸识别，具体地，包括以下过程：

步骤S603：获得待识别的人脸图像。

其中，该识别的人脸图像可以是摄像头实时采集的人脸图像。

步骤S604：在所述人脸图像包含被遮挡的局部人脸区域的情况下，从所述人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域。

本实施例中，假设待识别的人脸图像是戴口罩的人脸图像，即人脸图像包含被遮挡的局部人脸区域的情况，则可以从人脸未被口罩遮挡的区域中提取某一五官的局部人脸区域。例如，从人脸图像中未被口罩遮挡的区域中提取左眼人脸区域。

步骤S605：将所述人脸图像输入所述第一全脸特征提取模型，得到所述第一全脸特征表示，以及将所述未被遮挡的局部人脸区域输入相应的局部人脸特征提取子模型，得到所述局部人脸特征表示。

本实施例中，可以将戴口罩的人脸图像输入到第一全脸特征提取模型，利用该第一全脸特征提取模型对戴口罩的人脸图像进行特征提取，得到的第一全脸特征表示可以包括口罩区域的特征也可以包括未被口罩遮挡的人脸区域的特征。

实际中，可以将未被遮挡的局部人脸区域输入到第二全脸特征提取模型中，与该未被遮挡的局部人脸区域所对应的局部人脸特征提取子模型中，得到局部人脸特征表示。

示例地，如图5所示，假设该未被遮挡的局域人脸区域是未被口罩遮挡的左眼人脸区域，则可以将未被口罩遮挡的左眼人脸区域输入到局部人脸特征提取子模型M_1中，从而得到M_1输出的局部人脸特征表示。

步骤S606：根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

其中，根据融合特征表示，对所述人脸图像对应的身份进行识别的过程可以参照上述步骤S104的过程，在此不再赘述。

采用本实施例的技术方案时，由于可以利用第一全脸特征提取模型得到第一全脸特征表示，利用第二全脸特征提取模型中相应的局部人脸特征提取子模型，得到局部人脸特征表示，从而提高了人脸特征提取的智能性，并可以使得该人脸图像识别方法得到广泛的应用。

下面，在一种实施例中，对如何得到图5所示的第二全脸特征提取模型的过程进行阐述，参照图7所示，可以通过以下步骤获得第二全脸特征提取模型：

步骤S701：将所述无遮挡人脸图像包括的各个局部人脸区域图像分别输入至对应的分支，获得由所述多个分支分别输出的特征表示。

本实施例中，可以将同一人脸图像的各个局部人脸区域图像分别输入至对应的分支，各分支用于对输入至该分支的局部人脸区域图像进行特征提取，从而输出该局部人脸区域图像的特征表示。实际中，各个分支输出的特征表示可以是特征向量。

如图5所示，可以将同一人脸的人脸左眼区域、右眼区域、左下脸颊区域和鼻翼区域，分别输入到分支m_1、m_2、m_3、m_4，得到由分支m_1、m_2、m_3、m_4分别输出的特征向量f_1、f_2、f_3、f_4。

步骤S702：对所述多个分支分别输出的特征表示进行融合，得到融合后特征表示。

本实施例中，融合过程可以理解为是先拼接后整合的过程，其中，拼接可以是指按照特征表示各自对应的人脸区域进行拼接，例如，按照特征向量f_1、f_2、f_3、f_4各自对应的人脸区域进行拼接，并对拼接后的特征表示进行整合，从而得到一个表征完整人脸的特征的融合后特征表示。

其中，可以通过第二预设模型中的融合模块对多个分支分别输出的特征表示进行融合，进而得到融合后特征表示。如图5所示，融合模块可以包括拼接单元和全连接单元，其中，拼接单元用于对对多个分支分别输出的特征表示进行拼接，而全连接单元用于对拼接得到的特征表示进行信息整合，从而得到融合后特征表示。

示例地，如图5所示，可以将特征向量f_1、f_2、f_3、f_4进行拼接得到拼接后的特征表示f_5，之后，将特征表示f_5输入到全连接单元FC，得到融合后特征表示f_6。

步骤S703：根据所述多个分支分别输出的特征表示和预先标记的身份标签，确定所述多个分支分别对应的局部特征损失值；以及，根据所述融合后特征表示和所述预先标记的身份标签，确定融合特征损失值。

本实施例中，由于每个分支实质是一个子模型，因此可以根据各个分支输出的特征表示和身份标签，计算每个分支对应的局部特征损失值。由于对各个分支输出的特征表示又进行了拼接，因此，可以根据融合后特征表示和身份标签，得到一个融合特征损失值，该融合特征损失值可以表征第二预设模型对无遮挡人脸图像的识别结果与身份标签之间的差距，可以用于衡量第二模型对无遮挡人脸图像进行识别的准确度。

示例地，如图5所示，可以根据特征向量f_1、f_2、f_3、f_4和身份标签，分别得到分支m_1、m_2、m_3、m_4对应的局部特征损失值loss_c1、loss_c2、loss_c3、loss_c4；并根据融合后特征表示f_5，得到融合特征损失值loss_j。

步骤S704：根据所述局部特征损失值和所述融合特征损失值，确定所述第二预设模型对应的损失值。

本实施例中，可以对各个分支对应的局部特征损失值进行加权求和，得到多个分支的加权求和损失值，之后，可以将加权求和损失值和融合特征损失值再进行加权求和，从而得到第二预设模型对应的损失值。

步骤S705：根据所述第二预设模型对应的损失值，对所述第二预设模型的参数进行迭代更新，得到所述第二全脸特征提取模型。

本实施例中，在根据第二预设模型对应的损失值，对第二预设模型的参数进行迭代更新时，可以对第二预设模型中各个分支的参数进行更新，以及对第二预设模型中的融合模块的参数进行更新。

在得到第二全脸特征提取模型后，由于第二全脸特征提取模型中可以包括多个局部人脸特征提取子模型，在一种可选示例中，还可以将多个局部人脸特征提取子模型中的一个或多个局部人脸特征提取子模型与第一全脸特征提取模型进行组合，得到联合模型。

参照图8所示，示出了一种联合模型的结构示意图，其中，该联合模型可以包括第一全脸特征提取模型W_1，以及局部人脸特征提取子模型M_1。其中，局部人脸特征提取子模型M_1是预先训练完成的第二全脸特征提取模型中的一个子模型。联合模型中还可以包括特征融合模块，所述特征融合模块的输入端分别与所述第一全脸特征提取模型的输出端、以及所述一个或多个局部人脸特征提取子模型的输出端连接。

则相应地，在一种可选示例中，在对待识别的人脸图像进行人脸识别时，可以利用该联合模型进行人脸识别，或者利用对联合模型进行训练后得到的联合模型进行人脸识别。

具体地，可以将待识别的人脸图像输入到联合模型中的第一全脸特征提取模型，通过该第一全脸特征提取模型对待识别的人脸图像进行特征提取，得到第一全脸特征表示。以及，将待识别的人脸图像中提取出的未被遮挡去人脸区域输入至联合模型中相应的局部人脸特征提取子模型，以通过局部人脸特征提取子模型对未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示。

相应地，由于联合模型可以包括特征融合模块，因此，在根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别时，可以通过所述联合模型的特征融合模块，对所述第一全脸特征表示和所述局部人脸特征表示进行融合，得到融合特征表示；该特征融合模块可以根据所述融合特征表示，对所述待识别的人脸图像的身份进行识别。

示例地，如图8所示，待识别的人脸图像是戴口罩的人脸图像，则可以将该戴口罩的人脸图像输入至联合模型中的第一全脸特征提取模型W_1，得到输出的第一全脸特征表示feat_1，并从戴口罩的人脸图像中提取左眼的人脸区域图像，将该左眼的人脸区域图像输入至局部人脸特征提取子模型M_1中，得到局部人脸特征表示feat_2。之后，将feat_1和feat_2依次进行拼接，得到特征feat_3，之后对特征feat_3进行整合，得到融合特征表示feat_4，接着，根据融合特征表示feat_4和预设人脸特征表示，确定戴口罩的人脸图像对应的身份。

其中，如图8所示，FC是用于对特征feat_3进行整合的全连接层，其包括在联合模型中的融合模块中。

上述可选示例中，是直接利用一个或多个局部人脸特征提取子模型与第一全脸特征提取模型进行组合的联合模型进行人脸图像识别。在一些实际情况中，为了提高人脸图像的特征提取的精度，还可以利用对联合模型进行训练后的联合模型进行人脸识别。其中，训练联合模型所采用的样本可以包括如下样本：被遮挡人脸图像、该被遮挡人脸图像中的一个或多个未被遮挡的局部人脸区域。其中，被遮挡人脸图像所包括的一个或多个局部人脸区域与联合模型中所包括的局部人脸特征提取子模型相对应。例如，如图8所示，联合模型包括局部人脸特征提取子模型M_1，则被遮挡人脸图像中未被遮挡的局部人脸区域为左眼的人脸区域。

参照图9所示，示出了对联合模型进行训练的步骤流程图，具体可以包括以下步骤：

步骤S901：将被遮挡人脸图像输入至所述第一全脸特征提取模型，以及，将该被遮挡人脸图像所包括的各局部人脸区域分别输入至对应的局部人脸特征提取子模型。

其中，输入至局部人脸特征提取子模型的局部人脸区域为被遮挡人脸图像中未被遮挡的人脸区域。例如，训练样本是戴口罩的人脸图像，则将戴口罩的人脸图像中未被遮挡的眼部区域输入至对应的局部人脸特征提取子模型。

示例地，如图8所示，联合模型包括局部人脸特征提取子模型M_1，则可以将戴口罩的人脸图像输入到第一全脸特征提取模型W_1，将左眼的人脸区域输入到局部人脸特征提取子模型M_1。

需要说明的是，图8仅为示例性说明。实际中，在联合模型中还可以包括第二全脸特征提取模型中的其他局部人脸特征提取子模型，例如，子模型M_2。当然，联合模型在包括一个局部人脸特征提取子模型的情况下，该局部人脸特征提取子模型也可以是M_2、M_3、M_4中的任意一个。

步骤S902：将所述第一全脸特征提取模型输出的全脸特征表示和所述一个或多个局部人脸特征提取子模型分别输出的特征表示，输入至所述特征融合模块。

本实施例中，所述特征融合模块可以先对所述一个或多个局部人脸特征提取子模型分别输出的特征表示和第一全脸特征提取模型输出的全脸特征表示进行拼接，之后，再将拼接后的特征表示进行融合，得到了融合特征表示。

具体实施时，由于第一全脸特征提取模型输出的全脸特征表示是n维的特征表示，而局部人脸特征提取子模型输出的特征表示可以是m维的特征表示，则在特征融合模型进行特征融合时，可以将n维的全脸特征表示和m维的特征表示拼接为n+m维的新特征表示，之后，将n+m维的新特征表示通过全连接层又转换到n维的特征表示。

其中，在转换时，可以设置全脸特征表示对应的权重α，以及与局部人脸特征提取子模型输出的特征表示对应的权重β，一般情况下，可以设置α为1，β为0.5，m为512，n为1024，则可以按照上述参数将n+m维的新特征表示通过全连接层又转换到n维的特征表示。

步骤S903：根据所述特征融合模型输出的融合特征表示和预先标记的身份标签，确定所述联合模型对应的损失值。

本实施例中，身份标签可以是指输入被遮挡人脸图像(训练样本)所对应的真实身份ID所组成的向量表示，该损失值可以表征联合模型预测的身份与被遮挡人脸图像(训练样本)所对应的真实用户身份之间的差距。

步骤S904：根据所述联合模型对应的损失值，对所述联合模型的参数进行更新。

本实施例中，可以根据联合模型的损失值对联合模型中的参数进行迭代更新，其中，包括对第一全脸特征提取模型的参数的更新，也包括对该联合模型所包括的局部人脸特征提取子模型的参数的更新。经过多次迭代更新后，便可以得到训练后的联合模型。

则相应地，在对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示时，可以通过训练后的联合模型中的第一全脸特征提取模型对所述人脸图像进行特征提取，得到第一全脸特征表示，以及通过训练后的联合模型中相应的局部人脸特征提取子模型对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示，进而通过训练后的联合模型中的特征融合模块，对第一全脸特征表示和局部人脸特征表示进行融合，从而根据所述融合特征表示，对待识别的人脸图像对应的身份进行识别。

本实施例中，利用训练后的联合模型进行人脸识别时，由于对联合模型进行了训练，使得训练后的联合模型可以更加准确地提取人脸特征，从而提高识别准确度。

以上实施例，详细说明了在人脸图像中包含被遮挡的局部人脸区域的情况下，对人脸图像进行人脸识别的过程，该过程主要通过对未被遮挡的剩余人脸区域中提取出的未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示，以及对人脸图像进行特征提取，得到第一全脸特征表示，并对第一全脸特征表示和局部人脸特征进行特征融合，从而根据融合后的特征进行人脸识别，由于融合后的特征强化了局部人脸特征，因此，可以成功进行人脸识别。

此外，由于训练出了第一全脸特征提取模型和第二全脸特征提取模型用于该种情况下的人脸图像识别，提高了人脸图像识别的准确度和效率，使得人脸图像识别能得到广泛应用。

当然，在一些实际情况中，人脸图像中可能并不包含被遮挡的人脸区域，即是在人脸未覆盖有遮挡物的情况下所拍摄得到的人脸图像，其可以包括完整的人脸信息。此种情况下，则可以根据待识别的人脸图像是否包含被遮挡的人脸区域，进行相应的人脸识别，参照图10所示，示出了此种情况下的一种人脸识别方法的步骤流程图，具体地，除包括步骤S102-步骤S104之外，还可以包括以下步骤：

步骤S102'：在所述人脸图像为无遮挡人脸图像的情况下，将所述人脸图像划分为多个局部人脸区域。

本实施例中，人脸图像为无遮挡人脸图像的情况，即是说明人脸图像可以具有完整的人脸信息，此时，可以按照预设规则将人脸图像划分为多个局部人脸区域。其中，预设规则可以是几何规则，例如，田字形、十字形等。当然，预设规则也可以是五官规则，例如，按照人脸五官划分为多个局部人脸区域，每个局部人脸区域对应一个五官。

例如，可以将人脸图像划分为左眼、右眼、鼻翼、左下脸颊(包括左半便嘴唇)、右下脸颊(包括右半便嘴唇)的五个区域。

步骤S103'：对所述多个局部人脸区域分别进行特征提取，得到多个局部人脸特征表示。

本实施例中，可以对每个局部人脸区域进行特征提取，从而得到每个局部人脸区域的局部人脸特征表示。不同局部人脸特征表示可以表征人脸不同部位的特征。

步骤S104'：对所述多个局部人脸特征表示进行融合，得到融合特征表示。

本实施例中，由于对人脸图像进行了分割，得到了不同局部人脸区域对应的局部人脸特征表示，因此，在进行识别时，可以对多个局部人脸特征表示按照各自对应的权重进行融合，从而得到了融合特征表示。

步骤S105'：根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

采用本申请实施例，由于对包含完整人脸面部信息的人脸图像进行了分割，从而得到人脸中不同局部区域的局部人脸特征表示，因此，可以提高人脸特征提取的精细化程度，从而得到人脸局部的精细特征。又由于对多个局部人脸特征表示进行了融合，从而融合特征表示可以反映人脸的整体特征和局部精细特征，这样，根据融合特征表示，对人脸图像对应的身份进行识别时，可以提高人脸识别的准确度和精度。

在一种可选示例中，在根据所述融合特征表示，对所述人脸图像对应的身份进行识别时，可以获得预存的至少一个预设人脸特征表示，每个预设人脸特征具有预先标记的身份标签，并确定所述融合特征表示分别与所述至少一个预设人脸特征表示之间的相似距离；之后，将相似距离小于预设相似距离的预设人脸特征表示所携带的身份标签，确定为所述人脸图像对应的身份标签。

其中，根据融合特征表示，对人脸图像对应的身份进行识别的过程，可以参照上述步骤S1051至步骤S1053的过程所述，在此不再赘述。

在又一种可选示例中，在对所述多个局部人脸特征表示进行融合，得到融合特征表示时，也可以利用图5所示的第二全脸特征提取模型对所述至少一个局部人脸特征表示进行融合，从而得到融合特征表示。具体地，针对多个局部人脸区域中的每个局部人脸区域，可以将该局部人脸区域输入所述第二全脸特征提取模型中对应的局部人脸特征提取子模型，得到该局部人脸区域的局部人脸特征表示；之后，可以将多个局部人脸区域各自的局部人脸特征表示输入所述第二全脸特征提取模型的融合模块，得到融合特征表示。

如图5所示，由于第二全脸特征提取模型中包括多个针对不同人脸局部区域的局部人脸特征提取子模型，因此，可以将分割得到的多个局部人脸区域分别输入到该第二全脸特征提取模型中相应的局部人脸特征提取子模型，以通过相应的局部人脸特征提取子模型进行特征提取，进而得到局部人脸区域各自对应的局部人脸特征表示，由于第二全脸特征提取模型中包括融合模块，则可以通过融合模块对各局部人脸特征表示进行融合，从而得到融合特征表示。

示例地，参照图5所示，可以将人脸图像的左眼、右眼、鼻翼、左下脸颊(包括左半便嘴唇)、的4个局部区域的图像分别输入到模型M_1、M_2、M_3、M_4中，从而得到模型M_1、M_2、M_3、M_4各自输出的局部特征表示，进而利用融合模块对各局部特征表示进行融合，得到融合后特征表示，之后，利用融合后特征表示，对人脸图像进行人脸识别。

采用上述实施方式时，由于第二全脸特征提取模型中包括了多个局部人脸特征提取子模型，则对每一个局部人脸区域，都利用针对性的局部人脸特征提取子模型进行特征提取，实现了人脸面部信息的分区块提取，使得提取到的局部人脸特征表示更加精确，之后，对各个区域的局部人脸特征进行融合，使得整体模型输出的特征表示更加鲁棒，从而提高人脸识别的准确度。

参照图11所示，示出了本发明实施例的一种人脸识别装置的结构框图，如图11所示，所述装置具体可以包括以下模块：

图像获得模块1101，用于获得待识别的人脸图像；

图像提取模块1102，用于在所述人脸图像包含被遮挡的局部人脸区域的情况下，从所述人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域；

第一特征提取模块1103，用于对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；

第一识别模块1104，用于根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别。

可选地，所述装置还可以包括以下模块：

划分模块，用于在所述人脸图像为无遮挡人脸图像的情况下，将所述人脸图像划分为多个局部人脸区域；

第二特征提取模块，用于对所述多个局部人脸区域分别进行特征提取，得到多个局部人脸特征表示；

特征融合模块，用于对所述多个局部人脸特征表示进行融合，得到融合特征表示；

第二识别模块，用于根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

可选地，所述第一识别模块1104，具体可以包括以下单元：

融合单元，用于基于与所述第一全脸特征表示对应的权重，以及与所述局部人脸特征表示对应的权重，对所述第一全脸特征表示和所述局部人脸特征表示进行融合，得到融合特征表示；

识别单元，用于根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

可选地，所述第一识别模块1104，具体可以包括以下单元：

身份标签获得单元，用于获得预存的至少一个预设人脸特征表示，每个预设人脸特征具有身份标签；

距离计算单元，用于确定所述融合特征表示分别与所述至少一个预设人脸特征表示之间的相似距离；

筛选单元，用于将相似距离小于预设相似距离的预设人脸特征表示所具有的身份标签，确定为所述人脸图像对应的身份标签。

可选地，所述装置还可以包括以下模块：

第一训练模块，用于以被遮挡人脸图像为样本，对第一预设模型进行训练，得到第一全脸特征提取模型；

第二训练模块，用于以无遮挡人脸图像的局部人脸区域为样本，对包括多个分支和融合模块的第二预设模型进行训练，得到第二全脸特征提取模型，所述第二全脸特征提取模型包括的多个分支为多个局部人脸特征提取子模型；

所述第一特征提取模块，具体用于将所述人脸图像输入所述第一全脸特征提取模型，得到所述第一全脸特征表示，以及将所述未被遮挡的局部人脸区域输入相应的局部人脸特征提取子模型，得到所述局部人脸特征表示。

可选地，所述第二训练模块，具体包括以下单元：

第一输入单元，用于将所述无遮挡人脸图像包括的各个局部人脸区域图像分别输入至对应的分支，获得由所述多个分支分别输出的特征表示；

拼接单元，用于对所述多个分支分别输出的特征表示进行融合，得到融合后特征表示；

第一损失确定单元，用于根据所述多个分支分别输出的特征表示和所述预先标记的身份标签，确定所述多个分支分别对应的局部特征损失值；以及，根据所述融合后特征表示和所述预先标记的身份标签，确定融合特征损失值；

第二损失确定单元，用于根据所述局部特征损失值和所述融合特征损失值，确定所述第二预设模型对应的损失值；

第一更新单元，用于根据所述第二预设模型对应的损失值，对所述第二预设模型的参数进行迭代更新，得到所述第二全脸特征提取模型。

可选地，所述装置还可以包括以下模块：

组建模块，用于将所述第一全脸特征提取模型与所述第二全脸特征提取模型中的一个或多个局部人脸特征提取子模型组成联合模型；其中，所述联合模型中包括特征融合模块，所述特征融合模块的输入端分别与所述第一全脸特征提取模型的输出端、以及所述一个或多个局部人脸特征提取子模型的输出端连接；

所述第一特征提取模块，具体用于通过所述联合模型中的所述第一全脸特征提取模型对所述人脸图像进行特征提取，得到第一全脸特征表示，以及通过所述联合模型相应的局部人脸特征提取子模型对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；

所述第一识别模块，具体用于通过所述联合模型的特征融合模块，对所述第一全脸特征表示和所述局部人脸特征表示进行融合，得到融合特征表示并根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

可选地，所述装置还可以包括对所述联合模型进行训练的第三训练模块，所述第三训练模块具体可以包括以下单元：

第二输入单元，用于将被遮挡人脸图像输入至所述第一全脸特征提取模型，以及，将被遮挡人脸图像所包括的各局部人脸区域分别输入至对应的局部人脸特征提取子模型；

第三输入单元，用于将所述第一全脸特征提取模型输出的全脸特征表示和所述一个或多个局部人脸特征提取子模型分别输出的特征表示，输入至所述特征融合模块；

第三损失确定单元，用于根据所述特征融合模型输出的融合特征表示和所述预先标记的身份标签，确定所述联合模型对应的损失值；

第二更新单元，用于根据所述联合模型对应的损失值，对所述联合模型的参数进行更新。

本发明实施例还提供了一种电子设备，该电子设备可以用于执行人脸识别方法，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行所述的人脸识别方法。

本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的人脸识别方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种人脸识别方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种人脸识别方法，其特征在于，所述方法包括：

获得待识别的人脸图像；

在所述人脸图像包含被遮挡的局部人脸区域的情况下，从所述人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域；

对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；

根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别。

2.根据权利要求1所述的方法，其特征在于，根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别，包括：

基于与所述第一全脸特征表示对应的权重，以及与所述局部人脸特征表示对应的权重，对所述第一全脸特征表示和所述局部人脸特征表示进行融合，得到融合特征表示；

根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

3.根据权利要求1或2所述的方法，其特征在于，根据所述融合特征表示，对所述人脸图像对应的身份进行识别，包括：

获得预存的至少一个预设人脸特征表示，每个预设人脸特征具有身份标签；

确定所述融合特征表示分别与所述至少一个预设人脸特征表示之间的相似距离；

将相似距离小于预设相似距离的预设人脸特征具有的身份标签，确定为所述人脸图像对应的身份标签。

4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

以被遮挡人脸图像为样本，对第一预设模型进行训练，得到第一全脸特征提取模型；

以无遮挡人脸图像的局部人脸区域为样本，对包括多个分支和融合模块的第二预设模型进行训练，得到第二全脸特征提取模型，所述第二全脸特征提取模型包括的多个分支为多个局部人脸特征提取子模型；

对所述人脸图像进行特征提取，得到第一全脸特征表示，包括：

将所述人脸图像输入所述第一全脸特征提取模型，得到所述第一全脸特征表示；

对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示，包括：

将所述未被遮挡的局部人脸区域输入相应的局部人脸特征提取子模型，得到所述局部人脸特征表示。

5.根据权利要求4所述的方法，其特征在于，以无遮挡人脸图像的局部人脸区域为样本，对包括多个分支和融合模块的第二预设模型进行训练，得到第二全脸特征提取模型，包括：

将所述无遮挡人脸图像包括的各个局部人脸区域图像分别输入至对应的分支，获得由所述多个分支分别输出的特征表示；

对所述多个分支分别输出的特征表示进行融合，得到融合后特征表示；

根据所述多个分支分别输出的特征表示和预先标记的身份标签，确定所述多个分支分别对应的局部特征损失值；以及，根据所述融合后特征表示和预先标记的身份标签，确定融合特征损失值；

根据所述局部特征损失值和所述融合特征损失值，确定所述第二预设模型对应的损失值；

根据所述第二预设模型对应的损失值，对所述第二预设模型的参数进行迭代更新，得到所述第二全脸特征提取模型。

6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：

将所述第一全脸特征提取模型与所述第二全脸特征提取模型中的一个或多个局部人脸特征提取子模型组成联合模型；其中，所述联合模型中包括特征融合模块，所述特征融合模块的输入端分别与所述第一全脸特征提取模型的输出端、以及所述一个或多个局部人脸特征提取子模型的输出端连接；

对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示，包括：

通过所述联合模型中的所述第一全脸特征提取模型对所述人脸图像进行特征提取，得到第一全脸特征表示，以及通过所述联合模型相应的局部人脸特征提取子模型对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；

根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别，包括：

通过所述联合模型的特征融合模块，对所述第一全脸特征表示和所述局部人脸特征表示进行融合，得到融合特征表示；

根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

7.根据权利要求6所述的方法，其特征在于，所述联合模型的训练过程包括以下步骤：

将被遮挡人脸图像输入至所述第一全脸特征提取模型，以及，将所述被遮挡人脸图像所包括的各局部人脸区域分别输入至对应的局部人脸特征提取子模型；

将所述第一全脸特征提取模型输出的全脸特征表示和所述一个或多个局部人脸特征提取子模型分别输出的特征表示，输入至所述特征融合模块；

根据所述特征融合模型输出的融合特征表示和预先标记的身份标签，确定所述联合模型对应的损失值；

根据所述联合模型对应的损失值，对所述联合模型的参数进行更新。

8.根据权利要求1-7任一所述的方法，其特征在于，所述方法还包括：

在所述人脸图像为无遮挡人脸图像的情况下，将所述人脸图像划分为多个局部人脸区域；

对所述多个局部人脸区域分别进行特征提取，得到多个局部人脸特征表示；

对所述多个局部人脸特征表示进行融合，得到融合特征表示；

根据所述融合特征表示，对所述人脸图像对应的身份进行识别。

9.一种人脸识别装置，其特征在于，包括：

图像获得模块，用于获得待识别的人脸图像；

图像提取模块，用于在所述人脸图像包含被遮挡的局部人脸区域的情况下，从所述人脸图像的未被遮挡的剩余人脸区域中提取未被遮挡的局部人脸区域；

第一特征提取模块，用于对所述人脸图像进行特征提取，得到第一全脸特征表示，以及，对所述未被遮挡的局部人脸区域进行特征提取，得到局部人脸特征表示；

第一识别模块，用于根据所述第一全脸特征表示和所述局部人脸特征表示，对所述人脸图像对应的身份进行识别。

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-8任一所述的人脸识别方法。

11.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-8任一所述的人脸识别方法。

Images