CN111639545A - 一种人脸识别方法、装置、设备及介质 - Google Patents

Abstract

本发明关于一种人脸识别方法、装置、设备及介质，用以提高有遮挡人脸场景下的人脸识别准确率，保障人脸识别效果，降低人工成本。本发明的人脸识别方法，包括：获取待识别对象的人脸图像；利用预先训练的识别模型确定所述人脸图像的人脸图像特征，所述识别模型是基于预先存储多个对象的人脸图像样本训练生成的，所述多个对象的人脸图像样本包括预先生成的所述多个对象的遮挡人脸图像样本；在预先存储的人脸图像特征和对象的对应关系中，确定所述人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为所述目标人脸图像特征对应的目标对象。

Description

一种人脸识别方法、装置、设备及介质

技术领域

本发明涉及人脸识别领域，尤其涉及一种人脸识别方法、装置、设备及介质。

背景技术

在人脸识别技术应用的场景中会发生待识别人脸被遮挡的情况，例如，防止病菌传播的环境中，待识别人脸被口罩、防护镜、墨镜等遮挡物遮挡。因大部分人脸关键点被遮挡，难以保障人脸识别效果，甚至无法识别。

现有人脸识别技术使用同一人的大量被遮挡人脸图像作为训练样本，但此种方法训练样本的采集过程较为繁琐，进行人工标注时对遮挡人脸图像的标注难度大，标注准确率不固定，人工成本高。另一种人脸识别技术基于无遮挡人脸图像和口罩图像合成遮挡人脸图像作为训练样本，但是合成的遮挡人脸图像质量参差不齐，难以保证训练后的人脸识别模型的识别效果。

针对需要对有遮挡人脸进行识别的场景中，如何提高人脸识别准确率、降低人工成本，是亟需解决的问题。

发明内容

本发明提供一种人脸识别方法、装置、设备及介质，用以提高有遮挡人脸场景下的人脸识别准确率，保障人脸识别效果，降低人工成本。

本发明的技术方案如下：

根据本发明实施例的第一方面，提供一种人脸识别方法，包括：

获取待识别对象的人脸图像；

利用预先训练的识别模型确定人脸图像的人脸图像特征，识别模型是基于预先存储多个对象的人脸图像样本训练生成的，多个对象的人脸图像样本包括预先生成的多个对象的遮挡人脸图像样本；

在预先存储的人脸图像特征和对象的对应关系中，确定人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为目标人脸图像特征对应的目标对象。

一种可能的实施方式中，本发明实施例提供的人脸识别方法中，预先生成的多个对象的遮挡人脸图像样本，采用如下步骤生成：

针对每个对象，基于预先采集的该对象的无遮挡人脸图像样本和遮挡人脸图像样本，确定该对象的图像特征；

根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本。

一种可能的实施方式中，本发明实施例提供的人脸识别方法中，根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本之后，方法还包括：

在确定生成的无遮挡人脸图像样本、遮挡人脸图像样本满足预设条件时，确定生成的无遮挡人脸图像样本和遮挡人脸图像样本对应的对象为该对象；

其中，预设条件包括如下一种或多种：

条件一、生成的无遮挡人脸图像样本的人脸图像特征与生成的遮挡人脸图像样本的人脸图像特征的特征距离等于第一预设距离阈值；

条件二、生成的无遮挡人脸图像样本的人脸图像特征与预先采集的无遮挡人脸图像样本的人脸图像特征的特征距离小于或等于第二预设距离阈值，且生成的遮挡人脸图像样本的人脸图像特征与预先采集的遮挡人脸图像样本的人脸图像特征的距离小于或等于第三预设距离阈值。

一种可能的实施方式中，本发明实施例提供的人脸识别方法中，预先训练的识别模型，采用如下步骤训练：

将预先存储多个对象的人脸图像样本作为神经网络模型的输入特征，并将人脸图像样本对应的对象作为神经网络模型的输出特征，对神经网络模型进行训练，将生成的神经网络模型作为识别模型。

一种可能的实施方式中，本发明实施例提供的人脸识别方法中，预先生成的多个对象的遮挡人脸图像样本数目与预先存储多个对象的人脸图像样本数目比值为预设比值。

根据本发明实施例的第二方面，提供一种人脸识别装置，包括：

采集单元，用于获取待识别对象的人脸图像；

处理单元，用于利用预先训练的识别模型确定人脸图像的人脸图像特征，识别模型是基于预先存储多个对象的人脸图像样本训练生成的，多个对象的人脸图像样本包括预先生成的多个对象的遮挡人脸图像样本；

确定单元，用于在预先存储的人脸图像特征和对象的对应关系中，确定人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为目标人脸图像特征对应的目标对象。

一种可能的实施方式中，本发明实施例提供的人脸识别装置中，处理单元具体用于，采用如下步骤生成多个对象的遮挡人脸图像样本：

针对每个对象，基于预先采集的该对象的无遮挡人脸图像样本和遮挡人脸图像样本，确定该对象的图像特征；

根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本。

一种可能的实施方式中，本发明实施例提供的人脸识别装置中，处理单元还用于：

在根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本之后，在确定生成的无遮挡人脸图像样本、遮挡人脸图像样本满足预设条件时，确定生成的无遮挡人脸图像样本和遮挡人脸图像样本对应的对象为该对象；

其中，预设条件包括如下一种或多种：

条件一、生成的无遮挡人脸图像样本的人脸图像特征与生成的遮挡人脸图像样本的人脸图像特征的特征距离等于第一预设距离阈值；

条件二、生成的无遮挡人脸图像样本的人脸图像特征与预先采集的无遮挡人脸图像样本的人脸图像特征的特征距离小于或等于第二预设距离阈值，且生成的遮挡人脸图像样本的人脸图像特征与预先采集的遮挡人脸图像样本的人脸图像特征的距离小于或等于第三预设距离阈值。

一种可能的实施方式中，本发明实施例提供的人脸识别装置中，处理单元具体用于采用如下步骤训练识别模型：

将预先存储多个对象的人脸图像样本作为神经网络模型的输入特征，并将人脸图像样本对应的对象作为神经网络模型的输出特征，对神经网络模型进行训练，将生成的神经网络模型作为识别模型。

一种可能的实施方式中，本发明实施例提供的人脸识别装置中，预先生成的多个对象的遮挡人脸图像样本数目与预先存储多个对象的人脸图像样本数目比值为预设比值。

根据本发明实施例的第三方面，提供一种人脸识别设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行指令以实现第一方面中任一项的人脸识别方法。

根据本发明实施例的第四方面，提供一种存储介质，当存储介质中的指令由人脸识别设备的处理器执行时，使得人脸识别设备能够执行第一方面中任一项的人脸识别方法。

本发明的实施例提供的技术方案至少带来以下有益效果：

获取待识别对象的人脸图像，利用预先训练的识别模型确定人脸图像的人脸图像特征，识别模型是基于预先存储多个对象的人脸图像样本训练生成的，多个对象的人脸图像样本包括预先生成的多个对象的遮挡人脸图像样本，在预先存储的人脸图像特征和对象的对应关系中，确定人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为目标人脸图像特征对应的目标对象。用于训练识别模型的多个对象的人脸图像样本包括多个预先生成的遮挡人脸图像样本，不需采集和标注用于训练识别模型的遮挡人脸图像样本，降低人工成本，使得训练后的识别模型确定人脸图像特征效率提升，同时提升了识别对象的准确率，保障人脸识别效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。

图1是根据一示例性实施例示出的一种人脸识别方法的示意流程图。

图2是根据一示例性实施例示出的一种变分自编码器结构示意图。

图3是根据一示例性实施例示出的一种人脸识别方法的流程示意图。

图4是根据一示例性实施例示出的一种人脸识别方法功能模块示意图。

图5是根据一示例性实施例示出的一种人脸识别装置的结构示意图。

图6是根据一示例性实施例示出的一种人脸识别设备的结构示意图。

图7是根据一示例性实施例示出的另一种人脸识别设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面对文中出现的一些词语进行解释：

1、本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

2、本发明实施例中术语“终端”可以表示包括如手机、电脑、平板等电子设备。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是根据一示例性实施例示出的一种人脸识别方法的流程示意图，如图1所示，人脸识别方法，包括以下步骤：

步骤S101，获取待识别对象的人脸图像。

具体实施时，根据实际应用场景，待识别对象的人脸图像可以通过现场采集的方式获取得到，也可以是通过接收图像的方式获取得到。

步骤S102，利用预先训练的识别模型确定人脸图像的人脸图像特征，识别模型是基于预先存储多个对象的人脸图像样本训练生成的，多个对象的人脸图像样本包括预先生成的多个对象的遮挡人脸图像样本。

具体实施时，可以采用预先训练的识别模型提取待识别人脸图像的人脸图像特征，训练识别模型是以预先存储的多个对象的人脸图像作为训练样本，并且训练样本中还包括预先生成的多个对象的遮挡人脸图像样本，由于训练样本中的遮挡人脸图像样本是预先生成的，降低了人工成本，同时避免了对采集遮挡人脸图像样本进行人工标注不准确的问题，保障了人脸识别效果。

在实际应用场景中，预先生成的多个对象的遮挡人脸图像样本，采用如下步骤生成：

针对每个对象，基于预先采集的该对象的无遮挡人脸图像样本和遮挡人脸图像样本，确定该对象的图像特征。

根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本。

具体实施时，可以采用变分自编码器生成遮挡人脸图像样本，图2为根据一示例性实施例示出的变分自编码器，编码模块可以采用重参数化方法将同一对象的预先采集的无遮挡人脸图像样本和遮挡人脸图像样本分别映射到一个隐空间。例如，E1编码模块21将无遮挡人脸图像样本通过公式

进行映射，其中，

μ₁和σ₁分别表示对象

的无遮挡人脸图像样本x₁的均值和标准差，ε为无遮挡人脸图像样本x₁的标准高斯采样，z₁为经过参数化的无遮挡人脸图像样本x₁。类似地，E2编码模块22将遮挡人脸图像样本通过公式

进行映射，其中，

μ₂和σ₂分别表示对象

的遮挡人脸图像样本x₂的均值和标准差，ε为遮挡人脸图像样本x₂的标准高斯采样，z₂为经过参数化的遮挡人脸图像样本x₂。

两个编码模块分别将同一对象的无遮挡人脸图像样本和遮挡人脸图像样本映射到隐空间之后，根据Z₁和Z₂得到联合分布ZI，其中ZI中包含了该对象的图像特征。例如，可以基于KL散度得到无遮挡人脸图像样本和遮挡人脸图像样本的独立分布：

其中，p(z₁)和p(z₂)均为多变量的标准高斯分布，此独立分布中也包含该对象的图像特征。

通过DI解码模块23根据预先配置的解码关系对该对象的图像特征进行相应解码。例如，可以通过调整解码模块pθ(x1,x2|ZI)中的参数θ，可以生成该对象的多个遮挡人脸图像样本以及多个无遮挡人脸图像样本ζ_rec。

可以依据公式

实现根据该对象的图像特征重建出该对象新的遮挡人脸图像样本和无遮挡人脸图像样本ζ_rec的过程。并将生成的无遮挡人脸图像样本和遮挡人脸图像样本对应的对象确定为该对象。

在实际应用场景中，为提升生成图像标注结果为对应对象准确率，根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本之后，还可以在确定生成的无遮挡人脸图像样本、遮挡人脸图像样本满足预设条件时，确定生成的无遮挡人脸图像样本和遮挡人脸图像样本对应的对象为该对象。其中，预设条件包括如下一种或多种：

条件一、生成的无遮挡人脸图像样本的人脸图像特征与生成的遮挡人脸图像样本的人脸图像特征的特征距离等于第一预设距离阈值。

条件二、生成的无遮挡人脸图像样本的人脸图像特征与预先采集的无遮挡人脸图像样本的人脸图像特征的特征距离小于或等于第二预设距离阈值，且生成的遮挡人脸图像样本的人脸图像特征与预先采集的遮挡人脸图像样本的人脸图像特征的距离小于或等于第三预设距离阈值。

具体实施时，为了提升生成图片的质量，可以提取生成的无遮挡人脸图像样本和遮挡人脸图像样本的人脸图像特征，限制这两种人脸图像特征的特征距离，例如预先设置条件一，生成无遮挡人脸图像样本的人脸图像特征与生成遮挡人脸图像样本的人脸图像特征的特征距离等于第一预设距离阈值，生成的无遮挡人脸图像样本的人脸图像特征与生成的遮挡人脸图像样本特征的人脸图像特征距离可表示为

其中，

表示生成无遮挡人脸图像样本的人脸图像特征，

表示生成遮挡人脸图像样本的人脸图像特征。

也可以提取同一对象的生成遮挡人脸图像样本、无遮挡人脸图像样本、预先采集的无遮挡人脸图像样本和预先采集的遮挡人脸图像样本的人脸图像特征，限制生成的遮挡人脸图像样本的人脸图像特征与采集的人脸图像的人脸图像特征的特征距离，以及限制生成的无遮挡人脸图像样本的人脸图像特征与采集的无遮挡人脸图像样本的人脸图像特征的特征距离，例如预先设置条件二，生成无遮挡人脸图像样本的人脸图像特征与预先采集的无遮挡人脸图像样本的人脸图像特征的特征距离小于或等于第二预设距离阈值，且生成的遮挡人脸图像样本的人脸图像特征与预先采集的遮挡人脸图像样本的人脸图像特征的距离小于或等于第三预设距离阈值。

一种可能的实施方式中，限制生成的遮挡人脸图像样本的人脸图像特征与采集的遮挡人脸图像样本的人脸图像特征的特征距离，与限制生成的无遮挡人脸图像样本的人脸图像特征与采集的无遮挡人脸图像样本的人脸图像特征的特征距离的和

其中，

表示生成的无遮挡人脸图像样本的人脸图像特征，

表示生成的遮挡人脸图像样本的人脸图像特征，Fip(x₁)表示采集的无遮挡人脸图像样本的人脸图像特征，Fip(x₂)表示采集的遮挡人脸图像样本的人脸图像特征。

通过上述实施例中的预设条件对生成无遮挡人脸图像样本的人脸图像特征、遮挡人脸图像样本的人脸图像特征进行限制特征距离，解决现有图像生成方法中，采用一个预训练好的人脸识别模型监督生成图像过程中，无法有效保证生成图像的与对象对应关系的准确性的问题。换句话说，解决了现有图像生成方法中无法保证对所生成图像标注结果为对应对象的准确性。保证了生成的无遮挡人脸图像样本和遮挡人脸图像样本与所属对象的一致性，也即保证了生成的图像和采集的图像属于同一对象。

需要说明的是，本发明实施例中可以同时生成无遮挡人脸图像样本和遮挡人脸图像样本，同时生成的两种图像可以记为一对生成图像。一对生成图像可以同时作为训练识别模型的训练样本，也可以单独用作训练不同模型的训练样本。

一种可能的实施方式中，预先训练的识别模型，采用如下步骤训练：

将预先存储多个对象的人脸图像样本作为神经网络模型的输入特征，并将人脸图像样本对应的对象作为神经网络模型的输出特征，对神经网络模型进行训练，将生成的神经网络模型作为识别模型。

具体实施时，将预先存储的多个对象的人脸图像训练样本，输入神经网络模型，将经过训练生成的神经网络模型作为识别模型，由于训练样本中包括预先生成的多个对象的遮挡人脸图像样本，提升识别遮挡人脸图像的识别效率和准确率。

步骤S103，在预先存储的人脸图像特征和对象的对应关系中，确定人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为目标人脸图像特征对应的目标对象。

具体实施时，在预先存储的人脸图像特征和对象的对应关系可以是预先存储的人脸图像特征与对象标识的对应关系，对象标识可以与对象具有一一对应的关系，换句话说，每个对象具有唯一的对象标识，每个对象可以与多个人脸图像特征具有对应关系，需要说明的是，预先存储的人脸图像特征可以包括训练识别模型时使用的人脸图像样本的图像特征，还可以包括其他人脸图像特征，例如，某个人脸图像数据库中任一个人脸图像的人脸图像特征。

可以采用预设匹配规则确定待识别人脸图像的人脸图像特征与目标人脸图像特征是否匹配。例如，待识别人脸图像的人脸图像特征与目标人脸图像特征的相似度大于预设相似度阈值时，确定待识别人脸图像的人脸图像特征与目标人脸图像特征匹配。并将目标人脸图像特征对应的目标对象确定为待识别对象，实现通过人脸图像确定待识别对象。

一种可能的实施方式中，本发明实施例提供的人脸识别方法中，预先存储多个对象的人脸图像样本还包括如下一种或多种：

预先生成的多个对象的无遮挡人脸图像样本、预先采集的多个对象的遮挡人脸图像样本、预先采集的多个对象的无遮挡人脸图像样本。

具体实施时，由于识别模型是基于预先存储多个对象的人脸图像样本训练生成的，预先存储的人脸图像样本还可以包括预先生成的多个对象的无遮挡人脸图像样本或者预先采集的多个对象的无遮挡人脸图像样本中任一种时，本发明实施例中提供的识别模型还可以应用于无遮挡人脸识别的场景中，生成的多个无遮挡人脸图像样本用作训练识别模型的训练样本，可以增加识别模型的对同一对象不同无遮挡人脸图像识别时的鲁棒性，提升识别模型的识别效率和准确率。

预先存储的人脸图像样本还包括预先采集的多个对象的遮挡人脸图像样本时，训练识别模型的训练样本中有较多的高质量(接近对象人脸实际情况)的遮挡人脸图像样本，有助于识别模型进一步提升识别效率和准确率，保证了识别效果。

一种可能的实施方式中，本发明实施例提供的人脸识别方法中，预先生成的多个对象的遮挡人脸图像样本数目与预先存储多个对象的人脸图像样本数目比值为预设比值。

具体实施时，在实际应用场景中，预先存储的多个对象的人脸图像样本一部分可以采用预先采集并被人工标注的遮挡人脸图像样本或者无遮挡人脸图像样本，另一部分采用预先生成的自动标注的遮挡人脸图像样本，将预先生成的遮挡人脸图像样本与全部预先存储的人脸图像的数量比值记为β，为保证遮挡人脸识别场景中的识别效果，可以配置β为预设比值。并且训练识别模型过程中，针对预先采集并被人工标注的遮挡人脸图像样本或者无遮挡人脸图像样本作为训练样本进行训练时的损失函数可以采用现有的softmax损失函数记为ζ_cls，针对生成的遮挡人脸图像样本和生成的无遮挡人脸图像样本作为训练样本对神经网络模型进行训练时的损失函数记为

其中，

表示生成无遮挡人脸图像样本，

表示生成遮挡人脸图像样本，训练识别模型的最终损失函数可记为ζ_mask＝ζ_cls+β₁ζ_pair。

一种可能的实施方式中，本发明实施例提供的人脸识别方法中，遮挡人脸图像样本中人脸遮挡区域的形状为预设形状；和/或，

遮挡人脸图像样本中人脸遮挡区域为预设区域。

具体实施时，由于遮挡人脸图像样本识别的场景多样，遮挡情况不同，本发明实施例中提供的对象确定方法，适用于不同遮挡场景。例如，口罩遮挡、墨镜遮挡、帽子遮挡等场景。可以根据不同遮挡场景，采用不同人脸遮挡区域的形状的遮挡人脸图像样本训练识别模型，保障不同遮挡场景的识别效果。

除了不同人脸遮挡区域的形状之外，还可以限定遮挡人脸图像样本中人脸遮挡区域的位置为预设区域的位置，进一步提升识别模型的鲁棒性。也可以使遮挡人脸图像样本为预设人脸遮挡区域和预设人脸遮挡区域的形状，提升遮挡人脸图像样本的质量，使遮挡人脸图像样本更接近实际场景待识别对象被遮挡物遮挡的情形，进一步提高识别模型的准确率。

一种可能的实施方式中，可以预先存储多个对象的身份信息，确定待识别对象为目标人脸图像特征对应的目标对象的同时，还可以确定带识别对象的身份信息为目标对象的身份信息。

图3是根据一示例性实施例示出的一种人脸识别方法的流程示意图，如图3所示，人脸识别方法，包括以下步骤：

步骤S301，生成多个对象的遮挡人脸图像样本。

具体实施时，针对每一个对象，可以利用图2中示出的变分自编码器，基于该对象预先采集的遮挡人脸图像样本和无遮挡人脸图像样本，确定该对象的图像特征ZI，再根据该对象的图像特征ZI的分布情况重建出该对象的无遮挡人脸图像样本和遮挡人脸图像样本。并将生成的无遮挡人脸图像样本和遮挡人脸图像样本自动标注为该对象，也可以将生成的无遮挡人脸图像样本特征和遮挡人脸图像样本特征自动标注为该对象，换句话说，生成的无遮挡人脸图像样本和遮挡人脸图像样本与该对象具有对应关系，其中，生成的无遮挡人脸图像样本特征和遮挡人脸图像样本特征可以通过一个轻量级的神经网络提取图像特征。

在实际应用场景中，为了保证生成图像效率，使得同时生成的无遮挡人脸图像样本和遮挡人脸图像样本与同一对象具有对应关系，可以限制生成的一对图像(同时生成的遮挡人脸图像样本和无遮挡人脸图像样本)的特征之间的距离

为第一预设距离阈值，其中，

表示生成无遮挡人脸图像样本特征，

表示生成遮挡人脸图像样本特征。

还可以考虑生成一对图像与用于生成图像的预先采集的遮挡人脸图像样本和无遮挡人脸图像样本与同一对象具有对应关系，可以限制生成的一对图像的特征分别与预先采集的一对图像特征之间的距离，例如，限制生成遮挡人脸图像样本特征与采集人脸图像的人脸图像特征的特征距离，与限制生成无遮挡人脸图像样本的人脸图像特征与采集无遮挡人脸图像样本的人脸图像特征的特征距离的和

其中，

表示生成无遮挡人脸图像样本的人脸图像特征，

表示生成遮挡人脸图像样本的人脸图像特征，Fip(x₁)表示采集无遮挡人脸图像样本的人脸图像特征，Fip(x₂)表示采集遮挡人脸图像样本的人脸图像特征。确定满足上述实施例中的特征距离限制条件的生成的一对图像和用于生成图像的预先采集的遮挡人脸图像样本和无遮挡人脸图像样本都与该对象具有对应关系，例如，图像的标注指向同一对象。

步骤S302，利用预先存储的多个对象的人脸图像样本训练识别模型，预先存储的多个对象的人脸图像样本包括预先生成的多个对象的遮挡人脸图像样本。

具体实施时，预先存储的多个对象的人脸图像样本对神经网络模型进行训练，训练样本中包括步骤S301中生成的多个对象的遮挡人脸图像样本，由于生成的遮挡人脸图像样本增加了遮挡人脸图像样本训练样本数量，训练后的神经网络模型(也即识别模型)，在遮挡人脸识别场景中的鲁棒性提升，识别准确率提高。

并且在训练过程中，可以根据生成的遮挡人脸图像样本与训练样本总量的比值，提高针对生成的人脸图像训练损失函数在总损失函数之中的比重，保证遮挡人脸图像样本识别场景中的识别效果。

步骤S303，获取待识别对象的人脸图像。

具体实施时，待识别对象的人脸图像可以是通过现场采集的方式获取得到的，也可以是通过接收图像的方式获取得到，还可以是某采集设备此前采集过的某对象的人脸图像。

步骤S304，利用训练后的识别模型确定待识别对象人脸图像的人脸图像特征。

具体实施时，将待识别对象的人脸图像输入识别模型后，识别模型可以确定待识别对象人脸图像的人脸图像特征。

步骤S305，在确定待识别对象人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为目标人脸图像特征对应的目标对象。

具体实施时，在预先存储的人脸图像特征和对象的对应关系中，目标人脸图像特征可以是为预先存储的人脸图像特征中的任一个，确定待识别对象人脸图像的人脸图像特征与目标人脸图像特征是否匹配可以通过人脸图像特征之间的相似度进行判断。例如，待识别对象人脸图像的人脸图像特征与目标人脸图像特征的相似度大于预设相似度阈值时，确定待识别对象为目标人脸图像特征对应的目标对象。

图4是根据一示例性实施例示出的一种人脸识别方法功能模块示意图。本发明实施例中训练识别模型的人脸图像样本为预先生成的遮挡人脸图像样本，通过变分自编码生成遮挡人脸图像样本过程，同时也可以生成无遮挡人脸图像样本。通常，变分自编码器由一个编码器和一个解码器构成，将输入图像通过编码器中特定编码方式映射至隐空间，然后通过解码器中的解码方式得到生成的新的图像。

本发明实施例提供一种变分自编码器由两个编码器和一个解码器组成，如图4中示出的第一编码器401、第二编码器402、解码器403。将任一对象的无遮挡人脸图像输入第一编码器401并映射到一个隐空间，映射关系可为

其中，

μ₁和σ₁分别表示对象

的无遮挡人脸图像样本x₁的均值和标准差，ε为无遮挡人脸图像样本x₁的标准高斯采样，z₁为经过参数化的无遮挡人脸图像样本x₁。将该对象的遮挡人脸图像数据第二编码器402并映射到一个隐空间，映射关系可为

进行映射，其中，

μ₂和σ₂分别表示对象

的遮挡人脸图像样本x₂的均值和标准差，ε为遮挡人脸图像样本x₂的标准高斯采样，z₂为经过参数化的遮挡人脸图像样本x₂。第一编码器401和第二编码器402的结构可以是一致的。经由第一编码器401和第二编码器402映射到隐空间后，得到Z₁和Z₂的联合分布ZI。例如，通过KL散度(交叉熵)方法得到输入的同一对象的无遮挡人脸图像404和遮挡人脸图像405(图4中示出的政党人脸图像为对象的人脸被口罩遮挡的场景)的独立分布：

其中，p(z₁)和p(z₂)均为多变量的标准高斯分布，此独立分布中也包含该对象的图像特征。

本发明实施例中的解码器403通过调整pθ(x1,x2|ZI)中的参数θ，能够基于上述独立分布，重建出新的人脸图像(该对象的无遮挡人脸图像406和遮挡人脸图像407)。重建出的新的遮挡人脸图像和无遮挡人脸图像用于训练本发明实施例中的识别模型。

现有的图像生成方法通常利用一个预先训练好的人脸识别模型，作为生成图像过程中的一个监督，但无法有效保证生成图像的与样本图像具有对应关系，也即无法保证生成图像的身份信息。而本申请上述生成遮挡人脸图像和无遮挡人脸图像均属于同一对象，保证了生成图像和样本图像具有对应关系，也即保证了生成图像的身份信息。

为保证利用生成的遮挡人脸图像和无遮挡人脸图像作为训练样本的识别模型的效率，还可以配置由轻量级卷积神经网络的特征提取模块408，提取生成的无遮挡人脸图像和遮挡人脸图像的特征，然后限制两个特征之间的距离

其中，

表示生成无遮挡人脸图像样本的人脸图像特征，

表示生成遮挡人脸图像样本的人脸图像特征，可以根据实际应用场景，设置特征距离阈值，将特征距离大于特征距离阈值的一组无遮挡人脸图像和遮挡人脸图像作为训练识别模型的训练样本。

同时，可以通过限制生成遮挡人脸图像样本特征与采集人脸图像的人脸图像特征的特征距离，与限制生成无遮挡人脸图像样本的人脸图像特征与采集无遮挡人脸图像样本的人脸图像特征的特征距离的和

其中，

表示生成无遮挡人脸图像样本的人脸图像特征，

表示生成遮挡人脸图像样本的人脸图像特征，Fip(x₁)表示采集无遮挡人脸图像样本的人脸图像特征，Fip(x₂)表示采集遮挡人脸图像样本的人脸图像特征。用以保证生成的一组无遮挡人脸图像406和遮挡人脸图像407与输入的一组无遮挡人脸图像404和遮挡人脸图像405，具有对应关系，例如身份信息一致关系。

另外，在利用上述过程生成的无遮挡人脸图像和遮挡人脸图像作为训练样本训练识别模型过程中，对原始标注的遮挡人脸图像和无遮挡人脸图像，采用默认softmax损失函数ζ_cls作为监督。对生成的无遮挡人脸图像和遮挡人脸图像，采用

作为损失函数。并在训练过程中加大配对损失的比重，识别模型的损失函数可记为ζ_mask＝ζ_cls+β₁ζ_pair，其中β₁为权重系数，在实际应用场景中，可以调整权重系数，以保障不同场景中的识别效果。实现不需要通过大量手工标注，便可获得大量属于同一对象的遮挡人脸图像和无遮挡人脸图像，用于训练识别模型，提升识别效率和准确率。

图5是根据一示例性实施例示出的一种人脸识别装置结构示意图，如图5所示，该装置包括采集单元501，处理单元502，确定单元503。

采集单元501，用于获取待识别对象的人脸图像；

处理单元502，用于利用预先训练的识别模型确定人脸图像的人脸图像特征，识别模型是基于预先存储多个对象的人脸图像样本训练生成的，多个对象的人脸图像样本包括预先生成的多个对象的遮挡人脸图像样本；

确定单元503，用于在预先存储的人脸图像特征和对象的对应关系中，确定人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为目标人脸图像特征对应的目标对象。

一种可能的实施方式中，本发明实施例提供的人脸识别装置中，处理单元502具体用于，采用如下步骤生成多个对象的遮挡人脸图像样本：

针对每个对象，基于预先采集的该对象的无遮挡人脸图像样本和遮挡人脸图像样本，确定该对象的图像特征；

根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本。

一种可能的实施方式中，本发明实施例提供的人脸识别装置中，处理单元502还用于：

在根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本之后，在确定生成的无遮挡人脸图像样本、遮挡人脸图像样本满足预设条件时，确定生成的无遮挡人脸图像样本和遮挡人脸图像样本对应的对象为该对象；

其中，预设条件包括如下一种或多种：

条件一、生成的无遮挡人脸图像样本的人脸图像特征与生成的遮挡人脸图像样本的人脸图像特征的特征距离等于第一预设距离阈值；

条件二、生成的无遮挡人脸图像样本的人脸图像特征与预先采集的无遮挡人脸图像样本的人脸图像特征的特征距离小于或等于第二预设距离阈值，且生成的遮挡人脸图像样本的人脸图像特征与预先采集的遮挡人脸图像样本的人脸图像特征的距离小于或等于第三预设距离阈值。

一种可能的实施方式中，本发明实施例提供的人脸识别装置中，处理单元502具体用于采用如下步骤训练识别模型：

将预先存储多个对象的人脸图像样本作为神经网络模型的输入特征，并将人脸图像样本对应的对象作为神经网络模型的输出特征，对神经网络模型进行训练，将生成的神经网络模型作为识别模型。

一种可能的实施方式中，本发明实施例提供的人脸识别装置中，预先生成的多个对象的遮挡人脸图像样本数目与预先存储多个对象的人脸图像样本数目比值为预设比值。

基于上述本发明实施例相同构思，图6是根据一示例性实施例示出的人脸识别设备600的结构示意图，如图6所示，本发明实施例示出的人脸识别设备600包括：

处理器610；

用于存储处理器610可执行指令的存储器620；

其中，处理器610被配置为执行指令，以实现本发明实施例中人脸识别方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器620，上述指令可由人脸识别装置的处理器610执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

另外，结合图1-图6所描述的本发明实施例提供的人脸识别方法及装置可以由人脸识别设备来实现。图7示出了本发明实施例提供的人脸识别设备结构示意图。

该人脸识别设备可以包括处理器701以及存储有计算机程序指令的存储器702。

具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器702可以包括用于存储数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在数据处理装置的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。在特定实施例中，存储器702包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的人脸识别方法。

在一个示例中，该人脸识别设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。

通信接口703，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线710包括硬件、软件或两者，将该人脸识别设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其它图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其它合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的人脸识别方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一项人脸识别方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸识别方法，其特征在于，所述方法包括：

获取待识别对象的人脸图像；

利用预先训练的识别模型确定所述人脸图像的人脸图像特征，所述识别模型是基于预先存储多个对象的人脸图像样本训练生成的，所述多个对象的人脸图像样本包括预先生成的所述多个对象的遮挡人脸图像样本；

在预先存储的人脸图像特征和对象的对应关系中，确定所述人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为所述目标人脸图像特征对应的目标对象。

2.根据权利要求1所述的方法，其特征在于，所述预先生成的所述多个对象的遮挡人脸图像样本，采用如下步骤生成：

针对每个对象，基于预先采集的该对象的无遮挡人脸图像样本和遮挡人脸图像样本，确定该对象的图像特征；

根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本。

3.根据权利要求2所述的方法，其特征在于，所述根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本之后，所述方法还包括：

在确定生成的无遮挡人脸图像样本、遮挡人脸图像样本满足预设条件时，确定生成的无遮挡人脸图像样本和遮挡人脸图像样本对应的对象为该对象；

其中，所述预设条件包括如下一种或多种：

条件一、生成的无遮挡人脸图像样本的人脸图像特征与生成的遮挡人脸图像样本的人脸图像特征的特征距离等于第一预设距离阈值；

条件二、生成的无遮挡人脸图像样本的人脸图像特征与预先采集的无遮挡人脸图像样本的人脸图像特征的特征距离小于或等于第二预设距离阈值，且生成的遮挡人脸图像样本的人脸图像特征与预先采集的遮挡人脸图像样本的人脸图像特征的距离小于或等于第三预设距离阈值。

4.根据权利要求1-3中任一所述的方法，其特征在于，所述预先训练的识别模型，采用如下步骤训练：

将所述预先存储多个对象的人脸图像样本作为神经网络模型的输入特征，并将人脸图像样本对应的对象作为所述神经网络模型的输出特征，对所述神经网络模型进行训练，将生成的神经网络模型作为所述识别模型。

5.一种人脸识别装置，其特征在于，所述装置包括：

采集单元，用于获取待识别对象的人脸图像；

处理单元，用于利用预先训练的识别模型确定所述人脸图像的人脸图像特征，所述识别模型是基于预先存储多个对象的人脸图像样本训练生成的，所述多个对象的人脸图像样本包括预先生成的所述多个对象的遮挡人脸图像样本；

确定单元，用于在预先存储的人脸图像特征和对象的对应关系中，确定所述人脸图像的人脸图像特征与目标人脸图像特征匹配时，确定待识别对象为所述目标人脸图像特征对应的目标对象。

6.根据权利要求5所述的装置，其特征在于，所述处理单元具体用于，采用如下步骤生成所述多个对象的遮挡人脸图像样本：

针对每个对象，基于预先采集的该对象的无遮挡人脸图像样本和遮挡人脸图像样本，确定该对象的图像特征；

根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本。

7.根据权利要求5所述的装置，其特征在于，所述处理单元还用于：

在根据该对象的图像特征，生成无遮挡人脸图像样本和遮挡人脸图像样本之后，在确定生成的无遮挡人脸图像样本、遮挡人脸图像样本满足预设条件时，确定生成的无遮挡人脸图像样本和遮挡人脸图像样本对应的对象为该对象；

其中，所述预设条件包括如下一种或多种：

条件一、生成的无遮挡人脸图像样本的人脸图像特征与生成的遮挡人脸图像样本的人脸图像特征的特征距离等于第一预设距离阈值；

条件二、生成的无遮挡人脸图像样本的人脸图像特征与预先采集的无遮挡人脸图像样本的人脸图像特征的特征距离小于或等于第二预设距离阈值，且生成的遮挡人脸图像样本的人脸图像特征与预先采集的遮挡人脸图像样本的人脸图像特征的距离小于或等于第三预设距离阈值。

8.根据权利要求5-7中任一所述的装置，其特征在于，所述处理单元具体用于采用如下步骤训练识别模型：

将所述预先存储多个对象的人脸图像样本作为神经网络模型的输入特征，并将人脸图像样本对应的对象作为所述神经网络模型的输出特征，对所述神经网络模型进行训练，将生成的神经网络模型作为所述识别模型。

9.一种人脸识别设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令以实现如权利要求1至4中任一项所述的人脸识别方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由人脸识别设备的处理器执行时，使得所述人脸识别设备能够执行如权利要求1至4中任一项所述的人脸识别方法。

Images