CN111291740A - 一种人脸识别模型的训练方法、人脸识别方法及硬件 - Google Patents

Abstract

本说明书实施例提供一种人脸识别模型的训练方法、人脸识别方法及硬件。训练方法包括：获取样本对象对应至少两种模态图像的人脸特征数据。对样本对象对应至少两种模态图像的人脸特征数据进行特征融合，得到样本对象对应的人脸融合特征数据。以样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以样本对象对应的识别分类标签作为人脸识别模型的输出，对人脸识别模型进行训练。人脸识别方法包括：获取待识别对象对应至少两种模态图像的人脸特征数据。对待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到待识别对象的人脸融合特征数据。将待识别对象的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果。

Description

一种人脸识别模型的训练方法、人脸识别方法及硬件

技术领域

本文件涉及生物识别技术领域，尤其涉及一种人脸识别模型的训练方法、人脸识别方法及硬件。

背景技术

随着人脸识别在线下支付场景的大规模应用，对人脸识别1:大N的误识通过率的要求越来越高。如何进一步的提升人脸识别的性能，来保证业务的发展已经成为当务之急。目前广泛使用的人脸识别技术是基于可见彩色光RGB摄像头的人脸成像，通过对RGB图片中的人脸特征进行身份核实识别。然而，随着业务的扩展，RGB人脸识别技术仅利用了人脸的纹理信息，在性能上已经越来越难以满足对通过率和误识率的极致要求。

为此，如何实现更高性能的人脸识别是当前急需解决的技术问题。

发明内容

本说明书实施例目的是提供一种人脸识别模型的训练方法、人脸识别方法及硬件、装置及电子设备，能够多模态化进行人脸识别，以提升识别性能。

为了实现上述目的，本说明书实施例是这样实现的：

第一方面，提供一种人脸识别模型的训练方法，包括：

获取样本对象对应至少两种模态图像的人脸特征数据；

对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

第二方面，提供一种人脸识别方法，包括：

获取待识别对象对应至少两种模态图像的人脸特征数据；

对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

第三方面，提供一种人脸识别模型的训练装置，包括：

获取模块，获取样本对象对应至少两种模态图像的人脸特征数据；

融合模块，对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

训练模块，以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

第四方面，提供一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

获取样本对象对应至少两种模态图像的人脸特征数据；

对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

第五方面，提供一种算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取样本对象对应至少两种模态图像的人脸特征数据；

对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

第六方面，提供一种人脸识别装置，包括：

获取模块，获取待识别对象对应至少两种模态图像的人脸特征数据；

融合模块，对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

识别模块，将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

第七方面，提供一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

获取待识别对象对应至少两种模态图像的人脸特征数据；

对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

第八方面，提供一种算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取待识别对象对应至少两种模态图像的人脸特征数据；

对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

本说明书实施例的模型方案方法将不同模态图像的人脸特征数据进行特征融合，以得到区分性更明显的人脸融合特征数据，并利用人脸融合特征数据训练人脸识别模型，从而可以利用人脸识别模型实现性能更高的人脸识别，可显著降低误识通过率。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的人脸识别模型的训练方法的流程示意图。

图2为本说明书实施例提供的人脸识别方法的流程示意图。

图3为本说明书实施例提供的人脸识别模型的训练装置的结构示意图。

图4为本说明书实施例提供的人脸识别装置的结构示意图。

图5为本说明书实施例提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

如前所述，随着人脸识别在线下支付场景的大规模应用，对人脸识别1:大N的误识通过率的要求越来越高。如何进一步的提升人脸识别的性能，来保证业务的发展已经成为当务之急。目前广泛使用的人脸识别技术是基于可见彩色光RGB摄像头的人脸成像，通过对RGB图片中的人脸特征进行身份核实识别。然而，随着业务的扩展，RGB人脸识别技术由于仅利用了人脸的纹理信息，性能上已经越来越难以满足对通过率和误识率的极致要求。

在此背景下，本文件旨在提供一种多模态化的人脸识别方案，能够实现更好的识别区分性能，以满足更高要求的误识通过率。

图1是本说明书实施例人脸识别模型的训练方法的流程图。图1所示的方法可以由下文相对应的装置执行，包括：

步骤S102，获取样本对象对应至少两种模态图像的人脸特征数据。

其中，上述至少两种模态图像可以但不限于包括有：近红外光IR人脸图像、可见彩色光RGB人脸图像和深度3D人脸图像中至少一者。在实际应用中，本步骤可以通过终端设备的摄像头，分别基于不同模态图像的拍摄模式捕捉样本对象的面部图像，并从面部图像提取出人脸特征数据。

步骤S104，对样本对象对应至少两种模态图像的人脸特征数据进行特征融合，得到样本对象对应的人脸融合特征数据。

应理解，特征融合的方式并不唯一，本说明书实施例不作具体限定。作为其作为示例性介绍：

本步骤可以利用属于卷积神经网络的特征融合模型对不同模态图像的人脸特征数据进行特征融合。

其中，特征融合模型包括：

卷积层，对获样本对象对应至少两种模态图像的人脸特征数据进行卷积处理，得到卷积层输出特征数据。在本说明书实施例中，卷积层可以过滤掉模态图像中无用的信息。

池化层，基于最大值池化算法和/或均值池化算法，对卷积层输出特征集进行池化处理，得到池化层输出特征数据；在本说明书实施例中，池化层可以压缩数据和参数的量，以减小过拟合。

连接层，将池化层输出特征数据进行组合、降维，得到样本对象对应的人脸融合特征数据。在本说明书实施例中，利用连接层分类能力，可以对不同模态图像的人脸特征数据进行融合。

应理解，在将样本对象对应至少两种模态图像的人脸特征数据输入至特征融合模型后，即可从特征融合模型的连接层提取到样本对象对应的人脸融合特征数据。

步骤S106，以样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以样本对象对应的识别分类标签作为人脸识别模型的输出，对人脸识别模型进行训练。

在具体的训练过程中，在将目标加密特征数据输入至人脸识别模型后，可以得到人脸识别模型给出的训练结果。这个训练结果是预设学习模型针对样本用户的预测分类结果，可能与样本用户的识别分类标签所指示的真值分类结果存在差异。本说明书实施例可以基于最大似然估计所推导出的损失函数，计算出预测分类结果与真值分类结果之间的误差值，并以降低误差值为目的，对人脸识别模型中的参数进行调整（例如底层向量的权重值），从而达到训练效果。

本说明书实施例的模型训练方法将不同模态图像的人脸特征数据进行特征融合，以得到区分性更明显的人脸融合特征数据，并利用人脸融合特征数据训练人脸识别模型，从而可以利用人脸识别模型实现性能更高的人脸识别，可显著降低误识通过率。

下面结合实际的应用场景对本说明书实施例的方法进行示例介绍。

本应用场景将对样本对象在IR人脸图像、RGB人脸图像和3D人脸图像三种模态图像中的人脸特征数据进行特征融合，以训练人脸人脸识别模型。对应的流程主要包括以下步骤：

步骤一，获取样本对象在IR人脸图像、RGB人脸图像和3D人脸图像三种模态图像中的人脸特征数据。

具体地，本步骤可以启动终端设备的摄像头，分别基于上述不同模态图像的拍摄模式捕捉样本对象的面部图像，并从面部图像提取出人脸特征数据。

应理解，面部图像能够呈现丰富的特征数据，其中就包含一些对人脸识别无用的信息。为了过滤掉无用的信息，可以通过训练模型的方式，利用模型的可解释性给出对人脸识别有意义的人脸特征数据。

具体地，本说明书实施例可以分别针对上述三种不同模态图像设置特征提取模型。以其中的目标模态图像的特征提取模型为例，可基于其他样本对象对应目标模态图像的人脸特征数据和其他样本对象对应的识别分类标签，对目标模态图像的特征提取模型进行训练，得到针对目标模态图像的人脸特征数据的解释数据，之后，利用解释数据来确定目标模态图像有效的特征维度，并按照目标模态图像有效的特征维度对样本对象的目标模态图像进行特征提取，得到样本对象对应目标模态图像的人脸特征数据。

比如，可以在对目标模态图像的特征提取模型训练完成后，基于目标模态图像中各个特征向量的权重值，来确定目标模态图像有用的的特征维度。应理解，目标模态图像中特征向量的权重值反映了特征向量对模型训练结果的影响程度。显然，权重值越大，则表示这个特征向量对人脸识别越重要。因此可以将基于目标模态图像的特征提取模型中权重值达到预设阈值的特征向量来确定得到需要进行特征提取的特征维度。

为方便理解，简单举例：

本说明书实施例为了找到样本对象在RGB人脸图像中有用的人脸特征数据。可以预先针对RGB人脸图像设置一个特征提取模型，并利用其他样本对象在RGB人脸图像中的各种人脸特征数据和其他样本对象对应的识别分类标签对特征提取模型进行训练。特征提取模型在训练完成后，会给出底层特征向量的权重值，这个权重值就是表征所述底层特征向量重要性的解释数据。通过，选择达到一定阈值的权重值底层特征向量，来构建对RGB人脸图像进行特征提取的特征维度。比如，训练后的特征提取模型中，反映中心区域灰度值的底层特征向量的权重值较高，则可以确定“中心区域灰度”是RGB人脸图像有效的特征维度。

在获取样本对象在RGB人脸图像有效的人脸特征数据的步骤中，可以提取样本对象在RGB人脸图像中的中心区域灰值。这个中心区域灰值用于与样本对象在其他模态图像中的特征数据进行特征融合。

显然，通过上述方法，可以提取样本对象在不同模态图像中有效的人脸特征数据，本文不再一一举例赘述。

步骤二，将样本对象对应IR人脸图像、RGB人脸图像和3D人脸图像三种模态图像中的人脸特征数据进行特征融合，得到人脸融合特征数据RGB_IR_3D。

其中，具体的特征融合在上文已经介绍，本文不再举例赘述。

需要说明的是，本说明书实施例可以直接一步将三种样本对象在IR人脸图像、RGB人脸图像和3D人脸图像三种模态图像中的人脸特征数据融合成人脸融合特征数据RGB_IR_3D；或者，先对样本对象在其中两者模态图像中的人脸特征数据进行特征融合，例如得到中间值的融合特征数据RGB_IR，之后在将中间值的融合特征数据RGB_IR与样本对象在剩下的模态图像中的人脸特征数据进行特征融合，得到融合特征数据RGB_IR_3D。

步骤三，基于样本对象对应的人脸融合特征数据RGB_IR_3D和识别分类标签，对人脸识别模型进行训练。

其中，具体的训练方法在上文已经介绍，本文不再举例赘述。还需要说明的是，任何具有分类功能的深度学习模型（如梯度提升树模型、逻辑回归模型）都可以适用于本说明书实施例的人脸识别模型，本说明书实施例不对人脸识别模型作具体限定。

显然，本应用场景将RGB人脸图像，IR人脸图像，深度人脸图像的信息进行了更加有效的机械学习，相比于仅利用RGB图像进行机械学习，模型具有更高识别区分性能，可显著降低误识通过率。

应理解，通过上训练方法训练完成的人脸识别模型，具有基于融合人脸特征数据）进行用户识别的能力。进一步地，本说明书实施例还提供一种基于上述人脸识别模型的人脸识别方法。图2是本说明书实施例人脸识别方法的流程图。图2所示的方法可以由下文相对应的装置执行，包括：

步骤S202，获取待识别对象对应至少两种模态图像的人脸特征数据。

步骤S204，对待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到待识别对象对应的人脸融合特征数据。

步骤S206，将待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，人脸识别模型是基于样本对象对应的人脸融合特征数据和样本对象对应的识别分类标签训练得到的，样本对象对应的人脸融合特征数据是由样本对象对应至少两种模态图像的人脸特征数据融合得到的。

本说明书实施例的人脸识别方法将不同模态图像的人脸特征数据进行特征融合，以得到区分性更明显的人脸融合特征数据，并利用人脸融合特征数据训练人脸识别模型，从而可以利用人脸识别模型实现性能更高的人脸识别，可显著降低误识通过率。

在实际应用中，本说明书实施例的人脸识别方法可以于任何需要进行身份验证的应用场景中。比如，人脸支付场景、屏幕解锁场景等。以人脸支付场景为例，待识别对象在使用支付设备进行人脸支付时，可以基于上述图2所示的步骤，控制支付设备获取待识别对象对应的人脸融合特征数据，并对待识别对象发起是否属于目标用户（合法支付用户）的身份验证。

以上是对本说明书实施例的人脸识别模型的训练方法的介绍，以及由人脸识别模型进行的人脸识别方法的介绍。应理解，在不脱离本文上述原理基础之上，还可以进行适当的变化，这些变化也应视为本说明书实施例的保护范围。

与上述人脸识别模型的训练方法相对应地，本说明书实施例还提供一种人脸识别模型的训练装置。图3是本说明书实施例的训练装置300的结构示意图，包括：

获取模块310，获取样本对象对应至少两种模态图像的人脸特征数据；

融合模块320，对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

训练模块330，以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

本说明书实施例的训练装置将不同模态图像的人脸特征数据进行特征融合，以得到区分性更明显的人脸融合特征数据，并利用人脸融合特征数据训练人脸识别模型，从而可以利用人脸识别模型实现性能更高的人脸识别，可显著降低误识通过率。

可选地，所述融合模块320在执行时，具体将所述样本对象对应所述至少两种模态图像的人脸特征数据输入至特征融合模型，得到所述样本对象对应的人脸融合特征数据。

其中，特征融合模型包括：

卷积层，对获样本对象对应至少两种模态图像的人脸特征数据进行卷积处理，得到卷积层输出特征数据。在本说明书实施例中，卷积层可以过滤掉模态图像中无用的信息。

池化层，基于最大值池化算法和/或均值池化算法，对卷积层输出特征集进行池化处理，得到池化层输出特征数据；在本说明书实施例中，池化层可以压缩数据和参数的量，以减小过拟合。

连接层，将池化层输出特征数据进行组合、降维，得到样本对象对应的人脸融合特征数据。在本说明书实施例中，利用连接层分类能力，可以对不同模态图像的人脸特征数据进行融合。

可选地，获取模块310在执行时，具体按照样本对象对应至少两种模态图像中的目标模态图像的特征维度，对所述样本对象的目标模态图像进行特征提取，得到所述样本对象对应目标模态图像的人脸特征数据，其中，所述目标模态图像的特征维度是基于所述目标模态图像的特征提取模型训练后的解释数据所确定得到，所述目标模态图像的特征提取模型是基于其他样本对象对应目标模态图像的人脸特征数据和所述其他样本对象对应的识别分类标签进行训练。

其中，上述解释数据包括所述目标模态图像的特征提取模型中的各个特征向量的权重值。本说明书实施例中，所述目标模态图像的特征维度可以是基于所述目标模态图像的特征提取模型中权重值达到预设阈值的特征向量所确定得到。

可选地，所述至少两种模态图像包括：近红外光人脸图像、可见彩色光人脸图像和深度人脸图像中至少一者。

显然，本说明书实施例的训练装置可以作为上述图1所示的训练方法的执行主体，因此能够实现该训练方法在图1所实现的功能。由于原理相同，本文不再赘述。

与上述人脸识别方法相对应地，本说明书实施例还提供一种人脸识别装置。图4是本说明书实施例的人脸识别装置400的结构示意图，包括：

获取模块410，获取待识别对象对应至少两种模态图像的人脸特征数据；

融合模块420，对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

识别模块440，将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

本说明书实施例的人脸识别装置将不同模态图像的人脸特征数据进行特征融合，以得到区分性更明显的人脸融合特征数据，并利用人脸融合特征数据训练人脸识别模型，从而可以利用人脸识别模型实现性能更高的人脸识别，可显著降低误识通过率。

具体地，本说明书实施例可以通过发起用户识别的终端设备来获取样本对象对应至少两种模态图像的人脸特征数据。即，上述获取模块410具体启动终端设备的摄像功能，以至少两种模态图像采集方式对所述待识别对象进行图像采集，得到所述待识别对象对应至少两种模态图像的人脸特征数据。

在实际应用中，本说明书实施例的人脸识别装置可以用于支付设备。待识别对象使用该支付设备进行人脸支付时，即可基于支付设备的人脸识别装置获取待识别对象对应的人脸融合特征数据，以用于支付过程所需要执行的身份验证。

图5是本说明书的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。图5是本说明书的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

可选地，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述人脸识别模型的训练装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取样本对象对应至少两种模态图像的人脸特征数据。

对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据。

以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

或者，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述人脸识别装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取待识别对象对应至少两种模态图像的人脸特征数据。

对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据。

将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

上述如本说明书图1所示实施例揭示的训练方法或者图2所示实施例揭示的人脸识别方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

应理解，本说明书实施例的电子设备可以实现上述特征提取装置在图1所示的实施例的功能，或者实现上述模型训练装置在图2所示的实施例的功能。由于原理相同，本文不再赘述。

当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

此外，本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令。

其中，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下步骤：

获取呈现有样本对象的多帧图像序列。

以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，其中，所述多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据。

对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据。

或者，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图2所示实施例的方法，并具体用于执行以下步骤：

获取呈现有样本对象的多帧图像序列。

以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，其中，所述多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据。

对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据。

基于所述样本对象对应的目标加密特征数据和样本对象的模型分类标签，对预设学习模型进行训练。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。此外，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

Claims (13)

1.一种人脸识别模型的训练方法，包括：

获取样本对象对应至少两种模态图像的人脸特征数据；

对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

2.根据权利要求1所述的方法，

对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据，包括：

将所述样本对象对应所述至少两种模态图像的人脸特征数据输入至特征融合模型，得到所述样本对象对应的人脸融合特征数据，其中，特征融合模型包括：

卷积层，对获所述样本对象对应所述至少两种模态图像的人脸特征数据进行卷积处理，得到卷积层输出特征数据；

池化层，基于最大值池化算法和/或均值池化算法，对所述卷积层输出特征集进行池化处理，得到池化层输出特征数据；

连接层，将池化层输出特征数据进行组合、降维，得到所述样本对象对应的人脸融合特征数据。

3.根据权利要求1所述的方法，

获取样本对象对应至少两种模态图像的人脸特征数据，包括：

按照样本对象对应至少两种模态图像中的目标模态图像的特征维度，对所述样本对象的目标模态图像进行特征提取，得到所述样本对象对应目标模态图像的人脸特征数据，其中，所述目标模态图像的特征维度是基于所述目标模态图像的特征提取模型训练后的解释数据所确定得到，所述目标模态图像的特征提取模型是基于其他样本对象对应目标模态图像的人脸特征数据和所述其他样本对象对应的识别分类标签进行训练。

4.根据权利要求3所述的方法，

所述解释数据包括所述目标模态图像的特征提取模型中的各个特征向量的权重值，所述目标模态图像的特征维度是基于所述目标模态图像的特征提取模型中权重值达到预设阈值的特征向量所确定得到。

5.根据权利要求1-3任一项所述的方法，

所述至少两种模态图像包括：近红外光人脸图像、可见彩色光人脸图像和深度人脸图像中至少一者。

6.一种人脸识别方法，包括：

获取待识别对象对应至少两种模态图像的人脸特征数据；

对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

7.根据权利要求6所述的方法，

获取待识别对象对应至少两种模态图像的人脸特征数据，包括：

启动终端设备的摄像功能，以至少两种模态图像采集方式对所述待识别对象进行图像采集，得到所述待识别对象对应至少两种模态图像的人脸特征数据。

8.一种人脸识别模型的训练装置，包括：

获取模块，获取样本对象对应至少两种模态图像的人脸特征数据；

融合模块，对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

训练模块，以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

9.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

获取样本对象对应至少两种模态图像的人脸特征数据；

对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取样本对象对应至少两种模态图像的人脸特征数据；

对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；

以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。

11.一种人脸识别装置，包括：

获取模块，获取待识别对象对应至少两种模态图像的人脸特征数据；

融合模块，对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

识别模块，将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

12.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

获取待识别对象对应至少两种模态图像的人脸特征数据；

对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取待识别对象对应至少两种模态图像的人脸特征数据；

对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；

将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。

Images