CN110163169A - 人脸识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开是关于一种人脸识别方法、装置、电子设备及存储介质，属于深度学习技术领域。方法包括：获取待比对的第一人脸图像和第二人脸图像；分别对第一人脸图像和第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；将第一身份特征和第二身份特征输入目标分类模型，获取目标分类模型的输出结果，当输出结果大于固定阈值时，确定第一人脸图像和第二人脸图像中包括的人脸为同一个用户。本公开直接对提取到的身份特征采用二分类的特征比对方式，由于直接将身份特征输入分类模型进行人脸识别，而分类模型实现了对身份特征的特征筛选和加权，因此无需为不同的人脸设置不同的阈值，不但可以提升人脸识别的准确率，而且能够节省大量的人力资源。

Description

人脸识别方法、装置、电子设备及存储介质

技术领域

本公开涉及深度学习技术领域，尤其涉及一种人脸识别方法、装置、电子设备及存储介质。

背景技术

生物特征识别技术目前具有广阔的应用前景，比如火车站的自动闸机、公司的考勤系统等均采用了基于人脸识别的生物特征识别技术。其中，人脸识别技术能够判断不同的人脸图像中出现的人脸是否为同一个用户。

众所周知，人脸识别的准确率越高，越能满足应用需求，也会节约更多的人力资源。为此，如何进行人脸识别，成为了本领域技术人员亟待解决的一个问题。

发明内容

本公开提供一种人脸识别方法、装置、电子设备及存储介质，能够提高人脸识别的准确率以及节约大量的人力资源。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种人脸识别方法，包括：

获取待比对的第一人脸图像和第二人脸图像；

分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；

将所述第一身份特征和所述第二身份特征输入目标分类模型，获取所述目标分类模型的输出结果，当所述输出结果大于固定阈值时，确定所述第一人脸图像和所述第二人脸图像中包括的人脸为同一个用户。

在一种可能的实现方式中，所述将所述第一身份特征和所述第二身份特征输入目标分类模型，包括：

将所述第一身份特征和所述第二身份特征进行拼接处理，将拼接后的身份特征输入所述目标分类模型。

在一种可能的实现方式中，在获取待比对的第一人脸图像和第二人脸图像之前，所述方法还包括：

获取第一训练样本集，对所述第一训练样本集中的各个样本图像进行预处理；

对经过预处理的所述各个样本图像进行特征提取；

将任意两个样本图像的身份特征拼接后输入初始分类模型，获取所述初始分类模型输出的预测比对结果；

基于第一损失函数，确定所述两个样本图像的实际比对结果与所述预测比对结果是否匹配，当所述实际比对结果与所述预测比对结果不匹配时，采用随机梯度下降算法优化所述初始分类模型的网络参数直至模型收敛。

在一种可能的实现方式中，所述目标分类模型包括顺次连接的第一全连接层、第二全连接层和第三全连接层；

其中，所述第一全连接层的维度大于所述第二全连接层的维度，所述第二全连接层的维度大于所述第三全连接层的维度。

在一种可能的实现方式中，所述分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征，包括：

对所述第一人脸图像进行预处理，基于特征提取模型对经过预处理的第一人脸图像进行特征提取，将所述特征提取模型最后一层的第一输出结果作为所述第一身份特征；

对所述第二人脸图像进行预处理，基于所述特征提取模型对经过预处理的第二人脸图像进行特征提取，将所述特征提取模型最后一层的第二输出结果作为所述第二身份特征。

在一种可能的实现方式中，在获取待比对的第一人脸图像和第二人脸图像之前，所述方法还包括：

获取第二训练样本集，对所述第二训练样本集中的各个样本图像进行预处理；

将经过预处理的所述第二训练样本集输入构建有第二损失函数的卷积神经网络，获取所述卷积神经网络输出的预测分类结果；

基于所述第二损失函数，确定所述第二训练样本集的实际分类结果与预测分类结果是否匹配，当所述实际分类结果与所述预测分类结果不匹配时，反复循环地迭代更新所述卷积神经网络中的权重值直至模型收敛。

根据本公开实施例的第二方面，提供一种人脸识别装置，包括：

获取单元，被配置为获取待比对的第一人脸图像和第二人脸图像；

特征提取单元，被配置为分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；

处理单元，被配置为将所述第一身份特征和所述第二身份特征输入目标分类模型；

比对单元，被配置为获取所述目标分类模型的输出结果，当所述输出结果大于固定阈值时，确定所述第一人脸图像和所述第二人脸图像中包括的人脸为同一个用户。

在一种可能的实现方式中，所述处理单元，还被配置为将所述第一身份特征和所述第二身份特征进行拼接处理，将拼接后的身份特征输入所述目标分类模型。

在一种可能的实现方式中，所述装置还包括：

第一训练单元，被配置为获取第一训练样本集，对所述第一训练样本集中的各个样本图像进行预处理；对经过预处理的所述各个样本图像进行特征提取；将任意两个样本图像的身份特征拼接后输入初始分类模型，获取所述初始分类模型输出的预测比对结果；基于第一损失函数，确定所述两个样本图像的实际比对结果与所述预测比对结果是否匹配，当所述实际比对结果与所述预测比对结果不匹配时，采用随机梯度下降算法优化所述初始分类模型的网络参数直至模型收敛。

在一种可能的实现方式中，所述目标分类模型包括顺次连接的第一全连接层、第二全连接层和第三全连接层；

其中，所述第一全连接层的维度大于所述第二全连接层的维度，所述第二全连接层的维度大于所述第三全连接层的维度。

在一种可能的实现方式中，所述特征提取单元，包括：

第一特征子单元，被配置为对所述第一人脸图像进行预处理，基于特征提取模型对经过预处理的第一人脸图像进行特征提取，将所述特征提取模型最后一层的第一输出结果作为所述第一身份特征；

第二特征子单元，被配置为对所述第二人脸图像进行预处理，基于所述特征提取模型对经过预处理的第二人脸图像进行特征提取，将所述特征提取模型最后一层的第二输出结果作为所述第二身份特征。

在一种可能的实现方式中，所述装置还包括：

第二训练单元，被配置为获取第二训练样本集，对所述第二训练样本集中的各个样本图像进行预处理；将经过预处理的所述第二训练样本集输入构建有第二损失函数的卷积神经网络，获取所述卷积神经网络输出的预测分类结果；基于所述第二损失函数，确定所述第二训练样本集的实际分类结果与预测分类结果是否匹配，当所述实际分类结果与所述预测分类结果不匹配时，反复循环地迭代更新所述卷积神经网络中的权重值直至模型收敛。

根据本公开实施例的第三方面，提供一种电子设备，包括：

一个或多个处理器；

用于存储所述一个或多个处理器可执行指令的一个或多个存储器；

其中，所述一个或多个处理器被配置为执行上述第一方面所述的人脸识别方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面所述的人脸识别方法。

根据本公开实施例的第五方面，提供一种应用程序，当所述应用程序中的指令由电子设备的处理器执行时，使得电子设备能够执行一种人脸识别方法，所述方法包括：

获取待比对的第一人脸图像和第二人脸图像；

分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；

将所述第一身份特征和所述第二身份特征输入目标分类模型，获取所述目标分类模型的输出结果，当所述输出结果大于固定阈值时，确定所述第一人脸图像和所述第二人脸图像中包括的人脸为同一个用户。

本公开的实施例提供的技术方案可以包括以下有益效果：

在获取到待比对的第一人脸图像和第二人脸图像后，本公开实施例先分别对第一人脸图像和第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；之后，会将第一身份特征和第二身份特征输入分类模型，并获取分类模型的输出结果，当输出结果大于固定阈值时，确定第一人脸图像和第二人脸图像中包括的人脸为同一个用户，基于以上描述可知，本公开实施例在对人脸图像完成身份特征提取后，直接对人脸的身份特征采用二分类的特征比对方式，由于直接将人脸的身份特征输入分类模型进行是否为同一个用户的判定，而分类模型本质上实现了对身份特征的特征筛选和加权，因此无需为不同的人脸设置不同的阈值，所有的人脸使用一个相同的阈值即可，该种人脸识别方法，不但可以大幅度提升人脸识别的准确率，而且能够节省大量的人力资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种人脸识别方法涉及的实施环境的示意图。

图2是根据一示例性实施例示出的一种人脸识别方法的流程图。

图3是根据一示例性实施例示出的一种人脸识别方法的流程图。

图4是根据一示例性实施例示出的一种卷积神经网络的网络结构示意图。

图5是根据一示例性实施例示出的一种残差块的示意图。

图6是根据一示例性实施例示出的一种分类器的网络结构示意图。

图7是根据一示例性实施例示出的一种人脸识别装置的框图。

图8是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在对本公开实施例进行详细地解释说明之前，先对本公开实施例涉及的一些名词进行解释说明。

长尾数据：指代数据量比较少的数据。举例来说，假设一个数据集中有关于年轻人的数据远远超出有关于老年人的数据，则有关于老年人的数据便可称之为长尾数据。

其中，长尾数据源于长尾效应(LTE，Long Tai l Effect)，头(head)和尾(tai l)是两个统计学名词。对于正态曲线，中间的突起部分叫做头，两边相对平缓的部分叫做尾。从用户需求的角度来看，大多数的需求会集中在头部，而这部分可以称之为流行，而分布在尾部的需求是个性化的，零散的小量需求。而这部分差异化的、少量的需求会在需求曲线上形成一条长长的尾巴，而所谓长尾效应便在于它的数量上。

下面对本公开实施例提供的一种人脸识别方法涉及的实施环境进行介绍说明。

参见图1，该实施环境中包括终端101、电子设备102以及人脸数据库103。

其中，电子设备102可以为服务器，电子设备102与人脸数据库103既可以配置在同一个服务器上，也可以在不同的服务器上，本公开实施例对此不进行具体限定。终端101的类型包括但不限于智能手机、台式电脑、笔记本电脑、平板电脑等。

作为一个示例，终端101中可安装有特定应用程序，通过该特定应用程序终端101可以上传多媒体资源，比如上传视频。其中，电子设备102用于执行本公开实施例提供的人脸识别方法。

在一种可能的实现方式中，电子设备102可以从终端101上传的多媒体资源中获取人脸图像，然后从人脸数据库103中也获取人脸图像，之后，提取这两个人脸图像的身份特征信息，并将提取到的两个身份特征信息输入预先训练好的分类模型，实现通过分类模型对这两个人脸图像进行人脸识别，判断两个人脸图像中包括的人脸是否为同一个人。

其中，该种人脸识别方法可应用于多媒体资源过滤场景下。以视频为例，对于视频平台来讲，每天可能会有海量视频上传，其中包含人脸的视频可能就会成千上万，而应用本公开实施例提供的人脸识别方法，可以对上传的视频进行过滤，比如过滤掉一些敏感的人物，相应地，人脸数据库103中可存储敏感人物的人脸图像。在过滤出包括敏感人物视频后，视频平台可采取警告或禁止视频发布等措施，本公开实施例对此不进行具体限定。

相关技术在进行人脸识别时均是基于余弦距离实现，即直接比对提取到的特征之间的余弦距离。比如，首先将不同的人脸图像映射到特征空间，由于同一个人的特征之间余弦距离较大，不同人的特征之间余弦距离较小，基于这一原则，相关技术在进行人脸识别时会选定一个阈值，并将提取到的特征之间的余弦距离同该阈值进行比较。其中，高于该阈值的被判定为同一个人，低于该阈值的被判定为不同的人。

上述基于余弦距离的人脸特征评估方式很简单，但是存在较大缺陷，尤其是面对长尾数据的时候。举例来说，假设训练数据中有关于年轻人的数据较多，而有关于老年人的数据较少，那么基于该训练数据训练出来的模型可以很好的提取年轻人的人脸特征，但是在提取老年人的人脸特征时效果便会很差，基于此，如果在进行特征比对时采取同样的阈值便会造成人脸识别准确率的下降。通常的做法是，将进行年轻人特征比对时的阈值设置的小一些，而将进行老年人特征比对时的阈值设置的大一些。

举例来说，假设某一用户平时接触的都是A国人，而A国人和B国人之间的长相差异较大，因此该用户在面对B国人时，会觉得每个B国人长得都一样，需要仔细辨认特征才行(类似于提高阈值的过程)，而之所以会出现该种现象是因为，用户大脑平时均是在训练如何区分A国人的特征，并没有训练如何区分B国人的特征，所以对于B国人用户大脑提取的特征都类似，需要对这些特征进行进一步过滤筛选(仔细辨认)。

即，针对基于余弦距离的人脸识别方式，还需为不同的人脸设定不同的阈值，以确保获得较优的召回率和准确率，由于每新上一个人脸时便需要人工确定一个最优的阈值，因此较为耗时耗力。

基于此，本公开实施例提出了一种新的人脸识别方法，能够实现人脸识别时针对不同的人脸均采用一个相同的阈值，不但获得了较高的准确率，而且节省了大量的人力资源。

下面对本公开实施例提供的人脸识别方法进行详细地解释说明。

图2是根据一示例性实施例示出的一种人脸识别方法的流程图，如图1所示，该方法用于人脸识别装置中，包括以下步骤。

在步骤201中，获取待比对的第一人脸图像和第二人脸图像。

在步骤202中，分别对第一人脸图像和第二人脸图像进行特征提取，得到第一身份特征和第二身份特征。

在步骤203中，将第一身份特征和第二身份特征输入目标分类模型，获取目标分类模型的输出结果，当该输出结果大于固定阈值时，确定第一人脸图像和第二人脸图像中包括的人脸为同一个用户。

本公开实施例提供的方法，在获取到待比对的第一人脸图像和第二人脸图像后，本公开实施例先分别对第一人脸图像和第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；之后，会将第一身份特征和第二身份特征输入分类模型，并获取分类模型的输出结果，当输出结果大于固定阈值时，确定第一人脸图像和第二人脸图像中包括的人脸为同一个用户，基于以上描述可知，本公开实施例在对人脸图像完成身份特征提取后，直接对人脸的身份特征采用二分类的特征比对方式，由于直接将人脸的身份特征输入分类模型进行是否为同一个用户的判定，而分类模型本质上实现了对身份特征的特征筛选和加权，因此无需为不同的人脸设置不同的阈值，所有的人脸使用一个相同的阈值即可，该种人脸识别方法，不但可以大幅度提升人脸识别的准确率，而且能够节省大量人力资源。

在一种可能的实现方式中，所述将所述第一身份特征和所述第二身份特征输入目标分类模型，包括：

将所述第一身份特征和所述第二身份特征进行拼接处理，将拼接后的身份特征输入所述目标分类模型。

在一种可能的实现方式中，在获取待比对的第一人脸图像和第二人脸图像之前，所述方法还包括：

获取第一训练样本集，对所述第一训练样本集中的各个样本图像进行预处理；

对经过预处理的所述各个样本图像进行特征提取；

将任意两个样本图像的身份特征拼接后输入初始分类模型，获取所述初始分类模型输出的预测比对结果；

基于第一损失函数，确定所述两个样本图像的实际比对结果与所述预测比对结果是否匹配，当所述实际比对结果与所述预测比对结果不匹配时，采用随机梯度下降算法优化所述初始分类模型的网络参数直至模型收敛。

在一种可能的实现方式中，所述目标分类模型包括顺次连接的第一全连接层、第二全连接层和第三全连接层；

其中，所述第一全连接层的维度大于所述第二全连接层的维度，所述第二全连接层的维度大于所述第三全连接层的维度。

在一种可能的实现方式中，所述分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征，包括：

对所述第一人脸图像进行预处理，基于特征提取模型对经过预处理的第一人脸图像进行特征提取，将所述特征提取模型最后一层的第一输出结果作为所述第一身份特征；

对所述第二人脸图像进行预处理，基于所述特征提取模型对经过预处理的第二人脸图像进行特征提取，将所述特征提取模型最后一层的第二输出结果作为所述第二身份特征。

在一种可能的实现方式中，在获取待比对的第一人脸图像和第二人脸图像之前，所述方法还包括：

获取第二训练样本集，对所述第二训练样本集中的各个样本图像进行预处理；

将经过预处理的所述第二训练样本集输入构建有第二损失函数的卷积神经网络，获取所述卷积神经网络输出的预测分类结果；

基于所述第二损失函数，确定所述第二训练样本集的实际分类结果与预测分类结果是否匹配，当所述实际分类结果与所述预测分类结果不匹配时，反复循环地迭代更新所述卷积神经网络中的权重值直至模型收敛。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

图3是根据一示例性实施例示出的一种人脸识别方法的流程图，如图3所示，该方法的交互主体包括终端和电子设备，包括以下步骤。

在步骤301中，终端上传多媒体资源。

在本公开实施例中，多媒体资源包括但不限于图片或视频等。

以多媒体资源为视频为例，终端可向视频平台上传视频。其中，视频平台是用于用户记录和分享生产或生活的平台，用户除了可向视频平台上传视频之外，还可在视频平台浏览或评论其他用户上传的视频。

在一种可能的实现方式中，用户可以通过终端向视频平台上传不同播放时长的视频，比如可上传10s、30s、60s等长度的视频，本公开实施例对此不进行具体限定。

在步骤302中，电子设备从终端上传的多媒体资源中获取第一人脸图像。

继续以多媒体资源为视频为例，则电子设备可在终端上传的视频中挑选包括人脸的人脸图像，然后对该视频中的人脸图像进行人脸识别。即，第一人脸图像可为该视频中任意一帧人脸图像，本公开实施例对此不进行具体限定。

在步骤303中，电子设备获取待比对的第二人脸图像。

在本公开实施例中，电子设备可从图1所示的人脸数据库中获取第二人脸图像。其中，人脸数据库中可存储有平台预先收集到的敏感人物的人脸图像。作为一个示例，敏感人物包括但不限于政治敏感人物、暴力违法人物等。

需要说明的是，电子设备可将第一人脸图像与人脸数据库中的每个人脸图像均进行人脸识别，即，第二人脸图像可指代人脸数据库中的任意一个人脸图像。

在步骤304中，电子设备分别对第一人脸图像和第二人脸图像进行特征提取，得到第一身份特征和第二身份特征。

在本公开实施例中，分别对第一人脸图像和第二人脸图像进行特征提取，包括：

3041、对第一人脸图像进行预处理，基于特征提取模型对经过预处理的第一人脸图像进行特征提取，将该特征提取模型最后一层的输出结果作为第一身份特征。

其中，对第一人脸图像进行预处理，包括但不限于：对第一人脸图像进行裁剪和对齐处理。比如，在进行预处理后，得到128x128分辨率大小的rgb人脸图像。

在本公开实施例中，会训练一个特征提取模型来提取人脸的身份特征，该特征提取模型在本文中也可称之为身份特征提取器。其中，本公开实施例基于深度学习技术，来训练不同人脸的分类网络，即特征提取模型；然后，将该特征提取模型最后一层的输出结果作为人脸的身份特征，这样每个人脸图像在经过特征提取模型后，均得到了一个固定长度的身份特征，进而完成人脸图像的结构化。

作为一个示例，该特征提取模型的网络结构可如图4和图5所示。参见图4，输入该特征提取模型的人脸图像是128x128大小的rgb图像，而最后一层输出是1024维度的特征向量，即该特征提取模型用于将人脸图像映射到1024维度的特征空间上，该特征向量实际上代表了人脸的身份特征。

3042、对第二人脸图像进行预处理，基于特征提取模型对经过预处理的第二人脸图像进行特征提取，将该特征提取模型最后一层的输出结果作为第二身份特征。

该步骤同上述步骤3042类似。

在一种可能的实现方式中，上述特征提取模型的训练过程，可包括下述步骤：

3043、获取已标注好分类信息的训练样本集，对该训练样本集中的各个样本图像进行预处理。

作为一个示例，本公开实施例可采用公开的webface数据集作为训练样本集。其中，该数据集中包含1万个人脸id(即1万个人)、共50万张人脸图像。

对该训练样本集中的各个样本图像进行预处理，包括但不限于：对样本图像进行裁剪和对齐处理。比如，在对样本图像进行预处理后，得到128x128大小的rgb人脸图像。

3044、将经过预处理的训练样本集输入构建有损失函数的卷积神经网络，获取该卷积神经网络输出的预测分类结果。

作为一个示例，该卷积神经网络的网络结构可如图4和图5所示。参见图4，该卷积神经网络中包括多个卷积层、多个池化层、多个残差块以及全连接层。全连接层的输出即为1024维的特征向量，即全连接层的输出即为人脸的身份特征。

其中，图4中一个残差块(resb lock)的结构具体如图5所示，一个残差块中均包括一个恒等映射和至少两个卷积层。其中，一个残差块的恒等映射由该残差块的输入端指向该残差块的输出端。即，增加一个恒等映射，将原始所需要学的函数H(x)转换成F(x)+x。虽然这两种表达效果相同，但是优化的难度却并不相同，通过一个reformu l at ion(再形成)，将一个问题分解成多个尺度直接的残差问题，能够很好地起到优化训练的效果。

如图5所示，这个残差块通过Shortcut连接实现，通过Shortcut连接将这个残差块的输入和输出进行叠加，在不给网络增加额外的参数和计算量的前提下，大大增加了模型的训练速度、提高了训练效果，当模型的层数加深时，上述结构能够很好地解决退化问题。

即，H(x)是期望的复杂潜在映射，学习难度大，如果直接通过图6的Shortcut连接将输入x传到输出作为初始结果，那么此时需要学习的目标便是F(x)＝H(x)-x，相当于将学习目标改变，不再是学习一个完整的输出，而是需要学习最优解H(x)和全等映射x的差值，即残差映射F(x)。需要说明的是，Shortcut原意指捷径，在本文中表示越层连接，Shortcut连接没有权值，传递x后每个残差块仅学习残差映射F(x)。且由于网络稳定易于学习，随着网络深度的增加性能将逐渐变好，因此当网络层数够深时，优化残差映射F(x)＝H(x)-x，将易于优化一个复杂的非线性映射H(x)。

3045、基于该损失函数，确定该训练样本集的实际分类结果与预测分类结果是否匹配，当实际分类结果与预测分类结果不匹配时，反复循环地迭代更新该卷积神经网络中的权重值直至模型收敛，得到该特征提取模型。

针对该步骤，将该训练样本集中的样本图像依次输入到上述卷积神经网络中，并获取该卷积神经网络输出的预测分类结果。

作为一个示例，可采用交叉熵损失函数来确定实际分类结果与预测分类结果是否一致，本公开实施例对此不进行具体限定。另外，可采用反向传播算法来反复循环的迭代更新上述卷积神经网络中的权重值，本公开实施例对此同样不进行具体限定。

在本公开实施例中，通过上述步骤304将人脸图像映射到1024维的特征空间后，会采用一种新的特征比对方式来取代基于余弦距离的特征比对方法，即以基于神经网络的特征比对方式取代基于余弦距离的特征比对方式，该种方式无需针对不同的人脸设置不同的阈值，所有的人脸采取一个相同的阈值即可。下面通过步骤305和步骤306对该种方式进行详细地解释说明。

在步骤305中，电子设备将第一身份特征和第二身份特征进行拼接处理，并将拼接后的身份特征输入目标分类模型。

在本公开实施例中，电子设备在进行两个人脸的身份特征比对时，首先会将两个人脸的身份特征拼接在一起，然后将拼接后的身份特征输入到一个如图6所示的神经网络中，该神经网络在本文中也称之为目标分类模型。

在一种可能的实现方式中，目标分类模型为3层神经网络，包括顺次连接的第一全连接层、第二全连接层和第三全连接层；其中，第一全连接层的维度大于第二全连接层的维度，第二全连接层的维度大于第三全连接层的维度。

作为一个示例，参见图6，这3个全连接层的维度可以分别是512维、128维和2维，本公开实施例对此不进行具体限定。其中，最后一个全连接层用于判断两个人脸的身份特征是否来源于同一个用户，比如1表示来自同一个用户，0表示来自不同的用户。

其中，拼接处理可为顺序拼接，比如两个人脸的身份特征分别为[1.0,3.0…]和[1.5,2.3…]，则在进行拼接处理后可形成诸如[1.0,3.0…,1.5,2.3…]的身份特征，本公开实施例对此不进行具体限定。

针对目标分类模型的训练过程，可包括下述步骤：

3051、获取训练样本集，对该训练样本集中的各个样本图像进行预处理。

其中，前述用于训练特征提取模型使用的训练样本集，和此处用于训练目标分类模型使用的训练样本集可一致，本公开实施例对此不进行具体限定。即，在训练目标分类模型时可采用公开的webface数据集作为训练样本集。

在一种可能的实现方式中，对该训练样本集中的各个样本图像进行预处理，包括但不限于：对样本图像进行裁剪和对齐处理。比如，在进行预处理后，得到128x128分辨率大小的rgb人脸图像。

3052、对经过预处理的各个样本图像进行特征提取。

针对该步骤，可采用图4所示的特征提取模型对步骤3051中收集的所有样本图像提取身份特征，本公开实施例对此不进行具体限定。

3053、将该训练样本集中任意两个样本图像的身份特征拼接后输入初始分类模型，获取初始分类模型输出的预测比对结果。

其中，初始分类模型的网络参数可随机初始化，另外，可在webface数据集包含的50万人脸图像中，任意选取两个人脸图像进行提取，之后将提取到的2个身份特征进行拼接后输入图6所示的3层神经网络中进行模型训练。

其中，预测比对结果是上述初始分类模型根据输入的特征信息而输出的激励数据，在上述初始分类模型未被训练至收敛之前，预测比对结果还不够精确，当上述初始分类模型被训练至收敛之后，得到的预测比对结果具有较高的精确性。

3054、基于损失函数，确定两个样本图像的实际比对结果与预测比对结果是否匹配，当实际比对结果与预测比对结果不匹配时，采用随机梯度下降算法优化初始分类模型的网络参数直至模型收敛，得到目标分类模型。

针对二分类问题可采用交叉熵损失函数，本公开实施例对此不进行具体限定。

其中，损失函数是用于检测上述分类模型输出的预测比对结果，与期望的实际比对结果是否具有一致性的检测函数。当上述分类模型的输出结果与期望结果不一致时，需要对上述分类模型中的网络参数进行校正，以使上述分类模型的输出结果与期望结果一致，直至模型收敛。

另外，可利用随机梯度下降算法来优化网络参数。在一种可能的实现方式中，该随机梯度算法中的学习率可设置为0.05至0.5、动量因子可设置为0.01至0.1、权值衰减可设置为0.0001至0.001，本公开实施例对此不进行具体限定。比如，学习率的取值可为0.01、动量因子的取值可为0.09、权值衰减的取值可为0.0005。

在步骤306中，电子设备获取目标分类模型的输出结果，当该输出结果大于固定阈值时，确定第一人脸图像和第二人脸图像中包括的人脸为同一个用户。

其中，固定阈值的取值可设置为0.5，本公开实施例对此不进行具体限定。针对该步骤，若目标分类模型输出的概率大于0.5，则表明第一人脸图像和第二人脸图像中包含的人脸为同一个用户；若目标分类模型输出的概率小于0.5，则表明第一人脸图像和第二人脸图像中包含的人脸为不同用户。

本公开实施例提供的方法至少具有以下有益效果：

在获取到待比对的第一人脸图像和第二人脸图像后，本公开实施例先分别对第一人脸图像和第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；之后，会将第一身份特征和第二身份特征输入分类模型，并获取分类模型的输出结果，当输出结果大于固定阈值时，确定第一人脸图像和第二人脸图像中包括的人脸为同一个用户，基于以上描述可知，本公开实施例在对人脸图像完成身份特征提取后，直接对人脸的身份特征采用二分类的特征比对方式，由于直接将人脸的身份特征输入分类模型进行是否为同一个用户的判定，而分类模型本质上实现了对身份特征的特征筛选和加权，因此无需为不同的人脸设置不同的阈值，所有的人脸使用一个相同的阈值即可，该种人脸识别方法，不但可以大幅度提升人脸识别的准确率，而且能够节省大量的人力资源。

换一种表达方式，上述基于分类模型的人脸识别方式降低了长尾数据的影响，替代了相关技术采用的基于余弦距离的人脸识别方式，该种新的人脸识别方式针对人脸的身份特征直接采用二分类，即利用分类模型对输入的身份特征进行选择，本质上实现了对身份特征的特征筛选和加权，提升了人脸识别的准确率。

另外，该种人脸识别方式可应用在视频平台上，针对视频平台每天海量的人脸检索任务，能够大幅提升敏感人脸的召回率，同时减少人脸的误报率。

图7是根据一示例性实施例示出的一种人脸识别装置的框图。参照图7，该装置包括：获取单元701，特征提取单元702，处理单元703和比对单元704。

获取单元701，被配置为获取待比对的第一人脸图像和第二人脸图像；

特征提取单元702，被配置为分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；

处理单元703，被配置为将第一身份特征和第二身份特征输入目标分类模型；

比对单元704，被配置为获取所述目标分类模型的输出结果，当所述输出结果大于固定阈值时，确定所述第一人脸图像和所述第二人脸图像中包括的人脸为同一个用户。

本公开实施例提供的装置，在获取到待比对的第一人脸图像和第二人脸图像后，本公开实施例先分别对第一人脸图像和第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；之后，会将第一身份特征和第二身份特征输入分类模型，并获取分类模型的输出结果，当输出结果大于固定阈值时，确定第一人脸图像和第二人脸图像中包括的人脸为同一个用户，基于以上描述可知，本公开实施例在对人脸图像完成身份特征提取后，直接对人脸的身份特征采用二分类的特征比对方式，由于直接将人脸的身份特征输入分类模型进行是否为同一个用户的判定，而分类模型本质上实现了对身份特征的特征筛选和加权，因此无需为不同的人脸设置不同的阈值，所有的人脸使用一个相同的阈值即可，该种人脸识别方法，不但可以大幅度提升人脸识别的准确率，而且能够节省大量人力资源。

在一种可能的实现方式中，处理单元703，还被配置为将所述第一身份特征和所述第二身份特征进行拼接处理，将拼接后的身份特征输入所述目标分类模型。

在一种可能的实现方式中，参见图7，该装置还包括：

第一训练单元705，被配置为获取第一训练样本集，对所述第一训练样本集中的各个样本图像进行预处理；对经过预处理的所述各个样本图像进行特征提取；将任意两个样本图像的身份特征拼接后输入初始分类模型，获取所述初始分类模型输出的预测比对结果；基于第一损失函数，确定所述两个样本图像的实际比对结果与所述预测比对结果是否匹配，当所述实际比对结果与所述预测比对结果不匹配时，采用随机梯度下降算法优化所述初始分类模型的网络参数直至模型收敛。

在一种可能的实现方式中，所述目标分类模型包括顺次连接的第一全连接层、第二全连接层和第三全连接层；

其中，所述第一全连接层的维度大于所述第二全连接层的维度，所述第二全连接层的维度大于所述第三全连接层的维度。

在一种可能的实现方式中，参见图7，特征提取单元702，包括：

第一特征子单元7021，被配置为对所述第一人脸图像进行预处理，基于特征提取模型对经过预处理的第一人脸图像进行特征提取，将所述特征提取模型最后一层的第一输出结果作为所述第一身份特征；

第二特征子单元7022，被配置为对所述第二人脸图像进行预处理，基于所述特征提取模型对经过预处理的第二人脸图像进行特征提取，将所述特征提取模型最后一层的第二输出结果作为所述第二身份特征。

在一种可能的实现方式中，参见图7，该装置还包括：

第二训练单元706，被配置为获取第二训练样本集，对所述第二训练样本集中的各个样本图像进行预处理；将经过预处理的所述第二训练样本集输入构建有第二损失函数的卷积神经网络，获取所述卷积神经网络输出的预测分类结果；基于所述第二损失函数，确定所述第二训练样本集的实际分类结果与预测分类结果是否匹配，当所述实际分类结果与所述预测分类结果不匹配时，反复循环地迭代更新所述卷积神经网络中的权重值直至模型收敛。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是本公开实施例提供的一种电子设备的结构示意图，该设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centra l process ing units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的人脸识别方法。当然，该设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该设备还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备中的处理器执行以完成上述实施例中的人脸识别方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

获取待比对的第一人脸图像和第二人脸图像；

分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；

将所述第一身份特征和所述第二身份特征输入目标分类模型；

获取所述目标分类模型的输出结果，当所述输出结果大于固定阈值时，确定所述第一人脸图像和所述第二人脸图像中包括的人脸为同一个用户。

2.根据权利要求1所述的人脸识别方法，其特征在于，所述将所述第一身份特征和所述第二身份特征输入目标分类模型，包括：

将所述第一身份特征和所述第二身份特征进行拼接处理，将拼接后的身份特征输入所述目标分类模型。

3.根据权利要求1所述的人脸识别方法，其特征在于，在获取待比对的第一人脸图像和第二人脸图像之前，所述方法还包括：

获取第一训练样本集，对所述第一训练样本集中的各个样本图像进行预处理；

对经过预处理的所述各个样本图像进行特征提取；

将任意两个样本图像的身份特征拼接后输入初始分类模型，获取所述初始分类模型输出的预测比对结果；

基于第一损失函数，确定所述两个样本图像的实际比对结果与所述预测比对结果是否匹配，当所述实际比对结果与所述预测比对结果不匹配时，采用随机梯度下降算法优化所述初始分类模型的网络参数直至模型收敛。

4.根据权利要求1至3中任一项权利要求所述的人脸识别方法，其特征在于，所述目标分类模型包括顺次连接的第一全连接层、第二全连接层和第三全连接层；

其中，所述第一全连接层的维度大于所述第二全连接层的维度，所述第二全连接层的维度大于所述第三全连接层的维度。

5.根据权利要求1所述的人脸识别方法，其特征在于，所述分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征，包括：

对所述第一人脸图像进行预处理，基于特征提取模型对经过预处理的第一人脸图像进行特征提取，将所述特征提取模型最后一层的第一输出结果作为所述第一身份特征；

对所述第二人脸图像进行预处理，基于所述特征提取模型对经过预处理的第二人脸图像进行特征提取，将所述特征提取模型最后一层的第二输出结果作为所述第二身份特征。

6.根据权利要求5所述的人脸识别方法，其特征在于，在获取待比对的第一人脸图像和第二人脸图像之前，所述方法还包括：

获取第二训练样本集，对所述第二训练样本集中的各个样本图像进行预处理；

将经过预处理的所述第二训练样本集输入构建有第二损失函数的卷积神经网络，获取所述卷积神经网络输出的预测分类结果；

基于所述第二损失函数，确定所述第二训练样本集的实际分类结果与预测分类结果是否匹配，当所述实际分类结果与所述预测分类结果不匹配时，反复循环地迭代更新所述卷积神经网络中的权重值直至模型收敛。

7.一种人脸识别装置，其特征在于，包括：

获取单元，被配置为获取待比对的第一人脸图像和第二人脸图像；

特征提取单元，被配置为分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到第一身份特征和第二身份特征；

处理单元，被配置为将所述第一身份特征和所述第二身份特征输入目标分类模型；

比对单元，被配置为获取所述目标分类模型的输出结果，当所述输出结果大于固定阈值时，确定所述第一人脸图像和所述第二人脸图像中包括的人脸为同一个用户。

8.根据权利要求7所述的人脸识别装置，其特征在于，所述处理单元，还被配置为将所述第一身份特征和所述第二身份特征进行拼接处理，将拼接后的身份特征输入所述目标分类模型。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

用于存储所述一个或多个处理器可执行指令的一个或多个存储器；

其中，所述一个或多个处理器被配置为执行权利要求1-6中任一项所述的人脸识别方法。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1-6中任一项所述的人脸识别方法。