CN106295574A - 基于神经网络的人脸特征提取建模、人脸识别方法及装置 - Google Patents

Abstract

本发明提供一种基于神经网络的人脸特征提取建模方法及装置，从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类；确定与所述第一图片的分块对应的分块全局损失代价函数值；在所述训练集上训练所述人脸身份验证神经网络；对与所述第一图片的分块对应的所述人脸身份验证神经网络进行测试，并确定与所述第一图片的分块对应的目标人脸身份验证特征提取模型。该方法及装置可以达到将建模得到的人脸身份验证特征模型应用在预设应用场景中进行人脸识别时，提高人脸识别精度的有益效果。本发明还提供一种应用上述基于神经网络的人脸特征提取建模方法及装置的人脸识别方法及装置。

Description

基于神经网络的人脸特征提取建模、人脸识别方法及装置

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种基于神经网络的人脸特征提取建模方法及装置以及一种人脸识别方法及装置。

背景技术

人脸识别，是一种基于人的脸部特征信息进行身份识别的生物识别技术，一般是用摄像机或摄像头采集含有人脸的图像或视频流后，自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别，通常也叫做人像识别、面部识别。

目前，人脸识别算法均是基于人脸照片和与其对应的身份信息，将一张图片作为一个整体进行特征提取，使用神经网络进行模型训练，并最终使用分类器进行人脸识别。在人脸识别神经网络中对模型的训练中只考虑人脸图片的身份信息，且训练得到的模型将一张图片作为一个整体进行特征提取。因此，对于利用该模型的人脸识别的识别精度还有待进一步地提升。

发明内容

基于此，有必要提供一种能够在人脸识别应用场景中提高识别精度的基于神经网络的人脸特征提取建模方法及装置，以及一种应用通过该基于神经网络的人脸特征提取建模方法及装置建立的人脸特征模型的人脸识别方法及装置。

一种基于神经网络的人脸特征提取建模方法，包括：

从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类；所述第一图片的分块方式与所述第二图片的分块方式相同且所述第一图片的各分块与所述第二图片的各分块一一对应；

将所述第一图片的分块、所述第一分类、与所述第一图片的分块对应的所述第二图片的分块及所述第二分类作为与所述第一图片的分块对应的人脸身份验证神经网络的输入，确定与所述第一图片的分块对应的分块全局损失代价函数值；

根据所述分块全局损失代价函数值及与所述第一图片的分块对应的训练参数在所述训练集上训练所述人脸身份验证神经网络；

通过所述预设应用场景的测试集对与所述第一图片的分块对应的所述人脸身份验证神经网络进行测试，并根据测试结果确定测试精度，根据所述测试精度及所述人脸身份验证神经网络确定与所述第一图片的分块对应的目标人脸身份验证特征提取模型。

一种人脸识别方法，包括：

获取待识别图片，并将所述待识别图片按照预设分块方式进行划分得到预设数量个数的分块；

将预设数量个数的所述分块分别作为上述的基于神经网络的人脸特征提取建模方法确定的各目标人脸身份验证特征提取模型的输入，确定预设数量个数的分块待识别验证特征；

根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征；

将所述全局待识别验证特征与训练集中的图片对应的全局图片验证特征进行对比，并将与所述全局待识别验证特征距离最近的全局图片验证特征对应的图片所属的分类确定为所述待识别图片的分类。

一种基于神经网络的人脸特征提取建模装置，包括：

图片分类获取模块，用于从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类；所述第一图片的分块方式与所述第二图片的分块方式相同且所述第一图片的各分块与所述第二图片的各分块一一对应；

损失代价确定模块，用于将所述第一图片的分块、所述第一分类、与所述第一图片的分块对应的所述第二图片的分块及所述第二分类作为与所述第一图片的分块对应的人脸身份验证神经网络的输入，确定与所述第一图片的分块对应的分块全局损失代价函数值；

神经网络训练模块，用于根据所述分块全局损失代价函数值及与所述第一图片的分块对应的训练参数在所述训练集上训练所述人脸身份验证神经网络；

特征模型确定模块，用于通过所述预设应用场景的测试集对与所述第一图片的分块对应的所述人脸身份验证神经网络进行测试，并根据测试结果确定测试精度，根据所述测试精度及所述人脸身份验证神经网络确定与所述第一图片的分块对应的目标人脸身份验证特征提取模型。

一种人脸识别装置，包括：

待识图片获取模块，用于获取待识别图片，并将所述待识别图片按照预设分块方式进行划分得到预设数量个数的分块；

待识特征确定模块，用于将预设数量个数的所述分块分别作为权利要求6-9任意一项所述的基于神经网络的人脸特征提取建模装置确定的各目标人脸身份验证特征提取模型的输入，确定预设数量个数的分块待识别验证特征；

全局特征确定模块，用于根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征；

对比分类确定模块，用于将所述全局待识别验证特征与训练集中的图片对应的全局图片验证特征进行对比，并将与所述全局待识别验证特征距离最近的全局图片验证特征对应的图片所属的分类确定为所述待识别图片的分类。

上述基于神经网络的图片特征提取建模方法及装置，由于训练模型的时候采用的分块全局损失代价函数值，不仅与第一图片、第二图片相关，还与第一图片的第一分类、第二图片的第二分类相关；另外，训练得到的模型是将一张图片按照分块方式进行划分得到的图片的分块进行特征提取，得到的特征必然更精细。因此，建模得到的人脸身份验证特征模型与第一图片的第一分类、第二图片的第二分类相关，且将一张图片按照分块方式进行划分得到的图片的分块进行特征提取，得到更精细的特征。从而，可以达到将建模得到的人脸身份验证特征模型应用在预设应用场景中进行人脸识别时，提高人脸识别精度的有益效果。

上述人脸识别方法及装置，由于通过上述基于神经网络的人脸特征提取建模方法或装置确定的目标人脸身份验证特征提取模型确定预设数量个数的分块待识别验证特征，根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征；并通过该全局待识别验证特征与训练集中的全局图片验证特征进行对比，最终确定待识别图片的分类，因此，上述人脸识别方法及装置的识别精度高。

附图说明

图1为一实施例的基于神经网络的人脸特征提取建模方法的流程图；

图2为图1的基于神经网络的人脸特征提取建模方法的一个步骤的具体流程图；

图3为另一实施例的基于神经网络的人脸特征提取建模方法的流程图；

图4_1为一实施例的基于神经网络的人脸特征提取建模方法中进行人脸对齐处理前的示例图；

图4_2为图4_1的示例图进行人脸对齐处理后的结果图；

图5为图4_2按照预设分块方式划分为13个分块的示例图。

图6为图1的基于神经网络的人脸特征提取建模方法的另一个步骤的具体流程图；

图7为一实施例的人脸识别方法的流程图；

图8为一实施例的基于神经网络的人脸特征提取建模装置的结构图；

图9为另一实施例的基于神经网络的人脸特征提取建模装置的结构图；

图10为一实施例的人脸识别装置的结构图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/和”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，为本发明一个实施例的基于神经网络的人脸特征提取建模方法，包括：

S140：从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类。

预设应用场景可以为对人脸识别精度要求较高的场景，如银行VTM(VirtualTeller Machine，远程柜员机)验证、珠宝店VIP(Very Important Person，贵宾)识别等场景。

每一张图片上均包括待识别的人。同一分类表示同一个人。在本实施例中，的训练集中，将原采集并作对齐处理后的一张图片按照预设分块方式划分为预设数量个数的分块。预设分块方式可以为包括：预设子数量个数的以预设器官为中心进行预设像素大小的抠图。预设器官可以为左眼、右眼、鼻子、嘴巴等人脸器官。每一个预设器官为中心的抠图，包括至少一个抠图分块；不同预设器官对应的预设子数量可以不同，也可以相同；预设像素大小可以包括至少两个像素大小。优选地，预设数量个数为13。一个按照预设分块方式划分为13个分块的示例如图5所示。

所述第一图片的分块方式与所述第二图片的分块方式相同且所述第一图片的各分块与所述第二图片的各分块一一对应。

训练集中每一张图片均有预设数量个数的分块。同一张图片的各分块采用不同的分块方式，所有图片的第相同个数的分块采用相同的分块方式。

S160：将所述第一图片的分块、所述第一分类、与所述第一图片的分块对应的所述第二图片的分块及所述第二分类作为与所述第一图片的分块对应的人脸身份验证神经网络的输入，确定与所述第一图片的分块对应的分块全局损失代价函数值。

通过第一图片的分块及与第一图片的分块对应的第二图片的分块，根据与第一图片的分块对应的人脸身份验证神经网络中的人脸身份验证特征提取模型可以分别确定第一图片的分块、第二图片的分块的对象特征及验证特征，进而根据第一分类、第二分类以及这些对象特征、验证特征确定与第一图片的分块对应的分块损失代价函数的值。这样，可以确定第一图片的各分块分别对应的各分块损失代价函数的值。

人脸身份验证神经网络以现有技术的人脸身份识别神经网络为基础，包括以人脸身份识别神经网络中的人脸身份识别特征提取模型为基础、并按照所述分块方式确定的人脸身份验证特征提取模型。每一个分块均对应一个人脸身份验证特征提取模型。

具体地，该人脸身份识别神经网络为经过训练的人脸身份识别神经网络。即，该人脸身份识别神经网络是采用现有技术进行人脸识别的已经训练好了的神经网络。如此，在经过训练的人脸身份识别神经网络的基础上进行后续训练，而无需再从零开始训练。因此，可以节约训练时间，更快地找到最优神经网络。进一步地，经过训练的人脸身份识别神经网络为深度神经网络，即人脸身份识别深度神经网络。

根据人脸身份验证特征提取模型及所述分块方式可以构造各个分块的人脸身份验证神经网络。优选地，人脸身份验证神经网络为深度神经网络，即人脸身份验证深度神经网络。

需要说明的是，人脸身份验证特征提取模型在通过人脸身份识别特征提取模型得到人脸身份识别特征的基础上，并根据按照分块方式划分的分块的人脸身份识别特征得到对应分块的人脸身份验证特征。具体地，对按照分块方式划分的分块的人脸身份识别特征进行二范数归一化处理，得到对应分块的人脸身份验证特征。二范数归一化处理具体为，将按照分块方式划分的分块的人脸身份识别特征的每一个特征元素求平方和之后再开平方得到的结果作为对应分块的人脸身份验证特征的每个特征元素分母；再将按照分块方式划分的分块的人脸身份识别特征中的每个与验证是否为同一对象相关的特征元素的特征值作为对应分块的人脸身份验证特征的一个特征元素的分子。

S170：根据所述分块全局损失代价函数值及与所述第一图片的分块对应的训练参数在所述训练集上训练所述人脸身份验证神经网络。

在一个实施例中，根据分块全局损失代价函数值和链式求导法则可以确定对应的分块的人脸身份验证神经网络的人脸身份验证特征提取模型中的每一个参数的梯度值；根据所述分块全局损失代价函数值及对应的分块的训练参数采用随机梯度下降法在所述训练集上训练所述人脸身份验证神经网络。

训练参数包括特征距离阈值及学习速率。在一个较优实施例中，特征距离阈值的值可以默认设置为0.2或0.25；学习速率的值可以默认设置为0.0001。

S180：通过所述预设应用场景的测试集对与所述第一图片的分块对应的所述人脸身份验证神经网络进行测试，并根据测试结果确定测试精度，根据所述测试精度及所述人脸身份验证神经网络确定与所述第一图片的分块对应的目标人脸身份验证特征提取模型。

只要测试集的容量足够大，对与所述第一图片的分块对应的人脸身份验证神经网络的训练可以一直持续下去。在本实施例中，每次训练预设时间之后，通过所述预设应用场景的测试集对与所述第一图片的分块对应的所述人脸身份验证神经网络进行测试，并根据测试结果确定测试精度。可以采用现有方式根据测试结果确定测试精度。

当测试精度到达预设精度时，不再继续训练，此时的与所述第一图片的分块对应的人脸身份验证神经网络为与所述第一图片的分块对应的目标人脸身份验证神经网络。通过该目标人脸身份验证神经网络可以确定与所述第一图片的分块对应的目标人脸身份验证特征提取模型。其中，预设精度为预先设置测试需要达到的精度要求。

在一个较优的实施例中，采用交叉验证的方式进行验证。测试集为与训练集没有交集的图片的集合。

在一个具体的实施例中，测试集制作方式为：将N个分类中除了用于制作训练集的K个分类，剩下的N-K个分类的人脸照片用于制作测试集。测试集由随机抽取的两张人脸图片的对应的分块验证对及两张图片的分类组成，抽取规则如下：

分块(1)：

第n个人的第a张图片分块(1)，第n个人的第b张图片分块(1)(正样本对)

...第i个人的第c张图片分块(1)，第j个人的第d张图片分块(1)(负样本对)

...

分块(2)：

第n个人的第a张图片分块(2)，第n个人的第b张图片分块(2)(正样本对)

...

第i个人的第c张图片分块(2)，第j个人的第d张图片分块(2)(负样本对)

...

分块(13)：

第n个人的第a张图片分块(13)，第n个人的第b张图片分块(13)(正样本对)

...

第i个人的第c张图片分块(13)，第j个人的第d张图片分块(13)(负样本对)

...

按照国际标准人脸验证测试集的规则，此处正、负样本对各取3000对，共6000对。测试规则为：将正样本对中的两张照片的对应的分块判断成同一个人，则判断正确，即x_i＝1；将负样本对中的两张照片的对应的分块判断成不是同一个人，则判断正确，即x_i＝1；其它，则判断错误，即x_i＝0。则测试精度定义为：

$\frac{\underset{i=1}{\overset{6000}{\Σ}}{x}_i}{6000}\×100\%.$

在其中一个实施例中，并不预先设置预设测试精度，预设精度的变化过程为先逐渐提升，当到达某个精度之后将产生较大波动；这里把这个精度记为最大稳定精度。因此，当测试精度不再稳定提升时，即到达最大稳定精度时，不再继续训练与所述第一图片的分块对应的人脸身份验证神经网络，当前与所述第一图片的分块对应的人脸身份验证神经网络即为最优的与所述第一图片的分块对应的人脸身份验证神经网络。取最优的与所述第一图片的分块对应的人脸身份验证神经网络中的一个与所述第一图片的分块对应的人脸身份验证特征提取模型，并仅以一张图片的分块为输入、以对应的分块的人脸身份验证特征为输出、而省略人脸身份识别特征的输出，从而得到最终的与第一图片的分块对应的目标人脸身份验证特征提取模型。

上述基于神经网络的图片特征提取建模方法，由于训练模型的时候采用的分块全局损失代价函数值，不仅与第一图片、第二图片相关，还与第一图片的第一分类、第二图片的第二分类相关；另外，训练得到的模型是将一张图片按照分块方式进行划分得到的图片的分块进行特征提取，得到的特征必然更精细。因此，建模得到的人脸身份验证特征模型与第一图片的第一分类、第二图片的第二分类相关，且将一张图片按照分块方式进行划分得到的图片的分块进行特征提取，得到更精细的特征。从而，可以达到将建模得到的人脸身份验证特征模型应用在预设应用场景中进行人脸识别时，提高人脸识别精度的有益效果。

请继续参阅图1，在其中一个实施例中，步骤S140之后，步骤S160之前，还包括步骤：

获取人脸身份识别神经网络，并根据所述人脸身份识别神经网络确定与所述第一图片的分块对应的人脸身份验证神经网络。

获取现有技术的进行人脸身份识别的人脸身份识别神经网络，并按照所述分块方式、根据所述人脸身份识别神经网络确定与所述第一图片的分块对应的人脸身份验证神经网络。

请参阅图2，在其中一个实施例中，各所述人脸身份验证神经网络包括以人脸身份识别神经网络的人脸身份识别特征提取模型为基础、并按照所述分块方式确定的人脸身份验证特征提取模型。

所述确定与所述第一图片的分块对应的分块全局损失代价函数值的步骤，即S160，包括：

S261：将所述第一图片的分块与所述第一分类作为与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，将与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为与所述第一图片的分块对应的所述人脸身份验证特征提取模型的另一个模型输入，确定与所述第一图片的分块对应的第二对象特征与第二验证特征；或者，与所述第一图片的分块对应的所述人脸身份验证特征提取模型包括相同的两个，将所述第一图片的分块与所述第一分类作为其中一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，将与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为另一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第二对象特征与第二验证特征；。

具体地，可以将所述第一图片的分块与所述第一分类作为一个模型输入、与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为另一个模型输入，分两次先后作为与所述第一图片的分块对应的所述人脸身份验证神经网络的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，以及第二对象特征与第二验证特征。也可以是与所述第一图片的分块对应的所述人脸身份验证特征提取模型包括相同的两个；将所述第一图片的分块与所述第一分类作为一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入、将所述第二图片的分块与所述第二分类作为另一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，两个与所述第一图片的分块对应的人脸身份验证特征提取模型并行执行，最终分别确定与所述第一图片的分块对应的第一对象特征与第一验证特征，以及第二对象特征与第二验证特征。

需要说明的是，每一个第一图片的一个分块及与之对应的第二图片的一个分块，再结合第一分类及第二分类都可以作为与对应的分块的所述人脸身份验证特征提取模型的输入，确定对应的分块的第一对象特征与第一验证特征，以及第二对象特征与第二验证特征。也就是说，每个图片有多少个分块，就能确定多少组第一对象特征、第一验证特征、第二对象特征及第二验证特征。

S263：根据与所述第一图片的分块对应的所述第一对象特征及所述第一分类确定与所述第一图片的分块对应的分块第一对象信息损失函数值。

可以采用现有神经网络中常用的方式根据一个对象特征及一个分类确定损失函数值。具体地，根据第一对象特征确定一个得到的分类信息，根据得到的分类信息与获取的第一分类是否属于同一类别，确定识别结果，进而反应到损失函数值中。

S265：根据与所述第一图片的分块对应的所述第二对象特征及所述第二分类确定与所述第一图片的分块对应的分块第二对象信息损失函数值。

分块第二对象信息损失函数值与分块第一对象信息损失函数值的确定是一致的，故在此不作赘述。

S267：根据所述第一分类、所述第二分类、与所述第一图片的分块对应的所述第一验证特征及所述第二验证特征确定与所述第一图片的分块对应的分块验证损失函数值。

具体地，分块验证损失函数的公式为：

VerifyLoss＝yd+(1-y)max(α-d，0)

其中，α为训练参数中的特征距离阈值。VerifyLoss表示验证损失函数值；y表示属于同一分类；N1表示第一分类，N2表示第二分类；d为特征距离；表示第一验证特征，表示第二验证特征；表示二范数运算。

S269：根据与所述第一图片的分块对应的所述分块第一对象信息损失函数值、所述分块第二对象信息损失函数值及所述分块验证损失函数值确定分块全局损失代价函数值。

在本实施例中，分块全局损失代价函数值是关于分块第一对象信息损失函数值、分块第二对象信息损失函数值及分块验证损失函数的线性函数值。具体地，分块全局损失代价函数的公式为：

Loss＝Soft max Loss_1+Soft max Loss_2+VerifyLoss

其中，Loss为分块全局损失代价函数值，SoftmaxLoss_1为分块第一对象信息损失函数值；SoftmaxLoss_2为分块第二对象信息损失函数值；VerifyLoss为分块验证损失函数值。

由于在训练模型的过程中，分块全局损失代价函数值不仅与分块第一对象信息损失函数值及分块第二对象信息损失函数值相关，还与分块验证损失函数值相关，因此，可以进一步提高将建模得到的人脸身份验证特征模型应用在预设应用场景中时，人脸的识别精度。

请参阅图3，在其中一个实施例中，步骤S340～S380依次对应为步骤S140～S180。所述从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类的的步骤(即步骤S340)之前，还包括：

S310：在所述预设应用场景中采集视频图片，并对所述视频图片进行人脸检测得到人脸图片。

使用摄像头在预设应用场景中采集视频图片，并通过网络传输和数据线存放在计算机中。通过现有方式对采集到的视频图片进行人脸检测，将人脸图片提取出来存储在计算机硬盘中。

S320：获取对所述人脸图片进行分类的分类信息，根据所述分类信息对各所述人脸图片进行分类，并对分类后的各所述人脸图片进行人脸对齐处理。

人工对检测并提取出的人脸图片进行分类，因此，计算机获取人工输入的分类信息，并根据分类信息分类。属于相同分类的人脸照片放在一起并通过分类信息予以标记。

由于人脸图片中的人脸角度和人脸位置是不一致的，为了保证提取到稳定的特征并取得较好的人脸识别效果，需要通过现有方式对人脸图片进行关键点对齐操作，以进行人脸对齐处理，去除人脸角度对人脸识别带来的影响。其中，关键点包括眼睛、鼻尖和嘴角等的位置。如图4_1所示为一个采集到的人脸图片的，即进行人脸对齐处理前的示例图，对齐后的人脸图片如图4_2所示。

S330：将对齐后的人脸图片按预设分块方式进行分块，形成训练集。

对于预设方式的相关限定已经在步骤S140中进行详细描述，故在此不作赘述。

请参阅图6，在其中一个实施例中，所述根据所述分块全局损失代价函数值及与所述第一图片的分块对应的训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络的步骤，即步骤S170，包括：

S671：获取与所述第一图片的分块对应的初始训练参数，根据所述分块全局损失代价函数值及所述初始训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络。

S673：更新与所述第一图片的分块对应的训练参数，根据所述分块全局损失代价函数值及更新后的所述训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络。

如此，不断调整与所述第一图片的分块对应的人脸身份验证神经网络的训练参数进行训练，确定最优地与所述第一图片的分块对应的训练参数。通过大量调试和试验，发现针对本文描述的方法，特征距离阈值α＝0.2且学习速率lr＝0.001时，能得到最好的算法精度提升。

在一个具体实施例中，训练集的形式为：

分块(1)：

第一图片img1_1，img1_1的身份信息(第一分类N1)，第二图片img2_1，img2_1的身份信息(第二分类N2)

第一图片img1_2，img1_2的身份信息(第一分类N1)，第二图片img2_2，img2_2的身份信息(第二分类N2)

...

分块(2)：

第一图片img1_1，img1_1的身份信息(第一分类N1)，第二图片img2_1，img2_1的身份信息(第二分类N2)

...

分块(3)：

第一图片img1_1，img1_1的身份信息(第一分类N1)，第二图片img2_1，img2_1的身份信息(第二分类N2)

...

分块(13)：

第一图片img1_1，img1_1的身份信息(第一分类N1)，人脸图片img2_1，img2_1的身份信息(第二分类N2)

...

其中，每个分块下的第一图片及第二图片指的均为对应的分块。

如图7所示，本发明还提供一种应用上述基于神经网络的人脸特征提取建模方法的人脸识别方法，包括：

S740：获取待识别图片，并将所述待识别图片按照预设分块方式进行划分得到预设数量个数的分块。

S750：将预设数量个数的所述分块分别作为上述的基于神经网络的人脸特征提取建模方法确定的各目标人脸身份验证特征提取模型的输入，确定预设数量个数的分块待识别验证特征。

各目标人脸身份验证特征提取模型均为通过上述基于神经网络的人脸特征提取建模方法建立的目标人脸身份验证特征提取模型。

具体地，通过摄像头采集待识别图片，并将该待识别图片传输至计算机；计算机获取该待识别图片，将该待识别图片按照预设分块方式进行划分得到预设数量个数的分块，再将各分块输入所建立的各分块对应的目标人脸身份验证特征提取模型进行运算，从而可以确定待识别图片的各分块的分块验证特征，即分块待识别验证特征。

S760：根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征。

得到预设数量个数的分块待识别验证特征之后，将各分块待识别验证特征合并成一个确定全局待识别验证特征。

S770：将所述全局待识别验证特征与训练集中的全局图片对应的图片验证特征进行对比，并将与所述全局待识别验证特征距离最近的全局图片验证特征对应的图片所属的分类确定为所述待识别图片的分类。

在本实施例中，预先通过目标人脸身份验证特征提取模型确定训练集中所有图片的各分块的分块验证特征，并在各分开的分块验证特征的基础上确定全局验证特征。确定全局待识别验证特征之后，计算全局待识别验证特征与训练集中的各个图片的全局验证特征的距离；与全局待识别验证特征距离最近的全局验证特征对应的图片所属的分类即为待识别图片的分类。具体地，特征距离的计算可以采用欧氏距离。

上述人脸识别方法，由于通过上述基于神经网络的人脸特征提取建模装置确定的目标人脸身份验证特征提取模型确定预设数量个数的分块待识别验证特征，根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征；并通过该全局待识别验证特征与训练集中的全局图片验证特征进行对比，最终确定待识别图片的分类，因此，上述人脸识别方法的识别精度高。

请继续参阅图7，在其中一个实施例中，还包括：

S720：获取各目标人脸身份验证特征提取模型。

本发明还提供一种与基于神经网络的人脸特征提取建模方法对应的虚拟装置。如图8所示，一个实施例的基于神经网络的人脸特征提取建模装置，包括：

分块分类获取模块840，用于从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类；所述第一图片的分块方式与所述第二图片的分块方式相同且所述第一图片的各分块与所述第二图片的各分块一一对应；

损失代价确定模块860，用于将所述第一图片的分块、所述第一分类、与所述第一图片的分块对应的所述第二图片的分块及所述第二分类作为与所述第一图片的分块对应的人脸身份验证神经网络的输入，确定与所述第一图片的分块对应的分块全局损失代价函数值；

神经网络训练模块870，用于根据所述分块全局损失代价函数值及与所述第一图片的分块对应的训练参数在所述训练集上训练所述人脸身份验证神经网络；

特征模型确定模块880，用于通过所述预设应用场景的测试集对与所述第一图片的分块对应的所述人脸身份验证神经网络进行测试，并根据测试结果确定测试精度，根据所述测试精度及所述人脸身份验证神经网络确定与所述第一图片的分块对应的目标人脸身份验证特征提取模型。

上述基于神经网络的图片特征提取建模装置，由于训练模型的时候采用的分块全局损失代价函数值，不仅与第一图片、第二图片相关，还与第一图片的第一分类、第二图片的第二分类相关；另外，训练得到的模型是将一张图片按照分块方式进行划分得到的图片的分块进行特征提取，得到的特征必然更精细。因此，建模得到的人脸身份验证特征模型与第一图片的第一分类、第二图片的第二分类相关，且将一张图片按照分块方式进行划分得到的图片的分块进行特征提取，得到更精细的特征。从而，可以达到将建模得到的人脸身份验证特征模型应用在预设应用场景中进行人脸识别时，提高人脸识别精度的有益效果。

请参阅图9，在其中一个实施例中，还包括：

网络获取确定模块950，用于获取人脸身份识别神经网络，并根据所述人脸身份识别神经网络确定与所述第一图片的分块对应的人脸身份验证神经网络。

请继续参阅图9，在其中一个实施例中，各所述人脸身份验证神经网络包括以人脸身份识别神经网络的人脸身份识别特征提取模型为基础、并按照所述分块方式确定的人脸身份验证特征提取模型。所述损失代价确定模块960，包括：

图片特征确定单元(图未示)，用于将所述第一图片的分块与所述第一分类作为与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，将与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为与所述第一图片的分块对应的所述人脸身份验证特征提取模型的另一个模型输入，确定与所述第一图片的分块对应的第二对象特征与第二验证特征；或者，与所述第一图片的分块对应的所述人脸身份验证特征提取模型包括相同的两个；图片特征确定单元，用于将所述第一图片的分块与所述第一分类作为其中一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，将与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为另一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第二对象特征与第二验证特征；

第一损失确定单元(图未示)，用于根据与所述第一图片的分块对应的所述第一对象特征及所述第一分类确定与所述第一图片的分块对应的分块第一对象信息损失函数值；

第二损失确定单元(图未示)，用于根据与所述第一图片的分块对应的所述第二对象特征及所述第二分类确定与所述第一图片的分块对应的分块第二对象信息损失函数值；

验证损失确定单元(图未示)，用于根据所述第一分类、所述第二分类、与所述第一图片的分块对应的所述第一验证特征及所述第二验证特征确定与所述第一图片的分块对应的分块验证损失函数值；

全局损失确定单元(图未示)，用于根据与所述第一图片的分块对应的所述分块第一对象信息损失函数值、所述分块第二对象信息损失函数值及所述分块验证损失函数值确定分块全局损失代价函数值。

请继续参阅图9，在其中一个实施例中，还包括：

图片采集检测模块910，用于在所述预设应用场景中采集视频图片，并对所述视频图片进行人脸检测得到人脸图片；

图片分类对齐模块920，用于获取对所述人脸图片进行分类的分类信息，根据各所述分类信息对所述人脸图片进行分类，并对分类后的各所述人脸图片进行人脸对齐处理；

训练集形成模块930，用于将对齐后的人脸图片按预设分块方式进行分块，形成训练集。

在其中一个实施例中，神经网络训练模块970，包括：

初始参数训练单元971，用于获取与所述第一图片的分块对应的初始训练参数，根据所述分块全局损失代价函数值及所述初始训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络；

更新参数训练单元973，用于更新与所述第一图片的分块对应的训练参数，根据所述分块全局损失代价函数值及更新后的所述训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络。

本发明还提供一种与人脸识别方法对应的虚拟装置。如图10所示，一个实施例的人脸识别装置，包括：

待识图片获取模块1040，用于获取待识别图片，并将所述待识别图片按照预设分块方式进行划分得到预设数量个数的分块；

待识特征确定模块1050，用于将预设数量个数的所述分块分别作为上述的基于神经网络的人脸特征提取建模装置确定的各目标人脸身份验证特征提取模型的输入，确定预设数量个数的分块待识别验证特征；

全局特征确定模块1060，用于根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征；

对比分类确定模块1070，用于将所述全局待识别验证特征与训练集中的图片对应的全局图片验证特征进行对比，并将与所述全局待识别验证特征距离最近的全局图片验证特征对应的图片所属的分类确定为所述待识别图片的分类。

上述人脸识别装置，由于通过上述基于神经网络的人脸特征提取建模装置确定的目标人脸身份验证特征提取模型确定预设数量个数的分块待识别验证特征，根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征；并通过该全局待识别验证特征与训练集中的全局图片验证特征进行对比，最终确定待识别图片的分类，因此，上述人脸识别装置的识别精度高。

在其中一个实施例中，还包括：

特征模型获取模块1020，用于获取各目标人脸身份验证特征提取模型。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出多个变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于神经网络的人脸特征提取建模方法，其特征在于，包括：

从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类；所述第一图片的分块方式与所述第二图片的分块方式相同且所述第一图片的各分块与所述第二图片的各分块一一对应；

将所述第一图片的分块、所述第一分类、与所述第一图片的分块对应的所述第二图片的分块及所述第二分类作为与所述第一图片的分块对应的人脸身份验证神经网络的输入，确定与所述第一图片的分块对应的分块全局损失代价函数值；

根据所述分块全局损失代价函数值及与所述第一图片的分块对应的训练参数在所述训练集上训练所述人脸身份验证神经网络；

通过所述预设应用场景的测试集对与所述第一图片的分块对应的所述人脸身份验证神经网络进行测试，并根据测试结果确定测试精度，根据所述测试精度及所述人脸身份验证神经网络确定与所述第一图片的分块对应的目标人脸身份验证特征提取模型。

2.根据权利要求1所述的基于神经网络的人脸特征提取建模方法，其特征在于，各所述人脸身份验证神经网络包括以人脸身份识别神经网络的人脸身份识别特征提取模型为基础、并按照所述分块方式确定的人脸身份验证特征提取模型；

所述确定与所述第一图片的分块对应的分块全局损失代价函数值的步骤包括：

将所述第一图片的分块与所述第一分类作为与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，将与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为与所述第一图片的分块对应的所述人脸身份验证特征提取模型的另一个模型输入，确定与所述第一图片的分块对应的第二对象特征与第二验证特征；或者，与所述第一图片的分块对应的所述人脸身份验证特征提取模型包括相同的两个，将所述第一图片的分块与所述第一分类作为其中一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，将与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为另一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第二对象特征与第二验证特征；

根据与所述第一图片的分块对应的所述第一对象特征及所述第一分类确定与所述第一图片的分块对应的分块第一对象信息损失函数值；

根据与所述第一图片的分块对应的所述第二对象特征及所述第二分类确定与所述第一图片的分块对应的分块第二对象信息损失函数值；

根据所述第一分类、所述第二分类、与所述第一图片的分块对应的所述第一验证特征及所述第二验证特征确定与所述第一图片的分块对应的分块验证损失函数值；

根据与所述第一图片的分块对应的所述分块第一对象信息损失函数值、所述分块第二对象信息损失函数值及所述分块验证损失函数值确定分块全局损失代价函数值。

3.根据权利要求1所述的基于神经网络的人脸特征提取建模方法，其特征在于，

所述从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类的步骤之前，还包括：

在所述预设应用场景中采集视频图片，并对所述视频图片进行人脸检测得到人脸图片；

获取对所述人脸图片进行分类的分类信息，根据所述分类信息对各所述人脸图片进行分类，并对分类后的各所述人脸图片进行人脸对齐处理；

将对齐后的人脸图片按预设分块方式进行分块，形成训练集。

4.根据权利要求1所述的基于神经网络的人脸特征提取建模方法，其特征在于，所述根据所述分块全局损失代价函数值及与所述第一图片的分块对应的训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络的步骤，包括：

获取与所述第一图片的分块对应的初始训练参数，根据所述分块全局损失代价函数值及所述初始训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络；

更新与所述第一图片的分块对应的训练参数，根据所述分块全局损失代价函数值及更新后的所述训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络。

5.一种人脸识别方法，其特征在于，包括：

获取待识别图片，并将所述待识别图片按照预设分块方式进行划分得到预设数量个数的分块；

将预设数量个数的所述分块分别作为权利要求1-4任意一项所述的基于神经网络的人脸特征提取建模方法确定的各目标人脸身份验证特征提取模型的输入，确定预设数量个数的分块待识别验证特征；

根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征；

将所述全局待识别验证特征与训练集中的图片对应的全局图片验证特征进行对比，并将与所述全局待识别验证特征距离最近的全局图片验证特征对应的图片所属的分类确定为所述待识别图片的分类。

6.一种基于神经网络的人脸特征提取建模装置，其特征在于，包括：

图片分类获取模块，用于从预设应用场景的训练集中获取第一图片的各分块、第二图片的各分块、所述第一图片的第一分类及所述第二图片的第二分类；所述第一图片的分块方式与所述第二图片的分块方式相同且所述第一图片的各分块与所述第二图片的各分块一一对应；

损失代价确定模块，用于将所述第一图片的分块、所述第一分类、与所述第一图片的分块对应的所述第二图片的分块及所述第二分类作为与所述第一图片的分块对应的人脸身份验证神经网络的输入，确定与所述第一图片的分块对应的分块全局损失代价函数值；

神经网络训练模块，用于根据所述分块全局损失代价函数值及与所述第一图片的分块对应的训练参数在所述训练集上训练所述人脸身份验证神经网络；

特征模型确定模块，用于通过所述预设应用场景的测试集对与所述第一图片的分块对应的所述人脸身份验证神经网络进行测试，并根据测试结果确定测试精度，根据所述测试精度及所述人脸身份验证神经网络确定与所述第一图片的分块对应的目标人脸身份验证特征提取模型。

7.根据权利要求6所述的基于神经网络的人脸特征提取建模装置，其特征在于，各所述人脸身份验证神经网络包括以人脸身份识别神经网络的人脸身份识别特征提取模型为基础、并按照所述分块方式确定的人脸身份验证特征提取模型；所述损失代价确定模块，包括：

图片特征确定单元，用于将所述第一图片的分块与所述第一分类作为与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，将与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为与所述第一图片的分块对应的所述人脸身份验证特征提取模型的另一个模型输入，确定与所述第一图片的分块对应的第二对象特征与第二验证特征；或者，与所述第一图片的分块对应的所述人脸身份验证特征提取模型包括相同的两个；图片特征确定单元，用于将所述第一图片的分块与所述第一分类作为其中一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第一对象特征与第一验证特征，将与所述第一图片的分块对应的所述第二图片的分块与所述第二分类作为另一个与所述第一图片的分块对应的所述人脸身份验证特征提取模型的模型输入，确定与所述第一图片的分块对应的第二对象特征与第二验证特征；

第一损失确定单元，用于根据与所述第一图片的分块对应的所述第一对象特征及所述第一分类确定与所述第一图片的分块对应的分块第一对象信息损失函数值；

第二损失确定单元，用于根据与所述第一图片的分块对应的所述第二对象特征及所述第二分类确定与所述第一图片的分块对应的分块第二对象信息损失函数值；

验证损失确定单元，用于根据所述第一分类、所述第二分类、与所述第一图片的分块对应的所述第一验证特征及所述第二验证特征确定与所述第一图片的分块对应的分块验证损失函数值；

全局损失确定单元，用于根据与所述第一图片的分块对应的所述分块第一对象信息损失函数值、所述分块第二对象信息损失函数值及所述分块验证损失函数值确定分块全局损失代价函数值。

8.根据权利要求6所述的基于神经网络的人脸特征提取建模装置，其特征在于，还包括：

图片采集检测模块，用于在所述预设应用场景中采集视频图片，并对所述视频图片进行人脸检测得到人脸图片；

图片分类对齐模块，用于获取对所述人脸图片进行分类的分类信息，根据各所述分类信息对所述人脸图片进行分类，并对分类后的各所述人脸图片进行人脸对齐处理；

训练集形成模块，用于将对齐后的人脸图片按预设分块方式进行分块，形成训练集。

9.根据权利要求6所述的基于神经网络的人脸特征提取建模装置，其特征在于，所述神经网络训练模块，包括：

初始参数训练单元，用于获取与所述第一图片的分块对应的初始训练参数，根据所述分块全局损失代价函数值及所述初始训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络；

更新参数训练单元，用于更新与所述第一图片的分块对应的训练参数，根据所述分块全局损失代价函数值及更新后的所述训练参数在所述训练集上训练与所述第一图片的分块对应的所述人脸身份验证神经网络。

10.一种人脸识别装置，其特征在于，包括：

待识图片获取模块，用于获取待识别图片，并将所述待识别图片按照预设分块方式进行划分得到预设数量个数的分块；

待识特征确定模块，用于将预设数量个数的所述分块分别作为权利要求6-9任意一项所述的基于神经网络的人脸特征提取建模装置确定的各目标人脸身份验证特征提取模型的输入，确定预设数量个数的分块待识别验证特征；

全局特征确定模块，用于根据预设数量个数的所述分块待识别验证特征，确定全局待识别验证特征；

对比分类确定模块，用于将所述全局待识别验证特征与训练集中的图片对应的全局图片验证特征进行对比，并将与所述全局待识别验证特征距离最近的全局图片验证特征对应的图片所属的分类确定为所述待识别图片的分类。