CN110866431B - 人脸识别模型的训练方法、人脸识别的方法和装置 - Google Patents

Abstract

本申请实施例提供了一种人脸识别模型的训练方法、人脸识别的方法和装置，包括：获得初始图像数据；提取出所述初始图像数据的中间共享层特征信息；将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；提取出所述变换特征图信息中的人脸特征数据；输出所述人脸特征数据。通过端到端的训练方式，缩减人工预处理和后续处理，使模型从原始输入到最终输出，有更多自动调节的空间，增加模型的整体契合度；通过合并流程、特征共享、端到端训练等方式降低了系数数量，使模型能够移植到计算能力较弱的平台。

Description

人脸识别模型的训练方法、人脸识别的方法和装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种人脸识别模型的训练方法、一种人脸识别的方法、一种人脸识别模型的训练装置及一种人脸识别的装置。

背景技术

得益于大数据和深度学习的发展，人脸识别技术已经取得了较大的进展，能在各种应用场景中都能取得较好的识别率，并且已经逐步应用于各个领域，如教育、安防等领域。

随着人脸识别技术的不断推广，其存在的问题也日益突出，如人脸模型识别较大，需要较大计算量，对设备等要求较高；并且目前人脸识别技术使用的基本流程包含人脸检测、人脸对齐、人脸规范化、人脸特征提取等，由于每个流程计算相对独立，流程较多，并且相邻的两个流程之间结果具有一定的关联性，并且前一流程的效果直接影响后续流程的效果，对每个流程的鲁棒性要求较高。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种人脸识别模型的训练方法、一种人脸识别的方法、一种人脸识别模型的训练装置及一种人脸识别的装置。

为了解决上述问题，本申请实施例公开了一种人脸识别模型的训练方法，包括：

获得初始图像数据；

提取出所述初始图像数据的中间共享层特征信息；

将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；

当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；

提取出所述变换特征图信息中的人脸特征数据；

输出所述人脸特征数据。

可选地，所述将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息的步骤包括：

获取到所述初始图像数据中人脸区域的候选框信息；

根据所述候选框信息在所述中间共享层特征信息裁剪得到特征区域；

将所述特征区域进行兴趣区池化操作，获得池化特征图信息。

可选地，所述池化特征图信息中的人脸数据通过以下方式确定：

将所述池化特征图信息输入至卷积层和全连接层，获得特征二维向量；

提取出所述特征二维向量中的第一分向量及第二分向量；

判断所述第一分向量对应的人脸概率数据是否大于所述第二分向量对应的背景概率数据；

当所述第一分向量对应的人脸概率数据大于所述第二分向量对应的背景概率数据时，确定所述池化特征图信息中包含人脸数据。

可选地，所述当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息的步骤包括：

当所述池化特征图信息中包含人脸数据时，获取到所述池化特征图信息对应的仿射变换参数；

采用所述仿射变换参数对所述池化特征图信息进行仿射变换，获得变换特征图信息。

可选地，所述提取出所述变换特征图信息中的人脸特征数据的步骤包括：

提取出所述变换特征图信息中的人脸特征向量；

将所述人脸特征向量确定为人脸特征数据。

为了解决上述问题，本申请实施例公开了一种人脸识别的方法，包括：

获取第一初始图像数据；

提取出所述第一初始图像数据的第一中间共享层特征信息；

将所述第一中间共享层特征信息进行兴趣区池化操作，获得第一池化特征图信息；

当所述第一池化特征图信息中包含人脸数据时，针对所述第一池化特征图信息进行空间变换，获得第一变换特征图信息；

提取出所述第一变换特征图信息中的第一人脸特征数据；

将所述第一人脸特征数据与预置的第二人脸特征数据进行比对，获得第一人脸识别结果信息。

可选地，应用于移动终端，所述移动终端安装有特定应用程序，所述特定应用程序包括登录界面，所述获取第一初始图像数据的步骤包括：

当所述登录界面正在运行时，获取第一初始图像数据。

为了解决上述问题，本申请实施例公开了一种人脸识别模型的训练装置，包括：

第一初始图像数据获得模块，用于获得初始图像数据；

第一提取模块，用于提取出所述初始图像数据的中间共享层特征信息；

第一池化特征图信息获得模块，用于将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；

第一变换特征图信息获得模块，用于当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；

第二提取模块，用于提取出所述变换特征图信息中的人脸特征数据；

输出模块，用于输出所述人脸特征数据。

可选地，所述第一池化特征图信息获得模块包括：

候选框信息获得子模块，用于获取到所述初始图像数据中人脸区域的候选框信息；

裁剪子模块，用于根据所述候选框信息在所述中间共享层特征信息裁剪得到特征区域；

池化特征图信息获得子模块，用于将所述特征区域进行兴趣区池化操作，获得池化特征图信息。

可选地，所装置还包括：

特征二维向量获得模块，用于将所述池化特征图信息输入至卷积层和全连接层，获得特征二维向量；

分向量提取模块，用于提取出所述特征二维向量中的第一分向量及第二分向量；

判断模块，用于判断所述第一分向量对应的人脸概率数据是否大于所述第二分向量对应的背景概率数据；

确定模块，用于当所述第一分向量对应的人脸概率数据大于所述第二分向量对应的背景概率数据时，确定所述池化特征图信息中包含人脸数据。

可选地，所述第一变换特征图信息获得模块包括：

仿射变换参数获得子模块，用于当所述池化特征图信息中包含人脸数据时，获取到所述池化特征图信息对应的仿射变换参数；

变换特征图信息获得子模块，用于采用所述仿射变换参数对所述池化特征图信息进行仿射变换，获得变换特征图信息。

可选地，所述第二提取模块包括：

第二提取子模块，用于提取出所述变换特征图信息中的人脸特征向量；

人脸特征数据确定子模块，用于将所述人脸特征向量确定为人脸特征数据。

为了解决上述问题，本申请实施例公开了一种人脸识别的装置，包括：

第二初始图像数据获取模块，用于获取第一初始图像数据；

第三提取模块，用于提取出所述第一初始图像数据的第一中间共享层特征信息；

第二池化特征图信息获得模块，用于将所述第一中间共享层特征信息进行兴趣区池化操作，获得第一池化特征图信息；

第二变换特征图信息获得模块，用于当所述第一池化特征图信息中包含人脸数据时，针对所述第一池化特征图信息进行空间变换，获得第一变换特征图信息；

第四提取模块，用于提取出所述第一变换特征图信息中的第一人脸特征数据；

第一比对模块，用于将所述第一人脸特征数据与预置的第二人脸特征数据进行比对，获得第一人脸识别结果信息。

可选地，应用于移动终端，所述移动终端安装有特定应用程序，所述特定应用程序包括登录界面，所述第二初始图像数据获取模块包括：

第二初始图像数据获取子模块，用于当所述登录界面正在运行时，获取第一初始图像数据。

为了解决上述问题，本申请实施例公开了一种装置，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行本申请实施例所述的一个或多个的方法。

为了解决上述问题，本申请实施例公开了一个或多个机器可读介质，其特征在于，当由一个或多个处理器执行时，使得装置执行本申请实施例所述的一个或多个的方法。

与背景技术相比，本申请实施例包括以下优点：

本申请实施例，获得初始图像数据；提取出所述初始图像数据的中间共享层特征信息；将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；提取出所述变换特征图信息中的人脸特征数据；输出所述人脸特征数据；通过中间网络层特征共享的方式消除重复计算，节约了计算资源；通过使用空间变换网络对网络的中间共享特征图进行规范化，对人脸进行规范化；通过端到端的训练方式，缩减人工预处理和后续处理，使模型从原始输入到最终输出，有更多自动调节的空间，增加模型的整体契合度；通过合并流程、特征共享、端到端训练等方式降低了系数数量，使模型能够移植到计算能力较弱的平台。

附图说明

图1是现有技术的一种人脸识别的步骤流程图；

图2是本申请的一种人脸识别模型的训练方法实施例一的步骤流程图；

图3是本申请的一种人脸识别的步骤流程图；

图4是本申请的一种人脸识别模型的训练方法实施例二的步骤流程图；

图5是本申请的一种人脸识别的方法实施例三的步骤流程图；

图6是本申请的一种人脸识别模型的训练装置实施例的结构框图；

图7是本申请的一种人脸识别的装置实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

现有的基于深度学习的人脸识别流程如图1所示，首先通过人脸检测网络(FaceDetection)定位人脸的位置和大小，其次，通过人脸对齐网络(Face Alignment)定位人脸五官的关键点，最后，通过关键点对人脸进行规范化，通过人脸特征提取网络(Featureextraction)提取人脸特征数据。在以往的人脸识别方案中，人脸检测、人脸对齐、人脸特征提取都需要从初始图像数据中提取特征，计算量较大。

基于此，提出了本申请实施例的核心构思之一，采用人脸检测的Feature Map作为中间共享层特征(如图1中的虚框部分)，再通过Roi(Region of Interest)pooling操作提取出所述中间共享层特征中人脸区域的特征图，再根据空间变换网络对该特征图进行人脸的规范化，最后将规范化的特征图进行人脸特征的提取，避免重复计算操作，减少计算量，简化识别流程。

参照图2，示出了本申请的一种人脸识别模型的训练方法实施例一的步骤流程图，具体可以包括如下步骤：

步骤101，获得初始图像数据；

在具体实现中，本申请实施例可以应用在移动终端中，例如，手机、平板电脑、个人数字助理、穿戴设备(如眼镜、手表等)等等。

在本申请实施例中，移动终端的操作系统可以包括Android(安卓)、IOS、WindowsPhone、Windows等等。

在具体实现中，该初始图像数据可以包含人脸数据的图片或照片，需要说明的是，所述初始图像数据可以是通过网络爬虫在网络上抓取的图像数据，还是用户输入的图像数据，本申请实施例对此不作限制。

从人脸识别模型的组成结构的角度而言，所述人脸识别模型可以包括多个训练网络，如人脸检测网络、空间变换网络等，参照图3，示出了本申请的一种人脸识别的步骤流程图；该人脸识别模型包括主网络(Backbone Network)、人脸检测网络、空间变换网络(Spatial Transform Network)、人脸特征提取网络等，本申请实施例对此不作限制；进一步地，该主网络可以包括卷积层(Conv Layers)、池化层(Pooling Layers)、全连接层(Fully Connected Layers(即FC))等；该人脸检测网络同样可以包括卷积层、全连接层等；该空间变换网络可以包括卷积层、空间变换层、全连接层等；该人脸特征提取网络可以包括卷积层、全连接层等。

需要说明的是，本申请实施例中，该训练网络的组成及神经细胞层的数量可以是本领域技术人员根据实际情况而设置，本申请实施例对此不作限制；例如，可以根据移动终端的硬件配置决定该人脸识别模型中训练网络的组成及神经细胞层的数量。

步骤102，提取出所述初始图像数据的中间共享层特征信息；

进一步应用到本申请实施例中，移动终端可以提取出所述初始图像数据的中间共享层特征信息；该中间共享层特征信息即Feature Map，Feature Map是指对初始图像数据的不同特征的放映，可以将所述初始图像数据输入到主网络中，主网络输出所述FeatureMap。

具体而言，所述主网络可以包括卷积层，将初始图像数据输入至所述卷积层，输出所述Feature Map；以往的人脸识别模型的训练过程中，每个阶段都对初始图像或者灰度图像进行特征的提取，在本申请实施例中，通过中间网络层特征共享的方式消除重复计算，节约了计算资源。

步骤103，将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；

实际应用到本申请实施例中，移动终端可以针对所述中间共享层特征信息进行Roi pooling(兴趣区池化)，获得池化特征图信息。

Roi pooling操作由Roi pooling层进行，该Roi pooling层是一种特殊的Pooling层；即所述人脸识别模型的主网络还可以包括该Roi pooling层。具体而言，将所述中间共享层特征信息输入至所述Roi pooling层，获得输出的池化特征图信息。

步骤104，当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；

具体应用到本申请实施例中，在所述池化特征图信息包含人脸数据的条件下，移动终端可以针对所述池化特征图信息进行空间变换，获得变换特征图信息。

需要说明的是，所述人脸识别模型的空间变换网络可以包括卷积层、空间变换层、全连接层；其中，所述空间变换层可以用于生成空间变换参数(TransformationParameter)；根据所述空间变换参数对池化特征图信息进行空间变换，获得变换特征图信息，消除了人脸大小、旋转等因素的影响，节约计算量。

步骤105，提取出所述变换特征图信息中的人脸特征数据；

本申请实施例的一种具体示例中，当完成池化特征图信息的空间变换后，可以提取出所述变换特征图信息中的人脸特征数据；具体而言，可以通过所述人脸识别模型的人脸特征提取网络提取出所述变换特征图信息中的人脸特征数据。

具体地，所述人脸特征提取网络可以包括卷积层及全连接层，通过所述卷积层及全连接层计算出一个固定长度的人脸特征向量(如一个512维的人脸特征向量)，将该向量确定为人脸特征数据。

步骤106，输出所述人脸特征数据。

本申请实施例中，移动终端还可以输出所述人脸特征数据，该人脸特征数据可以用于人脸验证(Face Verification)或人脸鉴别(Face Recognition)等，本申请实施例对此不作限制；进一步地，所述人脸识别模型的输入还包括卷积层、全连接层的初始化系数；可以根据损失函数计算人脸特征数据之间的误差；并计算出初始化系数相对于损失函数的梯度值，根据计算得到的梯度值，更新训练模型的系数，直至损失函数的误差达到最小。

本申请实施例中，获得初始图像数据；提取出所述初始图像数据的中间共享层特征信息；将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；提取出所述变换特征图信息中的人脸特征数据；输出所述人脸特征数据；通过中间网络层特征共享的方式消除重复计算，节约了计算资源；通过使用空间变换网络对网络的中间共享特征图进行规范化，对人脸进行规范化；通过端到端的训练方式，缩减人工预处理和后续处理，使模型从原始输入到最终输出，有更多自动调节的空间，增加模型的整体契合度；通过合并流程、特征共享、端到端训练等方式降低了系数数量，使模型能够移植到计算能力较弱的平台。

参照图4，示出了本申请的一种人脸识别模型的训练方法实施例二的步骤流程图，具体可以包括如下步骤：

步骤201，获得初始图像数据；

本申请实施例中，该初始图像数据可以包含人脸数据的图片或照片，需要说明的是，所述初始图像数据可以是通过网络爬虫在网络上抓取的图像数据。

步骤202，提取出所述初始图像数据的中间共享层特征信息；

进一步地，人脸识别模型的主网络可以用于提取出中间共享层特征信息，所述主网络可以包括卷积层，将初始图像数据输入至所述卷积层，输出所述Feature Map；以往的人脸识别模型的训练过程中，每个阶段都对初始图像或者灰度图像进行特征的提取，在本申请实施例中，通过中间网络层特征共享的方式消除重复计算，节约了计算资源。

步骤203，获取到所述初始图像数据中人脸区域的候选框信息；

具体而言，移动终端可以通过主网络获取到初始图像数据中人脸区域的候选框信息。

步骤204，根据所述候选框信息在所述中间共享层特征信息裁剪得到特征区域；

本申请实施例的一种具体应用中，移动终端可以通过所述候选框信息在所述中间共享层特征信息裁剪得到相应大小的特征区域。

步骤205，将所述特征区域进行兴趣区池化操作，获得池化特征图信息；

实际应用到本申请实施例中，移动终端可以通过主网络将特征区域进行Roipooling操作，获得池化后的特征图，即获得所述池化特征图信息。

具体而言，通过Roi pooling的方式将裁剪得到的特征区域resize(调整)到固定大小的特征图中，获得所述池化特征图信息。

步骤206，当所述池化特征图信息中包含人脸数据时，获取到所述池化特征图信息对应的仿射变换参数；

本申请实施例中，以仿射变换为例，当所述池化特征图信息中包含人脸数据时，获取到所述池化特征图信息对应的仿射变换参数；当所述池化特征图信息中包含人脸数据时，移动终端将所述池化特征图信息输入至所述空间变换网络中，获得所述池化特征图信息对应的仿射变换参数；如当空间变换网络输出一个6维的向量时，即可得到仿射变换的6个参数。

本申请实施例的一种优选实施例中，所述池化特征图信息中的人脸数据通过以下的子步骤确定：

子步骤S31，将所述池化特征图信息输入至卷积层和全连接层，获得特征二维向量；

子步骤S32，提取出所述特征二维向量中的第一分向量及第二分向量；

子步骤S33，判断所述第一分向量对应的人脸概率数据是否大于所述第二分向量对应的背景概率数据；

子步骤S34，当所述第一分向量对应的人脸概率数据大于所述第二分向量对应的背景概率数据时，确定所述池化特征图信息中包含人脸数据。

具体地，所述人脸识别模型中的人脸检测网络可以包括卷积层和全连接层，将所述池化特征图信息输入至卷积层和全连接层，获得特征二维向量；通过该特征二维向量判断所述池化特征图信息中是否包含人脸数据。

步骤207，采用所述仿射变换参数对所述池化特征图信息进行仿射变换，获得变换特征图信息；

进一步地，移动终端可以采用所述仿射变换参数对所述池化特征图信息进行仿射变换，获得变换特征图信息；举例而言，得到仿射变换的6个参数后，采用所述参数对所述池化特征图信息进行仿射变换，获得变换特征图信息，即将池化特征图信息进行缩放、旋转、拉伸等变换得到一个固定大小的变换特征图信息。

步骤208，提取出所述变换特征图信息中的人脸特征数据；

本申请实施例的一种具体示例中，当完成池化特征图信息的空间变换后，可以提取出所述变换特征图信息中的人脸特征数据；提取出所述变换特征图信息中的人脸特征数据的步骤包括：提取出所述变换特征图信息中的人脸特征向量；将所述人脸特征向量确定为人脸特征数据。

步骤209，输出所述人脸特征数据。

本申请实施例中，移动终端还可以输出所述人脸特征数据，该人脸特征数据可以用于人脸验证或人脸鉴别等，本申请实施例对此不作限制。

本申请实施例中，获得初始图像数据；提取出所述初始图像数据的中间共享层特征信息；获取到所述初始图像数据中人脸区域的候选框信息；获取到所述初始图像数据中人脸区域的候选框信息；将所述特征区域进行兴趣区池化操作，获得池化特征图信息；将所述特征区域进行兴趣区池化操作，获得池化特征图信息；采用所述仿射变换参数对所述池化特征图信息进行仿射变换，获得变换特征图信息；提取出所述变换特征图信息中的第一人脸特征数据；输出所述人脸特征数据；实现了端到端的人脸识别训练；简化了人脸识别流程，解决了传统人脸识别流程多，对每个流程精度要求较高，且每个流程相互影响的问题；采用特征共享的方式，避免了重复计算；使用空间变换网络消除了以往人脸识别中人脸对齐和人脸规范化过程，不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐。

参照图5，示出了本申请的一种人脸识别的方法实施例三的步骤流程图，具体可以包括如下步骤：

步骤301，获取第一初始图像数据；

本申请实施例中，所述人脸识别的方法可以应用于移动终端，该移动终端可以具有图像采集装置，如摄像头，移动终端还可以安装有特定应用程序，所述特定应用程序可以包括购物类应用程序或支付类应用程序，所述特定应用程序包括登录界面，当所述登录界面正在运行时，获取第一初始图像数据，即当该登录界面正在运行时，移动终端调用摄像头获取第一初始图像数据。

步骤302，提取出所述第一初始图像数据的第一中间共享层特征信息；

进一步地，人脸识别模型的主网络可以用于提取出第一中间共享层特征信息，所述主网络可以包括卷积层，将第一初始图像数据输入至所述卷积层，输出对应的第一中间共享层特征信息。

步骤303，将所述第一中间共享层特征信息进行兴趣区池化操作，获得第一池化特征图信息；

实际应用到本申请实施例中，移动终端可以将所述第一中间共享层特征信息进行兴趣区池化操作，获得第一池化特征图信息。

步骤304，当所述第一池化特征图信息中包含人脸数据时，针对所述第一池化特征图信息进行空间变换，获得第一变换特征图信息；

进一步地，当所述第一池化特征图信息中包含人脸数据时，将所述第一池化特征图信息输入至所述空间变换网络，获得第一变换特征图信息。

步骤305，提取出所述第一变换特征图信息中的第一人脸特征数据；

具体应用到本申请实施例中，移动终端可以提取出所述第一变换特征图信息中的第一人脸特征数据。

步骤306，将所述第一人脸特征数据与预置的第二人脸特征数据进行比对，获得第一人脸识别结果信息。

本申请实施例中，将所述第一人脸特征数据与预置的第二人脸特征数据进行比对，获得第一人脸识别结果信息；即完成人脸验证的过程。当该第一人脸识别结果信息为匹配时，可以登录至该特定应用程序的首页。

需要说明的是，所述移动终端包括数据库，所述数据库中包括预置的第二人脸特征数据，将获得的第一人脸特征数据与在数据库中预置的第二人脸特征数据进行比对，获得第一人脸识别结果信息，完成人脸验证的过程；所述第一人脸识别结果信息可以是表示该第一初始图像数据与数据库中的第二初始图像数据所包含的人脸是否为同一人脸的信息。

本申请实施例的一种优选实施例中，上述的数据库还可以设置在服务器中，因不同的系统部署方式而不同，本申请实施例对此不作限制。

本申请实施例中，简化了人脸识别流程，解决了传统人脸识别流程多，对每个流程精度要求较高，且每个流程相互影响的问题；采用特征共享的方式，避免了重复计算。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

参照图6，示出了本申请的一种人脸识别模型的训练装置实施例的结构框图，具体可以包括如下模块：

第一初始图像数据获得模块601，用于获得初始图像数据；

第一提取模块602，用于提取出所述初始图像数据的中间共享层特征信息；

第一池化特征图信息获得模块603，用于将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；

第一变换特征图信息获得模块604，用于当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；

第二提取模块605，用于提取出所述变换特征图信息中的人脸特征数据；

输出模块606，用于输出所述人脸特征数据。

优选地，所述第一池化特征图信息获得模块包括：

候选框信息获得子模块，用于获取到所述初始图像数据中人脸区域的候选框信息；

裁剪子模块，用于根据所述候选框信息在所述中间共享层特征信息裁剪得到特征区域；

池化特征图信息获得子模块，用于将所述特征区域进行兴趣区池化操作，获得池化特征图信息。

优选地，所装置还包括：

特征二维向量获得模块，用于将所述池化特征图信息输入至卷积层和全连接层，获得特征二维向量；

分向量提取模块，用于提取出所述特征二维向量中的第一分向量及第二分向量；

判断模块，用于判断所述第一分向量对应的人脸概率数据是否大于所述第二分向量对应的背景概率数据；

确定模块，用于当所述第一分向量对应的人脸概率数据大于所述第二分向量对应的背景概率数据时，确定所述池化特征图信息中包含人脸数据。

优选地，所述第一变换特征图信息获得模块包括：

仿射变换参数获得子模块，用于当所述池化特征图信息中包含人脸数据时，获取到所述池化特征图信息对应的仿射变换参数；

变换特征图信息获得子模块，用于采用所述仿射变换参数对所述池化特征图信息进行仿射变换，获得变换特征图信息。

优选地，所述第二提取模块包括：

第二提取子模块，用于提取出所述变换特征图信息中的人脸特征向量；

人脸特征数据确定子模块，用于将所述人脸特征向量确定为人脸特征数据。

参照图7，示出了本申请的一种人脸识别的装置实施例的结构框图，具体可以包括如下模块：

第二初始图像数据获得模块701，用于获取第一初始图像数据；

第三提取模块702，用于提取出所述第一初始图像数据的第一中间共享层特征信息；

第二池化特征图信息获得模块703，用于将所述第一中间共享层特征信息进行兴趣区池化操作，获得第一池化特征图信息；

第二变换特征图信息获得模块704，用于当所述第一池化特征图信息中包含人脸数据时，针对所述第一池化特征图信息进行空间变换，获得第一变换特征图信息；

第四提取模块705，用于提取出所述第一变换特征图信息中的第一人脸特征数据；

第一比对模块706，用于将所述第一人脸特征数据与预置的第二人脸特征数据进行比对，获得第一人脸识别结果信息。

优选地，应用于移动终端，所述移动终端安装有特定应用程序，所述特定应用程序包括登录界面，所述第二初始图像数据获取模块包括：

第二初始图像数据获取子模块，用于当所述登录界面正在运行时，获取第一初始图像数据。

本申请实施例还提供了一种装置，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行实施例1和/或实施例2和/或实施例3所述的一个或多个的方法。

本申请实施例还提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行实施例1和/或实施例2和/或实施例3所述的一个或多个的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

在一个典型的配置中，所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种人脸识别模型的训练方法、一种人脸识别的方法、一种人脸识别模型的训练装置及一种人脸识别的装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种人脸特征数据的获取方法，其特征在于，包括：

获得初始图像数据；

提取出所述初始图像数据的中间共享层特征信息；

将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；

当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；

提取出所述变换特征图信息中的人脸特征数据；

输出所述人脸特征数据。

其中，所述将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息的步骤包括：

获取到所述初始图像数据中人脸区域的候选框信息；

根据所述候选框信息在所述中间共享层特征信息裁剪得到特征区域；

将所述特征区域进行兴趣区池化操作，获得池化特征图信息。

2.根据权利要求1所述的方法，其特征在于，所述池化特征图信息中的人脸数据通过以下方式确定：

将所述池化特征图信息输入至卷积层和全连接层，获得特征二维向量；

提取出所述特征二维向量中的第一分向量及第二分向量；

判断所述第一分向量对应的人脸概率数据是否大于所述第二分向量对应的背景概率数据；

当所述第一分向量对应的人脸概率数据大于所述第二分向量对应的背景概率数据时，确定所述池化特征图信息中包含人脸数据。

3.根据权利要求2所述的方法，其特征在于，所述当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息的步骤包括：

当所述池化特征图信息中包含人脸数据时，获取到所述池化特征图信息对应的仿射变换参数；

采用所述仿射变换参数对所述池化特征图信息进行仿射变换，获得变换特征图信息。

4.根据权利要求1所述的方法，其特征在于，所述提取出所述变换特征图信息中的人脸特征数据的步骤包括：

提取出所述变换特征图信息中的人脸特征向量；

将所述人脸特征向量确定为人脸特征数据。

5.一种人脸识别的方法，其特征在于，包括：

获取第一初始图像数据；

提取出所述第一初始图像数据的第一中间共享层特征信息；

将所述第一中间共享层特征信息进行兴趣区池化操作，获得第一池化特征图信息；

当所述第一池化特征图信息中包含人脸数据时，针对所述第一池化特征图信息进行空间变换，获得第一变换特征图信息；

提取出所述第一变换特征图信息中的第一人脸特征数据；

将所述第一人脸特征数据与预置的第二人脸特征数据进行比对，获得第一人脸识别结果信息；

其中，所述将所述第一中间共享层特征信息进行兴趣区池化操作，获得第一池化特征图信息的步骤包括：

获取到所述第一初始图像数据中人脸区域的第一候选框信息；

根据所述第一候选框信息在所述第一中间共享层特征信息裁剪得到第一特征区域；

将所述第一特征区域进行兴趣区池化操作，获得第一池化特征图信息。

6.根据权利要求5所述的方法，其特征在于，应用于移动终端，所述移动终端安装有特定应用程序，所述特定应用程序包括登录界面，所述获取第一初始图像数据的步骤包括：

当所述登录界面正在运行时，获取第一初始图像数据。

7.一种人脸特征数据的获取装置，其特征在于，包括：

第一初始图像数据获得模块，用于获得初始图像数据；

第一提取模块，用于提取出所述初始图像数据的中间共享层特征信息；

第一池化特征图信息获得模块，用于将所述中间共享层特征信息进行兴趣区池化操作，获得池化特征图信息；

第一变换特征图信息获得模块，用于当所述池化特征图信息中包含人脸数据时，针对所述池化特征图信息进行空间变换，获得变换特征图信息；

第二提取模块，用于提取出所述变换特征图信息中的人脸特征数据；

输出模块，用于输出所述人脸特征数据。

其中，所述第一池化特征图信息获得模块包括：

候选框信息获得子模块，用于获取到所述初始图像数据中人脸区域的候选框信息；

裁剪子模块，用于根据所述候选框信息在所述中间共享层特征信息裁剪得到特征区域；

池化特征图信息获得子模块，用于将所述特征区域进行兴趣区池化操作，获得池化特征图信息。

8.根据权利要求7所述的装置，其特征在于，所装置还包括：

特征二维向量获得模块，用于将所述池化特征图信息输入至卷积层和全连接层，获得特征二维向量；

分向量提取模块，用于提取出所述特征二维向量中的第一分向量及第二分向量；

判断模块，用于判断所述第一分向量对应的人脸概率数据是否大于所述第二分向量对应的背景概率数据；

确定模块，用于当所述第一分向量对应的人脸概率数据大于所述第二分向量对应的背景概率数据时，确定所述池化特征图信息中包含人脸数据。

9.根据权利要求8所述的装置，其特征在于，所述第一变换特征图信息获得模块包括：

仿射变换参数获得子模块，用于当所述池化特征图信息中包含人脸数据时，获取到所述池化特征图信息对应的仿射变换参数；

变换特征图信息获得子模块，用于采用所述仿射变换参数对所述池化特征图信息进行仿射变换，获得变换特征图信息。

10.根据权利要求7所述的装置，其特征在于，所述第二提取模块包括：

第二提取子模块，用于提取出所述变换特征图信息中的人脸特征向量；

人脸特征数据确定子模块，用于将所述人脸特征向量确定为人脸特征数据。

11.一种人脸识别的装置，其特征在于，包括：

第二初始图像数据获取模块，用于获取第一初始图像数据；

第三提取模块，用于提取出所述第一初始图像数据的第一中间共享层特征信息；

第二池化特征图信息获得模块，用于将所述第一中间共享层特征信息进行兴趣区池化操作，获得第一池化特征图信息；

第二变换特征图信息获得模块，用于当所述第一池化特征图信息中包含人脸数据时，针对所述第一池化特征图信息进行空间变换，获得第一变换特征图信息；

第四提取模块，用于提取出所述第一变换特征图信息中的第一人脸特征数据；

第一比对模块，用于将所述第一人脸特征数据与预置的第二人脸特征数据进行比对，获得第一人脸识别结果信息；

其中，所述第二池化特征图信息获得模块包括：

第一候选框信息获得子模块，用于获取到所述第一初始图像数据中人脸区域的第一候选框信息；

第一裁剪子模块，用于根据所述第一候选框信息在所述第一中间共享层特征信息裁剪得到第一特征区域；

第一池化特征图信息获得子模块，将所述第一特征区域进行兴趣区池化操作，获得第一池化特征图信息。

12.根据权利要求11所述的装置，其特征在于，应用于移动终端，所述移动终端安装有特定应用程序，所述特定应用程序包括登录界面，所述第二初始图像数据获取模块包括：

第二初始图像数据获取子模块，用于当所述登录界面正在运行时，获取第一初始图像数据。

13.一种装置，其特征在于，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-6所述的一个或多个的方法。

14.一个或多个机器可读介质，其上存储有指令，其特征在于，当由一个或多个处理器执行时，使得装置执行如权利要求1-6所述的一个或多个的方法。

Images