CN111985340A - 基于神经网络模型的人脸识别方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种基于神经网络模型的人脸识别方法方法、装置和计算机设备。所述方法包括：获取人脸图像；对所述人脸图像进行预处理，得到所述人脸图像对应的多个人脸块；调用预先训练的注意力模型，将多个人脸块输入至所述注意力模型中，通过所述注意力模型对各人脸块进行预测运算，输出所述人脸图像对应的第一裁剪模板；根据所述第一裁剪模板对所述人脸图像进行遮盖处理，得到第一图像；调用预先训练的分类模型，将所述第一图像输入至所述分类模型中，通过所述分类模型对所述第一图像进行预测运算，输出所述人脸图像对应的类别。采用本方法能够提高人脸识别准确性。

Description

基于神经网络模型的人脸识别方法、装置和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种基于神经网络模型的人脸识别方法、装置、计算机设备和存储介质。

背景技术

人脸识别是指基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别技术广泛应用于金融服务、公共安全、政府事务、交通运输以及零售服务等多种领域中。神经网络是指从信息处理角度对人脑神经元网络进行抽象，按不同的连接方式组成不同的网络。神经网络模型在语音识别、图像识别以及自然语言处理等领域均有着广泛的应用。传统的人脸识别方式中，是通过设计损失函数来获取更多的具备鉴别力的特征来进行人脸识别。

然而，传统方式在无约束人脸识别的情况下会存在多种问题，例如，存在姿态变化和大规模遮挡等因素，从而导致人脸识别的准确性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高人脸识别准确性的基于神经网络模型的人脸识别方法、装置、计算机设备和存储介质。

一种基于神经网络模型的人脸识别方法，所述方法包括：

获取人脸图像；

对所述人脸图像进行预处理，得到所述人脸图像对应的多个人脸块；

调用预先训练的注意力模型，将多个人脸块输入至所述注意力模型中，通过所述注意力模型对各人脸块进行预测运算，输出所述人脸图像对应的第一裁剪模板；

根据所述第一裁剪模板对所述人脸图像进行遮盖处理，得到第一图像；

调用预先训练的分类模型，将所述第一图像输入至所述分类模型中，通过所述分类模型对所述第一图像进行预测运算，输出所述人脸图像对应的类别。

在其中一个实施例中，在所述获取人脸图像之前，所述方法还包括：

获取样本图像集，对所述样本图像集中的多个样本图像进行预处理，得到各样本图像对应的人脸块；

将多个样本图像对应的人脸块输入至预设注意力模型中，通过所述预设注意力模型对所述人脸块进行预测运算，输出各样本图像对应的第二裁剪模板；

根据所述第二裁剪模板对相应的样本图像进行遮盖处理，得到第二图像；

将所述第二图像输入至预设分类模型中，通过所述预设分类模型对所述第二图像进行预测运算，输出各样本图像对应的类别；

根据多个样本图像对应的类别计算各样本图像的识别准确度，根据所述识别准确度以及所述预设损失函数关系对所述预设注意力模型进行训练，直至达到预设条件，停止模型训练，输出训练后的注意力模型。

在其中一个实施例中，所述根据多个样本图像对应的类别计算各样本图像的识别准确度包括：

根据各样本图像在所述样本图像集中获取相应的样本标签；

将各样本图像对应的类别与相应的样本标签进行比对，得到各样本图像的识别准确度。

在其中一个实施例中，所述方法还包括：

在预设注意力模型的训练过程中，在所述预设分类模型中输入所述第二裁剪模板；

在所述预设分类模型的多个网络层中随机选取待处理网络层；

根据所述第二裁剪模板对所述待处理网络层中的特征图进行采样处理，当停止模型训练时，得到目标注意力模型，将所述目标注意力模型作为所述预先训练的注意力模型。

在其中一个实施例中，所述方法还包括：

获取所述样本图像集中样本图像对应的样本标签；

根据所述样本图像以及所述样本标签对所述预设分类模型进行参数更新；

根据参数更新后的预设分类模型对所述第二图像进行预测运算，输出各样本图像对应的类别。

在其中一个实施例中，所述对所述人脸图像进行预处理，得到所述人脸图像对应的多个人脸块包括：

对所述人脸图像进行人脸关键点检测，得到人脸关键点信息；

根据所述人脸关键点信息对所述人脸图像进行人脸对齐；

根据所述人脸关键点信息以及预设尺寸在人脸对齐后的人脸图像中进行扩展，得到所述人脸图像对应的多个人脸块。

一种基于神经网络模型的人脸识别装置，所述装置包括：

通信模块，用于获取人脸图像；

预处理模块，用于对所述人脸图像进行预处理，得到所述人脸图像对应的多个人脸块；

预测模块，用于调用预先训练的注意力模型，将多个人脸块输入至所述注意力模型中，通过所述注意力模型对各人脸块进行预测运算，输出所述人脸图像对应的第一裁剪模板；

遮盖模块，用于根据所述第一裁剪模板对所述人脸图像进行遮盖处理，得到第一图像；

分类模块，用于调用预先训练的分类模型，将所述第一图像输入至所述分类模型中，通过所述分类模型对所述第一图像进行预测运算，输出所述人脸图像对应的类别。

在其中一个实施例中，所述装置还包括：

所述预处理模块，还用于获取样本图像集，对所述样本图像集中的多个样本图像进行预处理，得到各样本图像对应的人脸块；

所述预测模块，还用于将多个样本图像对应的人脸块输入至预设注意力模型中，通过所述预设注意力模型对所述人脸块进行预测运算，输出各样本图像对应的第二裁剪模板；

所述遮盖模块，还用于根据所述第二裁剪模板对相应的样本图像进行遮盖处理，得到第二图像；

所述分类模块，还用于将所述第二图像输入至预设分类模型中，通过所述预设分类模型对所述第二图像进行预测运算，输出各样本图像对应的类别；

训练模块，用于根据多个样本图像对应的类别计算各样本图像的识别准确度，根据所述识别准确度以及所述预设损失函数关系对所述预设注意力模型进行训练，直至达到预设条件，停止模型训练，输出训练后的注意力模型。

一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。

上述基于神经网络模型的人脸识别方法、装置、计算机设备和存储介质，对获取到的人脸图像进行预处理，得到人脸图像对应的多个人脸块。有利于后续确定关注焦点对应的人脸块。调用预先训练的注意力模型，将多个人脸块输入至所述注意力模型中，通过注意力模型对各人脸块进行预测运算，输出人脸图像对应的第一裁剪模板。根据第一裁剪模板对人脸图像进行遮盖处理，得到第一图像。能够通过注意力模型关注到人脸的基本特征或先验信息，可在人脸图像出现姿态变化和大规模遮挡等情况时，滤除人脸图像中的干扰信息。调用预先训练的分类模型，将第一图像输入至分类模型中，通过分类模型对第一图像进行预测运算，输出人脸图像对应的类别。由于人脸图像中滤除掉了干扰信息，从而使分类模型注重学习其他部位的特征，从而获得更高的鲁棒性和更好的识别性能，提高了人脸识别的准确性。另外，根据第一裁剪模板对人脸图像进行遮盖处理，只需要利用部分人脸块提取人脸特征，即可进行人脸识别，与使用人脸分块策略，将多个面块的特征进行组合的算法相比，本实施例的模型结构更小，进而减少了训练和推理的耗时。

附图说明

图1为一个实施例中基于神经网络模型的人脸识别方法的应用环境图；

图2为一个实施例中基于神经网络模型的人脸识别方法的流程示意图；

图3为一个实施例中对注意力模型进行训练步骤的流程示意图；

图4为一个实施例中将第二裁剪模板输入至预设分类模型中，对预设分类模型进行正则化处理步骤的流程示意图；

图5为一个实施例中基于神经网络模型的人脸识别方法所采用的算法示意图；

图6为一个实施例中基于神经网络模型的人脸识别装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于神经网络模型的人脸识别方法，可以应用于如图1所示的应用环境中。其中，图像采集设备102与服务器104通过网络进行通信。图像采集设备102将采集到的人脸图像发送至服务器104。服务器104在获取到人脸图像后，对人脸图像进行预处理，得到人脸图像对应的多个人脸块。服务器104调用预先训练的注意力模型，将多个人脸块输入至注意力模型中，通过注意力模型对各人脸块进行预测运算，输出人脸图像对应的第一裁剪模板。服务器104根据第一裁剪模板对人脸图像进行遮盖处理，得到第一图像。服务器104调用预先训练的分类模型，将第一图像输入至分类模型中，通过分类模型对第一图像进行预测运算，输出人脸图像对应的类别。其中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种基于神经网络模型的人脸识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤202，获取人脸图像。

在基于神经网络模型进行人脸识别过程中，可以通过图像采集设备采集视野范围内的人脸图像。人脸图像是指包含人脸目标的图像。图像采集设备将采集到的人脸图像传输至服务器。神经网络模型是指从信息处理角度对人脑神经元网络进行抽象，按不同的连接方式组成不同的网络。例如，神经网络模型可以包括预先训练的注意力模型以及预先训练的分类模型。例如，图像采集设备可以是相机。

在其中一个实施例中，人脸图像可以是服务器对视频数据进行解析以及人脸目标检测得到的。具体的，通过视频采集设备采集视频数据。例如，视频采集设备可以是摄像机。视频数据可以通过视频流的形式进行传输。服务器中预先配置有视频数据接口，服务器通过调用视频数据接口，获取视频采集设备采集到的视频数据。其中，视频数据可以通过多种传输协议进行传输。例如，视频数据的传输协议可以包括但不限于RTSP(Real TimeStreaming Protocol，实时流传输协议)以及RTMP(Real Time Messaging Protocol，实时消息传输协议)等。

视频数据是指连续的图像序列，视频数据可以包括连续多帧在时间上存在先后顺序的图像数据。帧是视频数据中的最小视觉单元，视频数据中的每一帧可以对应一个图像数据。服务器对视频数据进行解析，得到视频数据中的多帧图像。多帧图像数据之间存在先后顺序。服务器可以对各帧图像进行人脸目标检测，当检测到图像中存在人脸目标时，服务器可以对各帧图像的空间重合度进行检测，并将空间重合度与预设阈值进行比较，当空间重合度达到预设阈值时，则确定该帧图像中存在人脸目标，从而得到包含人脸目标的图像，即人脸图像。

步骤204，对人脸图像进行预处理，得到人脸图像对应的多个人脸块。

具体的，服务器对人脸图像进行人脸定位，得到人脸目标定位框的坐标信息。服务器根据人脸目标定位框的坐标信息对人脸图像进行人脸关键点检测，得到人脸关键点信息。人脸关键点信息可以包括人脸区域的关键点坐标，即左眼、右眼、鼻头、左嘴角、右嘴角5个点的坐标。之后，服务器根据人脸关键点信息对人脸图像进行人脸对齐。例如，人脸对齐的方式可以是相似度变换。进而服务器根据人脸关键点信息在人脸对齐后的人脸图像中进行扩展，得到人脸图像对应的多个人脸块，即左眼、右眼、鼻头、左嘴角、右嘴角5个人脸块。每个人脸块中包括人脸相应部位的完整信息。

步骤206，调用预先训练的注意力模型，将多个人脸块输入至注意力模型中，通过注意力模型对各人脸块进行预测运算，输出人脸图像对应的第一裁剪模板。

服务器中预先存储有注意力模型。注意力模型是通过大量的样本图像训练得到的。注意力模型可以是卷积神经网络模型。注意力模型可以包括多个网络层，例如，输入层、卷积层、最大池化层、自适应平均池化层、全连接层、输出层等。其中，注意力模型具体可以包括两个卷积层。服务器调用预先训练的注意力模型，将人脸图像对应的多个人脸块输入至注意力模型中。注意力模型是一个二分类模型，通过注意力模型对各人脸块进行预测运算，预测各人脸块是否需要丢弃。注意力模型输出各人脸块对应的概率，根据概率可确定人脸块是否需要丢弃。当人脸块对应的概率为零时，表明该人脸块需要丢弃，可以将该人脸块对应的人脸图像中的相应位置设为零，用以表示该位置需要被遮盖。例如，当注意力网络预测到人脸块中包含大范围遮挡、姿势、表情变化等不利于人脸识别的因素时，输出的人脸块的概率为零。当人脸块对应的概率不为零时，表明人脸块无需丢弃，该人脸块对应的人脸图像中的相应位置无需被遮盖。根据各人脸块对应的概率即可确定人脸图像对应的第一裁剪模板。第一裁剪模板可以包括人脸图像中需要被遮盖的位置。例如，第一裁剪模板可以是掩膜。

步骤208，根据第一裁剪模板对人脸图像进行遮盖处理，得到第一图像。

步骤210，调用预先训练的分类模型，将第一图像输入至分类模型中，通过分类模型对第一图像进行预测运算，输出人脸图像对应的类别。

服务器将第一裁剪模板作用于人脸图像，实现将人脸图像的相应位置进行遮盖，得到第一图像。

服务器中预先存储有分类模型。分类模型是通过大量的样本图像训练得到的。例如，分类模型可以是由相同体系结构的多个不同级别的卷积神经网络模型组合得到的，每个卷积神经网络模型的输出结果可以是不同的。分类模型可以包括多个网络层，例如，输入层、卷积层、池化层、全连接层、输出层等。例如，分类模型可以是MobileFaceNet、ResNet(Residual Network，残差网络)等。服务器调用预先训练的分类模型，将第一图像输入至分类模型中，通过分类模型对第一图像进行预测运算，输出人脸图像对应的类别。人脸图像对应的类别可以是人脸图像对应的身份信息。

在本实施例中，对获取到的人脸图像进行预处理，得到人脸图像对应的多个人脸块。有利于后续确定关注焦点对应的人脸块。调用预先训练的注意力模型，将多个人脸块输入至所述注意力模型中，通过注意力模型对各人脸块进行预测运算，输出人脸图像对应的第一裁剪模板。根据第一裁剪模板对人脸图像进行遮盖处理，得到第一图像。能够通过注意力模型关注到人脸的基本特征或先验信息，可在人脸图像出现姿态变化和大规模遮挡等情况时，滤除人脸图像中的干扰信息。调用预先训练的分类模型，将第一图像输入至分类模型中，通过分类模型对第一图像进行预测运算，输出人脸图像对应的类别。由于人脸图像中滤除掉了干扰信息，从而使分类模型注重学习其他部位的特征，从而获得更高的鲁棒性和更好的识别性能，提高了人脸识别的准确性。另外，根据第一裁剪模板对人脸图像进行遮盖处理，只需要利用部分人脸块提取人脸特征，即可进行人脸识别，与使用人脸分块策略，将多个面块的特征进行组合的算法相比，本实施例的模型结构更小，进而减少了训练和推理的耗时。

在一个实施例中，如图3所示，在获取人脸图像之前，上述方法还包括：对注意力模型进行训练的步骤，具体包括：

步骤302，获取样本图像集，对样本图像集中的多个样本图像进行预处理，得到各样本图像对应的人脸块。

步骤304，将多个样本图像对应的人脸块输入至预设注意力模型中，通过预设注意力模型对人脸块进行预测运算，输出各样本图像对应的第二裁剪模板。

步骤306，根据第二裁剪模板对相应的样本图像进行遮盖处理，得到第二图像。

步骤308，将第二图像输入至预设分类模型中，通过预设分类模型对第二图像进行预测运算，输出各样本图像对应的类别。

步骤310，根据多个样本图像对应的类别计算各样本图像的识别准确度，根据识别准确度以及预设损失函数关系对预设注意力模型进行训练，直至达到预设条件，停止模型训练，输出训练后的注意力模型。

服务器在获取人脸图像之前，需要对预设注意力模型以及预设分类模型进行训练。具体的，服务器获取样本数据集。例如，样本数据集可以是landmarks。样本数据集中包括有多个样本图像。服务器对多个样本图像进行预处理，得到各样本图像对应的人脸块。预处理方式可以是先对人脸图像进行人脸定位，得到人脸目标定位框的坐标信息。之后，根据人脸目标定位框的坐标信息对人脸图像进行人脸关键点检测，得到人脸关键点信息。人脸关键点信息可以包括人脸区域的关键点坐标，即左眼、右眼、鼻头、左嘴角、右嘴角5个点的坐标。随后，服务器根据人脸关键点信息对人脸图像进行人脸对齐。例如，人脸对齐的方式可以是相似度变换。进而，服务器根据人脸关键点信息在人脸对齐后的人脸图像中进行扩展，得到人脸图像对应的多个人脸块，即左眼、右眼、鼻头、左嘴角、右嘴角5个人脸块。每个人脸块中包括人脸相应部位的完整信息。

服务器调用预设注意力模型，将多个样本图像对应的多个人脸块输入至预设注意力模型中，通过预设注意力模型对人脸块进行预测运算，输出各人脸块对应的概率，根据概率可确定人脸块是否需要丢弃。进而确定各样本图像对应的第二裁剪模板。当人脸块对应的概率为零时，表明该人脸块需要丢弃，可以将该人脸块对应的人脸图像中的相应位置设为零，用以表示该位置需要被遮盖。当人脸块对应的概率不为零时，表明人脸块无需丢弃。第二裁剪模板可以包括样本图像中需要被遮盖的位置。例如，第二裁剪模板可以是掩膜。

服务器根据第二裁剪模板对相应的样本图像的相应位置进行遮盖，得到第二图像。服务器调用预设分类模型。例如，预设分类模型可以是如MobileFaceNet、ResNet等。从而，服务器将第二图像输入至预设分类模型中，通过预设分类模型对第二图像进行预测运算，输出各样本图像对应的类别。样本图像对应的类别可以是样本图像对应的身份信息。之后，服务器通过多个样本图像对应的类别计算各样本图像的识别准确度。识别准确度是指分类模型输出的各样本图像对应的类别与各样本图像的真实类别相比，其准确率的数值。服务器根据识别准确度以及预设损失函数关系对预设注意力模型进行训练，直至达到预设条件，停止模型训练，输出训练后的注意力模型。例如，服务器可以采用策略梯度方式来对预设注意力模型进行训练，实现在训练过程中对预设注意力模型进行参数优化。当训练预设注意力模型的参数时，预设分类模型的参数可以是固定的。例如，预设损失函数可以用如下公式进行表示：

其中，对样本图像进行分类可以是分批进行的，θ表示预设注意力模型的训练参数，N表示该批次图像中样本图像的数量，事件τ表示完成对一批样本图像的特征提取与分类，R(τ)表示预设分类模型输出的该批次样本图像对应的类别的识别准确度，logp_θ(τ)是事件的概率分布。

由于识别准确度总是正的，为了确保能够得到所有可能的样本图像，并不断提高分类准确性，添加了基准机制：

R(τ)←R(τ)-baseline (2)

其中，baseline表示基准值，能够增加优于基准值的人脸块丢弃动作的概率。从而，服务器可以采用如下公式求解预设注意力模型的训练参数θ：

其中，α表示学习率(learning rate)，为训练过程中的迭代步长。

服务器对预设注意力模型进行多次优化后，当达到预设条件，停止模型训练，将不重要的人脸块进行丢弃。预设条件可以是损失函数保持稳定，或者不再下降。服务器将此时的预设注意力模型作为最终的注意力模型，以便后续人脸识别过程中，确定用于人脸特征提取的人脸块。

在本实施例中，对样本图像集中的多个样本图像进行预处理，得到各样本图像对应的人脸块。将多个样本图像对应的人脸块输入至预设注意力模型中，通过预设注意力模型对人脸块进行预测运算，输出各样本图像对应的第二裁剪模板。从而，根据第二裁剪模板对相应的样本图像进行遮盖处理，得到第二图像，将第二图像输入至预设分类模型中，通过预设分类模型对第二图像进行预测运算，输出各样本图像对应的类别。进而，根据多个样本图像对应的类别计算各样本图像的识别准确度，根据识别准确度以及预设损失函数关系对预设注意力模型进行训练，直至达到预设条件，停止模型训练，输出训练后的注意力模型。通过需训练预设注意力模型，能够使注意力模型更准确地关注到人脸的基本特征或先验信息，可在人脸图像出现姿态变化和大规模遮挡等情况时，准确滤除人脸图像中的干扰信息。从而使分类模型注重学习其他部位的特征，从而获得更高的鲁棒性和更好的识别性能，进一步提高了人脸识别的准确性。

在一个实施例中，根据多个样本图像对应的类别计算各样本图像的识别准确度包括：根据各样本图像在样本图像集中获取相应的样本标签；将各样本图像对应的类别与相应的样本标签进行比对，得到各样本图像的识别准确度。

样本图像集中可以包括多个样本图像以及每个样本图像对应的样本标签。样本标签可以是样本图像对应的类别，即身份信息。服务器在得到预设分类模型输出的各样本图像对应的类别后，可以在样本图像集中获取相应的样本标签，并将预设得到的各样本图像的类别与样本标签进行比对，从而得到各样本图像的识别准确度。进而服务器可以根据识别准确度对预设注意力模型进行训练。只需要通过将预测的样本图像的类别与真实的样本标签进行比对，即可确定人脸识别的准确度，由此可以快速计算得到识别准确度，并进一步提升模型训练效率。

在一个实施例中，如图4所示，上述方法还包括：将第二裁剪模板输入至预设分类模型中，对预设分类模型进行正则化处理的步骤。该步骤具体包括：

步骤402，在模型训练过程中，在预设分类模型中输入第二裁剪模板。

步骤404，在预设分类模型的多个网络层中随机选取待处理网络层。

步骤406，根据第二裁剪模板对待处理网络层中的特征图进行采样处理，当停止模型训练时，得到目标分类模型，将目标分类模型作为预先训练的分类模型。

待处理网络层可以是在预设分类模型的卷积层中选取得到的。服务器在进行模型训练的过程中，可以将样本图像集中的样本图像分批处理。服务器在预设分类模型中输入第二裁剪模板。预设分类模型中包括多个网络层，对于每一批样本图像，服务器可以在多个网络层中随机选取预设数量的网络层，作为待处理网络层。随机选取的网络层可以是卷积层。服务器根据第二裁剪模板按照预设概率对待处理网络层中的特征图进行采样处理，得到遮盖后的特征图。例如，预设概率为0.5。特征图可以是预设分类模型中待处理网络层对第二图像进行特征提取得到的。并且，服务器还会将第二裁剪模板与相应的待处理网络层的输入作乘法运算，得到输出矩阵。具体计算公式可以如下所示：

A′＝A°M (4)

其中，A′表示待处理网络层的输出，A表示待处理网络层的输入，°表示逐个元素相乘，M表示第二裁剪模板。服务器将第二裁剪模板与相应的待处理网络层的输入作乘法运算，能够将第二裁剪模板的尺寸与各待处理网络层的输入矩阵的尺寸保持一致。

服务器根据第二裁剪模板对待处理网络层中的特征图进行采样处理，能够将特征图进行遮盖处理，从而将相应的网络层进行屏蔽，实现预设分类模型的细化，当停止模型训练时，得到训练的分类模型。对于每批样本图像，均是随机选取网络层进行采样处理，因此在模型训练完成后，能够得到多个相同体系结构下的不同级别的分类模型。在模型推理过程中，模型推理是指输入图像运行整个神经网络模型得到输出数据的过程。可以将多个不同级别的分类模型进行组合，将组合得到的分类模型作为预先训练的分类模型。进一步提高了人脸识别的准确性，提高了网络的泛化能力，而且，与对不同体系结构的分类模型进行正则化处理相比，需要的计算资源更少。

在一个实施例中，上述方法还包括：获取样本图像集中样本图像对应的样本标签；根据样本图像以及样本标签对预设分类模型进行参数更新；根据参数更新后的预设分类模型对第二图像进行预测运算，输出各样本图像对应的类别。

服务器在对预设分类模型进行训练的过程中，可以对预设分类模型进行参数更新。具体的，服务器在样本图像集中获取各样本图像对应的样本标签，从而有监督的根据样本图像以及相应的样本标签对预设分类模型进行参数更新。例如，有监督的学习方式可以是反向传播算法。进而服务器根据参数更新后的预设分类模型对第二图像进行预测运算，输出各样本图像对应的类别。根据样本图像以及样本标签对预设分类模型进行参数更新，能够进一步提高预设分类模型的人脸识别准确性。

在一个实施例中，对人脸图像进行预处理，得到人脸图像对应的多个人脸块包括：对人脸图像进行人脸检测，得到人脸关键点信息；根据人脸关键点信息对人脸图像进行人脸对齐；根据人脸关键点信息以及预设尺寸在人脸对齐后的人脸图像中进行扩展，得到人脸图像对应的多个人脸块。

具体的，服务器对人脸图像进行人脸定位，得到人脸目标定位框的坐标信息，根据人脸目标定位框的坐标信息对人脸图像进行人脸关键点检测，得到人脸关键点信息。人脸关键点信息可以包括人脸区域的关键点坐标，即左眼、右眼、鼻头、左嘴角、右嘴角5个点的坐标。之后，服务器根据人脸关键点信息对人脸图像进行人脸对齐。例如，人脸对齐的方式可以是相似度变换。进而服务器根据人脸关键点信息在人脸对齐后的人脸图像中按照预设尺寸进行扩展，即在人脸关键点坐标周围按照预设尺寸进行扩展，进而可以得到每个关键点坐标对应的人脸块，即左眼、右眼、鼻头、左嘴角、右嘴角5个人脸块。每个人脸块中包括人脸关键点相应部位的完整信息。

在本实施例中，通过对人脸图像进行人脸检测，以确定人脸关键点信息，从而根据人脸关键点信息对人脸图像进行人脸对齐，能够对人脸图像进行矫正，有利于后续提高人脸识别的准确性。根据人脸关键点信息以及预设尺寸在人脸对齐后的人脸图像中进行扩展，能够得到人脸图像对应的多个人脸块，便于后续选择关注焦点对应的人脸块进行人脸识别。

在其中一个实施例中，如图5所示，为基于神经网络模型的人脸识别方法所采用的算法示意图。其中，可以将基于神经网络模型的人脸识别方法所采用的算法成为AutoFace算法。AutoFace算法包括(a)Attention-Net和(b)Feature-Net两部分。对于(a)Attention-Net，可以获取样本数据集landmarks中的样本图像，对样本图像进行预处理，得到样本图像对应的5个人脸块。从而将5个人脸块输入至预设注意力模型中，通过预设注意力模型对人脸块进行预测运算，预测各人脸块是否需要丢弃。其中，Y代表丢弃，N代表保留。最终输出样本图像对应的第二裁剪模板(如图5中的mask)。服务器将第二裁剪模板输入(b)Feature-Net的样本图像，即input和预设分类模型中。具体的，服务器根据第二裁剪模板对相应的样本图像进行遮盖处理，得到第二图像，将第二图像输入至预设分类模型中，通过预设分类模型对第二图像进行预测运算，在预测过程中通卷积层对第二图像进行特征提取，输出特征图。第二裁剪模板作用于预设分类模型中卷积层(Conv)输出的特征图(feature maps)中。最终预设分类模型输出各样本图像对应的类别，即feature。服务器可以根据feature计算accuracy(识别准确度)，并根据accuracy对预设注意力模型进行训练。Optimize是指根据accuracy对预设注意力模型进行训练以实现参数优化的过程。supervisor是指根据样本图像以及样本标签对预设分类模型进行参数更新的过程。

在其中一个实施例中，服务器还可以将MobileFaceNet或者ResNet50代替预先训练的分类模型，进行人脸识别，以验证该基于神经网络模型的人脸识别方法。服务器获取公开测试集LFW(Labeled Faces in the Wild，户外脸部检测数据集)，对LFW公开测试集中的人脸图像进行人脸识别，通过计算人脸识别准确度，将MobileFaceNet的人脸识别准确度从98.58％提升到98.95％，将ResNet50的人脸识别准确度从98.87％提升到99.37％。由此可知，本申请提供的基于神经网络模型的人脸识别方法能够有效提高人脸识别准确性。

应该理解的是，虽然图2至4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种基于神经网络模型的人脸识别装置，包括：通信模块602、预处理模块604、预测模块606、遮盖模块608和分类模块610，其中：

通信模块602，用于获取人脸图像。

预处理模块604，用于对人脸图像进行预处理，得到人脸图像对应的多个人脸块。

预测模块606，用于调用预先训练的注意力模型，将多个人脸块输入至注意力模型中，通过注意力模型对各人脸块进行预测运算，输出人脸图像对应的第一裁剪模板。

遮盖模块608，用于根据第一裁剪模板对人脸图像进行遮盖处理，得到第一图像。

分类模块610，用于调用预先训练的分类模型，将第一图像输入至所述分类模型中，通过分类模型对第一图像进行预测运算，输出人脸图像对应的类别。

在一个实施例中，上述装置还包括：

预处理模块604，还用于获取样本图像集，对样本图像集中的多个样本图像进行预处理，得到各样本图像对应的人脸块。

预测模块606，还用于将多个样本图像对应的人脸块输入至预设注意力模型中，通过预设注意力模型对人脸块进行预测运算，输出各样本图像对应的第二裁剪模板。

遮盖模块608，用于根据第二裁剪模板对相应的样本图像进行遮盖处理，得到第二图像。

分类模块610，用于将第二图像输入至预设分类模型中，通过预设分类模型对第二图像进行预测运算，输出各样本图像对应的类别。

训练模块，用于根据多个样本图像对应的类别计算各样本图像的识别准确度，根据识别准确度以及预设损失函数关系对预设注意力模型进行训练，直至达到预设条件，停止模型训练，输出训练后的注意力模型。

在一个实施例中，训练模块，还用于根据各样本图像在所述样本图像集中获取相应的样本标签；将各样本图像对应的类别与相应的样本标签进行比对，得到各样本图像的识别准确度。

在一个实施例中，上述装置还包括：正则化处理模块，用于在预设注意力模型的训练过程中，在预设分类模型中输入第二裁剪模板；在预设分类模型的多个网络层中随机选取待处理网络层；根据第二裁剪模板对待处理网络层中的特征图进行采样处理，当停止模型训练时，得到目标注意力模型，将目标注意力模型作为预先训练的注意力模型。

在一个实施例中，上述装置还包括：更新模块，用于获取样本图像集中样本图像对应的样本标签；根据样本图像以及样本标签对预设分类模型进行参数更新；根据参数更新后的预设分类模型对第二图像进行预测运算，输出各样本图像对应的类别。

在一个实施例中，预处理模块604，还用于对人脸图像进行人脸关键点检测，得到人脸关键点信息；根据人脸关键点信息对人脸图像进行人脸对齐；根据人脸关键点信息以及预设尺寸在人脸对齐后的人脸图像中进行扩展，得到人脸图像对应的多个人脸块。

关于基于神经网络模型的人脸识别装置的具体限定可以参见上文中对于基于神经网络模型的人脸识别方法的限定，在此不再赘述。上述基于神经网络模型的人脸识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储人脸图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于神经网络模型的人脸识别方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于神经网络模型的人脸识别方法，其特征在于，所述方法包括：

获取人脸图像；

对所述人脸图像进行预处理，得到所述人脸图像对应的多个人脸块；

调用预先训练的注意力模型，将多个人脸块输入至所述注意力模型中，通过所述注意力模型对各人脸块进行预测运算，输出所述人脸图像对应的第一裁剪模板；

根据所述第一裁剪模板对所述人脸图像进行遮盖处理，得到第一图像；

调用预先训练的分类模型，将所述第一图像输入至所述分类模型中，通过所述分类模型对所述第一图像进行预测运算，输出所述人脸图像对应的类别。

2.根据权利要求1所述的方法，其特征在于，在所述获取人脸图像之前，所述方法还包括：

获取样本图像集，对所述样本图像集中的多个样本图像进行预处理，得到各样本图像对应的人脸块；

将多个样本图像对应的人脸块输入至预设注意力模型中，通过所述预设注意力模型对所述人脸块进行预测运算，输出各样本图像对应的第二裁剪模板；

根据所述第二裁剪模板对相应的样本图像进行遮盖处理，得到第二图像；

将所述第二图像输入至预设分类模型中，通过所述预设分类模型对所述第二图像进行预测运算，输出各样本图像对应的类别；

根据多个样本图像对应的类别计算各样本图像的识别准确度，根据所述识别准确度以及所述预设损失函数关系对所述预设注意力模型进行训练，直至达到预设条件，停止模型训练，输出训练后的注意力模型。

3.根据权利要求2所述的方法，其特征在于，所述根据多个样本图像对应的类别计算各样本图像的识别准确度包括：

根据各样本图像在所述样本图像集中获取相应的样本标签；

将各样本图像对应的类别与相应的样本标签进行比对，得到各样本图像的识别准确度。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在预设注意力模型的训练过程中，在所述预设分类模型中输入所述第二裁剪模板；

在所述预设分类模型的多个网络层中随机选取待处理网络层；

根据所述第二裁剪模板对所述待处理网络层中的特征图进行采样处理，当停止模型训练时，得到目标注意力模型，将所述目标注意力模型作为所述预先训练的注意力模型。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述样本图像集中样本图像对应的样本标签；

根据所述样本图像以及所述样本标签对所述预设分类模型进行参数更新；

根据参数更新后的预设分类模型对所述第二图像进行预测运算，输出各样本图像对应的类别。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述对所述人脸图像进行预处理，得到所述人脸图像对应的多个人脸块包括：

对所述人脸图像进行人脸关键点检测，得到人脸关键点信息；

根据所述人脸关键点信息对所述人脸图像进行人脸对齐；

根据所述人脸关键点信息以及预设尺寸在人脸对齐后的人脸图像中进行扩展，得到所述人脸图像对应的多个人脸块。

7.一种基于神经网络模型的人脸识别装置，其特征在于，所述装置包括：

通信模块，用于获取人脸图像；

预处理模块，用于对所述人脸图像进行预处理，得到所述人脸图像对应的多个人脸块；

预测模块，用于调用预先训练的注意力模型，将多个人脸块输入至所述注意力模型中，通过所述注意力模型对各人脸块进行预测运算，输出所述人脸图像对应的第一裁剪模板；

遮盖模块，用于根据所述第一裁剪模板对所述人脸图像进行遮盖处理，得到第一图像；

分类模块，用于调用预先训练的分类模型，将所述第一图像输入至所述分类模型中，通过所述分类模型对所述第一图像进行预测运算，输出所述人脸图像对应的类别。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

所述预处理模块，还用于获取样本图像集，对所述样本图像集中的多个样本图像进行预处理，得到各样本图像对应的人脸块；

所述预测模块，还用于将多个样本图像对应的人脸块输入至预设注意力模型中，通过所述预设注意力模型对所述人脸块进行预测运算，输出各样本图像对应的第二裁剪模板；

所述遮盖模块，还用于根据所述第二裁剪模板对相应的样本图像进行遮盖处理，得到第二图像；

所述分类模块，还用于将所述第二图像输入至预设分类模型中，通过所述预设分类模型对所述第二图像进行预测运算，输出各样本图像对应的类别；

训练模块，用于根据多个样本图像对应的类别计算各样本图像的识别准确度，根据所述识别准确度以及所述预设损失函数关系对所述预设注意力模型进行训练，直至达到预设条件，停止模型训练，输出训练后的注意力模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images