CN106127170B - 一种融合关键特征点的训练方法、识别方法及系统 - Google Patents

Abstract

本发明提供一种融合关键特征点的训练方法、识别方法及系统，训练方法包括：获取训练集中人脸图像的关键特征点位置；根据关键特征点位置生成关键特征点的二值图像；将关键特征点的二值图像和人脸图像的R、G、B图像输入到多任务深度学习网络进行训练；识别方法包括：将待识别人脸图像的关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；将所述特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果。如此，本发明实施例中，将关键特征点作为先验知识引入多任务深度学习网络，能够提高多任务深度学习网络的效率及识别精度。

Description

一种融合关键特征点的训练方法、识别方法及系统

技术领域

本发明涉及人脸识别技术领域，特别是涉及一种融合关键特征点的训练方法、识别方法及系统。

背景技术

人脸识别技术是基于生物特征的识别方式，利用人类自身拥有的、并且能够唯一标示其身份的生理特征或行为特征进行身份验证的技术。随着人机交互技术的应用日益广泛，在人机交互领域中，人脸识别技术具有非常重要的意义。作为模式识别与机器学习领域的主要研究方法之一，己经有大量的人脸识别算法被提出。

目前，现有的人脸识别技术主要采用以下方式：

方式一、现有的基于仿射变换的人脸识别方式中，首先检测人脸图像中的关键特征点并确定关键特征点位置，根据所述关键特征位置将待识别人脸图像经仿射变换得到对齐的人脸图像；

方式二、现有的基于深度学习网络的人脸识别方式中，输入的待识别图像是RGB三通道的人脸图像。

发明人在实现本发明的过程中，发现现有人脸识别技术方案至少存在以下缺陷：

在上述方式一中，通过仿射变换将待识别人脸图像对齐到一个固定的模板，由于仿射变换只有简单的旋转、平移、缩放操作，而将所有的人脸图像对齐到一个固定的模板会造成人脸形状失真，从而导致关键特征点位置错乱，进而影响后续分类识别精度。

在上述方式二中，现有的基于深度学习网络的人脸识别方式中，输入的是RGB三通道的人脸图像，这样的训练并没有将人脸图像的关键特征点作为先验知识引入深度学习网络，对于长相较相似的人脸图像的分类识别率较低。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种融合关键特征点的训练方法、识别方法及系统，能够提高多任务深度学习网络的效率及识别精度。

为实现上述目的及其他相关目的，本发明实施例提供一种融合关键特征点的训练方法，该方法包括：

获取训练集中人脸图像的关键特征点位置；

根据所述关键特征点位置生成关键特征点的二值图像；

将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型。

优选地，所述根据所述关键特征点位置生成关键特征点的二值图像，包括：

根据所述关键特征点位置拟合人脸区域的上边框、下边框、左边框及右边框；

根据所述上边框、下边框、左边框及右边框确定人脸矩形框；

对于所述人脸矩形框中的每个像素，若该像素为关键特征点区域，则取该像素的灰度值为1；若该像素为非关键特征点区域，则取该像素的灰度值为0，生成关键特征点的二值图像。

优选地，所述多任务深度学习网络包括人脸分类识别任务、人脸角度分类任务、正面人脸重建任务；其中，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，且所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务的损失函数权重比例分配为6：2：2。

优选地，所述人脸分类识别任务的损失函数为softmax函数、所述人脸角度分类任务的损失函数为softmax函数、所述正面人脸重建任务的损失函数为最小误差平方函数。

优选地，所述将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型，包括：

将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络的第一层卷积完成卷积运算；将得到的运算结果输入到所述多任务深度学习网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的识别与重建的训练结果；

其中，所述多任务深度学习网络的结构采用Alexnet结构。

本发明实施例还提供一种融合关键特征点的识别方法，该方法包括：

获取待识别人脸图像的关键特征点位置；

根据所述关键特征点位置生成关键特征点的二值图像；

将所述关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；

将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果。

优选地，所述将所述待识别人脸图像的特征信息分别与注册集中人脸图像对应的特征信息进行匹配，得到识别结果，包括：

通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。

根据上述方法，本发明实施例提供了一种融合关键特征点的训练系统，该系统包括：获取模块、生成模块、训练模块；其中，

所述获取模块，用于获取训练集中人脸图像的关键特征点位置；

所述生成模块，用于根据所述关键特征点位置生成关键特征点的二值图像；

所述训练模块，用于将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型。

优选地，所述生成模块具体用于：

根据所述关键特征点位置拟合人脸区域的上边框、下边框、左边框及右边框；

根据所述上边框、下边框、左边框及右边框确定人脸矩形框；

对于所述人脸矩形框中的每个像素，若该像素为关键特征点区域，则取该像素的灰度值为1；若该像素为非关键特征点区域，则取该像素的灰度值为0，生成关键特征点的二值图像。

优选地，所述多任务深度学习网络包括人脸分类识别任务、人脸角度分类任务、正面人脸重建任务；其中，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，且所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务的损失函数权重比例分配为6：2：2。

优选地，所述人脸分类识别任务的损失函数为softmax函数、所述人脸角度分类任务的损失函数为softmax函数、所述正面人脸重建任务的损失函数为最小误差平方函数。

优选地，所述所述训练模块具体用于：

将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络的第一层卷积完成卷积运算；将得到的运算结果输入到所述多任务深度学习网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的识别与重建的训练结果；

其中，所述多任务深度学习网络的结构采用Alexnet结构。

根据上述方法，本发明实施例提供了一种融合关键特征点的识别系统，该系统包括：

获取模块、生成模块、特征提取模块、分类识别模块；其中，

所述获取模块，用于获取待识别人脸图像的关键特征点位置；

所述生成模块，用于根据所述关键特征点位置生成关键特征点的二值图像；

所述特征提取模块，用于将所述关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；

所述分类识别模块，用于将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果。

优选地，所述分类识别模块具体用于：

通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。

本发明提供的融合关键特征点的训练方法、识别方法及系统，训练方法包括：获取训练集中人脸图像的关键特征点位置；根据所述关键特征点位置生成关键特征点的二值图像；将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；识别方法包括：获取待识别人脸图像的关键特征点位置；根据所述关键特征点位置生成关键特征点的二值图像；将所述关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果。如此，本发明实施例在识别过程中不需要根据关键特征位置将所述待识别人脸图像经仿射变换得到对齐的人脸图像，而是直接将所述待识别人脸图像的关键特征点以二值图像的形式作为一个通道，与所述待识别人脸图像的R、G、B三通道一起输入到训练后的多任务深度学习网络模型进行特征提取及识别，这样避免了将所有的人脸图像对齐到一个固定的模板造成人脸形状失真的现象；而且，在训练过程及识别过程中将人脸图像的关键特征点作为先验知识引入多任务深度学习网络，以增大关键特征点区域的权重，从而提高了多任务深度学习网络的效率及识别精度。

附图说明

图1显示为本发明的融合关键特征点的训练方法的流程示意图；

图2显示为本发明的获取人脸图像中关键特征点位置的流程示意图；

图3显示为本发明的训练动态初始化回归模型及级联回归模型的流程示意图；

图4显示为本发明的人脸图像中关键特征点位置的示意图；

图5显示为本发明的融合关键特征点的识别方法的流程示意图；

图6显示为本发明的融合关键特征点的训练系统的组成结构示意图；

图7显示为本发明的融合关键特征点的识别系统的组成结构示意图。

具体实施方式

本发明实施例中，首先将训练集中人脸图像的关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；然后，根据训练后的多任务深度学习网络模型对待识别人脸图像进行特征提取及识别。

下面结合附图及具体实施例对本发明做进一步详细的说明。

本发明实施例提出了一种融合关键特征点的训练方法，如图1所示，该方法包括：

步骤S10：获取训练集中人脸图像的关键特征点位置。

这里，所述获取训练集中人脸图像的关键特征点位置可以采用如下方式，如图2所示，具体实现步骤包括：

步骤S200：获取训练集中人脸图像的人脸位置。

其中，采用基于积分图的算法快速提取Haar特征，然后采用人脸检测算法并根据所述Haar特征获取所述训练集中人脸图像的人脸位置；其中，所述人脸检测算法可以采用Adaboost算法，这里对所述人脸检测算法不作具体限定；

步骤S201：根据训练集中人脸图像的平均关键特征点与所述人脸位置，得到该人脸图像更新前的关键特征点初始位置。

步骤S202：根据更新前的关键特征点初始位置以及所提取的区域特征，调用动态初始化回归模型，得到更新后的关键特征点初始位置。

其中，根据预设的灰度直方图规定化处理更新前的关键特征点初始位置，调整其灰度值至预设的灰度直方图；提取规定化处理的更新前的关键特征点初始位置所对应的区域特征，将更新前的关键特征点初始位置和其对应的区域特征作为动态初始化回归模型的输入值，得到更新后的关键特征点初始位置；

步骤S203：根据更新后的关键特征点初始位置及所提取的区域特征，调用级联回归模型计算该人脸图像中关键特征点位置。

其中，根据预设的灰度直方图规定化处理更新后的关键特征点初始位置，调整其灰度值至预设的灰度直方图；提取规定化处理的更新后的关键特征点初始位置所对应的区域特征，将更新后的关键特征点初始位置和其对应的区域特征作为级联回归模型的输入值，计算人脸关键特征点位置。

具体实施中，首先输入待检测的人脸图像d，采用人脸检测器检测获取到相应的人脸位置区域r，如果该人脸检测器未检测到人脸，则退出该程序；

根据人脸位置区域r和平均关键点得到更新前的初始关键特征点通过规定化处理后提取该更新前的初始关键特征点的区域特征φ₀；

根据以下公式，得到更新后的关键点初始位置：

x_0' ⁱ＝x₀+R[φ₀；1] (1)

其中，x_0' ⁱ为更新后的关键特征点初始位置，x₀为原始的关键特征点初始位置，R[φ₀；1]为区域特征在动态初始化回归模型；

提取更新后的关键特征点初始位置x_0' ⁱ所对应的区域特征φ_0'；

根据以下公式迭代更新后的关键特征点初始位置x_k，同时，更新区域特征φ_k：

其中，人脸关键特征点位置x_k，x_k-1为级联回归模型的第k-1次得到的人脸关键特征点位置；

迭代结束后，得到最终的人脸关键特征点位置。

进一步地，本发明实施例中的训练动态初始化回归模型及级联回归模型可以采用如下流程，如图3所示，具体实现步骤包括：

步骤S300：获取所述训练集中人脸图像的人脸位置。

其中，所述训练集中人脸图像为以下任意格式中的一种：bmp、jpg、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw，且所述训练集中人脸图像为无压缩的图像。

其中，采用基于积分图的算法快速提取Haar特征，然后采用人脸检测算法并根据所述Haar特征获取所述训练集中人脸图像的人脸位置；其中，所述人脸检测算法可以采用Adaboost算法；这里对所述人脸检测算法不作具体限定。

在步骤S300之前，收集包含人脸的人脸图像，按照预设规则对所述人脸图像中人脸位置区域与人脸关键特征点进行标定，生成训练集。具体的，为用户通过各种途径采集到的包含有人脸的人脸图像按照训练集的预设规则对人脸图像中人脸位置区域与人脸关键特征点进行标定，将标定的人脸位置区域的位置和尺度信息、关键特征点的坐标信息上传至PC、服务器存储到相应的文档。

步骤S301：根据训练集中人脸图像的平均关键特征点与所述人脸位置，得到更新前的关键特征点初始位置。

其中，以向量表示所述训练集中每张人脸图像的关键特征点，对所述人脸位置区域的尺寸进行归一化处理，在归一化处理的该人脸图像上取向量加权平均值，得到所述平均关键特征点；

根据人脸位置和尺寸对所述平均关键特征点进行位移和缩放，得到相应的更新前的关键特征点初始位置。

在本实施例中，将平均关键特征点进行位移和缩放，参照人脸位置和尺寸，得到更新前的关键特征点初始位置，在所述更新前的关键特征点初始位置附近区域提取区域特征。

步骤S302：根据真实关键特征点位置，估计人脸的3D角度；根据该3D角度旋转人脸3D模型，将3D模型映射至2D空间，得到更新后的关键特征点初始位置。

本步骤中，将真实关键特征点位置映射至预设3D人脸模型，根据POSIT算法计算人脸的三维旋转角度；将3D人脸模型的人脸按三维旋转角度映射至2D空间并进行相似变换，得到更新后的关键特征点初始位置，将所述更新前的关键特征点初始位置与更新后的关键特征点初始位置进行直方图规定化处理。

在步骤S302之前，还包括：

统计各关键特征点初始位置的灰度直方图；根据预设的灰度直方图对所述灰度直方图进行规定化处理，调整对应图像块的灰度值，直到所述图像块的灰度直方图达到预设的灰度直方图为止。

其中，所述灰度直方图是在以关键特征点为中心的、一定高度和宽度的图像块中，统计各个灰度区间([0，255]平均划分为n个区间)中相对应的像素个数，这些像素个数的分布即为该关键特征点区域的灰度直方图。直方图规定化，是通过使用累积函数对灰度值进行“调整”，使得其最终的像素分布满足预设的直方图。直方图规定化处理的“中心思想”是把原始图像的像素集从某个灰度区间变成预设的灰度空间。直方图规定化就是对图像进行非线性拉伸，重新分配图像像素值，使最终的像素值灰度分布满足预设的直方图。

步骤S303：根据更新前、更新后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征，训练动态初始化回归模型。

其中，动态初始化回归模型(Dynamic Initialization Regression Model，DIRM)，将所述更新前的关键特征点初始位置与更新后的关键特征点初始位置进行直方图规定化处理，根据更新前、后的位置关键特征点初始位置的差值以及更新前的关键特征点所提取的区域特征，训练得到动态初始化回归模型。

步骤S304：根据所述更新后的关键特征点初始位置和真实关键特征点位置的距离差以及在更新后的关键特征点初始位置提取的区域特征，训练级联回归模型。

其中，计算更新后的关键特征点初始位置和真实关键特征点位置的距离差，以及提取更新后的关键特征点初始位置中的方向梯度直方图特征，按照监督下降法(SDM)或局部二值特征回归法(LBF)训练级联回归模型，其中，根据训练集中的真实关键特征点和平均关键特征点的距离差的分布状态，为每个关键特征点相应地分配不同的加权值。

其中，在每个关键特征点需要分配加权值时，根据真实关键特征点和平均关键特征点的距离差的方差，若方差越大，则对应的加权值越小；若方差越小，则对应的加权值越大。

其中，在使用SDM或LBF训练级联回归模型得到人脸关键特征点初始位置时，由于显著性关键特征点的位置较为准确，非显著性关键特征点的位置较为模糊，因此，显著性关键特征点比非显著性关键特征点引入的加权值更大，且根据每个关键特征点的位置分布情况下，可得到如下公式：

其中，ω_i是第i个关键特征点的距离加权系数，σ_i为训练集中各个图像中第i个关键特征点与相对应的平均关键特征点的距离的标准差，β是一个固定系数，N为关键特征点的总个数。

具体实施中，通过包含一组人脸图像的训练集图像{dⁱ}，该训练集包括预先标定的人脸位置区域{rⁱ}和人脸关键特征点坐标训练动态初始化回归模型R，如下所示：

对于输入的每张人脸图像，根据人脸位置区域rⁱ可得到更新前的关键特征点初始位置；

根据人脸关键特征点坐标以及POSIT算法可计算人脸的三维旋转角度；

根据已知的人脸3D模型x_3D，通过矩阵旋转、3D至2D平面映射以及相似变换等步骤，得到更新后的关键特征点初始位置

训练动态化初始模型R，参考SDM的求解方法，即求解以下式子的最优解：

其中，表示更新后的关键特征点初始位置与原始关键特征点初始位置(即更新前的关键特征点初始位置)的位置之差，表示从原始关键特征点初始位置提取的特征，||·||²为L2范式，式(4)是一个最小二乘问题，存在解析值。

由于更新后的关键特征点初始位置要求的精度没有对最终关键特征点位置精度高，同时，考虑到计算耗时，我们没有采用SDM中多次迭代的方式，而是仅采用了一次迭代训练动态化初始模型；而在计算时间允许的条件下，可使用多次迭代，以取得更好的结果。

具体实施中，通过包含一组人脸图像的训练集图像{dⁱ}，该训练集包括预先标定的人脸位置区域{rⁱ}和人脸关键特征点坐标训练模型级联回归模型R_k，其中k表示级联层数索引，详述如下：

对所有图像的人脸关键特征点坐标进行统计，通过平移、尺度归一化以及加权平均，得到平均关键特征点

根据上述训练动态初始化回归模型过程中获取的更新后的关键特征点初始位置并通过以下公式，训练第一个级联回归模型R₀：

其中，表示更新后的关键特征点初始位置与真实关键特征点的位置之差，λ为每个关键特征点所对应的权值组成的向量，×表示点乘运算；表示从更新后的关键特征点提取的特征，表示在特征向量后再加一维常量项，用于训练偏移量；||·||²为L2范式，式(5)是一个线性最小二乘问题，存在解析解；

当R₀通过计算得到后，可根据以下公式：

其中，可得到人脸关键特征点位置x_k，/表示除运算，在x_k上提取特征新的特征第k+1级的级联回归模型R_k可通过下式求得：

其中，式(7)与式(5)的求解方式相同，通过该算法的4次迭代(k＝3)，即级联层数达到4时，即可寻找到较为精确的人脸关键特征点位置。

本发明实施例中，通过获取人脸图像中人脸位置，将人脸关键特征点周围的图像块进行直方图规定化处理，减少了光线对关键特征点的影响，在光线较差和光照不均匀情况下，提高了人脸关键特征点的检测精度；在使用监督下降法或局部二值特征回归法训练回归模型之前，采用动态化回归模型，能够使得初始状态更为多样化，能够更好地适应不同角度的人脸关键特征点检测；与采用固定不变的平均关键特征点初始化方法相比，动态化的初始关键特征点位置与真实关键特征点更为接近，能够降低回归模型训练的难度，从而提高训练和检测精度。同时，在训练过程中，对显著性关键特征点和非显著性关键特征点的距离衡量中引入不同的权值系数，增强了非显著性关键特征点在训练过程中的容错率，有助于增强各个关键特征点检测的稳定性和准确性。

步骤S11：根据所述关键特征点位置生成关键特征点的二值图像。

这里，首先根据所述关键特征点位置拟合人脸区域的上边框、下边框、左边框及右边框，然后，根据所述上边框、下边框、左边框及右边框确定人脸矩形框，根据所述人脸矩形框生成关键特征点的二值图像。

具体的，人脸图像中的关键特征点位置如图4所示，所述关键特征点取人脸图像中眉毛、眼睛、嘴巴、鼻子、脸型轮廓等特征点，所述上边框取关键特征点15、16、17、18、19、20拟合的第一直线，所述下边框取关键特征点6、7、8拟合的第二直线，所述左边框取关键特征点1、2、3拟合的第三直线，所述右边框取关键特征点11、12、13拟合的第四直线；

其中，直线拟合采用最小二乘算法，具体如何采用最小二乘算法对直线进行拟合属于现有技术，重复之处不再赘述；

然后，将所述上边框的第一直线、所述下边框的第二直线、所述左边框的第三直线、所述右边框的第四直线组成一个矩形框，并将组成的矩形框作为人脸矩形框；

最终，对于所述人脸矩形框中的每个像素，若该像素为关键特征点区域，则取该像素的灰度值为1；若该像素为非关键特征点区域，则取该像素的灰度值为0，由此，生成关键特征点的二值图像。

优选地，为了能尽量覆盖人脸区域，将所述人脸矩形框向外扩展设定比例，例如，上边框向外扩展25％，下边框向外扩展5％，左边框及右边框分别向外扩展5％。

优选地，将所述人脸矩形框旋转到水平方向，并且将旋转后的人脸矩形框归一化到256*256的矩形框，具体的，将旋转后的人脸矩形框的长边缩放到256，短边以相同比例进行缩放，不足256区域以默认颜色(黑色)填充，这样保证了人脸的比例不会被拉伸。

优选的，根据扩展、旋转、归一化后的人脸矩形框生成关键特征点的二值图像。

需要说明的是：图4仅为示例，并不构成对本发明的限制。

步骤S12：将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型。

这里，需要对所述多任务深度学习网络进行训练，所述多任务深度学习网络具体通过以下方式进行训练：

将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络的第一层卷积完成卷积运算；将得到的运算结果输入到所述多任务深度学习网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的识别与重建的训练结果；

其中，所述多任务深度学习网络的结构采用Alexnet结构。

需要说明的是，所述多任务深度学习网络的卷积过程属于现有技术，重复之处不再赘述。

这里，所述关键特征点的二值图像及所述人脸图像的R、G、B、图像均为256*256；如果为了增强所述多任务深度学习网络的鲁棒性，那么可以在256*256的图像中随机扣出设定比例的图像作为所述多任务深度学习网络的输入，例如，在256*256的图像中随机扣出227*227的图像作为所述多任务深度学习网络的输入。

其中，所述多任务深度学习网络包括人脸分类识别任务、人脸角度分类任务、正面人脸重建任务；其中，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，且每个任务的损失函数按照权重比例分配；优选地，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务的损失函数权重比例分配为6：2：2。

优选地，所述人脸分类识别任务的损失函数为softmax函数、所述人脸角度分类任务的损失函数为softmax函数、所述正面人脸重建任务的损失函数为最小误差平方函数。

具体的，softmax函数如下所示：

对于多分类问题，假设有k类，那么对于给定的测试输入x，若想用假设函数针对每一个类别j估算出概率值P(y＝j|x)。也就是说，若想估计x的每一种分类结果出现的概率。因此，假设函数将要输出一个k维的向量(向量元素的和为1)来表示这k个估计的概率值。具体地，假设函数h_θ(x)形式如下：

此时，系统softmax函数的方程为：

其中，1{y⁽ⁱ⁾＝j}是一个指示性函数，即当大括号中的值为真时，该函数的结果就为1，否则其结果就为0；softmax函数可通过随机梯度下降法来逐步优化。

其中，最小误差平方函数如下所示：

对于每个人的图片都有一张正面人脸，重建的目标就是使得通过多任务深度学习网络重建的人脸图像与标准的正面人脸图像的误差最小，最小误差平方函数的方程为：

可通过随机梯度下降来求式(10)的误差最小值。

这里，正面人脸重建的人脸图像的分辨率为256*256，而256*256的人脸图像的参数较多，正面人脸重建任务的损失函数对256*256的人脸图像的参数不容易收敛，因此，本发明实施例可以生成64*64的人脸图像，标准的正面人脸图像也被压缩到64*64，正面人脸重建任务的损失函数为：重建的人脸图像的64*64个像素与标准的正面人脸图像的64*64个像素的误差和，从而提高了正面人脸重建任务的收敛速度及精度。

本发明实施例中，加入人脸角度分类及正面人脸重建两个辅助任务，是为了更好的利用关键特征点的先验信息在多任务深度学习网络内部隐式地做人脸对齐及人脸旋正，因此，所述人脸角度分类任务及正面人脸重建任务能够更好地辅助人脸分类识别任务进行训练及后续分类识别；其中，每张人脸图像具有角度标签，角度标签分为左、正、右三类；每个人有一张标准的正面人脸图像，作为正面人脸重建的参考。

本发明实施例中，将人脸图像的关键特征点作为先验知识引入多任务深度学习网络，在关键特征点的二值图像中，关键特征点区域值大于非关键特征点区域值，因此，在所述多任务深度学习网络做卷积时，关键特征点区域激活就会变强，相应的关键特征点区域的权重就会增大，从而提高了所述多任务深度学习网络的效率及精度。

本发明实施例提出了一种融合关键特征点的识别方法，如图5所示，该方法包括：

步骤S50：获取待识别人脸图像的关键特征点位置。

这里，获取待识别人脸图像的关键特征点位置可以参照步骤S200～S203及步骤S300～S304，重复之处不再赘述。

步骤S51：根据所述关键特征点位置生成关键特征点的二值图像。

这里，根据所述关键特征点位置生成关键特征点的二值图像可以参照步骤S11，重复之处不再赘述。

步骤S52：将所述关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息。

这里，所述多任务深度学习网络模型为通过步骤S10～S12进行训练得到的模型；将所述关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到训练后的深度学习网络模型进行特征提取，以所述多任务深度学习网络模型的第一个全链接层的输出作为所述待识别人脸图像的特征信息。

步骤S53：将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果。

这里，与得到所述待识别人脸图像的特征信息的方式相同，同样是将注册集中每张人脸图像的关键特征点的二值图像、以及相应的R、G、B图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述注册集中每张人脸图像对应的特征信息。

下面对如何将所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果，进行详细说明：

首先通过计算所述待识别人脸图像的特征信息分别与所述训练集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述训练集中每张人脸图像的相似度值；

然后根据所述待识别人脸图像分别与所述训练集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果；

若任意一个相似度值大于等于预设的相似度阈值，则匹配成功并得到识别结果。

若所有相似度值均小于预设的相似度阈值，则匹配失败。

这里，如何计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离属于现有技术，重复之处不再赘述。

这里，可以根据实际情况及需求预设相似度阈值，这里对所述相似度阈值不作具体限定。

为实现上述方法，本发明实施例还提供了一种融合关键特征点的训练系统、及一种融合关键特征点的识别系统，由于系统解决问题的原理与方法相似，因此，系统的实施过程及实施原理均可以参见前述方法的实施过程及实施原理描述，重复之处不再赘述。

本发明实施例提供了一种融合关键特征点的识别系统，如图6所示，该系统包括：获取模块60、生成模块61、训练模块62；其中，

所述获取模块60，用于获取训练集中人脸图像的关键特征点位置；

所述生成模块61，用于根据所述关键特征点位置生成关键特征点的二值图像；

所述训练模块62，用于将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型。

具体实施中，所述生成模块61具体用于：

根据所述关键特征点位置拟合人脸区域的上边框、下边框、左边框及右边框；

根据所述上边框、下边框、左边框及右边框确定人脸矩形框；

对于所述人脸矩形框中的每个像素，若该像素为关键特征点区域，则取该像素的灰度值为1；若该像素为非关键特征点区域，则取该像素的灰度值为0，生成关键特征点的二值图像。

具体实施中，所述多任务深度学习网络包括人脸分类识别任务、人脸角度分类任务、正面人脸重建任务；其中，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，且所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务的损失函数权重比例分配为6：2：2。

具体实施中，所述人脸分类识别任务的损失函数为softmax函数、所述人脸角度分类任务的损失函数为softmax函数、所述正面人脸重建任务的损失函数为最小误差平方函数。

具体实施中，所述训练模块62具体用于：

将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络的第一层卷积完成卷积运算；将得到的运算结果输入到所述多任务深度学习网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的识别与重建的训练结果；

其中，所述多任务深度学习网络的结构采用Alexnet结构。

以上功能模块的划分方式仅为本发明实施例给出的一种优选实现方式，功能模块的划分方式不构成对本发明的限制。为了描述的方便，以上所述系统的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本发明实施例提供了一种融合关键特征点的识别系统，如图7所示，该系统包括：获取模块70、生成模块71、特征提取模块72、分类识别模块73；其中，

所述获取模块70，用于获取待识别人脸图像的关键特征点位置；

所述生成模块71，用于根据所述关键特征点位置生成关键特征点的二值图像；

所述特征提取模块72，用于将所述关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；

所述分类识别模块73，用于将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到分类识别结果。

具体实施中，所述分类识别模块73具体用于：

通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。

以上功能模块的划分方式仅为本发明实施例给出的一种优选实现方式，功能模块的划分方式不构成对本发明的限制。为了描述的方便，以上所述系统的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

综上所述，本发明提供的融合关键特征点的训练方法、识别方法及系统，首先将训练集中人脸图像的关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；然后，根据训练后的多任务深度学习网络模型对待识别人脸图像进行特征提取及识别；在识别过程中，去掉了根据关键特征位置待识别人脸图像经仿射变换得到对齐的人脸图像这一步骤，而是直接将关键特征点以二值图像的形式作为一个通道，与R、G、B三通道一起输入到训练后的多任务深度学习网络模型中进行特征提取及识别，避免了将所有的人脸图像对齐到一个固定的模板造成人脸形状失真的现象；而且，将人脸图像的关键特征点作为先验知识引入多任务深度学习网络，能够增大关键特征点区域的权重，从而提高了多任务深度学习网络的效率及识别精度。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种融合关键特征点的训练方法，其特征在于，所述方法包括：

获取训练集中人脸图像的关键特征点位置；

根据所述关键特征点位置生成关键特征点的二值图像；

将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；

所述多任务深度学习网络包括人脸分类识别任务、人脸角度分类任务、正面人脸重建任务；其中，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述关键特征点位置生成关键特征点的二值图像，包括：

根据所述关键特征点位置拟合人脸区域的上边框、下边框、左边框及右边框；

根据所述上边框、下边框、左边框及右边框确定人脸矩形框；

对于所述人脸矩形框中的每个像素，若该像素为关键特征点区域，则取该像素的灰度值为1；若该像素为非关键特征点区域，则取该像素的灰度值为0，生成关键特征点的二值图像。

3.根据权利要求1所述的方法，其特征在于，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务的损失函数权重比例分配为6：2：2。

4.根据权利要求1所述的方法，其特征在于，所述人脸分类识别任务的损失函数为softmax函数、所述人脸角度分类任务的损失函数为softmax函数、所述正面人脸重建任务的损失函数为最小误差平方函数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型，包括：

将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络的第一层卷积完成卷积运算；将得到的运算结果输入到所述多任务深度学习网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的识别与重建的训练结果；

其中，所述多任务深度学习网络的结构采用Alexnet结构。

6.一种融合关键特征点的识别方法，其特征在于，所述方法包括：

获取待识别人脸图像的关键特征点位置；

根据所述关键特征点位置生成关键特征点的二值图像；

将所述关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；

将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果；

所述多任务深度学习网络包括人脸分类识别任务、人脸角度分类任务、正面人脸重建任务；其中，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数。

7.根据权利要求6所述的方法，其特征在于，所述将所述待识别人脸图像的特征信息分别与注册集中人脸图像对应的特征信息进行匹配，得到识别结果，包括：

通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。

8.一种融合关键特征点的训练系统，其特征在于，所述系统包括：获取模块、生成模块、训练模块；其中，

所述获取模块，用于获取训练集中人脸图像的关键特征点位置；

所述生成模块，用于根据所述关键特征点位置生成关键特征点的二值图像；

所述训练模块，用于将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；

所述多任务深度学习网络包括人脸分类识别任务、人脸角度分类任务、正面人脸重建任务；其中，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数。

9.根据权利要求8所述的系统，其特征在于，所述生成模块具体用于：

根据所述关键特征点位置拟合人脸区域的上边框、下边框、左边框及右边框；

根据所述上边框、下边框、左边框及右边框确定人脸矩形框；

对于所述人脸矩形框中的每个像素，若该像素为关键特征点区域，则取该像素的灰度值为1；若该像素为非关键特征点区域，则取该像素的灰度值为0，生成关键特征点的二值图像。

10.根据权利要求8所述的系统，其特征在于，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务的损失函数权重比例分配为6：2：2。

11.根据权利要求8所述的系统，其特征在于，所述人脸分类识别任务的损失函数为softmax函数、所述人脸角度分类任务的损失函数为softmax函数、所述正面人脸重建任务的损失函数为最小误差平方函数。

12.根据权利要求8至11任一项所述的系统，其特征在于，所述训练模块具体用于：

将所述关键特征点的二值图像和所述人脸图像的R、G、B图像输入到多任务深度学习网络的第一层卷积完成卷积运算；将得到的运算结果输入到所述多任务深度学习网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的识别与重建的训练结果；

其中，所述多任务深度学习网络的结构采用Alexnet结构。

13.一种融合关键特征点的识别系统，其特征在于，所述系统包括：获取模块、生成模块、特征提取模块、分类识别模块；其中，

所述获取模块，用于获取待识别人脸图像的关键特征点位置；

所述生成模块，用于根据所述关键特征点位置生成关键特征点的二值图像；

所述特征提取模块，用于将所述关键特征点的二值图像和所述待识别人脸图像的R、G、B图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；所述多任务深度学习网络包括人脸分类识别任务、人脸角度分类任务、正面人脸重建任务；其中，所述人脸分类识别任务、所述人脸角度分类任务及所述正面人脸重建任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数；

所述分类识别模块，用于将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果。

14.根据权利要求13所述的系统，其特征在于，所述分类识别模块具体用于：

通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。