CN111914782A - 人脸及其特征点的检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明涉及人脸及面部特征点技术领域，具体涉及一种人脸及其特征点的检测方法、装置、电子设备和存储介质。该方法利用网络模型的主干部分提取出样本图像的特征，然后计算输出检测框集合和面部特征点热力图集合；网络模型损失值计算部分包括并行计算的锚框位置回归单元、锚框类别分类单元和面部特征点位置回归单元；其中，网络模型引入锚框机制，预设多个不同尺度、大小的锚框，需对每个锚框进行分类和位置回归；在检测框集合中筛选出最优检测框；并在面部特征点热力图集合中筛选出的大于阈值的点作为特征点；通过坐标计算出最优检测框对应的面部特征点。本发明在保证高精度的前提下，减少冗余的参数计算，提高实时性。

Description

人脸及其特征点的检测方法、装置、电子设备和存储介质

技术领域

本发明涉及人脸及面部特征点技术领域，具体涉及一种人脸及其特征点的检测方法、装置、电子设备和存储介质。

背景技术

通过分析人脸特征，研究者可以获取到丰富的信息，如身份信息、情绪变化以及主观意图等等，利用这些信息可以实现人脸识别、表情识别以及年龄识别等应用，推进社会实现智能化的步伐。

人脸检测技术是获取人脸特征信息的第一步，该技术能自动、准确地定位人脸位置，实现非接触性、不易察觉性等特性。而人脸存在多姿态的特性，会大大影响建立在人脸检测基础上的应用，所以需利用面部特征点检测技术对人脸进行矫正处理，该技术又被称为人脸对齐技术，通过定位人脸部位中具有语义特征的关键点，将人脸“放正”，解决人脸大角度旋转、侧脸等姿态下出现的差异性。人脸检测和面部特征点检测都是人脸识别技术的重要前提，一套完整的人脸识别系统的组成部分有：人脸检测、面部特征点检测以及人脸识别。人脸检测技术大致步骤分为三部分：获取候选目标区域、提取区域特征以及利用分类器对区域目标分类。基于深度学习的人脸检测技术不仅检测精度，而且能够应用到各种不同的场景中，具有较强的泛化性和鲁棒性。

面部特征点检测技术是用来定位人脸部位中具有独特特征的关键点，如眼睛、鼻子、嘴角等，随着时间的推移，现有的基于深度学习的面部特征点检测技术，具有高准确率、高泛化性等特点，其技术又分为坐标回归模型和热力图回归模型。坐标回归模型是将人脸中特征点的坐标向量直接进行回归处理，但是特征点检测精度不如热力图回归模型。热力图回归模型是利用二维高斯核为每个特征点生成满足高斯分布的热力图，这类方法在面部特征点检测领域中取得了非常令人满意的效果。

发明人在实践中，发现上述现有技术存在以下缺陷：

在大多数人脸及面部特征点检测算法中，一部分使用级联结构由粗到细地定位人脸和特征点，另一部分则是分开实现人脸和特征点检测。但是它们都因训练步骤复杂，造成了大量的参数计算，增加了时间成本，大大降低了检测速度。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种人脸及其特征点的检测方法、装置、电子设备和存储介质，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种人脸及其特征点的检测方法，该检测方法包括以下步骤：

利用网络模型的主干部分提取出样本图像的特征，然后计算输出检测框集合和面部特征点热力图集合；所述网络模型的损失值部分包括并行计算的锚框位置回归单元、锚框类别分类单元和面部特征点位置回归单元；其中，所述锚框位置回归单元引入锚框机制，预设多个不同尺度、大小的锚框，并对每个所述锚框进行分类和位置回归；

在所述检测框集合中筛选出最优检测框；

并在所述面部特征点热力图集合中筛选出的大于阈值的点作为特征点；

通过坐标计算出所述最优检测框对应的面部特征点。

第二方面，本发明另一个实施例提供了一种人脸及其特征点的检测装置，该检测装置包括：

主干网络模型模块，用于提取出样本图像的特征，然后计算输出检测框集合和面部特征点热力图集合；所述网络模型的损失值部分包括并行计算的锚框位置回归单元、锚框类别分类单元和面部特征点位置回归单元；其中，所述锚框位置回归单元引入锚框机制，预设多个不同尺度、大小的锚框，并对每个所述锚框进行分类和位置回归；

检测框筛选模块，用于在所述检测框集合中筛选出最优检测框；

特征点筛选模块，用于将所述面部特征点热力图集合中筛选出的大于阈值的点作为特征点；

面部特征点生成模块，用于通过坐标计算出所述最优检测框对应的面部特征点。

第三方面，本发明另一个实施例提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行上述所述的方法。

第四方面，本发明另一个实施例提供了一种存储介质，该存储介质中存储有计算机可读的程序指令，所述程序指令被处理器执行时实现上述所述的方法。

本发明具有如下有益效果：

本发明提供了一种人脸及其特征点的检测方法，该检测方法通过包含有锚框位置回归单元、锚框类别分类单元和面部特征点位置回归单元的网络模型，将人脸检测和面部特征点检测任务进行联合学习，达到端到端训练，在保证高精度的前提下减少冗余的参数计算，提高实时性。

附图说明

图1为本发明一个实施例所提供的一种人脸及其特征点的检测方法的流程图；

图2为本发明一个实施例所提供的网络模型的网络结构示意图；

图3为本发明一个实施例所提供的残差模块的网络结构示意图；

图4为本发明一个实施例所提供的压缩激活模块的网络结构示意图；

图5为本发明一个实施例所提供的一种人脸及其特征点的检测示例；

图6为本发明一个实施例所提供的一种人脸及其特征点的检测装置的结构框图；

图7为本发明一个实施例所提供的一种电子设备的结构示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种人脸及其特征点的检测方法、装置、电子设备和存储介质，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，“第一”、“第二”、“第1”、“第2”仅用于区分，方便描述，并不代表相关特征的偏重程度湖综合主次之分。不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的属于只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图具体的说明本发明所提供的一种人脸及其特征点的检测方法、装置、电子设备和存储介质的具体方案。

为了简化步骤、减少参数计算，进而提高检测速度，通过构建统一的网络模型实现人脸检测和面部特征点检测，并充分利用这两个任务之间的关联性，提高模型的泛化性，而且主干网络部分参数是可以参数共享的，大大解决了冗余参数的计算，节约时间成本，实现端到端的训练测试，减轻了检测任务步骤的繁琐。

请参阅图1和图2，本发明提供了一种人脸及其特征点的检测方法，该检测方法包括以下步骤：

步骤S001，利用网络模型的主干部分提取出样本图像的特征，然后计算输出检测框集合和面部特征点热力图集合；所述网络模型的损失值部分包括并行计算的锚框位置回归单元、锚框类别分类单元和面部特征点位置回归单元；其中，所述网络模型引入锚框机制，预设多个不同尺度、大小的锚框，并对每个所述锚框进行分类和位置回归。

步骤S002，在所述检测框集合中筛选出最优检测框。

步骤S003，并在所述面部特征点热力图集合中筛选出的大于阈值的点作为特征点。

步骤S004，通过坐标计算出所述最优检测框对应的面部特征点。

综上所述，本发明提供了一种人脸及其特征点的检测方法，该检测方法通过构建统一的网络模型联合学习人脸检测任务和面部特征点检测任务，在保证高精度的前提下减少冗余的参数计算，提高实时性。

优选的，请参阅图2，网络模型按照数据处理的方向包括依次由第一卷积层101、第一批归一化层201、第一激活函数层301、第二卷积层102、第二批归一化层202、第二激活函数层303、第一残差模块10、第三卷积层103、第三批归一化层203、第三激活函数层303、第二残差模块11、第三残差模块12、第四卷积层104、第四批归一化层204和第四激活函数层304构成的特征提取单元。

具体到本实施例中，利用特征提取单元提取出特征后，并行输入到锚框类别分类单元、锚框位置回归单元以及面部关键点位置回归单元中。

锚框类别分类单元按照数据处理的方向依次包括分类卷积层和焦点损失函数30，其中，分类卷积层采用与特征提取单元连接的第五卷积层。第五卷积层的输出数据输入给焦点损失函数30处理。锚框类别分类单元利用焦点损失函数30计算损失值，能充分分析出预测值与真实值之间的差异。

锚框位置回归单元和面部关键点位置回归单元用同一种损失函数。锚框位置回归单元按照数据处理的方向依次包括回归卷积层和平滑L1损失函数40，其中，回归卷积层采用与第五卷积层并行设置的第六卷积层。面部关键点位置回归单元按照数据处理的方向依次包括并行设置的第七～十一卷积层和平滑L1损失函数40。其中，第六卷积层和第七～十一卷积层并行设置构成并行卷积层20。也即第六卷积层～第十一卷积层的输出数据输入给平滑L1损失函数，锚框位置回归单元利用平滑L1损失函数40计算损失值，能充分分析出预测值与真实值之间的差异。同时，面部关键点位置回归模块分别回归左眼、右眼、鼻尖、左嘴角、右嘴角这5个关键点的位置，并利用平滑L1损失函数计算预测热力图与真实热力图之间的损失值。

具体的，在锚框位置回归单元中引入锚框机制，预先设定多个不同比例、不同大小的锚框集合，减少网络模型的计算量，降低优化难度。然后针对每个锚框进行定位回归操作，损失函数使用平滑L1函数。锚框类别分类单元主要是判断每个锚框是不是目标，采用焦点损失函数计算损失值。面部关键点位置回归模块用于定位面部五个关键点：两眼、鼻子、嘴角两个端点，使用平滑L1损失函数计算预测热力图与真实热力图之间的损失值。上述三个模块是并行计算的，同时回归出检测框和面部关键点，端到端地实现人脸及人脸关键点检测。

其中，锚框机制是在与网络最终输出的特征图同等大小的图像上，按照预先设定大小的锚框生成锚框集合，并计算出每个锚框与真实检测框之间的IOU值，大于阈值的锚框标记为正样本，小于阈值的锚框标记为负样本，作为真实锚框。而在网络主干部分输出的特征图上生成同等比例、大小的锚框作为预测锚框，通过不断的训练回归，学习到最优的参数定位目标。

具体的，焦点损失函数用于计算网络模型的预测类别值和真实类别值之间的差距，指导网络模型往真实类别值的方向接近，其包含的参数阿尔法值设为0.25，伽马值设为2.0。

具体的，平滑L1损失函数用于指导网络回归出检测框位置和面部关键点位置，其中参数西格玛为0.3。

具体的，锚框位置回归模块利用平滑L1损失函数计算损失值，主要用于计算每个锚框的坐标与标注的真实坐标之间的差异值，平滑L1损失函数如下:

当锚框标记为1时，表示该锚框为正样本，再进行回归损失计算。其中，t_i和

均为4维坐标向量，包含检测框的中心点坐标、检测框长度以及检测框的宽度。t_i为第i个锚框的真实锚框的坐标向量，

为第i个锚框的预测锚框的坐标向量。

使用平滑L1损失函数可以减少网络模型对离散点的敏感性，使梯度变化处于可控的范围内。

面部关键点位置回归单元也采用平滑L1损失函数，计算预测热力图与真实热力图之间的损失值，从而回归出面部特征点的坐标值。

优选的，在训练网络模型之前，需利用随机参数对网络模型进行初始化，预先设定学习率、衰减率等超参数，并利用随机梯度下降法优化网络权重参数，迭代计算，直至得到最优的网络模型。

作为一个示例，利用预热余弦式学习率下降法改变学习率的大小，预先设置预热迭代数为5个epoch，初始化学习率设为0.01。然后将所有损失函数计算出的损失值相加，使用随机梯度下降法进行模型参数优化，重复计算，直至训练精度最高以及损失值收敛。

优选的，第一残差模块、第二残差模块和第三残差模块为网络结构相同的残差模块。请参阅图3，以第一残差模块10为例来说明残差模块的网络结构，第一残差模块10包括按照数据处理的方向依次包括第1卷积层105、第1批归一化层205、第1激活函数层305、第2卷积层106、第2批归一化层206、第2激活函数层306、压缩激活模块50以及特征相加融合层60。

请参阅图4，压缩激活模块50按照数据处理的方向依次包括平均池化层70、第3卷积层107、第3激活函数层307、第4卷积层108、第4激活函数层308以及特征相乘融合层80。其中，第3激活函数层307与第4激活函数层308不同。

具体的，压缩激活模块中的第3激活函数层采用修正线性单元层，第4激活函数层采用S型函数激活层，可以更好地拟合特征通道间的关联性，引入更多的非线性。

具体的，残差模块中的第1激活函数层和第2激活函数层均采用参数修正线性单元层。

本实施例是在传统ResNet-10网络中残差模块的网络结构的基础上增加了压缩激活模块，大大增加残差块的特征表达能力。压缩激活模块针对每个特征通道的权重进行重新标定，通过网络自动学习到每个特征通道的重要程度，指导网络模型合理利用特征信息进行学习，提高网络模型的准确性。

作为一个示例，残差模块的输出通道预先设为128、256、256，并且将残差模块所包含的卷积层的卷积核设为3×3、批归一化层的动量参数为0.975。

在工作时，利用特征提取单元提取出特征后，在每个特征块的每个特征点上生成多个预先定义的预测锚框，并最后输入到锚框位置回归模块和锚框类别分类模块，以及面部关键点位置回归模块中。本实施例将人脸检测任务和面部特征点检测任务进行联合学习，达到端到端训练，并且利用多任务监督学习机制平衡各个任务的损失值比例，避免网络模型因某个任务梯度变化大而偏重于这个任务，在保证高精度的前提下减少冗余的参数计算，提高实时性。

优选的，在数据预处理时，需用高斯核将训练数据转化成热力图，并将该热力图作为真实热力图。热力图的大小与下采样之后的特征图大小保持一致。

由于样本在网络中训练时，为了丰富特征的语义信息，样本需经过多次下采样，导致热力图的定位信息发生误差，所以需上采样恢复特征图的分辨率，提高热力图的定位能力。因此，训练数据根据人工标注的面部五点位置坐标需转化成二维高斯分布的热力图，利用二维高斯核将关键点分布到特征图上，特征图上每个点的范围是0-1，其中关键点的标签为1。

本发明实施例提出了在利用高斯核生成关键点分布热力图之前，对特征图进行上采样，在保证特征图具有丰富的语义信息的前提下提高特征图的分辨率，解决因人脸面积小转化成热力图时引入噪声点的问题，有效地避免梯度发散，加快网络模型训练速度，提高检测精度。

请参阅图5，利用网络模型预测时计算输出检测框中心点、检测框长宽以及5张预测的热力图，在检测框集合中利用非极大值抑制算法筛选出最优的检测框，并且筛选出热力图中大于阈值的点作为最后的特征点，再通过坐标计算出检测框对应的面部特征点，若存在一个检测框对应多个面部特征点的情况，则选择置信度最高的面部特征点作为检测结果。

本发明利用公开数据集LFW-NET-train数据集进行实验，该人脸数据集有各种角度的人脸，具有丰富的多样性。本次实验对训练数据采用了数据增强手段，防止网络模型出现过拟合现象，由实验结果可以得到，本发明提出的网络构建方法可以同时实现人脸检测和面部特征点检测两项任务，向模型输入任意大小的图像，经过坐标变换计算，可以直接定位人脸和人脸关键点，充分利用任务之间的关联性提高网络模型的性能，并且网络结构简单，易于搭建训练，容易优化全局参数，在实际场景下能达到高精度、高实时性。

基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种人脸及其特征点的检测装置，请参阅图6，该检测装置包括主干网络模型模块601、检测框筛选模块602、特征点筛选模块603和面部特征点生成模块604。

主干网络模型模块601用于提取出样本图像的特征，然后计算输出检测框集合和面部特征点热力图集合；所述网络模型的损失值部分包括并行计算的锚框位置回归单元、锚框类别分类单元和面部特征点位置回归单元；其中，所述锚框位置回归单元引入锚框机制，预设多个不同尺度、大小的锚框，并对每个所述锚框进行分类和位置回归。

检测框筛选模块602用于在检测框集合中筛选出最优检测框。特征点筛选模块603用于将面部特征点热力图集合中筛选出的大于阈值的点作为特征点。面部特征点生成模块604用于通过坐标计算出最优检测框对应的面部特征点。

优选的，主干网络模型601包括提取输入图像的特征的特征提取单元，特征提取单元根据预设的模块数量并按照数据处理的方向由卷积层、批归一化层、激活函数和残差模块依次堆叠。

优选的，残差模块按照数据处理的方向依次包括卷积层、批归一化层、激活函数层、压缩激活模块以及特征相加融合层，其中，压缩激活模块按照数据处理的方向依次包括平均池化层、卷积层、激活函数层、卷积层、激活函数层以及特征相乘融合层。

第三方面，请参阅图7，图7示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。该电子设备可以包括处理单元701、存储单元702和通信单元703。处理单元701可以设置为与存储单元702通信。存储单元702用于保存处理单元701可执行程序代码和数据等，其中，处理单元执行程序时实现上述任意一个方法实施例所提供的一种人脸及其特征点的检测方法。该通信单元703用于支持该电子设备与其他网络实体的通信，以实现数据交互等功能，如该通信模块703支持电子设备与其他智能终端的通信，以实现数据交互功能。

其中，处理单元701可以是处理器或控制器。通信模块703可以是收发器、RF电路或通信接口等。存储模块702可以是存储器。

图7仅仅是本申请实施例的一种可能的实现方式，在实际应用中，该电子设备还可以包括更多或更少的部件，这里不作限制。

需要说明的是，该电子设备可以是服务器，也可以是智能终端，该智能终端可以是计算机、平板电脑或者智能手机等。

本发明实施例还提供了一种存储介质，该存储介质中存储有计算机可读的程序指令，所述程序指令被处理单元执行时实现上述任意一个实施例中所提供的一种人脸及其特征点的检测方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸及其特征点的检测方法，其特征在于，该检测方法包括以下步骤：

利用网络模型的主干部分提取出样本图像的特征，然后计算输出检测框集合和面部特征点热力图集合；所述网络模型的损失值计算部分包括并行计算的锚框位置回归单元、锚框类别分类单元和面部特征点位置回归单元；其中，所述锚框位置回归单元引入锚框机制，预设多个不同尺度、大小的锚框，并对每个所述锚框进行分类和位置回归；

在所述检测框集合中筛选出最优检测框；

并在所述面部特征点热力图集合中筛选出的大于阈值的点作为特征点；

通过坐标计算出所述最优检测框对应的面部特征点。

2.根据权利要求1所述的一种人脸及其特征点的检测方法，其特征在于，所述网络模型包括提取所述样本图像的特征的特征提取单元，所述特征提取单元根据预设的模块数量并按照数据处理的方向由卷积层、批归一化层、激活函数和残差模块依次堆叠。

3.根据权利要求2所述的一种人脸及其特征点的检测方法，其特征在于，所述残差模块按照数据处理的方向依次包括卷积层、批归一化层、激活函数层、压缩激活模块以及特征相加融合层，其中，所述压缩激活模块按照数据处理的方向依次包括平均池化层、卷积层、激活函数层、卷积层、激活函数层以及特征相乘融合层。

4.根据权利要求3所述的一种人脸及其特征点的检测方法，其特征在于，所述锚框位置回归单元按照数据处理的方向依次包括多个并行的回归卷积层和平滑L1损失函数，所述锚框位置回归单元与所述面部特征点位置回归单元共用所述平滑L1损失函数。

5.根据权利要求4所述的一种人脸及其特征点的检测方法，其特征在于，所述锚框类别分类单元按照数据处理的方向依次包括分类卷积层和焦点损失函数；所述分类卷积层与所述回归卷积层并行设置，分别连接所述特征提取单元。

6.一种人脸及其特征点的检测装置，其特征在于，该检测装置包括：

主干网络模型模块，用于提取出样本图像的特征，然后计算输出检测框集合和面部特征点热力图集合；所述网络模型的损失值部分包括并行计算的锚框位置回归单元、锚框类别分类单元和面部特征点位置回归单元；其中，所述锚框位置回归单元引入锚框机制，预设多个不同尺度、大小的锚框，并对每个所述锚框进行分类和位置回归；

检测框筛选模块，用于在所述检测框集合中筛选出最优检测框；

特征点筛选模块，用于将所述面部特征点热力图集合中筛选出的大于阈值的点作为特征点；

面部特征点生成模块，用于通过坐标计算出所述最优检测框对应的面部特征点。

7.根据权利要求6所述的一种人脸及其特征点的检测装置，其特征在于，所述主干网络模型包括提取所述样本图像的特征的特征提取单元，所述特征提取单元根据预设的模块数量并按照数据处理的方向由卷积层、批归一化层、激活函数和残差模块依次堆叠。

8.根据权利要求7所述的一种人脸及其特征点的检测方法，其特征在于，所述残差模块按照数据处理的方向依次包括卷积层、批归一化层、激活函数层、压缩激活模块以及特征相加融合层，其中，所述压缩激活模块按照数据处理的方向依次包括平均池化层、卷积层、激活函数层、卷积层、激活函数层以及特征相乘融合层。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1～5中任意一项所述的方法。

10.一种存储介质，该存储介质中存储有计算机可读的程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1～5中任意一项所述的方法。

Images