CN112580515B - 一种基于高斯热图回归的轻量级人脸关键点检测方法 - Google Patents

Abstract

本发明公开了一种基于高斯热图回归的轻量级人脸关键点检测方法，用来解决人脸关键点检测的问题，主要应用于自动人脸识别、表情分析、三维人脸重建及三维动画等人脸相关问题。本发明主要包括如下步骤：首先利用关键点坐标生成高斯热图；接着在训练阶段，基于高斯热图回归得到卷积神经网络参数；然后，在预测阶段，前向预测出关键点的高斯热图；最后，由关键点热图得到关键点坐标。本发明可以实现轻量级模型下的人脸关键点检测，计算速度快，计算复杂度低，检测精度高。

Description

一种基于高斯热图回归的轻量级人脸关键点检测方法

技术领域

本发明属于人脸识别和分析领域，用于人脸关键点检测，具体为一种基于高斯热图回归的轻量级人脸关键点检测方法。

背景技术

人脸关键点检测是人脸识别和分析领域中的关键一步，它是诸如自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。近些年来，深度学习方法由于其自动学习及持续学习能力，已被成功应用到了图像识别与分析、语音识别和自然语言处理等很多领域，且在这些方面都带来了很显著的改善。深度学习方法也在人脸关键点检测的研究上取得了极大的进展。

人脸关键点检测方法需要在检测精度和模型大小上达到平衡，现有的高精度人脸关键点检测方法往往具有较大的模型尺寸，轻量级模型往往达不到检测精度要求，从而为实际应用带来了困难。

发明内容

为了解决上述中的技术问题，本发明的目的是给出一种基于高斯热图回归的轻量级人脸关键点检测方法，训练人脸关键点检测模型，并且用于现实场景的人脸关键点检测，在轻量级的基础上实现较高的精度。本发明首先利用关键点坐标生成高斯热图；接着在训练阶段，基于高斯热图回归得到网络参数；然后，在预测阶段，前向预测出关键点热图；最后，由关键点热图得到关键点坐标。

本发明解决其技术问题所采用的技术方案如下：

一种基于高斯热图回归的轻量级人脸关键点检测方法，包括如下步骤：

步骤(1).获取数据集：

T＝{(I₁,P₁),(I₂,P₂),...,(I_n,P_n)}，P＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}，其中I为人脸图像，P为该人脸图像的关键点坐标集合，(x_i,y_i)是集合P中的第i个关键点坐标，N为关键点数量，n为人脸图像数量；

步骤(2).数据预处理：

将数据集T中的人脸图像尺寸统一为H*W，同时归一化对应的关键点坐标，归一化公式为：

其中，w为原图像的宽度，h为原图像的高度，x和y是预处理之前的关键点坐标，cx和cy是预处理之后的关键点坐标，W是统一尺寸后的图像的宽度，H是统一尺寸后的图像的高度；

步骤(3).利用步骤(2)得到的预处理之后的关键点坐标生成高斯热图，公式如下：

其中，cx和cy是预处理之后的关键点的横坐标和纵坐标，σ是高斯分布的标准差，Y是高斯热图上点(x',y')处的像素值，最终生成的二维高斯热图大小为H*W；

步骤(4).由步骤(2)和步骤(3)生成训练集T_A＝{(G₁,V₁),(G₂,V₂),...,(G_n,V_n)}，V＝{R₁，R₂，...，R_N}其中，G为预处理之后的人脸图像，V为每张人脸图像N个关键点对应的N张高斯热图的集合，R为每个人脸关键点对应的二维高斯热图；

步骤(5).构建卷积神经网络，所述的卷积神经网络采用单阶网络框架，主干网络采用U型网络结构，输出采用热图的方式；

步骤(6).将步骤(4)得到的训练集T_A输入步骤(5)搭建的神经网络中进行训练，得到训练好的人脸关键点检测模型；

步骤(7).在预测阶段，将待检测的人脸图像经过步骤(2)进行预处理，然后输入至步骤(6)训练好的人脸关键点检测模型中，输出每一张待检测的人脸图像对应的N张高斯热图的集合；

步骤(8).由步骤(7)生成的高斯热图得到对应的关键点坐标，每一张高斯热图中像素值最大点所在的坐标即为关键点坐标。

本发明的有益效果：

本发明通过采用高斯热图回归和U型网络结构训练卷积神经网络，用于人脸关键点检测，首先利用关键点坐标生成高斯热图；接着在训练阶段，基于高斯热图回归得到网络参数；然后，在预测阶段，前向预测出关键点热图；最后，由关键点热图得到关键点坐标。同时实现了轻量级和高精度，其中模型大小仅为11M左右，远远小于大部分模型尺寸，和传统的人脸关键点检测方法相比，模型大小缩小了1-2个数量级。在检测精度方面，均一化误差在3.2％左右，远远高于大部分人脸关键点检测算法的精度(3.5％到7％)。可见，本发明提出的方法降低了计算成本，可以有效减小模型复杂度和提升检测精度。

附图说明

图1为本发明搭建的卷积神经网络结构。

图2为本发明训练神经网络得到人脸关键点检测模型的流程框图。

图3为本发明利用训练得到的模型检测人脸关键点的流程框图。

图4为本发明的实际检测效果图。

具体实施方式

下面结合附图对本发明方法作进一步说明。

如图2和图3所示，一种基于高斯热图回归的轻量级人脸关键点检测方法，以数据集300W为例，其具体实施步骤如下：

一、建立人脸关键点检测模型并进行训练，如图2所示。

步骤(1).输入数据集W＝{(I₁,P₁),(I₂,P₂),...,(I_n,P_n)}，P＝{(x₁,y₁),(x₂,y₂),...,(x₆₈,y₆₈)}其中I为人脸图像，P为该人脸图像的关键点坐标集合，每张人脸图像标注了68个关键点，(x_i,y_i)是集合P中的第i个关键点坐标，n为人脸图像数量。

步骤(2).数据预处理，统一上述的人脸图像尺寸为256*256，同时归一化对应的关键点坐标，归一化公式为：

其中，w为原图像的宽度，h为原图像的高度，x和y是预处理之前的关键点坐标，cx和cy是预处理之后的关键点坐标。

步骤(3).利用步骤(2)得到的预处理之后的关键点坐标生成高斯热图，公式如下：

其中，cx和cy是预处理之后的关键点的横坐标和纵坐标，σ是高斯分布的标准差，Y是高斯热图上点(x’,y’)处的像素值，最终生成的二维热图大小为256*256。

步骤(4).由步骤(2)和步骤(3)生成训练集T_A＝{(G₁,V₁),(G₂,V₂),...,(G_n,V_n)}，V＝{R₁，R₂，...，R₆₈}其中，G为预处理之后的人脸图像，V为每张人脸图像68个关键点对应的68张高斯热图的集合，R为每个人脸关键点对应的二维高斯热图。

步骤(5).构建卷积神经网络，使用预处理后的训练样本图像对卷积神经网络进行训练，所设计的卷积神经网络采用单阶网络框架，主干网络采用类似U型网络结构，输出采用热图的方式，如图1所示。在本实施例中，激活函数采用sigmoid函数，公式为：

采用的损失函数公式如下：

式中，L表示损失值，N表示每张人脸的关键点数量，Y表示高斯热图上每个点的实际像素值，Y'表示高斯热图上每个点的预测像素值，α和β是幂指数常数；H和W表示图像尺寸，C表示通道数，即每张人脸的关键点数量；

步骤(6).将步骤(4)得到的训练集T_A输入步骤(5)搭建的神经网络中进行训练，得到神经网络的参数。

二、利用训练得到的模型检测人脸关键点，如图3所示。

步骤(7).在预测阶段，将需要检测的人脸图片经过步骤(2)进行预处理，然后输入至步骤(6)训练好的卷积神经网络模型，得到相应的目标对象输出，每输入一张人脸输出68张高斯热图。

步骤(8).由步骤(7)生成的高斯热图得到对应的关键点坐标，高斯热图中像素值最大点所在的坐标即为关键点坐标，由68张高斯热图得到68个关键点坐标。

在本发明的一项具体实施中，如图1所示，步骤(5)构建的卷积神经网络采用单阶网络框架，主干网络采用U型网络结构，包括由若干降采样层构成的降采样结构、由若干升采样层构成的上采样结构以及连接层；所述降采样层和升采样层的数量相等，记为p；

将预处理后的人脸图像作为第一层降采样层的输入，然后将上一层降采样层的输出作为下一层降采样层的输入，最后一层降采样层的输出作为第一层上采样的输入；且第i层降采样层的输出与第p-i层升采样层的输出卷积求和进行连接，将连接后的结果作为下一层升采样层的输入，直至获得最后一层升采样层的输出，再依次进行卷积层、激活层后生成高斯热图。在本实施例中，p＝4，即所述的U型网络结构包括了四层降采样层和四层升采样层。

为了验证本发明所述的算法的优越性能，本实施例在通用的人脸对齐数据集300W数据集(300Faces In-the-Wild Challenge(300-W),ICCV 2013)上进行了人脸关键点检测的实验，检测结果如图4所示。

在实验中使用了均一化误差norm error(nm)、模型尺寸size来对实验结果进行评估。相关计算公式如下：

其中，loc_label是关键点的实际坐标，loc_predict是关键点的预测坐标，dist是坐标之间的距离计算函数，N是每张人脸的关键点个数，dist_between_eyes是外眼角距离。

本发明所述方法的均一化误差在3.2％左右，远远高于大部分人脸关键点检测算法的精度(3.5％到7％)，训练得到的模型大小仅为11M左右，远远小于大部分模型尺寸。表1给出了本发明所述方法在300W数据集上的整体性能。实际检测效果如图4所示。

表1本发明所述方法在300W数据集上的整体性能

均一化误差(nm)	模型尺寸
		3.26％	11.4M

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于高斯热图回归的轻量级人脸关键点检测方法，其特征在于，包括如下步骤：

步骤(1).获取数据集：

T＝{(I₁,P₁),(I₂,P₂),...,(I_n,P_n)}，P＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}，其中I为人脸图像，P为该人脸图像的关键点坐标集合，(x_i,y_i)是集合P中的第i个关键点坐标，N为关键点数量，n为人脸图像数量；

步骤(2).数据预处理：

将数据集T中的人脸图像尺寸统一为H*W，同时归一化对应的关键点坐标，归一化公式为：

其中，w为原图像的宽度，h为原图像的高度，x和y是预处理之前的关键点坐标，cx和cy是预处理之后的关键点坐标，W是统一尺寸后的图像的宽度，H是统一尺寸后的图像的高度；

步骤(3).利用步骤(2)得到的预处理之后的关键点坐标生成高斯热图，公式如下：

其中，cx和cy是预处理之后的关键点的横坐标和纵坐标，σ是高斯分布的标准差，Y是高斯热图上点(x',y')处的像素值，最终生成的二维高斯热图大小为H*W；

步骤(4).由步骤(2)和步骤(3)生成训练集T_A＝{(G₁,V₁),(G₂,V₂),...,(G_n,V_n)}，V＝{R₁，R₂，...，R_N}其中，G为预处理之后的人脸图像，V为每张人脸图像N个关键点对应的N张高斯热图的集合，R为每个人脸关键点对应的二维高斯热图；

步骤(5).构建卷积神经网络，所述的卷积神经网络采用单阶网络框架，主干网络采用U型网络结构，输出采用热图的方式；

步骤(6).将步骤(4)得到的训练集T_A输入步骤(5)搭建的神经网络中进行训练，得到训练好的人脸关键点检测模型；

步骤(7).在预测阶段，将待检测的人脸图像经过步骤(2)进行预处理，然后输入至步骤(6)训练好的人脸关键点检测模型中，输出每一张待检测的人脸图像对应的N张高斯热图的集合；

步骤(8).由步骤(7)生成的高斯热图得到对应的关键点坐标，每一张高斯热图中像素值最大点所在的坐标即为关键点坐标。

2.如权利要求1所述的基于高斯热图回归的轻量级人脸关键点检测方法，其特征在于，所述的步骤(5)构建的卷积神经网络包括由若干降采样层构成的降采样结构、由若干升采样层构成的上采样结构以及连接层；所述降采样层和升采样层的数量相等，记为p；

将预处理后的人脸图像作为第一层降采样层的输入，然后将上一层降采样层的输出作为下一层降采样层的输入，最后一层降采样层的输出作为第一层上采样的输入；且第i层降采样层的输出与第p-i层升采样层的输出卷积求和进行连接，将连接后的结果作为下一层升采样层的输入，直至获得最后一层升采样层的输出，再依次进行卷积层、激活层后生成高斯热图。

3.如权利要求2所述的基于高斯热图回归的轻量级人脸关键点检测方法，其特征在于，所述的p＝4，即所述的U型网络结构包括了四层降采样层和四层升采样层。

4.如权利要求1所述的基于高斯热图回归的轻量级人脸关键点检测方法，其特征在于，所述的步骤(5)构建的卷积神经网络采用sigmoid激活函数。

5.如权利要求1所述的基于高斯热图回归的轻量级人脸关键点检测方法，其特征在于，所述的步骤(6)在训练时，损失函数公式如下：

式中，L表示损失值，N表示每张人脸的关键点数量，Y表示高斯热图上每个点的实际像素值，Y'表示高斯热图上每个点的预测像素值，α和β是幂指数常数；H和W表示图像尺寸，C表示通道数，即每张人脸的关键点数量。

Images