CN110084221A - 一种基于深度学习的带中继监督的序列化人脸关键点检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的带中继监督的序列化人脸关键点检测方法，包括如下步骤：给定已检测出的人脸图像，设计出一种由多模块组成的级联网络结构，该结构通过对各模块的中继监督，实现了关键点的序列化预测；结合软极大值函数在输出的关键点热图上计算关键点坐标的期望，完成热图回归向基于关键点坐标的数值坐标回归的转化，充分发挥了两种回归方法各自的优势。本发明一方面克服了热图回归方法不能端到端进行训练的缺陷，另一方面省去了额外的数据处理过程，加快了模型训练过程，提升了算法效率；在进行数值坐标回归时采用一种新的分段损失函数，最终获得了较高的定位准确度。

Description

一种基于深度学习的带中继监督的序列化人脸关键点检测 方法

技术领域

本发明涉及图像处理与模式识别技术领域，尤其是一种基于深度学习的带中继监督的序列化人脸关键点检测方法。

背景技术

人脸关键点检测是计算机视觉中的经典问题之一，也是人脸分析过程中的重要组成部分。基于准确的关键点检测结果，可以实现人脸姿态估计、表情分析、美妆特效等应用。

目前主流的人脸关键点检测方法，主要分为两大类，分别是基于回归的方法和基于卷积神经网络的方法。基于回归的方法是直接学习从图像外观到关键点位置的映射，其中最具代表性的是级联回归，该方法采用了由粗到精的策略，第k个阶段的形状增量Δs为：

Δs^t＝R^t(Φ^t(I,s^t-1))

其中，s^t-1表示前阶段的形状预测值，Φ^t为特征映射函数，R^t为阶段回归器。形状索引特征Φ^t(I,s^t-1)依赖于输入图像I和当前的形状估计，可以通过手工设计或者直接学习得到。在训练阶段，可以将若干个弱回归器串联在一起逐步减小训练集上的关键点定位误差。

基于卷积神经网络的方法则将通过提取图像的高层特征，对人脸外观到人脸形状的非线性映射进行建模。根据关键点回归方式的不同，又可以细分为数值坐标回归法和热图回归法，前者是通过卷积神经网络直接学习从RGB图像到关键点坐标的映射，而后者是通过预测与关键点对应的热图来间接推断关键点坐标。数值坐标回归法一般模型复杂度较低，速度较快，但往往在关键点数量较多时性能较差；基于热点图的关键点检测算法通过引入关键点热图，隐式建模了关键点的空间位置关系，所以其空间泛化能力较强，但由于其输出的特征图较大，所以该方法是在牺牲一定速度以及增大模型复杂度的情况下获得性能提升的。并且，这种方法需要额外的数据预处理和后处理过程，不能端到端的进行训练。以上两种回归方法中，常用的损失函数为L2损失，即欧氏距离损失，定义如下：

其中，s＝[x₁,...,x_L,y₁,...,y_L]^T表示关键点的真实坐标，s′＝φ(I)是模型预测的关键点坐标，φ(·)表示映射函数。

发明内容

本发明所要解决的技术问题在于，提供一种基于深度学习的带中继监督的序列化人脸关键点检测方法，在保证性能的同时，缩短训练过程，加快检测速度。

为解决上述技术问题，本发明提供一种基于深度学习的带中继监督的序列化人脸关键点检测方法，包括如下步骤：

(1)在训练时，手工标定人脸关键点作为训练样本，预先给定标定好或检测出的人脸框，对于每个人脸框，精确标定出每个关键点在框内的二维坐标；

(2)根据人脸框对训练样本进行数据预处理，包括数据增强操作以及数据归一化；

(3)设计基于中继监督的序列化检测模型，该模型是由三个级联的卷积神经网络模块组成，并且每个阶段的模块都输出大小相同的特征图作为预测关键点响应图；

(4)在每个阶段输出的关键点热图上采用软极大值函数，得到预测关键点位置，采用新的分段损失函数根据预测的关键点坐标计算每一阶段的损失值，并将三个阶段的损失值之和作为整个模型的损失值；分段损失函数定义如下：

其中，(-w,w)是该函数的非线性区，w为非负数，a控制非线性部分的曲率，C＝w²-wln(1+w/a)是线性部分和非线性部分的分界点；

(5)在测试时，对于输入的待检测的人脸图像，先进行人脸检测得到人脸框位置，再根据人脸框对图像进行相应预处理，接着将图像送入步骤(3)中的序列化检测模型中获得精确的人脸关键点位置。

优选的，步骤(3)中，先设计浅层网络结构，其输入图像大小为256×256，具体结构见下表：

优选的，步骤(3)中，在浅层网络之后设计由三个模块组成的级联结构进行关键点的序列化预测，输入特征图大小为32×32，每个模块的输出特征图大小也是32×32。

优选的，步骤(4)中，软极大值函数通过分组卷积实现，即将权重矩阵W_x和W_y作为卷积操作中卷积核的权重参数，提高算法效率；分组卷积就是对传统卷积进行分通道隔离，这里的分组个数为通道数，即关键点个数。

优选的，在进行网络模型训练时采用分层训练策略，对于浅层网络部分，以基础学习率对权重进行更新，且权值衰减系数为基础权值衰减系数；以基础学习率的2倍对偏置进行更新，且权值衰减系数为0；对于序列化预测部分，以基础学习率的4倍对权重进行更新，且权值衰减系数为基础权值衰减系数；以基础学习率的8倍对偏置进行更新，且权值衰减系数为0。

本发明的有益效果为：采用序列化的预测模型“由粗到精”预测关键点位置，第一阶段的输出结果为后续阶段提供关键点位置的初始位置，而后的每一阶段都是在此基础上逐步获得更准确的预测结果；对每一阶段的输出计算损失函数，实现对模型的中继监督，相比于只计算网络最后一个模块的损失函数，该方法是对网络中间结果的监督，以此保证最终输出的准确性；设计了更为合理的分段损失函数，优化了小误差和中等误差样本的预测结果；通过引入软极大值函数，解决了热图回归法不能端到端进行训练的缺陷，省去了额外的数据预处理过程，在保证性能的同时，缩短训练过程，加快检测速度。

附图说明

图1为本发明的网络模型结构示意图。

图2为本发明的检测方法流程示意图。

具体实施方式

如图2所示，一种基于深度学习的带中继监督的序列化人脸关键点检测方法，包括如下步骤：

(1)在训练时，手工标定人脸关键点作为训练样本，预先给定标定好或检测出的人脸框，对于每个人脸框，精确标定出每个关键点在框内的二维坐标；

(2)根据人脸框对训练样本进行数据预处理，包括数据增强操作以及数据归一化；

(3)设计基于中继监督的序列化检测模型，该模型是由三个级联的卷积神经网络模块组成，并且每个阶段的模块都输出大小相同的特征图作为预测关键点响应图；

(4)在每个阶段输出的关键点热图上采用软极大值函数，得到预测关键点位置，采用新的分段损失函数根据预测的关键点坐标计算每一阶段的损失值，并将三个阶段的损失值之和作为整个模型的损失值；分段损失函数定义如下：

其中，(-w,w)是该函数的非线性区，w为非负数，a控制非线性部分的曲率，C＝w²-wln(1+w/a)是线性部分和非线性部分的分界点；

(5)在测试时，对于输入的待检测的人脸图像，先进行人脸检测得到人脸框位置，再根据人脸框对图像进行相应预处理，接着将图像送入步骤(3)中的序列化检测模型中获得精确的人脸关键点位置。

如图1所示，中继监督序列化预测模型，具体为：

输入RGB图像先经过由若干卷积核大小为3×3的卷积层组成的浅层网络提取特征，作为第一个级联模块的输入；接着网络进入序列化预测阶段，每个级联模块都由卷积核大小为7×7、3×3或1×1的卷积层组成，且除第一个模块外，其他模块都是把第一个模块的输入特征，即原图上提取的浅层特征和上一个模块输出的特征图进行特征融合，共同作为该模块的输入特征，再进行特征提取和关键点预测，模块二与模块三的结构相同。

对于软极大值函数的设计，是通过二维平面上的Softmax函数实现的。在基于深度学习的多分类任务中，常用Softmax函数作为网络的最后一层输出每个类别的对应概率值(0～1)，作为分类的判断依据，Softmax函数的定义如下：

其中，V_i表示数组V中第i个元素，S_i表示该元素对应的Softmax值。所有元素的Softmax值累加求和为1。Softmax函数中取指数的操作可以模拟取最大值的行为，并且让大的值更大，可以整个式子进行求导，这一点弥补了Argmax函数的缺陷。

将Softmax函数推广到二维空间，在一张W×H的二维热图上用Softmax函数计算后的结果为：

其中h_i,j为热图h在位置(i,j)上的值，这里的空间Softmax操作对每张热图都进行了归一化。但此操作中可能会出现上溢和下溢问题，导致整个表达式未定义，这两个问题可以通过Softmax(z)同时解决，其中z＝x-max_i(x_i)。简单的代数计算表明，Softmax解析意义上的函数值不会因为从输入向量减去或加上标量而改变。减去max_i(x_i)导致指数运算的最大参数为0，这排除了上溢的可能性。同样地，分母中至少有一个值为1的项，这就排除了因分母下溢而导致被零除的可能性。

接着定义软极大值函数如下：

其中W是大小为W×H×2的权重矩阵，与坐标值(x,y)有关。可以用W_x和W_y分别表示：

最后给定一张热图h，那么通过软极大值函数估计的回归坐标为：

y＝(Ψ_x(h),Ψ_y(h))^T

下面以Ψ_x(h)为例进行推导，对估计出的坐标含义进行解释：

其中 为定值，且∑_iP_i＝1。对于离散情况下变量X的数学期望定义如下：

E(x)＝∑x_iP_i

这与Ψ_x(h)最后的推导结果形式相似，所以软极大值函数就是通过热图计算关键点位置的期望。为了使软极大值函数能够像卷积层一样嵌入深度神经网络里，就要求Ψ_x(h)可以对h求导(以x方向为例)：

这样通过神经网络的反向传播和链式法则，就可以用软极大值函数代替原来的Argmax函数，实现网络端到端的训练。软极大值函数的求导结果表明当热图h的某一个值越大时，其梯度会呈指数增长，得到的坐标值的响应也越具有判别性。与传统的Argmax操作不同，软极大值函数可以在很低的分辨率上得到很高的精确度。

对于损失函数的设计，根据L1、L2损失函数的计算公式可知其梯度的幅值分别为1和|x|，并且由最优步长计算公式可分别求得相应的最优步长为|x|和1。对于L1损失函数来说，梯度大小都是一样的但是由于优化步长的作用，优化求解时会被误差较大的项所影响；对L2损失函数来说，步长相同但梯度却由大的误差项主导。所以这两种损失函数，都很难对相对较小的偏差进行矫正。而对数函数lnx的梯度值为1/x，最优步长为x²，可以同时平衡不同大小的误差项。综合以上所有函数的特性，可以设计出一种新的分段损失函数：

其中，(-w,w)(w为非负数)是该函数的非线性区，a控制非线性部分的曲率，C＝w²-wln(1+w/a)是线性部分和非线性部分的分界点。

在使用分段损失函数进行训练时，其作用对象是由软极大值函数生成的关键点坐标，而不是网络输出的关键点热图，这与热图回归中计算损失值的常规方法不同。

Claims (5)

1.一种基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，包括如下步骤：

(1)在训练时，手工标定人脸关键点作为训练样本，预先给定标定好或检测出的人脸框，对于每个人脸框，精确标定出每个关键点在框内的二维坐标；

(2)根据人脸框对训练样本进行数据预处理，包括数据增强操作以及数据归一化；

(3)设计基于中继监督的序列化检测模型，该模型是由三个级联的卷积神经网络模块组成，并且每个阶段的模块都输出大小相同的特征图作为预测关键点响应图；

(4)在每个阶段输出的关键点热图上采用软极大值函数，得到预测关键点位置，采用新的分段损失函数根据预测的关键点坐标计算每一阶段的损失值，并将三个阶段的损失值之和作为整个模型的损失值；分段损失函数定义如下：

其中，(-w,w)是该函数的非线性区，w为非负数，a控制非线性部分的曲率，C＝w²-wln(1+w/a)是线性部分和非线性部分的分界点；

(5)在测试时，对于输入的待检测的人脸图像，先进行人脸检测得到人脸框位置，再根据人脸框对图像进行相应预处理，接着将图像送入步骤(3)中的序列化检测模型中获得精确的人脸关键点位置。

2.如权利要求1所述的基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，步骤(3)中，先设计浅层网络结构，其输入图像大小为256×256，具体结构见下表：

3.如权利要求1所述的基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，步骤(3)中，在浅层网络之后设计由三个模块组成的级联结构进行关键点的序列化预测，输入特征图大小为32×32，每个模块的输出特征图大小也是32×32。

4.如权利要求1所述的基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，步骤(4)中，软极大值函数通过分组卷积实现，即将权重矩阵W_x和W_y作为卷积操作中卷积核的权重参数，提高算法效率；分组卷积就是对传统卷积进行分通道隔离，这里的分组个数为通道数，即关键点个数。

5.如权利要求2或3所述的基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，在进行网络模型训练时采用分层训练策略，对于浅层网络部分，以基础学习率对权重进行更新，且权值衰减系数为基础权值衰减系数；以基础学习率的2倍对偏置进行更新，且权值衰减系数为0；对于序列化预测部分，以基础学习率的4倍对权重进行更新，且权值衰减系数为基础权值衰减系数；以基础学习率的8倍对偏置进行更新，且权值衰减系数为0。