CN108596121A - 一种基于上下文和结构建模的人脸关键点检测方法 - Google Patents

Abstract

本发明公开了一种基于上下文和结构建模的人脸关键点检测方法，用于给定人脸图像的情况下，预测人脸图像中人脸的关键点位置。具体包括如下步骤：获取用于人脸关键点检测的人脸图像数据集，并定义算法目标，同时建立预测网络和上下文网络；对预测关键点和真实关键点进行上下文建模；对预测关键点和真实关键点进行结构建模；训练关键点检测的预测模型；使用所述预测模型检测人脸图像中人脸的关键点位置。本发明适用于自然场景下的人脸关键点检测问题，面对各类复杂情况具有较优的效果和鲁棒性。

Description

一种基于上下文和结构建模的人脸关键点检测方法

技术领域

本发明属于计算机视觉领域，特别地涉及一种基于上下文和结构建模的人脸关键点检测方法。

背景技术

人脸关键点检测是计算机视觉中一个重要的研究问题，其主要目的是对图像和视频中的人脸进行分析和解读，以获取其中的丰富信息。目前，该技术在智能视频监控、智能交通和商用人脸识别系统中已经得到了广泛的应用。

在自然场景下，由于受人脸姿态、光照条件和遮挡等因素影响，人脸关键点检测任务在特征提取、结构信息建模和上下文信息分析层面仍然面临巨大的挑战。在此任务上，前人的研究工作大致可以划分为两个类别：1)基于图像区域分类的方法和2)基于点回归的方法。

发明内容

为解决上述问题，本发明的目的在于提供一种基于上下文和结构建模的人脸关键点检测方法。该方法由基于上下文网络的上下文信息建模和基于树模型的结构信息建模模块组成。前者能够量化预测关键点和真实关键点之间的上下文差异并将其作为模型优化目标的一部分，而后者则是通过分别构建一个人脸层次树来拟合预测关键点和真实关键点的分布模式，并且设计了一种被称作结构损失的代价函数来衡量两个人脸层次树之间的变形代价。

为实现上述目的，本发明的技术方案为：

一种基于上下文和结构建模的人脸关键点检测方法，其包括以下步骤：

S1、获取用于人脸关键点检测的人脸图像数据集，定义算法目标；同时建立关键点检测的预测模型和上下文网络模型；

S2、对预测关键点和真实关键点进行上下文建模；

S3、对预测关键点和真实关键点进行结构建模；

S4、基于S2、S3的建模结果训练预测模型；

S5、使用S4中所述预测模型检测人脸图像中人脸的关键点位置。

作为优选，用于人脸关键点检测的人脸图像数据集，包括人脸图像Ι_train，人工标注的真实关键点定义算法目标为预测人脸图像的关键点

作为优选，建立关键点检测的预测模型和上下文网络模型的过程如下：建立两个深度卷积神经网络，即预测网络和上下文网络，其中预测网络是目标网络，其输入为人脸图像Ι_train，输出为预测关键点而上下文网络则用以提取关键点上下文信息，其输入为人脸图像Ι_train和预测关键点真实关键点

作为优选，对预测关键点和真实关键点进行上下文建模，具体包括以下子步骤：

S21、对人脸图像Ι_train进行零均值化后，随机进行变换操作，所述变换操作包括放缩、旋转、平移、添加高斯噪声或对比度变换，再从变换后的图像中裁剪出预设大小的图像块作为算法输入，对作相同的变换和裁剪得到

S22、将S21中得到的图像块输入到预测网络中，输出得到预测关键点即：

其中f()为预测网络，θ₁为预测网络的参数；

S23、对于中每一个预测关键点从输入图像中获取一个以该关键点为中心，宽为长为的图像区域对于中对应的真实关键点(x_i,y_i)，采用同样的方式获取一个图像区域

S24、将S21中得到的图像块输入到上下文网络中，并分别提取图像区域和p_i的上下文和上下文通过一个两步方法获得，即首先将图像区域和p_i映射到上下文网络第l层上的目标位置和其中第l层的特征图用φ^l表示；然后在φ^l上分别以和位置为中心获取一个3×3的特征表达，分别得到和

S25、量化S24中得到的上下文和之间的差异即

其中和通过以下方法进行计算：

其中表示上下文网络第l层位置上的值,T_S表示上下文网络第l层的总步长；

S26、计算所有N个预测关键点和其对应的真实关键点上下文差异的平均值，用以表示上下文损失Φ_CL：

作为优选，对预测关键点和真实关键点进行结构建模，具体包括：

S31、对于真实关键点构建一个人脸层次树T＝(V,E)，其中V是所有层次上的人脸区域的集合，而E则表示父子区域之间的几何连接的集合；

对于每一个人脸区域v_i∈V，其几何位置定义如下：

其中当v_m为叶节点时，s_m＝(x_m,y_m)，表示v_m中唯一一个关键点的几何位置，child(v_m)为v_m的子节点集合，|child(v_m)|为v_m的子节点集合中的元素个数；

S32、对于每一个节点v_i和其父节点v_j之间的几何连接e_i,j∈E，其计算公式如下：

e_i,j＝θ₀δx_i,j+θ₁δ²x_i,j+θ₂δy_i,j+θ₃δ²y_i,j；

(x_i,y_i)＝P(v_i)；

(x_j,y_j)＝P(v_j)；

δx_i,j＝x_i-x_j；

δy_i,j＝y_i-y_j；

其中δx_i,j表示节点v_i和其父节点v_j在x轴上的偏移，δy_i,j表示节点v_i和其父节点v_j在轴上的偏移；θ₀,θ₁,θ₂,θ₃为4个超参数；

S33、对于预测关键点利用与真实关键点相同的方法构建一个人脸层次树其中是关于预测关键点的所有层次上的人脸区域的集合，而则表示关于预测关键点的父子区域之间的几何连接的集合；中节点和其父节点之间的几何连接以与S32相同的方法计算。

S34、计算人脸层次树T和之间的结构损失Φ_SL：

作为优选，训练预测模型具体包括以下子步骤：

S41、计算预测网络的损失函数L，其计算公式如下：

L＝Φ_EL+αΦ_CL+βΦ_SL

其中Φ_EL表示欧式距离损失函数，α和β表示平衡因子；

S42、使用SGD优化方法和反向传播算法在损失函数L下训练预测网络，训练过程中，上下文网络保持不变。

作为优选，所述步骤S5中，检测人脸图像中人脸的关键点位置包括将人脸图像Ι直接输入到S4训练的预测网络，其输出即为预测的人脸关键点。

与未考虑或未同时考虑上下文损失与结构损失的方法相比，本发明方法具有更强的鲁棒性，能够对关键点，特别是弯角部位的复杂关键点进行更加有效、精准的识别。此外，本发明方法对具有严重遮挡的图像的关键点具有较优的识别效率。

附图说明

图1为本发明的流程示意图；

图2为基于LFW+Net数据集的部分人脸关键点识别结果；

图3为基于AFLW-full数据集的部分人脸关键点识别结果；

图4为基于COFW数据集的部分人脸关键点识别结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，在本发明的较佳实施例中，一种基于上下文和结构建模的人脸关键点检测方法，包括以下步骤：

S1、获取用于人脸关键点检测的人脸图像数据集，定义算法目标；同时建立关键点检测的预测模型和上下文网络模型；

其中，用于人脸关键点检测的人脸图像数据集，包括人脸图像Ι_train，人工标注的真实关键点定义算法目标为预测人脸图像的关键点建立关键点检测的预测模型和上下文网络模型的过程如下：建立两个深度卷积神经网络，即预测网络和上下文网络，其中预测网络是目标网络，其输入为人脸图像Ι_train，输出为预测关键点而上下文网络则用以提取关键点上下文信息，其输入为人脸图像Ι_train和预测关键点真实关键点

S2、对预测关键点和真实关键点进行上下文建模：

S21、对人脸图像Ι_train进行零均值化后，随机进行放缩、旋转、平移、添加高斯噪声、对比度变换等变换操作，再从变换后的图像中裁剪出高224，宽224大小的图像块作为算法输入，对作相同的变换和裁剪得到

S22、将S21中得到的图像块输入到预测网络中，输出得到预测关键点即：

其中f()为预测网络，θ₁为预测网络的参数；

S23、对于中每一个预测关键点从输入图像中获取一个以该关键点为中心，宽为长为的图像区域对于中对应的真实关键点(x_i,y_i)，采用同样的方式获取一个宽为长为的图像区域

S24、将S21中得到的图像块输入到上下文网络中，并分别提取图像区域和p_i的上下文和上下文通过一个两步方法获得，即首先将图像区域和p_i映射到上下文网络第l层上的目标位置和其中第l层的特征图用φ^l表示；然后在φ^l上分别以和位置为中心获取一个3×3的特征表达，分别得到和

S25、量化S24中得到的上下文和之间的差异即

其中和通过以下方法进行计算：

其中表示上下文网络第l层位置上的值,T_S表示上下文网络第l层的总步长；

S26、计算所有N个预测关键点和其对应的真实关键点上下文差异的平均值，用以表示上下文损失Φ_CL：

S3、对预测关键点和真实关键点进行结构建模：

S31、对于真实关键点构建一个人脸层次树T＝(V,E)，其中V是所有层次上的人脸区域的集合，而E则表示父子区域之间的几何连接的集合；

对于每一个人脸区域v_i∈V，其几何位置定义如下：

其中当v_m为叶节点时，s_m＝(x_m,y_m)，表示v_m中唯一一个关键点的几何位置，child(v_m)为v_m的子节点集合，|child(v_m)|为v_m的子节点集合中的元素个数；

S32、对于每一个节点v_i和其父节点v_j之间的几何连接e_i,j∈E，其计算公式如下：

e_i,j＝θ₀δx_i,j+θ₁δ²x_i,j+θ₂δy_i,j+θ₃δ²y_i,j；

(x_i,y_i)＝P(v_i)；

(x_j,y_j)＝P(v_j)；

δx_i,j＝x_i-x_j；

δy_i,j＝y_i-y_j；

其中δx_i,j表示节点v_i和其父节点v_j在x轴上的偏移，δy_i,j表示节点v_i和其父节点v_j在轴上的偏移；θ₀,θ₁,θ₂,θ₃为4个超参数；

S33、对于预测关键点利用相同的方法构建一个人脸层次树

S34、计算人脸层次树T和之间的结构损失Φ_SL：

S4、基于S2、S3的建模结果训练预测模型：

S41、计算预测网络的损失函数L，其计算公式如下：

L＝Φ_EL+αΦ_CL+βΦ_SL

其中Φ_EL表示欧式距离损失函数，α和β表示平衡因子；

S42、使用SGD优化方法和反向传播算法在损失函数L下训练预测网络，训练过程中，上下文网络保持不变。

S5、使用S4中所述预测模型检测人脸图像中人脸的关键点位置：将人脸图像Ι直接输入到S4训练的预测网络，其输出即为预测的人脸关键点。

下面将上述方法应用于具体实施例中，以便本领域技术人员能够更好地理解本发明的效果。

实施例

本实施例的实现方法如前所述，不再详细阐述具体的步骤，下面仅针对案例数据展示其效果。本发明在三类数据集上实施，分别为：

LFW+Net数据集：该数据集包含13466张人脸图像，5590张图像来源于LFW数据集，剩余7876张图像下载于网络；其中10000张图像用于训练，3466张图像用于测试。

AFLW-full数据集：该数据集包含24386张人脸图像；其中20000张图像用于训练，4386张图像用于测试。

COFW数据集：该数据集包含1007张人脸图像，且大部分为严重遮挡图像；其中845张图像用于训练，162张图像用于测试。

三类数据集中部分较难识别图像的实施结果如图2、图3、图4所示，其中每张图中第一行为不考虑上下文损失与结构损失的AlexNet预测网络的识别结果，第二行为AlexNet预测网络叠加考虑上下文损失的识别结果，第三行为AlexNet预测网络叠加考虑结构损失的识别结果，第四行为AlexNet预测网络叠加考虑上下文损失与结构损失的识别结果，即本发明提出的方法。

通过比较不同人脸关键点检测方法可以发现，与未考虑或未同时考虑上下文损失与结构损失的方法相比，本发明方法具有更强的鲁棒性，能够对关键点，特别是弯角部位的复杂关键点进行更加有效、精准的识别。此外，通过分析对COFW数据集的识别结果可知，本发明方法对具有严重遮挡的图像的关键点具有较优的识别效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于上下文和结构建模的人脸关键点检测方法，其特征在于，包括以下步骤：

S1、获取用于人脸关键点检测的人脸图像数据集，定义算法目标；同时建立关键点检测的预测模型和上下文网络模型；

S2、对预测关键点和真实关键点进行上下文建模；

S3、对预测关键点和真实关键点进行结构建模；

S4、基于S2、S3的建模结果训练预测模型；

S5、使用S4中所述预测模型检测人脸图像中人脸的关键点位置。

2.如权利要求1所述的一种基于上下文和结构建模的人脸关键点检测方法，其特征在于，所述步骤S1中，用于人脸关键点检测的人脸图像数据集，包括人脸图像Ι_train，人工标注的真实关键点定义算法目标为预测人脸图像的关键点

3.如权利要求1所述的一种基于上下文和结构建模的人脸关键点检测方法，其特征在于，所述步骤S1中，建立关键点检测的预测模型和上下文网络模型的过程如下：建立两个深度卷积神经网络，即预测网络和上下文网络，其中预测网络是目标网络，其输入为人脸图像Ι_train，输出为预测关键点而上下文网络则用以提取关键点上下文信息，其输入为人脸图像Ι_train和预测关键点真实关键点

4.如权利要求1所述的一种基于上下文和结构建模的人脸关键点检测方法，其特征在于，所述步骤S2中，对预测关键点和真实关键点进行上下文建模，具体包括以下子步骤：

S21、对人脸图像Ι_train进行零均值化后，随机进行变换操作，所述变换操作包括放缩、旋转、平移、添加高斯噪声或对比度变换，再从变换后的图像中裁剪出预设大小的图像块作为算法输入，对作相同的变换和裁剪得到

S22、将S21中得到的图像块输入到预测网络中，输出得到预测关键点即：

其中f()为预测网络，θ₁为预测网络的参数；

S23、对于中每一个预测关键点从输入图像中获取一个以该关键点为中心，宽为长为的图像区域对于中对应的真实关键点(x_i,y_i)，采用同样的方式获取一个图像区域

S24、将S21中得到的图像块输入到上下文网络中，并分别提取图像区域和p_i的上下文和上下文通过一个两步方法获得，即首先将图像区域和p_i映射到上下文网络第l层上的目标位置和其中第l层的特征图用φ^l表示；然后在φ^l上分别以和位置为中心获取一个3×3的特征表达，分别得到和

S25、量化S24中得到的上下文和之间的差异即

其中和通过以下方法进行计算：

其中表示上下文网络第l层位置上的值,T_S表示上下文网络第l层的总步长；

S26、计算所有N个预测关键点和其对应的真实关键点上下文差异的平均值，用以表示上下文损失Φ_CL：

5.如权利要求4所述的基于上下文和结构建模的人脸关键点检测方法，其特征在于，步骤S3中，对预测关键点和真实关键点进行结构建模，具体包括：

S31、对于真实关键点构建一个人脸层次树T＝(V,E)，其中V是所有层次上的人脸区域的集合，而E则表示父子区域之间的几何连接的集合；

对于每一个人脸区域v_i∈V，其几何位置定义如下：

其中当v_m为叶节点时，s_m＝(x_m,y_m)，表示v_m中唯一一个关键点的几何位置，child(v_m)为v_m的子节点集合，|child(v_m)|为v_m的子节点集合中的元素个数；

S32、对于每一个节点v_i和其父节点v_j之间的几何连接e_i,j∈E，其计算公式如下：

e_i,j＝θ₀δx_i,j+θ₁δ²x_i,j+θ₂δy_i,j+θ₃δ²y_i,j；

(x_i,y_i)＝P(v_i)；

(x_j,y_j)＝P(v_j)；

δx_i,j＝x_i-x_j；

δy_i,j＝y_i-y_j；

其中δx_i,j表示节点v_i和其父节点v_j在轴上的偏移，δy_i,j表示节点v_i和其父节点v_j在轴上的偏移；θ₀,θ₁,θ₂,θ₃为4个超参数；

S33、对于预测关键点利用相同的方法构建一个人脸层次树

S34、计算人脸层次树T和之间的结构损失Φ_SL：

6.如权利要求5所述的基于上下文和结构建模的人脸关键点检测方法，其特征在于，步骤S4中，训练预测模型具体包括以下子步骤：

S41、计算预测网络的损失函数，其计算公式如下：

L＝Φ_EL+αΦ_CL+βΦ_SL

其中Φ_EL表示欧式距离损失函数，α和β表示平衡因子；

S42、使用SGD优化方法和反向传播算法在损失函数L下训练预测网络，训练过程中，上下文网络保持不变。

7.如权利要求1中所述的基于上下文和结构建模的人脸关键点检测方法，其特征在于，所述步骤S5中，检测人脸图像中人脸的关键点位置包括将人脸图像Ι直接输入到S4训练的预测网络，其输出即为预测的人脸关键点。