CN114419716B - 一种人脸图像面部关键点标定的校准方法 - Google Patents

Abstract

本发明提供针对连续人脸图像的一种面部关键点标定的校准方法，包括：以通过DAN网络获得的第一张人脸图像的各关键点作为备选关键点，对后一帧的人脸图像的各关键点依次进行校准：获得区域梯度特征向量，计算前后帧区域梯度特征向量的相似性结果α₁；获得区域卷积特征，计算前后帧人脸图像中的区域卷积特征的相似性结果α₂；将相似性结果α₁与相似性结果α₂按比重相加，得到相似性结果β：若大于预设阈值，则备选关键点为后一帧人脸图像校准后的关键点；若小于预设阈值，在预设的关键点搜索区域内搜索，直至获得大于阈值的关键点作为后一帧人脸图像校准后的关键点。本方法提高了人脸关键点的定位精度，抗噪效果，使其能够应用到对人脸关键点精度要求更高的领域中。

Description

一种人脸图像面部关键点标定的校准方法

技术领域

本发明涉及机器视觉技术领域，具体涉及一种人脸图像面部关键点标定 的校准方法。

背景技术

近年来，针对人脸分析的研究越来越多，所谓人脸分析，是指在人脸图 像的基础上，通过计算机视觉相关技术，对人的表情，身份进行识别，人脸 关键点的精确定位是人脸分析任务中重要的基础环节。人脸关键点定位通常 是所有人脸分析任务的预处理工作，后续还需要人脸对齐进行数据标准化。

人脸关键点检测的方法可以分为两类：基于点分布(PDM)模型的检测 方法和基于深度学习的检测方法。

其中，基于点分布模型的检测方法主要包括以下部分：对人脸关键点样 本进行统计分析，对所有关键点的坐标串联得到向量表示，通过最小二乘法 计算得到反映人脸关键点分布规律的模型—点分布模型。ASM与AAM这类 传统算法会形成基于统计的形状模型，可解释性较强，但其形状模型与检测 结果强烈依赖于数据集，泛化性能较差，同时由于其统计是在整体平均的基 础上进行的，导致其在面对一些特殊数据时表现很差。基于深度学习的检测 方法是将整张图片作为网络输入，充分避免了特征的稀疏性，能够学习到更 多的信息；同时，深层次的卷积神经网络能够学习到深层次的语义特征。虽 然深度学习技术的出现使得人脸关键点算法性能得到了一定提升，但是还存 在一些缺点，比如人脸姿态和遮挡，虽然近年来出现了一些处理相关问题的 方法，但是在图片质量较低的实时情境下，当前方法距离实际应用还有一定 距离。

现有技术中，人脸关键点的定位方法主要包括在对包含人脸图像进行分 解变换和对称变换之后利用几何关系得到估算定位。但是，在很多困难场景 下，人脸关键点定位的结果仍然无法令人满意，影响到检测精度的外界因素 很多，包括姿势，遮挡，表情，照明。在无约束的环境下，由于面部特征的 自身或环境引起的变化，使得人脸关键点定位这项任务难度较大。传统的人 脸关键点在处理一些精度要求不太高的任务如人脸识别时能取得较好结果， 但面对人脸微表情识别，人脸姿态识别等精度要求较高的任务时误差较大。

为了解决这些问题，本发明提出了一种新的人脸图像面部关键点标定的 校准方法。

发明内容

为解决上述问题，本发明提供一种人脸图像面部关键点标定的校准方法。

本发明提供了如下的技术方案。

一种人脸图像面部关键点标定的校准方法，包括以下步骤：

以通过训练后的DAN网络获取的第一张人脸图像各关键点的坐标为基 准，对后一帧的人脸图像的各关键点依次进行校准，包括以下步骤：

将前一帧人脸图像中校准好的关键点坐标，作为后一帧的备选关键点的 坐标，分别为中心建立两帧图像的梯度特征向量生成区域；

通过计算梯度特征向量生成区域的梯度大小与梯度方向，获得区域梯度 特征向量，计算前后两帧人脸图像的区域梯度特征向量的相似性结果α₁；

分别以关键点为中心建立两帧图像的卷积特征对比区域，对卷积特征对 比区域进行多次卷积，获得区域卷积特征，计算前后两帧人脸图像中的区域 卷积特征的相似性结果α₂；

将相似性结果α₁与相似性结果α₂按比重相加，得到相似性结果β：

若大于预设相似性结果阈值，则备选关键点为后一帧人脸图像校准后的 关键点；若小于预设相似性结果阈值，在预设的关键点搜索区域内搜索，直 至获得大于阈值的关键点作为后一帧人脸图像校准后的关键点。

优选地，还包括：若搜索完整片搜索区域后仍没有高于预设阈值的点， 则将搜索区域内所有的点以与备选关键点的相似度排序，将相似度排第一的 点作为校准后的关键点。

优选地，所述DAN神经网络模型根据标记的人脸关键点坐标数据，之 后利用CNN完成监督学习。

优选地，所述梯度特征向量生成区域的梯度大小与梯度方向的计算，包 括以下步骤：

梯度大小分为横向梯度大小G_x与纵向梯度大小G_y为：

G_x(x,y)＝I₂(x+1,y)-I₂(x,y)

G_y(x,y)＝I₂(x,y+1)-I₂(x,y)

式中，(x,y)为像素点坐标；I₂为图像Gamma校正后的亮度；

梯度的幅值为：

梯度的方向为：

优选地，所述区域梯度特征向量的获取，包括以下步骤：

为梯度特征向量生成区域中心点距离相同的像素分配相同的权重，将像 素的梯度向量与对应的权重相乘得到权重像素梯度向量，将权重像素梯度向 量相加得到区域梯度特征向量。

优选地，所述相似性计算公式采用余弦相似度计算公式。

优选地，所述将相似性结果α₁与相似性结果α₂按比重相加，得到相似性 结果β，公式如下：

β＝w₁α₁+w₂α₂,w₁+w₂＝1

其中，将β设定阈值为0.95。

优选地，所述在预设的关键点搜索区域内搜索，包括以下步骤：

以备选关键点为中心，建立15*15的关键点搜索区域；以备选关键点为 原点开始搜索，先横向搜索，后纵向搜索，直到出现高于阈值的点，即为后 一帧人脸图像的关键点。

本发明的有益效果：

本发明提出一种人脸图像面部关键点标定的校准方法，该方法提高了人 脸关键点的抗噪效果，消除了关键点的抖动，提高了关键点定位的精度，能 够完成微表情分类任务。

附图说明

图1是本发明实施例的方法流程图；

图2是本发明实施例的人脸关键点定位示意图；

图3是本发明实施例的HOG特征提取流程图

图4(a)是本发明实施例的未经过Gamma处理的被试人脸图；

图4(b)是本发明实施例的经过处理的被试人脸图；

图5是本发明实施例的关键点附近区域梯度向量生成及对比过程示意图；

图6是本发明实施例的局部卷积操作及结果对比图；

图7(a)是本发明实施例的连续帧人脸图像；

图7(b)是本发明实施例的连续人脸图像中未经校准的人脸关键点定位示 意图；

图7(c)是本发明实施例的连续人脸图像中经校准的人脸关键点定位示意 图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及 实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施 例仅用以解释本发明，并不用于限定本发明。

实施例1

本发明的一种人脸图像面部关键点标定的校准方法，如图1所示，

S1：使用DAN神经网络进行人脸序列的第一张图像关键点定位：

采用的数据集为300W，300W数据集是一个比较通用的人脸对齐数据 集，该数据集约有4000个被试者的图像。每个被试者包含多张人脸，但是 每批图像只有一张人脸图像被标注了68个关键点。

DAN是一种类似级联的神经网络，但是与其他的级联模型不同，其输 入是整张人脸图，DAN可以有效地克服头部姿态带来的问题，达到较好的 检测效果。DAN需要根据标记的人脸关键点坐标数据，利用CNN完成监督 学习。DAN为多层级网络，第一层的输入为人脸关键点的标椎模板和原始 图片，将输入送入前馈神经网络，前馈神经网络由十个卷积层，五个池化层， 一个全连接层构成。每两个卷积层后接一个池化层，激活函数选用ReLU函数，输出为人脸关键点各位置的偏差值。第二层为姿势估计网络，该层网络 主要计算图中人脸的姿态方向，同时根据标准人脸关键点模型进行仿射变换， 将图像中的人脸提出并且摆正。第三层为关键点热图生成。关键点热图是图 像中每一个关键点附近区域(选取区域为25*25)的概率图，该图像素值大 小范围为0到1，位置距关键点越远，像素值越小。热力图这种基于位置的 分布规律用高斯分布来模拟。在经过训练后，得到的模型可以预测人脸图像 的关键点。如图2所示。

S2：以通过DAN网络获取的第一张人脸图像各关键点的坐标为基准， 对连续帧的人脸图像的各关键点依次进行校准，包括以下步骤：

S2.1：将连续帧的人脸图像进行灰度化，并进行Gamma校正.

图像灰度化将彩色图像转化为灰度图像，图像灰度化后的数据占用的内 存更小，运算速度更快，同时转化为灰度图像后可以增强视觉上的对比效果， 突出人脸关键点附近的区域。灰度化的公式如下：

I₀＝0.3I_r+0.59I_g+0.11I_b

该公式中的系数来自于人眼对于红色，绿色，蓝色的敏感程度。使用 opencv中的相关函数即可快速实现。Gamma校正的目的是为了调节图像的 对比度，降低图像局部的阴影和光照变化所造成的影响，同时也可以抑制噪 音的干扰。进行Gamma操作首先需要将图像像素进行归一化，归一化公式 如下：

I₁＝I₀/255

对归一化后的像素进行Gamma补偿，Gamma补偿的公式如下：

I₂＝I₁ ^gamma

进行反归一化操作，便得到了处理后的图像，如图4所示，图4(a)为未 经过Gamma处理的被试人脸图，图4(b)为经过处理的被试人脸图。

S2.2：进行HOG特征提取，过程如图3所示，将前一帧人脸图像中校 准好的关键点坐标，作为后一帧的备选关键点的坐标，分别建立两帧图像的 梯度特征向量生成区域。

S2.3：通过计算梯度特征向量生成区域的梯度大小与梯度方向，获得区 域梯度特征向量，计算前后两帧人脸图像的区域梯度特征向量的相似性结果 α₁.具体包括：

梯度大小分为横向梯度大小G_x与纵向梯度大小G_y为：

G_x(x,y)＝I₂(x+1,y)-I₂(x,y)

G_y(x,y)＝I₂(x,y+1)-I₂(x,y)

式中，(x,y)为像素点坐标；

梯度的幅值为：

梯度的方向为：

以每个关键点为中心，建立大小为5*5的梯度特征向量生成区域，每个 关键点都会根据其对应的梯度特征向量生成区域梯度特征向量：为梯度特征 向量生成区域距离中心点相同的像素分配相同的权重，将像素的梯度向量与 对应的权重相乘得到权重像素梯度向量，将权重像素梯度向量相加得到区域 梯度特征向量。

相似性计算公式采用余弦相似度计算公式：

得到梯度特征向量对比值α₁。关键点附近区域梯度向量生成及对比过程 示意图，如图5所示。

S2.4：分别以关键点为中心建立两帧图像的卷积特征对比区域，对卷积 特征对比区域进行多次卷积，获得区域卷积特征，计算前后帧人脸图像中的 区域卷积特征的相似性结果α₂：以每个关键点为中心，建立大小为7*7的卷 积特征对比区域。在卷积对比区域进行三次卷积，卷积核大小均为3*3。局 部卷积操作及结果对比图如图6所示。

S2.5：将相似性结果α₁与相似性结果α₂按比重相加，得到相似性结果β： 具体公式如下：

β＝w₁α₁+w₂α₂,w₁+w₂＝1

将β设定阈值为0.95。下面具体说明一下关键点对比过程：

S2.6：关键点对比过程：

记第一张人脸图片某关键点的坐标(x₁,y₁)，在第二张人脸图片以(x₁,y₁)为 中心计算梯度特征向量相似度，卷积特征相似度以及最终的相似性结果β₀。 若β₀大于0.95，则可以认为第二张人脸图像的(x₁,y₁)附近的特征与第一张人 脸图像的(x₁,y₁)附近的特征相似度足够高，即第一张人脸图像的(x₁,y₁)与第二 张人脸图像的(x₁,y₁)是同一个点，(x₁,y₁)也是第二张人脸图像的关键点。若对 比结果低于该阈值，以(x₁,y₁)为中心，建立15*15的关键点搜索区域。以(x₁,y₁) 为原点开始搜索，先横向搜索，后纵向搜索，直到出现高于阈值的点(x₂,y₂)，

(x₂,y₂)即为第二张人脸图像的关键点。若搜索完整个搜索区域后仍没有 高于阈值的点，则将搜索区域内所有的点以与(x₁,y₁)的相似度排序，将相似 度排第一的点(x_n,y_n)作为关键点。对所有关键点重复上述过程，即可得到校 正后的关键点。具体效果，如图7所示，图7(a)为连续人脸图像，图7(b)连 续人脸图像中未经校准的人脸关键点，图7(c)为连续图像中经过校准的人脸 关键点。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明 的保护范围之内。

Claims (8)

1.一种人脸图像面部关键点标定的校准方法，其特征在于，包括：

以通过训练后的DAN网络获取的第一张人脸图像各关键点的坐标为基准，对后一帧的人脸图像的各关键点依次进行校准，包括以下步骤：

将连续帧的人脸图像进行灰度化处理，并进行Gamma校正；

将前一帧人脸图像中校准好的关键点坐标，作为后一帧的备选关键点的坐标，分别以其为中心建立两帧图像的梯度特征向量生成区域；

通过计算梯度特征向量生成区域的梯度大小与梯度方向，获得区域梯度特征向量，计算前后两帧人脸图像的区域梯度特征向量的相似性结果α₁；

分别以备选关键点为中心建立前后两帧图像的卷积特征对比区域，对卷积特征对比区域进行多次卷积，获得区域卷积特征，计算前后两帧人脸图像中的区域卷积特征的相似性结果α₂；

将相似性结果α₁与相似性结果α₂按比重相加，得到相似性结果β：

若大于预设相似性结果阈值，则备选关键点为后一帧人脸图像校准后的关键点；若小于预设相似性结果阈值，在预设的关键点搜索区域内搜索，直至获得大于阈值的关键点作为后一帧人脸图像校准后的关键点。

2.根据权利要求1所述的人脸图像面部关键点标定的校准方法，其特征在于，还包括：若搜索完整片搜索区域后仍没有高于预设阈值的点，则将搜索区域内的所有点以与备选关键点进行相似度排序，将相似度排第一的点作为校准后的关键点。

3.根据权利要求1所述的人脸图像面部关键点标定的校准方法，其特征在于，所述DAN神经网络根据标记的人脸关键点坐标数据，之后利用CNN完成监督学习。

4.根据权利要求1所述的人脸图像面部关键点标定的校准方法，其特征在于，所述梯度特征向量生成区域的梯度大小与梯度方向的计算，包括以下步骤：

梯度大小分为横向梯度大小G_x与纵向梯度大小G_y为：

G_x(x,y)＝I₂(x+1,y)-I₂(x,y)

G_y(x,y)＝I₂(x,y+1)-I₂(x,y)

式中，(x,y)为像素点坐标；I₂为图像Gamma校正后的亮度；

梯度的幅值为：

梯度的方向为：

5.根据权利要求4所述的人脸图像面部关键点标定的校准方法，其特征在于，所述区域梯度特征向量的获取，包括以下步骤：

为梯度特征向量生成区域中心点距离相同的像素分配相同的权重，将像素的梯度向量与对应的权重相乘得到权重像素梯度向量，将权重像素梯度向量相加得到区域梯度特征向量。

6.根据权利要求1所述的人脸图像面部关键点标定的校准方法，其特征在于，所述相似性计算公式采用余弦相似度计算公式。

7.根据权利要求1所述的人脸图像面部关键点标定的校准方法，其特征在于，所述将相似性结果α₁与相似性结果α₂按比重相加，得到相似性结果β，公式如下：

β＝w₁α₁+w₂α₂,w₁+w₂＝1

其中，将β设定阈值为0.95。

8.根据权利要求1所述的人脸图像面部关键点标定的校准方法，其特征在于，所述在预设的关键点搜索区域内搜索，包括以下步骤：

以备选关键点为中心，建立15*15的关键点搜索区域；以备选关键点为原点开始搜索，先横向搜索，后纵向搜索，直到出现高于阈值的点，即为后一帧人脸图像的关键点。