CN105787448A - 基于时空级联形状回归的人脸形状跟踪方法 - Google Patents

Abstract

本发明公开了基于时空级联形状回归的人脸形状跟踪方法，该方法首先通过结合检测和配准的人脸检测器对视频第一帧进行检测初始化整个系统，得到五个人脸特征点；随后评估这五个特征点得到相似变换参数(旋转、偏移和尺度)以及人脸姿态(左侧脸、右侧脸和正脸)；最后采用多视角级联形状回归预测当前帧的人脸形状，当配准结果置信度大于设定的阈值时，时间序列回归就会着手人脸形状的跟踪；当配准结果置信度小于设定的阈值时，重初始化机制就会启动使人脸形状跟踪稳定进行下去。通过多视角(左侧脸、右侧脸和正脸)级联回归，收敛速度更快精度更高。通过时间序列回归以及重初始化的机制使人脸形状跟踪更加快速和准确。

Description

基于时空级联形状回归的人脸形状跟踪方法

技术领域

本发明涉及基于时空级联形状回归的人脸形状跟踪方法，属于计算机视觉技术和多媒体技术领域。

背景技术

视频中的配准是进行视频分析的基础，对视频中的人脸精确配准后可以进行人脸表情分析、人脸识别、人脸姿态估计，行为个体识别等。目前，基于静态图像的人脸配准已经取得不错的成果，速度和精度上面都有较大的提升，但是当把已有的算法直接应用到视频中仍然面临许多挑战，主要来自于视频序列中人脸表情、光照、遮挡、姿态的变化。相比单幅图像的人脸配准，视频中的人脸配准需要充分考虑相邻两帧之间的关系，上一帧的人脸如果配准的偏差较大，就会对下一帧人脸的配准造成错误的影响，误差会累积，最后导致视频中人脸配准的失败。因此如何传递上一帧的配准信息给下一帧作用重大。除此之外，视频中的人脸特征点定位需要速度快(过慢的算法将使得视频中的人脸配准失去意义)、精度高，可移植性高。考虑到许多人脸分析的应用都将移植到移动设备中，模型的压缩也至关重要。

根据外观模型的建立方式，人脸配准可以分为生成式方法和区分性方法。

生成式方法迭代地优化形状参数，目的是使得人脸形变模型能够完美低重构输入的图像。主动形状模型和主动外观模型是典型的生成式方法。在主动形状模型中，在配准好的训练样本上进行主成分分析学习得到全局形状模型，全局的外观模型通过区分性模板的学习获得。在主动外观模型中，外观模型的建立采用的方式和主动形状模型一样，区别在于形状模型是在普式分析后的人脸图像上应用主成分分析建模得到的。

区分性的方法尝试通过从纹理特征到形状的非线性映射来推理人脸的形状。P.Doll′ar等人在ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition2012上的文章Cascadedposeregression中提出用级联回归的方式从和姿态相关的特征映射到姿态的估计，取得了较好的实验结果；曹旭东等人在ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition2012上的文章Facealignmentbyexplicitshaperegression中将两层的回归、和形状相关的特征、基于特征和形状相关性的特征选取进行融合，使得回归在性能和效率上都得到提升；Xiong等人在ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition2013上的文章Superviseddescentmethodanditsapplicationstofacealignment中通过在特征点周围提取SIFT特征，然后通过最小二乘回归学习回归矩阵，将特征映射到人脸特征点，为了提高回归矩阵的学习效率，在工作上对特征和形状进行分组，来提高学习到回归模型的鲁棒性。任少卿等人用随机森林对形状相关的特征进行二值编码，接着用对偶坐标下降进行稀疏的二值特征到形状的回归，在台式机上的速度达到3000帧每秒。

以上是在静态人脸图像上进行人脸配准取得的研究成果，在进行视频中人脸配准时，需要解决两个问题，一是当前帧人脸的配准，二是如何处理和利用好相邻两帧的时空关系。典型的处理相邻两帧人脸关系的方式是多姿态人脸跟踪。S.Romdhani等人在BMVC1999第10卷上的文章Amulti-viewnonlinearactiveshapemodelusingkernelpca中提出基于支持向量机的非线性主成分分析模型用作非线性模型的转换，以此进行人脸形状的跟踪。

发明内容

本发明所要解决的技术问题是：提供一种基于时空级联形状回归的人脸形状跟踪方法，计算复杂度低，占用空间小，跟踪准确率高。

本发明为解决上述技术问题采用以下技术方案：

基于时空级联形状回归的人脸形状跟踪方法，包括以下步骤：

步骤1，获取人脸的训练样本和测试样本，对训练样本和测试样本做标准化处理，根据以下三个角度范围：-15°-15°、-30°-0°、0°-30°，将训练样本划分为正脸、右侧脸、左侧脸三个训练集，分别标注三个训练集训练样本的关键点，并计算训练样本的平均脸；

步骤2，利用多视角级联形状回归模型分别对三个训练集里的训练样本做人脸配准，得到训练好的多视角级联形状回归模型；

步骤3，对测试跟踪视频的第一帧进行结合人脸检测和人脸配准的人脸检测，得到测试样本人脸关键点的初始位置调整平均脸即当前帧的初始形状；

步骤4，对步骤3得到的人脸关键点位置进行评估得到人脸的姿态和相似变换参数，将该人脸送到相应人脸姿态的级联形状回归模型完成人脸的精确配准同时得到该人脸配准的拟合分数；

步骤5，时间序列回归及重初始化机制，对步骤4得到的拟合分数进行判断，如果大于设定的阈值，用当前帧的人脸形状相似变换参数调整平均形状并将调整后的平均形状作为下一帧的初始形状，重复步骤4直至视频最后一帧，如果小于设定的阈值，重初始化机制启动，对当前帧重新进行人脸检测和配准避免人脸跟踪时的误收敛。

优选的，步骤2所述回归方法为多视角级联形状回归。

优选的，步骤3所述关键点的个数为5个。

优选的，步骤3所述人脸检测器为结合人脸检测和人脸配准的检测器。

优选的，步骤4所述人脸精确配准的过程为：多视角级联形状回归，得到配准结果和拟合分数。

优选的，步骤5所述预设阈值为0.7。

优选的，步骤5所述时间序列回归过程为：用当前帧的人脸形状相似变换参数调整平均形状，并将调整后的平均形状作为下一帧的初始形状。

优选的，步骤5所述重初始化机制为：若人脸配准拟合分数低于预设阈值，人脸检测器对当前帧进行人脸重检测，如果没有检测到人脸，启动自适应压缩跟踪器，通过建立在人脸外观上的外观模型定位当前的人脸。

有益效果

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明基于时空级联形状回归的人脸形状跟踪方法，将人脸姿态分为正脸、右侧脸、左侧脸分别建立回归模型再建立多视角级联形状回归模型，降低了训练时训练集内部的差异加速训练过程提高了配准精度。

2、本发明基于时空级联形状回归的人脸形状跟踪方法，将视频中连续帧联系起来建立时间序列回归，前一帧调整后的平均形状作为当前帧的初始形状，平滑了噪声，节省大量时间提高跟踪效率。

3、本发明基于时空级联形状回归的人脸形状跟踪方法，建立了重初始化机制，若人脸配准拟合分数低于预设阈值，人脸检测器对当前帧进行人脸重检测，如果没有检测到人脸，启动自适应压缩跟踪器，通过建立在人脸外观上的外观模型定位当前的人脸，提高了人脸跟踪的准确率。

附图说明

图1是本发明基于时空级联形状回归的人脸形状跟踪方法的整体流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图1中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为本发明基于时空级联形状回归的人脸形状跟踪方法的整体流程图，包括以下步骤：

步骤1、人脸检测

结合检测和配准的人脸检测器对视频第一帧进行人脸检测，得到五个特征点。

步骤2、人脸姿态估计

通过对步骤1得到的五个特征点(分别是左眼中央，右眼中央，鼻尖，嘴角左侧，嘴角右侧)进行特定的计算估计出当前人脸姿态，具体方法如下式：

$\arg \underset{R}{\min }\underset{i=1}{\overset{N}{\Σ}}\left|\right|V_i-{\mathrm{RP}}_i|{|}_2^2$

其中V_i表示人脸姿态。是五个人脸特征点的位置。R是回归矩阵，它可以通过最小二乘法来求解。我们把人脸姿态分为正脸(-15°－15°)、左侧脸(-30°－0°)、右侧脸(0°－30°)三类，这覆盖了300-W训练集中的所有人脸姿态。其中正脸和侧脸之间的重叠部分可以使得姿态评估更加稳定。

步骤3、基于多视角级联形状回归的人脸形状预测

级联形状回归的主要思想是将一系列的回归通过附加方式进行结合从而近似一个针对初始形状和真实形状之间的复杂非线性映射。特别的，给定一个包含N张图片的集合和与之相对应的真值集合建立线性级联形状回归模型如下：

$\arg \underset{W^t}{\min }\underset{i=1}{\overset{N}{\Σ}}\underset{j}{\Σ}\left|\right|(X_i^{*}-X_{tj}^{t-1})-W^t\mathrm{\φ}(I_i,X_{tj}^{t-1})|{|}^2$

其中W^t是线性回归矩阵，它是形状索引特征和更新形状之间的映射。是图片I_i的中间形状，t＝1,...是迭代次数，φ是形状索引特征描述子，j表示扰动。通常，一张图片的训练数据会随着采用多重初始化而扩大，这是一种对于提高训练的迭代能力十分有效的方法。受到子空间回归的启发，我们依据相似梯度下降方向将搜索空间分为不同区域，进而达到了更好更高效的收敛。我们通过将训练数据分成三个姿态(分别是右，正面，左)来降低形状的变化，然后特定姿态的模型使用特定的训练集来进行训练。

步骤4、多视角级联回归形状预测结果评估

将当前帧的人脸形状预测拟合分数与预设阈值进行比较，根据比较结果进行相应操作。

步骤5、基于时间序列回归的姿态跟踪

若当前帧人脸形状预测拟合分数大于预设阈值，将当前帧的形状相似变换参数传递到下一帧，使用当前帧的人脸刚性变化参数调整平均形状，并将调整后的平均形状作为下一帧的初始形状，使连续帧之间建立链接。

步骤6、基于重初始化机制的人脸重检测

若当前帧人脸形状预测拟合分数小于预设阈值，重初始化机制启动，对当前帧进行人脸重检测，如果没有在画面中检测到人脸，启动自适应压缩跟踪器，通过建立在人脸外观上的外观模型定位当前人脸的位置，再将当前人脸位置重新进行多视角级联形状回归得到预测人脸形状。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.基于时空级联形状回归的人脸形状跟踪方法，其特征在于：包括以下步骤：

步骤1，获取人脸的训练样本和测试样本，对训练样本和测试样本做标准化处理，根据以下三个角度范围：-15°-15°、-30°-0°、0°-30°，将训练样本划分为正脸、右侧脸；左侧脸三个训练集，分别标注三个训练集训练样本的关键点，并计算训练样本的平均脸；

步骤2，利用多视角级联形状回归模型分别对三个训练集里的训练样本做人脸配准，得到训练好的多视角级联形状回归模型；

步骤3，对测试跟踪视频的第一帧进行结合人脸检测和人脸配准的人脸检测，得到测试样本人脸关键点的初始位置即当前帧的初始形状；

步骤4，对步骤3得到的人脸关键点位置进行评估得到人脸的姿态和相似变换参数，将该人脸送到相应人脸姿态的级联形状回归模型完成人脸的精确配准同时得到该人脸配准的拟合分数；

步骤5，时间序列回归及重初始化机制，对步骤4得到的拟合分数进行判断，如果大于设定的阈值，用当前帧的人脸形状相似变换参数调整平均形状并将调整后的平均形状作为下一帧的初始形状，重复步骤4直至视频最后一帧，如果小于设定的阈值，重初始化机制启动，对当前帧重新进行人脸检测和配准避免人脸跟踪时的误收敛优选的。

2.如权利要求1所述基于时空级联形状回归的人脸形状跟踪方法，其特征在于：步骤2所述回归方法为多视角级联形状回归。

3.如权利要求1所述基于时空级联形状回归的人脸形状跟踪方法，其特征在于：步骤3所述关键点的个数为5个。

4.如权利要求1所述基于时空级联形状回归的人脸形状跟踪方法，其特征在于：步骤3所述人脸检测器为结合人脸检测和人脸配准的检测器。

5.如权利要求1所述基于时空级联形状回归的人脸形状跟踪方法，其特征在于，步骤4所述人脸精确配准的过程为：多视角级联形状回归，得到配准结果和拟合分数。

6.如权利要求1所述基于时空级联形状回归的人脸形状跟踪方法，其特征在于，步骤5所述预设阈值为0.7。

7.如权利要求1所述基于时空级联形状回归的人脸形状跟踪方法，其特征在于，步骤5所述时间序列回归过程为：用当前帧的人脸形状相似变换参数调整平均形状，并将调整后的平均形状作为下一帧的初始形状。

8.如权利要求1所述基于时空级联形状回归的人脸形状跟踪方法，其特征在于，步骤5所述重初始化机制为：若人脸配准拟合分数低于预设阈值，人脸检测器对当前帧进行人脸重检测，如果没有检测到人脸，启动自适应压缩跟踪器，通过建立在人脸外观上的外观模型定位当前的人脸。