CN109598196A - 一种多形变多姿态人脸序列的特征点定位方法 - Google Patents

Abstract

本发明公开了一种多形变多姿态人脸序列的特征点定位方法，包括：对待处理视频进行人脸检测得到待处理视频中每帧图像的人脸位置信息；对于待处理视频的第一帧图像，利用人脸位置信息对人脸进行特征点定位，利用关键特征点初始化大位移光流跟踪器；对于从第二帧图像开始的每一帧图像，进行大位移光流跟踪，得到初始化大位移光流跟踪器的关键特征点在当前帧图像中的对应位置；使用跟踪到的关键特征点在当前帧图像中的对应位置进行姿态估计，建立当前帧图像的初始形状；利用当前帧图像的初始形状对当前帧图像的每个特征点进行精确定位。本发明利用特征点的跟踪位置进行初始形状建模，使得初始形状能够更好地表征当前状态下的人脸，定位效果更加准确。

Description

一种多形变多姿态人脸序列的特征点定位方法

技术领域

本发明属于计算机视觉与图像处理技术领域，更具体地，涉及一种多形变多姿态人脸序列的特征点定位方法。

背景技术

随着生物鉴别、人工智能、新一代人机交互等技术的迅猛发展，与人脸相关的图像处理技术如人脸识别、人脸动画、人脸表情分析、三维人脸建模等更是引起了众多科研机构和大量研究人员的关注。而且，人脸与其他人体生物特征相比，具有直接、友好、方便的特点，因此，有关人脸的分析技术已经成为近年来的研究热点。而这些技术的一个首要前提就是要快速有效的从图像或者视频序列中获取人脸特征点信息，即实现人脸特征点定位。

虽然人类可以从人脸图像中很轻松地分辨出面部特征点的准确位置，但对计算机来讲并不容易。因为人脸是非刚性的，人脸的大小、位置、姿态、表情变化、年龄变化、遮挡物的干扰、毛发和佩戴物、光线的变化等都会严重影响到正确地对人脸特征点进行定位。而且，目前人脸特征点定位技术相对还比较薄弱，比如在人脸识别领域中，做人脸检测的研究人员仅仅给出人脸的大概位置，并不考虑人脸特征点定位的准确度，而大部分做人脸识别算法的研究人员则都是假定人脸特征点的位置是给定的。并且，该研究涉及到图像处理、模式识别、人工智能、计算机视觉、生理学、心理学等多个交叉学科。因此，人脸特征点定位技术至今仍然是一项非常重要又极具挑战性的课题，其中所采用的特征点定位算法的精确度和定位的鲁棒性是当前研究的一个热点。

所谓人脸特征点定位，就是通过计算机在人脸图像中自动地定位出人脸各个器官的准确位置，为人脸图像的处理与分析提供重要的几何信息，其准确性直接影响到后续应用的性能，这些应用主要有以下几个方面：

1)为人脸识别提供重要的几何特征等基础信息。

2)利用人脸面部特征定位的结果进行人脸姿态表情分析。

3)实现人脸图像的自动跟踪。

4)用于人脸图像编码。

5)进行人脸合成、三维人脸建模以及人脸动画的研究。

近年来由于视频比静态图像能够提供更加丰富的信息，因此，在人脸识别、表情分析、三维人脸建模等领域逐渐把视频人脸序列作为研究的主流，其中一个必须解决的问题就是在人脸视频序列中定位和跟踪人脸特征点。尽管前人对该问题已经做了深入的研究，但到目前为止，现有的人脸特征点定位技术还是有很多苛刻的条件限制，比如要求均匀光照、正面中性表情人脸、无遮挡物等。即便如此，该技术也未达到实用的程度。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种多形变多姿态人脸序列的特征点定位方法，由此解决现有的人脸特征点定位方法在存在条件限制、定位不准确的技术问题。

为实现上述目的，本发明提供了一种多形变多姿态人脸序列的特征点定位方法，包括：

(1)对待处理视频进行人脸检测，得到待处理视频中每帧图像的人脸位置信息；

(2)对于待处理视频的第一帧图像，利用第一帧图像的人脸位置信息对人脸进行特征点定位，从定位到的特征点中选取关键特征点，利用关键特征点初始化大位移光流跟踪器；

(3)对于待处理视频中从第二帧图像开始的每一帧图像，利用大位移光流跟踪器进行大位移光流跟踪，得到初始化大位移光流跟踪器的关键特征点在当前帧图像中的对应位置；

(4)使用步骤(3)跟踪到的关键特征点在当前帧图像中的对应位置进行姿态估计，建立当前帧图像的初始形状；

(5)利用当前帧图像的初始形状对当前帧图像的每个特征点进行精确定位；

所述关键特征点为左右眼球、鼻尖、两个嘴角点和上下嘴唇的中心以及下巴的中心一共八个点。

进一步地，步骤(1)中的人脸检测包括：

(1-1)对待处理视频中的每一帧图像按照人脸左右方向和上下方向的运动划分为多个视图；

(1-2)构建以特征为中心的级联和以窗口为中心的级联，对于待处理视频中的每一帧图像，首先计算多个视图的特征值图像，然后在每个视图的特征值图像上和每一帧图像上分别运行以特征为中心的级联和以窗口为中心的级联，得到待处理视频中每帧图像的人脸位置信息。

进一步地，步骤(2)中的特征点定位的具体实现方式为：由已训练的面部特征点的全局形状模型和局部纹理模型对第一帧图像中的人脸进行特征点定位。

进一步地，全局形状模型和局部纹理模型的训练包括：

获取N个训练样本图像中各样本图像的形状向量，其中，形状向量代表训练样本图像中的特征点的横纵坐标；

分别最小化N个形状向量到平均形状向量的距离和，以对各形状向量进行对齐；

对对齐后的各形状向量进行主成分分析找出形状变化的统计信息，并利用主成分分析建立全局形状模型；

对于每一个特征点，沿着垂直于该特征点前后两个特征点连线的方向上分别选择若干个像素构成目标向量，根据该目标向量采用像素值差分的方式建立各特征点的局部纹理模型。

进一步地，步骤(3)包括：

(3-1)对于从第二帧图像开始的每一帧图像，通过大位移光流模型计算密集光流场；

(3-2)通过密集光流场计算关键特征点在当前帧图像中的对应位置：

(x_t+1，y_t+1)^T＝(x_t，y_t)^T+(u_t(x_t，y_t)，v_t(x_t，y_t))^T

其中，(x_t，y_t)表示第t帧图像中关键特征点的坐标，(x_t+1，y_t+1)表示第t+1帧图像中对应点的坐标，u_t(x_t，y_t)表示(x_t，y_t)在x方向的偏移量，v_t(x_t，y_t)表示(x_t，y_t)在y方向的偏移量。

进一步地，步骤(4)包括：

使用步骤(3)跟踪到的关键特征点在当前帧图像中的对应位置估计人脸姿态和左右太阳穴的位置；

根据左右太阳穴和下巴的中心以及人脸姿态来拟合整个人脸轮廓，对左右脸分别拟合两个四分之一椭圆，椭圆的具体参数如下：

以下巴的中心到左右太阳穴连线的垂线的垂足为椭圆的中心，下巴的中心到椭圆的中心为长半轴，左右太阳穴到椭圆的中心分别为两个椭圆的短半轴，椭圆的角度取决于人脸姿态；

对于嘴唇的形状，以下嘴唇的中心到左右嘴角连线的垂线的垂足为椭圆的中心，左右嘴角到椭圆的中心分别为椭圆的长半轴，上下嘴唇的中心到椭圆的中心分别为椭圆的短半轴，椭圆的角度与人脸轮廓拟合时角度相同，由此建立四个四分之一椭圆即可确定嘴唇的形状，初始形状X_start建立完成。

进一步地，人脸姿态的估计包括：

使用当前帧图像中的左右眼球和鼻尖三个点建立三角形ABC，A为左眼球，B为右眼球，C为鼻尖，过鼻尖到左右眼球连线的垂线为CP，P为垂足，l₁为点P到点A的距离，l₂为点P到点B的距离，当l₁和l₂相等，人脸姿态为正脸，当l₁＞l₂时，人脸姿态为脸部向左偏转，当l₁＜l₂时，人脸姿态为脸部向右偏转；

左右眼球连线相对于水平线的旋转角度为θ，当θ＝0时，人脸姿态为正脸，当θ＞0时，人脸姿态为脸部向右旋转，当θ＜0时，人脸姿态为脸部向左旋转；

当左右眼球的距离与鼻尖到左右眼球连线的垂线的距离之比小于正脸时该比值，人脸姿态为脸部下低，当左右眼球的距离与鼻尖到左右眼球连线的垂线的距离之比大于正脸时该比值，人脸姿态为脸部上仰。

进一步地，左右太阳穴的位置估计包括：

其中，左右太阳穴的位置分别为E和F，A为左眼球，B为右眼球，C为鼻尖，过鼻尖到左右眼球连线的垂线为CP，P为垂足，A的坐标为(x_A，y_A)，B的坐标为(x_B，y_B)，P的坐标为(x_P，y_P)，E的坐标为(x_E，y_E)，F的坐标为(x_F，y_F)，k_l和k_r分别为正脸时垂足到左眼球的距离与垂足到左太阳穴的距离的比值和垂足到右眼球的距离与垂足到右太阳穴的距离的比值，当人脸只有左右方向的旋转或上下方向的运动时，α和β都取1，当人脸出现左右方向的偏转时，向右偏转α＜1，β＞1，向左偏转α＞1，β＜1。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明采用大位移光流技术对特征点的运动信息进行建模，使得特征点定位能够充分利用视频帧的时空连续性，这样即使特征点的运动位移较大也能准确的跟踪到。由左右眼球、鼻尖、两个嘴角点和上下嘴唇的中心以及下巴的中心这八个点结合跟踪定位算法，使其对于丰富表情仍然能够准确的定位特征点。

(2)本发明按照人脸运动进行视图划分，利用多个视图进行以特征为中心的级联和以窗口为中心的级联，由于特征为中心的级联可以共享每个视图的特征值图像，因此检测速度有很大提高。

(3)本发明根据左右太阳穴和下巴的中心以及人脸姿态来拟合整个人脸轮廓，对左右脸分别拟合两个四分之一椭圆，由此得到的初始形状能够更好地表征当前状态下的人脸，同时最终定位效果更加准确。

附图说明

图1是本发明实施例提供的一种多形变多姿态人脸序列的特征点定位方法的流程图；

图2(a)是本发明实施例提供的正脸时左右眼球和鼻尖形成的三角形；

图2(b)是本发明实施例提供的脸部向左旋转时左右眼球和鼻尖形成的三角形；

图2(c)是本发明实施例提供的脸部向右旋转时左右眼球和鼻尖形成的三角形；

图2(d)是本发明实施例提供的脸部下低时左右眼球和鼻尖形成的三角形；

图3(a)是本发明实施例提供的正脸时的人脸图像；

图3(b)是本发明实施例提供的正脸时的对左右太阳穴的位置估计；

图4是本发明实施例提供的原始ASM算法对第一帧图像进行特征点定位的结果；

图5是本发明实施例提供的大位移光流跟踪的初始跟踪点以及连续几帧的跟踪结果；

图6(a1)是本发明实施例提供的原始ASM算法对于第一种图像的特征点定位结果；

图6(b1)是本发明实施例提供的原始ASM算法对于第二种图像的特征点定位结果；

图6(c1)是本发明实施例提供的原始ASM算法对于第三种图像的特征点定位结果；

图6(d1)是本发明实施例提供的原始ASM算法对于第四种图像的特征点定位结果；

图6(e1)是本发明实施例提供的原始ASM算法对于第五种图像的特征点定位结果；

图6(f1)是本发明实施例提供的原始ASM算法对于第六种图像的特征点定位结果；

图6(g1)是本发明实施例提供的原始ASM算法对于第七种图像的特征点定位结果；

图6(h1)是本发明实施例提供的原始ASM算法对于第八种图像的特征点定位结果；

图6(j1)是本发明实施例提供的原始ASM算法对于第九种图像的特征点定位结果；

图6(k1)是本发明实施例提供的原始ASM算法对于第十种图像的特征点定位结果；

图6(a2)是本发明实施例提供的本发明方法对于第一种图像的特征点定位结果；

图6(b2)是本发明实施例提供的本发明方法对于第二种图像的特征点定位结果；

图6(c2)是本发明实施例提供的本发明方法对于第三种图像的特征点定位结果；

图6(d2)是本发明实施例提供的本发明方法对于第四种图像的特征点定位结果；

图6(e2)是本发明实施例提供的本发明方法对于第五种图像的特征点定位结果；

图6(f2)是本发明实施例提供的本发明方法对于第六种图像的特征点定位结果；

图6(g2)是本发明实施例提供的本发明方法对于第七种图像的特征点定位结果；

图6(h2)是本发明实施例提供的本发明方法对于第八种图像的特征点定位结果；

图6(j2)是本发明实施例提供的本发明方法对于第九种图像的特征点定位结果；

图6(k2)是本发明实施例提供的本发明方法对于第十种图像的特征点定位结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种多形变多姿态人脸序列的特征点定位方法，包括：

(1)对待处理视频进行人脸检测，得到待处理视频中每帧图像的人脸位置信息；

(2)对于待处理视频的第一帧图像，利用第一帧图像的人脸位置信息对人脸进行特征点定位，从定位到的特征点中选取关键特征点，利用关键特征点初始化大位移光流跟踪器；

(3)对于待处理视频中从第二帧图像开始的每一帧图像，利用大位移光流跟踪器进行大位移光流跟踪，得到初始化大位移光流跟踪器的关键特征点在当前帧图像中的对应位置；

(4)使用步骤(3)跟踪到的关键特征点在当前帧图像中的对应位置进行姿态估计，建立当前帧图像的初始形状；

(5)利用当前帧图像的初始形状对当前帧图像的每个特征点进行精确定位；

所述关键特征点为左右眼球、鼻尖、两个嘴角点和上下嘴唇的中心以及下巴的中心一共八个点。

局部二值特征(LAB)是一种新型的用于人脸检测的特征，在此之前，Haar特征和LBP是人脸检测中的常用特征，且取得了成功，LAB特征就是基于这两种特征。使用LAB特征的人脸检测器主要由两个部分组成，分别为以特征为中心的级联和以窗口为中心的级联，候选窗口首先通过以特征为中心的级联，若被判断为疑似目标对象，再通过以窗口为中心的级联，每个级联中都包含一些子分类器。

在以特征为中心的级联中，首先通过扫描图像每个位置上的LAB特征来计算特征值图像。接着，让“特征中心”分类器运行在该特征值图像上，此时不需要进行特征的计算。当分类器运行到特征值图像的任何一个窗口，该窗口内的所有特征将被用来学习，学习过程采用AdaBoost算法。在以窗口为中心的级联中，需要对整个图像区域采用不同尺度的滑动窗口扫描，在扫描过程中，分类器会对滑动窗口内的区域进行特征提取并判断是否为目标对象。

步骤(1)中的人脸检测包括：

(1-1)对待处理视频中的每一帧图像按照人脸左右方向和上下方向的运动划分为多个视图；具体地，为了对不同视图进行人脸检测，首先需要将人脸划分为五个视图，包括正脸、45°左侧脸、90°左侧脸、45°右侧脸、90°右侧脸，在每一个类别中，又可以将人脸按照上下方向的运动划分为三类，分别为向上30°、向下30°以及0°，这样就构成了人脸的15个视图。

(1-2)构建以特征为中心的级联和以窗口为中心的级联，对于待处理视频中的每一帧图像，首先计算多个视图的特征值图像，然后在每个视图的特征值图像上和每一帧图像上分别运行以特征为中心的级联和以窗口为中心的级联，得到待处理视频中每帧图像的人脸位置信息。

步骤(2)中的特征点定位的具体实现方式为：由已训练的面部特征点的全局形状模型和局部纹理模型对第一帧图像中的人脸进行特征点定位。全局形状模型用来反映面部整体形状，抑制不合理的形变；局部纹理模型用来实现对每个特征点的搜索定位。全局形状模型和局部纹理模型的训练包括：

获取N个训练样本图像中各样本图像的形状向量，其中，形状向量代表训练样本图像中的特征点的横纵坐标；

分别最小化N个形状向量到平均形状向量的距离和，以对各形状向量进行对齐；

对对齐后的各形状向量进行主成分分析找出形状变化的统计信息，并利用主成分分析建立全局形状模型；

对于每一个特征点，沿着垂直于该特征点前后两个特征点连线的方向上分别选择若干个像素构成目标向量，根据该目标向量采用像素值差分的方式建立各特征点的局部纹理模型。

具体地，全局形状模型的训练包括：

1)标定人脸图像

首先需要准备含有人脸面部区域的样本图片，并手工标定代表人脸上比较显著的k(本发明中k为77)个特征点。对于每一幅训练样本图像i，其形状向量X_i可表示为：

X_i＝(x_i1，x_i2，…，x_ij，…，x_ik，y_i1，y_i2，…，y_ij，…，y_ik)

其中x_ij，y_ij分别为第i幅图像第j个特征点的横纵坐标。N个训练样本就可以用X_i(i＝0，1，…，N-1)来表示。

2)训练样本对齐

由于上述手工标定的样本中，其人脸存在着不同角度、距离远近、姿态变换等外界因素造成的非形状干扰，如果直接对这些人脸图像建立模型，并不能真正的反映出人脸形状的变化规律，因此需要对训练样本进行对齐。该步骤一般都采用Procrustes方法进行归一化。其基本思想是最小化所有形状到平均形状的距离和，即最小具体而言，将一个向量X₂向另一向量X₁对齐，即对X₂进行旋转、平移和缩放得到向量X′₂，使得X′₂与X₁之间的加权距离D(X₁，X′₂)最小。

3)形状建模

对上述对齐后的形状向量进行主成分分析找出形状变化的统计信息。利用主成分分析进行全局形状建模的过程如下：

对对齐后的N个形状向量求平均，得到样本集的均值：

则样本集的协方差矩阵为：

设λ_k为Φ的特征值，p_k为λ_k对应的特征向量，则：

Φp_k＝λ_kp_k

由主成分的原理可知，λ_k越大，对应的p_k所表示的变化模式就越重要，即包含的人脸形状变化信息越多。将特征值由大到小排列，选取前m个特征值对应的特征向量组成新的主轴系P，

P＝[p₁，p₂，…，p_m]，λ₁＞λ₂＞…＞λ_m

则任意一个人脸的全局形状向量可近似表示为：

其中，b＝(b₁，b₂，…，b_m)^T为新主轴系下的系数向量。当系数向量b在一定范围内变化时就可以生成任意的人脸形状样本。为了确保由于b的改变而产生的形状符合规范，需要对b进行一些限制，

为了能在每一次搜索迭代的过程中为每个特征点寻找其新的位置，需要为它们分别建立局部特征。对于第m个特征点，其局部特征的创建过程如下：

沿着垂直于该点前后两个特征点连线的方向上分别选择k(本发明中k为4)个像素以构成一个长度为2k+1的向量，

B_m＝(B_m1，B_m2，...，B_m(2k+1))^T

式中B_mj表示当前特征点m所确定的第j个采样点的坐标。为了提高对于光照与对比度变化的鲁棒性，采用像素值差分的方式建立局部纹理模型。采样向量像素值差分为：

dB_m＝(dB_m1，dB_m2，…，dB_m(2k))^T

＝(B_m2-B_m1，B_m3-B_m2，...，B_m(2k+1)-B_m(2k))^T

对像素值差分向量进行归一化：

然后对N个训练样本中的Y_m计算其均值为：

协方差矩阵为：

假设特征点分布为高斯模型，则该特征点的局部纹理模型为：

这样就得到第m个特征点的局部特征。对其他所有的特征点进行相同的操作，就可以得到每个特征点的局部特征。这样，一个特征点的新的特征与其训练好的局部特征之间的相似性可以用马氏距离来度量。

所述特征点的定位包括：

1)搜索每个特征点的新位置

对于每一次迭代后的X，将其对齐到人脸区域得到每一个特征点的位置。对于第m个特征点，在垂直于其前后两个特征点连线方向上以该特征点为中心，以一定的步长，两边各采样l(l＞k，本发明中l＝6)个点，得到一个采样向量。在该采样向量中，以一定的偏移(本发明中为2个点)取出2k+1个点(因为在建立每个点的局部特征时，是采样2k+1个点)来建立子局部特征。子局部特征的计算方法与训练时的计算方法相同。然后计算这些子

局部特征与当前特征点的局部特征之间的马氏距离，

其中，C_mi为对第m个特征点搜索的第i子局部特征的差分值归一化采样向量。使得该马氏距离最小的那个子局部特征的中心即为当前特征点的新位置。

2)参数更新

第一步：在输入图像上进行人脸检测，得到输入图像上的人脸区域；

第二步：初始化系数向量b＝0，并计算初始拓扑形状其中X₀是相对于模型坐标系而言；

第三步：对初始拓扑形状进行刚体变换并对齐到第一步检测到的人脸区域中，

其中，s，R，t为刚体变换尺度、旋转、平移参数，X变换为图像坐标系下的形状向量；

第四步：对形状向量X中的每个特征点搜索其新的位置，得到形状向量Y；

第五步：按照式计算输出拓扑形状X，并将X对齐到Y，得到变换矩阵T；

第六步：利用变换矩阵T将形状向量Y反变换至模型坐标系下，得到YT；

第七步：更新系数向量b，

第八步：对系数向量b进行合理性检验，抑制不合理的形变；

第九步：此时的拓扑形状为根据拓扑形状之间的距离关系进行收敛性检验，若没有收敛，返回第三步；否则，输出拓扑形状特征点搜索结束。

进一步地，步骤(3)包括：

(3-1)对于从第二帧图像开始的每一帧图像，通过大位移光流模型计算密集光流场w：＝(u，v)^T；

(3-2)通过密集光流场计算关键特征点在当前帧图像中的对应位置：

(x_t+1，y_t+1)^T＝(x_t，y_t)^T+(u_t(x_t，y_t)，v_t(x_t，y_t))^T

其中，(x_t，y_t)表示第t帧图像中关键特征点的坐标，(x_t+1，y_t+1)表示第t+1帧图像中对应点的坐标，u_t(x_t，y_t)表示(x_t，y_t)在x方向的偏移量，v_t(x_t，y_t)表示(x_t，y_t)在y方向的偏移量。

步骤(4)包括：

使用步骤(3)跟踪到的关键特征点在当前帧图像中的对应位置估计人脸姿态和左右太阳穴的位置；

根据左右太阳穴和下巴的中心以及人脸姿态来拟合整个人脸轮廓，对左右脸分别拟合两个四分之一椭圆，椭圆的具体参数如下：

以下巴的中心到左右太阳穴连线的垂线的垂足为椭圆的中心，下巴的中心到椭圆的中心为长半轴，左右太阳穴到椭圆的中心分别为两个椭圆的短半轴，椭圆的角度取决于人脸姿态；

对于嘴唇的形状，以下嘴唇的中心到左右嘴角连线的垂线的垂足为椭圆的中心，左右嘴角到椭圆的中心分别为椭圆的长半轴，上下嘴唇的中心到椭圆的中心分别为椭圆的短半轴，椭圆的角度与人脸轮廓拟合时角度相同，这样建立四个四分之一椭圆即可确定嘴唇的形状，初始形状X_start建立完成。

进一步地，人脸姿态估计充分利用典型人脸的几何对称性来判断。由于眼睛和鼻子的位置在脸部发生形变时没有明显变化，因此，选择两眼中心(通过眼球来近似替代)和鼻尖三个点来大致估计人脸姿态，三个点的位置已通过大位移光流跟踪得到。假设在正脸情况下，鼻尖和两眼中心会形成一个等腰三角形，当人脸姿态发生变化时，它们之间形成的三角形也随之改变，如图2(a)，2(b)，2(c)，2(d)所示。人脸姿态的估计包括：

使用当前帧图像中的左右眼球和鼻尖三个点建立三角形ABC，A为左眼球，B为右眼球，C为鼻尖，过鼻尖到左右眼球连线的垂线为CP，P为垂足，l₁为点P到点A的距离，l₂为点P到点B的距离，当l₁和l₂相等，人脸姿态为正脸，当l₁＞l₂时，人脸姿态为脸部向左偏转，当l₁＜l₂时，人脸姿态为脸部向右偏转；

左右眼球连线相对于水平线的旋转角度为θ，当θ＝0时，人脸姿态为正脸，当θ＞0时，人脸姿态为脸部向右旋转，当θ＜0时，人脸姿态为脸部向左旋转；

当左右眼球的距离与鼻尖到左右眼球连线的垂线的距离之比小于正脸时该比值，人脸姿态为脸部下低，当左右眼球的距离与鼻尖到左右眼球连线的垂线的距离之比大于正脸时该比值，人脸姿态为脸部上仰。

假设左右太阳穴以及两眼中心在一条直线上，如图3(a)和3(b)所示，A、B分别为左右眼的中心，C为鼻尖，CP为鼻尖到两眼连线的垂线，P为垂足，E、F分别为左右太阳穴的位置。当人脸出现左右方向的旋转或上下方向的运动时，垂足到眼睛中心的距离与垂足到对应太阳穴的距离的比值是固定的；而当人脸出现左右方向的偏转时，暴露在我们视线中的一侧脸部其眼球到太阳穴的直线距离相比于正脸时更加接近其沿着脸部曲线的曲线距离，所以这一侧人脸的眼球到太阳穴的直线距离比正脸时更大，同理，另一侧人脸的眼球到太阳穴的直线距离比正脸时更小。也就是说，当人脸向右偏转时，垂足到左眼中心的距离与垂足到左太阳穴的距离的比值将会变小，垂足到右眼中心的距离与垂足到右太阳穴的距离的比值将会变大，这种比例关系可以用下式来表示：

其中，k_l和k_r分别为正脸时垂足到左眼中心的距离与垂足到左太阳穴的距离的比值和垂足到右眼中心的距离与垂足到右太阳穴的距离的比值。当人脸只有左右方向的旋转或上下方向的运动时，α和β都取1，当人脸出现左右方向的偏转时，向右偏转α＜1，β＞1；向左偏转α＞1，β＜1，其具体值可以通过大量的测试来获得与偏转角度的关系，或者简单地使用PA与PB的比值来确定。

左右太阳穴的位置估计包括：

其中，左右太阳穴的位置分别为E和F，A为左眼球，B为右眼球，C为鼻尖，过鼻尖到左右眼球连线的垂线为CP，P为垂足，A的坐标为(x_A，y_A)，B的坐标为(x_B，y_B)，P的坐标为(x_P，y_P)，E的坐标为(x_E，y_E)，F的坐标为(x_F，y_F)，k_l和k_r分别为正脸时垂足到左眼球的距离与垂足到左太阳穴的距离的比值和垂足到右眼球的距离与垂足到右太阳穴的距离的比值，当人脸只有左右方向的旋转或上下方向的运动时，α和β都取1，当人脸出现左右方向的偏转时，向右偏转α＜1，β＞1，向左偏转α＞1，β＜1。

当人脸有大角度偏转时，眼睛、鼻子和眉毛会出现部分遮挡，这种情况下，无法获知被遮挡部分的真实形状，需要进行特殊处理。首先检测大角度偏转，由于只有在出现部分遮挡时才需要进行特殊处理，所以只需检测部分遮挡。我们认为在眼球与对应的太阳穴的距离小于平均形状中眼球与对应的外眼角的距离时，出现了部分遮挡。这时，我们对遮挡部分进行简化处理，如果人脸是向右偏转，则对平均形状中鼻子的右半部分对应的特征点向左平移至横坐标与鼻尖所在的横坐标相同或向右1-2个像素；平均形状中右眼睛的右半部分对应的特征点向左平移至横坐标与右眼球所在的横坐标相同或向右1-2个像素；平均形状中右眉毛对应的特征点若有横坐标在右太阳穴右边的，将这些点向左平移至横坐标与右太阳穴的横坐标相同。如果人脸是向左偏转，则进行相反的操作。

以上过程都进行完成后，将平均形状中脸部轮廓和嘴唇上的点都平移至对应的椭圆上，同时，左右眼球以及鼻尖的位置也平移至跟踪到的对应位置。至此，初始形状X_start建立完成。

进一步地，所述步骤(5)具体包括以下内容：

第一步：初始化b＝0，计算初始拓扑形状X＝X_start+Pb，并将X对齐到步骤(1)检测到的人脸中；

第二步：对X中的每个特征点按照ASM中类似的方法搜索其新的位置，得到形状向量Y。不同的是，在特征点搜索过程中，对跟踪的八个点以及椭圆上的点采用更小的步长和采样偏移，其余特征点采用更大的步长和采样偏移；

第三步：按照式X＝X_start+Pb计算输出拓扑形状X，并将X对齐到Y，得到变换矩阵T；

第四步：利用变换矩阵T将形状向量Y反变换至模型坐标系下，得到YT；

第五步：更新系数向量b，

b＝P^-1(Y_T-X_start)

第六步：对系数向量b进行合理性检验，抑制不合理的形变。由于涉及到不同姿态的人脸，对b的约束为其中m为训练模型时所选取的主成分个数；

第七步：此时的拓扑形状为X＝X_start+Pb，根据拓扑形状之间的距离关系进行收敛性检验，若没有收敛，返回第二步；否则，输出拓扑形状X＝X_start+Pb，特征点搜索结束。

图4是本发明实施例提供的原始ASM算法对第一帧图像进行特征点定位的结果；图5是本发明实施例提供的大位移光流跟踪的初始跟踪点以及连续几帧的跟踪结果；由此可见，本发明采用大位移光流技术对特征点的运动信息进行建模，使得特征点定位能够充分利用视频帧的时空连续性；本发明利用特征点的跟踪位置对视频帧进行初始形状建模，使得初始形状能够更好地表征当前状态下的人脸，同时最终定位效果更加准确；

图6(a1)、6(b1)、6(c1)、6(d1)、6(e1)、6(f1)、6(g1)、6(h1)、6(j1)和6(k1)一共提供了原始ASM算法对于十种人脸图像的特征点定位结果；图6(a2)、6(b2)、6(c2)、6(d2)、6(e2)、6(f2)、6(g2)、6(h2)、6(j2)和6(k2)对应提供了本发明算法对于十种人脸图像的特征点定位结果；经过对比可知在多种情况下原始的ASM算法对于人脸图像特征点定位存在较大误差，而本发明采用大位移光流技术对特征点的运动信息进行建模，使得特征点定位能够充分利用视频帧的时空连续性，这样即使特征点的运动位移较大也能准确的跟踪到。由左右眼球、鼻尖、两个嘴角点和上下嘴唇的中心以及下巴的中心这八个点结合跟踪定位算法，使其对于丰富表情仍然能够准确的定位特征点。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多形变多姿态人脸序列的特征点定位方法，其特征在于，包括：

(1)对待处理视频进行人脸检测，得到待处理视频中每帧图像的人脸位置信息；

(2)对于待处理视频的第一帧图像，利用第一帧图像的人脸位置信息对人脸进行特征点定位，从定位到的特征点中选取关键特征点，利用关键特征点初始化大位移光流跟踪器；

(3)对于待处理视频中从第二帧图像开始的每一帧图像，利用大位移光流跟踪器进行大位移光流跟踪，得到初始化大位移光流跟踪器的关键特征点在当前帧图像中的对应位置；

(4)使用步骤(3)跟踪到的关键特征点在当前帧图像中的对应位置进行姿态估计，建立当前帧图像的初始形状；

(5)利用当前帧图像的初始形状对当前帧图像的每个特征点进行精确定位；

所述关键特征点为左右眼球、鼻尖、两个嘴角点和上下嘴唇的中心以及下巴的中心一共八个点。

2.如权利要求1所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述步骤(1)中的人脸检测包括：

(1-1)对待处理视频中的每一帧图像按照人脸左右方向和上下方向的运动划分为多个视图；

(1-2)构建以特征为中心的级联和以窗口为中心的级联，对于待处理视频中的每一帧图像，首先计算多个视图的特征值图像，然后在每个视图的特征值图像上和每一帧图像上分别运行以特征为中心的级联和以窗口为中心的级联，得到待处理视频中每帧图像的人脸位置信息。

3.如权利要求1或2所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述步骤(2)中的特征点定位的具体实现方式为：由已训练的面部特征点的全局形状模型和局部纹理模型对第一帧图像中的人脸进行特征点定位。

4.如权利要求3所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述全局形状模型和局部纹理模型的训练包括：

获取N个训练样本图像中各样本图像的形状向量，其中，形状向量代表训练样本图像中的特征点的横纵坐标；

分别最小化N个形状向量到平均形状向量的距离和，以对各形状向量进行对齐；

对对齐后的各形状向量进行主成分分析找出形状变化的统计信息，并利用主成分分析建立全局形状模型；

对于每一个特征点，沿着垂直于该特征点前后两个特征点连线的方向上分别选择若干个像素构成目标向量，根据该目标向量采用像素值差分的方式建立各特征点的局部纹理模型。

5.如权利要求1或2所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述步骤(3)包括：

(3-1)对于从第二帧图像开始的每一帧图像，通过大位移光流模型计算密集光流场；

(3-2)通过密集光流场计算关键特征点在当前帧图像中的对应位置：

(x_t+1，y_t+1)^T＝(x_t，y_t)^T+(u_t(x_t，y_t)，v_t(x_t，y_t))^T

其中，(x_t，y_t)表示第t帧图像中关键特征点的坐标，(x_t+1，y_t+1)表示第t+1帧图像中对应点的坐标，u_t(x_t，y_t)表示(x_t，y_t)在x方向的偏移量，v_t(x_t，y_t)表示(x_t，y_t)在y方向的偏移量。

6.如权利要求1或2所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述步骤(4)包括：

使用步骤(3)跟踪到的关键特征点在当前帧图像中的对应位置估计人脸姿态和左右太阳穴的位置；

根据左右太阳穴和下巴的中心以及人脸姿态来拟合整个人脸轮廓，对左右脸分别拟合两个四分之一椭圆，椭圆的具体参数如下：

以下巴的中心到左右太阳穴连线的垂线的垂足为椭圆的中心，下巴的中心到椭圆的中心为长半轴，左右太阳穴到椭圆的中心分别为两个椭圆的短半轴，椭圆的角度取决于人脸姿态；

对于嘴唇的形状，以下嘴唇的中心到左右嘴角连线的垂线的垂足为椭圆的中心，左右嘴角到椭圆的中心分别为椭圆的长半轴，上下嘴唇的中心到椭圆的中心分别为椭圆的短半轴，椭圆的角度与人脸轮廓拟合时角度相同，由此建立四个四分之一椭圆即可确定嘴唇的形状，初始形状X_start建立完成。

7.如权利要求6所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述人脸姿态的估计包括：

使用当前帧图像中的左右眼球和鼻尖三个点建立三角形ABC，A为左眼球，B为右眼球，C为鼻尖，过鼻尖到左右眼球连线的垂线为CP，P为垂足，l₁为点P到点A的距离，l₂为点P到点B的距离，当l₁和l₂相等，人脸姿态为正脸，当l₁＞l₂时，人脸姿态为脸部向左偏转，当l₁＜l₂时，人脸姿态为脸部向右偏转；

左右眼球连线相对于水平线的旋转角度为θ，当θ＝0时，人脸姿态为正脸，当θ＞0时，人脸姿态为脸部向右旋转，当θ＜0时，人脸姿态为脸部向左旋转；

当左右眼球的距离与鼻尖到左右眼球连线的垂线的距离之比小于正脸时该比值，人脸姿态为脸部下低，当左右眼球的距离与鼻尖到左右眼球连线的垂线的距离之比大于正脸时该比值，人脸姿态为脸部上仰。

8.如权利要求6所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述左右太阳穴的位置估计包括：

其中，左右太阳穴的位置分别为E和F，A为左眼球，B为右眼球，C为鼻尖，过鼻尖到左右眼球连线的垂线为CP，P为垂足，A的坐标为(x_A，y_A)，B的坐标为(x_B，y_B)，P的坐标为(x_P，y_P)，E的坐标为(x_E，y_E)，F的坐标为(x_F，y_F)，k_l和k_r分别为正脸时垂足到左眼球的距离与垂足到左太阳穴的距离的比值和垂足到右眼球的距离与垂足到右太阳穴的距离的比值，当人脸只有左右方向的旋转或上下方向的运动时，α和β都取1，当人脸出现左右方向的偏转时，向右偏转α＜1，β＞1，向左偏转α＞1，β＜1。