CN1831846A

CN1831846A - 基于统计模型的人脸姿势识别方法

Info

Publication number: CN1831846A
Application number: CN 200610025873
Authority: CN
Inventors: 戈新良; 杨杰; 杜春华; 张田昊
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2006-04-20
Filing date: 2006-04-20
Publication date: 2006-09-13

Abstract

一种图像处理技术领域的基于统计模型的人脸姿势识别方法。本发明首先在人脸上标注出特征点，这些特征点将会随着人脸姿势的变化而变化，通过这些特征点变化能知道由于人脸在深度方向上发生旋转而发生的形状变化，然后，使用三角函数表示人脸姿势的变化角度，最后，寻求人脸形状的变化和人脸姿势的变化角度的映射，从而通过人脸特征点的变化识别出人脸的姿势。本发明应用于人脸识别、人机交互、表情识别等方面，具有较快的速度和较高的精度。

Description

基于统计模型的人脸姿势识别方法

技术领域

本发明涉及一种人脸图像处理技术领域的方法，具体的说，涉及的是一种基于统计模型的人脸姿势计算方法，能直接应用于三维人脸识别、人机交互、人脸跟踪、三维动画等领域。

背景技术

人脸姿势确定是人机交互中很重要的一个研究领域。在人机交互中，一个很重要的问题是如何确定人的注意焦点，这可以通过人的头部在深度方向的旋转角度和眼睛的注视方向中推断出来。因此，大体上头部和眼睛的注视方向通过计算脸部的旋转角度得到。更重要的是，一个人的心情状态和他的警戒水平也可以从人脸的方向上推断出来，比如，通过多帧跟踪人脸的方向检测一个人的点头工作，可以推断出这个人的疲劳水平。人脸姿势计算在人脸识别中也有很重要的应用。现有的人脸识别方法中，在约束环境下采集的人脸图像(在对象配合的情况下拍摄的正面、中性表情、无遮挡、光照均匀的高质量人脸相片)，近年来在对人脸识别系统和商业系统的FERET和FRVT测试表明识别率可达到95％以上(使用FERET人脸数据库)。但是在光照的变化、人脸姿态的变化的环境下，脸部三维特征投影到二维空间有很大的变化，这样增加了人脸处理的复杂性。因此，由于这些因素的影响，要求新的方法出现。三维人脸识别方法可以比较好的解决这些问题，在此算法中，人脸姿态的计算是必须要解决的问题之一。

经对现有技术的文献检索发现，Jeffrey Ng等(Jeffrey Ng，Shaogang GongComposite support vector machines for detection of faces across views and poseestimation，Image and Vision Computing，20(5-6)，2002：359-368)(合成的支持向量机用于多视图的人脸检测与姿势估计)，Image and Vision Computing(图像和视觉计算)，20(5-6)，2002：359-368)，此方法计算成本很高，而且需要大量的不同人的不同姿势的图像作为训练样本，所以成本比较高。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于统计模型的人脸姿势识别方法。使其具有比较高的可靠性和稳健性，可以广泛的应用于人脸识别、表情识别和人机交互等领域。

本发明是通过以下技术方案实现的，首先在人脸上标注出眼眉、眼睛、鼻子、嘴巴等特征点，这些特征点将会随着人脸姿势的变化而变化。因此，通过这些特征点变化，可以知道由于人脸在深度方向上发生旋转而发生的形状变化。然后，使用三角函数表示人脸姿势的变化角度。最后，寻求人脸形状的变化和人脸姿势的变化角度的映射。从而，通过人脸特征点的变化，可以识别人脸的姿势。

本发明用一部分人的各种人脸姿势图像作为训练集，然后训练集中的每一幅人脸图像标出人脸的眉毛、眼睛、鼻子、嘴巴等特征点。标注特征点的方式有两种，一种是采用手工的方式，另一种采用跟踪的方式。把这些特征点坐标整合成一个矢量，这样训练集中的所有不同姿势的人脸图像经过相同的操作，形成一个矢量矩阵。矢量矩阵经过对齐等一些重要步骤的处理，得到形状变化参数。但是从考虑标注点的准确性来讲，在本发明中，采用手工方式标注人脸的特征点。

所述训练集中，每幅人脸的特征点坐标用一个矢量来表示：X＝(x₁，y₁，x₂，y₂，...，x_N，y_N)，这里N代表特征点的数量。训练集中的每幅人脸图像都标出特征点后，形成一个矢量矩阵：Y＝(X¹，.....，X^m，......，X^M)，这里M代表训练集中人脸图像的数量。为了消除人脸在图像位置中的影响，采用去除重心的方法。在此基础上寻找人脸形状由于人脸在深度方向发生旋转带来的变化因素。

所述训练集中人脸姿势的变化采用三角函数表示。人脸的姿势变化用三个旋转角度表示：偏航角γ，俯仰角β和航向角α。分别用三角函数中的正弦和余弦表示。

所述训练集中，寻找人脸形状的变化与人脸姿势的变化之间的映射。A:Y→φ。找到他们之间的映射关系后，输入一幅新的人脸图像到系统后，通过特征点就可以识别出人脸的姿势。

本发明具有以下优点：(1)本发明具有很好的实时性。(2)本发明不需要大量的训练样本。(3)本发明使用的人脸图像是二维人脸图像，具有不同的人脸姿势，使用一般的采集设备，所以成本比较低，采集图像比较方便。

本发明识别的人脸姿势具有比较高的可靠性和稳健性，可以广泛的应用于人脸识别、表情识别和人机交互等领域。

附图说明

图1为本发明人脸特征点的定义图

具体实施方式

以下结合具体的实施例对本发明的技术方案作进一步详细描述。

本发明的基于统计模型的人脸姿势识别的实现方法按如下步骤进行：依据上述附图1，整个发明分为两大部分：训练阶段和测试阶段。

首先，说明训练阶段的具体步骤：

1.首先，人脸的特征点坐标形成一个矢量：

X^{m} = (x_{1}^{m}, y_{1}^{m}, x_{2}^{m}, y_{2}^{m}, . . ., x_{m}^{m}, y_{m}^{m}, . . . x_{N}^{m}, y_{N}^{m}) .

在训练集中，人脸在不同人脸图像中的位置是不一样的。为了消除人脸位置的影响，用

u_{x} = \frac{1}{N} Σ_{n = 1}^{N} x_{n}^{m},

u_{y} = \frac{1}{N} Σ_{n = 1}^{N} y_{n}^{m}

计算X^m的重心，则X^m变为如下的矢量：

\overset{&OverBar;}{{XX}^{m}} = (x_{1}^{m} - u_{x}, y_{1}^{m} - u_{y}, x_{2}^{m} - u_{x}, y_{2}^{m} - u_{y}, . . ., x_{m}^{m} - u_{x}, y_{m}^{m} - u_{y}, . . ., x_{N}^{m} - u_{x}, y_{N}^{m} - u_{y}) .

这样整个训练集变成如下的向量矩阵：

\overset{&OverBar;}{YY} = (\overset{&OverBar;}{{XX}^{1}}, \overset{&OverBar;}{{XX}^{2}}, . . ., \overset{&OverBar;}{{XX}^{m}}, . . ., \overset{&OverBar;}{{XX}^{M}}) .

下面对矩阵YY进行对齐的操作，对齐需要如下的计算步骤：首先选择第一个向量为参考，其余的向量通过仿射变换，包括旋转、平移、缩放，使其与第一个向量最为接近，这样得到了M个新的向量，计算这M个向量的平均，对这个平均通过仿射变换使其与第一个向量最为接近，得到一个新的平均，然后以该平均为基准形状，把N个向量通过仿射变换使其与该平均最为接近，重复该过程，直到收敛。为了对齐所有的训练样本，一般采用Procrustes分析，其基本思想是最小化所有形状到平均形状的距离和，即最小化D＝∑|S_i- S|²，这可以通过下面的迭代过程实现：

●对每个样本x_i做旋转、缩放、并与样本x₁对齐，因此得到 x重复

▲计算变换后的形状平均值 x，

▲将所有样本旋转、缩放、并与平均形状对齐，

●如果平均形状 x变化不大，即收敛，则算法停止；否则，算法继续重复。训练集中向量对齐后，用下面的矩阵表示：

\overset{&OverBar;}{YYY} = (\overset{&OverBar;}{{XXX}^{1}}, \overset{&OverBar;}{{XXX}^{2}}, . . ., \overset{&OverBar;}{{XXX}^{m}}, . . ., \overset{&OverBar;}{{XXX}^{M}}) .

用下式计算 YYY的平均形状矢量：

μ = \frac{1}{M} Σ_{i = 1}^{M} \overset{&OverBar;}{{XXX}^{i}} .

然后计算训练集中的每一个形状矢量与平均矢量的偏差

\overset{&OverBar;}{{dx}_{i}} = \overset{&OverBar;}{{XXX}^{i}} - μ .

因此，可以得到训练集的协方差

S = \frac{1}{M} Σ_{i = 1}^{M} \overset{&OverBar;}{{dx}_{i}} \overset{&OverBar;}{{dx}_{i}^{T}},

用主成分分析协方差S可以得到下式：

\overset{&OverBar;}{{XX}^{i}} = u + P \overset{&OverBar;}{b^{i}},

在式中P是矩阵S特征分解的特征向量，b为形状矢量，不同的形状对应不用的b。b的合理变化范围是

- 3 \sqrt{λ_{k}} {\leq b}_{k} \leq 3 \sqrt{λ_{k}},

λ_k是矩阵S的特征值。

2.姿态参数的表示。3D脸部角度

被非线性转换到三角函数表示的矢量 φ中。

sin(α-u_φ1)，cos(β-u_φ2)，sin(β-u_φ2)，cos(γ-u_φ3)，sin(γ-u_φ3))表示转换公式，在式中

\overset{&OverBar;}{u_{φ}} (u_{φ 1}, u_{φ 2}, u_{φ 3}) = \frac{1}{M} Σ_{m = 1}^{M} \overset{&OverBar;}{φ^{m}} .

3.形状模型参数与姿态参数之间的映射。通过上面两步求出的形状模型参数和姿态参数表示，通过下式表示它们之间的映射：

在式中，H通过训练集中得到的形状变化参数和姿态参数得到。这样通过一些简单的矩阵运算可以得到人脸的姿势：

通过上式可以计算得到人脸的转换角度。

测试阶段：输入一幅新的人脸图像进入系统，首先得到人脸的特征点，这样得到一个特征点矢量，可以计算得到形状变化量b，这样就可以通过训练过程中的一些公式计算得到人脸姿势参数。

本发明的方法能够获得较高的测试准确率，广泛的应用于人脸识别、人机交互、人脸跟踪等领域中。

Claims

1.一种基于统计模型的人脸姿势识别方法，其特征在于，首先在人脸上标注出特征点，这些特征点将会随着人脸姿势的变化而变化，通过这些特征点变化能知道由于人脸在深度方向上发生旋转而发生的形状变化，然后，使用三角函数表示人脸姿势的变化角度，最后，寻求人脸形状的变化和人脸姿势的变化角度的映射，从而通过人脸特征点的变化识别出人脸的姿势。

2.根据权利要求1所述的基于统计模型的人脸姿势识别方法，其特征是：用一部分人的各种人脸姿势图像作为训练集，然后训练集中的每一幅人脸图像标出人脸的眉毛、眼睛、鼻子、嘴巴的特征点，把这些特征点坐标整合成一个矢量，这样训练集中的所有不同姿势的人脸图像经过相同的操作，形成一个矢量矩阵，矢量矩阵经过对齐处理，得到形状变化参数。

3.根据权利要求2所述的基于统计模型的人脸姿势识别方法，其特征是：所述训练集中，每幅人脸的特征点坐标用一个矢量来表示：X＝(x₁，y₁，x₂，y₂，…，x_N，y_N)，这里N代表特征点的数量，训练集中的每幅人脸图像都标出特征点后，形成一个矢量矩阵：Y＝(X¹，……，X^m，……，X^M)，这里M代表训练集中人脸图像的数量，为了消除人脸在图像位置中的影响，采用去除重心的方法，在此基础上寻找人脸形状由于人脸在深度方向发生旋转带来的变化因素。

4.根据权利要求1所述的基于统计模型的人脸姿势识别方法，其特征是：所述使用三角函数表示人脸姿势的变化角度，即：人脸的姿势变化用三个旋转角度表示：偏航角γ，俯仰角β和航向角α，分别用三角函数中的正弦和余弦表示。

5.根据权利要求1所述的基于统计模型的人脸姿势识别方法，其特征是：所述寻求人脸形状的变化和人脸姿势的变化角度的映射，即A:Y→φ，找到它们之间的映射关系后，输入一幅新的人脸图像到系统后，通过特征点就识别出人脸的姿势。