CN1828630A - 基于流形学习的人脸姿势识别方法 - Google Patents

Abstract

一种图像处理技术领域的基于流形学习的人脸姿势识别方法。本发明先用一部分人的各种人脸姿势图像作为训练集，然后训练集中的每一幅图像进行Gabor变换，用于消除或者降低人脸图像中的光照变化、分辨率，提取区分人脸姿势的有效特征；训练集中的人脸图像Gabor变换后，采用局部保持映射方法进行降维，消除人脸的身份，并且相同姿势的人脸聚集在一起，揭示了人脸姿势的变化；最后使用模糊聚类方法进行人脸姿势识别。本发明应用于人脸识别、人机交互、表情识别等方面，具有较快的速度和较高的精度。

Description

基于流形学习的人脸姿势识别方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体的说，涉及的是一种基于流形学习的人脸姿势识别方法，能直接应用于三维人脸识别、人机交互、人脸跟踪、三维动画等领域。

背景技术

人脸识别是一种典型的生物特征识别技术之一。在约束环境下采集的人脸图像(在对象配合的情况下拍摄的正面、中性表情、无遮挡、光照均匀的高质量人脸相片)，近年来在对人脸识别系统和商业系统的FERET和FRVT测试表明识别率可达到95％以上(使用FERET人脸数据库)。但是人脸是一类非常相似的非刚体，所有的人脸几乎由同样的几何特征所构成，人脸的识别需要利用脸部或者特征结构的细微差别，这是极其困难的。而且，由于光照的变化、人脸姿态的变化都将使脸部三维特征的二维投影有很大的变化，这更增加了人脸处理的复杂性。因此现有大多数的人脸识别方法和系统都对工作条件提出了严格的控制，使得这些系统难以在实际中得到广泛的应用，尤其是对人脸姿态的限制更是其中的关键。人脸姿势识别在计算机视觉和计算机图形学中发挥着很重要的作用，并且有比较广泛的应用，比如人脸识别，人脸跟踪和人机交互等。但由于在二维图像中没有第三维的信息，所以解决这个问题变的很困难。而且还有一些影响因素，比如：光照的变化，图像的质量和分辨率以及个人的身份变化，也严重影响了人脸姿势识别问题的解决。

经对现有技术的文献检索发现，Volker Blanz等(Volker Blanz，Thomas Vetter，Face recognition based on fitting a 3D morphable model(基于拟合三维形变模型的人脸识别)，IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE模式分析与机器智能学报)，25(9)(2003)：1063-1074)，此方法计算成本很高，不符合实时性的要求，而且需要使用三维的扫描仪采集人脸图像作为训练样本，所以成本比较高。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于流形学习的人脸姿势识别方法。使其具有比较高的可靠性和稳健性，可以广泛的应用于人脸识别、表情识别和人机交互等领域。

本发明是通过以下技术方案实现的，本发明先用一部分人的各种人脸姿势图像作为训练集，然后训练集中的每一幅图像进行Gabor变换，用于消除或者降低人脸图像中的光照变化、分辨率等影响因素，提取区分人脸姿势的有效特征。训练集中的人脸图像Gabor变换后，变换结果的维数很高，而且由于人脸姿势的变化，引起许多的非线性变化，所以采用局部保持映射方法进行降维。使用此降维方法可以消除人脸的身份，并且相同姿势的人脸聚集在一起，揭示了人脸姿势的变化。最后使用模糊聚类方法进行人脸姿势识别。这样就完成了人脸姿势识别。

所述训练集中的人脸图像进行Gabor变换是指：为了减少运算成本，训练集中的每一幅人脸图像大小缩减到20×20，然后采用Gabor滤波器进行变换，选择Gabor滤波器有两个因素，一个是尺度，另一个是方向。在本发明中，选用5个尺度和8个方向。人脸图像进行Gabor变换后，可以提取出有利于区分人脸姿势的有效特征。这样一幅人脸图像经过Gabor变换，可以产生40(5×8)幅与原图像相同大小的人脸图像。在这40幅Gabor变换的人脸图像里，突出人脸在不同尺度和不同频率的有效特征。在40幅变换人脸图像中，每一幅人脸中的每一行(或列)进行首尾相接形成一个向量，这样共形成40个向量，然后把40个向量再连接起来，形成一个完整的Gabor向量(20×20×5×8＝8000)。训练集中的每一幅人脸图像按照同样的方法操作，把每一幅人脸图像的Gabor变换结果排列在一个矩阵中，占据矩阵中的一列(或行)，这样整个训练集形成一个8000×N(N代表训练集中人脸图像的数量)的矩阵。

所述用局部保持映射方法进行降维是指：训练集中的每幅人脸图像进行Gabor变换后，得到一个高维矩阵。在本发明中采用局部保持映射进行降维，明确考虑了在人脸图像空间的流形结构。流形的结构由一个保持了图像的局部结构信息的K最近邻图来表示，表示人脸的低维子空间由局部保持投影得到。图像空间中的每个人脸图像投影到一个由一组特征图像构成的低维的人脸子空间，由于人脸子空间保持了数据流形的局部结构，经过降维后，消除了人的身份的影响而且相同姿势的不同人的人脸聚集在一起。有利于后面的人脸姿势识别。

所述用模糊聚类方法进行姿势识别是指：人脸训练集经过降维后，采用模糊聚类方法得到相同姿势人脸的聚类中心。输入一个新的人脸图像，经过与训练集相同的的图像大小缩减、Gabor变换、降维后等步骤后，计算新的人脸图像与各个聚类中心的距离。然后比较这些距离的大小，新的人脸图像就属于距离最小的那一类。这样就可以识别出新的人脸图像的姿势。

本发明具有以下优点：(1)本发明具有很好的实时性。使用P42.661G内存的计算机，需要运行的时间是20ms。(2)本发明不需要大量的训练样本。(3)本发明采用的是整个人脸的外观，不用提取人脸的任何特征。(4)本发明使用的人脸图像是二维人脸图像，具有不同的人脸姿势，使用一般的采集设备，所以成本比较低，采集图像比较方便。

本发明识别的人脸姿势具有比较高的可靠性和稳健性，可以广泛的应用于人脸识别、表情识别和人机交互等领域。

附图说明

图1为本发明方法的流程图

具体实施方式

以下结合具体的实施例对本发明的技术方案作进一步详细描述。

本发明的基于流形学习的人脸姿势识别的实现方法按如下步骤进行：依据上述附图，整个发明分为两部分：训练阶段和测试阶段。

首先，说明训练阶段的具体步骤：

1.首先，采用Gabor滤波器用于变换训练集中的各种姿势的不同人的人脸图像。Gabor滤波器对人脸图像的处理是利用Gabor核函数ψ_u，v(x，y)与图像I(x，y)的卷积实现，即：O_u，v(x，y)＝I(x，y)*ψ_u，v(x，y)。由于Gabor滤波器输出O_u，v(x，y)包含了图像的位置、灰度局部标准化、尺度和方向特征。Gabor滤波器的方向有助于提取人脸姿势的特征，区别不同的人脸姿势。因此可以利用Gabor滤波器消除上述提出的影响人脸姿势识别的影响因素。然后将人脸图像在不同尺度和方向上的输出O_u，v(x，y)连接起来形成一个特征矢量Y。 $Y={(O_{\mathrm{0,0}}^T(x,y),O_{\mathrm{0,1}}^T(x,y),...,O_{m,n}^T(x,y))}^T.$ 这样定义的Gabor特征Y包括了m+1个尺度和n+1个方向的滤波器输出O_u，v(x，y)，u∈{0，1，...，m}，v∈{0，1，...n}，其中包括图像的频率、方向和尺度等信息，可以作为一种图像的表征方法。整个训练集中的所有不同人的不同姿势的人脸图像进行Gabor变换，形成一个矢量矩阵X＝(Y₁，Y₂，...，Y_n)。在本发明中，m＝4，n＝7。

2.训练集中的各种姿势的人脸图像经过Gabor变换后，整个训练集变成一个向量矩阵X。使用局部保持映射算法进行降维。局部保持映射算法是在数据的内在几何结构中寻找保持数据局部结构的投影方向，使用局部结构的近邻性质，使得相同姿势的人脸聚集在一个子集中。在本发明中，局部保持映射降维方法的目标函数是： $\mathrm{Min}\underset{\mathrm{ij}}{\mathrm{\Σ}}{(y_i-y_j)}^2{S}_{\mathrm{ij}},$ 其中S_ij是点x_i和x_j的连接权重， $S_{\mathrm{ij}}=S_{\mathrm{ij}}=e^{\frac{{\left|\right|X_i-X_j\left|\right|}^2}{t}}.$ 最小化目标函数就是在保证点x_i和x_j的距离比较小时，y_i和y_j之间的距离同样比较小。所以 $\mathrm{Min}\underset{\mathrm{ij}}{\mathrm{\Σ}}{(y_i-y_j)}^2{S}_{\mathrm{ij}}$ 转化为： $\mathrm{Min}\underset{\mathrm{ij}}{\mathrm{\Σ}}{(y_i-y_j)}^2{S}_{\mathrm{ij}}={2W}^T{\mathrm{XLX}}^{T}W,$ 其中X＝[x₁，x₂，...，x_n]，D是一个对角阵，并且D_jj＝∑_iS_ij。L＝D-S为Laplacian矩阵。矩阵D表示数据分布的稠密程度。最小化目标函数的变换矩阵w可以通过求解广义特征值分解问题得到：XLX^Tw＝λXDX^Tw。w₀，w₁，...，w_k-1是方程的解，按照特征值的顺序排列λ₀，λ₁，...，λ_k-1。因此，嵌入如下所示：x→y＝W^Tx，W＝W_PCAW_LPP。但是在XLX^Tw＝λXDX^Tw中，XDX^T有时是奇异的，为了克服这个难题，把人脸图像映射到PCA子空间，这样XDX^T转换为非奇异矩阵。另外，PCA预处理人脸图像可以降低图像噪声，用W_PCA表示PCA变换矩阵。W_LPP表示局部保持映射变换矩阵。

3.降维后，相同姿势的不同人的人脸聚集在一起。采用模糊聚类的方法识别人脸姿势。在本发明中，目标函数J(U，V)定义为： $J=\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&mu;}}_{\mathrm{ik}}\right)}^m{\left|\right|X_k-m_i\left|\right|}^2,$ 其中U＝[μ_ik](i＝1，2，...，c；k＝1，2，...，n)为模糊聚类矩阵，且满足μ_ik∈[0，1]， $\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{\mathrm{ik}}=1,$ k及 $0<\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{\mathrm{ik}}<n,\&ForAll;i;$ V＝{v₁，v₂，...，v_c}为c个聚类中心的集合，且v_i∈R^p；m∈[2，∞]为加权指数；‖X_k-m_i‖²为第k个样本到第i类的距离。使用局部保持映射方法把高维信息降到一维信息，里面包含人脸姿势变化的信息，并且每个人的相同人脸姿势的点是聚集在一起的，所以用模糊聚类方法可以把相同角度的人脸姿势聚集成一类。因此，可以通过模糊聚类的方法识别出被测试对象的人脸姿势。

然后进行测试阶段：输入一个新的人脸，经过与训练阶段相同的图像大小缩减、Gabor变换、局部保持映射降维等方法后。计算新的图像与各个聚类中心的距离。然后比较这些距离的大小，新的图像就属于距离最小的那一类。这样就可以识别人脸姿势。

本发明的方法能够获得较高的测试准确率，广泛的应用于人脸识别、人机交互、人脸跟踪等领域中。

Claims (4)

1.一种基于流形学习的人脸姿势识别方法，其特征在于，用一部分人的各种人脸姿势图像作为训练集，然后训练集中的每一幅图像进行Gabor变换，用于消除或者降低人脸图像中的光照变化、分辨率，提取区分人脸姿势的有效特征；采用局部保持映射方法进行降维，经过降维后，相同姿势的人脸将会聚集在一起，然后使用模糊聚类方法进行识别，从而完成人脸姿势识别。

2.根据权利要求1所述的基于流形学习的人脸姿势识别方法，其特征是，所述训练集中的人脸图像进行Gabor变换，是指：训练集中的每一幅人脸图像大小缩减到20×20，然后采用Gabor滤波器进行变换，Gabor滤波器选用5个尺度和8个方向，提取出有利于区分人脸姿势的有效特征，这样一幅人脸图像经过Gabor变换，能产生40幅与原图像相同大小的人脸图像，在这40幅Gabor变换的人脸图像里，突出人脸在不同尺度和不同频率的有效特征，在40幅变换人脸图像中，每一幅人脸中的每一行或列进行首尾相接形成一个向量，这样共形成40个向量，然后把40个向量再连接起来，形成一个完整的Gabor向量，训练集中的每一幅人脸图像按照同样的方法操作，把每一幅人脸图像的Gabor变换结果排列在一个矩阵中，占据矩阵中的一列或行，这样整个训练集形成一个8000×N的矩阵，N代表训练集中人脸图像的数量。

3.根据权利要求1所述的基于流形学习的人脸姿势识别方法，其特征是，所述的用局部保持映射方法进行降维是指：训练集中的每幅人脸图像进行Gabor变换后，得到一个高维矩阵，采用局部保持映射进行降维，考虑了在人脸图像空间的流形结构，流形的结构由一个保持了图像的局部结构信息的K最近邻图来表示，表示人脸的低维子空间由局部保持投影得到，图像空间中的每个人脸图像投影到一个由一组特征图像构成的低维的人脸子空间，由于人脸子空间保持了数据流形的局部结构，经过降维后，消除了人的身份的影响而且相同姿势的不同人的人脸聚集在一起。

4.根据权利要求1所述的基于流形学习的人脸姿势识别方法，其特征是，所述的用模糊聚类方法进行姿势识别是指：人脸训练集经过降维后，采用模糊聚类方法得到相同姿势人脸的聚类中心，输入一个新的人脸图像，经过与训练集相同的图像大小缩减、Gabor变换、降维后，计算新的人脸图像与各个聚类中心的距离，然后比较这些距离的大小，新的人脸图像就属于距离最小的那一类。