CN101604376B - 基于hmm-svm混合模型的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于HMM-SVM混合模型的人脸识别方法，该方法首先将人脸图像以采样窗从上到下进行采样，分别采用离散余弦变换(DCT)和奇异值分解(SVD)提取各个采样窗图像的特征参数并串接成一维观察向量，然后将每个人的训练图像的观察向量用于训练每个人的HMM模型，将所有图像的观察向量采用Viterbi算法求出其对应于每个HMM模型的输出概率，并用于支持向量机的分类训练及识别测试。由于HMM模型具有良好的时间序列建模能力，能有效地将人脸的各个器官的数值特征以一个状态转移模型联系起来，对人脸进行更为完整的描述，以及支持向量机在有限样本的分类方面的优良性能。

Description

基于HMM-SVM混合模型的人脸识别方法

技术领域

本发明属于模式识别领域，具体涉及一种人脸识别方法，是生物特征识别领域关于人脸特征提取与识别的一种方法。

背景技术

人脸在人们的交流中有着重要的作用和意义，在日常生活中，人们识别周围的人用的最多的也是人脸。由于人脸识别的非侵犯性，具有直接、友好、方便的特点，是人们最容易接受的身份鉴别方式。而随着网络技术和桌上视频的广泛采用，图像捕捉设备正在成为个人计算机的标准外设，同时电子商务等网络资源的利用对身份验证提出了新的要求，人脸识别已经成为最有潜力的生物身份验证手段之一。

在人体的各种生物特征中，人脸的获取具有直接、方便、主动等特点。它无须特殊的采集设备，系统的成本低，而且自动人脸识别的使用非常自然，可以在被识别对象毫无察觉的情况下进行，是一种非常受使用者欢迎的方式。与其他生物识别技术，诸如指纹识别，掌形识别，眼虹膜识别和声音识别相比较，人脸识别具有以下两点独一无一的特性：

1)人脸识别不需要人的配合动作，使它更易于使用，特别适合要求隐蔽实行的场合；

2)人脸作为一种高普遍性、可以非接触式采集的重要生物特征，能更直观，更方便的核查一个人的身份。

计算机人脸识别技术就是利用计算机分析人脸图像，从中提取有效的识别信息，用来辨认身份的一门技术，由于其广泛的应用领域，在近三十年里得到了广泛的关注和研究。依托于图像理解、模式识别、计算机视觉和神经网络等技术，人脸识别技术在一定应用范围内获得了成功，并且正在被推向应用领域。比如：证件(如：驾驶执照、护照)中的身份认证；楼宇进出的安全控制；重要场所中的安全检测和监控；智能卡中的身份认证等。而随着网络技术日益走进人们的日常生活，网络的安全控制成为一个日益迫切的重要问题。利用人脸识别技术，可以进行计算机的登录控制，可以进行应用程序安全使用、数据库安全访问和文件加密，可以实现局域网和广域网的安全控制，可以保护电子商务的安全性。另外，人脸识别技术还被用在图像库检索技术，在大型人脸库中检索出与索引人脸相同或相近的脸像。

然而，虽然人类可以毫不困难地由人脸辨别一个人，但利用计算机进行完全自动的人脸识别还存在着许多困难。主要表现在：人脸是非刚体，存在表情变化；人脸随年龄增长发生变化；发型、眼镜等装饰对人脸造成遮挡；人脸图像受光照、成像角度、成像距离等的影响，所以很难从有限张人脸图像中提取出反映人脸内在的、本质的特征。此外人脸识别技术研究还涉及到模式识别、图像处理、计算机视觉、生理学、心理学及认知学等学科的发展，这诸多因素使得人脸识别研究成为一项极富挑战性的课题，同时一个成功的、具有商用价值的快速的人脸识别系统将会给社会带来极大的影响。

发明内容

本发明的目的在于：有效的融合了HMM模型良好的时间序列建模能力和支持向量机对于有限样本分类的优良性能，以DCT和SVD融合特征为观察向量，提出了一种基于HMM-SVM混合模型的人脸识别方法。

本发明的技术方案是：提出了一种基于HMM-SVM混合模型的人脸识别方法，该方法首先将人脸图像以采样窗从上到下进行采样，分别采用DCT和SVD提取各个采样窗图像的特征参数并串接成一维观察向量，然后将每个人的训练图像的观察向量用于训练每个人的HMM模型，将所有图像的观察向量采用Viterbi算法求出其对应于每个HMM模型的输出概率，并用于支持向量机的分类训练及识别测试，其具体实现步骤如下：

步骤1、图像预处理；

对人脸图像I(大小为w×h)进行一定的预处理，主要包括图像平滑以及图像灰度和方差的归一化处理。

步骤2、确定人脸图像采样窗；

人脸图像采样窗的确定方法如图1所示。人脸图像的宽度为W，高度为H，我们用采样窗从上到下进行采样，采样窗的高度为L，两个相邻采样窗之间的重叠部分为P。采样数也即序列的时间长度T由下式给出：

$T=\frac{H-L}{L-P}+1---\left(1\right)$

步骤3、提取采样窗图像的DCT系数；

对大多数图像来说，DCT有着很好的信息压缩性，这里大多数能量都集中在少数几个系数中，该变换是对随机信号的K-L变换的一种近似方法，是一阶马尔可夫过程，它能提供一系列真实图像的逼近模型。同时，由于DCT的容易实现及计算上的优势使得它在人脸识别方面比K-L变换更具优越性，也是一种有效的全局特征提取方法。

给定一个长度为N的序列u(n)，其离散余弦变换定义为：

$v\left(k\right)=\mathrm{\α}\left(k\right)\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}u\left(n\right)\cos \left(\frac{(2n+1)\mathrm{\πk}}{2N}\right)0\≤k\≤N-1---\left(2\right)$

其中 1≤k≤N-1，从定义中可以看出，对一个输入序列进行离散余弦变换，就是将序列分解成一组基本余弦序列基的线性叠加。图像是一个二维信号，对于一幅M×N的图像A_x，y，其离散余弦变换为：

$C(u,v)=\mathrm{\α}\left(u\right)\mathrm{\α}\left(v\right)\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{A}_{x,y}\cos \left[\frac{(2x+1)\mathrm{u\π}}{2M}\right]\cos \left[\frac{(2y+1)\mathrm{v\π}}{2N}\right]---\left(3\right)$

其中： $\mathrm{\α}\left(u\right)=\left\{\begin{array}{cc}\sqrt{1/N}& u=0\\ \sqrt{2/N}& u=\mathrm{1,2},...,N-1\end{array}\right.$

图像的二维DCT系数构成一个与原图像大小相同的矩阵，其低频系数集中在矩阵的左上角，是图像中变化较慢的成分，高频系数集中在矩阵的右下角，是图像的细节和边缘成分。经过DCT变换之后，图像的主要信息集中在低频部分，因此，我们通过提取DCT系数的左上角矩阵，取其低频分量并将之转化成一维的向量作为识别的特征向量。

步骤4、按从上到下的顺序，提取人脸图像所有采样窗图像的DCT系数，并将其列成两维矩阵；

步骤5、提取采样窗图像的SVD特征；

由于SVD具有良好的稳定性、比例不变性和旋转不变性，能有效的反映矩阵的特征，在人脸识别中，将图像矩阵的奇异值作为识别特征是一种常用的特征提取方法。

设一个人脸图像矩阵A的秩为k，通过SVD此矩阵可被分解为：

$A=U\left[\begin{array}{cc}{\mathrm{\Λ}}^{1/2}& O\\ O& 0\end{array}\right]V^H$ 或 $S\≡\left[\begin{array}{cc}{\mathrm{\Λ}}^{1/2}& O\\ O& 0\end{array}\right]=U^H\mathrm{AV}---\left(4\right)$

其中Λ^1/2是以

为元素的k×k对角矩阵，而λ_i是矩阵A^HA的非零特征值。O表示了一个零元素矩阵，即存在单位矩阵U和V，使得变换后的矩阵S是对角的。由公式(4)可得：

$A=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\sqrt{{\mathrm{\λ}}_i}{u}_i{v_i}^H---\left(5\right)$

其中u_i和v_i分别是U和V的前k列。更精确的，u_i和v_i分别是AA^H和A^HA的特征向量。特征值λ_i看作是A的奇异值，公式(5)的展开式即为A的奇异值分解。

步骤6、按从上到下的顺序，提取人脸图像所有采样窗图像的SVD特征，并将其列成两维矩阵；

步骤7、将采样窗图像的DCT系数矩阵和SVD特征矩阵按行串接成一个两维矩阵，并按行以公式ε_i＝ε_i/∑abs(ε_i)将每一行观察向量进行归一化，获得整个人脸图像的观察向量；

步骤8、同样，重复步骤2-7获取所有人脸图像的观察向量；

步骤9、确定HMM人脸模型；

对正面端正的人脸图像，从上到下按人脸特征的顺序将前额、眼睛、鼻子、嘴巴和下颚分为状态1、2、3、4和5，然后依此顺序建立一个如图2所示的Markov链模型。该模型的特点是一定是从状态1(前额)出发，然后沿状态序号增加的方向转移，最终停在状态5(下颚)。人脸HMM由一组状态序列组成，每个对象的人脸用一个HMM的参数来表示，人脸的差异就是通过模型参数的不同表现出来的。

人脸图像的HMM由以下参数表示：N为垂直方向状态数；A为状态转移概率矩阵，A＝{a_ij，1≤i，j≤N}，在人脸识别的应用中，假定状态只能转移到本身或者是下一个状态(垂直方向上)，这样可以减少系统的复杂性；B为状态的观察值概率密度函数，B＝{b_j(o_t)，1≤j≤N，1≤t≤T}，其中o_t表示t时刻的观察向量；π是状态的初始概率分布，π＝{π_j，1≤j≤N}。

步骤10、训练HMM-SVM混合模型，如图4所示；

1、将每个人的训练图像的观察向量用于训练其个人HMM模型，在人脸识别系统中，将每个人的图像采样窗观察向量用于HMM模型的训练，分别为每个人脸进行建模，如图3所示。

建模的关键问题是如何确定HMM参数，这是HMM三个问题中的学习问题，采用Baum-Welch算法，具体步骤如下：

(1)适当的选择模型的初始函数λ＝(π，A，B)。由于采用从左到右的拓扑结构，初始状态概率π_i可设定为π₁＝1，π_i＝0(i＝2，…，N)。B的初值选择对HMM参数收敛影响较大，采用分段K均值算法(Segmental K-Means Procedure)选取初值。

(2)定义ξ_t(i，j)为给定训练序列O和模型λ时，时刻t时马尔可夫链处于状态i和时刻t+1为状态j的概率，即

${\mathrm{\ξ}}_t(i,j)=P(s_t=i,s_{t+1}=j|O,\mathrm{\λ})=\frac{{\mathrm{\α}}_t\left(i\right)a_{\mathrm{ij}}{b}_j\left(O_{t+1}\right){\mathrm{\β}}_{t+1}\left(j\right)}{P\left(O\right|\mathrm{\λ})}---\left(6\right)$

那么时刻t马尔可夫链处于状态i的概率为

${\mathrm{\ξ}}_t\left(i\right)=P(O,q_t=i|\mathrm{\λ})=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_t(i,j)---\left(7\right)$

导出重估公式

给定一个训练符号序列O＝O₁，O₂，…，O_T，由初始模型计算ξ_t(i，j)，根据上述重估公式计算

和

得到新的模型参数

可以证明

再给定一个训练符号序列O＝O₁，O₂，…，O_T，由新的模型参数λ作为初始模型重新估计。

(3)如此反复直至

收敛，不再增大，此时的

即为所求的HMM模型参数。

2、将训练图像的观察向量采用Viterbi算法求出其对应于每个HMM模型的输出概率，然后将其串接成一维向量并做归一化处理；

3、将训练图像的输出概率向量用于训练支持向量机分类器；

步骤11、将测试图像的观察向量作为混合模型的测试向量，采用Viterbi算法求出其对应于每个HMM模型的输出概率，然后将其串接成一维向量并做归一化处理；

步骤12、将测试图像对应于HMM模型的输出概率向量用于支持向量机分类器的分类测试，获得人脸识别结果。

本发明与现有技术相比具有以下优点：

1、由于HMM利用上下文关系进行模式识别，更多的表达了类别内的相似性，而SVM适合于处理分类问题，更大程度上反映了类别间的差异，它们各自的优势正好弥补了彼此的不足。针对HMM只以最大概率判断的不足，可以利用SVM的分类上的优势弥补，同时利用HMM处理连续动态信号问题的特点，计算各HMM模型与待辨识人脸图像的匹配程度，形成特征值，提供给SVM进行识别，减少SVM由于忽略人脸各器官的内在联系而导致的识别错误。

2、以往的HMM人脸识别方法大多采用单一的特征方式来提取观察向量，没有充分考虑到人脸不同特征之间的互补性。鉴于此，我们采用每一个采样窗图像的DCT系数和SVD向量作为训练HMM的人脸图像观察向量。由于DCT系数对光照、表情、姿态具有一定的不敏感性，以及SVD方法对图像所具有的稳定性、比例不变性和旋转不变性，因此将其作为观察向量要优于直接采用人脸灰度值或其它单一的特征向量。另外，由于这两种变换所具有的良好的数据压缩性，能有效的实现数据降维，降低人脸识别过程中计算的复杂度。

附图说明

图1是本发明的人脸图像采样窗图

图2是本发明的一维HMM人脸模型结构

图3是本发明的HMM训练模型

图4是本发明的HMM-SVM混合模型流程图

图5是本发明的基于HMM-SVM混合模型的人脸识别系统流程图

具体实施方式

参考图5，它是本发明实现步骤的流程图，结合该图对本发明的实施过程作详细的说明。本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。

实施例采用了一个公用的人脸数据库，英国剑桥大学的ORL人脸数据库。ORL库包含40个人的400幅112×92大小的人脸图像，每人10幅。这些图像是在不同时间拍摄的，有姿态、角度、尺度、表情和眼镜等变化。具体的人脸识别过程如下：1、图像预处理

对112×92大小的人脸图像进行预处理，主要包括图像平滑和对比度校正等图像增强以及图像灰度及方差的归一化处理。经过预处理之后，所有图像的灰度统一到标准水平，且灰度层次比较分明，同时，为了节省运算的时间及存储量，我们采用双线性插值法将图像压缩至24×24大小。另外，由于基于图像重构的人脸识别方法是基于单个人的人脸样本进行特征脸提取的，实验样本数较少，为了更为有效的提取人脸特征子空间，我们将人脸库中所有图像进行了左右的镜像，扩大了训练及测试样本的数量。

2、特征提取

(1)确定人脸图像采样窗；

人脸图像采样窗的确定方法如图1所示，其中参数L和P的选择在很大程度上影响着识别率。一般情况下，重叠部分越大，识别率也越高，因为这样可以得到更长的观察序列。如果图像采样块间没有重叠，当采样高度L过小时，采样的块不一定与重要的人脸特征相联系，并且增加系统的复杂度；而当采样高度L过大时，又会增加在采样时切割人脸特征的概率。一般来说，L≈H/10，P≤L-1，在P足够大的情况下(P≤L-1)，系统的识别率不敏感于L，在本文的实验中，我们取P＝7，L＝8；

(2)提取图像采样窗的DCT系数和SVD特征；

采样窗图像大小为24×8，经过DCT变换之后，图像的二维DCT系数构成一个与原图像大小相同的矩阵，其低频系数集中在矩阵的左上角，而图像的主要信息都集中在低频部分。因此，我们以按Zig-Zag顺序提取DCT系数左上角7×3大小的矩阵的低频系数作为图像的DCT特征。同样，将采样窗图像以SVD变换，提取其SVD特征，本实验取的SVD特征维数为8。

(3)从上往下提取人脸图像的各采样窗的DCT系数和SVD特征，并将各采样窗图像的DCT系数矩阵和SVD特征矩阵按行串接成一个向量，以ε_i＝ε_i/∑abs(ε_i)将每个采样窗获得的观察向量进行归一化，最终获得一个人脸图像的观察值序列；

(4)重复以上步骤获取所有人脸图像的观察向量。

3、训练及识别

(1)对正面端正的人脸图像，从上到下按人脸特征的顺序将前额、眼睛、鼻子、嘴巴和下颚分为状态1、2、3、4和5，然后依此顺序建立一个如图2所示的HMM人脸模型结构；

(2)以每个人的人脸图像观察向量作为训练向量，采用Baum-Welch算法，训练得出其HMM模型；

(3)将所有图像的观察向量采用Viterbi算法求出其对应于每个HMM模型的输出概率，然后将其串接成一维向量并做归一化处理；

(4)将训练图像的输出概率向量用于训练支持向量机分类器；

(5)将测试图像的输出概率向量用于支持向量机分类器的分类测试，获得人脸识别结果。

为了更好的说明算法的有效性，我们采用随机抽取数据库中一半图像用于训练，另一半用于识别的做法，即每人的5个样本及其镜像(共10个训练样本)进行训练，相应剩余的样本及其镜像(10个测试样本)进行测试，并将此实验重复50次，取这50次识别率的平均值作为最终的实验结果，实验结果如表1所示。

表1不同方法的识别结果比较

识别方法	正确识别率(％)
		HMM	84.00
DCT+HMM	92.00
		SVD+HMM	89.65
DCT+SVD+HMM	92.58
		DCT+SVD+HMM-SVM	94.5

从表1可以看出，在基于ORL的人脸识别实验中，基于HMM-SVM混合模型的人脸识别方法得到的正确识别率为94.5％，相比于其它的典型的HMM人脸识别方法在识别率上有了较大的提高。实验结果说明了该方法能有效的结合HMM和SVM各自的优势，提高人脸识别的准确率。

Claims (1)

1.一种基于HMM-SVM混合模型的人脸识别方法，其特征在于，包括人脸图像预处理、人脸图像的DCT和SVD特征提取，HMM-SVM混合模型的训练和识别，其主要的识别步骤如下：

(1)图像平滑以及图像灰度和方差的归一化处理；

(2)确定人脸图像采样窗；

(3)提取DCT系数的左上角矩阵，取其低频分量并将其按行堆叠成一维向量，并从上到下依次提取出人脸图像所有的采样窗图像DCT系数，并将其列为两维矩阵；

(4)按从上到下的顺序，提取人脸图像所有采样窗图像的SVD特征，并将其列成两维矩阵；

(5)将采样窗图像的DCT系数矩阵和SVD特征矩阵按行串接成一个两维矩阵，然后将其归一化，获得人脸图像的观察向量；

(6)重复步骤(3)-(5)获取所有图像的观察向量；

(7)将每个人的训练图像的观察向量用于训练其个人HMM模型，采用Baum-Welch算法确定HMM模型参数；

(8)将所有图像的观察向量采用Viterbi算法求出其对应于每个HMM模型的输出概率，然后将其串接成一维向量并做归一化处理；

(8)将训练图像的输出概率向量用于训练支持向量机分类器；

(9)将测试图像的输出概率向量用于支持向量机分类器的分类测试，获得人脸识别结果。

Images