CN103034847B - 一种基于隐马尔可夫模型的人脸识别方法 - Google Patents

Abstract

本发明涉及一种基于隐马尔可夫模型的人脸识别方法，具体包括以下步骤：建立人脸隐马尔可夫模型；对样本图像采样，得到特征向量，确定模型各初始参数；反复迭代训练隐马尔可夫模型，对于每个人脸都产生一个具有不同参数隐马尔可夫模型；对待识别图像采样，得到特征向量；将待识别图像的特征向量分割，对所有隐马尔可夫模型递进地计算最大相似度，同时排除相似度最小的隐马尔可夫模型，最后得到识别结果。本发明利用人脸HMM的结构确定的隐含状态总是从代表头部的状态开始，并且只可能向下一个状态转移的特征和Viterbi算法动态规划的特性，将观察向量分割，并在计算相似度时通过中间结果来排除可能性较小的人脸模型，达到减少计算量的效果。

Description

一种基于隐马尔可夫模型的人脸识别方法

技术领域

本发明涉及一种观察序列分割方法，用于隐马尔可夫(HiddenMarkovModel,HMM)的人脸识别，属于统计方法人脸识别领域。

背景技术

作为图像识别的重要研究方向，人脸识别技术是当前生物特征识别技术中的研究热点。与其他生物特征的识别相比，人脸图像能更直观、更方便地核查人的身份，是人类视觉中最普遍的模式，因此人脸识别的身份鉴定方法在商业、安全、法律等领域具有广阔的应用前景，己经成为计算机视觉、图像分析和理解中应用最成功的技术之一。

由于人脸识别受到光照，姿态，角度等环境因素影响，其识别率难以得到保证。从上世纪八九十年代起，各种人脸识别方法层出不穷，隐马尔可夫模型方法是一种重要的方法。大多数研究重点都是放在模型的训练与识别率的提高上。但是由于HMM脸识别的训练结果是每个人脸都得到一个模型，识别时需要把待识别人脸图像的特征序列代入每个人脸的HMM用Viterbi算法计算最大相似度。识别一张脸就必须使用一个序列，导致序列计算次数过多，且识别速度慢，效率低。

发明内容

发明目的：本发明提出了一种减少观察序列的计算次数，提高识别效率的人脸识别方法。

技术方案：本发明通过如下技术手段加以实现：

一种基于隐马尔可夫模型的人脸识别方法，包括以下步骤：

1）建立人脸隐马尔可夫模型；

2）对样本图像采样，得到特征向量，确定模型各初始参数；

3）反复迭代训练隐马尔可夫模型；

4）对待识别图像采样，得到特征向量；

5）将待识别图像的特征向量分割，对所有隐马尔可夫模型递进地计算最大相似度，同时排除相似度最小的隐马尔可夫模型，最后得到识别结果；

其中建立人脸图像的隐马尔可夫模型是以头发、额头、眼睛、鼻子和嘴巴区域作为隐含状态来建立相关的模型。

所述步骤2具体包括如下步骤：

1）对样本图像进行预处理，进行灰度化，归一化处理，去除图像的色彩信息并归一为统一的图像尺寸；

2）对样本图像窗口进行采样和特征提取，

3）对采样窗口进行和特征提取，提取后的特征作为样本图像的观察序列；

4）平均分割图像，并初始化模型参数；

步骤4具体包括如下步骤：

1）对待识别图像进行预处理，进行灰度化，归一化处理，去除图像的色彩信息并归一为与样本图像相同的尺寸；

2）对待识别图像窗口进行采样和特征提取，采样窗口的宽度、高度均与样本图像相同；

3）对采样窗口进行和特征提取，提取后的特征作为待识别图片的观察序列。

步骤5包括如下步骤：

1）根据步骤4得到待识别图片长度为T的观察序列O=O₁O₂...O_T，其中T>5，表示图像采样窗口的个数.将O平均分割为n份，每份长度为n≥3；

2）将O=O₁O₂...O_T/n代入所有m个HMM中使用Viterbi算法计算相似度，m表示已经训练好的隐马尔可夫模型的个数，m≥1，得到m个δ_T/n(i)，δ_T/n(i)表示当前观察序列在隐马尔可夫模型中的相似度，同时淘汰最小的个δ_T/n(i)对应的HMM；

3）将O_T/n+1O_T/n+1...O_2T/n代入个HMM中，同样得到个δ_2T/n(i)，淘汰掉最小的个δ_2T/n(i)对应的HMM；

上述步骤进行n次，每次都带入个观察序列，保存中间结果δ(i)，然后根据δ(i)排除最小的个HMM，最后在剩余的中计算P_l=max[δ_T(i)],求出的即为识别的结果；

若存在同属一个人的待识别图像，计算每个图像的识别结果，取次数最多的作为结果输出。

所述步骤1建立的隐马尔可夫模型的包括：

1)隐含状态的数目N，状态集为S={s₁,s₂,...,s_N}，N=5，分别对应人脸区间的头发、额头、眼睛、鼻子和嘴巴；

2)观察序列的数目M，观察序列集为V＝{v₁,v₂,...,v_m}，对于人脸隐马尔可夫模型，观察序列集为图像采样窗口得到的特征值；

3)状态转移矩阵A，A={a_ij}，a_ij＝P[q_t+1＝s_j|q_t=s_i]，1≤i,j≤N。其中q_t为在时刻t的状态。A为N×N的方阵，行和列都对应所有的状态，表示状态之间转移的概率；

4)观察序列概率矩阵B，B＝{b_j(k)}，b_j(k)=P[v_tatt|q_t＝s_j]，1≤j≤N，1≤k≤M，即表示在时刻t，隐含状态为s_j下观察值为v_t的概率。连续型HMM的B通过一个连续的函数得到观察序列与状态的关系，常用的是混合高斯概率密度函数；

π_i=P{s₁=q_i}

5)初始状态分布概率∏={π_i}，π₁＝1，其中1≤i≤N。则对于人脸隐马尔可夫模型，总有π₁＝1。

所述步骤1中根据人脸特征建立一维的HMM或二维EHMM(EmbeddedHMM)。

所述步骤2中建立的EHMM图像宽度为W，高度为H，采样窗口宽度为Y，长度为L。其中1≤Y<W，1≤L<H，采样窗口水平方向的的重叠部分为Ph，垂直方向的重叠程度为Pv。

步骤2中初始化隐马尔可夫模型的状态转移矩阵A和观察序列概率矩阵B，其中，A为N×N的方阵，行和列都对应所有的状态，表示状态之间转移的概率。B表示在各种隐含状态表现为不同观察值的概率。根据采样得到的特征向量，计算每个平均每个隐含状态包括的特征数，初始化状态转移矩阵A。连续型HMM的观察序列概率矩阵B通过一个连续的函数得到观察序列与状态的关系，常用的是使用混合高斯概率密度函数1≤j≤N，其中b_j(ot)表示观察序列在时刻t时的值o_t由隐含状态j所表现的概率，c_jm是状态j的第m个混合高斯权重，N(o_t,μ_jm,U_jm)是一个均值为μ_jm、方差为U_jm的高斯概率密度函数，M表示混合高斯概率密度函数混合的数目，其中混合系数满足

步骤3中使用Baum-Welch算法对模型参数进行重估直到收敛，然后保存各个参数值。

有益效果：本发明利用人脸HMM的结构确定的隐含状态总是从代表头部的状态开始，并且只可能向下一个状态转移的特征和Viterbi算法动态规划的特性，将观察向量分割，并在计算相似度时通过中间结果来排除可能性较小的人脸模型。一边识别，一边筛选人脸HMM。达到减少计算量的效果。本发明在常用人脸图像库如ORL库和YALE库中应用都有较好的效果，可以应用于识别速度要求较高的人脸识别系统中。

附图说明

图1为一维HMM人脸结构；

图2为EHMM人脸结构；

图3为改进的基于隐马尔可夫人脸识别流程。

具体实施方式

下面结合附图对本发明创造做进一步详细说明：

本发明使用的一维人脸隐马尔可夫模型结构，如图1所示，以头发、额头、眼睛、鼻子、和嘴巴等区域作为隐含状态，其中每个状态都只能转移到自身和下一状态，起始状态为头发状态。

本发明使用的EHMM结构，如图2所示，将一维的一个状态作为超状态，超状态内部扩展为一个水平方向的子HMM。每一个子HMM的状态都可以转移到自身或者下一个子状态，子HMM的最后一个状态都能转移到超HMM中下一个超状态中。起始状态为头发状态中的第一个水平子状态。

本发明改进基于隐马尔可夫模型的人脸识别流程，如图3所示，包括：

步骤A、建立人脸图像的隐马尔可夫模型，根据实际要求选择一维HMM或者EHMM；

步骤B、使用样本训练每个人脸的隐马尔可夫模型，确定模型参数：

步骤B1、对样本图像进行预处理，进行灰度化，归一化处理，去除图像的色彩信息并归一为统一的图像尺寸；

步骤B2、对样本图像窗口进行采样和特征提取。假定人脸图像宽度为W，高度为H，用宽度为W，高度为L的采样窗口对图像从上到下进行采样，两个相邻采样窗之间的重叠部分为P。采用较大的P能增加识别率，而L则需要取得相对适中，较大或较小都会影响识别结果。EHMM的图像宽度为W，高度为H，采样窗口宽度为Y，长度为L。其中Y<W，L<H。

采样窗口水平方向的的重叠部分为Ph，垂直方向的重叠程度为Pv。

步骤B3、对采样窗口进行和特征提取。较为常用的方法是对采样窗口进行DCT变换，取最大的前d个值，组成d维特征，作为观察序列；

步骤B4、平均分割图像，并初始化模型参数。人脸隐马尔可夫模型训练方法，其特征在于，所述步骤A建立的隐马尔可夫模型的包括：

1)隐含状态的数目N，状态集为S＝{s₁,s₂,...,s_N}，对于人脸隐马尔可夫模型，状态数为5，分别对应人脸区间的头发、额头、眼睛、鼻子和嘴巴；

2)观察序列的数目M，观察序列集为V＝{v₁,v₂,...,v_m}，对于人脸隐马尔可夫模型，观察序列集为图像采样窗口得到的特征值；

3)状态转移矩阵A，A={a_ij}，a_ij＝P[q_t+1＝s_j|q_t=s_i]，1≤i,j≤N。其中q_t为在时刻t的状态。A为N×N的方阵，行和列都对应所有的状态，表示状态之间转移的概率；

4)观察序列概率矩阵B，B={b_j(k)}，b_j(k)=P[v_tatt|q_t＝s_j]，1≤j≤N，1≤k≤M，即表示在时刻t，隐含状态为s_j下观察值为v_t的概率。连续型HMM的B通过一个连续的函数得到观察序列与状态的关系，常用的是混合高斯概率密度函数；

5)初始状态分布概率∏={π_i}，π_i=P{s₁=q_i}，其中1≤i≤N。则对于人脸隐马尔可夫模型，总有π₁＝1。

初始化隐马尔可夫模型的状态转移矩阵A和观察序列概率矩阵B，其中，A为N×N的方阵，行和列都对应所有的状态，表示状态之间转移的概率。B表示在各种隐含状态表现为不同观察值的概率。根据采样得到的特征向量，计算每个平均每个隐含状态包括的特征数，初始化状态转移矩阵A。连续型HMM的观察序列概率矩阵B通过一个连续的函数得到观察序列与状态的关系，常用的是使用混合高斯概率密度函数1≤j≤N，其中b_j(o_t)表示观察序列在时刻t时的值o_t由隐含状态j所表现的概率，c_jm是状态j的第m个混合高斯权重，N(_ot,μ_jm，U_jm)是一个均值为μ_jm、方差为U_jm的高斯概率密度函数，M表示混合高斯概率密度函数混合的数目，其中混合系数满足

步骤B5、使用Baum-Welch算法对模型参数进行重估，并直到收敛，此时隐马尔可夫模型训练完毕，保存各个参数值；

步骤C、将待识别的人脸图像代入模型中计算相似度：

步骤C1、对待识别图像进行预处理，进行灰度化，归一化处理，去除图像的色彩信息并归一为与样本图像相同的尺寸；

步骤C2、对待识别图像窗口进行采样和特征提取。采样窗口的宽度W，高度L均与样本图像相同；

步骤C3、对采样窗口进行和特征提取。较为常用的方法是对采样窗口进行DCT变换，取最大的前d个值，组成d维特征，作为观察序列O；

步骤C4、将观察序列代入每个隐马尔可夫模型中寻找最大相似度的模型：

步骤C401、在得到待识别图片长度为T的观察序列O=O₁Om₂...O_T，其中T>5，表示图像采样窗口的个数.将O平均分割为n份，每份长度为

步骤C402、第一O=O₁O₂...O_T/n次将代入所有m个HMM中使用Viterbi算法计算相似度，m表示已经训练好的隐马尔可夫模型的个数，m≥1。得到m个δ_T/n(i)，δ_T/n(i)表示当前观察序列在隐马尔可夫模型中的相似度，同时淘汰最小的个δ_T/n(i)对应的HMM；

步骤C403、第二次，将O_T/n+1O_T/n+1...O_2T/n代入个HMM中，同样得到个δ_2T/n(i)，淘汰掉最小的个δ_2T/n(i)对应的HMM；

步骤C404、进行n步，每次都带入个观察序列，保存中间结果δ(i)，然后根据δ(i)排除最小的个HMM，最后在剩余的m/n中计算P_l=max[δ_T(i)],求出即为识别的结果；

步骤D、若存在同属一个人的待识别图像，计算每个图像的识别结果，取次数最多的作为结果输出。

本发明方法可以提高基于隐马尔可夫模型的人脸识别效率，实验结果表明，在取观察序列分割数n大于3时，能减少34.9%以上的时间消耗。可将该方法应用于门禁控制及大规模人像搜索等对识别速度要求较高的环境中，在几乎不降低识别率的同时，极大地提高识别速度。

Claims (6)

1.一种基于隐马尔可夫模型的人脸识别方法，其特征在于，包括以下步骤：

1)建立人脸隐马尔可夫模型；

2)对样本图像采样，得到特征向量，确定模型各初始参数；

3)反复迭代训练隐马尔可夫模型，根据给定样本个数，对于每个人脸都产生一个具有不同参数隐马尔可夫模型，一共m个，m≥1；

4)对待识别图像采样，得到特征向量；

5)将待识别图像的特征向量分割，对所有隐马尔可夫模型递进地计算最大相似度，同时排除相似度最小的隐马尔可夫模型，最后得到识别结果；

其中建立人脸图像的隐马尔可夫模型是以头发、额头、眼睛、鼻子和嘴巴区域作为隐含状态来建立相关的模型；

所述步骤2具体包括如下步骤：

1)对样本图像进行预处理，进行灰度化，归一化处理，去除图像的色彩信息并归一为统一的图像尺寸；

2)对样本图像使用采样窗口进行采样；

3)对采样窗口进行和特征提取，提取后的特征作为样本图像的观察序列；

4)平均分割图像，并初始化模型参数；

步骤4具体包括如下步骤：

1)对待识别图像进行预处理，进行灰度化，归一化处理，去除图像的色彩信息并归一为与样本图像相同的尺寸；

2)对待识别图像窗口进行采样和特征提取，采样窗口的宽度、高度均与样本图像相同；

3)对采样窗口进行和特征提取，提取后的特征作为待识别图片的观察序列；

步骤5包括如下步骤：

1)根据步骤4得到待识别图片长度为T的观察序列O＝O₁O₂...O_T，其中T>5，表示图像采样窗口的个数.将O平均分割为n份，每份长度为

将O＝O₁O₂...O_T/n代入所有m个HMM中使用Viterbi算法计算相似度，m表示已经训练好的隐马尔可夫模型的个数，m≥1，得到m个δ_T/n(i)，δ_T/n(i)表示当前观察序列在隐马尔可夫模型中的相似度，同时淘汰最小的个δ_T/n(i)对应的HMM；

3)将O_T/nO_T+1/n...O_2T/n代入个HMM中，同样得到淘汰掉最小的个δ_2T/n(i)对应的HMM；

上述步骤进行n次，每次都带入个观察序列，保存中间结果δ(i)，然后根据δ(i)排除最小的个HMM，最后在剩余的中计算P_l＝max[δ_T(i)],求出的即为识别的结果；

若存在同属一个人的待识别图像，计算每个图像的识别结果，取次数最多的作为结果输出。

2.根据权利要求1所述的基于隐马尔可夫模型的人脸识别方法，其特征在于：所述步骤1建立的隐马尔可夫模型的包括：

1)隐含状态的数目N，状态集为S＝{s₁,s₂,...,s_N}，N＝5，分别对应人脸区间的头发、额头、眼睛、鼻子和嘴巴；

2)观察序列的数目M，观察序列集为V＝{v₁,v₂,...,v_m}，m≥1，对于人脸隐马尔可夫模型，观察序列集为图像采样窗口得到的特征值；

3)状态转移矩阵A，A＝{a_ij}，a_ij＝P[q_t+1＝s_j|q_t＝s_i]，1≤i,j≤N，其中q_t为在时刻t的状态，A为N×N的方阵，行和列都对应所有的状态，表示状态之间转移的概率；

4)观察序列概率矩阵B，B＝{b_j(k)}，b_j(k)＝P[v_tatt|q_t＝s_j]，1≤j≤N,1≤k≤M，即表示在时刻t，隐含状态为s_j下观察值为v_t的概率，连续型HMM的B通过一个连续的函数得到观察序列与状态的关系，所述连续的函数是混合高斯概率密度函数；

5)初始状态分布概率Π＝{π_i}，π_i＝P{s₁＝q_i}，其中1≤i≤N，则对于人脸隐马尔可夫模型，总有π₁＝1。

3.根据权利要求1所述的基于隐马尔可夫模型的人脸识别方法，其特征在于:所述步骤1中根据人脸特征建立一维的HMM或二维EHMM。

4.根据权利要求1所述的基于隐马尔可夫模型的人脸识别方法，其特征在于：所述步骤6中建立的EHMM图像宽度为W，高度为H，采样窗口宽度为Y，长度为L，其中1≤Y<W，1≤L<H，采样窗口水平方向的的重叠部分为P_h，垂直方向的重叠程度为P_v。

5.根据权利要求1所述的基于隐马尔可夫模型的人脸识别方法，其特征在于：步骤2中初始化隐马尔可夫模型的状态转移矩阵A和观察序列概率矩阵B，其中，A为N×N的方阵，行和列都对应所有的状态，表示状态之间转移的概率，B表示在各种隐含状态表现为不同观察值的概率，根据采样得到的特征向量，计算每个平均每个隐含状态包括的特征数，初始化状态转移矩阵A，连续型HMM的观察序列概率矩阵B通过一个连续的函数得到观察序列与状态的关系，所述连续的函数是使用混合高斯概率密度函数其中b_j(o_t)表示观察序列在时刻t时的值o_t由隐含状态j所表现的概率，c_jm是状态j的第m个混合高斯权重，N(o_t,μ_jm,U_jm)是一个均值为μ_jm、方差为U_jm的高斯概率密度函数，M表示混合高斯概率密度函数混合的数目，其中混合系数满足

6.根据权利要求1所述的基于隐马尔可夫模型的人脸识别方法，其特征在于：步骤3中使用Baum-Welch算法对模型参数进行重估直到收敛，然后保存各个参数值。