CN101299234A

CN101299234A - 一种基于嵌入式隐马尔可夫模型的人眼状态识别方法

Info

Publication number: CN101299234A
Application number: CNA2008100286484A
Authority: CN
Inventors: 秦华标; 洪填义
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2008-06-06
Filing date: 2008-06-06
Publication date: 2008-11-05
Anticipated expiration: 2028-06-06
Also published as: CN101299234B

Abstract

本发明公开了一种基于嵌入式隐马尔可夫模型的人眼状态识别方法，其包括如下步骤：对采集到的眼睛样本进行2D－DCT变换，对变换后的图像进行分析特征，寻找睁闭眼图像经过2D－DCT变换后的差异；对经过2D－DCT特征变换以后的人眼状态图像特征，采用嵌入式隐马尔可夫模型的方法进行训练得到分类器；用上一步骤得到的人眼睁闭状态分类器对待识别眼睛图像进行分类，首先将待识别眼睛图像经过2D－DCT变换得到观察向量序列，然后采用嵌入式隐马尔可夫模型的方法，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁闭状态。本发明提高了算法的鲁棒性、准确性和实时性，降低计算量，从而提高眼状态判别的速度。

Description

一种基于嵌入式隐马尔可夫模型的人眼状态识别方法

技术领域

本发明属于图像处理和模式识别技术的应用领域，特别涉及驾驶员疲劳检测技术中的人眼状态识别方法。

背景技术

在人眼状态识别领域，目前有很多方法，这些方法大致可以分为两大类：基于特征分析的人眼状态识别和基于模式分类的人眼状态识别。基于特征分析的人眼状态识别，眼睛状态主要是由内外眼角、上下眼睑、虹膜和巩膜等特征决定的，有以下三种典型的方法：灰度模板匹配法、虹膜和眼白提取法、Hough变换检测瞳孔法，这些都对人眼区域的像素精度要求较高，适用范围受到限制。基于模式分类的人眼状态识别，是根据样本自动学习规则或知识的方法判断出人眼状态，目前主要有特征眼、神经网络、SVM(SupportVector Machine)、HMM(Hidden Markov Model)等方法，该类方法一般需要对图像进行缩放、旋转等复杂的归一化处理，运算量大，而且对像素精度也有一定要求。

发明内容

本发明的目的在于克服现有技术存在的上述不足，提供一种基于嵌入式隐马尔可夫模型的人眼状态识别方法，对人眼图片的采集没有任何环境限制，在现有技术的基础上，进一步提高了算法的鲁棒性、准确性和实时性。本发明通过如下技术方案实现。

一种基于嵌入式隐马尔可夫模型的人眼状态识别方法，包括如下步骤：

(1)人眼特征的提取：对采集到的眼睛样本进行2D-DCT变换，对变换后的图像进行分析特征，寻找睁闭眼图像经过2D-DCT变换后的差异；

(2)人眼睁闭状态分类器的训练：对经过2D-DCT特征变换以后的人眼状态图像特征，采用嵌入式隐马尔可夫模型的方法进行训练得到分类器；

(3)人眼状态识别：用步骤(2)得到的人眼睁闭状态分类器对待识别眼睛图像进行分类，首先将待识别眼睛图像经过2D-DCT变换得到观察向量序列，然后采用嵌入式隐马尔可夫模型的方法，计算睁眼和闭眼分类器产生该序列的似然值(相似程度)，根据此似然值判定眼睛的睁闭状态。

上述方法中，步骤(1)中，从人眼状态样本库中提取人眼特征，该人眼状态样本库包含多个测试者在不同时间、不同光照条件、不同距离、不同面部表情、不同面部细节和不同脸部朝向条件下拍摄的多张人眼图像；对人眼状态样本库中的眼睛样本归一化后，进行2D-DCT变换，这些睁闭眼图像经过2D-DCT变换后，构成特征向量，其中包含睁闭眼之间的差异特征。

上述方法中，步骤(2)中所述分类器的训练过程如下：

(2.1)先对采集到的图像进行几何尺寸归一化处理和灰度均衡预处理，形成训练图像；

(2.2)对人眼图像进行采样并对每个采样窗进行2D-DCT变换，由2D-DCT变换后的低频系数构成观察向量序列；

(2.3)设定嵌入式隐马尔可夫模型的超状态个数和每一个超状态中的子隐马尔可夫模型状态数；

(2.4)根据超状态的个数和每个超状态内嵌入状态的个数以及嵌入式隐马尔可夫模型的结构，将人眼均匀分割；

(2.5)根据状态数和图像均匀分割后得到的观察向量序列，初始化嵌入式隐马尔可夫模型参数，通过双重嵌套的Viterbi算法，对图像进行重新分割；

(2.6)用Baum-welch算法重估嵌入式隐马尔可夫模型参数；

(2.7)当前后两次的迭代误差小于设定的阈值时，迭代停止，嵌入式隐马尔可夫模型训练完毕。

上述方法中，步骤(2.7)训练完成所得的分类器中某个状态的观察概率密度是由高斯概率密度函数的均值矢量和方差矢量来表征的，如果采用具有K个分量的混合高斯概率密度函数，则需要用K-Mean均值法将所有跟该状态有关的观测向量聚类成K类，每类分别求其均值和方差矩阵，作为各个高斯分量的均值和方差，采用高斯混合模型来表示人眼的两个状态；所述K＝3。

上述方法中，步骤(2.2)中，采样窗的大小为12*12，每次窗口的偏移量水平和垂直方向都为4个像素，提取采样窗口经2D-DCT变换后左上角的3*3个低频分量系数构成观察向量序列；所述观察向量序列包含9*16个特征向量。

上述方法中，步骤(2.3)中超状态个数取3，子隐马尔可夫模型状态序列取(4，4，4)，共12个子隐马尔可夫模型状态；步骤(2.4)中将人眼在垂直方向分割成3个超状态，然后将属于这个超状态的数据从左到右均匀分割成4个嵌入状态，分别与子隐马尔可夫模型状态相对应。

与现有技术相比本发明的优点与积极效果有：

1.DCT系数能反映2D信号在各方向和各频段的能量，从而基本上体现人眼在采样窗口内的主要分布和特殊结构；

2.本发明中，观察向量由图像块的二维DCT(2D-Discrete Cosine Transform，2D-DCT)系数构成，因为2D-DCT的结果是能量分布向低频成分集中，变换后能量集中在左上角对应于2D-DCT低频系数，因此只取2D-DCT左上角的低频系数组成观察向量，就可以表示人眼的主要特征。由采样图像块的2D-DCT低频系数构造观察向量可以降低对噪声和光照变化的敏感度，受图像姿态的影响也较小，另外很重要一点就是减少了观察向量的维数，降低计算量，从而提高眼状态判别的速度；

3.本发明中，将人眼图像分成块，利用2D-DCT变化以后的观察向量，建立嵌入式隐马尔可夫模型，既可以兼顾图像各个部分的特征，也可以兼顾总体特征；并且减少了计算量，提高了眼状态识别速度。

附图说明

图1是本发明中人眼嵌入式隐马尔可夫模型状态的具体例子图。

图2是图1人眼图像的嵌入式隐马尔可夫模型模型图。

图3a是实施方式中在人眼图像上提取2D-DCT变换窗口的示意图。

图3b是图3a提取出来的2D-DCT变换窗口示意图。

图4具体实施方式中嵌入式隐马尔可夫模型分类器训练模型图。

图5具体实施方式中基于人眼状态识别模型图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步说明。人眼状态识别方法的框图如图4和图5所示，其具体实现步骤如下：

步骤一：人眼特征的提取；

步骤二：人眼睁闭状态分类器的训练；

步骤三：人眼状态识别。

其中，步骤一的具体实施步骤为：

首先从人眼状态样本库中提取人眼特征，该人眼状态样本库包含多个测试者在不同时间、不同光照条件、不同距离、不同面部表情、不同面部细节和不同脸部朝向条件下拍摄的多张人眼图像；对采集到的眼睛样本归一化后，进行2D-DCT变换，对变换后的图像进行分析特征，睁闭眼图像经过2D-DCT变换后，构成9*16的特征向量，从中寻找睁闭眼之间的差异。图1将人眼图像分割成3*4的图像块，图2针对图1所分割出来的图像块建立嵌入式隐马尔可夫模型数学模型，图3中M表示水平偏移的步长、N表示垂直偏移的步长、P表示采样窗的长、Q表示采样窗的宽，图3a中虚线的矩形表示采样窗口(大小为P*Q)，偏移M行或者N列以后可以提取下一个采样窗口。图3b是根据图3a采集到的几个采样窗口，对其进行2D-DCT变换以后就可以得到所需的观察向量序列。

图1和图2中，由于睁闭眼图像都有其特征，不同拍摄条件下的人眼相片中还存在很多的随机性变异，我们对人眼做出适当的分割，人眼的上到下可以分为上中下3个重要组成部分，分别为上睫毛、瞳孔以及下睫毛，即具有结构上的恒常性。人眼的睁闭特征首先表现为上述组成部分特征的不同。我们用采集的人眼图像构造观察向量，那么观察向量与人眼状态特征之间的关系可以用一个一维马尔可夫模型(Hidden Markov Model，简记为HMM)表示。人眼状态的特征可以抽象为HMM的状态序列，相同状态的眼睛图像由于受到外界因素的影响而造成各个方面的不同，可以把这些不同的图像看作是同一组状态序列，它们对应的是同一个HMM，状态的出现及其转移可以用模型中的概率矩阵描述。对于相同的眼睛状态，所对应的HMM应当是唯一的。人眼状态识别模型研究工作的任务就于通过已收集的人眼图像来分析和建立隐Markov模型，进一步的研究分析表明，人眼水平方向自左向右也具有相对稳定的空间结构，因此，可将沿垂直方向划分的上中下3个状态再分别扩充为含有沿水平方向变化的HMM，我们把垂直方向的HMM称为主HMM，水平方向嵌入的多组HMM称为子HMM，因而可以将这种嵌入了水平方向状态转移的扩充了的一维HMM称嵌入式隐马尔可夫模型(Embedded Hidden Markov Model，简称为EHMM)。

步骤二的具体实施步骤为：

图4所示根据人眼图像经过2D-DCT特征变换以后的特征观察向量序列，采用嵌入式隐马尔可夫模型的方法进行训练，训练分类器的过程如下：

1)先对采集到的图像进行几何尺寸归一化成24*24，进行灰度均衡等预处理工作，形成训练图像。

2)对人眼图像进行采样并对每个采样窗进行2D-DCT变换，由2D-DCT变换后的低频系数构成观察向量序列(在本系统中，采样窗的大小为12*12，每次窗口的偏移量水平和垂直方向都为4个像素，提取采样窗口经2D-DCT变换后左上角的3*3个低频分量系数，共构成9*16的观察向量序列)。

3)设定嵌入式隐马尔可夫模型的超状态数和每一个超状态中嵌入子隐马尔可夫模型的状态数。本文超状态取3，子嵌入式隐马尔可夫模型状态序列取(4，4，4)共12个子嵌入式隐马尔可夫模型状态。

4)根据超状态的个数和每个超状态内嵌入状态的个数以及嵌入式隐马尔可夫模型的结构，将人眼均匀分割：首先，将人眼在垂直方向分割成3个超状态；然后，将属于这个超状态的数据从左到右均匀分割成4个嵌入状态，分别与子嵌入式隐马尔可夫模型状态相对应。

5)根据状态数和图像均匀分割后得到的观察向量，初始化嵌入式隐马尔可夫模型参数。通过双重嵌套的Viterbi算法，对图像进行重新分割。

6)用Baum-welch算法重估模型参数。

7)当前后两次的迭代误差小于某个设定的阈值时，迭代停止，嵌入式隐马尔可夫模型训练完毕。对于嵌入式隐马尔可夫模型某个状态的观察概率密度是由高斯概率密度函数的均值矢量和方差矢量来表征的。如果采用具有K个分量的混合高斯概率密度函数，则需要用K-Mean均值法将所有跟该状态有关的观测向量聚类K成类，每类分别求其均值和方差矩阵，作为各个高斯分量的均值和方差。采用高斯混合模型来表示人眼的两个状态，也就是人眼图像的观察向量概率矩阵，K＝3。

步骤三的具体实施步骤为：

如图5所示眼状态识别的时候，首先将待识别眼睛图像分块，并提取窗口经过2D-DCT变换以后的图像构造观察向量序列，然后采用嵌入式隐马尔可夫模型的方法，计算睁眼和闭眼分类器产生该序列的似然值(相似程度)，根据此似然值(相似程度)判定眼睛的睁闭状态，图中P(O|λ₁)、P(O|λ₂)分别用于计算睁眼和闭眼分类器产生该序列的似然值。

Claims

1.一种基于嵌入式隐马尔可夫模型的人眼状态识别方法，其特征在于包括如下步骤：

(3)人眼状态识别：用步骤(2)得到的人眼睁闭状态分类器对待识别眼睛图像进行分类，首先将待识别眼睛图像经过2D-DCT变换得到观察向量序列，然后采用嵌入式隐马尔可夫模型的方法，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁闭状态。

2.根据权利要求1所述的方法，其特征在于步骤(1)中，从人眼状态样本库中提取人眼特征，该人眼状态样本库包含多个测试者在不同时间、不同光照条件、不同距离、不同面部表情、不同面部细节和不同脸部朝向条件下拍摄的多张人眼图像；对人眼状态样本库中的眼睛样本归一化后，进行2D-DCT变换，这些睁闭眼图像经过2D-DCT变换后，构成特征向量，其中包含睁闭眼之间的差异特征。

3.根据权利要求1或2所述的方法，其特征在于步骤(2)中所述分类器的训练过程如下：

(2.6)用Baum-welch算法重估嵌入式隐马尔可夫模型参数；

4.根据权利要求3所述的方法，其特征在于步骤(2.7)训练完成所得的分类器中某个状态的观察概率密度是由高斯概率密度函数的均值矢量和方差矢量来表征的，如果采用具有K个分量的混合高斯概率密度函数，则需要用K-Mean均值法将所有跟该状态有关的观测向量聚类成K类，每类分别求其均值和方差矩阵，作为各个高斯分量的均值和方差，采用高斯混合模型来表示人眼的两个状态；所述K＝3。

5.根据权利要求4所述的方法，其特征在于步骤(2.2)中，采样窗的大小为12*12，每次窗口的偏移量水平和垂直方向都为4个像素，提取采样窗口经2D-DCT变换后左上角的3*3个低频分量系数构成观察向量序列；所述观察向量序列包含9*16个特征向量。

6.根据权利要求5所述的方法，其特征在于步骤(2.3)中超状态个数取3，子隐马尔可夫模型状态序列取(4，4，4)，共12个子隐马尔可夫模型状态；步骤(2.4)中将人眼在垂直方向分割成3个超状态，然后将属于这个超状态的数据从左到右均匀分割成4个嵌入状态，分别与子隐马尔可夫模型状态相对应。