CN103745192A - 计算机基于层叠式主成分分析法智能识别视频中人眼状态的方法 - Google Patents

Abstract

本发明公开了一种计算机基于层叠式主成分分析法智能识别视频中人眼状态的方法，包括以下步骤：（1）采集人眼训练图像，对人眼训练图像进行主成分分析，获得特征眼子空间和系数子空间；（2）将视频中每幅待测人眼图像投影到特征眼子空间和系数子空间中得到另一组新系数向量；取出所有新系数向量的第一个值作为系数值；以视频中的帧数为x轴，相应帧人眼图像对应的系数值为Y轴构建一条帧数-系数值的原始数据曲线；（3）获得一条与原始数据曲线相对应的基准曲线以及差值曲线；（4）将差值曲线上的差值与预设的系数阈值作比较；判断视频中人眼状态。该方法具有很强的自适应性，能够有效克服不同人眼睛的差别带来的影响。

Description

计算机基于层叠式主成分分析法智能识别视频中人眼状态的方法

技术领域

本发明属于智能交通技术领域，具体涉及一种计算机基于层叠式主成分分析法智能识别视频中眼睛状态的方法。 

背景技术

眼睛是人体面部最重要的特征，在数字图像处理和计算机视觉研究与应用中有着极为重要的作用，眼睛睁闭状态的检测是虹膜识别、视线跟踪和驾驶员疲劳检测等系统的关键环节，检测的准确率直接影响到系统的性能。然而，在实际应用过程中，不均匀光照、光斑、睫毛和眼镜框等诸多因素的影响，使眼睛睁闭状态识别成为了一个极具挑战性的任务。 

目前的眼睛睁闭状态检测方法主要有以下两大类：基于眼球/瞳孔检测的方法和基于眼部结构特征的方法。前者主要通过检测眼部图像是否含有眼球/瞳孔来判断眼睛的状态；后者主要根据眼部整体结构特征的变化，如上下眼睑的变化来判断眼睛的状态。基于眼球/瞳孔检测的方法主要有灰度积分投影法和Hough变换检测瞳孔等算法：灰度积分投影法由于只用到图像的灰度信息，计算量少，速度快，但当出现睫毛、镜框和光斑等因素干扰时，该算法将变得不再适用；Hough变换算法需要进行边缘提取，而边缘的提取往往难度较大，易受到睫毛和不均匀光斑等的干扰，且拟合速度较慢，很难达到实时要求。基于眼部结构特征的算法主要有可变性模板法和神经网络法：可变性模板或将主动形状模型(ASM，Active Shape Model）用于检测上下眼睑的方法较为耗时，且检测效果受模板参数的影响；神经网络法的泛化能力较差，而样本的选取往往很难覆盖实际应用中的各种情况。而基于多种策略组合的研究状态检测方法，需要过多的人为参与，检测效果因人而异，且此方法流程流于繁琐，检测速度很难达到实时要求。本发明因此而来。 

发明内容

本发明提供的一种计算机基于层叠式主成分分析法智能识别视频中眼睛状态的方法，解决了现有技术中计算机进行眼睛睁闭状态的识别时普遍存在方法实时性差、易受多种因素的影响、鲁棒性差的问题。 

为了解决现有技术中的这些问题，本发明提供的技术方案是： 

一种计算机基于层叠式主成分分析法智能识别视频中人眼状态的方法，其特征在于所述方法包括以下步骤： 

（1）采集人眼训练图像，对人眼训练图像进行第一层主成分分析，获得特征眼子空间；将每幅人眼训练图像投影到特征眼子空间中，分别得到一组系数向量，组合得到一个系数矩阵；对系数矩阵进行第二层主成分分析，得到系数子空间； 

（2）将视频中每幅待测人眼图像投影到步骤（1）得到的特征眼子空间上，分别得到一组系数向量；将系数向量分别投影到步骤（1）获得的系数子空间中得到另一组新系数向量；取出所有新系数向量的第一个值作为系数值；以视频中的帧数为x轴，相应帧人眼图像对应的系数值为Y轴构建一条帧数-系数值的原始数据曲线； 

（3）进行均值滤波处理获得一条与原始数据曲线相对应的基准曲线；将原始数据曲线和基准曲线上的对应值相减并取绝对值，就得到一条差值曲线； 

（4）将差值曲线上的差值与预设的系数阈值作比较；若差值小于系数阈值，则判定为视频中人眼状态为睁眼状态；若差值大于系数阈值，则判定视频中人眼状态为闭眼状态。 

优选的，所述方法步骤（3）中均值滤波处理是以某一帧人眼图像为中心获取前后若干帧人眼图像对应的系数值，然后求取它们的平均值作为该帧原始系数值的基准值；以视频中的帧数为x轴，相应帧原始系数值的基准值为Y轴构建一条帧数-基准值的基准曲线。 

优选的，所述方法中每一帧的待测人眼图像和人眼训练图像均经归一化处理成大小相同，且人眼区域均为右眼区域或左眼区域的图像。 

优选的，所述方法步骤（1）中假设人眼训练图像共有K幅，归一化处理后大小均为n×m的图像，将每幅图像按列优先构成一个n×m的列向量，即： 

x＝(b₁₁b₂₁…b_n1b₁₂b₂₂…b_n2…b_1nb_2n…b_nm)； 

以每幅图像的列向量为一列，构成一个维数为（n×m）×K的矩阵X， 即：X=(x₁,x₂,...,x_i),i＝1,2,...,K。 

优选的，所述方法步骤（1）中对人眼训练图像进行第一层主成分分析，获得特征眼子空间的步骤包括： 

1）定义平均人眼为：

则所有训练样本的协方差矩阵为：  $\mathrm{\Ψ}=\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\left[(x_i-u_x){(x_i-u_x)}^T\right];$

2）每个人眼x_i与平均人眼u_x的差值向量为：w_i＝x_i-u_x，记W＝(w₁,w₂,...,w_K)，则

矩阵Ψ为K-L变换的生成矩阵； 

3）假设差值向量为W∈R^K，其中(n×m）>>K，则WW^T∈R^K的特征值由W^TW∈R^K得到；对W^TW进行奇异值（SVD）分解得到其非零特征值(λ₁,λ₂,...,λ_r)及对应的特征向量V=(v₁,v₂,...,v_r)，则WW^T正交归一化特征向量为 

i=1,2,…,r；其中λ₁,λ₂,...,λ_r从大到小排序，1≤r＜K； 

则获得Ψ的非零特征值为(λ₁/K,λ₂/K,...,λ_r/K)及其对应的单位正交特征向量(u₁,u₂,...,u_r)后，得到人眼特征子空间U=(u₁,u₂,...,u_r)∈R^n×m×r。 

优选的，所述方法步骤（1）或（2）中将每幅人眼图像投影到特征眼子空间中，分别得到一组系数向量的步骤为将人眼图像x投影到特征眼子空间中，得到其对应的投影系数向量y为：y＝U^T(x-u_x)，不同的图像得到不同的系数向量y。 

优选的，所述方法中当每一幅人眼训练图像x投影到特征眼子空间中，分别得到一组系数向量y，将其组合在一起就得到一个系数矩阵Y；对系数矩阵Y再次进行主成分分析，得到一个新的特征子空间，即系数子空间P。 

为弥补现有技术的不足，本发明的目的在于提供一种计算机基于层叠式主成分分析法智能识别视频中人眼状态的方法，该方法根据驾驶员的眼睛状态判断驾驶员的疲劳程度，可以对驾驶员进行提醒，约束司机的违规驾驶行为。本发明解决了目前眼睛睁闭状态的识别方法普遍存在实时性差、易受多 种因素的影响、鲁棒性差的问题。 

本发明技术方案的基本原理在于主成分分析法（PCA，Principal Component Analysis），是一种数学变换的方法,它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。主成分分析法基于降维的思想，把多指标转化为少数几个综合指标。 

具体的基于层叠式主成分分析法（PCA，Principal Component Analysis）来判断眼睛睁闭状态的方法，包括以下步骤： 

1.读入人眼训练图像 

离线采集人眼图像构成人眼库。设有K幅大小为n×m的图像，将每幅图像按列优先构成一个n×m的列向量，以每幅图像的列向量为一列，构成一个维数为（n×m）×K的矩阵X=(x₁,x₂,...,x_i),i＝1,2,...,K。 

2.利用主成分分析得到人眼特征子空间（第一层主成分分析） 

PCA是统计学中分析数据的一种有效的方法，其基本的数学思想是将原来具有一定相关性的指标重新组合成一组新的线性无关的综合指标来代替原来的指标。它的基础是K-L变换，通过求解训练样本的散布矩阵的特征值问题，给出一组远远小于样本空间维数的正交基来表示训练样本张成的子空间。 

3.把图像投影到特征眼子空间 

每一幅人眼图像向特征子空间投影，得到一组坐标系数（向量），对应于子空间中的一个点。反过来，子空间中的任意一点也对应于一幅图像。由此对应关系，这组系数向量就可以作为人眼状态识别的依据，即这张人眼图像的特征眼特征。即，任一幅人眼图像都可表示为这组特征眼的线性组合，各个加权系数就是K-L变换的展开系数，可作为图像的识别特征。将待测人眼图像x投影到特征眼子空间中，得到其对应的系数向量y。 

4.对系数向量再次进行主成分分析（第二层主成分分析） 

每一幅人眼训练图像投影到步骤3中得到的特征眼子空间中，分别得到一组系数向量，将其组合在一起就得到一个系数矩阵。对这个系数矩阵再次进行主成分分析，得到一个新的特征子空间，称为系数子空间。 

5.眼睛睁闭状态识别 

包括以下步骤： 

（1）原始系数值的计算：对于在线视频中实时采集到的某一幅人眼图像，将其投影到第一层主成分分析中得到的特征眼子空间中，得到一组系数向量，将这组系数向量投影到第二层主成分分析得到的系数子空间中，得到与该幅人眼图像对应的另外一组新的系数向量，取出这组新系数向量中的第一个值。按照同样的方法可得到在线视频中每幅人眼图像所对应的数值（称为系数值），用它们来分析眼睛睁闭状态。这样就形成了以帧数为x轴，每帧人眼图像对应的系数值为Y轴的一条帧数-系数值的原始数据曲线。 

（2）基准值的计算：对于某一帧人眼图像对应的系数值，取以其为中心的前后数帧的系数值，然后求取它们的平均值作为该帧原始系数值的基准值，这样就得到了一条与原始数据曲线相对应的基准曲线。 

（3）差值的计算：将原始数据曲线和基准曲线上的对应值相减并取绝对值，就得到一条差值曲线。 

（4）眼睛睁闭状态识别：首先，根据大量实验结果，设定一个系数阈值用于判定睁闭眼状态。然后将差值曲线上的查值与设定好的系数阈值作比较，若差值小于系数阈值，则判定为睁眼状态；若差值大于系数阈值，则判定为闭眼状态。 

眼睛睁闭状态的判定可以广泛应用于各类智能交互系统，如驾驶员疲劳预警系统，且其状态判定的准确率直接影响整个系统的最终性能，而当前的眼睛状态识别方法普遍存在实时性差和易受光照、眼镜框、皱纹等因素影响的问题。针对上述问题，本发明提出一种基于层叠式主成分分析法来判断眼睛睁闭状态的方法，进一步提高了算法的鲁棒性、准确性和实时性。 

相对于现有技术中的方案，本发明的优点是： 

在进行人眼状态识别时，现有技术中大部分方法都是局限于使用检测瞳孔、检测上下眼睑等方法来判断眼睛睁闭，本发明提出一种基于层叠式主成分分析法判断眼睛睁闭状态的算法，以主成分分析法为主要理论依据，将在人脸识别中广泛应用并取得较好效果的特征脸算法用于人眼图像中，称为特征眼算法。 

传统的主成分分析法是先对训练库求得特征子空间，然后将待测图像投影到特征子空间上得到投影系数向量，再对系数向量直接运用距离或角度函 数等进行分类识别，整个算法过程只用到一次主成分分析法；本发明中提出了基于层叠式主成分分析法判断人眼睁闭状态的方法，算法中通过两次使用主成分分析法得到的数据来判断眼睛睁闭状态。 

对于计算得出的系数值，一般直接运用距离函数等进行分类识别，本发明基于系数值的原始数据曲线，通过均值滤波建立一条基准曲线，进而求得差值曲线并利用差值与设定好的阈值作比较来判断人眼睁闭状态，使得本算法具有很强的自适应性，能够有效克服不同人眼睛的差别带来的影响。 

本发明中的思路为以后驾驶员疲劳预警系统的进一步研究工作打下了基础。人眼状态识别是驾驶员疲劳检测的关键技术之一，在驾驶员疲劳预警系统中，根据眼睛状态来判断人的疲劳状态，有助于构建实时、精确的疲劳预警系统。 

附图说明

下面结合附图及实施例对本发明作进一步描述： 

图1为本发明中基于层叠式主成分分析法判断眼睛睁闭状态方法的流程示意图； 

图2为本发明中样本训练的流程图； 

图3为本发明中视频中待测人眼图像进行眼睛睁闭状态方法的原理示意图； 

图4为本发明中测试图像对应的系数值用于分析眼睛睁闭状态的流程图。 

图5为一组人眼图像序列的基于层叠式主成分分析法得到的系数值实时数据、基准数据、差值数据的曲线图； 

图6为多组均包含眼睛睁开和闭合状态的人眼图像序列基于层叠式主成分分析法得到的系数值差值曲线图。 

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以 根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。 

实施例 

如图1所示，本实施例中计算机基于层叠式主成分分析法智能识别视频中人眼状态的方法，包括以下步骤： 

（1）采集人眼训练图像，对人眼训练图像进行第一层主成分分析，获得特征眼子空间；将每幅人眼训练图像投影到特征眼子空间中，分别得到一组系数向量，组合得到一个系数矩阵；对系数矩阵进行第二层主成分分析，得到系数子空间； 

（2）将视频中每幅待测人眼图像投影到步骤（1）得到的特征眼子空间上，分别得到一组系数向量；将系数向量分别投影到步骤（1）获得的系数子空间中得到另一组新系数向量；取出所有新系数向量的第一个值作为系数值；以视频中的帧数为x轴，相应帧人眼图像对应的系数值为Y轴构建一条帧数-系数值的原始数据曲线； 

（3）进行均值滤波处理获得一条与原始数据曲线相对应的基准曲线；将原始数据曲线和基准曲线上的对应值相减并取绝对值，就得到一条差值曲线； 

（4）将差值曲线上的差值与预设的系数阈值作比较；若差值小于系数阈值，则判定为视频中人眼状态为睁眼状态；若差值大于系数阈值，则判定视频中人眼状态为闭眼状态。 

本实施例中预设条件是 

（1）人眼图像进行经过归一化处理，已经从摄像头的视频帧中获取每帧图像中的人眼区域，大小归一化为24×12，以下就统称为每一帧的人眼图像； 

（2）由于人的双眼具有对称性，且左右眼的睁眼和闭眼状态一般情况下是一致的，所以只选取右眼图像的处理步骤进行说明。 

下面结合附图，对本发明的较佳实施例作进一步说明。基于主成分分析法判断眼睛状态的方法的流程示意图如图1所示，其具体实现步骤中关键步骤有以下几个： 

步骤一：读入人眼训练图像； 

步骤二：基于主成分分析得到人眼特征子空间； 

步骤三：把图像投影到特征眼子空间； 

步骤四：对投影向量再次进行主成分分析； 

步骤五：眼睛睁闭状态识别。 

其中，步骤一的具体实施步骤为： 

作为训练集的人眼图像可以有多种来源，采集好的人眼图像构成的人眼库，或是在线视频帧中定位得到的多幅人眼图像。任一种方法都无法完全包含所有情况，为了使样本更接近实时情况，本实施例中采取在线与离线相结合的方式来获取人眼训练图像。除人眼训练库外，再选取前200帧的人眼图像作为训练图片。在进行处理之前，首先将训练图片进行归一化处理。 

将一幅图像看成一个矩阵，用x来表示，x的行和列标出了图像中的一个点，矩阵中相应的元素表示该点的灰度值。将一幅大小为n×m的图像按列优先构成一个n×m的列向量，即： 

x＝(b₁₁b₂₁…b_n1b₁₂b₂₂…b_n2…b_1nb_2n…b_nm) 

设有K幅图像，则以每幅图像向量为一列，构成一个维数为（n×m）×K的矩阵X，X＝(x₁,x₂,...,x_i),i＝1,2,...,K。 

其中，步骤二的具体实施步骤为： 

PCA是统计学中分析数据的一种有效的方法，其基本的数学思想是将原来具有一定相关性的指标重新组合成一组新的线性无关的综合指标来代替原来的指标。它的基础是K-L变换，通过求解训练样本的散布矩阵的特征值问题，给出一组远远小于样本空间维数的正交基来表示训练样本张成的子空间。步骤二具体分为以下两个步骤： 

（1）计算K-L变换的生成矩阵 

（2）首先定义平均人眼为：

则所有训练样本的协方差矩阵为： $\mathrm{\Ψ}=\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\left[(x_i-u_x){(x_i-u_x)}^T\right]$

每个人眼x_i与平均人眼u_x的差值向量为：w_i＝x_i-u_x，记W ＝(w₁,w₂,...,w_K)，则

矩阵Ψ实际上就是K-L变换的生成矩阵，也可以称之为样本集的总的离散度矩阵。 

（2）利用SVD定理计算图像的特征值和特征向量 

根据K-L变换（Karhunan-Loeve Transform）定理，所求的新坐标系即由矩阵WW^T的非零特征值所对应的特征向量组成。直接求Ψ的特征值和正交归一化的特征向量是很困难的，这里引入奇异值分解SVD来解决维数过高的问题，即通过求解W^TW的特征值和特征向量来获得WW^T的特征值和特征向量。 

差值图像为W∈R^K（(n×m）>>K），则WW^T∈R^K特征值可以由W^TW∈R^K得到。对W^TW进行SVD分解得到其非零特征值(λ₁,λ₂,...,λ_r)（从大到小排序，1≤r<K）及对应的特征向量V=(v₁,v₂,...,v_r)，则WW^T正交归一化特征向量为 

i＝1,2,...,r。则Ψ的非零特征值为(λ₁/K,λ₂/K,...,λ_r/K)及其对应的单位正交特征向量(u₁,u₂,...,u_r)后，可以得到人眼特征子空间U=(u₁,u₂,...,u_r)∈R^n×m×r。 

其中，步骤三的具体实施步骤为： 

每一幅人眼图像向特征子空间投影，得到一组系数向量，对应于子空间中的一个点。反过来，子空间中的任意一点也对应于一幅图像。由此对应关系，这组系数向量就可以作为人眼状态识别的依据，即这张人眼图像的特征眼特征。即，任一幅人眼图像都可表示为这组特征眼的线性组合，各个加权系数就是K-L变换的展开系数，可作为图像的识别特征。 

将待测人眼图像x投影到特征眼子空间中，得到其对应的投影系数向量y为：y＝U^T(x-u_x)，不同的图像得到不同的系数向量y。 

其中，步骤四的具体实施步骤为： 

每一幅人眼训练图像投影到步骤三中得到的特征眼子空间中，分别得到一组系数向量y，将其组合在一起就得到一个系数矩阵Y=(y₁,y₂,…,y_j),j=1,2,…,L。根据步骤二中用到的计算方法，对这个系数矩阵Y再次进行主 成分分析，得到一个新的特征子空间P，称为系数子空间。 

步骤四具体分为以下两个步骤： 

（1）计算K-L变换的生成矩阵 

首先定义平均系数为：

则所有系数向量的协方差矩阵为： $\mathrm{\&Phi;}=\frac{1}{L}\underset{j=1}{\overset{L}{\mathrm{\&Sigma;}}}\left[(y_i-u_y){(y_i-u_y)}^T\right]$

每个系数y_j与平均系数u_y的差值向量为：d_j＝y_j-u_y，记M＝(m₁,m₂,...,m_L),则矩阵Φ实际上就是K-L变换的生成矩阵，也可以称之为样本集的总的离散度矩阵。 

（2）利用SVD定理计算图像的特征值和特征向量 

根据K-L变换（Karhunan-Loeve Transform）定理，所求的新坐标系即由矩阵MM^T的非零特征值所对应的特征向量组成。直接求Φ的特征值和正交归一化的特征向量是很困难的，这里仍然采用奇异值分解SVD来解决维数过高的问题，即通过求解M^TM的特征值和特征向量来获得MM^T的特征值和特征向量。 

差值图像为M∈R^L（每个系数向量y的维数a>>L），则MM^T∈R^L的特征值可以由M^TM∈R^L得到。对MTM进行SVD分解得到其非零特征值(λ₁',λ₂',...,λ_s')（从大到小排序，1≤s<L）及对应的特征向量V'＝(v₁',v'₂,...,v'_s)，则MM^T正交归一化特征向量为

j＝1,2,...,s。则Φ的非零特征值为(λ₁'/L,λ₂'/L,...,λ_s'/L)，及其对应的单位正交特征向量(u₁,u₂,...,u_s)后，可以得到系数特征子空间P＝(u₁,u₂,...,u_s)∈R^a×s。 

其中，步骤五的具体实施步骤又细分为： 

（1）原始系数值的计算 

对于在线视频中实时采集到的某一幅人眼图像，将其投影到第一次主成分分析中得到的特征眼子空间U中，得到一组系数向量，将这组系数向量投 影到第二次主成分分析得到的系数子空间P中，得到与该幅人眼图像对应的另外一组新的系数向量，取出这组新系数向量中的第一个值。按照同样的方法得到在线视频中每幅人眼图像所对应的系数值，用它们来分析眼睛睁闭状态。这样就形成了以帧数为x轴，每帧人眼图像对应的系数值为Y轴的一条帧数-系数值的原始数据曲线，如图5所示，数据曲线的波谷处表示人眼处于闭合状态。设由某连续人眼图像序列计算得到的系数值实时数据曲线为一个向量，记为b＝(b₁,b₂,...,b_i,...,b_m)。 

（2）基准值的计算 

对于某一帧人眼图像对应的系数值b_i，取以其为中心的前后5帧的系数值的平均值作为该帧原始系数值的基准值b_i'，如下式所示： 

这样就得到了一条与原始数据曲线相对应的基准曲线b′，如图5中所示的系数基准数据曲线图，基准曲线以下的实时数据为闭眼开始至闭眼结束前的数据。 

（3）差值的计算 

将原始数据曲线b和基准曲线b′上的对应值b_i及b_i'相减并取绝对值，，如下式所示： 

d_i＝|b_i-b_i'|,i＝1,2,....,m 

这样就得到一条差值曲线d，如图5中所示的系数差值数据曲线图，差值数据曲线的波峰处对应于实时数据曲线的波谷处，即眼睛闭合状态。 

（4）眼睛睁闭状态的识别 

根据大量实验结果，设定一个系数阈值用于判定睁闭眼状态。采集多组包含睁眼和闭眼状态的人眼图像序列，经上述所述步骤计算处理后就得到多条系数值差值曲线，如图6所示，然后将差值曲线与各自对应的实际的睁眼和闭眼状态相对比，当系数值差值大于等于0.3时对应闭眼状态，当系数值差值小于0.3时对应睁眼状态，所以本发明中所述方法的系数阈值就选为 0.3。 

将系数值差值曲线上的差值与设定好的系数阈值作比较，若差值小于系数阈值，则判定为睁眼状态；若差值大于系数阈值，则判定为闭眼状态。如图5，根据所选阈值判定的眼睛睁闭状态及眼睛闭合的开始和结束时间（帧数）与实时数据相对应。 

本发明中基于层叠式主成分分析法判断眼睛睁闭状态的方法不仅提高了眼睛睁闭状态判定的准确性，而且可以精确计算眼睛闭合的开始和结束时间，在实际应用例如根据眼睛睁闭状态判断疲劳状态时，还可以根据眼睛的闭合过程和时间来判定疲劳程度。 

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。 

Claims (7)

1.一种计算机基于层叠式主成分分析法智能识别视频中人眼状态的方法，其特征在于所述方法包括以下步骤：

（1）采集人眼训练图像，对人眼训练图像进行第一层主成分分析，获得特征眼子空间；将每幅人眼训练图像投影到特征眼子空间中，分别得到一组系数向量，组合得到一个系数矩阵；对系数矩阵进行第二层主成分分析，得到系数子空间；

（2）将视频中每幅待测人眼图像投影到步骤（1）得到的特征眼子空间上，分别得到一组系数向量；将系数向量分别投影到步骤（1）获得的系数子空间中得到另一组新系数向量；取出所有新系数向量的第一个值作为系数值；以视频中的帧数为x轴，相应帧人眼图像对应的系数值为Y轴构建一条帧数-系数值的原始数据曲线；

（3）对原始数据曲线进行均值滤波处理获得一条与原始数据曲线相对应的基准曲线；将原始数据曲线和基准曲线上的对应值相减并取绝对值，就得到一条差值曲线；

（4）将差值曲线上的差值与预设的系数阈值作比较；若差值小于系数阈值，则判定为视频中人眼状态为睁眼状态；若差值大于系数阈值，则判定视频中人眼状态为闭眼状态。

2.根据权利要求1所述的方法，其特征在于所述方法步骤（3）中均值滤波处理是以某一帧人眼图像为中心获取前后若干帧人眼图像对应的系数值，然后求取它们的平均值作为该帧原始系数值的基准值；以视频中的帧数为x轴，相应帧原始系数值的基准值为Y轴构建一条帧数-基准值的基准曲线。

3.根据权利要求1所述的方法，其特征在于所述方法中每一帧的待测人眼图像和人眼训练图像均经归一化处理成大小相同，且人眼区域均为右眼区域或左眼区域的图像。

4.根据权利要求1所述的方法，其特征在于所述方法步骤（1）中假设人眼训练图像共有K幅，归一化处理后大小均为n×m的图像，将每幅图像按列优先构成一个n×m的列向量，即：

x＝(b₁₁b₂₁…b_n1b₁₂b₂₂…b_n2…b_1nb_2n…b_nm)；

以每幅图像的列向量为一列，构成一个维数为（n×m）×K的矩阵X，即：X＝(x₁,x₂,...,x_i),i＝1,2,...,K。

5.根据权利要求4所述的方法，其特征在于所述方法步骤（1）中对人眼训练图像进行第一层主成分分析，获得特征眼子空间的步骤包括：

1）定义平均人眼为：

则所有训练样本的协方差矩阵为： $\mathrm{\&Psi;}=\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}\left[(x_i-u_x){(x_i-u_x)}^T\right];$

2）每个人眼x_i与平均人眼u_x的差值向量为：w_i＝x_i-u_x，记W=(w₁,w₂,...,w_K)，则

矩阵Ψ为K-L变换的生成矩阵；

3）假设差值向量为W∈R^K，其中(n×m）>>K，则WW^T∈R^K的特征值由W^TW∈R^K得到；对W^TW进行奇异值（SVD）分解得到其非零特征值(λ₁,λ₂,...,λ_r)及对应的特征向量V=(v₁,v₂,...,v_r)，则WW^T正交归一化特征向量为i=1,2,…,r；其中λ₁,λ₂,...,λ_r从大到小排序，1≤r＜K；

则获得Ψ的非零特征值为(λ₁/K,λ₂/K,...,λ_r/K)及其对应的单位正交特征向量(u₁,u₂,...,u_r)后，得到人眼特征子空间U=(u₁,u₂,...,u_r)∈R^n×m×r。

6.根据权利要求5所述的方法，其特征在于所述方法步骤（1）或（2）中将每幅人眼图像投影到特征眼子空间中，分别得到一组系数向量的步骤为将人眼图像x投影到特征眼子空间中，得到其对应的投影系数向量y为：y＝U^T(x-u_x)，不同的图像得到不同的系数向量y。

7.根据权利要求6所述的方法，其特征在于所述方法中当每一幅人眼训练图像x投影到特征眼子空间中，分别得到一组系数向量y，将其组合在一起就得到一个系数矩阵Y；对系数矩阵Y再次进行主成分分析，得到一个新的特征子空间，即系数子空间P。

Images