CN101788848A - 用于视线追踪系统的眼部特征参数检测方法 - Google Patents

Abstract

用于视线追踪系统的眼部特征参数检测方法，属于人机交互领域，特别涉及人机交互系统中生物特征检测。此方法主要用来提高瞳孔定位的精度。针对瞳孔运动造成的差分图像瞳孔区域不全，通过迭代扩展的方式还原瞳孔区域，提高了瞳孔定位的精度。针对角膜反射区域边界的不确定性，通过多次分割的方式计算质心，减小了模糊的边界区域对质心结果的影响。针对头部随机运动造成的阈值分割法瞳孔定位错误，利用瞳孔的历史信息，在上一时刻瞳孔附近进行特征提取，提高了瞳孔定位鲁棒性。建立了一个多特征参数提取的流程。实验结果验证了本发明方法的有效性。在人机交互和疾病诊断两个领域有着广泛的应用，如助残，虚拟现实，认知障碍诊断，人因分析等。

Description

用于视线追踪系统的眼部特征参数检测方法

技术领域

用于视线追踪系统的眼部特征参数检测方法，属于人机交互领域，特别涉及人机交互系统中生物特征检测。

背景技术

视线追踪是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术。按照系统构成和采用的检测方法可以粗略划分为侵入式和非侵入式两种。在人机交互和疾病诊断两个领域有着广泛的应用，如助残，虚拟现实，认知障碍诊断，车辆辅助驾驶，人因分析等。用于诊断的视线追踪系统可以采用侵入式以达到更高的精度。用于交互的视线追踪系统除了对精度，鲁棒性，实时性的要求以外，需要最大程度的减少或消除对使用者的干扰。随着数字化技术、计算机视觉、人工智能技术的迅速发展，基于数字视频分析(VideoOculographic，VOG)的非侵入式视线追踪技术成为当前热点研究方向。

视线追踪技术利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线(line of sight/point of regard，LOS/POR)变化参数，然后通过几何模型或映射模型获取视线方向。因此，基于VOG的视线追踪技术分为视线特征参数提取和视线估计模型建立两个组成部分。随着系统硬件和提取的图像特征不同，基于VOG的视线追踪方法可分为如下几类：

(a)瞳孔-角膜反射法(The Pupil Center Cornea Reflection Technique，PCCR)：采用红外光源产生角膜反射(角膜反射)，通过计算瞳孔中心与角膜反射之间的向量来估计视线方向。视线估计模型可以采用非线性多项式模型，也可以采用几何模型。

(b)角膜反射矩阵法(Cross-Ratios Method)：多红外光源在角膜上产生多个角膜反射形成角膜反射矩阵。通过计算角膜反射与瞳孔中心的位置特征估计视线方向，视线估计模型使用投影平面不变的交比(Cross-Ratios)值。

(c)椭圆法线方向法(“One-Circle”Algorithm)：通过记录高分辨率眼睛图像，计算虹膜边界圈的法线方向估计视线方向。在可见光下追踪高分辨率的眼睛图像并通过基本的投影几何关系计算椭圆虹膜圈的法线方向并视其为视线方向。

人眼特征提取是视线追踪的必要过程和前提，特征提取的质量直接关系到视线估计的精度。根据上述视线追踪方法的不同，提取的特征分为以下几类：(a)瞳孔中心与角膜反射的向量；(b)角膜反射矩阵；(c)虹膜的椭圆边界。

VOG系统普遍使用瞳孔-角膜反射方法。该方法提取瞳孔中心到角膜反射向量作为视线估计依据。为了提高系统的精确性与稳定性，瞳孔-角膜反射方法一般采用亮暗瞳差分方案，便于在整幅脸部图像中快速捕捉眼睛和在局部眼睛图像中精细准确的分割瞳孔。亮暗瞳差分方案一般过程如下：设置与摄像机镜头同轴的内外环近红外(IR)光源分别产生“亮瞳”“暗瞳”现象，如图1所示。控制光源交替亮暗，产生亮瞳(图2)和暗瞳(图3)隔帧交替出现的视频序列。利用相邻亮暗瞳图像的差分使瞳孔信息相对突出，消除背景影响。亮暗瞳差分方案一般采用阈值法分割瞳孔。

发明内容

瞳孔及中心与角膜反射定位是该类视线特征提取的共性问题，影响最终视线估计精度的原因主要有以下几点：(a)角膜反射造成瞳孔轮廓改变，造成瞳孔定位误差。(b)瞳孔运动造成差分图像瞳孔区域不全，造成运动瞳孔定位误差。(c)角膜反射形状的不规则和边界的不确定性造成角膜反射中心定位误差。(d)由于头部的随机运动，亮暗瞳图像差分后，图像还残留其它面部信息，这是造成阈值分割法瞳孔定位错误的主要原因。(e)作为头动补偿的其它特征参数产生的误差。

本发明的视线追踪系统采用单摄像机单光源，通过瞳孔-角膜反射方法获取视线方向，立足于开发一种具有普适应用价值的低成本视线追踪系统。瞳孔及角膜反射中心定位是本发明视线追踪系统实现的必要步骤，本文的视线追踪系统，便于在整幅脸部图像中快速捕捉眼睛和在眼部为满足上述要求，并针对影响特征提取精度的主要原因，本发明提出一种基于多通道图像的特征参数提取方法。在追求高精度亚像素特征参数提取及鲁棒性方面进行了研究，本发明提出的检测方法优于通常采用的阈值分割方法，实验结果及系统实际应用证明了本发明方法的有效性。该方法整个流程如图4所示。(1)判断亮瞳和暗瞳图像，亮瞳图像(图5)与暗瞳图像(图6)做差得到差分图像(图7)；(2)对所得差分图像做滤波，其中包括基于规则滤波和连通区域分析、形状大小滤波；(3)对眼睛区域定位校验，如果正确，求质心定位普尔钦斑中心，并对瞳孔边缘做滤波，消除角膜反射对瞳孔边缘轮廓的影响，椭圆拟合定位瞳孔中心，得到亚象素的中心坐标；不正确，则调整阈值再次进行滤波；(4)特征向量校验，如果不满足条件则返回，不进行下面的处理；如果满足条件则根据实际检测结果去调整下次检测的阈值；(5)人脸定位，根据双眼位置确定人脸位置；(6)特征参数提取，在相邻两帧中提取特征参数。

上面步骤中，所说的求质心定位普尔钦斑中心，是通过以下两种方法来减小普尔钦斑中心的估计误差：(a)采用多个阈值分别分割出多个角膜反射区域，对各个区域分别求质心后的平均结果作为普尔钦斑中心。(b)分割出多个角膜反射区域后，不在二值图像中而在暗瞳图像中求质心，因为普尔钦斑中心是角膜反射区域中最亮的部分，越往边界亮度越低，这样可以减小模糊的边界区域对质心结果的影响。

上面步骤中，所说的对瞳孔边缘做滤波消除角膜反射对瞳孔边缘轮廓的影响，是利用基于径向距离的瞳孔边缘滤波算法，基本方法是以普尔钦斑中心为圆心，在每一个半径方向上，远端边缘点为瞳孔形成的边缘，近端边缘为普尔钦斑形成的边缘，过滤掉普尔钦斑形成的边缘后的瞳孔边缘。包括三种情况：(1)瞳孔与角膜反射相交情况瞳孔边缘滤波(图9，10)；(2)瞳孔与角膜反射包含情况瞳孔边缘滤波(图11，12)；(3)瞳孔与角膜反射相离情况瞳孔边缘滤波(图13，14)。

本发明利用亮瞳现象建立了一种基于多通道图像的特征参数提取方法。该方法的主要特征为：

1)角膜反射是造成瞳孔轮廓改变的主要因素，是影响瞳孔中心定位精度的主要因素之一。针对角膜反射对瞳孔边缘的影响，提出一种基于径向距离的瞳孔边缘专用滤波算法(RDPEF算法)，提高了瞳孔定位的精度。

2)瞳孔运动造成差分图像瞳孔区域不全是造成运动瞳孔定位误差的主要因素，通过迭代扩展的方式还原运动瞳孔区域，提高了运动瞳孔定位的精度。

3)角膜反射区域形状的不规则和边界的不确定性是造成角膜反射区域定位误差的主要因素，通过多阈值分割角膜反射的模糊区域，减小了模糊的边界区域对质心结果的影响。

4)头部的随机运动是造成阈值分割法瞳孔定位错误的主要原因，利用瞳孔的历史信息，t+1时刻首先在t时刻瞳孔位置的附近进行特征参数提取，提高了瞳孔定位鲁棒性。

5)建立了一个多特征参数提取的流程，提取人眼特征的多个参数。

因为本发明方法除了有上述特征之外，与现有技术相比，本发明还具有如下优点：本发明方法综合考虑现有的各种方法和技术，利用双阈值法进行滤波能提高瞳孔定位的鲁棒性，利用最小二乘非迭代椭圆拟合算法可以得到可以得到亚象素的中心坐标。本发明还提供一种基于径向距离的瞳孔边缘专用滤波算法(RDPEF算法)，能更好的定位瞳孔；并且通过迭代扩展的方式还原运动瞳孔区域，提高了运动瞳孔定位的精度；通过多阈值分割角膜反射的模糊区域，减小了模糊的边界区域对质心结果的影响。本发明可用在人机交互的视线追踪等很多方面。

附图说明

图1亮瞳和暗瞳的产生原理

图2亮瞳

图3暗瞳

图4特征参数提取框架

图5亮瞳图像

图6暗瞳图像

图7差分图像

图8滤波后的瞳孔区域

图9边缘滤波---瞳孔与角膜反射相交情况瞳孔边缘滤波示意图

图10边缘滤波---瞳孔与角膜反射相交情况瞳孔边缘滤波图

图11边缘滤波---瞳孔与角膜反射包含情况瞳孔边缘滤波示意图

图12边缘滤波---瞳孔与角膜反射包含情况瞳孔边缘滤波图

图13边缘滤波---瞳孔与角膜反射相离情况瞳孔边缘滤波示意图

图14边缘滤波---瞳孔与角膜反射相离情况瞳孔边缘滤波图

图15人眼特征提取过程一瞳孔边缘

图16人眼特征提取过程---角膜反射轮廓

图17人眼特征提取过程---瞳孔边缘(滤波后)

图18人眼特征提取过程---拟合得到的瞳孔椭圆

图19人眼特征提取过程---瞳孔中心与角膜反射中心

图20人眼特征提取过程---检测结果

图21人脸区域示意图

图22人脸区域图像

具体实施方式

本发明是一种视线追踪系统眼部特征参数检测方法结合附图及例详细说明如下：

本发明针对角膜反射对瞳孔边缘轮廓的影响，提出一种基于径向距离的瞳孔边缘专用滤波算法(RDPEF算法)，提高了瞳孔定位的精度。针对瞳孔运动造成的差分图像瞳孔区域不全，通过迭代扩展的方式还原运动瞳孔区域，提高了运动瞳孔定位的精度。针对角膜反射区域形状的不规则和边界的不确定性，通过多个阈值多次分割的方式计算质心，减小了模糊的边界区域对质心结果的影响。针对头部随机运动造成的阈值分割法瞳孔定位错误，利用瞳孔的历史信息，t+1时刻首先在t时刻瞳孔位置的附近进行特征参数提取，提高了瞳孔定位鲁棒性；建立了一个多特征参数提取的流程，提取人眼特征的多个参数。

本发明建立的一种新的基于多通道图像的亚像素瞳孔定位算法----基于径向距离的瞳孔边缘专用滤波算法(RDPEF算法)，其方法是以普尔钦斑中心为圆心，在每一个半径方向上，远端边缘点为瞳孔形成的边缘，近端边缘为普尔钦斑形成的边缘，过滤掉普尔钦斑形成的边缘后的眼睛区域边缘。本算法对瞳孔位置定位准确，满足视线估计对特征参数的要求。

本发明以提取瞳孔中心到普尔钦斑的向量作为视线估计的依据，提出一种满足要求的特征参数提取方法，下面将详细介绍该方法的整个流程(如图4)。

(1)判断亮瞳和暗瞳图像

获取相邻两帧图像后要判断哪帧是亮瞳哪帧是暗瞳，准确稳定的区分亮瞳和暗瞳图像是整个参数提取过程正常运行的前提。本发明对50位使用者进行了特征检测。提出下面的判别准则：

mapA＝{p_ij≥thres1∧grad2(p_ij)≥thres2∧p_ij∈PD

mapC＝{p_ij|pd_ij∈mapB∧pd_ij≤thres4∧(pb_ij-pd_ij)≥thres5}

$\left\{\begin{array}{ccc}\mathrm{PB}=\mathrm{Pic}1,\mathrm{PD}=\mathrm{pic}2& \mathrm{if}& \left|\mathrm{mapC}\right|>>\left|\mathrm{map}{C}^{\′}\right|\\ \mathrm{PB}=\mathrm{Pic}2,\mathrm{PD}=\mathrm{pic}1& \mathrm{if}& \left|\mathrm{map}{C}^{\′}\right|>>\left|\mathrm{mapC}\right|\\ \mathrm{no}...\mathrm{eyes}& \mathrm{else}& \end{array}\right.$

其中，PB为亮瞳图像，PD为暗瞳图像，PB-PD为差分图像，thres1为角膜反射灰度阈值，thres2为角膜反射梯度阈值，满足灰度和梯度条件的像素作为可能的角膜反射像素点，这样可以大大缩小搜索范围，mapA即为暗瞳图像中可能的角膜反射区域，也就是普尔钦斑区域。thres3为距离阈值，仅在可能的角膜反射区域附近搜索瞳孔，mapB为暗瞳图像中可能的瞳孔区域。

pd_ij为暗瞳图像中的像素点，pb_ij为亮瞳图像中的像素点，thres4为暗瞳灰度阈值，thres5为差分图像瞳孔灰度阈值，mapC为初步判定的瞳孔区域，mapC为设第一帧图像为亮瞳图像，第二帧图像为暗瞳图像后计算所得的瞳孔区域，mapC′为设第二帧图像为亮瞳图像，第一帧图像为暗瞳图像后计算所得的瞳孔区域。如果|mapC|＞＞|mapC′|，那么判定第一帧图像为亮瞳图像，第二帧图像为暗瞳图像，如果|mapC′|＞＞|mapC|，那么判定第二帧图像为亮瞳图像，第一帧图像为暗瞳图像，其他情况判定为图像中没有眼睛，需要重新获取图像，而不进行下面的处理。

(2)基于规则滤波

判断亮瞳和暗瞳图像后，要根据亮瞳图像、暗瞳图像、差分图像三幅图像中瞳孔和普尔钦斑的先验知识对差分图像做滤波。采用常用的双阈值法进行滤波.算法如下：

mapD＝{p_ij∈PB-PD∧pd_ij∈mapB∧pd_ij≤thres5∧(pb_ij-bd_ij)≥thres6}

mapE＝{p_ij∈PB-PD∧pd_ij∈mapB∧pd_ij≤thres7(pb_ij-pd_ij)≥thres8}

thres5为暗瞳灰度的严阈值，thres6为差分瞳孔灰度的严阈值，mapD为差分图像中判定的瞳孔区域，thres7为暗瞳灰度的宽阈值，thres8为差分瞳孔灰度的宽阈值，mapE为差分图像中可能的瞳孔区域.容易知道， $\mathrm{mapD}\⊆\mathrm{mapE},$ 满足严阈值的瞳孔区域mapD判断为瞳孔区域，满足宽阈值的瞳孔区域mapE中与mapD邻近的像素也判断为瞳孔区域，thres9为距离阈值。mapF为规则滤波后的差分图像。

(3)连通区域分析、形状大小滤波

基于规则滤波已经过滤了多数的干扰点，连通性分析以后进行形状大小滤波就可以达到定位瞳孔的要求，避免了SVM的训练过程和识别误差.滤波规则如下：

BLOB＝{blob_i|area(blob_i)≤thres10∧area(blob_i)≥thres11∧

width(blob_i)≤thres12∧width(blob_i)≥thres13∧

height(blob_i)≤thres14∧height(blob_i)≥thres15∧

ration(blob_i)≤thres16∧ration(blob_i)≥thres17

area(blob_i)为团块blob_i的面积，thres10为团块面积的上阈值，thres11为团块面积的下阈值，width(blob_i)为团块blob_i的宽度，thres12为团块宽度的上阈值，thres13为团块宽度的下阈值，height(blob_i)为团块blob_i的高度，thres14为团块高度的上阈值，thres15为团块高度的下阈值，ratio(blob_i)为团块blob_i的宽高比，thres16为团块宽高比的上阈值，thres17为团块宽高比的下阈值，面积，宽度，高度，宽高比满足公式条件的团块判断为瞳孔。BLOB(图8)为滤波后的瞳孔区域。

(4)眼睛区域定位校验

搜索眼睛区域，校验眼睛区域的合理性。校验规则如下：

|BLOB|＝2

||blob_L-blob_R‖≥thres18

||blob_L-blob_R||≤thres19

|BLOB|＝2是团块集合中团块的数量，即瞳孔的数量，此条件满足则判断左右瞳孔的距离‖blob_L-blob_R‖是否满足条件。thres18为瞳孔距离下阈值，thres19为瞳孔距离上阈值。其中上阈值和下阈值是根据实验得出来的数值。如果不满足条件则调整阈值再次进行滤波，满足瞳孔条件区域过少时放宽滤波条件，满足瞳孔条件区域过多时严格滤波条件，当重复滤波次数大于3时，则返回，不进行下面的处理。

(5)瞳孔运动补偿

检测差分图像眼睛区域的边缘。首先要消除瞳孔运动对差分图像瞳孔区域的影响，瞳孔运动造成亮暗瞳图像瞳孔区域不完全重合，以至差分图像瞳孔区域不完全是造成运动瞳孔定位误差的主要因素，本步骤通过迭代扩展的方式还原运动瞳孔区域，规则如下：

mapG＝BLOB

do

until mapG convergence

对步骤4得到的瞳孔区域BLOB进行扩展，在与BLOB边界相邻的像素中，迭代搜索暗瞳像素灰度pd_ij小于暗瞳灰度阈值thres20的像素并将其加入扩展后的瞳孔区域mapG，直至mapG收敛.

对mapG进行二值图像边缘检测，边缘检测规则方法如下：

对于mapG中的像素P_ij，如果在其相邻的像素中存在P_pq不属于mapG，则P_ij为边缘像素，mapH(图15)为边缘检测的结果。

(6)眼睛区域附近搜索普尔钦斑

在暗瞳图像中，在眼睛区域附近基于灰度搜索普尔钦斑。规则如下：

在暗瞳图像中，仅在瞳孔区域mapG附近搜索角膜反射，在mapG附近小于距离阈值thres22的像素集合中，搜索满足灰度pb_ij大于角膜反射灰度阈值thres21条件的像素作为初步判定的角膜反射区域mapI。由于外部光源有时会在瞳孔附近产生其它一些亮斑，还需要对mapI进行连通性分析，排除干扰，找到真正的角膜反射，规则如下：

BLOB_pur＝{blob_i|area(blob_i)≤thres23∧area(blob_i)≥thres24∧

ration(blob_i)≤thres25∧ration(blob_i)≥thres26

area(blob_i)为团块blob_i的面积，thres23为团块面积的上阈值，thres24为团块面积的下阈值，ratio(blob_i)为团块blob_i的宽高比，thres25为团块宽高比的上阈值，thres26为团块宽高比的下阈值，面积，宽高比满足上述公式条件的团块判断为角膜反射。普尔钦斑BLOB_pur如图16所示。

(7)求质心定位普尔钦斑中心：

通过以下两种方法来减小普尔钦斑中心的估计误差：(a)采用多个阈值分别分割出多个普尔钦斑区域，对各个区域分别求质心后的平均结果作为普尔钦斑中心。(b)分割出多个普尔钦斑区域后，不在二值图像中而在暗瞳图像中求质心，因为普尔钦斑中心是普尔钦斑区域中最亮的部分，越往边界亮度越低，这样可以减小模糊的边界区域对质心结果的影响。具体方法如下：

首先，采用多个阈值分别分割出多个普尔钦斑区域：

${\mathrm{blob}}_{\mathrm{pur}1}\⊆{\mathrm{blob}}_{\mathrm{pur}2}\⊆\·\·\·\⊆{\mathrm{blob}}_{\mathrm{purK}}$

然后，对各个区域分别求质心，将各个区域质心的平均值作为普尔钦斑中心：

(i_ck，j_ck)分别为区域blob_purk的质心，(i_c，j_c)为最后估计的普尔钦斑质心，如图20所示。

(8)边缘滤波

普尔钦斑是造成瞳孔轮廓改变的主要因素，是影响瞳孔中心定位精度的主要因素之一。本发明采用一种简单快速的凸壳检测算法，其时间复杂度为1logN。

mapJ＝convex hull(mapH)

mapJ是mapH的凸壳。

在此基础上，本发明提出一种基于径向距离的瞳孔边缘专用滤波算法(RDPEF算法)，规则如下：

if...mapJ∩blob_purK≠Ψ

else

mapK＝mapH

是上个步骤求得的普尔钦斑中心，以普尔钦斑中心为圆心，在每一个半径方向上，远端边缘点为瞳孔形成的边缘，近端边缘为普尔钦斑形成的边缘，过滤掉普尔钦斑形成的边缘后的眼睛区域边缘如图17所示。

(9)椭圆拟合定位瞳孔中心

本发明采用通用的最小二乘非迭代椭圆拟合算法。他可以使噪声边缘更少，也可以得到亚象素的中心坐标。拟合得到的瞳孔椭圆如图18所示，瞳孔中心如图19所示.视线特征向量L_t如下：

$L_t=(\mathrm{\Δx},\mathrm{\Δy},\frac{a_{\mathrm{major}}}{a_{\min \mathrm{or}}},\mathrm{\θ},i_c,j_c)$

其中 $(\mathrm{\Δx},\mathrm{\Δy})=p_{i_p{j}_p}-p_{i_c{j}_c}$ 为瞳孔中心到普尔钦斑的向量，

为瞳孔椭圆长短轴的比，θ为瞳孔椭圆长轴与垂直方向的角度，(i_c，j_c)为普尔钦斑在图像中的位置。

(10)特征向量校验

瞳孔中心到普尔钦斑中心向量合理性校验，基本规则如下：

$\left|\right|p_{i_p{j}_p}-p_{i_c{j}_c}\left|\right|\≥\mathrm{thres}27$

$\left|\right|p_{i_p{j}_p}-p_{i_c{j}_c}\left|\right|\≥\mathrm{thres}28$

判断特征向量长度是否满足条件，thres27为特征向量长度下阈值，thres28为特征向量长度上阈值.如果不满足条件则返回，不进行下面的处理，如果满足条件则根据实际检测结果去调整下次检测的阈值，最后的检测结果如图20所示。

(11)人脸定位

本文根据双眼位置确定人脸位置，左眼坐标记为M(x_L，y_L)，右眼坐标记为N(x_R，y_R)，两眼之间距离记为2L，人脸位置记为F_LT(x₁，y₁)F_RT(x₂，y₂)F_RB(x₃，y₃)F_LB(x₄，y₄)，如图21，22所示。

(12)设定优先搜索区域

本文在t-1时刻成功进行特征参数提取后，t时刻首先在t-1时刻瞳孔位置附近进行特征参数提取，如果不成功则加大搜索范围.搜索过程如下：

Pic1_t，Pic2_t是t时刻相邻两帧的图像，在t-1时刻成功进行特征参数提取后，t时刻首先在t-1时刻瞳孔位置BLOB_t-1附近距离小于搜索距离阈值thres13的范围内进行特征提取，即首先在相邻两帧图像的局部搜索图像Pic1Part_t，Pic2Part_t中进行特征提取，引入设定优先搜索区域步骤，可以减少平均特征参数提取的时间。

Claims (10)

1.用于视线追踪系统中的眼部特征参数检测方法，其特征在于：

1)对输入相邻两帧亮暗瞳图像进行差分；

2)对差分图像做基本滤波；

3)搜索眼睛区域，校验眼睛区域的合理性，如果满足合理性，求质心定位普尔钦斑中心，并对瞳孔边缘做边缘滤波，消除角膜反射对瞳孔边缘轮廓的影响，椭圆拟合定位瞳孔中心；不满足合理性，则调整滤波阈值再次进行基本滤波，重新执行步骤2)；

4)提取眼部特征参数，得到瞳孔到角膜反射的向量，如果向量长度满足阈值范围，则视为检测成功，就用特征参数进行视线的计算，来进行人脸定位；否则返回差分图像，重新进行基本滤波，重新执行步骤2)。

2.如权利要求1所述的检测方法，其特征在于：所述的对输入相邻两帧图像进行差分是指通过控制光源，交替亮暗，产生亮瞳和暗瞳图像，对这相邻的两帧亮暗瞳图像做差分。

3.如权利要求1所述的检测方法，其特征在于：所述的对所得差分图像做滤波包括基于规则滤波和连通区域分析、形状大小滤波。

4.如权利要求1所述的检测方法，其特征在于：所述的校验眼睛区域合理性的条件为：(a)|BLOB|＝2，(b)||blob_L-blob_R||≥thres9₁，(c)||blob_L-blob_R||≤thres9₂，其中条件(a)是指团块集合中团块的数量为2，条件(b)和(c)是指左右瞳孔距离||blob_L-blob_R||在瞳孔距离下阈值thres9₁与瞳孔距离上阈值thres9₂之间；所述的校验眼睛区域合理性要同时满足(a)、(b)、(c)三个条件。

5.如权利要求1所述的检测方法，其特征在于：所述的求质心定位普尔钦斑中心，是通过两种方法来减小普尔钦斑中心的估计误差：一、采用多个阈值分别分割出多个角膜反射区域，对各个区域分别求质心后的平均结果作为普尔钦斑中心；二、分割出多个角膜反射区域后，在暗瞳图像中求质心。

6.如权利要求1所述的检测方法，其特征在于：所述的对瞳孔边缘做滤波利用基于径向距离的瞳孔边缘滤波算法，以普尔钦斑中心为圆心，在每一个半径方向上，远端边缘点为瞳孔形成的边缘，近端边缘为普尔钦斑形成的边缘，过滤掉普尔钦斑形成的边缘后的瞳孔边缘。

7.如权利要求1或6所述的检测方法，其特征在于：所述的对瞳孔边缘做滤波包括三种情况：瞳孔与角膜反射相交情况瞳孔边缘滤波，瞳孔与角膜反射包含情况瞳孔边缘滤波，瞳孔与角膜反射相离情况瞳孔边缘滤波。

8.如权利要求1所述的检测方法，其特征在于：所述的椭圆拟合定位瞳孔中心用的是最小二乘非迭代椭圆拟合算法。

9.如权利要求1所述的检测方法，其特征在于：所述的瞳孔到角膜反射的向量为：

$L_t=(\mathrm{\Δx},\mathrm{\Δy},\frac{a_{\mathrm{major}}}{a_{\min \mathrm{or}}},\mathrm{\θ},i_c,j_c)$

其中 $(\mathrm{\Δx},\mathrm{\Δy})=p_{i_p{j}_p}-p_{i_c{j}_c}$ 为瞳孔中心到角膜反射的向量，

为瞳孔椭圆长短轴的比，θ为瞳孔椭圆长轴与垂直方向的角度，(i_c，j_c)为角膜反射在图像中的位置。

10.如权利要求1所述的检测方法，其特征在于：所述的人脸定位是是通过提取的特征参数，用特征参数进行视线的计算，通过视线方向和瞳孔坐标来标记人脸。

Images