CN103870814A - 基于智能相机的非接触式实时眼动识别方法 - Google Patents

Abstract

基于智能相机的非接触式实时眼动识别方法，包括以下步骤：1)利用智能相机对被检测对象进行面部图像采集，并将采集到的图像保存在智能相机中；2)根据不同的被测对象，从多幅获取的面部图像中制作各个眼动状态模板；3)正式检测开始，简单进行图像预处理后，从面部图像中快速定位眼部感兴趣区域；4)然后对感兴趣区域进行特征匹配，采用基于灰度变换和几何变换的最小二乘匹配法依次匹配各眼动状态，求出准确的识别结果；以及5)将原图与识别结果关联后输出至交互触摸屏，显示当前眼动的状态。该方法可用于识别眼动的方向和面部倾斜角度，具有较高的实时性和可靠性。

Description

基于智能相机的非接触式实时眼动识别方法

技术领域

本发明涉及一种眼动识别检测，特别涉及一种基于智能相机的非接触式实时眼动识别方法。

背景技术

视觉虽为人类五感之一，获得的信息量却占到了五感总信息量的80%至90%。这些信息影响着人类的行为和意识，同时人类的心理和意识也实时反馈在眼球的状态变化中。如眨眼、瞳孔直径改变、注视点跳动（移动）、眼动速度和频率等等。

人类的眼动结构精密而又灵活，比人类的双手更为灵动和敏捷。因此，通过对人眼的识别和检测来了解人类心理变化，或是通过人眼特性来设计开发实时交互系统和产品设备具有极大的意义，但是这些的根本就是实时眼动识别技术。

当前眼动识别的方法主要分为接触式和非接触式。接触式的例如电流记录法和电磁感应法，虽然精度较高，但是对人体有一定伤害且操作复杂。因此非接触式的眼动识别方法是目前研究的主流。为了能够得到理想的眼动图像通常在封闭环境中使用红外光源进行检测，红外光源作为热射线会造成眼球干涩，商业价值较低。在国外的眼动识别系统主要有佩戴型和桌面型两种，产品已初步商业化，虽然采集识别设备体积小巧，但需要通过计算机来进行眼动分析。

同时，非接触式的眼动识别技术是一种基于机器视觉的识别方法，若是在自然光线下进行检测，需要考虑对比度、亮度和鲁棒性。当光照强度不足时，图像的信噪比会降低，也会导致图像的对比度的不足；若通过增大光圈来补充光照，又会使得景深变小，导致图像虚化；而过亮的光照也会使得图像过饱和和失真。另外，检测精度与获取图像的质量密切相关，高像素的图像保留更多眼动信息，却给图像处理造成负担。并且，在眼睛自由转动和移动的过程中常伴随着头部无意识的转动、倾斜和远近移动，从而导致眼部感兴趣区域形变、灰度变化甚至缺失；检测时也可能发生眼部感兴趣区域被镜框、头发、手等遮挡，以及眨眼的情况。

因此，综合考虑商业价值、人性化设计以及应用领域，一种能够在普通光照环境下，基于嵌入式机器视觉系统的眼动识别方法将是眼动识别的研究重点，如何平衡眼动识别的效率、准确率和稳定性则是该技术的难点。

发明内容

本发明的目的是提供一种基于智能相机的非接触式实时眼动识别方法，其能够克服现有技术中的某个或某些缺陷。

根据本发明的基于智能相机的非接触式实时眼动识别方法，包括眼动状态匹配、匹配相似度和倾斜角度的识别，该方法具体步骤为：

1)利用智能相机对被检测对象进行面部图像采集，并将采集到的图像保存在智能相机中；

2)根据不同的被测对象，从多幅获取的面部图像中制作各个眼动状态模板；

3)正式检测开始，简单进行图像预处理后，从面部图像中快速定位眼部感兴趣区域；

4)然后对感兴趣区域进行特征匹配，采用基于灰度变换和几何变换的最小二乘匹配法依次匹配各眼动状态，求出准确的识别结果；以及

5)将原图与识别结果关联后输出至交互触摸屏，显示当前眼动的状态。

在本发明的一个具体实施例中，其中步骤1）中所述的智能相机采用单色数字面阵CCD传感器，CCD传感器设置在智能相机的嵌入式视觉系统中；检测前，根据当前检测环境，调整智能相机参数，包括焦距、曝光、光圈、增益。

在本发明的又一个具体实施例中，其中步骤2）中所述的制作各个眼动状态的模板包括单眼的正视、左视以及右视模板。

在本发明的再一个具体实施例中，其中步骤3）中所述的图像预处理中，对获取的图像进行均衡和补偿，以改善图像的对比度。

在本发明的又一个具体实施例中，其中步骤3）中所述的快速定位眼部区域，采用抽样的相关系数匹配算法，进行快速定位感兴趣区域，通过误差范围内坐标点的计算修正匹配的感兴趣区域。

在本发明的又一个具体实施例中，其中步骤4）中所述的最小二乘匹配法识别眼动信息采用结合了灰度变换和几何变换的残差平方和作为度量参考，依次序与各个眼动状态模板进行模板匹配，确定准确的眼动状态信息。

本发明的方法与现有技术相比，以智能相机取代工业计算机，集成程度高、结构紧凑适应于更多场合；可独立完成图像采集、处理和结果输出三个功能；检测过程中除被测者无需他人进行维护，既省人力又保证了检测的高效率。识别效果上，本发明的方法检测的准确度平均在九成以上，速度每百帧识别需要约4s，每帧仅需要40ms，受光线等干扰影响小稳定性好，适用于实时眼动识别检测。

附图说明

图1为本发明基于智能相机的实时眼动识别检测方法原理图;以及

图2为本发明基于智能相机的实时眼动识别检测方法流程图。

具体实施方式

下面结合附图详细描述根据本发明的基于智能相机的实时眼动识别检测方法。

如图1示出了根据本发明的基于智能相机的实时眼动识别监测方法的原理图。采用嵌入式智能相机3，配有单色CCD图像传感器4（分辨率640x480，最大可用帧速率114fps，1.6GHz处理器）。交互触摸屏8基于Windows CE系统，用于控制智能相机3进行识别。安装在智能相机3上的图像传感器4获取待测图像，经眼动识别模块对图像进行预处理、眼部区域识别5快速识别出眼部感兴趣区域、眼动状态匹配6识别计算当前眼动信息，并通过以太网将识别结果包括图像和参数信息从智能相机3的网口7，输出至交互触摸屏8进行显示。如果没有匹配到合适的眼动状态，则反馈当前原图和“超出检测范围”的文本信息。检测为连续检测，直到用户停止对被测对象的检测为止，电源1为各个部件提供所需的电压。

本方法硬件简单，即使是在较小的工作空间和较恶劣的工作环境中也不需要支架等固定，只需要使被测对象的面部区域位于相机的测量平面内。

本方法中的应用程序是存放在智能相机3中的。在上位机2中建立一个工程，添加设备智能相机3与交互触摸屏8，然后通过专业的VBAI（Vision Builder for Automated Inspection）开发识别程序，并转换为应用程序，添加于工程中，并为其在智能相机3内部存储空间中生成一个进行远程控制的网页，配置智能相机3与交互触摸屏8的网络地址使两个设备处于同一子网，并可脱离上位机2单独运行。

检测前，先根据当前使用环境及条件对智能相机3进行参数调节，包括焦距、光圈、曝光、增益等。

参见图2，本发明的方法具体实施步骤如下：

1)利用单色面阵CCD对被检测对象进行面部图像采集，并将采集到的图像保存在智能相机3中。

2)在检测前预先，根据不同的被测对象制作眼部区域的模板，从多幅获取的面部图像中制作各眼动状态模板，考虑人眼具有双眼旋转运动协调的特性采用单眼模板进行被测对象的眼动识别。

3)正式检测开始，简单进行图像预处理后，从面部图像中快速定位眼部感兴趣区域。运用模板匹配的方法在当前帧图像中检测出可能为眼部的区域，设置相似度的度量值，考虑到模板和实际检测时光照条件不完全相同，还可能存在图像的几何形变，根据测试通常将最小阈值设定在满量程的六成左右最佳。在抽样快速定位感兴趣区域后，通过误差范围计算修正匹配的感兴趣区域。

4)然后采用最小二乘匹配法对感兴趣区域进行特征匹配，先后对感兴趣区域依次匹配黑眼球特征模板，默认常态下眼睛处于前视状态故先匹配前视模板，若不匹配则再尝试匹配左视和右视模板。在三个模板的匹配范围内都不符合时，记录为“超出检测范围”。最小二乘匹配法识别眼动信息采用结合了灰度变换和几何变换的残差平方和作为度量参考，能够处理眼动状态识别过程中的光线影响和人为影响。

5)将原图与识别结果关联后以网页交互方式在触摸屏中显示当前眼动状态和识别信息。所述的关联原图与识别结果是指在原图上建立一图层，通过坐标对应原图，以红框标识出匹配区域，十字坐标标识黑眼球中心及倾斜的角度；在图的右侧以“PASS”或“FALSE”提示是否成功匹配，以“CENTER”、“LEFT”、“RIGHT”提示识别到的状态，以列表显示数值参数信息，包括眼睛倾斜角度、与模板的相似度、当前运行的总时间。所述的输出显示识别结果是经过将上述得到的原图与识别结果关联后的图像通过网线传输至交互触摸屏进行显示。

其中步骤4）中所述最小二乘匹配法识别眼动信息的原理为：眼部模板为T(u_T，v_T)，其对应被检测人脸图像的部分图像为I(u_I，V_I)，那么，假定最小二乘匹配法对两个图像有下式关系T(u_T，v_T)=f[I(u_I，v_I)]，而 $\left\{\begin{array}{c}{u}_I=g_u(u_T,v_T)\\ v_I=g_v(u_T,v_T)\end{array}\right.$ 分别表示两张图像间的灰度变换和几何变换，采用被检测人脸图像的中央位置作为实现匹配时眼部模板的开始位置，那么两图的残差平方和

$\begin{array}{c}Q=\underset{u_T=u_{\mathrm{TC}}-M_T}{\overset{u_{\mathrm{TC}}+M_T}{\mathrm{\Σ}}}\underset{v_T=v_{\mathrm{TC}}-N_T}{\overset{v_{\mathrm{TC}}{N}_T}{\mathrm{\Σ}}}{\left[e(u_T,v_T)\right]}^2\\ =\underset{u_T=u_{\mathrm{TC}}-M_T}{\overset{u_{\mathrm{TC}}+M_T}{\mathrm{\Σ}}}\underset{v_T=v_{\mathrm{TC}}-N_T}{\overset{v_{\mathrm{TC}}+N_T}{\mathrm{\Σ}}}{\{T(u_T,v_T)-[I(g_u(u_T,v_T),g_v(u_T,v_T))\left]\right\}}^2\end{array}$

估计灰度变换函数以及几何变换函数的参数近似值，然后由线性近似的反复改进，求出最小的Q值，反应当前位置的匹配程度，同时求出几何变换的参数，用于描述倾斜角度。

本发明的方法与现有技术相比，以智能相机取代工业计算机，集成程度高、结构紧凑适应于更多场合；可独立完成图像采集、处理和结果输出三个功能；检测过程中除被测者无需他人进行维护，既省人力又保证了检测的高效率。识别效果上，本发明的方法检测的准确度平均在九成以上，速度每百帧识别需要约4s，每帧仅需要40ms，受光线等干扰影响小稳定性好，适用于实时眼动识别检测。

本领域技术人员应当理解，上述图示内容和实施例仅用于解释本发明而非用于对其作出任何限制。

Claims (6)

1.一种基于智能相机的非接触式实时眼动识别方法，包括以下步骤：

1)利用智能相机对被检测对象进行面部图像采集，并将采集到的图像保存在智能相机中；

2)根据不同的被测对象，从多幅获取的面部图像中制作各个眼动状态模板；

3)正式检测开始，简单进行图像预处理后，从面部图像中快速定位眼部感兴趣区域；

4)然后对感兴趣区域进行特征匹配，采用基于灰度变换和几何变换的最小二乘匹配法依次匹配各眼动状态，求出准确的识别结果；以及

5)将原图与识别结果关联后输出至交互触摸屏，显示当前眼动的状态。

2.根据权利要求1所述的基于智能相机的非接触式实时眼动识别方法，其中步骤1）中所述的智能相机采用单色数字面阵CCD传感器，CCD传感器设置在智能相机的嵌入式视觉系统中；检测前，根据当前检测环境，调整智能相机参数，包括焦距、曝光、光圈、增益。

3.根据权利要求1所述的基于智能相机的非接触式实时眼动识别方法，其中步骤2）中所述的制作各个眼动状态的模板包括单眼的正视、左视以及右视模板。

4.根据权利要求1所述的基于智能相机的非接触式实时眼动识别方法，其中步骤3）中所述的图像预处理中，对获取的图像进行均衡和补偿，以改善图像的对比度。

5.根据权利要求1所述的基于智能相机的非接触式实时眼动识别方法，其中步骤3）中所述的快速定位眼部区域，采用抽样的相关系数匹配算法，进行快速定位感兴趣区域，通过误差范围内坐标点的计算修正匹配的感兴趣区域。

6.根据权利要求1所述的基于智能相机的非接触式实时眼动识别方法，其中步骤4）中所述的最小二乘匹配法识别眼动信息采用结合了灰度变换和几何变换的残差平方和作为度量参考，依次序与各个眼动状态模板进行模板匹配，确定准确的眼动状态信息。

Images