CN102129554B - 一种基于视线跟踪的密码输入控制方法 - Google Patents

Abstract

本发明提供了一种基于视线跟踪的密码输入控制方法，该密码输入控制方法包括具体包括以下步骤：(1)人脸图像预处理及人眼特征参数提取：根据人脸的结构特性进行人脸检测并在符合人脸结构特性的人脸区域内进行人眼特征参数的提取；(2)估计当前注视点位置：采用基于相似三角形的双光源视线跟踪实现从人眼特征参数到当前注视点位置的估计；(3)根据注视点位置进行密码输入操作控制：根据注视点的位置，利用时间门限及声音反馈来控制密码输入的操作。本发明可有效地防止用户密码被窃取，不通过键盘输入密码，避免了不同个体之间通过键盘上残留的细菌病毒形成交叉感染；具有简单方便、安全性更高的特点。

Description

一种基于视线跟踪的密码输入控制方法

技术领域

本发明涉及一种密码输入控制方法，属于视频、多媒体信号处理及智能化控制技术领域。

背景技术

随着科学的发展以及信息保密的需求，密码输入系统已成为人们生活中密不可少的一部分，例如金融交易中的账户密码输入、防盗门密码输入、手机或电脑的解锁密码以及个人机密或隐私文件的查阅密码输入等，为人们的财产、商业机密或个人隐私提供了安全性保证。

然而，密码输入系统越来越广泛的应用在给人们带来方便的同时也存在不少的安全隐患。由于目前的密码输入系统都要使用密码键盘或触摸屏系统进行密码输入，这都离不开手和键盘或屏幕的接触，这为不法分子窃取用户密码提供了可乘之机。他们可以利用从不同的角度偷窥、偷装针孔摄像机拍摄密码输入过程、在键盘上或屏幕上贴附用于指纹提取的薄膜来窃取用户密码，甚至可通过键盘磨损来破解用户电脑、手机或防盗门密码，给人们带来巨大的损失。

发明内容

针对现有密码输入技术存在的安全隐患，本发明提供一种简单方便、安全性更高的基于视线跟踪的密码输入控制方法。

本发明的基于视线跟踪的密码输入控制方法，通过对采集到的人脸图像进行处理来获取人眼的特征参数，进而估计出人眼在屏幕上注视点的位置，并根据注视点的位置完成密码的输入控制，具体包括以下步骤：

(1)人脸图像预处理及人眼特征参数提取：根据人脸的结构特性进行人脸检测并在符合人脸结构特性的人脸区域内进行人眼特征参数的提取；

上述步骤(1)的具体实现步骤为：

A当接收到激励信号时，通过摄像机及红外光源拍摄人脸图像，根据灰度特性及人脸结构特性从所拍摄的人脸图像中去除背景噪声的影响；

B根据人眼的位置结构及瞳孔与角膜反射点之间的灰度差从识别出的人脸区域中进行人眼定位；

C从定位出的人眼区域中提取用于视线跟踪的瞳孔中心坐标及反射点坐标的人眼特征参数；

(2)估计当前注视点位置：采用基于相似三角形的双光源视线跟踪实现从人眼特征参数到当前注视点位置的估计；

上述步骤(2)的具体实现步骤如下：

A采用相似三角形的方法估计注视点的大致位置；

B将一个固定位置的红外光源作为参考目标，根据该参考目标的估计值与真实值之间的误差进行注视点位置估计结果的校正，得到精确的注视点位置。

(3)根据注视点位置进行密码输入操作控制：根据注视点的位置，利用时间门限及声音反馈来控制密码输入的操作。

上述步骤(3)的具体实现步骤为：

A判断估计出的注视点位置是否在数字键或指令键区域，若在则计时，当视线在该位置驻留超过一定时间门限，系统便接受该输入指令；

B通过声音反馈输入指令的状态，当用户听到声音反馈时表明该指令已被系统接受，用户可通过视线来控制下一条指令的输入。

实现上述基于视线跟踪的密码输入控制方法的密码输入系统，包括一个能够显示密码输入键盘及其他操作按钮的显示屏，并在显示屏幕下边界的中间位置安放一个摄像头，用于人脸图像的拍摄；另外，分别在显示屏的左下角、右下角以及左上角各放置一个红外光源，其中，左下角和右下角的红外光源用于从人眼特征到屏幕上注视点位置的估计，左上角的红外光源则被作为参考目标位置，用于视线估计的校正。

本发明利用视线跟踪对密码输入进行控制，由于没有手与键盘或触摸屏的直接接触行为，不用担心输密码时被偷窥也不会留下任何指纹，可有效地防止用户密码被窃取；另外，不通过键盘输入密码，避免了不同个体之间通过键盘上残留的细菌病毒形成交叉感染；具有简单方便、安全性更高的特点。

附图说明

图1是本发明基于视线跟踪的密码输入控制方法的原理框架图。

图2是本发明中密码输入系统的结构示意图。

图3是屏幕上注视点估计原理图。

图4是注视点估计实验结果图。

具体实施方式

本发明基于视线跟踪的密码输入控制方法的实现需要一个如图2所示的密码输入系统，该系统包括一个能够显示密码输入键盘及其他操作按钮的显示屏，并在显示屏幕下边界的中间位置安放一个摄像头，用于人脸图像的拍摄；另外，分别在显示屏的左下角、右下角以及左上角各放置一个红外光源，其中，左下角和右下角的红外光源用于从人眼特征到屏幕上注视点位置的估计，左上角的红外光源则被作为参考目标位置，用于视线估计的校正。

图1给出了本发明基于视线跟踪的密码输入控制方法的原理框架图，以ATM机密码输入系统为例来介绍本发明的具体实施步骤如下：

1.人脸图像预处理及人眼特征参数的提取。通过对所拍摄图像进行预处理来识别人脸，防止不法分子遮挡脸部盗取存款，并对通过人脸检测的图像进行人眼定位及人眼特征参数提取。其具体实施步骤如下：

(1)当银行卡插入时启动摄像机及红外光源，从所拍摄图像中寻找符合人脸结构特性的人脸区域，若不存在符合条件的人脸区域则表明疑似非法作案并强制退卡，若存在则继续下面的操作。

(2)对于通过人脸检测的图像，则根据瞳孔及反射点的灰度差从检测出的人脸区域中定位眼睛区域。

人脸图像中瞳孔与角膜上的反射点在灰度特性上存在很大的差异，反射点具有较高的灰度值而瞳孔区域则具有较低的灰度值，根据图像中所有像素点灰度值的最大值及最小值可计算获得高阈值T_reflect以及低阈值T_black，用T_reflect和T_black分别对人脸图像进行二值化，则可得到带有干扰的反射点区域以及瞳孔区域。根据反射点及瞳孔区域的大小、位置、距离以及结构特性去除区域中的干扰区域，去除干扰的反射点区域与大致的瞳孔区域的交集即为人眼角膜上的反射点，据此，可以定位出较为精确的人眼区域。

(3)利用边缘检测以及椭圆拟合的方法，从定位出的人眼区域中提取用于视线跟踪的瞳孔中心坐标(x′_Py′_P)和屏幕左右下角以及左上角三个红外光源在角膜上的反射点坐标

等人眼特征参数。

2.当前注视点位置估计。采用相似三角的方法来估计屏幕上注视点的位置，如图3所示，并通过设置参考目标的方式来校正注视点估计的结果，实现当前注视点的精确估计。其具体实施步骤如下：

(1)根据人眼注视特性及摄像机成像原理，采用相似三角形的方法估计注视点的大致位置

该坐标位置可通过如下公式计算获得：

$\left\{\begin{array}{c}\frac{{\hat{x}}_Q}{x_{L_2}-x_{L_1}}=\frac{x_{L_1}^{\′}-x_P^{\′}}{x_{L_1}^{\′}-x_{L_2}^{\′}}\\ \frac{{\hat{y}}_Q}{x_{L_2}-x_{L_1}}=\frac{y_{L_1}^{\′}-y_P^{\′}}{x_{L_1}^{\′}-x_{L_2}^{\′}}\end{array}\right.\⇒\left\{\begin{array}{c}{\hat{x}}_Q=\frac{x_{L_1}^{\′}-x_P^{\′}}{x_{L_1}^{\′}-x_{L_2}^{\′}}(x_{L_2}-x_{L_1})\\ {\hat{y}}_Q=\frac{y_{L_1}^{\′}-y_P^{\′}}{x_{L_1}^{\′}-x_{L_2}^{\′}}(x_{L_2}-x_{L_1})\end{array}\right.$

其中，分别为左右下角红外光源的坐标位置，它们的值是固定的，可通过测量获得，

的值等于屏幕的宽度。所采用的坐标系以屏幕上的左下角为原点，水平向右为X轴，竖直向上为Y轴。

(2)将左上角的红外光源L₃作为参考目标，其坐标位置为

根据该参考目标的估计值与真实值之间的误差进行注视点位置估计结果的校正，得到精确的注视点位置。若利用相似三角形方法估计出的L₃的坐标位置为

则可得到参考目标估计与真实值之间的在X轴及Y轴上的误差根据

与当前注视点估计值

之间的距离及来校正注视点估计的结果，得到精确的注视点估计值。

3.根据注视点位置进行存取款操作。根据注视点的位置，利用时间门限及声音反馈来控制ATM机的存取款操作，其具体实施步骤为：

(1)判断估计出的注视点位置是否在数字键或指令键区域，若在则计时，当视线在该位置驻留超过500ms，当注视点位置在数字键区域时则输入该位密码，若在指令按钮区域则接受该指令操作。

(2)当用户听到声音反馈时表明上条指令已被系统接受，若此时任务已完成，则通过视线注视“退卡”按键退卡，停止摄像头和红外光源运作，若未完成则通过视线跟踪实现下一步指令的操作。

图4为利用目前所研究的视线跟踪算法对带有键盘按键的图片进行的注视点估计结果。实验中注视的位置为窗口的关闭符号，QQ号码的数字8，键盘上的数字0，键盘上的字母m，以及自动登录前的白框，“+”表示估计出的注视点位置。从实验结果精度来看，若合理设置键盘按键及操作按钮在显示屏上的的尺寸大小及位置，便可保证密码输入系统指令的准确控制。另外，由于系统不对采集图像进行记录，用户不必担心系统安全性问题，并可以为用户的账户密码安全提供更有力的保障。

Claims (1)

1.一种基于视线跟踪的密码输入控制方法，其特征是，实现该控制方法的系统包括一个能够显示密码输入键盘及其他操作按钮的显示屏，并在显示屏幕下边界的中间位置安放一个摄像头，用于人脸图像的拍摄；另外，分别在显示屏的左下角、右下角以及左上角各放置一个红外光源，其中，左下角和右下角的红外光源用于从人眼特征到屏幕上注视点位置的估计，左上角的红外光源则被作为参考目标位置，用于视线估计的校正；通过对采集到的人脸图像进行预处理来识别人脸，并对通过人脸检测的图像进行人眼定位及人眼特征参数提取，估计出人眼在屏幕上注视点的位置，并根据注视点的位置完成密码的输入控制，具体包括以下步骤：

（1）人脸图像预处理及人眼特征参数提取：根据人脸的结构特性进行人脸检测并在符合人脸结构特性的人脸区域内进行人眼特征参数的提取；具体实现步骤为：

A当接收到激励信号时，启动摄像机及红外光源拍摄人脸图像，根据人脸的结构特性进行人脸检测，从所拍摄图像中寻找符合人脸结构特性的人脸区域，若不存在符合条件的人脸区域则疑似非法操作，若存在则继续在符合人脸结构特性的人脸区域内进行人眼特征参数的提取；

B根据人眼的位置结构及瞳孔与角膜反射点之间的灰度差从识别出的人脸区域中进行人眼定位；

C从定位出的人眼区域中提取用于视线跟踪的瞳孔中心坐标及反射点坐标的人眼特征参数；

（2）估计当前注视点位置：采用基于相似三角形的双光源视线跟踪实现从人眼特征参数到当前注视点位置的估计；具体实现步骤如下：

A采用相似三角形的方法估计注视点的大致位置；

注视点的大致位置 

通过如下公式计算获得：

上式中， 分别为左右下角红外光源的坐标位置，它们的值是固定的，通过测量获得， 

的值等于屏幕的宽度， 

分别为瞳孔中心以及两角膜反射点在图像坐标系中X轴上的坐标位置， 

分别为瞳孔中心以及一侧角膜反射点在图像坐标系中Y轴上的坐标值；

B将左上角的红外光源作为参考目标位置，根据该参考目标的估计值与真实值之间的误差进行注视点位置估计结果的校正，得到较为精确的注视点估计结果； 

（3）根据注视点位置进行密码输入操作控制：根据注视点的位置，利用时间门限及声音反馈来控制密码输入的操作，具体实现步骤为：

A判断估计出的注视点位置是否在数字键或指令键区域，若在则计时，当视线在该位置驻留超过一定时间门限，系统便接受该输入指令；

B通过声音反馈输入指令的状态，当用户听到声音反馈时表明该指令已被系统接受，用户可通过视线来控制下一条指令的输入。 

Images