CN104156643B - 一种利用眼睛视线来实现密码输入的方法及其硬件装置 - Google Patents
一种利用眼睛视线来实现密码输入的方法及其硬件装置 Download PDFInfo
- Publication number
- CN104156643B CN104156643B CN201410361283.2A CN201410361283A CN104156643B CN 104156643 B CN104156643 B CN 104156643B CN 201410361283 A CN201410361283 A CN 201410361283A CN 104156643 B CN104156643 B CN 104156643B
- Authority
- CN
- China
- Prior art keywords
- image
- user
- unit
- pixel
- haar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004438 eyesight Effects 0.000 title claims abstract description 13
- 210000001508 eye Anatomy 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 16
- 210000001747 pupil Anatomy 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000000205 computational method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种利用眼睛视线来实现密码输入的方法及其硬件装置，该硬件装置包括摄像单元、显示器单元以及处理单元，该方法包括以下步骤：由摄像单元拍摄脸部图像，然后形成积分数值图像，使用Adaboost遍历该积分数值图像并进行联级检测以确定包含有使用者眼睛的目标区域，确定该目标区域中左右眼的瞳孔中心以及内眼角点的位置，并根据几何关系确定视线焦点在该显示器单元上的具体位置，以完成输入密码。本发明的方法相对于现有技术更安全、更快捷方便、输入准确度更高，而且其所需的硬件配置更简单，节约了成本。
Description
技术领域
本发明涉及模式识别技术以及图像处理技术，特别地涉及一种计算眼睛视线焦点来实现密码输入的方法及其硬件装置。
背景技术
随着科技的发展，盗窃密码的技术也在不断地进步，对传统物理键盘的密码输入方式造成严重的安全威胁。但目前传统物理键盘的密码输入方式依然占据着主流位置，例如随处可见的ATM机仍然采用九宫格的物理键盘进行密码的输入，安全性较低。于是，亟需一种保密性高又能大规模推广的新型密码输入方式。
眼睛是人类心灵的窗口，通过眼睛来传递信息符合自然的交互方式。近年来，计算设备的性能大幅提高，再加上模式识别算法的精确度有显著的进展，为眼控密码输入的新型密码输入方式提供了技术实现的基础。
中国专利CN 103077338 A公开了一种视线追踪密码输入方法和装置，包括下列步骤：一摄影单元对一区域连续撷取影像，该摄影单元所撷取的影像传送至一运算单元，其中当一人员接近该摄影单元且该人员的眼睛进入该区域时，该摄影单元连续撷取该人员的该眼睛的影像，该运算单元判断该人员的眼睛注视输入区中的某一位置，将该位置所显示的字符作为密码输入，该运算单元将该至少两个输入的字符与一默认的密码做比对，若输入的字符与默认的密码相符，则人员通过认证。然而，该发明仅仅公开了由摄像单元拍摄人员眼睛的影像，以判断该人员所注视的输入区的字符，并未具体公开该装置如何确定人员眼睛所注视的输入区的方法，尽管该发明可以通过运算单元将至少两个输入字符与默认的密码做比对，并由人员通过认证，从而确保密码输入的正确性，但是由于上述确认密码步骤的存在，使得密码输入过程复杂化并且增加了密码输入的耗时。
中国专利CN 102129554 B公开了一种基于视线跟踪的密码输入控制方法，该密码输入控制方法包括具体包括以下步骤：(1)人脸图像预处理及人眼特征参数提取：根据人脸的结构特性进行人脸检测并在符合人脸结构特性的人脸区域内进行人眼特征参数的提取；(2)估计当前注视点位置：采用基于相似三角形的双光源视线跟踪实现从人眼特征参数到当前注视点位置的估计；(3)根据注视点位置进行密码输入操作控制：根据注视点的位置，利用时间门限及声音反馈来控制密码输入的操作。然而，这种方法还需要在屏幕的两个底角以及例如左上角的三个不同位置设置红外光源，以确定人员的眼睛瞳孔所注视的当前视点位置，这不仅增加了密码输入的硬件设备，而且将红外光源设置于特定位置时，需要保证红外光源的位置正确，有利于人员眼睛瞳孔的当前视点位置的计算，这样会使得硬件配置要求复杂化。
发明内容
本发明的目的，就是克服现有技术的不足，提供一种更安全、更快捷方便、输入准确度更高的利用眼睛视线来实现密码输入的方法。
本发明的目的还在于提供一种对硬件配置要求更少、结构更简单的密码输入硬件装置。
为了达到上述目的，采用如下技术方案：
(1)设置显示器单元以及摄像单元，该摄像单元位于该显示器单元以外的任意位置，并朝向使用者的脸部，该显示器单元显示虚拟键盘，该使用者注视该虚拟键盘上的特定字符；
(2)该摄像单元拍摄使用者的脸部图像，并对该脸部图像进行颜色空间转换处理，以将该脸部图像从彩色转换为灰度图像；
(3)计算该灰度图像的各点像素积分数值，以形成积分数值图像；
(4)训练若干个不同的Adaboost分类器，其中该若干个不同的分类器为弱分类器，该弱分类器根据使用者预设的不同的级别，集合并形成各级强分类器，然后使用Adaboost遍历该积分数值图像并进行级联检测，以计算每个具有haar特征的该弱分类器的特征值，判断该积分数值图像是否通过该各级强分类器，从而检测相对应的该图像是否包含使用者的眼睛；
(5)定义包含使用者的眼睛区域为目标区域，确定该目标区域中左右眼的瞳孔中心以及内眼角点的位置；
(6)根据该两个瞳孔中点以及该两个内眼角点建立视线模型，根据该视线模型以及几何关系，确定视线焦点在该显示器单元上的具体位置；
(7)该视线焦点在该虚拟键盘的该具体位置上停留特定时间，确定该具体位置所显示的字符为使用者需要输入的密码值。
根据一个实施例，步骤(2)中的将该图像从彩色转换为灰度图像，所采用的计算公式为：
Y＝0.257 R+0.564 G+0.098 B
其中，Y为灰值度，R为红色分量，G为绿色分量，B为蓝色分量。
根据一个实施例，步骤(3)中的计算该灰度图像的各点像素积分数值，当各点像素积分数值的haar特征为非倾斜矩形，像素点(x，y)位于非零行列时，所采用的计算公式为：
ii(x,y)＝ii(x,y-1)+ii(x-1,y)-ii(x-1,y-1)+p(x-1,y-1)
其中，(x，y)表示该像素点的坐标，ii(x,y)表示该像素点(x，y)的积分值，p(x,y)表示该像素点(x，y)的灰度值。
根据一个实施例，步骤(3)中的计算该灰度图像的各点像素积分数值，当各点像素积分数值的haar特征为倾斜矩阵，像素点(x，y)位于非零行列时，所采用的计算公式为：
ii(x,y)＝ii(x-1,y-1)+ii(x+1,y-1)-ii(x,y-2)+p(x-1,y-1)+p(x-1,y-2)
其中，(x，y)表示该像素点的坐标，ii(x,y)表示该像素点(x，y)的积分值，p(x,y)表示该像素点(x，y)的灰度值。
根据一个实施例，步骤(4)中Adaboost中的haar特征包括线性特征的haar矩形、边缘特征的haar矩形、中心特征的haar矩形和对角线特征的haar矩形，该haar矩形的尺寸大小根据使用者预设的检测精度和运算量可调，该haar矩形的特征值采用积分图的方式来计算。
根据一个实施例，步骤(4)中的该各级强分类器的数量以及每个该强分类器所包含的弱分类器的数量根据使用者预设的检测精度和运算量可调。
根据一个实施例，步骤(6)中的该视线模型根据几何关系，将该两个瞳孔中点与该两个内眼角点之间的向量投影在该显示器单元平面上，以确定该视线焦点在该显示器单元上的具体位置。
根据一个实施例，保持该图像的尺寸不变，以设定比例放大遍历该积分数值图像的检测窗口，以检测不同使用者的眼睛，选取尺寸最大的使用者的眼睛区域作为目标区域。
本发明的目的还可以通过一种利用眼睛视线来实现密码输入的硬件装置来实现，其包括：摄像单元；显示器单元；以及处理单元，其中，该摄像单元位于显示器单元以外的任意位置，朝向并持续拍摄使用者的脸部，该显示器单元显示虚拟键盘，该处理单元用于处理该摄像单元所拍摄的使用者的脸部图像，以确定使用者的视线焦点在该显示器单元上的具体位置。
根据一个实施例，该处理单元可以为个人计算机、嵌入式系统或现场可编程门阵列系统FPGA。
与现有技术相比，本发明的有益效果在于：
通过本发明的上述方法以及硬件装置，可以获得使用者眼睛的图像，并且通过处理单元对图像的处理和计算，建立视线模型，从而估计得出使用者的视线焦点在显示器单元上的具体位置，并将对应位置上的字符作为输入密码。这种方法以及硬件装置相对于现有技术而言，不需要设置红外光源以对准使用者的瞳孔，并且摄像单元只需要设置在正面朝向使用者脸部的位置，对图像的处理、视线模型的建立以及密码的输入更多地依靠处理单元的内置程序来完成。因此，本发明所需的硬件数量更少、结构更简单，并且无需额外配置光源，硬件如摄像单元的安装位置的精确度要求更低，便于使用者安装；其次，本发明通过建立视线模型以估计使用者视线焦点所注视的具体位置，其校准步骤以及确认输入的密码步骤更为灵活，节省了使用者输入密码的耗时；另外，本发明可以适应不同使用者的眼睛尺寸以估计其视线焦点所注视的具体位置，适用于任何利用眼睛视线来实现密码输入的场合。
附图说明
图1是根据本发明实施例的利用眼睛视线来实现密码输入的方法流程图。
图2是根据本发明实施例的改进Susan算子的检测模板图。
图3是根据本发明实施例的建立视线模型示意图。
具体实施方式
下面将结合附图以及具体实施方法来详细说明本发明，在本发明的示意性实施及说明用来解释本发明，但并不作为对本发明的限定。
图1是根据本发明实施例的利用眼睛视线来实现密码输入的方法流程图。在步骤1中，摄像单元设置在显示器单元的正上方，并且正面朝向使用者的脸部，显示器单元，例如屏幕可以显示虚拟键盘，该虚拟键盘的键可以是数字、字母和/或特殊符号。当使用者注视虚拟键盘的某个键达到一特定时间，处理单元，例如个人计算机嵌入式系统或FPGA系统可确定该键所显示的字符为对应的输入密码。
摄像单元拍摄使用者的脸部图像，然后将图像传送至处理单元进行颜色空间转换处理，以将该图像从彩色转换为灰度图像，在此转换过程中采用以下公式：
Y＝0.257 R+0.564 G+0.098 B
其中，Y是灰度值，R是红色分量，G是绿色分量，B是蓝色分量。
计算步骤1所得出的灰度图像的各点像素积分数值，以形成积分数值图像。
在本实施例中，设置灰度图像的坐标原点为(0，0)，各点像素的坐标为(x，y)，当各点像素积分数值的haar特征为非倾斜矩形，其积分数值根据以下计算方法进行计算：
如果像素点(x，y)位于该灰度图像的第0行的第0列，该像素点的积分数值为：
ii(x,y)＝p(x-1,y-1)
如果像素点(x，y)位于该灰度图像的第0行的非零列，该像素点的积分数值为：
ii(x,y)＝ii(x-1,y)+p(x-1,y-1)
如果像素点(x，y)位于该灰度图像的非零行的第0列，该像素点的积分数值为：
ii(x,y)＝ii(x,y-1)+p(x-1,y-1)
如果像素点(x，y)位于该灰度图像的非零行列，该像素点的积分数值为：
ii(x,y)＝ii(x,y-1)+ii(x-1,y)-ii(x-1,y-1)+p(x-1,y-1)
其中，ii(x,y)表示该像素点(x，y)的积分值，p(x,y)表示该像素点(x，y)的灰度值。
而当各点像素积分数值的haar特征为倾斜矩形，其积分数值根据以下计算方法进行计算：
如果像素点(x，y)位于该灰度图像的第0行，该像素点的积分数值为：
ii(x,y)＝0
如果像素点(x，y)位于该灰度图像的第1行的第0列，该像素点的积分数值为：
ii(x,y)＝0
如果像素点(x，y)位于该灰度图像的第1行的非零列，该像素点的积分数值为：
ii(x,y)＝p(x-1,y-1)
如果像素点(x，y)位于该灰度图像的第0、1行以外的行时，则根据以下情况进行计算：
如果像素点(x，y)位于该灰度图像的第0列，该像素点的积分数值为：
ii(x,y)＝ii(x+1,y-1)
其中，ii(x,y)表示该像素点(x，y)的积分值，p(x,y)表示该像素点(x，y)的灰度值。
在步骤2中，训练若干个不同的Adaboost分类器，这些若干个不同的Adaboost分类器构成弱分类器。各个该弱分类器均具有haar特征，根据使用者的需要，可以设定Adaboost的遍历检测精度和运算量以控制haar特征(haar矩形)的尺寸，由此控制各级强分类器的数量以及每个强分类器所包含的弱分类器的数量，其中，haar矩形的特征值采用积分数值图像的方式来计算。
上述haar特征包括线性特征的haar矩形、边缘特征的haar矩形、中心特征的haar矩形和对角线特征的haar矩形。
在步骤3中，使用Adaboost遍历该积分数值图像并进行联级检测，其包括以下步骤：首先，各级强分类器所包含的各个弱分类器均需要对该积分数值图像进行检测。在处理单元中通过一子窗口打开该积分数值图像，以一强分类器中的一弱分类器遍历该子窗口的图像。通过该弱分类器的haar矩形的顶点坐标，可以在该积分数值图像上所引导相应位置的像素点，从而得到该像素点的积分数值，用于计算该弱分类器的haar矩形的特征值θ。
为补偿光照的影响，各个弱分类器所设定的阈值都需要添加光照补偿。光照补偿可以采用以下公式：
th_c＝th×S×σ
S＝[(WIDTH-2)×scale]×[(HEIGHT-2)×scale]
其中，原有阈值为th，补偿后阈值为th_c，子窗口面积为S，子窗口内灰度图的灰度标准差为σ，WIDTH是子窗口的宽度，HEIGHT是子窗口的高度，scale是子窗口的缩放系数，优选为1.2。
然后，比较该弱分类器的haar矩阵的特征值θ与补偿后的阈值th_c，如果θ小于th_c，那么该弱分类器的投票值为左值(left value)，反之为右值(right value)，其中，leftvalue以及right value分别为Adaboost分类器的分类器文件中各个弱分类器的两个可选的投票值。
在一强分类器的各个弱分类器完成对该积分数值图像的检测，并根据检测结果进行投票之后，将该各个弱分类器的投票值全部相加，所得到的投票值之和与该强分类器的阈值进行比较。如果投票值之和大于该强分类器的阈值，可以认为该子窗口的图像通过该强分类器的级别，反之认为不通过。如果该子窗口的图像可以通过各级强分类器，可以认为该子窗口的图像包含眼睛图像区域，反之认为不包含眼睛图像区域。
一般情况下，摄像单元所拍摄的图像可能包括至少一个人员的脸部，即包括至少一对眼睛，而且，不同使用者的眼睛尺寸各不相同。在步骤4中，可以采用以下方法检测不同尺寸的使用者眼睛：保持原图像的尺寸不变，以1.2倍的比例去放大检测子窗口，从而检测出该图像中不同尺寸的使用者眼睛；如果Adaboost联级检测的结果为，原图像包括若干个使用者眼睛的区域，则将其中尺寸最大的使用者眼睛区域定义为目标区域。
在步骤5中，确定瞳孔中心在该目标区域中的位置。确定瞳孔中心位置的方法，包括以下步骤：首先，对该目标区域的图像进行处理，例如椭圆掩膜积分滤波，以减小图像的噪声。其中，椭圆掩膜积分滤波为，使用椭圆掩膜遍历该目标区域的图像，然后计算该椭圆掩膜所覆盖的区域内的像素点的灰度之和，并将该灰度之和给该椭圆掩膜所覆盖的区域的中心点像素赋值。
例如，椭圆掩膜可以是以下的矩形形式：
其中，该椭圆掩膜用于11×19的目标区域，该矩形中的所有元素1构成近似椭圆的形状。
由于实际上眼睛的瞳孔部分呈现黑色，即瞳孔是眼睛区域中亮度最小的部分，瞳孔以外的区域亮度相对更高，可以通过亮度分割法得到瞳孔部分，过程如下：对上述椭圆掩膜积分滤波所得出的图像进行归一化处理，所采用的计算公式为：
其中，I′(x,y)表示归一化后的像素灰度值，I(x,y)表示原图像的像素灰度值，MIN表示原图像的像素灰度最小值，MAX表示原图像的像素灰度最大值。
然后，对归一化的图像进行二值化处理，使用一预设的阈值，优选为0.05，分割该图像。将归一化后的像素灰度值I′(x,y)与预设的阈值进行比较，如果I′(x,y)小于预设的阈值，则将该像素灰度值设置为最小值，例如0，如果I′(x,y)大于预设的阈值，则将该像素灰度值设置为最大值，例如255，由此分割出瞳孔区域。
然后，确定瞳孔区域的中心位置，所采用的计算公式为：
其中，M00为质量，M01为质心的垂直坐标，S01为垂直坐标之和，M10为质心的水平坐标，S10为水平坐标之和。遍历上述二值化图像，其中，如果像素灰度值为255，M00的值加1，S01和S10分别加上该点的垂直坐标值和水平坐标值。
在步骤6中，确定内眼角点在该目标区域中的位置。确定内眼角点位置的方法，包括以下步骤：在本实施例中，对Susan算子进行改进，并对该目标区域进行检测，可得到如图2所示的检测模板。在本文中，以确定左内眼角点的位置为示范性实施例，以便清楚地说明。使用图2中左边的检测模板遍历该目标区域的眼睛图像的左半部分，分别计算该检测模板中阴影区域以及空白区域所覆盖的像素点的灰度平均值。如果这两个区域的灰度平均值之差大于一预设的阈值，优选为20，可以判定该检测模板中的中心像素点为内眼角点。类似的检测步骤可用于确定右内眼角点的位置。
可以使用若干个类似于图2所示的检测模板，对该目标区域进行检测，由此计算出若干个不同的内眼角点。众所周知，例如，左眼的内眼角点位于左眼睑边缘的右下顶点，右眼的内眼角点位于右眼睑边缘的左下顶点。因此，确定若干个不同的内眼角点中的左/右下顶点为右/左内眼角点。
在步骤7中，根据该两个瞳孔中点以及该两个内眼角点建立视线模型，然后根据该视线模型以及几何关系，确定视线焦点在屏幕上的具体位置。如图3所示，该两个内眼角点的连线中点定义为基准点，第一点10，该两个瞳孔中心的连线中点定义为视线动点，即第二点11。在输入密码之前，可以校准屏幕，使用者通过注视屏幕的顶点，例如左上角和右下角顶点，以检测第二点11相对于第一点10的偏离量。通过这些偏移量，可以估计得出第二点11的可能活动区域。将从第一点10指向第二点11的向量定义为视线矢量13，由于该可能活动区域与屏幕之间存在线性对应关系12，通过比较视线矢量13与该偏移量，其中该偏移量为使用者注视屏幕的顶点时的视线矢量，可以计算得出视线焦点注视屏幕的具体位置。
在步骤8中，该视线焦点在该虚拟键盘的该具体位置上停留特定时间，然后确定该具体位置所显示的字符为输入密码值。特定时间可以由处理单元预先设定，并且当使用者的视线焦点停留在该具体位置上达到该特定时间时，处理单元可以发送一指令，使得屏幕显示成功输入单个密码的信号，如“密码输入成功”窗口。
该硬件装置每执行一次步骤3至步骤8的流程，也就是说，使用者完成单个密码字符的输入。在步骤9中，输入单个密码字符之后，处理单元判定密码输入是否完成。当密码并未完整输入时，该硬件装置重复执行步骤3至步骤8的流程，以输入下一个密码字符；当密码完整输入时，结束该流程。
以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种利用眼睛视线来实现密码输入的方法，其特征在于：所述方法包括以下步骤：
1)设置显示器单元以及摄像单元，所述摄像单元位于所述显示器单元以外的任意位置，并朝向使用者的脸部，所述显示器单元显示虚拟键盘，所述使用者注视所述虚拟键盘上的特定字符；
2)所述摄像单元拍摄使用者的脸部图像，并对所述脸部图像进行颜色空间转换处理，以将所述脸部图像从彩色转换为灰度图像；
3)计算所述灰度图像的各点像素积分数值，以形成积分数值图像；
所述灰度图像的各点像素积分数值，当各点像素积分数值的haar特征为非倾斜矩形，像素点(x，y)位于非零行列时，所采用的计算公式为：
ii(x,y)＝ii(x,y-1)+ii(x-1,y)-ii(x-1,y-1)+p(x-1,y-1)
其中，(x，y)表示所述像素点的坐标，ii(x,y)表示所述像素点(x，y)的积分值，p(x,y)表示所述像素点(x，y)的灰度值；或
所述灰度图像的各点像素积分数值，当各点像素积分数值的haar特征为倾斜矩阵，像素点(x，y)位于非零行列时，所采用的计算公式为：ii(x,y)＝ii(x-1,y-1)+ii(x+1,y-1)-ii(x,y-2)+p(x-1,y-1)+p(x-1,y-2)
其中，(x，y)表示所述像素点的坐标，ii(x,y)表示所述像素点(x，y)的积分值，p(x,y)表示所述像素点(x，y)的灰度值；
4)训练若干个不同的Adaboost分类器，其中所述若干个不同的分类器为弱分类器，所述弱分类器根据使用者预设的不同的级别，集合并形成各级强分类器，然后使用Adaboost遍历所述积分数值图像并进行级联检测，以计算每个具有haar特征的所述弱分类器的特征值，判断所述积分数值图像是否通过所述各级强分类器，从而检测相对应的所述脸部图像是否包含使用者的眼睛；Adaboost中的haar特征包括线性特征的haar矩形、边缘特征的haar矩形、中心特征的haar矩形和对角线特征的haar矩形，所述haar矩形的尺寸大小根据使用者预设的检测精度和运算量可调，所述haar矩形的特征值采用积分图的方式来计算；
5)定义包含使用者眼睛的区域为目标区域，确定所述目标区域中左右眼的瞳孔中心以及内眼角点的位置；
6)根据所述两个瞳孔中点以及所述两个内眼角点建立视线模型，根据所述视线模型以及几何关系，确定视线焦点在所述显示器单元上的具体位置；
7)所述视线焦点在所述虚拟键盘的所述具体位置上停留特定时间，确定所述具体位置所显示的字符为使用者需要输入的密码值；进一步包括以下步骤：
8)保持所述图像的尺寸不变，以设定比例放大遍历所述积分数值图像的检测窗口，以检测不同使用者的眼睛，选取尺寸最大的使用者的眼睛区域作为目标区域。
2.根据权利要求1所述的方法，其特征在于：所述步骤(2)中的将所述图像从彩色转换为灰度图像，所采用的计算公式为：
Y＝0.257R+0.564G+0.098B
其中，Y是灰度值，R是红色分量，G是绿色分量，B是蓝色分量。
3.根据权利要求1所述的方法，其特征在于：所述步骤(4)中的所述各级强分类器的数量以及每个所述强分类器所包含的弱分类器的数量根据使用者预设的检测精度和运算量可调。
4.根据权利要求1所述的方法，其特征在于：所述步骤(6)中的所述视线模型根据几何关系，将所述两个瞳孔中点与所述两个内眼角点之间的向量投影在所述显示器单元平面上，以确定所述视线焦点在所述显示器单元上的具体位置。
5.一种利用眼睛视线来实现密码输入的硬件装置，所述硬件装置包括：摄像单元；显示器单元；以及处理单元，其特征在于：所述摄像单元位于显示器单元以外的任意位置，朝向并持续拍摄使用者的脸部，所述显示器单元显示虚拟键盘，所述处理单元用于处理所述摄像单元所拍摄的使用者的脸部图像，以确定使用者的视线焦点在所述显示器单元上的具体位置。
6.根据权利要求5所述的硬件装置，其特征在于：所述处理单元可以为个人计算机、嵌入式系统或现场可编程门阵列系统FPGA。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410361283.2A CN104156643B (zh) | 2014-07-25 | 2014-07-25 | 一种利用眼睛视线来实现密码输入的方法及其硬件装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410361283.2A CN104156643B (zh) | 2014-07-25 | 2014-07-25 | 一种利用眼睛视线来实现密码输入的方法及其硬件装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104156643A CN104156643A (zh) | 2014-11-19 |
| CN104156643B true CN104156643B (zh) | 2017-02-22 |
Family
ID=51882141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410361283.2A Active CN104156643B (zh) | 2014-07-25 | 2014-07-25 | 一种利用眼睛视线来实现密码输入的方法及其硬件装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104156643B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631300B (zh) * | 2015-07-08 | 2018-11-06 | 宇龙计算机通信科技(深圳)有限公司 | 一种校验方法及装置 |
| TWI574171B (zh) * | 2015-12-01 | 2017-03-11 | 由田新技股份有限公司 | 動態圖形的眼動認證系統、方法、電腦可讀取紀錄媒體及電腦程式產品 |
| CN107016270A (zh) | 2015-12-01 | 2017-08-04 | 由田新技股份有限公司 | 结合脸部认证或手部认证的动态图形眼动认证系统、方法 |
| US10063560B2 (en) * | 2016-04-29 | 2018-08-28 | Microsoft Technology Licensing, Llc | Gaze-based authentication |
| CN106598259B (zh) * | 2016-12-28 | 2019-05-28 | 歌尔科技有限公司 | 一种头戴式设备的输入方法、输入器和vr头戴设备 |
| CN106919820A (zh) * | 2017-04-28 | 2017-07-04 | 深圳前海弘稼科技有限公司 | 一种基于vr设备的安全设置及验证方法以及终端 |
| KR102094953B1 (ko) * | 2018-03-28 | 2020-03-30 | 주식회사 비주얼캠프 | 시선 추적 방법 및 이를 수행하기 위한 단말 |
| CN110210869B (zh) * | 2019-06-11 | 2023-07-07 | Oppo广东移动通信有限公司 | 支付方法及相关设备 |
| CN113420279A (zh) * | 2021-05-28 | 2021-09-21 | 中国工商银行股份有限公司 | 一种密码输入方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930278A (zh) * | 2012-10-16 | 2013-02-13 | 天津大学 | 一种人眼视线估计方法及其装置 |
| CN103390152A (zh) * | 2013-07-02 | 2013-11-13 | 华南理工大学 | 基于sopc的适合人机交互的视线跟踪系统 |
| CN103902978A (zh) * | 2014-04-01 | 2014-07-02 | 浙江大学 | 人脸检测及识别方法 |
| CN103927014A (zh) * | 2014-04-21 | 2014-07-16 | 广州杰赛科技股份有限公司 | 一种字符输入方法及装置 |
-
2014
- 2014-07-25 CN CN201410361283.2A patent/CN104156643B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930278A (zh) * | 2012-10-16 | 2013-02-13 | 天津大学 | 一种人眼视线估计方法及其装置 |
| CN103390152A (zh) * | 2013-07-02 | 2013-11-13 | 华南理工大学 | 基于sopc的适合人机交互的视线跟踪系统 |
| CN103902978A (zh) * | 2014-04-01 | 2014-07-02 | 浙江大学 | 人脸检测及识别方法 |
| CN103927014A (zh) * | 2014-04-21 | 2014-07-16 | 广州杰赛科技股份有限公司 | 一种字符输入方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104156643A (zh) | 2014-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104156643B (zh) | 一种利用眼睛视线来实现密码输入的方法及其硬件装置 | |
| US10747988B2 (en) | Method and device for face tracking and smart terminal | |
| CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
| US6895103B2 (en) | Method for automatically locating eyes in an image | |
| CN103761519B (zh) | 一种基于自适应校准的非接触式视线追踪方法 | |
| CN103218605B (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| CN104133548A (zh) | 确定视点区域及控制屏幕亮度的方法及装置 | |
| CN108205658A (zh) | 基于单双目视觉融合的障碍物检测预警系统 | |
| CN108053615A (zh) | 基于微表情的驾驶员疲劳驾驶状态检测方法 | |
| CN105469113A (zh) | 一种二维视频流中的人体骨骼点追踪方法及系统 | |
| CN103902958A (zh) | 人脸识别的方法 | |
| CN106203375A (zh) | 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法 | |
| CN107358174A (zh) | 一种基于图像处理的手持身份证认证系统 | |
| CN107301378A (zh) | 图像中多分类器集成的行人检测方法和系统 | |
| CN105117681A (zh) | 基于安卓的多特征疲劳实时检测方法 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| CN106446779A (zh) | 身份识别方法和装置 | |
| CN109086724A (zh) | 一种加速的人脸检测方法及存储介质 | |
| CN105389574A (zh) | 一种检测图片中人眼虹膜的方法及系统 | |
| US11074469B2 (en) | Methods and systems for detecting user liveness | |
| CN106327525B (zh) | 一种机房重地越界行为实时监测方法 | |
| CN103810491A (zh) | 融合深度和灰度图像特征点的头姿估计兴趣点检测方法 | |
| Cheong et al. | A novel face detection algorithm using thermal imaging | |
| CN105741326B (zh) | 一种基于聚类融合的视频序列的目标跟踪方法 | |
| CN108846356A (zh) | 一种基于实时手势识别的手心追踪定位的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |