CN103136519A - 一种基于虹膜识别的视线跟踪定位方法 - Google Patents

Abstract

本发明涉及一种基于虹膜识别的视线跟踪定位方法。包含以下步骤：采用用户端的摄像头采集人眼图像；采用灰度积分投影法对图像进行人眼位置的粗定位；在人眼粗定位区域对图像进行二值化和采用卡尼算子的边缘检测；使用基于图论观点的干扰点去除法找出图像中因光斑和睫毛遮挡等因素造成的干扰点并清除它们；采用自适应的基于霍夫变换的圆检测方法，找出瞳孔虹膜区域的中心坐标，并和基准位置做对比，最终得到用户视线关注的位置。使用本发明方法，可以应用于用户体验感知，模拟人体学设备的输入等问题。

Description

一种基于虹膜识别的视线跟踪定位方法

技术领域

本发明是一种利用普通摄像头对用户视线进行跟踪定位的方法。可以应用于用户体验测试，模拟人体学设备的输入等问题，属于模式识别的领域。

 

背景技术

在人与计算机的交互中，视觉通常作为人接收信息的感知通道，但同时，视觉也能反映人的行为和特征，同样具备作为计算机输入的基本属性，视线跟踪技术就是实现视觉作为计算机输入的一种技术。视线跟踪的目的主要是根据眼睛的特征和位置来决定用户注视的方向和位置，从而获得用户的意图。由此可见，对人眼凝视位置的判断是视线跟踪的核心，涉及到的核心技术是虹膜识别和虹膜定位。虹膜识别（Iris Detection）是生物识别技术中的一种，防伪性和防欺骗性好，具有高精确性，高稳定性等特点。虹膜定位技术主要用于在复杂的场景下根据虹膜的特点寻找虹膜所在的位置。因此定位的方法在虹膜识别中具有非常重要的地位，直接影响识别的准确率。虹膜识别可以应用于疲劳驾驶监测，身份验证等领域。

在虹膜定位中，往往需要准确找出虹膜的位置，虹膜图像往往呈现近似的圆形，因此虹膜检测从根本上说也是一种圆检测，而圆检测的最优方法就是基于霍夫变换的圆检测。霍夫变换（Hough Tranform）于1962年由Paul Hough提出，所实现的是一种从图像空间到参数空间的映射关系。由于具有一些明显优点和可贵性质，它引起了许多国内外学者和工程技术人员的普遍关注。霍夫变换是一种使用表决原理的参数估计技术,其原理是利用图像空间和霍夫参数空间(Hough Parameter Space)的点－线对偶性，把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计，然后在霍夫参数空间寻找累加器峰值的方法检测直线。霍夫变换的实质是将图像空间内具有一定关系的像元进行聚类，寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点。在参数空间不超过二维的情况下，这种变换有着理想的效果。

瞳孔中心指导的虹膜边界快速定位算法（田启川，潘泉等，系统仿真学报，2006年7月第18卷第7期，1777-1780）提出了基于虹膜中心指导的虹膜边界快速定位算法，通过选择小图像块和减少图像边界点数提高霍夫变换进行边界定位的快速性。但考虑到传统的霍夫变换在不同的搜索半径中采用相同的角度步长，导致某些像素点多次参与投票，而少数像素点则只参与一次投票，在满足快速性的同时无法保证公平性原则。

基于多尺度-局部方向轮廓综合的鲁棒虹膜定位算法（胡正平，电子学报，2007年1月第35卷第1期，131-134）提出多尺度-局部方向轮廓综合实现虹膜定位的思路，该算法首先利用Gabor分解提取虹膜图像的多尺度-局部轮廓，在此基础上选择多个近垂直局部方向的子图进行综合从而增强了其边缘轮廓；依据先验知识选择有效的边缘区域；最后采用标准霍夫变换确定边缘形状参数。文献中所采用方法虽然有效抑制了眉毛，眼睑等边缘对虹膜定位的影响，但对如光照不均引发的虹膜光斑则无法予以消除其干扰。

发明内容

技术问题：本发明的目的是提供一种利用普通摄像头对用户视线进行跟踪定位的方法，通过该方法可以跟踪用户的视线浏览过程，捕捉某一时刻用户凝视的位置。本方法是一种策略性方法，通过使用本发明提出的方法可以有效实现对用户视线的跟踪过程。

技术方案：本发明通过对电脑摄像头捕捉到的人眼图像进行分析，确定用户的视线凝视位置，实现跟踪定位。考虑到摄像头对图像的捕捉容易受到光强等因素的不利影响以及普通电脑摄像头无法清晰分辨虹膜内圆的事实，在技术实现的过程中将虹膜瞳孔作为候选区域，通过图1所示的流程对图像进行处理，最终得到候选区域的圆心坐标。

人眼位置的粗定位采用灰度积分投影法，找出虹膜瞳孔区域存在于图像中的大致位置；下一步是对图像进行二值化，通过寻找灰度直方图中第一个和第二个波峰之间的波谷来确定二值化阈值；在图像二值化后，再进行使用卡尼算子（canny operator）做边缘检测，得到由人眼边缘信息构成的二值图像。接下来的两个处理步骤是本专利的核心内容，予以详细说明。

、基于图论的干扰点去除法

在图像的采集中，虹膜瞳孔存在一些干扰点，这些干扰点往往是由于人眼图像采集时光照不均造成的光斑造成的。如图2所示，原始图像在经过灰度化、图像二值化以及边缘检测后，得到的二值边缘图像中存在部分由光斑引起的干扰点。干扰点的存在会对下一个步骤，即虹膜瞳孔中心检测的结果产生不利影响。进一步分析发现，这些干扰点集合往往构成封闭或半封闭的不规则图形。这些图形和眼睑边缘以及虹膜瞳孔边缘相互独立。如果能准确找出干扰点构成的集合，就可以消除它们，提高圆检测的准确性。因此，本申请中提出并使用了一种基于图论观点的干扰点消除方法（简称为干扰点去除，即图1中的Step4）。该方法首先将边缘检测后的二值图像矩阵I进行扩大，以一定的规则取出I中的部分信息，存储在一个较小的矩阵H中。随后采用图论方法对H进行分析和处理，去除掉H中的干扰点成分。对I重复该过程就能得到无干扰点的二值图像矩阵。具体的算法步骤如下。

第一步：将边缘检测后的二值图像矩阵I以补零法扩大，使得其行和列的值均为常数C的整数倍。假设扩充后其行和列分别为M*C和N*C。

第二步：使用大小为C*C的矩阵H复制I中的部分像素点。复制规则如式(1)所示。

H _x,y  =I _{i*C/2+x , j*C/2+y}            (1)

其中x, y∈{1,2,…,C}, i和j的初始值均为0。C值越小，算法的耗时越少。但C值过小则可能导致无法正确找出存在的干扰点集合。一般来说，取C=40较为合适。

第三步：从H的第一个元素开始，沿水平方向找出所有像素值为1的信息点作为图结构的顶点，并记录其对应的坐标位置，查找完一行之后，接着找下一行中的信息点，直到搜索至矩形框的最后一个元素。顺序查找的目的是为了对图的顶点和矩形框中的信息点形成唯一的映射。最终搜索到L个顶点，分别编号为1，2，…，L。这L个顶点在H中的位置坐标集合为{(x _l  , y _l )| 0<l≤L , l∈Z ⁺ }。

第四步：根据式(2)可以得到L个顶点间的连通关系，结果为大小为L*L的邻接矩阵，记为矩阵G。采用图的宽度遍历算法遍历由L个顶点构成的图结构。一般而言得到的结果是非连通无向图，因此可能存在多个连通分量，记为S₁,S₂,…S_k。

     (2)

第五步：分别判断S₁,S₂,…S_k是否为干扰点连通分量。判断准则如下：若某个连通分量S_t中存在T个顶点，这T个顶点在H的位置坐标集合为  {(x _t , y _t )|0<t≤T, t∈Z ⁺ }。若对任意的t满足

，意味着连通分量S_t中所有顶点都不属于矩形框的边缘点，即S_t为干扰点构成的连通分量。在I找出干扰点连通分量中的顶点，将其像素值置0。

第六步：若j≠2N-1，则令j=j+1并跳至Step2; 若j=2N-1且i≠2M-1，则令i=i+1且重置j=0，跳至Step2；若j=2N-1且i=2M-1则算法结束。

干扰点去除前后的虹膜瞳孔中心检测结果如图3及图4所示，可以看出在消除了干扰点后，检测圆更加贴合人眼中虹膜瞳孔区域的实际边界。

、虹膜瞳孔中心检测

本专利中采用了自适应的圆检测算法，通过霍夫变换来查找圆，在不同的搜索半径中采用自适应变化的角度步长w _s 。该方法的核心是在搜索时以固定弧度步长代替角度步长θ，如图6所示。

在数字图像中，圆形只能近似表示，其中圆边界由连续的像素点组成，构成圆边界的像素点个数K和圆的半径r在数字图像中近似满足式(3)。

,  r _min ≤r≤r _max         (3)

r _min ，r _max 根据先验知识加以确定。假设在搜索半径为r的圆检测中，每个圆的边界点都能且仅能参与一次投票，则w _s 的取值满足式(4)

                             (4)

从图5及图6可以看出与传统的基于霍夫变换的圆检测算法中采用固定角度步长不同，本发明中所述的圆检测方法在每次代入新的搜索半径时，自适应调整角度步长w _s ，使得每个边缘像素点仅参与一次投票。

有益效果

本发明以虹膜识别的相关研究成果作为理论依据，提出了一种新型的视线跟踪定位方法。该方法可以应用于网站用户体验度测评中的样本采集，最大的优点在于可以利用普通的摄像头直接在用户端进行图像的采集，在满足公平性的前提下，有效降低时间复杂度。通过该方法，最终可以获得准确的虹膜瞳孔中心位置。在大量采集网站浏览者的视线浏览过程样本后能挖掘出用户的行为特征，获得这些行为特征对于网站用户体验的优化而言具有非凡的意义。

 

附图说明

图1图像分析和处理流程。

图2是边缘检测后的二值人眼图像。

图3干扰点去除前的效果图。 

图4干扰点去除后的效果图。

图5传统圆检测方法的原理图。

图6自适应圆检测方法的原理图。

具体实现方式

测试者在浏览屏幕的过程中，视线移动直接体现了其行为特征。本发明的实现首先以固定周期抓取摄像头拍摄的人眼图像进行一系列的处理和分析，找到人眼虹膜瞳孔区域的中心位置，并和基准位置做比对，最终检测出测试者此时视线凝视屏幕上的位置。由于摄像头的精度有限，可将屏幕划分为若干个大小相同的块，最终检测出的视线凝视位置即为屏幕中的某一块。具体实验步骤可分为两个步骤，即基准位置获取和人眼凝视位置判断。

基准位置获取：

步骤一：调整测试者与屏幕的相对位置，启动摄像头拍摄测试者分别凝视屏幕左上角及右下角时的人眼图像。

步骤二：对人眼图像进行如图1所示Step2至Step5的处理，分别得到人眼凝视屏幕左上角及右下角时的虹膜瞳孔区域中心位置坐标，以这两个坐标作为基准位置。为得到更为精确的参考点，可以采用多次拍摄测试者分别凝视屏幕左上角及右下角时的人眼图像，通过分析得到其对应的坐标分别为（X₁₁, Y₁₁）和（X₂₁, Y₂₁），（X₁₂, Y₁₂）和（X₂₂, Y₂₂）……（X_1n, Y_1n）和（X_2n, Y_2n），取上述坐标的平均值作为基准位置，如式（5）和式（6）所示。最终的基准位置记为和

。

       （5）

       （6）

    凝视位置判断：预先将屏幕区域按垂直和水平两个方向划线分块，设垂直方向为s_v条线，水平方向为s_h条线，共分为s_v*s_h个块。当测试者视线停留在其中某一块时摄像头拍摄此时的人眼图像，对图像进行如图1所示的Step2至Step5的处理，得到虹膜瞳孔区域的圆心坐标(x, y)，再利用式(7)与基准位置比较即能得到视线关注的块位置(b_h, b_v)。

       (7)

其中round为遵从四舍五入规则的取整函数， (b_h, b_v)所代表的块位置即为最终的检测结果。

Claims (3)

1.一种基于虹膜识别的视线跟踪定位方法，其特征在于实现的步骤如下：

一、采用用户端的摄像头采集人眼图像；

二、采用灰度积分投影法对图像进行人眼位置的粗定位；

三、对图像进行二值化及边缘检测，其中二值化阈值由灰度直方图中第一个和第二个波峰之间的波谷来确定； 

四、将图像的干扰点去除；

五、采用改进的圆检测方法，找出虹膜瞳孔的中心位置；

六、将步骤五中的虹膜瞳孔中心位置与基准位置做比较，最终得到用户视线凝视的位置。

2.根据权利1所述的视线跟踪定位方法，特征在于所述干扰点去除方法为将图像中的像素点看成是图结构的集合采用图论中的宽度遍历算法准确识别出干扰点的特征，从而找出干扰点所在的位置，并在图像中予以去除。

3.根据权利1所述的视线跟踪定位方法，其特征在于所述的改进的圆检测方法为不同的搜索半径中采用变化的角度步长，在每次代入新的搜索半径时，自适应调整角度步长，使得每个边缘像素点仅参与一次投票。

Images