CN105094337B - 一种基于虹膜和瞳孔的三维视线估计方法 - Google Patents

Abstract

本发明公开了一种基于虹膜和瞳孔的三维视线估计方法，该方法利用瞳孔中心和虹膜中心在三维空间中不共点的特性，由瞳孔中心与虹膜中心组成光轴方向，眼睛视轴与光轴相交于角膜曲率中心，通过计算眼睛视轴与光轴之间的偏转角，可以由光轴方向计算得到眼睛视轴方向，即人眼的三维视线方向。本发明为三维视线估计提供了一种新型的、精度高的模型方法。

Description

一种基于虹膜和瞳孔的三维视线估计方法

技术领域

本发明涉及视线跟踪技术领域，具体涉及基于近红外光下的三维视线估计方法。

背景技术

随着信息技术和人工智能的不断发展，人机交互技术的研究受到更多的关注和重视。基于视频图像处理的视线跟踪技术作为人机交互的重要分支，许多基础理论和技术问题仍然没有得到很好的解决，其中的关键问题是虹膜、瞳孔等眼睛运动图像特征的提取和表达，以及视线跟踪映射模型的建立。

视线跟踪映射模型主要分为二维视线跟踪方法和三维视线跟踪方法。二维方法对头部运动敏感，需要用户保持头部静止或者只能小范围运动。三维方法通过眼动特征直接确定眼睛三维视线方向，与注视物体进行交叉，从而得到注视点的位置，只要能够获得头部和眼睛运动的图像信息，理论上对被试者没有头部运动的限制。然而由于需要立体眼睛参数的计算，增加了眼睛特征检测和参数提取的复杂性，其估计精度依赖于立体视觉的精度，而且不同的使用者的个体差异、头部运动等问题也会对映射模型产生直接的影响。

发明内容

本发明公开了一种基于虹膜与瞳孔的三维视线跟踪方法，在红外光源的辅助下，通过获取虹膜中心与瞳孔中心，提出一种新型的基于虹膜中心与瞳孔中心的三维注视点映射模型，其允许头部自由运动同时又使得注视点的精度满足系统要求，。

本发明通过以下技术方案实现。

一种基于虹膜和瞳孔的三维视线估计方法，该方法采用两个摄像机采集图像和一个红外光作为辅助光源，放置在显示屏前照射人脸，具体包含步骤：

(1)眼动特征提取：使用红外光源增强人眼图像，通过精确的轮廓提取和椭圆拟合获取虹膜中心位置和瞳孔中心位置；

(2)三维特征中心计算：利用虹膜中心和瞳孔中心的二维信息，结合摄像机参数计算出特征点的三维坐标；

(3)视线偏差补偿：虹膜中心与瞳孔中心连线形成的光轴方向，与代表视线方向的视轴方向存在偏转角。通过求解偏转角进行视线校正，从而得到精确的人眼注视方向。

上述方法中，所述步骤(1)中包括：采用红外光源增强人眼信息，首先采用Haar特征级联分类器对人眼区域进行定位，接着采用基于直方图与迭代的方法对虹膜与瞳孔进行最佳阈值分割，在虹膜特征提取部分，首先通过数学形态学的方法获得虹膜的初步轮廓，再利用基于边缘检测与椭圆拟合的方法获得精确的虹膜轮廓，得到虹膜中心的坐标；在瞳孔特征提取部分，已经提取到的虹膜中心坐标为基础，设置相应的感兴趣区域提取瞳孔轮廓，采用瞳孔轮廓凸包处理与椭圆拟合对瞳孔中心坐标进行定位。

上述方法中，所述步骤(2)中包括：

(2.1)通过张正友平面模版标定法获取摄像机内参数K与外参数R_lR_rt_lt_r,其中R_l和R_r(t_l和t_r)分别表示左右摄像机坐标系到世界坐标系下的旋转矩阵(平移矩阵)，然后需要通过双摄像机立体计算来获取双摄像机之间的空间几何关系，并对摄像机进行平面校正以获得严格平行的双摄像机视觉系统；

(2.2)利用步骤(1)获取的虹膜中心和瞳孔中心的二维信息，结合步骤(2.1)计算所得的摄像机内外参数和空间几何关系求取虹膜中心与瞳孔中心的三维空间坐标，最后以虹膜中心与瞳孔中心的连线作为人眼光轴的方向。

上述方法中，所述步骤(3)中包括：

(3.1)光轴与视轴之间存在着一个固定的偏转角，且光轴与视轴相交于角膜曲率中心。本发明通过设定标定点，计算由步骤(2.2)所得的光轴与实际的视线方向，即视轴之间的偏转角(3.2)利用步骤(2.2)中获得的人眼光轴方向，结合步骤(3.1)计算所得的偏转角可以求取出视轴方向，即人眼的注视方向。

与现有技术相比，本发明的优点与积极效果在于：

1.本发明提出一种新型的三维视线估计方法，利用瞳孔特征和虹膜特征在三维空间中不共点的特点，通过提取二者信息，计算其三维空间位置，从而得到人眼光轴方向信息。该方法直接利用刚性的特征点，在分辨率满足的情况下能达到较高的视线估计精度；对比传统的三维方法，本发明无需使用如眼球半径等经验值来计算眼球中心，为视线跟踪领域提供了新思路。

2.本发明是一种自然、直观的视线跟踪方法，无需使用普尔钦斑点，设备的位置更为灵活。

3.本发明能达到足够的精度，满足人机交互系统需求。

附图说明

图1是本发明实施方式中显示屏与摄像头、光源的布置示意图。

图2是本发明实施方式中视线跟踪方法的流程示意图。

图3是本发明实施方式中标定点分布图。

图4是本发明实施方式中摄像机棋盘格标定板。

图5是本发明三维坐标计算示意图。

图6是本发明光轴与视轴投影关系示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。

如图1，本发明需要双摄像机101，和一个红外光源102，摄像头位于显示屏112中心正上方，实时地捕捉人脸图像。摄像机分辨率为640×480，焦距为10mm，并排放置于显示屏上方，两摄像机镜头之间距离约5cm，双摄像头中心距离显示屏底部为26cm。选取波长为850nm的红外光作为辅助光源放置在显示屏前照射人脸。

如图2，视线跟踪算法具体实施步骤如下：

步骤一：眼睛注视标定点110，提取眼动特征信息

步骤二：摄像机标定，分别获取两个摄像机的内外部参数以及二者的空间几何关系

步骤三：计算瞳孔中心105和虹膜中心106的三维坐标位置，得到光轴108方向

步骤四：进行偏转角107补偿，得到视轴109方向。

其中步骤一的具体实施步骤为：

1.世界坐标系原点设置在左摄像机投影中心，显示屏垂直放置于z＝0处，双摄像机101中心距离显示屏112底部为26cm，眼睛距离显示屏约30cm且正对显示屏，依次注视标定点110，标定点分布图如图3所示，为显示屏上3×3平均分布的9个点；

2.眼睛注视标定点同时提取眼动特征信息

对每个注视点111提取虹膜轮廓以及瞳孔轮廓作为眼动特征信息，具体实施步骤为：

2.1人眼区域定位

从摄像头获取的人脸图像，首先通过haar特征级联分类器进行人眼定位，接着通过中值滤波处理以及灰度拉伸进行图像预处理，得到特征较明显的人眼图像。

2.2虹膜特征提取

a.首先通过直方图灰度值分布确定虹膜的灰度分布大致区域，设定虹膜的二值化初始阈值，在该阈值下对图像进行区域划分，分别计算各区域的灰度均值，当灰度均值与假定的初阈值相同时停止迭代，以此选择最佳阈值对图像进行二值化分割，得到虹膜区域。

b.通过形态学处理获取轮廓，通过Sobel算子进行垂直边缘的检测以提取虹膜左右两边的有效轮廓。接着采用最小二乘法进行椭圆拟合，从而获取虹膜中心106。

2.3瞳孔特征提取

根据已提取到的虹膜中心106坐标为相应的感兴趣区域(ROI区域)中心，ROI区域中心的边缘为瞳孔，则包含ROI中心的面积最大的轮廓即为瞳孔轮廓。对轮廓进行凸包处理以获取瞳孔的完整轮廓，进行椭圆拟合后可以提取到瞳孔中心105。

其中步骤二的具体实施步骤为：

1.单摄像机参数标定

针对本发明系统的特点，采用基于张正友的平面标定法的来获取单摄像机的内参数，摄像机在不同方向上拍摄平面模版的图像，通过建立模版上每个特征点和其对应的图像点之间的对应关系(即每幅图像的单应性矩阵)，然后利用该单应性矩阵来求解摄像机内外的参数，标定过程中由于采用最小二乘法以及考虑到噪音和数值稳定性要求，需要抓取尽量多的不同角度的标定图片，使标定的结果更加精确。

本发明采用基于OpenCV的摄像机标定采用平面棋盘格标定模板。如图4所示，标定板方格个数为7×10，每个方格边长为5mm。

1.1单应矩阵H

图像像素坐标系到世界坐标系之间的关系为：

其中(u,v)是以像素为单位的图像像素坐标系坐标，Zc为图像中的点在摄像机坐标系中的坐标Z轴分量，(X_w,Y_w,Z_w)为图像中的点在世界坐标系中的坐标。K为摄像机内参数矩阵，R＝[r₁ r₂ r₃]是3×3正交单位矩阵，称为旋转矩阵，其中r₁r₂r₃分别是旋转矩阵的第一、二、三列分量，t是3维平移向量。

假设世界坐标系平面位于棋盘格所在的平面，即Z_W＝0同时r₃＝0。令 则上式可简写为：

其中H为单应性矩阵

其中H＝[h₁ h₂ h₃]，h₁h₂h₃分别是单应性矩阵的第一、二、三列分量，而h_ij(i＝1…3,j＝1…3)表示单应性矩阵第i行第j列的分量。

1.2摄像机内外参数求解

在实际情况中1.1中求得的H并不是真实的H，它们之间会相差一个常数因子λ，此时将式子变为以下形式：

[h₁ h₂ h₃]＝λK[r₁ r₂ t]

其中r₁与r₂为单位正交向量，由其正交性可得

由以上两式可得：

定义

其中内参数矩阵f_x＝f/dx，f_y＝f/dy分别为摄像机焦距f的x轴与y轴分量，(u₀,v₀)为摄像机图像主点位置，B_ij(i＝1…3,j＝1…3)表示矩阵B第i行第j列的分量。

设单应性矩阵H第i(i＝1,2,3)列向量表示为h_i＝[h_i1 h_i2 h_i3]^T，则：

h_i ^TBh_i＝V_ij ^TB

定义矩阵V_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h₃₁h_j1+h_i1h_j3 h₃₁h_j1+h_i3h_j3 h_i3h_j3]，i＝1…3,j＝1…3，则根据上述过程，可得2个齐次方程：

如果有N(N为自然数)个棋盘格图像，则通过迭代N个方程组可以得到：

VB＝0

其中，V是一个2N×6的矩阵，只要N≥3，B就可以被解出(带有一个比例因子)，从而可以得到内参数矩阵，其中u₀v₀λf_xf_y的含义同上所述：

根据单应性矩阵H和内参数矩阵K可计算每幅图像的外参数

通过以上公式就可以求出每幅图像的内参数矩阵K与外参数矩阵[r₁ r₂ r₃ t]。

2.双摄像机空间关系计算

假定三维空间中某一点的世界坐标系下坐标为P，则通过单摄像机标定可以分别得到点P在左右两个摄像机坐标系下的坐标为

P_l＝R_lP+t_l

P_r＝R_rP+t_r

其中P_lP_r分别为点P在左右摄像机坐标系下的坐标，R_l和R_r(t_l和t_r)分别表示左右摄像机坐标系到世界坐标系下的旋转矩阵(平移矩阵)。

P_lP_r可以通过下式进行关联：

P_l＝R^T(P_r-T)

其中R与T分别表示右摄像机转换到左摄像机的旋转矩阵和平移矩阵，由以上各式可得

R＝R_r(R_l)T

T＝t_r-Rt_l

通过以上各式可以求取两个摄像机平面之间的旋转矩阵R以及平移矩阵T。

其中步骤三的具体实施步骤为：

1.摄像机平面校正

在进行虹膜中心106与瞳孔中心105的三维坐标计算前，由于摄像机位置以及镜头位置的差异，对应的两个摄像机图像平面不可能完全共面且平行，首先对摄像机的平面进行平行校正。

根据步骤二获取的右摄像机转换到左摄像机的旋转矩阵R以及平移矩阵T，为了使两个摄像平面达到平行，只需要将两个摄像机都各自只旋转一半(两者旋转方向相反)，如下式所示：

R＝r_l*r_r ^-1

其中r_l和r_r分别为左右摄像机为达到平行所需的旋转矩阵，将左右相机各旋转一半后左右摄像机的光轴平行，此时左右摄像机平行但像素行不严格对齐。为了使得两个图像平面共面且平行，极点变为无穷远且极线变为水平方向，构造变换矩阵R_rect：

首先构造R_rect的第一个分量e₁，e₁为由左摄像机极点E_l开始的旋转矩阵，左右摄像机的投影中心之间的平移矩阵T就是左极点方向：

其中T＝[T_x,T_y,T_z]^T，T_x、T_y、T_z分别表示平移矩阵T在x、y、z轴方向的分量

接着是第二个分量e₂，e₂方向与主光轴113方向正交且沿着图像方向，与e₁正交，则知e₂方向可通过e₁与主光轴方向的叉积并归一化获得

第三个分量e₃与e₁和e₂正交

e₃＝e₁×e₂

最后可以获得左右摄像机最终旋转矩阵R_l和R_r：

R_l＝R_rectr_l

R_r＝R_rectr_r

通过上述的两个旋转矩阵R_l和R_r对左右摄像机视图进行校正，使得左右视图的成像原点坐标(图像主点)一致。

2.三维坐标计算

在经过摄像机平面校正后，如图5所示得到了平行且对准的双摄像机几何框架，根据此模型可以计算出基于虹膜与瞳孔的三维注视点映射模型的相关参数，主要包括三维虹膜中心106与三维瞳孔中心105。

对于某一空间位置点(X_w,Y_w,Z_w)与二维图像坐标点的位置(u,v)如下式所示，Q表示重投影矩阵。

其中(X_w,Y_w,Z_w,W)为空间三维坐标的非齐次形式，W为某一非零常量，其齐次形式为(X_w/W,Y_w/W,Z_w/W,1)，其中d为两个摄像机的视差，(u₀,v₀)为摄像机图像主点位置，重投影矩阵定义如下：

重投影矩阵Q中(c_x,c_y)为左摄像机图像主点，f为左右摄像机的焦距，f_l＝f_r＝f，T_x为右摄像机其中右摄像机相对于左摄像机的平移矩阵的水平方向分量。

接着进行深度信息的求取，以虹膜中心为例，选择左摄像机的投影中心为世界坐标系的原点，根据图中三角形相似关系可得

(x_l ^iris,y_l ^iris)(x_r ^iris,y_r ^iris)分别为虹膜在左右摄像机图像物理平面坐标系下的坐标，在经过摄像机平面校正后有y_l ^iris＝y_r ^iris＝y，Z^iris为虹膜中心106在摄像机坐标系下的竖坐标，d_iris＝x_l ^iris-x_r ^iris是两个摄像机间的视差。可解得齐次形式的空间三维坐标为

则虹膜中心106的三维坐标为(X_w ^iris/W,Y_w ^iris/W,Z_w ^iris/W,1)，同理瞳孔中心105的三维坐标(X_w ^pupil/W,Y_w ^pupil/W,Z_w ^pupil/W,₁)计算也可以通过(4-38)获得，

其中视差表达式变为d_pupil＝x_l ^pupil-x_r ^pupil。

(c_x,c_y)、f、T_x及d通过此前的摄像机参数标定获取，虹膜坐标(x_l ^iris,y_l ^iris)(x_r ^iris,y_r ^iris)与瞳孔坐标(x_l ^pupil,y_l ^pupil)(x_r ^pupil,y_r ^pupil)通过步骤一获取，至此可以获得注视点映射模型所需要的三维虹膜中心106坐标与瞳孔中心105坐标，根据图1中的映射模型图，由瞳孔中心105指向虹膜中心106的三维向量即为眼睛光轴108方向，如下所示。

其中步骤四的具体实施步骤为：

1.光轴108和视轴109偏转角计算

如图5所示为光轴与视轴投影关系图，世界坐标系原点设置在左摄像机投影中心，显示屏垂直放置于z＝0处，将光轴108与视轴109分别往x轴与z轴进行投影，眼睛光轴o与x轴、z轴夹角分别为α和β，眼睛视轴v与x轴、z轴夹角分别为α'和β'，眼睛视轴109与光轴108之间的夹角分别为θ(水平分量)和(垂直分量)，由所述步骤三获取虹膜中心106坐标I与瞳孔中心105坐标P，则可以求取眼睛光轴108的单位向量

则α和β可以表示为

其中o_xo_yo_z分别表示光轴108在x轴、y轴、z轴方向的分量。

角膜曲率中心104在瞳孔中心105与虹膜中心106连线的反向延长线上，根据Guestrin等人提出的经典眼球模型，角膜曲率中心104与瞳孔中心105距离的典型值为4.2mm，根据该距离结合瞳孔中心105的三维坐标P可以计算出角膜曲率中心104的位置。在显示屏上设定坐标已知的标定点S_i(i＝1,2,...,9)，这些标定点110按如图所示的顺序在显示屏112上均匀分布，眼睛首先注视标定点S₁，则可以求取视轴109方向的单位向量。

可得偏转角107的表示形式为

其中v_xv_yv_z分别表示视轴109在x轴、y轴、z轴方向的分量，眼睛继续注视其它标定点，分别求取最后对由各标定点算出的求平均值作为视轴109与光轴108的偏转角

2.视线方向求取

在求取视轴与光轴的偏转角之后，本发明基于虹膜与瞳孔的三维注视点映射模型的所有参数都已经求取完毕，在实时人眼位置估算时，只需通过双摄像机获得人眼虹膜与瞳孔信息，并通过摄像机参数标定就可以获取虹膜中心106坐标I与瞳孔中心105坐标P，PI即为人眼光轴108方向，再结合视线偏差补偿模块求取偏转角107参数便可以求取视轴109方向，最后视轴109方向与显示屏112的交点即为实际人眼注视点111。

Claims (4)

1.一种基于虹膜和瞳孔的三维视线估计方法，该方法采用两个摄像机同步采集图像，两个摄像机并排放置于显示屏上方，并采用红外光作为辅助光源放置在显示屏前照射人脸，其特征在于该方法包括如下步骤:

(1)眼动特征提取：使用红外光源增强人眼图像，通过精确的轮廓提取和椭圆拟合获取虹膜中心位置和瞳孔中心位置；

(2)三维特征中心计算：利用虹膜中心和瞳孔中心的二维信息，结合摄像机参数计算出特征的三维坐标；

(3)视线偏差补偿：虹膜中心与瞳孔中心连线形成的光轴方向，与代表视线方向的视轴方向存在偏转角，通过偏转角进行视线校正，从而得到精确的人眼注视方向。

2.根据权利要求1所述的基于虹膜和瞳孔的三维视线估计方法，其特征在于所述步骤(1)包括：采用红外光源增强人眼信息，首先采用Haar特征级联分类器对人眼区域进行定位，接着采用基于直方图与迭代的方法对虹膜与瞳孔进行最佳阈值分割，在虹膜特征提取部分，首先通过数学形态学的方法获得虹膜的初步轮廓，再利用基于边缘检测与椭圆拟合的方法获得精确的虹膜轮廓，得到虹膜中心的坐标；在瞳孔特征提取部分，已经提取到的虹膜中心坐标为基础，设置相应的感兴趣区域提取瞳孔轮廓，采用瞳孔轮廓凸包处理与椭圆拟合对瞳孔中心坐标进行定位。

3.根据权利要求1所述的基于虹膜和瞳孔的三维视线估计方法，其特征在于所述步骤(2)包括：

(2.1)通过张正友平面模版标定法获取摄像机内参数K与外参数R_l R_r t_l t_r,其中R_l表示左摄像机坐标系到世界坐标系下的旋转矩阵，R_r表示右摄像机坐标系到世界坐标系下的旋转矩阵，t_l表示左摄像机坐标系到世界坐标系下的平移矩阵、t_r表示右摄像机坐标系到世界坐标系下的平移矩阵，然后需要通过双摄像机立体计算来获取双摄像机之间的空间几何关系，并对摄像机进行平面校正以获得严格平行的双摄像机视觉系统；

(2.2)利用步骤(1)获取的虹膜中心和瞳孔中心的二维信息，结合步骤(2.1)计算所得的摄像机内外参数和空间几何关系求取虹膜中心与瞳孔中心的三维空间坐标，最后以虹膜中心与瞳孔中心的连线作为人眼光轴的方向。

4.根据权利要求1所述的基于虹膜和瞳孔的三维视线估计方法，其特征在于所述步骤(3)包括：

(3.1)光轴与视轴之间存在着一个固定的偏转角，且光轴与视轴相交于角膜曲率中心；通过设定标定点，计算由步骤(2.2)所得的光轴与实际的视线方向即视轴之间的偏转角

(3.2)利用步骤(2.2)中获得的人眼光轴方向，结合步骤(3.1)计算所得的偏转角求取出视轴方向，即人眼的注视方向。