CN201307266Y

CN201307266Y - 双目视线跟踪装置

Info

Publication number: CN201307266Y
Application number: CNU2008201271640U
Authority: CN
Inventors: 韩旭; 华芳
Original assignee: Individual
Current assignee: Individual
Priority date: 2008-06-25
Filing date: 2008-06-25
Publication date: 2009-09-09
Anticipated expiration: 2018-06-25

Abstract

本实用新型涉及一种人机交互装置，特别是一种基于双目摄像机的双目视线跟踪装置。该装置包括计算机显示器屏幕，用于显示跟踪结果；一块观察大屏幕，置于显示器屏幕后方，标示有观察点，用于分析视线方向的精确度；两台摄像机，用于采集人脸及人眼图像，装于计算机显示器屏幕上方左右两侧；一个摄像机标定单元，用于获得摄像机内外参数，从而计算机图像中推知三维信息，或者从三维信息计算出目标在图像中的坐标；一个人脸方位计算单元，用于获得人脸在世界坐标系下坐标；一个视线方向计算单元，用于获得视线在世界坐标系下坐标，并将结果传给计算机显示器屏幕。本实用新型可用于准确跟踪人的视线变化以及视线定位。

Description

双目视线跟踪装置

技术领域

本实用新型涉及一种人机交互装置，特别是一种基于双目摄像机双目视线跟踪装置。

背景技术

人与计算机交互是研究人与计算机及其相互作用的技术，其研究目的在于利用所有可能的信息通道进行人机交流，提高交互的自然性和高效性。目前人与计算机交互由于一直受到基于键盘、鼠标的窄带宽输入界面的限制，使用户到计算机的通讯带宽停滞不前，人机交互中输入与输出效率变得越来越不平衡，由此激发了基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术的多通道界面的研究，其中视线追踪技术倍受该研究领域的重视。在人与计算机的交互中，视觉通常作为人接收信息的感觉通道。例如，当用户使用鼠标来选择屏幕上感兴趣的目标时，视线随注意点聚焦到该目标上，然后检查光标与该目标的空间差距，再反馈到大脑并经大脑指挥手去移动鼠标器，直至视觉判断光标已位于目标之上，做出按键动作。如果计算机能“自动”将光标置于用户所感兴趣的目标之上，就会省去上述交互过程中的大部分步骤，从而把手解放出来，大大降低认知负荷。若想利用视觉通道向计算机输入信息，首先须了解用户在屏幕上所注视的区域、感兴趣的屏幕元素等，这些信息可以通过视线跟踪技术获得。视线跟踪的目的是根据眼睛的特征和位置以及其他一些脸部线索来决定用户注视的方向，把它作为一种可选的或互补的计算机输入通道，为人机交互研究提供一种分析工具。

视线预示了人眼看物体的位置以及关注的东西。这是传递人感兴趣物体信息的一个有效方法。准确地测定人的视线方向，不仅可以用于研究人眼的运动规律，而且对于研究人脑的生理功能或进行心理分析都具有相当意义。因此，各种视线追踪系统被发明并广泛应用于医学治疗、心理学研究、交通智能和人机互动技术等方面。

视线跟踪技术按其所借助的媒介分为以硬件为基础和以软件为基础两种：(1)以硬件为基础的视线跟踪，其基本工作原理是利用图像处理技术，使用能锁定眼睛的特殊摄像机，通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录视线变化，从而达到记录分析视线追踪过程的目的。视线跟踪装置有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分，其精度从0.1°至2°。以硬件为基础的方法需要用户戴上特制的头盔、特殊的隐形眼镜，或者使用头部固定支架、置于用户头顶的摄像机等，对用户的干扰很大。(2)以软件为基础的视线跟踪。近年来，人们为克服视线跟踪装置对人的干扰作用，提出了用软件实现的对用户无干扰的视线跟踪方法。其基本工作原理是先利用摄像机获取人眼或脸部图像，然后用软件实现图像中人脸和人眼的定位与跟踪，从而估算出用户注视的位置。

考虑到长期照射红外线对人眼产生的有害影响，以及用户使用的便捷性，本文介绍了一种非强迫式的基于双目摄像机和瞳孔检测的视线追踪装置。在不固定头部或不带头盔的条件下，首先利用双摄像机标定技术计算出摄像机的内外参数，如：焦距、位置等信息，以此来确立图像中的被测点与世界坐标系下被测点的位置关系，然后利用双摄像机对被测对象观察不同注视点时的人脸进行成像，通过图像处理得到人脸各个特征点，如：瞳孔、眼角、嘴角，根据这些特征点及摄像机参数，计算出人脸朝向的方向以及人眼注视的方向，从而计算出注视点的位置。

发明内容

有鉴于此，本发明的主要目的在于提供一种可用于准确跟踪人的视线变化以及视线定位的双目视线跟踪装置。

本实用新型可用于准确跟踪人的视线变化以及视线定位。

为达到上述目的，本发明的技术方案是这样实现的：

一种双目视线跟踪装置，包括：

计算机显示器屏幕，用于显示跟踪结果；

一块观察大屏幕，置于显示器后方，上面标示观察点，用于分析视线方向的精确度；

两台摄像机，用于采集人脸及人眼图像，装于计算机显示器屏幕上方左右两侧；

一个摄像机标定单元，用于获得摄像机内外参数，从而计算机图像中推知三维信息，或者从三维信息计算出目标在图像中的坐标；

一个人脸方位计算单元，用于获得人脸在世界坐标系下坐标；

一个视线方向计算单元，用于获得视线在世界坐标系下坐标，并将结果传给计算机显示器屏幕。

摄像机标定单元采用带有一阶径向畸变的针孔模型。

人脸方位计算单元通过对人脸特征点的检测获得人脸在世界坐标系下坐标。

人脸特征点包括：瞳孔、眼角和嘴角。

瞳孔包括左瞳孔和右瞳孔；所述眼角包括左眼角和右眼角；嘴角包括左嘴角和右嘴角。

视线方向计算单元通过瞳孔检测确定视线方向。

人脸方位计算单元用于计算人脸朝向。

视线方向计算单元，根据人脸朝向的方向及人眼注视的方向，计算出注视点的位置。

双目视线跟踪装置，其特征在于所述计算机显示器屏幕用于接收用户注视。

本实用新型的有益效果是，本装置可避免照射红外线对人眼产生的有害影响，用于准确跟踪人的视线变化以及视线定位，可准确定位人眼注视位置，用户使用便捷。

附图说明

图1为本实用新型的双目视线跟踪装置架构；

图2为带有一阶径向畸变的针孔模型；

图3为人脸各特征点及人脸坐标系结构图；

图4为视线方向的计算；

图5为实际观察点与系统估算点的位置。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

如图1所示为本实用新型的双目视线跟踪平台系统架构。

计算机显示器屏幕104，用于显示跟踪结果；

一块观察大屏幕105，置于显示器屏幕104后方，标示有观察点，用于分析视线方向的精确度；

两台摄像机103，用于采集人脸102图像，装于计算机显示器屏幕104上方左右两侧。

一个摄像机标定单元106，用于获得摄像机内外参数，从而计算机图像中推知三维信息，或者从三维信息计算出目标在图像中的坐标；

一个人脸方位计算单元107，用于获得人脸在世界坐标系下坐标；

一个视线方向计算单元108，用于获得视线在世界坐标系下坐标，并将结果传给计算机显示器屏幕。

本装置中的两个摄像机103采用的是两个OK系列CCD摄像机及其图像采集卡，标定板101的制作可以采用在计算机显示器屏幕104上画上黑白间隔的表格，黑白正方形块的边长为1厘米。两个摄像机103分别固定安装在计算机显示器屏幕104上方的左右两侧，并保证同时能采集到人脸102部位。人脸102距离摄像机50厘米。计算机显示器屏幕104后方放置一块观察大屏幕105，距离人脸1米，上面标上黑圆圈表示观察点，用于分析视线方向的精确度。

摄像机标定单元106：

摄像机标定的主要目的在于获得摄像机内外参数，从而可以从计算机图像中推知三维信息，或者从三维信息计算出目标在图像中的坐标。由于摄像机光学系统的加工误差和装配误差，摄像机像面上的实际成像与理想成像之间存在光学畸变误差，故采用带有一阶径向畸变的针孔模型，如附图2带有一阶径向畸变的针孔模型所示，图中四个坐标系分别为：

计算机图像坐标系Ouv：原点O位于CCD图像平面的左上角，u和v分别表示像素位于数组的列数和行数。

图像坐标系oxy：原点，即主点o，定义在摄像机光轴与图像平面的交点，x，y轴分别与u，v轴平行。P_u(x_u，y_u)表示针孔模型下P点的理想图像坐标，P_d(x_d，y_d)是由透镜径向畸变引起的偏离P_u(x_u，y_u)的实际图像坐标。

摄像机坐标系o_cx_cy_cz_c：原点o_c定义在摄像机的光心，x_c，y_c轴分别平行于x，y轴，z_c轴与光轴重合。o_co为摄像机的有效焦距f，(x_c，y_c，z_c)表示物点P在摄像机坐标系下的三维坐标。

世界坐标系O_wY_wZ_w：根据具体环境来定。(X_w，Y_w，Z_w)表示物点P在世界坐标系下的三维坐标。

故从世界坐标系到计算机图像坐标系的变换可以分为如下四步：

第一步，世界坐标系与摄像机坐标系的变换，可以用旋转矩阵R和平移向量T来描述：

[\begin{matrix} x_{c} \\ y_{c} \\ z_{c} \end{matrix}] = R [\begin{matrix} X_{W} \\ Y_{W} \\ Z_{W} \end{matrix}] + T,

其中

R = [\begin{matrix} r_{1} & r_{2} & r_{3} \\ r_{4} & r_{5} & r_{6} \\ r_{7} & r_{8} & r_{9} \end{matrix}], T = [\begin{matrix} t_{x} \\ t_{y} \\ t_{z} \end{matrix}]

第二步，针孔模型下的理想透视投影变换，即从摄像机坐标系到图像坐标系的变换：

\{\begin{matrix} x_{u} = {fx}_{c} / z_{c} \\ y_{u} = {fy}_{c} / z_{c} \end{matrix}

第三步，理想图像坐标系与实际图像坐标系的转换。考虑一阶径向畸变，建立畸变模型为

\{\begin{matrix} x_{d} = (1 + k_{1} {r_{d}}^{2}) x_{u} \\ y_{d} = (1 + k_{1} {r_{d}}^{2}) y_{u} \end{matrix}

其中r_d ²＝x_d ²+y_d ²，k₁为一阶径向畸变系数。

第四步，实际图像坐标系到计算机图像坐标系的转换：

\{\begin{matrix} u = x_{d} / dx + c_{x} \\ v = y_{d} / dy + c_{y} \end{matrix}

其中(c_x，c_y)为主点o的像素坐标即主点坐标，(dx，dy)分别为图像平面上x，y方向上单位像素间的距离。

要确定计算机图像坐标与世界坐标的关系，必须首先求出摄像机的内外参数。内参数包括：f，k₁，dx，dy，c_x，c_y；外参数包括：旋转矩阵和平移矩阵一共有6个独立参数，其中旋转矩阵R有三个独立参数，其他6个参数都可以由这三个参数求出来，平移矩阵有三个独立参数t_x，t_y，t_z。

根据以上四步中的四个公式，计算机图像坐标系坐标(u，v)与世界坐标系坐标(X_w，Y_w，Z_w)的关系只能联立两个方程，由计算机图像点的坐标计算出世界坐标系地点坐标，必须采用两个摄像机，根据世界坐标系下的一个点P(X_W，Y_W，Z_W)对应着两个计算机图像坐标系下的坐标M(u₁，v₁)、N(u₂，v₂)利用上述公式即可求解出点P坐标。

人脸方位计算单元107：

对人脸特征点瞳孔、眼角和嘴角的检测与跟踪采用的是多线索的人脸特征检测与跟踪算法。如图3所示，左摄像机采集的图像中找到了人脸特征点分别为左眼的内眼角A₁302、右眼的内眼角B₁305、左眼瞳孔C_1L301、右眼瞳孔C_1R306、左嘴角D_1L303、右嘴角D_1R304；右摄像机采集的图像中找到了对应的特征点A₂、B₂、C_2L、C_2R、D_2L、D_2R，根据第四步中的公式，可以得到世界坐标系下各个特征点的世界坐标A、B、C_L、C_R、D_L、D_R。以上特征点可以近似看成在同一个平面上，因此以经过点A、B的直线为X_F坐标，经过左右嘴角的中心点O_D且与直线A_LLB_RR垂直相交的直线O_FO_D为YF坐标，经过点O_F且垂直X_FO_FY_F坐标平面的直线L_F为Z_F坐标轴，建立人脸平面坐标系O_FX_FY_FZ_F307，Z_F轴方向即人脸朝向的方向。

视线方向计算单元108：

人的眼球可以近似为一个圆，而视线是一条以眼球中心点为出发点，经过瞳孔中心的射线。当瞳孔在眼球表面上移动时，视线的方向就跟着变化。如图4所示，平面ABCD为人脸坐标系上的X_FO_FY_F平面，由于人眼直视时瞳孔的中心近似地位于X_FO_FY_F平面上，假设其就在该平面上，图中的点O_EF即为直视时瞳孔的中心。人眼的视线方向与人脸的朝向方向是一致的，即直线O_EOO_EF始终和Z_F轴平行，点O_EO为眼球的中心。某一时刻瞳孔的中心为点P_E，在X_FO_FY_F平面的投影为P_EF，则射线O_EOP_E即为此刻的视线方向。

通过前面计算出的瞳孔中心在世界坐标系下的坐标，建立的人脸平面坐标系O_FX_FY_FZ_F，在该坐标系下可以求出瞳孔中心O_EF、P_E在人脸平面坐标系下的投影点坐标，即O_EF(X_O，Y_O，0)、P_EF(X_F，Y_F，0)，眼球的半径为R，则眼球中心的坐标为(X_O，Y_O，-R)，瞳孔中心P_E的坐标为

(X_{F}, Y_{F} - R + \sqrt{R^{2} - {(X_{F} - X_{O})}^{2} - {(Y_{F} - Y_{O})}^{2}}),

则视线方程为：

\frac{X - X_{O}}{X_{F}} = \frac{Y - Y_{O}}{Y_{F}} = \frac{Z + R}{- R + \sqrt{R^{2} - {(X_{F} - X_{O})}^{2} - {(Y_{F} - Y_{O})}^{2}}}

对于一般的成年人，眼球的半径R近似等于12毫米。要更精确地知道眼球的半径，只需知道一个已知注视点的世界坐标系坐标，把它转换成人脸平面坐标系下的坐标，带入上式，即可求得。

该式表示的是在人脸坐标系下的视线方程，为了确定注视点的位置，必须把它转换成世界坐标系下的视线方程。世界坐标系与人脸平面坐标系的转换关系可用如下公式表示：

[\begin{matrix} X_{W} \\ Y_{W} \\ Z_{W} \end{matrix}] = A \cdot [\begin{matrix} X_{F} \\ Y_{F} \\ Z_{F} \end{matrix}] + T

其中A为3×3的旋转矩阵，T为3×1的平移矩阵。

那么，人脸平面坐标系下的眼球中心O_EF和当前瞳孔中心P_E就可以由该式转换成世界坐标系下的坐标，设分别为O_EW(X_OW，Y_OW，Z_OW)、P_EW(X_PW，Y_PW，z_PW)，则在世界坐标系下的视线方程为：

\frac{X - X_{OW}}{X_{PW} - X_{OW}} = \frac{Y - Y_{OW}}{Y_{PW} - Y_{OW}} = \frac{Z - Z_{OW}}{Z_{PW} - Z_{OW}} .

视线方向计算单元将跟踪结果传送回计算机显示器屏幕104。

双目视线跟踪装置执行过程：

对装置进行初始化。初始化工作主要有三步：

第一步，双摄像机103拍摄多幅标定板101在不同位置时的图像，测量各个方格顶点的世界坐标系坐标，通过图像处理计算出各方格顶点的图像坐标系坐标，从而计算出摄像机103的参数。

第二步，拍摄多幅人眼直视时的人脸102图像，计算每幅图像瞳孔中心在人脸坐标系下的位置，取平均值作为直视时瞳孔中心在人脸坐标系下的坐标。

第三步，拍摄多幅不同注视点情况下的人脸102图像并记下注视点的世界坐标系坐标，计算出每个注视点下的眼球半径，取平均值作为眼球半径。

完成初始化工作后，在摄像机103的位置不发生改变的情况下，令被测对象注视每个标定点，并拍摄下对应的人脸102图像，利用图像处理技术和摄像机参数通过计算出系统估算的注视点坐标501。为了测试该算法的精确度，让人脸102以不同的角度去注视同一个观察点。取其中四个观察点的实验数据，实验结果显示在计算机显示器屏幕104如图5所示。

观察点所在的平面距离人脸为1米，附图5中，圆圈为实际注视点502的世界坐标系坐标，十字叉为系统估算点501坐标，单位为厘米。从附图5中可以看出系统估算点501与实际注视点502基本一致。统计各个系统估算点501与实际观察注视点502的距离偏差Δd以及各个注视点距眼球中心距离D，算出视线方向偏差角度Δθ＝Δd/D。实验结果表明，平均的视线偏差角度为8.37°。

可见，应用上面描述的双目视线跟踪装置，克服了传统装置的缺陷，可准确跟踪人的视线变化以及视线定位，并且由于其鲁棒性好，方便易于携带，安装简易，更为简单、自然、高效，因此，可广泛应用于在人机交互。

以上所述，仅为本发明的较佳实施例而已，并非用来限定本发明的保护范围。

Claims

1、一种双目视线跟踪装置，其特征在于包括：

计算机显示器屏幕，一块观察大屏幕，两台摄像机，一个摄像机标定单元，一个人脸方位计算单元和一个视线方向计算单元；

摄像机装于计算机显示屏幕上方左右两侧，采集人脸及人眼图像，将图像送入摄像机标定单元，获得摄像机内外参数，从图像中推知三维信息，或者从三维信息计算出目标在图像中的坐标，将结果送入人脸方位计算单元，计算获得人脸在世界坐标系下坐标，结果传入视线方向计算单元，获得视线在世界坐标系下坐标，摄像机标定单元，人脸方位计算单元和视线方向计算单元相互配合，得出结果，并将结果传给计算机显示器屏幕，显示跟踪结果，摄像机标定单元置于显示器屏幕后方，标示有观察点，得出视线方向精确度。