CN105212890B - 眼睛跟踪器设备 - Google Patents

Abstract

将两个校准的光束(LB1、LB2)瞄准眼睛(100)来提供两个反射斑点(G1、G2)。有利地，通过衍射扩束器(400)提供校准的光束(LB1、LB2)。由成像单元(200)监视眼睛(100)的反射斑点(G1、G2)和瞳孔(120)。校准的光束(LB1、LB2)相对于成像单元(200)处在不同的角(α1、α2)。基于所述角(α1、α2)、反射斑点(G1、G2)的位置、以及瞳孔(120)的位置来确定视线方向(α3)。由于使用两个校准的光束(LB1、LB2)，所检测的视线方向基本上独立于眼睛(100)的尺寸，独立于眼睛(100)的横向位置，也独立于在成像单元(200)和眼睛(100)之间的距离(L2)。可使用所检测的视角，在虚拟显示器(500)显示的选项之间进行选择。

Description

眼睛跟踪器设备

本申请是国际申请日为2006年01月26日、国家申请号为200680051822.6、名称为“眼睛跟踪器设备”的发明专利申请的分案申请。

技术领域

本发明涉及确定眼睛的视线方向。

背景技术

可使用人的视线方向来选择计算机屏幕上显示的选项。因而，可使用提供有关视线方向的信息的眼睛跟踪器设备，来作为例如替代计算机鼠标的定点和选择设备。

当光刺射到眼睛上时，在晶状体、角膜和视网膜的边界上发生若干反射。这些反射提供了称为浦肯野像(Purkinje images)的反射斑点。来自角膜外表面的反射提供了也被称为反光点(glint)的第一浦肯野像。可基于相对于第一浦肯野像的位置的瞳孔的位置来确定眼睛的朝向。

美国专利4836670公开了一种眼睛移动检测器，其利用共轴地安装在红外敏感的照相机的透镜前面的红外发光二极管，用于获取眼睛的图像。反射光引起来自角膜表面的反光点。分析眼睛的图像来确定瞳孔中心位置和反光点相对于彼此的位置，以及使用此信息来确定视线方向。

发明内容

本发明的目的在于提供用于确定视线方向的方法。本发明的目的也在于提供用于确定视线方向的眼睛跟踪器设备。本发明的进一步目的是提供包括眼睛跟踪器设备的便携设备。本发明的目的也在于提供实现所述方法的计算机程序产品。

根据本发明的第一方面，具有用于检测眼睛的视线方向的设备，所述设备包括至少：

-成像单元，用来获取所述眼睛的图像，

-至少一个照明单元，用来提供第一基本上校准的光束以及第二基本上校准的光束，所述校准的光束具有相对于所述设备的不同的方向，这样，当从眼睛表面反射光时，所述第一校准的光束提供了第一反射斑点，以及当从眼睛表面反射光时，所述第二校准的光束提供了第二反射斑点，所述反射斑点出现在所述图像中，以及

-数据处理单元，用来基于所述图像中所述第一反射斑点的位置，基于所述图像中所述第二反射斑点的位置，基于所述图像中眼睛的瞳孔和/或虹膜的位置，以及基于所述校准的光束的方向，确定眼睛相对于所述设备的视线方向。

根据本发明的第二方面，具有用于检测眼睛的视线方向的方法，所述方法包括至少：

-使第一基本上校准的光束瞄准眼睛，以便当从眼睛表面反射光时，提供第一反射斑点，

-使第二基本上校准的光束瞄准眼睛，以便当从眼睛表面反射光时，提供第二反射斑点，所述第二校准的光束具有不同于所述第一校准的光束的方向的方向，

-通过成像单元获取眼睛的图像，

-基于所述图像中所述第一反射斑点的位置，基于所述图像中所述第二反射斑点的位置，基于所述图像中眼睛的瞳孔和/或虹膜的位置，以及基于所述校准的光束的方向，确定眼睛相对于所述成像单元的视线方向。

根据本发明的第三方面，具有包括用于检测眼睛的视线方向的眼睛跟踪设备的便携设备，所述跟踪设备包括至少：

-成像单元，用来获取所述眼睛的图像，

-至少一个照明单元，用来提供第一基本上校准的光束以及第二基本上校准的光束，所述校准的光束具有相对于所述设备的不同的方向，这样，当从眼睛表面反射光时，所述第一校准的光束提供了第一反射斑点，以及当从眼睛表面反射光时，所述第二校准的光束提供了第二反射斑点，所述反射斑点出现在所述图像中，以及

-数据处理单元，用来基于所述图像中所述第一反射斑点的位置，基于所述图像中所述第二反射斑点的位置，基于所述图像中眼睛的瞳孔和/或虹膜的位置，以及基于所述校准的光束的方向，确定眼睛相对于所述跟踪设备的视线方向。

根据本发明的第四方面，具有基于由系统提供的数据用来确定眼睛的视线方向的计算机程序产品，所述系统包括：

-成像单元，用来获取所述眼睛的图像，以及

-照明装置，用来提供第一基本上校准的光束以及第二基本上校准的光束，所述校准的光束具有相对于所述成像单元的不同的方向，这样，当从眼睛表面反射光时，所述第一校准的光束提供了第一反射斑点，以及当从眼睛表面反射光时，所述第二校准的光束提供了第二反射斑点，所述反射斑点出现在所述图像中，

所述计算机程序产品包括存储在可读介质中的计算机程序代码段，当由处理器执行时，其用来基于所述图像中所述第一反射斑点的位置，基于所述图像中所述第二反射斑点的位置，基于所述图像中的眼睛的瞳孔和/或虹膜的位置，以及基于所述校准的光束的方向，确定所述眼睛相对于所述成像单元的视线方向。

对视线方向的确定充分独立于眼睛和跟踪设备之间的距离。所述确定也充分独立于眼睛的横向移动和眼睛的大小。因而，眼睛可在较大区域内移动，即，跟踪器设备的位置无需相对于观察者的头而固定。

通过下面给出的描述和示例，以及也通过所附的权利要求，本发明的实施方式及其益处对本领域技术人员将变得显然。

附图说明

在下面的示例中，将通过参考附图更详细地描述本发明的实施方式，其中：

图1示意性地示出了相对于参考坐标系统的视线方向，

图2示意性地示出了用于确定视线方向的眼睛跟踪设备，

图3示意性地示出了光线通过成像光学系统的传播，

图4示意性地示出了来自角膜表面的光线反射，

图5a示意性地示出了眼睛的图像，所述图像包括两个反射斑点，

图5b示意性地示出了反射点和瞳孔中心的角位置，

图6是示出了从角膜表面朝向成像单元的光线反射的示意图，

图7是示出了关于确定视线方向的三角关系的示意图，

图8是示出了在一般的三维情况下，关于确定视线方向的矢量的示意图，

图9示意性地示出了包括两个基于校准透镜的照明单元的眼睛跟踪设备，

图10示意性地示出了包括一个基于校准透镜的照明单元的眼睛跟踪设备，

图11示意性地示出了包括衍射扩束器和IR发射器的照明单元，

图12示意性地示出了包括衍射扩束器和两个IR发射器的照明单元，

图13示意性地示出了包括衍射扩束器的虚拟显示单元，

图14是包括衍射扩束器的虚拟显示单元的示意性三维视图，

图15示意性地示出了包括虚拟显示器的眼睛跟踪设备，

图16是包括虚拟显示器的眼睛跟踪设备的示意性三维视图，

图17示意性地示出了通过出口光阑(exit aperture)查看的虚像，

图18示意性地示出了包括另外的IR发射器的虚拟显示单元，

图19通过举例的方式示出了IR发射器相对于微显示器的位置，

图20示意性地示出了包括另外的IR发射器和半透明反射镜的虚拟显示单元，

图21示意性地示出了光学引擎和照明单元对于衍射扩束器的耦合，

图22示意性地示出了两个堆叠的衍射扩束器，一个显示虚像，以及另一个提供IR射束，

图23示意性地示出了适合于通过衍射扩束器监视眼睛的成像单元，

图24示意性地示出了包括虚拟显示器、衍射扩束器和半透明反射镜的眼睛跟踪设备，

图25示意性地示出了包括虚拟显示器和半透明反射镜的眼睛跟踪设备，

图26示意性地示出了包括半透明反射镜的眼睛跟踪设备，从所述半透明反射镜查看远端显示器，

图27示意性地示出了包括半透明反射镜的眼睛跟踪设备，从所述半透明显示器查看实际物体，

图28示意性地示出了包括眼睛跟踪设备的便携设备，以及

图29是被用作桌面设备的眼睛跟踪设备的示意性的三维视图。

具体实施方式

参看图1，可通过相对于参考坐标系统方向SZ的水平视角α3和垂直视角β3来定义眼睛100的视线方向GZD。方向SY定义了参考坐标系统的垂直方向，以及方向SX定义了参考坐标系统的水平方向。

眼睛100的实际形状略微的非球形，但角膜的形状是接近于球形表面。这里，眼睛100的中心O代表最佳拟合球体的中心，所述球体与角膜表面相切合。这里，眼睛100的半径R代表所述最佳拟合球体的半径。

由通过眼睛100的中心O和瞳孔120的最佳拟合中心的线来定义视线方向GZD。瞳孔120被虹膜110所环绕。也可以部分地或完全地基于虹膜110的位置来确定对瞳孔的最佳拟合中心的确定。

参考线REF平行于参考坐标系统的方向SZ。眼睛100的位置可以在方向SX、SY和/或SZ上移动。参考线REF一般不通过眼睛100的中心O。

物体1002、1003位于离眼睛100的相当大的距离或无穷远的距离处。物体1002、1003可以是物体(例如，身体)，在远端显示器屏幕上显示的图像，或由虚拟显示器显示的虚像。

假设物体1002和1003相对于参考线REF上的点C的角坐标是已知的，以及当与点C和眼睛中心O之间的距离相比较时，眼睛100和物体1002、1003之间的距离是非常大的。距离的比值可以是例如大于10或等于10。因而，物体1002、1003可以与视线方向相关联。因此，通过获知视角α3和β3，可以确定眼睛100正在注视哪个物体，即，眼睛100正在注视星形1002还是六边形1003。

参看图2，由眼睛跟踪器设备700确定视角α3和β3，其包括一个或更多的照明单元300和一个成像单元200(在图2中仅示出了水平角α3)。照明单元300提供了至少两个基本上校准的光束LB1、LB2，其瞄准眼睛100，以及射束LB1、LB2具有不同的方向。成像单元200提供眼睛100的图像。

可由射束LB1和参考线REF之间的水平角α1和垂直角β1来标识第一校准的射束LB1的方向。可由射束LB2和参考线REF之间的水平角α2和β2来标识第二校准的射束LB2的方向(垂直角β1和β2在图2中未示出)。L2指示成像单元200和眼睛100之间的距离。

参看图3，成像单元200包括成像光学系统220和图像传感器210，其可以是例如电荷耦合设备(CCD)。成像光学系统220和图像传感器210之间的距离d1是已知的，以及因而，图像传感器210的像素可以与各自的特征的角位置相关联。例如，将瞳孔中心P投影到具有水平坐标X3的像素。可基于各自像素的坐标X3确定线REF和从瞳孔中心P到成像光学系统220的投影中心(principal point)C的线PC之间的角

成像单元200可包括用于自动对焦的装置。成像光学系统220的非理想的属性可引起图像201的几何失真。可以光学地和/或通过信号处理来校正失真。

参看图4，从提供了多个反射光线的角膜表面反射的光束LB1，其中反射光线以多个不同的方向传播。从成像单元200的光阑接收反射光线的窄扇面。这里由单一射线NC来表达所述扇面，单一射线NC是所述扇面的加权平均。射线NC是从眼睛100表面的反射点N向成像光学系统220的投影中心C反射的。

光束LB2也是从角膜表面朝向成像单元200反射(在图4中未示出，请参看图6)。由单一射线MC代表所反射的射线，其是从眼睛100表面的反射点M向成像光学系统220的投影中心C反射的。

图5a示出了由成像单元200获取的眼睛100的图像201。第一校准的光束LB1瞄准眼睛100，这样，第一光束LB1的反射提供了呈现在图像201中的第一反射斑点G1。第二校准的光束LB2瞄准眼睛100，这样第二射束LB2的反射提供了呈现在图像201中的第二反射斑点G2。可以应用图像分析算法来确定图像201中的瞳孔P的坐标X3，Y3，以及反射斑点G1、G2的坐标X1，Y1，X2，Y2。反射斑点G1、G2，即，第一浦肯野像，应当与从源于眼睛100内部的其他浦肯野图像有所区分。

当改变视线方向时，瞳孔120相对于反射斑点G1、G2移动。

参看图5b，可基于坐标X1,Y1,X2,Y2,X3,Y3(图5a)，根据在图3中示出的原理，来计算眼睛100表面上的第一反射点N的角位置δ1，第二反射点M的角位置δ2，以及瞳孔中心P的角位置δ3。

现在，首先使用简单的二维方式来描述用于确定视线方向的算法。参看图6，光束LB1从点N反射，以及所反射的射线NC刺射在成像单元200的光学系统的投影中心C。射束LB1相对于曲面法线N1的入射角γ1等于光射线NC相对于曲面法线N1的反射角γ1。能够发现：

以及

从点M反射光束LB2，以及被反射的射线MC刺射在成像单元200的投影中心C。射束LB2相对于曲面法线N2的入射角γ2等于光线MC相对于曲面法线N2的反射角γ2。能够发现：

以及

在图6中，可标识两个角，即角ONC和角OMC。这些角具有公共边OC，以及边ON和OM的长度等于眼睛100的半径R。现在可以使用三角法(例如，正弦规则)或矢量计算来基于角τ1和τ2确定眼睛中心O的角位置

参看图7，可以标识三个角OPC、ONC和OMC。当已知角 和时，可以计算角和点P是瞳孔120的中心。现在，可基于角τ1和计算角α5。角OPC和ONC具有公共边OC，以及边ON和OP的长度等于眼睛100的半径R。现在，可使用三角法(例如，正弦规则)或矢量计算，基于角τ1和τ3计算角α4。现在，可使用角α4和眼睛中心O的角位置计算水平视角α3。

参看图8，可通过使用矢量计算在普通的三维情况中确定对应于眼睛100的视角α3和β3的矢量OP。

第一校准的射束LB1从点N反射到成像光学系统200的投影中心C。第二校准的射束LB2从点M反射到投影中心C。在点N，曲面法线是N1，而在点M，曲面法线是N2。第一曲面法线N1的方向矢量是第一校准的射束LB1的方向矢量和线CN的方向矢量的平均(average)。第二曲面法线N2的方向矢量是第二校准的射束LB2的方向矢量和线CM的方向矢量的平均。

由于测量不精确，以及由于角膜的略微非球形，很可能曲面法线N1、N2不相交。在此情况下，可确定辅助矢量GH来找到用于眼睛中心O的估计。辅助矢量GH是连接表面法线N1、N2的最短可能矢量。辅助矢量GH垂直于矢量NG和MH。辅助矢量GH平行于矢量NG和MG的叉积。可使用辅助矢量GH的中点作为对眼睛中心O的估计。可使用辅助矢量GH的长度作为对测量精度的指示。

现在，知晓了矢量CN、NG、GH、HM和MC的方向。也已经知晓了矢量NG和HM的长度，其长度等于眼睛100的半径R。可基于矢量方程解出余下的三个未知量，即矢量CN、GH和MC的长度，矢量方程表明五个矢量形成封闭路径：

CN+NG+GH+HM+MC＝0. (5)

将方程(5)写作一组三个线性方程，所述组的一个方程对应于方向SX(图1)上的矢量分量，一个对应于方向SY上的矢量分量，以及一个对应于方向SZ上的矢量分量。有三个位置量和三个方程，从中能够计算出这些未知量。

现在，根据眼睛半径R而获知了矢量CN、NG、GH、HM和MC的方向和长度。

眼睛中心O的位置近似处在矢量GH的中点。眼睛中心O的位置也可以接近于在矢量GH上的点。眼睛中心O的位置也可以接近于矢量GH邻近的点。

接下来，计算线CP在何处与眼睛100的表面相交，眼睛100具有中心O和半径R。计算提供了两个解。选择对应于矢量CP的较短长度的解，因为另一个解对应于在眼睛100后侧的位置。

现在，知晓了眼睛中心O和瞳孔中心P的位置，以及矢量OP的方向直接给出了视线方向。

综上，视线方向的确定包括下列步骤：

-通过成像单元200获取的图像201中反射斑点G1、G2的坐标，确定在眼睛100表面的反射点N，M的角位置，

-基于校准的光束LB1、LB2的方向和矢量CN和CM的方向，计算所述反射点N、M的表面法线N1、N2的方向，

-通过计算所述表面法线N1、N2的方向矢量的叉积来确定辅助矢量GH的方向，

-计算矢量CN、CM和GH的长度，

-通过所述辅助矢量GH的中点，近似估计眼睛中心O的位置，

-基于图像201中的瞳孔和/或虹膜的坐标确定矢量CP的方向，

-计算瞳孔中心P的位置，以及

-计算矢量OP的方向，所述方向是视线方向。

参看图9，眼睛跟踪设备700可包括两个照明单元300来提供基本上校准的光束LB1、LB2。由瞄准眼睛100的校准光学系统330校准红外光(IR)发射器321、322发出的不可见光。

照明单元300的校准光学系统330可以是优化的组合透镜。校准光学系统330可包括菲涅尔透镜。照明单元300的朝向相对于成像单元200可以是固定的或可变的。所发射的光可以是处于可见的波长，但经脉冲化使其基本上不可见。所发射的光可以是在UV(紫外)区域，从而其不可见。

参看图10，眼睛跟踪设备700也可包括仅一个照明单元300但有两个发射器321、322来提供基本上校准的光束LB1、LB2。

参看图11，可由衍射扩束器400来扩展由校准单元310提供的校准的光束的宽度W_IN。输入光栅410耦合光来在波导基片405中传播。输出光栅420将光从基片405耦合输出，来提供校准的光束LB1。输出光束的宽度W_OUT可以基本上大于初始宽度W_IN。例如，在美国专利US6580529中描述了衍射扩束器。校准单元310包括一个或多个发射器321以及校准光学系统330。

参看图12，可使用单个衍射扩束器400来提供两个校准的光束LB1、LB2。

参看图13，虚拟显示单元500可包括光学引擎520和衍射扩束器400。光学引擎520包括微显示器510和察看(viewing)光学系统530。通过将光学引擎520耦合到衍射扩束器400来相当大地增加察看光阑的宽度。

微显示器510可以是发光二极管(LED)阵列、液晶阵列(LCD)或微机械反射镜设备(MEMS)。

将由微显示器510的像素形成的实像通过察看光学系统530转换为虚像。微显示器510的每个点对应于从输出光栅420传送的校准的光束。因而，观察者的眼睛100看到在相当远或在无穷远处的虚像。

虚拟显示单元500也可以表现为照明单元300。可使用微显示器的预定像素501、502来提供基本上校准的和调制的光束LB1、LB2。可以调制像素501、502，使得可以从其他光中区分这些光束的光。像素501、502可以是IR发射。

参看图14，衍射扩束器典型地包括三个光栅410、415和420。输入光栅410将光耦合到波导基片405。中间光栅415提供了在第一方向SX的扩束。输出光栅420提供了在第二方向SY的扩束，以及将光束LB1、LB2从衍射扩束器400耦合输出。输出光栅420也作为用于光学引擎520显示虚像的察看光阑。

当使用平面衍射光栅410、420时，在无限远处形成虚像。然而，虚像和观察者之间的距离也可以短于无限远。所述距离可以是例如在1到2米的距离内。可使用专利申请PCT/IB2004/004094中公开的弯曲衍射扩束器实现距离短于无限远。所述衍射扩束器包括至少一个具有有限曲率半径的非平面衍射元件。

参看图15，眼睛跟踪设备700可包括：

-照明单元300，用来提供基本上校准的光束LB1、LB2，

-虚拟显示单元500，

-成像单元200，

-数据处理单元600，

-命令接口610，以及

-通信单元620。

命令接口610可以是按键设备、操纵杆或键盘，其允许用户向设备700发送命令。命令接口610也可以是语音命令设备或手势识别设备。通信单元620可以是用于与计算机或移动设备通信的接口模块。通信单元620也可以是光学或射频发射机/接收机，其允许经由因特网或射频网络的通信。

参看图16，眼睛跟踪设备700可以是紧凑的、便携的和较轻的设备。

参看图17，用户的眼睛100可以通过虚拟显示器的输出光阑察看所显示的虚像1000，例如，通过衍射扩束器的输出光栅420。

虚像1000可以包括所显示的物体1002、1003、1004、1005，例如星形1002、六边形1003、符号“OK”1005和问号“？”1004。

虚像1000的物体或位置有利地与视线方向相关联。因而，当眼睛100注视着由用户确定的物体或位置时，能够基于视线方向确定眼睛正注视着哪个物体或位置。进一步地，每个物体或位置可与选项相关联，以及用户可通过注视着分别的物体或位置而选择一个选项。用户可以通过按下命令接口610(图15和16)的键来确认选择。用户也可以通过眨眼，或通过盯住预定物体或位置一段延长的时间来确认选择。

例如，用户可以通过指引他的视线，来在由物体1002(星形)或物体1003(六边形)所代表的选项之间选择。如果选择了六边形1003，其可以在选择之后，通过闪烁提供可视的反馈。用户可通过例如注视着符号“OK”来确认选择。但是，用户可通过注视问号“？”来请求进一步的信息。

在软件中，和/或在硬件水平，例如通过将物体的像素坐标转换为角坐标可将虚像1000的物体1002、1003、1004、1005与视线方向相关联。可将所显示的物体的角坐标与视线方向作比较，来确定用户是否正注视着所述物体。

可将可见或不可见光标1001适用于在虚像1000上跟随着所确定的眼睛100的视线方向而移动。光标1001帮助用户来理解跟踪设备700实际上正跟随着其视线。换句话说，光标1001提供了向用户的可视反馈。

可通过例如在虚像1000上移动闪烁的光标1001，以及请用户注视着光标1001来核准所检测的视线方向。进一步地，当用户实际上正注视着光标1001时，可请求他按下命令接口610的按键。

参看图18和19，可将两个或更多的红外(IR)光发射器321、322贴附在接近于虚拟显示单元500的微显示器510。因而，虚拟显示单元500也可以表现为照明单元300，提供两个或多个基本上校准的光束LB1、LB2。

通过举例的方式，图19示出了IR发射器321、322、323、324相对于微显示器510的框架511的位置。通过使用此布置，照明单元300可提供3个、4个或更多的基本上校准的光束，其在不同方向传播。第三光束和进一步的光束在由第一光束LB1和第二光束LB2的方向定义的平面向外的方向中传播。使用三个或更多光束可提供改进的精度。曲率，即，眼睛100的半径，在垂直方向和水平方向上可以不同。因而，使用三个或更多的光束可以允许对由于眼睛100的非球形所引起错误的纠正。

参看图20，可用半透明反射镜350将来自红外(IR)光发射器321、322的光与自微显示器510所发出的光相组合。半透明反射镜350可以是分色镜，其传输可见光并反射IR。半透明反射镜350可以是半透明镜或极化反射镜。

参看图21，光学引擎520和校准单元310边对边地耦合到同一个衍射扩束器400。

参看图22，可以堆叠衍射扩束器400，这样通过第二至少部分地透明的扩展器来传送由第一扩展器发射的光。第一扩展器可以发射可见光，而第二扩展器可发射IR光。

参看图23，衍射扩束器400可以是部分地透明。可将成像单元200适用于通过衍射扩束器400来监视眼睛100。

参看图24，眼睛跟踪器设备700可以包括半透明反射镜350，来将由虚拟显示单元500发射的光和由一个或多个照明单元300提供的光束LB1、LB2相组合。虚拟显示单元500可包括衍射扩束器400。而且照明单元300可包括衍射扩束器400。跟踪设备700可进一步地包括数据处理单元，命令接口610和通信单元620。

参看图25，眼睛跟踪器设备700可包括半透明反射镜350来将由虚拟显示单元500发射的光与校准的光束LB1、LB2组合。可仅使用透镜光学系统530、220、330，即，不使用衍射扩束器，来提供虚像和校准的光束LB1、LB2。

参看图26，用户也可以注视远端屏幕900。可使用半透明反射镜350将由远端屏幕900发射的光与校准的光束LB1、LB2组合。眼睛跟踪器设备700可进一步包括数据处理单元，命令接口610和通信单元620。跟踪设备700的位置相对于远端屏幕900可以是固定的。

可选地，跟踪设备700可进一步包括成像单元250，来监视远端屏幕900相对于跟踪设备700的角位置。需要此信息来将视线方向与远端屏幕900的位置相关联。

也可以将进一步成像单元250适用于监视在屏幕900上显示的物体相对于跟踪设备700的角位置。

替代半透明反射镜，用户也可以通过扩束器注视屏幕900，扩束器400在可见的波长范围内是透明的。

参看图27，用户也可以通过半透明反射镜350察看物体1002(房屋)、1003(汽车)。跟踪器设备700的位置相对于物体可以是固定的，或者其可以包括另外的成像单元250来监视物体相对于跟踪器设备700的角位置。因而，可将物体、物体的位置和/或风景(landscape)的特征与视线方向相关联。例如，可确定用户是否正注视着房屋1002或汽车1003。进一步地，可将物体1002、1003与选项相关联，这样可通过注视分别的物体而选择选项。

参看图28，便携设备750可包括眼睛跟踪器设备700。

眼睛100和跟踪器设备700之间的距离可小于或等于0.2m。校准的光束LB1、LB2的宽度可大于或等于20mm，以允许跟踪器设备700相对于眼睛100自由移动。校准的光束LB1、LB2的宽度也可以大于或等于10cm。衍射扩束器允许实现宽光束，而无需考虑增加设备700的尺寸和重量。

参看图29，眼睛跟踪器设备700可以用作桌面设备。可将眼睛跟踪器设备700适用于在一定距离监视眼睛100，距离例如是在离眼睛0.5到1米的范围内。用户可注视着物体1002、1003，其可以是显示屏900上显示的图像或实际物体。

当将视线方向信息与眼睛100相对于跟踪器设备700的位置组合时，所确定的视线方向可与物体1002、1003之一相关联。仅基于视线方向无法作出此关联，除非当与眼睛100和跟踪器设备700之间的距离作比较时，是远离物体1002、1003的。也需要眼睛100的位置，以便作出此关联。可通过使用由距离监视器260提供的距离信息，并分析由成像单元200提供的图像，来确定眼睛的水平位置和垂直位置，以及眼睛100到跟踪器设备700的距离。距离监视器可以是例如光学测距仪。也可以通过使用两个成像单元，以及通过确定距离、水平位置和垂直位置，由三角测量，基于由所述成像单元获取的眼睛的图像来获得位置信息。

用户的眼睛100可察看物体1002、1003之一。使用视线方向信息连同物体的像素坐标和眼睛100的位置来确定用户正注视着哪个物体，例如，用户是否正注视着在屏幕900上显示的星形1002或六边形1003。

当作为桌面设备使用时，跟踪器设备700可包括一个或多个扩束器400，扩束器400具有较大的输出光阑，以便允许用户足够自由地移动其头部。可选地，跟踪器设备700可包括改变校准的光束LB1、LB2的方向的装置，这样当用户移动其头部时，校准的光束LB1、LB2刺射在用户的眼睛100上。可通过例如分析由成像单元200提供的图像来获得为跟随头部的移动所需要的信息。

眼睛跟踪器设备700可以是从下列列表中选择的设备，或其一部分，或者连同从下列列表中选择的设备的组合而使用：便携设备、具有无线电信能力的设备、成像设备、图像传感器、数字照相机、移动电话、游戏设备、音乐记录/播放设备(基于例如MP3格式)、远程控制发射机或接收机、手表、指南针、心跳监视设备、医疗仪器、用于残疾人的器械、测量仪器、工业测量仪器、过程控制设备、目标查找设备、瞄准设备、导航设备、个人数字助理(PDA)、通讯器、便携因特网器械以及手持计算机。眼睛跟踪器设备700可包括电池、电信单元、音频设备和/或数据存储单元。可将眼睛跟踪器设备700附着在头饰、帽子或头盔上。

也可以通过使用计算机程序产品来实现根据本发明的方法。可由包括成像单元200和用来提供校准的光束LB1、LB2的装置的系统来提供原始数据。原始数据可包括眼睛100的整个图像201或仅有反射斑点G1、G2和瞳孔P的坐标。计算机程序产品包括存储在可读介质中的计算机程序代码段，当由处理器600执行时，其基于数据和光束LB1、LB2的方向来确定视线方向。

计算机程序产品可以是包括所述程序的例如CD-ROM盘，或存储器卡。产品的计算机程序代码段是从因特网网站可下载的。可将计算机程序代安装在例如连接到成像单元200的便携计算机中。

例如计算机或移动设备的用户接口可以部分地或完全地基于对视线方向的跟踪。用户可通过指引其视线而以高速率给出命令。例如，可通过视线选择所显示的字母、单词或整句来写入和处理文本。

当将跟踪器设备700附着在头饰上时，可将视线方向信息与有关头相对于环境的位置和/或朝向的进一步的信息加以组合。可通过例如使用GPS(全球定位系统)导航系统、指南针和/或适合于发送超声波、红外或射频跟踪信号的参考信标来确定头部相对于环境的位置。

可将眼睛跟踪器设备700适用于显示虚像，这样用户可基本上同时地察看所显示的虚像，以及实际物体。可将这种跟踪器设备700用作所讨论的现实系统(reality system)的部分。

可将眼睛跟踪器设备700耦合到远程计算机。可在远程计算机或数据处理单元执行与确定视线方向相关联的信号处理。

可使用虚拟显示单元来显示运动或静止图像，例如，电影、照片、网页(www-page)、图表和/或文本。

也可使用例如激光器的光源实现照明单元300，其固有地发射校准的光束。

扩束器可基于衍射光学系统、基于镜头组合、基于堆叠的棱镜和/或基于堆叠的半透明反射镜。

可使用周期性表面起伏图样(surface relief patterns)实现衍射扩束器400。衍射扩束器400也可以是全息衍射扩束器，其包括折射率的周期性变化，由全息加工技术实现。

专利申请US2004/0062502公开了一种扩束器具有一个或多个表面接口用来提高扩束器的颜色均一性，例如，当扩展时，对红、绿和蓝光束同时扩展。

专利申请PCT/FI2003/000948公开了分裂的(split)衍射光栅元件，用来均衡相对于入射角的变化的衍射效果。可以在衍射扩束器400中使用所述元件。

微显示器510可以是反射、发射或传输二维光调制阵列(transmissive two-dimensional light-modulation array。微显示器510可以是发光二极管(LED，有机发光二极管，Organic Light Emitting Diode)阵列，微机械反射镜(micromechanical mirrors)(MEMS显示器)，或液晶单元(硅液晶)的阵列。也可以使用光机械扫描光束(opto-mechanically scanned light beams)实现微显示器510，例如，使用经调制的光束，通过旋转反射镜来使其偏转或移动。

眼睛跟踪器设备700可包括两个相邻的虚拟显示器，一个用于左眼，一个用于右眼。可以分别地控制虚拟显示器来显示三维虚像。当人正注视着所显示的三维图像时，可使用左眼视线方向和右眼视线方向之间的差来提供关于所述图像的距离信息。

可以将眼睛跟踪器设备700适用于分别监控左眼和右眼的视线方向。当用户正注视着远端物体时，可使用在左眼的视线方向和右眼的视线方向之间的差来提供关于所述物体的距离信息。可在所讨论的实际应用中使用此实施方式。

对于本领域技术人员，应理解根据本发明对于所述设备和方法的调整和变化是可知的。上述参考附图所描述的特定实施方式仅为示例性的，且并非意在限制本发明的范围，该范围由所附的权利要求书加以定义。

Claims (29)

1.一种用于检测眼睛(100)的视线方向(α3，β3)的设备(700)，所述设备(700)包括至少：

-第一成像单元(200)，用来获取所述眼睛(100)的图像(201)，

-至少一个照明单元(300)，包括校准光学系统配置用于提供第一基本上校准的光束(LB1)以及第二基本上校准的光束(LB2)，所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)具有相对于所述设备(700)的不同的方向，使得当从所述眼睛(100)的表面反射光时，所述第一基本上校准的光束(LB1)提供第一反射斑点(G1)，以及当从所述眼睛(100)的表面反射光时，所述第二基本上校准的光束(LB1)提供第二反射斑点(G2)，所述第一反射斑点(G1)和所述第二反射斑点(G2)呈现在所述图像(201)中，

-至少一个扩束器，用来扩展所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)的宽度，以及

-数据处理单元(600)，用来基于所述图像(201)中所述第一反射斑点(G1)的位置、所述图像(201)中所述第二反射斑点(G2)的位置、所述图像(201)中所述眼睛(100)的瞳孔(120)和/或虹膜(110)的位置以及所述第一基本上校准的光束(LB1)的方向和所述第二基本上校准的光束(LB2)的方向，确定所述眼睛(100)相对于所述设备(700)的视线方向(α3，β3)，

其中所述第一成像单元(200)适用于通过所述扩束器来查看所述眼睛(100)，所述扩束器对所述第一基本上校准的光束(LB1)的波长和所述第二基本上校准的光束(LB2)的波长至少部分地透明。

2.根据权利要求1所述的设备(700)，其中所述扩束器是衍射扩束器(400)。

3.根据权利要求1或2所述的设备(700)，其中所述扩束器具有大的输出光阑以便允许用户足够自由地移动所述用户的头部。

4.根据前述权利要求1所述的设备(700)，其中所述第一基本上校准的光束(LB1)的宽度大于或等于20mm。

5.根据前述权利要求1所述的设备(700)，其中所述照明单元(300)包括至少一个半导体器件(321、322)来发射不可见红外光。

6.根据前述权利要求1所述的设备(700)，进一步包括虚拟显示单元(500)来显示虚像(1000)。

7.根据前述权利要求1所述的设备(700)，适用于将眼睛所注视的物体(1002、1003)或位置与视线方向相关联。

8.根据权利要求7所述的设备(700)，进一步包括半透明反射镜(350)，适用于向所述眼睛(100)反射或传送所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)，所述眼睛(100)能够经由所述半透明反射镜(350)查看所述物体(1002、1003)和/或所述位置。

9.根据权利要求7或8所述的设备(700)，包括另外的成像单元(250)来监视所述物体(1002，1003)或位置相对于所述设备(700)的角位置。

10.根据前述权利要求1所述的设备(700)，进一步包括命令接口(610)来向数据处理单元(600)发送命令，以便确认对与所述确定的视线方向(α3，β3)相关联的选项的选择。

11.根据前述权利要求1所述的设备(700)，进一步包括用于确定所述眼睛(100)和所述第一成像单元(200)之间距离(L2)的装置(260)。

12.根据前述权利要求1所述设备(700)，进一步包括用来改变相对于所述设备(700)的所述第一基本上校准的光束(LB1)的方向和/或所述第二基本上校准的光束(LB2)的方向的装置。

13.一种用于检测眼睛(100)的视线方向(α3，β3)的方法，所述方法包括至少：

-由至少一个扩束器扩展由校准光学系统提供的第一基本上校准的光束和由校准光学系统提供的第二基本上校准的光束，

-使所述第一基本上校准的光束(LB1)瞄准眼睛(100)，以便当从所述眼睛(100)的表面反射光时，提供第一反射斑点(G1)，

-使所述第二基本上校准的光束(LB2)瞄准眼睛(100)，以便当从眼睛(100)的表面反射光时，提供第二反射斑点(G2)，所述第二基本上校准的光束(LB2)具有不同于所述第一基本上校准的光束(LB1)方向的方向，

-通过第一成像单元(200)获取所述眼睛(100)的图像(201)，

-基于所述图像(201)中所述第一反射斑点(G1)的位置，基于所述图像(201)中所述第二反射斑点(G2)的位置，基于所述图像(201)中所述眼睛(100)的瞳孔(120)和/或虹膜(110)的位置，以及基于所述第一基本上校准的光束(LB1)的方向和所述第二基本上校准的光束(LB2)的方向，确定所述眼睛(100)相对于所述第一成像单元(200)的视线方向(α3，β3)，

其中所述第一成像单元(200)适用于通过所述扩束器来查看所述眼睛(100)，所述扩束器对所述第一基本上校准的光束(LB1)的波长和所述第二基本上校准的光束(LB2)的波长至少部分地透明。

14.根据权利要求13所述的方法，其中使用一个或多个衍射扩束器(400)提供所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)的至少一个。

15.根据权利要求13或14所述的方法，其中所述扩束器具有大的输出光阑以便允许用户足够自由地移动所述用户的头部。

16.根据权利要求13或14所述的方法，其中所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)的宽度大于等于20mm。

17.根据前述权利要求13所述的方法，其中所述第一成像单元(200)和所述眼睛(100)之间的距离(L2)小于或等于0.2m。

18.根据前述权利要求13所述的方法，进一步包括将眼睛所注视的物体(1002、1003)或位置与视线方向(α3，β3)相关联。

19.根据权利要求18所述的方法，进一步包括基于由另外的成像单元(250)获取的所述物体或位置的图像而确定所述物体(1002、1003)或所述位置相对于所述第一成像单元(200)的角位置。

20.根据前述权利要求13所述的方法，进一步包括：

-显示虚像(1000)，以及

-将所述虚像(1000)的位置与视线方向相关联。

21.根据前述权利要求13所述的方法，进一步包括基于所检测的所述眼睛(100)的视线方向(α3，β3)，选择选项或目标。

22.根据前述权利要求13所述的方法，进一步包括改变所述第一基本上校准的光束(LB1)的方向和/或所述第二基本上校准的光束(LB2)的方向。

23.根据前述权利要求13所述的方法，其中使用微显示器(510)的像素(501、502)提供所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)。

24.根据前述权利要求13所述的方法，其中使用发光半导体器件(321、322)提供所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)。

25.根据前述权利要求13所述的方法，进一步包括向远端数据处理单元(600)发送图像数据，以及在所述远端数据处理单元(600)中执行所述确定。

26.根据权利要求13所述的方法，其中所述方法包括：

-基于所述两个反射斑点(G1、G2)的坐标，确定眼睛(100)的表面上的第一反射点(N)的角位置和第二反射点(M)的角位置，

-基于所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)的方向和第一矢量(CN)和第二矢量(CM)的方向，确定所述第一反射点(N)的第一表面法线(N1)和所述第二反射点(M)的第二表面法线(N2)，由所述第一成像单元(200)的投影中心(C)和所述第一反射点(N)指定所述第一矢量(CN)，以及由所述第一成像单元(200)的投影中心(C)和所述第二反射点(M)指定所述第二矢量(CM)，

-确定第三矢量(GH)，其基本上垂直于所述第一表面法线(N1)和所述第二表面法线(N2)，

-确定所述第一矢量(CN)、第二矢量(CM)和第三矢量(GH)的长度，

-由在所述第三矢量(GH)上的点(O)近似估计眼睛中心的位置，所述点是所述第三矢量(GH)的中点，

-基于所述图像(201)中的瞳孔和/或虹膜的坐标确定第四矢量(CP)的方向，所述第四矢量(CP)是由所述第一成像单元(200)的投影中心(C)和瞳孔中心(P)所指定的，

-确定瞳孔中心(P)的位置，以及

-基于所述近似估计的眼睛中心(O)和所述瞳孔中心(P)的位置，提供所述视线方向(α3，β3)。

27.一种包括用于检测眼睛(100)的视线方向(α3，β3)的眼睛跟踪设备的便携设备(750)，所述跟踪设备(700)包括至少：

-第一成像单元(200)，用来获取所述眼睛(100)的图像(201)，

-至少一个照明单元(300)，包括校准光学系统配置用于提供第一基本上校准的光束(LB1)以及第二基本上校准的光束(LB2)，所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)具有相对于所述跟踪设备(700)的不同的方向，使得当从所述眼睛(100)的表面反射光时，所述第一基本上校准的光束(LB1)提供第一反射斑点(G1)，以及当从所述眼睛(100)的表面反射光时，所述第二基本上校准的光束(LB2)提供第二反射斑点(G2)，所述第一反射斑点(G1)和第二反射斑点(G2)呈现在所述图像(210)中，

-至少一个扩束器，用来扩展所述第一基本上校准的光束(LB1)和所述第二基本上校准的光束(LB2)的宽度，以及

-数据处理单元(600)，用来基于所述图像(201)中所述第一反射斑点(G1)的位置，基于所述图像(201)中所述第二反射斑点(G2)的位置，基于所述图像(201)中所述眼睛(100)的瞳孔(120)和/或虹膜(110)的位置，以及基于所述第一基本上校准的光束(LB1)的方向和所述第二基本上校准的光束(LB2)的方向，确定所述眼睛(100)相对于所述跟踪设备(700)的视线方向(α3，β3)，

其中所述第一成像单元(200)适用于通过所述扩束器来查看所述眼睛(100)，所述扩束器对所述第一基本上校准的光束(LB1)的波长和所述第二基本上校准的光束(LB2)的波长至少部分地透明。

28.根据权利要求27所述的便携设备(750)，进一步包括无线通信能力。

29.根据权利要求27所述的便携设备(750)，其中所述扩束器具有大的输出光阑以便允许用户足够自由地移动所述用户的头部。