CN106339087B - 一种基于多维坐标的眼球追踪方法及其装置 - Google Patents

Abstract

本发明提供一种基于多维坐标的眼球追踪方法，(1)标定用户眼睛的8个以上维度的标定矢量；(2)测定用户眼睛的至少3个维度的测量矢量；(3)根据所述标定矢量和测量矢量确定人眼的眼动点位置；本发明还提供了使用上述方法的装置。所述方法和装置应用于头戴式虚拟现实或增强现实设备中，使用一种高效的红外光源组，无论用户何种视角，在角膜上均可以选择数量合理的有效反光点以检测眼动点位置，当用户使用头戴式虚拟现实或增强现实设备时，实现覆盖用户的全部眼动点位置或全视角，从而使得用户扫视时眼动点位置检测平滑，红外摄像头捕获的眼睛图像亮度均匀，后续图像处理方便。

Description

一种基于多维坐标的眼球追踪方法及其装置

技术领域

本发明属于视觉互动领域，尤其涉及一种在头戴式虚拟现实/增强现实设备或眼镜式显示设备中使用的基于多维坐标的眼球追踪方法及其装置。

背景技术

头戴式虚拟现实设备(又称VR眼镜，或者VR头盔)和头戴式增强现实设备(又称AR眼镜，或AR头盔)是目前正在快速发展和普及的虚拟现实和增强现实产品。现有虚拟现实和增强现实设备中都使用了透镜，利用其折射光特效，使用户看清距离眼睛3-7cm的头显内的事物，例如HTC Vive的内置菲涅尔透镜，Oculus Rift CV1的内置混合菲涅尔透镜等。

眼球追踪是基于标定的眼球特征点，实时记录眼动轨迹在屏幕上的扫视轨迹的技术。虹膜识别技术是基于人眼虹膜的唯一性的特点，提取虹膜特征点作为标定点，从而进行身份识别和眼球追踪的技术。眼球追踪与虹膜识别技术的结合将有助于提供一种新型的人机交互方式，无需依赖鼠标、键盘或者游戏手柄，只需通过眼球运动即可，操作过程简单、快捷，对虚拟现实或增强现实用户来说，用户体验将显著改善。

现有技术中，头戴式虚拟现实或增强现实装备主要基于暗瞳技术，并以角膜反光点作为参考点计算瞳孔-角膜反光点矢量，其眼球追踪方法采用红外光源照射眼睛，并由红外摄像头接收上述眼睛图像后进行处理，传统方法存在以下问题：

一、红外光源数量较少，在用户眼睛转动幅度较大、瞳孔偏转较大的时候，红外光源的反光点可能落于角膜区域之外，无法被红外摄像头捕获，导致覆盖视角小，无法检测某些视角。

二、红外光源数量较少或分布不均匀，红外光源无法均匀照明眼睛，导致红外摄像头捕获的眼睛图像亮度不均匀，成像质量较差，影响眼球追踪数据精度。

发明内容

本发明提供了一种基于多维坐标的眼球追踪方法及其装置，通过提供一种高效的红外光源组及相应的算法，无论用户何种视角，在角膜上均可以选择数量合理的有效反光点以检测眼动点位置，实现用户使用头戴式虚拟现实或增强现实设备的眼动点位置全视角覆盖，且红外摄像头捕获的眼睛图像亮度均匀。

本发明提供的一种基于多维坐标的眼球追踪方法，包括步骤：(1)标定用户眼睛的8个以上维度的标定矢量；所述标定矢量是用户眼睛正视显示屏上标定点时，固定位置的8个以上红外光源在眼睛角膜上的各个反光点指向瞳孔中心的矢量，所述标定点是显示屏的几何中心位置或特定位置；(2)测定用户眼睛的至少3个维度的测量矢量；所述测量矢量是使用状态下至少3个以上红外光源在眼睛角膜上的反光点指向瞳孔中心的矢量；(3)根据所述标定矢量和测量矢量确定人眼的眼动点位置；所述眼动点位置是眼睛所看显示屏上的位置。

优选地，步骤(1)中，所述固定位置的8个红外光源的反光点均位于一近似虚拟圆上，所述8个红外光源在所述近似虚拟圆上均匀分布；所述虚拟圆与瞳孔近似同心分布。

优选地，步骤(2)包括：确定选定反光点，所述选定反光点所述至少3个维度的测量矢量对应的反光点；确定所述选定反光点的编号；以及测量所述选定反光点的测量矢量，所述测量矢量是选定反光点指向瞳孔中心的矢量。

优选地，所述选定反光点为角膜上反光点中的测量矢量的绝对长度较小的3个反光点。

优选地，所述选定反光点是角膜上的至少3个连续的反光点。

优选地，根据选定反光点的几何特征判定其对应的编号。

优选地，根据选定反光点形成的三角形的钝角的指向判定选定反光点的编号。

优选地，所述步骤(3)包括：确定眼动矢量，所述眼动矢量是所述3个选定反光点的各测量矢量和标定矢量的差值的均值，或者是选定反光点中任意1个反光点的测量矢量和标定矢量的差值，或者是选定反光点中任意2个反光点的各测量矢量和标定矢量的差值的均值；根据所述眼动矢量确定眼动点位置。

优选地，根据所述眼动矢量确定眼动点位置包括：所述眼动矢量与眼动点位置一一对应或者根据眼动矢量在眼睛图像上对应的像素值及方向确定用户的眼动点位置。

优选地，步骤(1)中还包括虹膜识别功能，以进行用户身份识别，与用户数据库进行比对，确定用户身份，非首次使用用户可直接提取标定矢量数据。

还提供一种使用以上所有方法的装置，包括眼球追踪模块，以进行眼球追踪，该眼球追踪模块包括红外摄像头、固定位置的8个以上红外光源；在标定时所述固定位置的8个以上红外光源的反光点均落在角膜上，在使用中至少有3个反光点落在角膜上。

优选地，所述红外光源有8个，所述8个红外光源围绕瞳孔均匀分布或近似均匀分布。

优选地，包括可透红外不透可见光滤光片，上述可透红外不透可见光滤光片用于遮盖所述8个红外光源，以用户使用时看不见所述8个红外光源，同时红外光源所发射的红外光可照射到眼睛。

优选地，所述红外摄像头设置于显示屏的周围。

优选地，所述眼球追踪模块还包括红外反光部件，所述红外摄像头设置于用户使用时看不见的位置上，以接收经红外反光部件反射的红外光。

优选地，还包括镜杯，镜杯包括镜杯支架和透镜，所述镜杯支架包括支架底座和支架侧壁。

优选地，该装置用于头戴式虚拟现实或增强现实设备。

本发明具有有益效果：提供一种基于多维坐标眼球追踪的方法，以及使用该方法的装置，通过提供一种高效的红外光源组，无论用户眼睛何种视角，均可以检测3个以上有效反光点以检测眼动点位置，实现用户使用头戴式虚拟现实或增强现实设备的眼动点位置全视角覆盖，且红外摄像头捕获的眼睛图像亮度均匀，后续图像处理方便。

附图说明

图1是基于多维坐标的眼球追踪方法步骤(1)的标定眼睛图像。

图2a～图2h是基于多维坐标的眼球追踪方法步骤(3)的眼睛图像。

图3是基于多维坐标的眼球追踪方法的流程示意图。

图4是图1的标定眼睛图像示意图。

图5是图2a的示意图。

图6是基于多维坐标的眼球追踪装置的正视图。

图7是图6中装置一实施方式沿A-A’的剖面图。

图8是图7中实施方式使用时红外光反射路径图。

图9是图6中装置一实施方式沿A-A’的剖面图。

图10是图9中实施方式使用时红外光反射路径图。

图11是图6中装置一实施方式沿A-A’的剖面图。

图12是图11中实施方式使用时红外光反射路径图。

具体实施方式

为了解决现有技术中的问题，发明人进行了大量相关实验，发现通过在头戴式虚拟现实和增强现实装置中设置一定数量的红外光源，均匀或不均匀地围绕用户瞳孔，可以保证无论用户眼睛如何运动都能在角膜上检测到足够数量的有效反光点，从而可以根据该足够数量的有效反光点进行实时眼球追踪或检测眼动点位置。

本发明的关键在于，在用户眼睛的角膜上检测到上述一定数量红外光源的至少3个有效反光点，以最终确定眼动点位置即实现眼球追踪。其原因在于，只检测到1个反光点判定其标定时的对应编号较为困难，进而无法计算眼动点位置，即覆盖不了用户使用时的全视角；而只检测到2个反光点同样由于其与人眼睛的相对位置存在不唯一的情况，不利于判定其标定时对应的编号，从而无法计算眼动点位置，即覆盖不了用户使用时的全视角。但是3个反光点，由于其形成的三角形指向唯一，可以有效地与标定时的编号进行匹配。因此，在头戴式虚拟现实或增强现实设备中红外光源的数量、所述数量的红外光源形成的几何形状及其与眼睛角膜的相对位置尤为关键。

当然，如果红外光源的数量足够多，在用户的任何视角下，可以在用户眼睛角膜上毫无疑问地检测到3个有效反光点。但显而易见的是，在单独设置点状红外光源时，无节制地增加红外光源的数量，将增加头戴式设备的能耗、体积较大，导致成本较高。因此，如何设置一种既可以减少红外光源数量，用户任何视角下，在用户眼睛角膜上都可以检测到3个反光点的方法和装置则尤为重要。

同样，检测到的有效反光点在4个以上时，同样由于每3个反光点与瞳孔的相对位置关系唯一而可以实现覆盖全视角；其只是3个反光点的重复适用，比如，在4个反光点时，相邻的3个反光点与瞳孔的相对位置关系唯一，从而可以覆盖全视角，那么这样的相邻的3个反光点有2组。同理可检测到的反光点在5个以上时，这样的相邻的3个反光点有3组，依次类推。当然，如果选择不相邻的3个反光点，上述组数将更多，在每组均可以有效实现覆盖全视角的情况下，本发明将介绍一种既可以覆盖全视角，又可以实现红外光源数量的最小化设计，当然，以上可以实现覆盖全视角的技术方案，毫无疑问地将由于本发明的重复适用而实现，因而同样被本发明的保护范围所涵括。

由此，发明人针对头戴式虚拟现实或增强现实设备的主要使用特点，即“使用状态下，所述显示屏与用户头部相对静止，所述显示屏与用户眼睛相对静止或运动”，设计出一种在任何使用状态下均可以获取用户眼睛角膜上的至少3个反光点的装置及算法，可以通过该角膜上的3个反光点进行精确的眼球追踪或检测眼动点位置，从而实现覆盖用户使用头戴式虚拟现实或增强现实设备的全部眼动点位置(即全视角)。

由此，本发明提供一种基于设定一定数量的红外光源，以在用户眼睛角膜上形成的相应数量的反光点、从而具有多维坐标的眼球追踪方法。参考图3，示出了本发明基于多维坐标的眼球追踪方法之一实施方式的流程示意图。所述眼球追踪方法大致包括以下步骤：

(1)标定用户眼睛的若干个以上维度的标定矢量；所述标定矢量是用户眼睛正视显示屏上标定点时，固定位置的若干个以上红外光源在眼睛角膜上的各个反光点指向瞳孔中心的矢量，所述标定点是显示屏的几何中心位置或特定位置。

(2)测定用户眼睛的至少3个维度的测量矢量；所述测量矢量是使用状态下至少3个以上红外光源在眼睛角膜上的反光点指向瞳孔中心的矢量。

(3)根据所述标定矢量和测量矢量确定人眼的眼动点位置；所述眼动点位置是眼睛所看显示屏上的位置。

以下说明步骤(1)：

本发明中采用基于多维坐标的眼球追踪方法的装置，例如头戴式虚拟现实装置，包括眼球追踪模块，以进行眼球追踪，该眼球追踪模块包括红外摄像头102、固定位置的8以上个红外光源106。具备红外摄像头102、8个以上红外光源106，其即可实施本发明的所有方法步骤，即该眼球追踪模块是实现本发明方法的最低限度的技术方案。

在本实施例中，固定位置的红外光源106有8个，以在步骤(1)中标定8个维度的所述标定矢量，在步骤(2)中检测至少3个反光点的测量矢量。其中，8个红外光源106的固定位置有多种，其中一种是将8个固定光源分为两个组、各组4个固定位置的光源形成两个同心圆的技术方案实现。当然，为方便实施，发明人在本实施例中采用较为规则的固定位置。

发明人为了叙述方便，将在上述最低限度的技术方案，即“眼球追踪模块包括红外摄像头102、固定位置的8个红外光源106，以进行眼球追踪”基础之上，详细介绍本发明人研发的一种装置，请参考图1、图3、图4、图6～12。

头戴式虚拟现实装置中包括镜杯，所述镜杯包括透镜105和透镜支架，如图6和图7所示，透镜支架包括支架侧壁103和支架底座104，透镜支架以透镜105的中轴线为轴对称设计或不对称设计，以充分露出透镜105的工作部分为准，即支架底座104采取中空设计，如圆环或方孔设计，在104在紧固透镜105的同时，露出透镜105的工作部分。其中，透镜105安装在透镜支架底座104内侧；该装置是头戴式虚拟现实或增强现实设备中的装置，由于是头戴式设备，采用固定位置的8个红外光源106照射用户眼睛400，进而红外摄像头102捕获8个红外光源106在角膜(基本上覆盖虹膜2和瞳孔3区域)上的8个反光点：反光点一11、反光点二12、反光点三13、反光点四14、反光点五15、反光点六16、反光点七17、反光点八18，步骤(1)标定和步骤(2)使用状态下，由于头戴式虚拟现实设备与头部相对静止，即固定位置的8个红外光源106与用户头部相对静止，从而上述反光点相对于眼睛的位置绝对不变。

步骤(1)中，标定时，标定点是显示屏的几何中心位置，用户眼睛正视显示屏上标定点时，固定位置的8个红外光源106的反光点均落在眼球上；优选地，固定位置的8个红外光源106的反光点均落在角膜上，以标定全部8个红外光源106在角膜上的各反光点的的标定矢量。

参考图1和图4，图1是红外摄像头102捕获的标定眼睛图像，图4是图1的示意图，标定矢量中8个标定矢量是由反光点一11、反光点二12、反光点三13、反光点四14、反光点五15、反光点六16、反光点七17、反光点八18指向瞳孔中心的矢量，依次为：标定矢量110(x₁₁₀，y₁₁₀)、标定矢量120(x₁₂₀，y₁₂₀)、标定矢量130(x₁₃₀，y₁₃₀)、标定矢量140(x₁₄₀，y₁₄₀)、标定矢量150(x₁₅₀，y₁₅₀)、标定矢量160(x₁₆₀，y₁₆₀)、标定矢量170(x₁₇₀，y₁₇₀)、标定矢量180(x₁₈₀，y₁₈₀)。较佳地，固定位置的8个红外光源106的反光点均位于一虚拟圆5上，且所述8个红外光源106在所述虚拟圆5上均匀分布；所述虚拟圆5与瞳孔3近似同心分布。其中虚拟圆5与瞳孔3近似同心分布，使得标定时的上述8个反光点在角膜上均匀分布，从而使得无论用户的视角如何都可以在步骤(2)中检测到至少3个反光点。更为确切地说，只要上述虚拟圆5与角膜边缘(大体上相当于虹膜2的边缘)距离得当，如图2a～2h所示，可以在全视角的角膜上检测到4～5个反光点。

需要说明的是，本实施例中采用显示屏上的几何中心位置作为标定点，其的好处在于，角膜中心切面相对于显示屏呈近乎平行，使得标定时可测面积最大，保证8个反光点均落在角膜上且使得所述虚拟圆5与瞳孔3近似同心分布。在其他实施例中也可以采用显示屏上特定位置或任意位置作为标定点，本发明对此不做限制。

相应地，8个红外光源106在正视方向上围绕所述透镜105或者围绕所述红外摄像头102均匀分布，即所述的虚拟圆5与瞳孔3近似同心分布，以实现覆盖用户使用时的全部眼动点位置(即全视角)，从而使得用户扫视时眼动点位置检测平滑，且可均匀地照射眼睛，从而摄像头102接收到的眼睛图像亮度均匀，更容易判定眼睛角膜上的反光点(glint)，使得后续处理更加容易。也使得步骤(2)使用状态下，无论用户眼睛400的转动幅度有多大，均可以在角膜上显示至少3个清晰、可用的反光点，实现覆盖用户使用头戴式虚拟现实或增强现实设备的全部眼动点位置(即全视角)，使得用户扫视时眼动点位置检测平滑，从而实现精确的眼球追踪或检测眼动点位置。

在本实施例中，红外摄像头102设置于所述头戴式虚拟现实或增强现实设备中显示屏的周围，用以接收红外光源106照射用户眼睛400后通过透镜105的眼睛图像。优选地，偶数个数的红外摄像头102两两相对设置于所述头戴式虚拟现实或增强现实设备中显示屏200的周围。发明人研究发现，在显示屏200的周围设置红外摄像头102，拍摄到的眼睛图像不是正眼图像，增加后续处理的难度。

在另外一个实施例中，发明人通过在透镜105与显示屏200之间设置一红外反光部件101，用以反射透过透镜105的红外光、并将红外摄像头102设置于透镜105和显示屏200之间可以接收到该反射的红外光位置，从而接收眼睛图像，通过特定的设置方法以接收用户眼睛的正眼图像，从而节省后续图像处理程序，释放设备的处理能力。以下结合图7进行详细说明：

如图7所示，眼球追踪模块还包括红外反光部件101，并将红外摄像头102设置于用户使用时看不见的位置上，从而不会干扰用户的视线，提升用户体验。

较佳地，红外反光部件101安装在透镜支架侧壁103上，与透镜支架底座104平面的夹角为θ，采用该红外反光部件101，以反射红外光、透过可见光，反射红外光可以避免将红外摄像头102设置于用户视线的前方，从而避免干扰用户视线或视觉效果。红外摄像头102安装在透镜支架侧壁103上，与红外反光部件101相对，以用户在使用时看不见该红外摄像头102为准，即红外摄像头102设置于用户使用时看不见的位置上，且红外摄像头102的中轴线与透镜支架底座104平面的夹角为90°-2θ，以实现摄像头接收到的反射红外光图像是用户的正眼图像，以节约后续处理图像处理程序，释放虚拟现实或增强现实设备的处理能力。

较佳地，角度θ应当以红外摄像头102接收到的反射红外光图像为用户的正眼图像为准，优选地，θ在0°～45°的范围内。

较佳地，上述θ为30°，相应地红外摄像头102的中轴线与透镜支架底座104平面的夹角为30°。

较佳地，上述红外光源106使用红外LED光源，为了让红外摄像头102拍摄到清晰的人眼图像，优选地，选择波长为940nm的红外LED光源。

需要说明的是，上述透镜105类型可以有多种，如透镜105可以为图1中所示的平凸透镜，也可以是对称或不对称的双凸透镜，也可以凹凸透镜，本发明对透镜105的类型不做限制。

参考图8，其示意了图7中装置的红外光反射路径图，显示屏200为虚拟现实或增强现实设备的显示装置，摄像头镜像300为红外摄像头102在红外反光部件101中的镜像，眼球追踪的光线通路为8个红外光源→人眼400→红外摄像头102，图中摄像头镜像300、透镜中心、人眼400瞳孔呈一直线。

人眼400在使用时，8个红外光源106照亮人眼400，人眼部光线再经过透镜105，照射到显示屏200前的红外反光部件101上，红外线或者940nm波段的红外线被反射回来，并被面朝红外反光部件101的红外摄像头102捕获，摄像头捕获到清晰的眼部图像，然后传送到头戴式虚拟现实或增强现实设备的计算单元做图像分析处理。

另外，当红外反光部件101与透镜支架将红外反光部件101、红外摄像头102、透镜105密封在一个闭合空间时，可以防止灰尘的进入，增加光学元件的使用寿命。

发明人在研究中发现，本装置在工作时，用户眼睛400可以直接看到8个红外光源106，影响用户视觉或视线。发明人通过在透镜和摄像头之间设置一可透红外不透可见光的滤光片107解决上述问题。以下进行详细说明：

参考图7～12，发明人在上述装置中设置一可透红外不透可见光的滤光片107，用于遮掩或盖住8个红外光源106，以使用户使用时看不见8个红外光源106、且可以透过红外光，不影响用户视觉或视线，提升用户体验。

较佳地，由于8个红外光源106均匀地围绕透镜105设置，故可透红外不透可见光的滤光片107为环状或带凹槽的环状结构，上述凹槽用于完全遮盖所述8个红外光源。

较佳地，8个红外光源106设置于支架底座104内侧，参考图9～12，支架底座104使用可透红外不透可见光的滤光片，即支架底座104为所述可透红外不透可见光的滤光片。在这种情况下，8个红外光源106发射的红外光可以直接照射到红外摄像头102或者直接通过红外反光部件101反射后照射到红外摄像头102，即8个红外光源106发射的红外光并没有照射到用户眼睛400、被红外摄像头102所捕获，导致红外摄像头102获取空白图像或瑕疵图片，影响标定和测量，因此，发明人在8个红外光源106底部设置一与所述支架底座104形状相同、不透红外光的掩板108，用于遮挡红外光源106向后发射的红外光。优选地，也可以将可透红外不透可见光的滤光片107设置于支架底座104外侧，支架底座104由可透过红外光材料制成，以透过红外光，照射用户眼睛400，同样需要在8个红外光源106底部设置一与所述支架底座104或可透红外不透可见光的滤光片107形状相同、不透红外光的掩板108。

较佳地，当8个红外光源106设置于支架底座104内侧时，为了使装置结构更为紧凑，参考图11～12，发明人研发了一种透镜105，透镜105有均匀厚度的边缘，所述8个红外光源106设置在上述透镜105的均匀厚度的边缘的表面上或者内嵌在上述透镜105的均匀厚度的边缘内。

当然，也可以将8个红外光源106设置于支架底座104外侧，将8个红外光源106设置于支撑透镜105的支架底座104表面，可透红外不透可见光的滤光片107设置于8个红外光源106的外侧，以使用户使用时看不见8个红外光源106、且可以透过红外光，不影响用户视觉或视线，提升用户体验，且支架底座104由透不过红外光源或完全不透光的材料制成，以防止8个红外光源106发射的红外光向后照射。

优选地，上述可透红外不透可见光的滤光片107使用亚克力板材料制成。

较佳地，以上所有进行步骤(1)或进行接下来步骤(2)(3)的装置还包括计算单元，该计算单元根据红外摄像头102所拍摄的眼睛图像计算出眼睛的位置坐标和/或识别虹膜特征，并通过有线或无线的方式进行数据传输。

较佳地，步骤(1)还可以包括虹膜识别，即包括虹膜特征的提取或通过虹膜特征进行身份识别的方法：红外摄像头102拍摄用户眼睛400图像，装置进行图像处理，提取虹膜特征进行身份比对，以判断用户是否首次使用；如果用户是首次使用，装置录入用户信息，并记录捕获到的虹膜特征，并将该用户信息与该虹膜特征进行对应、保存，然后进行上文已阐述的采集标定矢量，即采集并记录标定矢量包括的8个标定矢量；如果用户非首次使用，则将提取的虹膜特征与虹膜数据库比对以识别身份，然后根据情况可再次进行上文已阐述的采集标定矢量或直接调取以前的标定矢量；

以下说明步骤(2)，参考图2、图5：

步骤(2)中首先确定选定反光点，然后确定选定反光点的编号，再测量选定反光点的测量矢量。

理想情况下，使用中，眼睛400转动的幅度较小时，反光点一11、反光点二12、反光点三13、反光点四14、反光点五15、反光点六16、反光点七17、反光点八18均落在眼睛角膜上，如图1所示，即反光点亮点清晰、易检测。但是使用时，用户眼睛400不可避免地转动幅度较大，如图2a～2h所示，只有部分反光点落在角膜上；而落在巩膜上的反光点则模糊或者不可见，导致检测出现困难，这就要求具有一定数量的反光点落在角膜上，以实现有效的眼球跟踪和眼动点位置检测。

因此，步骤(2)的关键在于，确定至少3个清晰、可见的反光点，并以该3个反光点为选定反光点，实现用户使用头戴式虚拟现实或增强现实设备的覆盖全部眼动点位置(即全视角)，使得用户扫视时眼动点位置检测平滑，用以后续步骤(3)中确定用户的眼动点位置。

为此，发明人设计了8个红外光源106在标定时围绕瞳孔3均匀分布，进而在步骤(2)中在角膜上可检测到至少3个反光点，以实现覆盖用户使用时的全部眼动点位置(即全视角)，从而使得用户扫视时眼动点位置检测平滑，且可均匀地照射眼睛，从而红外摄像头102接收到的眼睛图像亮度均匀，更容易判定眼睛角膜上的闪光点(glint)，使得后续处理更加容易。

本实施例中，固定位置的8个红外光源106的反光点均位于一虚拟圆5的边上，且所述8个红外光源106在所述虚拟圆5的边上均匀分布；所述虚拟圆5与瞳孔3近似同心分布，从而，使用状态下，无论用户眼睛400的转动幅度有多大，在角膜上均可显示至少3个清晰、可用的反光点，实现覆盖用户使用头戴式虚拟现实或增强现实设备的覆盖全部眼动点位置(即全视角)，使得用户扫视时眼动点位置检测平滑，从而实现精确的眼球追踪或检测眼动点位置。

发明人通过研究，上述技术方案，使用中无论用户眼睛400的转动幅度有多大，均可以在角膜上显示至少3个清晰、可用的反光点，如图2a～2h所示，在八个方向上的转动较大视角下，依然可辨别4～5个红外光源的反光点，以下将详细描述如何确定作为计算眼动点位置的3个反光点，即确定选定反光点。

在本实施例中，选定反光点是至少3个维度的测量矢量对应的反光点，且选定反光点是连续的至少3个反光点。然后根据选定反光点的测试矢量和标定矢量差值确定用户的眼动点位置。

较佳地，在使用状态下选择角膜上的3个或4个反光点为选定反光点，并测量选定反光点的测量矢量，所述测量矢量是反光点指向瞳孔中心的矢量，以实现覆盖用户使用头戴式虚拟现实或增强现实设备的覆盖全部眼动点位置(即全视角)，从而使得用户扫视时眼动点位置检测平滑。从而根据选定反光点的测量矢量和其在步骤(1)相应的标定矢量确定用户的眼动点位置。

较佳地，选择角膜上的3个反光点为选定反光点，实现覆盖用户使用头戴式虚拟现实或增强现实设备的全部眼动点位置(即全视角)，从而使得用户扫视时眼动点位置检测平滑，使用3个选定反光点检测眼动点位置精确、方便且节省设备处理能力。

优选地，上述选定反光点为角膜上反光点中的测量矢量的绝对长度较小的3个反光点。

确定选定反光点的编号，以选择其在步骤(1)中的标定矢量。发明人设计了几种根据选定反光点的几何特征判定其对应编号的方法。

本实施例中确定选定反光点的方法是：选定反光点形成的三角形的钝角的指向判定选定反光点的编号，所述钝角的指向近似正上方即90°方向，则所述选定反光点的编号顺时针依次为反光点八、反光点一、反光点二；所述钝角指向近似右上方即45°方向，则所述选定反光点的编号顺时针依次为反光点一、反光点二、反光点三；所述钝角指向近似水平正右方即0°方向，则所述选定反光点的编号顺时针依次为反光点二、反光点三、反光点四；所述钝角指向近似右下方即315°方向，则所述选定反光点的编号顺时针依次为反光点三、反光点四、反光点五；所述钝角指向近似正下方即270°方向，则所述选定反光点的编号顺时针依次为反光点四、反光点五、反光点六；所述钝角指向近似左下方即225°方向，则所述选定反光点的编号顺时针依次为反光点五、反光点六、反光点七；所述钝角指向近似水平正左方即180°方向，则所述选定反光点的编号顺时针依次为反光点六、反光点七、反光点八；所述钝角指向近似左上方即135°方向，则所述选定反光点的编号顺时针依次为反光点七、反光点八、反光点一；所述近似指钝角指向与对应的方向一致或偏离一定角度，所述一定角度小于15°；所述钝角指向是钝角中线的指向。

参考图5说明本实施例中的确定选定反光点编号的方法，图5是图2a的示意图，在角膜上有4个清晰、有效的反光点11、12、17、18，其各自测量矢量为111(x₁₁₁,y₁₁₁),121(x₁₂₁,y₁₂₁),171(x₁₇₁,y₁₇₁),181(x₁₈₁,y₁₈₁),其中测量矢量的绝对长度较小的反光点为反光点17、18和11，其形成的三角形的钝角为∠17-18-11，其中线指向与左上方45°近似重合，即选定反光点17、18和11的编号顺时针依次为反光点七17、反光点八18和反光点一11，根据上述编号，确定3个选定反光点的标定矢量和测量矢量：反光点七17、反光点八18和反光点一11的标定矢量分别为170(x₁₇₀,y₁₇₀),180(x₁₈₀,y₁₈₀)，110(x₁₁₀,y₁₁₀)，反光点七17、反光点八18和反光点一11的测量矢量分别为171(x₁₇₁,y₁₇₁),181(x₁₈₁,y₁₈₁)，111(x₁₁₁,y₁₁₁)。

在另外一个实施例中，根据选定反光点的几何特征判定其编号的方法是：

(301)如果3个选定反光点形成的三角形的水平最大距离大于纵向最大距离的2倍以上，直线连接最左和最右选定反光点，中间选定反光点在该直线上方，则所述选定反光点的编号顺时针依次为反光点八、反光点一、反光点二；如果中间选定反光点在所述直线下方，则所述选定反光点的编号顺时针依次为反光点四、反光点五、反光点六。

(302)如果3个选定反光点形成的三角形的水平最大距离小于纵向最大距离的1/2，直线连接最上和最下选定反光点，中间的选定反光点在该直线左方，则所述选定反光点的编号顺时针依次为反光点六、反光点七、反光点八；中间的选定反光点在所述直线右方，则所述选定反光点的编号顺时针依次为反光点二、反光点三、反光点四。

(303)如果3个选定反光点形成的三角形的水平最大距离与纵向最大距离相等，直线连接最上和最下选定反光点，中间的选定反光点位于该直线的右上方，则所述选定反光点的编号顺时针依次为反光点一、反光点二、反光点三；中间选定反光点位于该直线的右下方，则所述选定反光点的编号顺时针依次为反光点三、反光点四、反光点五；中间选定反光点位于该直线的左下方，则所述选定反光点的编号顺时针依次为反光点五、反光点六、反光点七；中间的选定反光点位于该直线的左上方，则所述选定反光点的编号顺时针依次为反光点七、反光点八、反光点一。

参考图5说明另外一实施例中该确定选定反光点编号的方法，图5是图2a的示意图，在角膜上有4个清晰、有效的反光点11、12、17、18，其各自测量矢量为111(x₁₁₁,y₁₁₁),121(x₁₂₁,y₁₂₁),171(x₁₇₁,y₁₇₁),181(x₁₈₁,y₁₈₁),其中测量矢量的绝对长度较小的反光点为反光点17、18和11。反光点17、18和11不满足步骤(301)和(302)，无法判定其相应的编号；3个选定反光点17、18和11形成的三角形的水平最大距离与纵向最大距离的相等，直线连接最上选定反光点11和最下选定反光点17，中间的选定反光点18位于该直线的左上方，则所述选定反光点17、18和11的编号顺时针依次为反光点七17、反光点八18、反光点一11。根据上述编号，确定3个选定反光点的标定矢量和测量矢量：反光点七17、反光点八18和反光点一11的标定矢量分别为170(x₁₇₀,y₁₇₀),180(x₁₈₀,y₁₈₀)，110(x₁₁₀,y₁₁₀)，反光点七17、反光点八18和反光点一11的测量矢量分别为171(x₁₇₁,y₁₇₁),181(x₁₈₁,y₁₈₁)，111(x₁₁₁,y₁₁₁)。

上述确定选定反光点的步骤和确定选定反光点编号的步骤适用图2b～2h，限于篇幅本发明人不再赘述。

以下说明步骤(3)，参考图2a和图5：

步骤(3)依据步骤(2)中确定的选定反光点的标定矢量和测量矢量，通过计算得到眼动点位置。

在本实施例中，步骤(3)还包括确定眼动矢量，参考图2a和图5，所述眼动矢量是中间的选定反光点即反光点八18的测量矢量181(x₁₈₁,y₁₈₁)和标定矢量180(x₁₈₀,y₁₈₀)的差值，也可以是所述3个选定反光点即反光点七17、反光点八18、反光点一11的各测量矢量171(x₁₇₁,y₁₇₁),181(x₁₈₁,y₁₈₁)，111(x₁₁₁,y₁₁₁)和标定矢量170(x₁₇₀,y₁₇₀),180(x₁₈₀,y₁₈₀)，110(x₁₁₀,y₁₁₀)的差值的均值。

眼动矢量是中间选定反光点对应的测量矢量和标定矢量的差值，即：

181(x₁₈₁,y₁₈₁)-180(x₁₈₀,y₁₈₀)＝(x₁₈₁-x₁₈₀,y₁₈₁-y₁₈₀)

该眼动矢量(x₁₈₁-x₁₈₀,,y₁₈₁-y₁₈₀)表示了用户眼睛400在显示屏上注视点移动时红外摄像头102拍摄到的图像中瞳孔的相对移动。

眼动矢量是3个选定反光点的测量矢量和标定矢量的差值的加权，即：

a[111(x₁₁₁,y₁₁₁)-110(x₁₁₀,y₁₁₀)]+b[171(x₁₇₁,y₁₇₁)-170(x₁₇₀,y₁₇₀)]+c[181(x₁₈₁,y₁₈₁)-180(x₁₈₀,y₁₈₀)]＝(ax₁₁₁-ax₁₁₀+bx₁₇₁-bx₁₇₀+cx₁₈₁-cx₁₈₀,ay₁₁₁-ay₁₁₀+by₁₇₁-by₁₇₀+cy₁₈₁-cy₁₈₀),其中a+b+c＝1

该眼动矢量(ax₁₁₁-ax₁₁₀+bx₁₇₁-bx₁₇₀+cx₁₈₁-cx₁₈₀,ay₁₁₁-ay₁₁₀+by₁₇₁-by₁₇₀+cy₁₈₁-cy₁₈₀)表示了用户眼睛400在显示屏上注视点移动时红外摄像头102拍摄到的图像中瞳孔的相对移动。

其中可以通过调整a、b、c值大小，增加或减小某个判定注视点的权重的方法来更为精确地确定注视点方向；也可以根据瞳孔在图像中偏向前后选定反光点的位置确定a、b、c的值，更精确地判定眼动点位置。

较佳地，a＝b＝c＝1/3，即根据3个选定反光点的测量矢量和标定矢量的差值的均值确定眼动矢量，以有效避免误差，提高眼动点位置的精确度。

较佳地，a＝b＝1/4，c＝1/2，即增加选定反光点八18的权重，优先以反光点八18确定眼动点位置，进一步提高眼动点位置的精确度。

在本实施例中，上述眼动矢量与显示屏上的眼动点位置一一对应。进而每个眼动矢量在显示屏上均有唯一的眼动点位置。

在另外一个实施例中，根据上述眼动矢量在眼睛图像上对应的像素值及方向确定用户的眼动点位置，即根据眼动点矢量(x₁₈₁-x₁₈₀,,y₁₈₁-y₁₈₀)或(ax₁₁₁-ax₁₁₀+bx₁₇₁-bx₁₇₀+cx₁₈₁-cx₁₈₀,ay₁₁₁-ay₁₁₀+by₁₇₁-by₁₇₀+cy₁₈₁-cy₁₈₀)在眼睛图像上对应的像素值及方向确定用户的眼动点位置。优选地，其是根据眼睛图像的像素值与显示屏的像素值呈线性或非线性相关的关系来确定眼动点位置的。所述线性关系可以是用户眼睛400转向幅度最大时或注视显示屏200边界时，瞳孔3在图像的转动矢量代表的像素值和显示屏200的像素值对应的线性关系。也可以是拟合了人眼曲面转动后其在眼睛图像上的转动矢量代表的像素值和显示屏200的像素值的非线性关系。

以上只示意了图2a确定眼动点位置的方法，对于图2b～2h，可见每张图像上均可确定至少3个清楚、可用的反光点，即以上方法和装置适用检测图2b～2h中的眼动点位置，即本发明实现了覆盖用户使用头戴式虚拟现实或增强现实设备的全部眼动点位置(即全视角覆盖)，从而使得用户扫视时眼动点位置检测平滑；进而根据确定的至少清楚、可用的3个反光点使用如图2a和图5使用的方法确定眼动点位置，发明人在此不再赘述。

当然，超过8个的固定位置的红外光源，如9个红外光源、12个红外光源或16个红外光源围绕用户眼睛均匀设置，其在使用时，全视角的眼睛图像上必然也可以检测到清晰的数量超过3个的反光点，如4个反光点、6个反光点等，其可通过一种方法遴选连续或不连续的3个反光点后适用本发明的眼球追踪方法来确定眼动点位置，因此，该种方法在本发明的保护范围之内。又或遴选连续或不连续的数量超过3个的反光点，其通过反复适用本发明的眼球追踪方法来确定眼动点位置，同样也在本发明的保护范围之内。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围以权利要求的保护范围为准。

Claims (16)

1.一种基于多维坐标的眼球追踪方法，包括步骤：

(1)标定用户眼睛的8个以上维度的标定矢量；所述标定矢量是用户眼睛正视显示屏上标定点时，固定位置的8个以上红外光源在眼睛角膜上的各个反光点指向瞳孔中心的矢量，所述标定点是显示屏的几何中心位置或特定位置；

(2)测定用户眼睛的至少3个维度的测量矢量；所述测量矢量是使用状态下至少3个以上红外光源在眼睛角膜上的反光点指向瞳孔中心的矢量；

(3)根据所述标定矢量和测量矢量确定人眼的眼动点位置；所述眼动点位置是眼睛所看显示屏上的位置，其特征在于：

步骤(1)中，所述固定位置的8个红外光源的反光点均位于一近似虚拟圆上，所述8个红外光源的反光点在所述近似虚拟圆上均匀分布；

所述虚拟圆与瞳孔近似同心分布。

2.根据权利要求1中所述的基于多维坐标的眼球追踪方法，其特征在于：步骤(2)包括：

确定选定反光点，所述选定反光点是所述至少3个维度的测量矢量对应的反光点；

测量确定所述选定反光点的编号；以及

所述选定反光点的测量矢量，所述测量矢量是选定反光点指向瞳孔中心的矢量。

3.根据权利要求2中所述的基于多维坐标的眼球追踪方法，其特征在于：所述选定反光点为角膜上反光点中的测量矢量的绝对长度较小的3个反光点。

4.根据权利要求2中所述的基于多维坐标的眼球追踪方法，其特征在于：所述选定反光点是角膜上的至少3个连续的反光点。

5.根据权利要求2中所述的基于多维坐标的眼球追踪方法，其特征在于：根据选定反光点的几何特征判定其对应的编号。

6.根据权利要求5中所述的基于多维坐标的眼球追踪方法，其特征在于：根据选定反光点形成的三角形的钝角的指向判定选定反光点的编号。

7.根据权利要求2～6中任一所述的基于多维坐标的眼球追踪方法，其特征在于，所述步骤(3)包括：

确定眼动矢量，所述眼动矢量是所述3个选定反光点的各测量矢量和标定矢量的差值的均值，或者是选定反光点中任意1个反光点的测量矢量和标定矢量的差值，或者是选定反光点中任意2个反光点的各测量矢量和标定矢量的差值的均值；

根据所述眼动矢量确定眼动点位置。

8.根据权利要求7中所述的基于多维坐标的眼球追踪方法，其特征在于：根据所述眼动矢量确定眼动点位置包括：所述眼动矢量与眼动点位置一一对应或者根据眼动矢量在眼睛图像上对应的像素值及方向确定用户的眼动点位置。

9.根据权利要求1中所述的基于多维坐标的眼球追踪方法，其特征在于：步骤(1)中还包括虹膜识别功能，以进行用户身份识别，与用户数据库进行比对，确定用户身份，非首次使用用户可直接提取标定矢量数据。

10.一种使用权利要求1～9中任一所述基于多维坐标的眼球追踪方法的装置，其特征在于：包括眼球追踪模块，以进行眼球追踪，该眼球追踪模块包括红外摄像头、固定位置的8个以上红外光源；

在标定时所述固定位置的8个以上红外光源的反光点均落在角膜上，在使用中至少有3个反光点落在角膜上。

11.根据权利要求10中所述的装置，其特征在于：所述红外光源有8个，所述8个红外光源围绕瞳孔均匀分布或近似均匀分布。

12.根据权利要求11中所述的装置，其特征在于：包括可透红外不透可见光滤光片，上述可透红外不透可见光滤光片用于遮盖所述8个红外光源，以用户使用时看不见所述8个红外光源，同时红外光源所发射的红外光可照射到眼睛。

13.根据权利要求10中所述的装置，其特征在于：所述红外摄像头设置于显示屏的周围。

14.根据权利要求10中所述的装置，其特征在于：所述眼球追踪模块还包括红外反光部件，所述红外摄像头设置于用户使用时看不见的位置上，以接收经红外反光部件反射的红外光。

15.根据权利要求10中所述的装置，其特征在于：还包括镜杯，镜杯包括镜杯支架和透镜，所述镜杯支架包括支架底座和支架侧壁。

16.根据权利要求10～15中任一所述的装置，其特征在于：该装置用于头戴式虚拟现实或增强现实设备。