CN110603513B - 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法 - Google Patents

Abstract

公开了一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法。所公开的技术和设备可以被实现为使用结构光来照射眼睛，以获得眼睛图像来生成准确的眼睛移动信息。

Description

一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法

本专利文献要求于2018年8月27日提交的发明名称为“基于结构照明探测的眼睛跟踪”的美国临时专利申请No.62/723,476的优先权和权益。上述专利申请的全部内容通过引用合并到本专利文献的公开内容的一部分。

技术领域

本专利文献涉及眼睛跟踪及眼睛感测技术。

背景技术

电子设备依靠各种用户移动作为输入，以执行不同的功能并以各种模式或状态进行操作。例如，可以检测诸如手部移动的用户手势并将其转换为对菜单项或游戏功能的用户控制。与手势类似，可以检测眼睛移动，以执行滚动操作、保持屏幕开启或操作抬头显示器。取代传统的输入方法需要额外的设备和技术。

发明内容

公开了方法、系统和设备以进行眼睛移动的光学感测和跟踪。所描述的方法、系统和设备可以用于通过对眼睛进行成像并跟踪眼睛中眼睛特征的某些图像来跟踪用户眼睛或双眼的凝视点或焦点。所公开的技术和设备可以被实现为使用结构光来照射眼睛，以获得眼睛图像来生成准确的眼睛移动信息。

一方面，基于所公开的技术，一种眼睛跟踪设备可以被实现为包括：可附接到用户的支撑结构；一个或多个探测光源，所述一个或多个探测光源放置在所述支撑结构上，用于产生照明探测光；光学设备，所述光学设备放置在所述支撑结构上，用于接收所述照明探测光并引导所述照明探测光照射所述用户的眼睛；光学检测器阵列，所述光学检测器阵列放置在所述支撑结构上，包括多个光学检测器，用于捕获照射下的所述眼睛图像以产生来自所述光学检测器的检测器信号；光学成像模块，所述光学成像模块放置在所述支撑结构上，用于将所述眼睛成像到所述光学检测器阵列上；以及处理器，所述处理器被耦合以接收和处理来自所述光学检测器阵列的检测器信号，并且用于提取每个捕获的所述眼睛图像中所述眼睛的特征的光学图像，并监控每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置的变化，以跟踪所述眼睛。

另一方面，所公开的技术可以被实现为提供一种利用光学成像跟踪眼睛的方法，包括：将设备附接到用户；投射照明探测光以照射所述用户的眼睛；操作位于所述设备中的具有光学检测器的光学检测器阵列来接收来自照射下的所述眼睛的具有空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；以及处理来自所述光学检测器阵列的检测器信号，以生成所述眼睛的光学图像，并识别生成的所述眼睛图像内所述眼睛的所选特征的光学图像，以及监控生成的所述眼睛图像中所述眼睛的所选特征的光学图像的位置的变化，以跟踪所述眼睛。

另一方面，基于所公开的技术可以提供一种眼睛跟踪设备。所述眼睛跟踪设备包括观看设备，所述观看设备能够附接到用户，并且被构造为包括当所述观看设备附接到所述用户时对所述用户可见的显示屏。所述设备包括：一个或多个探测光源，所述一个或多个探测光源位于所述观看设备中，用于产生照明探测光；以及光学设备，所述光学设备位于所述观看设备中，用于接收所述照明探测光，并在所述照明探测光上产生空间图案，以及将具有所述空间图案的所述照明探测光引导至眼睛中。所述设备还包括：具有光学检测器的光学检测器阵列，所述光学检测器阵列位于所述观看设备中，用于接收来自照射下的所述眼睛的具有所述空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；以及光学成像模块，所述光学成像模块位于所述观看设备中，用于收集来自照射下的所述眼睛的具有所述空间图案的所述照明探测光的光学反射，并将收集的所述光学反射成像到所述光学检测器阵列上。所述设备包括处理器，所述处理器被耦合以接收和处理来自所述光学检测器阵列的检测器信号，并且用于提取（1）从所述眼睛反射的所述空间图案的光学图像，以及（2）与从所述眼睛反射的所述空间图案的光学图像重叠的所述眼睛图像，并基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛相对于所述显示屏的位置或运动。

另一方面，所公开的技术可以被实现为提供一种利用光学成像跟踪眼睛的方法，包括：朝用户的眼睛投射被调制来携带空间图案的照明探测光；操作位于所述设备中的具有光学检测器的光学检测器阵列来接收来自照射下的所述眼睛的具有所述空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；处理来自所述光学检测器阵列的检测器信号，以提取（1）从所述眼睛反射的所述空间图案的光学图像，以及（2）与从所述眼睛反射的所述空间图案的光学图像重叠的所述眼睛的另一光学图像；以及处理提取的光学图像，以基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛的位置或运动。该方法的一种实现方式包括：将周期性图案用作呈所述周期性图案的已知尺寸的预定几何形状的所述照明探测光上的所述空间图案；提取从所述眼睛反射的所述空间图案的光学图像的几何形状和尺寸，以基于由所述光学设备生成的所述周期性图案的已知尺寸的预定网格几何形状来校正所述光学图像中的光学畸变；以及在对所述周期性图案的光学畸变被校正后，基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛的位置或运动。该方法的另一种实现方式包括：将编码的散斑图案用作呈所述周期性图案的已知尺寸的预定几何形状的所述照明探测光上的所述空间图案；提取从所述眼睛反射的所述空间图案的光学图像的几何形状和尺寸，以基于由所述光学设备生成的所述编码的散斑图案来校正所述光学图像中的光学畸变；以及在对所述编码的散斑图案的光学畸变被校正后，基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛的位置或运动。

附图、说明书和权利要求书中更详细地描述了所公开的技术的这些及其他方面。

附图说明

图1描绘了根据一些示例实施例的由用户穿戴的眼睛跟踪头戴式设备。

图2描绘了根据一些示例实施例的使用结构光来确定眼睛移动。

图3描绘了根据一些示例实施例的结构光的示例。

图4描绘了根据一些示例实施例的眼睛跟踪装置的示例。

图5描绘了根据一些示例实施例的眼睛跟踪系统的示例。

图6描绘了根据一些示例实施例的使用所公开的技术进行眼睛跟踪的示例装置。

具体实施方式

跟踪人眼睛或双眼的位置和/或运动在技术上由于各种原因可能很难，并且已经存在设计用于使用光学方法跟踪眼睛的各种技术或设备。例如，2017年1月24日向深圳市汇顶科技股份有限公司发布的发明名称为“眼睛跟踪及用户反应探测”的美国专利No.9,552,064提供了用于跟踪眼睛的硬件设计和技术的各种示例，所公开内容作为一部分包括在本专利文献要求优先权的美国临时专利申请No.62/723,476的文件中。美国专利No.9,552,064的公开内容通过引用合并到本专利文献的一部分。

如本专利文献中公开的示例所示，眼睛跟踪可以通过监控经由眼睛的光学反射在光学照射下的眼睛图像并且通过测量该光学反射的信号强度来实现。然而，眼睛是一种具有各种不同的生物结构、部分或部件的复杂结构，其产生光学反射。例如，用于眼睛反射的眼睛内部结构的主要场景包括：从角膜反射的光的角膜反射，从虹膜反射的光的虹膜反射以及从视网膜反射的光的逆反射。这些反射会导致一些应用中出现不良影响，诸如，拍摄中出现红眼效应，而同样可以用于多种光学系统，例如，眼睛跟踪设备。会对来自眼睛的光学反射有不良影响的因素的其他示例包括眼球表面轮廓和眼睛中泪液累积。因此，可能难以精确地测量用于监控所跟踪的眼睛移动的特定光学反射的信号强度。

本申请中公开的眼睛跟踪技术通过使用成像系统来捕获由眼睛的生物结构形成的独特物理特征或签名（signature）的图像，例如眼球上的虹膜或血管纹，并使用捕获的图像来监控眼睛的这种独特物理特征或签名的移动，以跟踪眼睛运动。所公开的基于眼睛跟踪技术的图像跟踪可以被实现为，在存在来自眼睛的各种反射且不会受到这种反射的存在的显著影响的情况下，识别眼睛的独特物理特征或签名的图像以进行眼睛跟踪。对眼睛的独特物理特征或签名的图像的捕获可以在自然光照条件下实现，并且可以通过在成像系统中提供照明探测光来进一步协助，以使眼球在照明探测波长段中对成像系统更加可见，以改善图像的捕获。在实现方式中，可以调制照明探测光来携带图案，以提供空间坐标系来基于结构照明探测光的协助眼睛跟踪操作，从而提供针对在反射图像的光学检测中的光学畸变和/或光学干扰或噪声的光学参考以进行眼睛跟踪。

本专利文献中的所公开的技术处理捕获的图像，以提取眼睛的独特物理特征的图像并确定和跟踪图像位置的位置，从而监控眼睛的移动。这种用于跟踪眼睛位置的成像处理可以在眼睛跟踪时减少对光学反射的信号强度的依赖，从而可以减少由来自眼睛的光学反射的信号质量和信号强度的变化和干扰造成的不良影响，其可以携带眼睛的一个或多个独特物理特征或签名的图像。例如，一旦捕获了眼睛图像，就可以处理捕获的图像，以在捕获的眼睛图像中识别眼睛的独特物理特征，例如虹膜中的特定图案或标记或眼球上的血管纹或图案。眼睛的独特物理特征的图像的这种识别和检测是基于眼睛的独特物理特征的空间形状/图案、不同区域或部分与该空间形状/图案的相对关系以及眼睛的独特物理特征相对于眼睛的其他部分的关系。光学反射强度的变化或背景光的存在可能会对来自眼睛的独特物理特征的空间形状/图案上的特定位置的光学信号的强度的准确检测有不良影响，但通常不会整个覆盖存在的眼睛的独特物理特征的空间形状/图案。在当前的眼睛跟踪技术中，捕获来自眼睛的独特物理特征的空间形状/图案内的所有位置和眼睛的所有其他位置的各个光学信号。然而，当前的眼睛跟踪技术不是依赖于任何单个的接收信号或相邻位置或某一区域的接收信号之和的信号强度，而是处理由捕获的来自眼睛的所有位置的信号所携带的眼睛的整体空间图案，以识别整体空间图案的子部分，该子部分表示眼睛的独特物理特征的空间形状/图案。因此，即使在捕获的图像中存在光反射或其他干扰光时，眼睛的独特物理特征的整体存在也是可检测的，从而尽管存在不需要的光反射或其他干扰光，眼睛的独特物理特征的整体存在也可以被识别和跟踪。因此，本专利文献中的所公开的技术对来自眼睛的光学反射的变化或畸变具有某种内在的免疫。

在一些实现方式中，所公开的技术可以被实现为提供一种在可附接到用户的支撑结构上形成的眼睛跟踪设备，包括：一个或多个探测光源，一个或多个探测光源放置在支撑结构上，用于产生照明探测光；光学设备，光学设备放置在支撑结构上，用于接收照明探测光并引导照明探测光照射用户的眼睛；光学检测器阵列，光学检测器阵列放置在支撑结构上，包括多个光学检测器，用于捕获照射下的眼睛图像以产生来自光学检测器的检测器信号；光学成像模块，光学成像模块放置在支撑结构上，用于将眼睛成像到光学检测器阵列上；以及处理器，处理器被耦合以接收和处理来自光学检测器阵列的检测器信号，并且用于提取每个捕获的眼睛图像中眼睛的特征的光学图像，并监控每个捕获的眼睛图像中眼睛的特征的光学图像的位置的变化，以跟踪眼睛。

在其他实现方式中，所公开的技术可以被实现为提供一种利用光学成像跟踪眼睛的方法，包括：将设备附接到用户；朝用户的眼睛投射被调制来携带空间图案的照明探测光；操作位于设备中的具有光学检测器的光学检测器阵列来接收来自照射下的眼睛的具有空间图案的照明探测光的光学反射，以产生来自光学检测器的检测器信号，检测器信号表示接收的光学反射的检测图像；处理来自光学检测器阵列的检测器信号，以提取（1）从眼睛反射的空间图案的光学图像，以及（2）与从眼睛反射的空间图案的光学图像重叠的眼睛的另一光学图像；以及处理提取的光学图像，以基于眼睛图像中的信息，参考从眼睛反射的空间图案的光学图像中的已知位置，确定眼睛的位置或运动。

以下提供的示例示出了用于实时监控并跟踪眼睛或双眼在显示屏上的瞄准的位置和移动的技术，用于使用显示屏上的眼睛瞄准来在显示屏上放置并移动光标的技术，以及用于利用设备上的物理触发来使用光标选择、激活显示屏上的对象、文档、软件或图标，或者与其交互的技术。

所公开的技术可以被实现为提供一种具有眼睛跟踪特征的设备，包括：观看设备，观看设备可以附接到用户，并且被构造为包括当观看设备附接到用户时对用户可见的显示屏；一个或多个探测光源，一个或多个探测光源位于观看设备中，用于产生照明探测光；光学设备，光学设备位于观看设备中，用于接收照明探测光，并在照明探测光上产生空间图案，以及将具有空间图案的照明探测光引导至眼睛中；具有光学检测器的光学检测器阵列，光学检测器阵列位于观看设备中，用于接收来自照射下的眼睛的具有空间图案的照明探测光的光学反射，以产生来自光学检测器的检测器信号，检测器信号表示接收的光学反射的检测图像；光学成像模块，光学成像模块位于观看设备中，用于收集来自照射下的眼睛的具有空间图案的照明探测光的光学反射，并将收集的光学反射成像到光学检测器阵列上；处理器，处理器被耦合以接收和处理来自光学检测器阵列的检测器信号，并且用于提取（1）从眼睛反射的空间图案的光学图像，以及（2）与从眼睛反射的空间图案的光学图像重叠的眼睛图像，并基于眼睛图像中的信息，参考从眼睛反射的空间图案的光学图像中的已知位置，确定眼睛相对于显示屏的位置或运动。

图1描绘了具有护目镜的用于监控眼睛运动的头戴式设备，其可以用于包括虚拟现实（virtual reality，VR），增强现实（augmented reality，AR）的应用以及使用这种具有护目镜的头戴式设备的其他应用。穿戴这种头戴式设备的用户100在护目镜中的一个或两个观看窗口111中进行观看（例如，在一副VR护目镜中）或浏览（例如，一副透视护目镜），通常各种护目镜设计中的两个观看窗口为：左眼的左观看窗口和右眼的右观看窗口。头戴式设备101被设计为包括成像系统，该成像系统通过捕获眼睛图像来执行眼睛跟踪，以监控眼睛运动并确定用户正在看的位置。

头戴式设备101包括支撑结构，该支撑结构可以附接到用户的头部，以保持用于对用户的眼睛进行成像的眼睛跟踪设备的组件，从而进行眼睛跟踪。在该示例中，该支撑结构是可由用户穿戴的一副护目镜。支撑结构可以是允许访问用户眼睛或双眼的可穿戴设备的其他形式。该支撑结构用于安装或接合一个或多个光源和光投影仪107，一个或多个光源用于产生探测光束109，光投影仪107接收探测光束109并调制光，以产生结构探测光束或图案探测光束，其中，每个探测光束109携带空间图案。在实现方式中，每个光投影仪107可以与探测光源集成或封装为一个单元。光投影仪107将结构探测光束投射到眼睛上。信号接收器105设置在头戴式设备101中，并且被定位为检测从用户眼睛反射的探测光。提供具有电子器件的检测电路和/或处理器，用于处理通过信号接收器105捕获的图像，并确定眼睛运动和眼睛的其他特征，例如瞳孔反应。

结构探测光束的技术特征在图2至3中进一步描述。结构探测光束有助于眼睛移动的准确检测。探测光投影仪107和信号接收器105可以安装在靠近观看窗口111的位置。在各种应用中，头戴式设备101可以被设计为包括一个或两个观看窗口111，用于允许用户观看观看窗口111的另一侧上的对象，例如一副透视护目镜或一副AR护目镜，其中，观看窗口允许用户透视，并且显示图像以覆盖用户看到的内容。在一些其他应用中，头戴式设备101可以被设计为包括一个或两个观看窗口111作为用户观看在观看窗口111上显示的对象的显示屏，例如，VR护目镜。在各种实施例中，可以使用单个或多个光投影仪和信号接收器。信号接收器可以包括具有足够的图像分辨率和快帧率的微型摄像头。

图2描绘了根据一些示例实施例的使用结构探测光113来感测眼睛移动的示例。这里示出了图1中的探测光投影仪107，用于生成结构探测光113的图案，其中，网格状图案被调制到结构探测光113上。在一些实现方式中，探测光投影仪107可以包括用于形成结构光的设备，例如，衍射光学元件（diffracting optical element，DOE）、掩模板或其他成像设备，并且可以包括透镜或其他光学部件。DOE可以利用干扰技术生成结构光，以产生增强相长干涉的光区域以及减少相消干涉的光区域。掩模板可以包括具有图案基板的设备，例如玻璃或其他材料。图案化可以包括根据图案阻挡光或根据图案允许光透射的光吸收或反射材料。光吸收材料可以是金属、陶瓷或其他材料，并且可以通过光刻、溅射或其他沉积或印刷技术被应用。可以使用的附加技术包括扫描技术，该扫描技术也可以用于将图案扫描到眼睛上。

所公开的技术直接将结构探测光113投射到眼睛上，以通过使用结构探测光113中的空间结构或图案来建立易于测量和可靠的位置坐标，从而提供眼睛的位置或方向的准确确定。在实现方式中，探测光波长应选择在眼睛安全波长，并且探测光的功率应设置在眼睛安全水平内的水平。例如，可以使用942纳米（nanometer，nm）波长光或另一眼睛安全波长。输出功率必须设置在低功率水平，以确保眼睛安全。

本公开的眼睛跟踪的一个显著特征是，捕获眼睛的独特物理特征或签名的图像，例如，眼球上的虹膜或血管纹。在实现所公开的技术时，还可以检测来自眼睛的光学反射信号，以进行眼睛跟踪，但是光学反射信号的检测会由于各种因素受到不良影响，例如，存在来自眼睛的不同光学反射和用户眼球表面轮廓。眼睛的独特物理特征或签名的图像的检测可以避免检测来自眼睛的光学反射时的技术麻烦或挑战，并且可以用于使系统能够提取独特物理特征并监控这种独特物理特征的移动，以跟踪眼球移动。眼球上的虹膜或血管纹是眼睛的这种独特物理特征或签名的示例。眼睛虹膜包括具有中心开口的形成瞳孔的边缘或边界的内瞳孔区和外睫区。每个人的虹膜具有因人而异的复杂的独特交织纹理，并且包括签名点，例如图2中所示的点117和121。所公开的技术通过检测和监控位置和眼睛中一个或多个独特物理特征的位置的变化来跟踪眼睛运动，例如，检测瞳孔115坐标、和/或检测眼睛虹膜中的签名点117坐标、和/或检测眼睛虹膜边缘119位置、和/或检测眼球表面上的签名点121坐标等等。

探测光源的反射图像的位置可能难以测量。如图2所示，可以看到点照明光源的畸变的图像123。畸变的原因可能包括，在反射点处眼球的局部半径可能难以实时测量，和/或反射点可能具有影响反射的材料累积，例如泪液累积。利用所公开的结构光照明，可以恢复参考坐标系，使得眼睛运动检测不受眼睛表面特征的影响，这些眼睛表面特征对图1所示的信号接收器105的光学反射有影响。

图3示出了根据一些示例实施例的结构探测光上的空间图案或结构的三个示例。图3中的结构探测光可以通过如上所述的衍射光学元件（DOE）、掩模板或其他技术生成。结构探测光的反射可以用于为用户的眼睛建立参考坐标系。参考坐标系可用于确定眼睛移动。可以使用结构探测光的各种图案。例如，具有网格图案125、或具有光点的周期性图案127或具有不是周期性图案的编码的散斑图案129的结构探测光可以应用于照明光束。这些图案中的每一个可以在捕获的图像中提供空间坐标系，其中，捕获的图像中的眼睛的独特物理特征或签名与图案重叠。网格图案125和具有光点的周期性图案127是周期性坐标系的示例，用于提供位置坐标来识别出现在图案中的特征的位置。编码的散斑图案129是二维编码图案的示例，该图案被划分为图案的子区域并且独特地标记了投射图案中的每个子区域，以允许整个图案内的位置从图案的小的局部窗口被独特地重建。这种编码图案可用于3D图案感测应用，例如苹果的面部ID。例如，参见Ralf Vandenhouten、AndreasHermerschmidt和Richard Fiebelkorn在Proc.SPIE 10335，数字光学技术2017，1033518上发表的《光学3D传感器中利用衍射光学元件的用于编码的结构光照射的点图案的设计和质量度量（Design and quality metrics of point patterns for coded structuredlight illumination with diffractive optical elements in optical 3D sensors）》（2017年6月26日）。因此，可以在由该图案提供的该空间坐标系内确定捕获的图像中眼睛特征的位置。网格图案125、具有光点的周期性图案127或编码的散斑图案129中的每一个可以通过包括DOE、掩模或其他技术的上述方法生成。

因此，在实现方式中，结构探测光用于：（1）建立空间位置参考或参考坐标系，用于对捕获的图像中眼睛的独特物理特征或签名的位置进行确定；（2）为眼睛提供背景照明，以便于对眼睛的独特物理特征或签名的图像进行检测；以及（3）限制潜在干扰光信号的影响，例如，来自用户所见的显示屏的光、背景光或来自环境的其他光。

在实现所公开的眼睛跟踪技术时，编码的散斑图案可以用作呈周期性图案的已知尺寸的预定几何形状的照明探测光上的空间图案，其中，可以提取从眼睛反射的空间图案的光学图像的几何形状和尺寸，以校正光学图像中的光学畸变，从而可以基于眼睛图像中的信息，参考从眼睛反射的空间图案的光学图像中的已知位置，确定眼睛的位置或运动。

图4示出了使用具有结构光照明的光学成像系统来确定眼睛137的位置的眼睛跟踪设备400的示例。所示示例中的该眼睛跟踪设备400用于监控一只眼睛，并且两个这样的设备可以用于跟踪用户两只眼睛的移动，例如，用于实现具有图1所示的一副护目镜的应用系统。

设备400包括用于产生照明探测光的一个或多个光源131、一个或多个结构光设备、用于在照明探测光上叠加期望的空间图案的光调制器或光投影仪133、接收光学器件141、光检测器139和控制器145。

一个或多个光源131与光检测器139分开设置，并且在一些实现方式中，一个或多个光源131可以包括发光二极管（light emitting diode，LED）、激光二极管（laser diode，LD）、垂直腔表面发射激光器（vertical-cavity surface-emitting laser，VCSELS）或其他合适类型的光源。一个或多个探测光投影仪133位于探测光的光路中，以将探测光转换为结构探测光束135，并且可以包括如上所述的DOE、掩模和其他技术。结构探测光束135被投射到待监控的眼睛137上。接收光学器件141和光检测器139位于来自眼睛的结构探测光束135的反射的光路中，并且眼睛位于接收光学器件141和光检测器139的视场143中。光检测器139可以有单个光敏元件或呈阵列的多个光敏元件，例如摄像头、成像检测器、光学检测器的阵列或用于光感测的其他阵列设备。接收光学器件141生成眼睛图像。控制器145控制光探测光源131和光检测器139，并与另一平台进行通信，例如，台式/膝上型/平板电脑或其他中央控制设备。

在一种实现方式中，设备400可以附接到用户并且被构造为包括当观看设备附接到用户时对用户可见的显示屏。该设备中的眼睛跟踪特征是跟踪眼睛相对于显示屏的凝视位置。例如，在VR或AR护目镜中，该显示屏包括在图1所示的示例中的观看窗口111中。在其他应用中，该显示屏可以是智能手机、平板电脑、笔记本电脑或电视上的显示器。操作中，控制器145中的处理器被耦合以接收和处理来自光检测器139的检测器信号，并且被操作为提取监控下的眼睛图像，该图像包含眼睛的独特物理特征或签名的图像。控制器145中的处理器检测并跟踪在捕获的图像内提取的眼睛的独特物理特征的图像的位置，以跟踪眼睛的运动。在实现方式中，可以监控眼睛的两个或两个以上的独特物理特征，以进行眼睛跟踪。眼睛的独特物理特征的图像的位置可以以各种方式确定。例如，当照明探测光被调制来携带作为如图3中示例所示的结构探测光束的图案时，控制器145中的处理器也可以使用图案（例如，图3中的图案125或127）中的坐标，以通过检测（1）在来自眼睛的反射探测光中携带的空间图案的光学图像和（2）与在来自眼睛的反射探测光中携带的空间图案的光学图像重叠的被跟踪的眼睛的独特物理特征的光学图像来提供被跟踪的眼睛的独特物理特征的位置信息。如果探测光被调制来携带如图3中所示的编码的散斑图案129，则控制器145中的处理器可以从由一个或多个光检测器139检测到的图案的小的局部窗口要被独特地重建的整个图案内确定被跟踪的眼睛的独特物理特征的位置信息。

眼睛的独特物理特征的图像的位置可以通过将接收传感器阵列中的光学传感器像素位置用作坐标系来确定。在该方法中，用于捕获眼睛的独特物理特征的传感器像素的传感器位置信息（例如，传感器阵列中像素的行位置和列位置）可用于定位被跟踪的眼睛的独特物理特征，以跟踪眼睛移动。当眼睛移动时，提取的眼睛的特定物理特征的光学图像的位置将改变，这造成了光学检测器阵列中捕获提取的光学图像的光学检测器的行列位置的改变。在这种设计下，在一些实现方式中，照明探测光可以是没有携带任何图案的光束。

因此，本专利文献中的所公开的眼睛跟踪技术可以被实现为在操作诸如计算机系统、移动设备或其他设备的设备时的以下眼睛跟踪方法。首先，提供照明探测光以照射用户的眼睛。其次，位于设备中的具有光学检测器的光学检测器阵列被操作为接收来自照射下的眼睛的具有空间图案的照明探测光的光学反射，以产生来自光学检测器的检测器信号，该检测器信号表示接收的光学反射的检测图像。处理来自光学检测器阵列的检测器信号，以产生眼睛的光学图像，并识别捕获的眼睛图像内眼睛的所选特征的光学图像，以及监控每个捕获的眼睛图像中所选的眼睛的所选特征的光学图像的位置的变化，以跟踪眼睛。

图5描绘了用于两只眼睛的眼睛位置感测系统，该系统可以用于各种应用，例如图1中所示的护目镜设备。眼睛位置模块147a测量用户右眼137a的位置，眼睛位置模块147b测量用户左眼137b的位置。眼睛位置模块147a和147b确定两只眼睛137a和137b的位置，例如在3D坐标系O-XYZ 149中的位置。

眼睛位置模块147a和147b或控制器145可以被配置为在坐标系149内确定眼睛137a和137b之间的距离。眼睛位置模块147a和147b确定每只眼睛的眼睛旋转角度。眼睛位置模块147a确定右眼137a的眼睛旋转角度151，眼睛位置模块147b确定左眼137b的眼睛旋转角度153。眼睛位置模块也可以用于为每只眼睛确定瞳孔的孔径、眼睛闪烁移动、眼皮眨等。收集上述检测到的眼睛参数，以计算每只眼睛的运动。

眼睛位置模块147a和147b可以包括能够生成包括眼睛虹膜的眼睛的高分辨率的摄像头。眼睛虹膜的高分辨率成像可用于为用户建立生物标识符图。生物标识符图有助于简化同一用户对未来使用的校准。

每只眼睛的运动反映了指示用户在用户的视野内看的位置的凝视点。凝视点可以被用作向计算机的反馈，该反馈可以被用作向计算机的输入信息。例如，可以向用户呈现显示器生成的图像或多个图像。凝视点可用于确定用户将其注意力集中在图像中的位置或集中在哪个图像处。响应于用户的凝视点，计算机可以改变呈现给用户的图像或者提供用户利用用户启动开关能够启动的选择。眼睛跟踪器信号也可以用于其他方面，例如游戏控制交互等。

其他特征可以基于诸如用户的情绪等信号来分析。例如，虹膜直径或虹膜直径的变化可以反映用户的情绪或情绪的变化。情绪的反映也可以是对眼睛位置模块可见的眼睛的一部分。情绪可以通过眼睛的缩小或张开来反映。例如，愤怒的用户可能倾向于通过眯眼来缩小他们的眼睛。

图6描绘了根据一些示例实施例的眼睛位置监控装置600。该装置包括两个眼睛位置设备610A和610B、处理单元620和存储器单元625。每个眼睛位置设备包括探测光源602、信号检测器604和控制单元606，如以上关于图1至5所述。通信接口630可以是对台式/膝上型计算机或其他中央控制设备的有线或无线接口。

在一些示例实施例中，观看设备可以包括在诸如头戴式设备101的头戴式设备中。观看设备可以包括当观看设备附接到用户时通过头戴式设备101对用户可见的显示屏。头戴式设备可以包括位于观看设备中的一个或多个探测光源以及位于观看设备中的光学设备，该光学设备用于接收照明探测光并生成结构探测光，该结构探测光可以包括可以被引导至眼睛中的照明探测光上的空间图案。空间图案可以是周期性空间图案。头戴式设备还可以包括具有光学检测器的光学检测器阵列，光学检测器阵列位于观看设备中，用于接收来自眼睛的具有空间图案的照明探测光的光学反射，以产生来自光学检测器的检测器信号，检测器信号表示接收的光学反射的检测图像。头戴式设备可以包括光学成像模块，光学成像模块位于观看设备中，用于收集照明探测光的光学反射，并将收集的光学反射成像到光学检测器阵列上。光学检测器阵列可以包括如上所述的摄像头。

这里公开的眼睛跟踪技术可以用于各种应用，包括确定和跟踪用户眼睛在显示器上焦点，以获得用户对屏幕上显示的项目的关注的信息。此外，基于眼睛跟踪，可以基于跟踪的用户眼睛或双眼的凝视点或焦点在显示屏上生成光标或焦点指示符。生成的光标或焦点指示符可用于选择、激活软件应用、文档、图形用户界面（graphical user interface，GUI）或GUI上的图标或对象，或与其交互，以产生期望的动作、操作或效果。生成的光标或焦点指示符可以与一个或多个附加的用户输入机制结合使用，例如设备上的操作按钮、开关或触发器。基于本文献中描述的眼睛跟踪的光标或焦点指示符控制可以被实现为“眼睛鼠标”，用于替换物理鼠标或指针设备来控制光标在显示屏上的移动或位置。在移动或手持设备中，该“眼睛鼠标”可以用于进行单手操作或者通过显示屏对多种操作和功能进行控制。

本专利文献中描述的主题与功能性操作的实现方式可以在各种系统、数字电路或者在包括本说明书中所公开的结构及其结构性等同物的计算机软件、固件或硬件中实现或者在这些中的一个或多个的组合中实现。本说明书中描述的主题的实现方式可以实现为一个或多个计算机程序产品，即在有形非易失性计算机可读介质上编码的、供数据处理装置执行或者用于控制该数据处理装置的操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成或者这些中的一个或多个的组合。术语“数据处理装置”包含了用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机、或多处理器或计算机。除了硬件，所述装置还可以包含为所讨论的计算机程序创建执行环境的代码，例如组成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

计算机程序（也公知为程序、软件、软件应用、脚本或代码）可以由任意形式的编程语言编写，包括编译语言或解释语言，并且该计算机程序可以以任意形式部署，包括部署为单独的程序或模块、组件、子例程，或者适于在计算环境中使用的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以被存储在保持其它程序或数据的文件（例如，存储在标记语言文档中的一个或多个脚本）的一部分、专用于正讨论的程序的单个文件或者多个协调文件（例如，存储一个或多个模块、子程序或部分代码的文件）中。计算机程序可以被部署成，在一台计算机上或者位于一个位置上或分布在多个位置上并由通信网络互连的多台计算机上执行。

可以通过一个或多个可编程处理器来完成本说明书中描述的过程和逻辑流程，该可编程处理器通过在输入数据上运行并生成输出来执行一个或多个计算机程序以完成所述功能。这些过程和逻辑流程还可由专用逻辑电路（例如，现场可编程门阵列（fieldprogrammable gate array，FPGA）或专用集成电路（application specific integratedcircuit，ASIC））来执行，并且装置也可被实现成专用逻辑电路（例如，FPGA或ASIC）。

例如，适于执行计算机程序的处理器包括通用和专用微处理器以及任何类型的数字计算机中的任何一个或多个处理器。通常，处理器将接收来自只读存储器或者随机访问存储器或者两者的指令和数据。计算机的主要元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，如磁盘、磁光盘或光盘，或可操作地联接以便从一个或多个用于存储数据的大容量存储设备，如磁盘、磁光盘或光盘接收数据或向其传送数据，或者既从其接收数据又向其传送数据。然而，计算机也可以不需要这种设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如包括：例如EPROM、EEPROM和闪存设备的半导体存储器设备。处理器和存储器能够由专用逻辑电路来补充，或者与专用逻辑电路结合。

尽管本专利文献包括许多细节，但是这不应被解释为对于要求保护的或任意发明的范围的限制，而应被解释为对于可具体为特定发明的特定实施例的特征的描述。在本专利文献中，多个单独实施例的情况下描述的某些特征也可在单一实施例中组合实现。相反，在单一实施例的情况下描述的各种特征也可单独或按照任何适当的子组合在多个实施例中实现。此外，尽管特征可如上描述为在某些组合中并甚至像初始要求保护的那样进行作用，但是来自要求保护的组合的一个或多个特征在一些情况下可从该组合中脱离，并且要求保护的组合可以针对子组合或子组合的变形。

类似地，尽管图中按照特定顺序描绘了操作，但是这不应理解为要求按照所示特定顺序或连续顺序执行这些操作，或要求执行所有图示的操作，以实现所期望的结果。此外，本专利文献中所描述的实施例中的各种系统组件的分离不应理解为所有实施例都要求这样的分离。

尽管仅对少量实现方式和示例进行了描述，但是基于本专利文献所描述和说明的内容可以做出其他实现方式、改进和变型。

Claims (20)

1.一种眼睛跟踪设备，其特征在于，包括

可附接到用户的支撑结构；

一个或多个探测光源，所述一个或多个探测光源放置在所述支撑结构上，用于产生照明探测光；

光学设备，所述光学设备放置在所述支撑结构上，用于接收所述照明探测光并引导所述照明探测光照射所述用户的眼睛；

光学检测器阵列，包括多个光学检测器，所述光学检测器阵列放置在所述支撑结构上，用于捕获照射下的眼睛图像以从所述光学检测器产生检测器信号；

光学成像模块，所述光学成像模块放置在所述支撑结构上，用于将所述眼睛成像到所述光学检测器阵列上；以及

处理器，所述处理器被耦合以接收和处理来自所述光学检测器阵列的检测器信号，并且用于提取每个捕获的所述眼睛图像中所述眼睛的特征的光学图像，并监控每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置的变化，以跟踪所述眼睛；

所述光学设备包括光学投射器，所述光学投射器调制所述照明探测光来携带图案作为空间位置参考，用于所述处理器确定每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置。

2.根据权利要求1所述的设备，其特征在于，所述光学投射器调制所述照明探测光来携带周期性空间图案，以确定每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置。

3.根据权利要求1所述的设备，其特征在于，所述光学投射器调制所述照明探测光来携带编码的非周期性图案，以确定每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置。

4.根据权利要求1所述的设备，其特征在于，所述光学投射器包括衍射光学元件。

5.根据权利要求1所述的设备，其特征在于，可附接到所述用户的所述支撑结构是一副护目镜。

6.根据权利要求1所述的设备，其特征在于，所述处理器用于基于所述光学检测器阵列中捕获提取的所述光学图像的光学检测器的行列位置，确定每个捕获的所述眼睛图像中提取的所述眼睛的特征的光学图像的位置。

7.一种利用光学成像跟踪眼睛的方法，其特征在于，包括：

将设备附接到用户；

投射照明探测光以照射所述用户的眼睛；

操作位于所述设备中的具有光学检测器的光学检测器阵列来接收来自照射下的所述眼睛的具有空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；以及

处理来自所述光学检测器阵列的检测器信号，以生成所述眼睛的光学图像，并识别生成的所述眼睛图像内所述眼睛的所选特征的光学图像，以及监控生成的所述眼睛图像中所述眼睛的所选特征的光学图像的位置的变化，以跟踪所述眼睛；

所述方法还包括：

调制所述照明探测光来携带空间图案，以照射所述用户的眼睛；

操作所述光学检测器阵列以对所述眼睛进行成像；

在对所述眼睛进行成像时，处理来自所述光学检测器阵列的检测器信号，以生成（1）从所述眼睛反射的调制的所述照明探测光中的所述空间图案的光学图像，以及（2）与所述空间图案的光学图像重叠的所述眼睛的光学图像；以及

处理所述光学图像，以基于生成的所述眼睛图像内所述眼睛的所选特征的光学图像的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛的位置或运动。

8.根据权利要求7所述的方法，其特征在于，包括：

利用所述光学检测器阵列中捕获所述眼睛的光学图像的光学检测器的行列位置来确定所述眼睛内所选特征的光学图像的位置；以及

根据所述光学检测器阵列中空间上对应于所述眼睛内所选特征的光学检测器的行列位置，监控所述眼睛内所选特征的光学图像的变化，以跟踪所述眼睛的运动。

9.根据权利要求7所述的方法，其特征在于，包括：

将周期性图案用作所述照明探测光上的所述空间图案，其中，所述周期性图案包括点的图案或孤立图案。

10.根据权利要求7所述的方法，其特征在于，包括：

将编码图案用作所述照明探测光上的所述空间图案。

11.一种眼睛跟踪设备，其特征在于，包括：

观看设备，所述观看设备能够附接到用户，并且被构造为包括当所述观看设备附接到所述用户时对所述用户可见的显示屏；

一个或多个探测光源，所述一个或多个探测光源位于所述观看设备中，用于产生照明探测光；

光学设备，所述光学设备位于所述观看设备中，用于接收所述照明探测光，并在所述照明探测光上产生空间图案，以及将具有所述空间图案的所述照明探测光引导至眼睛中；

具有光学检测器的光学检测器阵列，所述光学检测器阵列位于所述观看设备中，用于接收来自照射下的所述眼睛的具有所述空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；

光学成像模块，所述光学成像模块位于所述观看设备中，用于收集来自照射下的所述眼睛的具有所述空间图案的所述照明探测光的光学反射，并将收集的所述光学反射成像到所述光学检测器阵列上；以及

处理器，所述处理器被耦合以接收和处理来自所述光学检测器阵列的检测器信号，并且用于提取（1）从所述眼睛反射的所述空间图案的光学图像，以及（2）与从所述眼睛反射的所述空间图案的光学图像重叠的所述眼睛图像，并基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛相对于所述显示屏的位置或运动。

12.根据权利要求11所述的设备，其特征在于，位于所述观看设备中的光学设备被配置为生成周期性图案作为呈所述周期性图案的已知尺寸的预定几何形状的所述照明探测光上的所述空间图案，

其中，所述处理器被构造为提取从所述眼睛反射的所述空间图案的光学图像的几何形状和尺寸，以基于由所述光学设备生成的所述周期性图案的已知尺寸的预定网格几何形状来校正所述光学图像中的光学畸变，以及

其中，所述处理器被构造为在对所述周期性图案的光学畸变被校正后，基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛相对于所述显示屏的位置或运动。

13.根据权利要求12所述的设备，其特征在于，所述周期性图案包括网格图案、点的图案或孤立图案。

14.根据权利要求12所述的设备，其特征在于，位于所述观看设备中的光学设备被配置为生成编码的散斑图案作为呈所述周期性图案的已知尺寸的预定几何形状的所述照明探测光上的所述空间图案，

其中，所述处理器被构造为提取从所述眼睛反射的所述空间图案的光学图像的几何形状和尺寸，以基于由所述光学设备生成的所述编码的散斑图案来校正所述光学图像中的光学畸变，以及

其中，所述处理器被构造为在对所述编码的散斑图案的光学畸变被校正后，基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛相对于所述显示屏的位置或运动。

15.根据权利要求11所述的设备，其特征在于，所述处理器被构造为提取从所述眼睛的不同生物结构中选择的生物结构之一，以基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中所选择的生物结构的已知位置，确定所述眼睛相对于所述显示屏的位置或运动。

16.根据权利要求15所述的设备，其特征在于，所述处理器被构造为，除了提取所述眼睛的所选择的生物结构之外，还提取所述眼睛的不同生物结构的第二生物结构，以基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中所选择的生物结构和所选择的第二生物结构的已知位置，确定所述眼睛相对于所述显示屏的位置或运动。

17.根据权利要求11所述的设备，其特征在于，所述观看设备包括虚拟现实（VR）设备。

18.根据权利要求17所述的设备，其特征在于，所述虚拟现实（VR）设备包括VR护目镜。

19.根据权利要求11所述的设备，其特征在于，所述观看设备包括增强现实（AR）设备。

20.根据权利要求19所述的设备，其特征在于，所述增强现实（AR）设备包括AR护目镜。