CN117480469A - 眼睛模型注册 - Google Patents

Abstract

用于生成用户感知眼睛模型的方法和装置。在注册过程期间，一个或多个相机在用户的眼睛处于两个或更多个不同取向以及在两个或更多个不同水平的显示亮度时捕获该眼睛的图像。所捕获的图像被处理以生成三维用户感知眼睛模型，例如至少眼睛的角膜和瞳孔特征的模型。所生成的用户感知眼睛模型可在其他过程中使用，例如在注视跟踪过程中。注册过程可以是优化眼睛模型的迭代过程，或者是在用户正使用系统时执行的连续过程。

Description

眼睛模型注册

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用VR的模拟环境和/或MR的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。

眼睛或注视跟踪器是用于估计眼睛位置和眼睛运动的设备。眼睛或注视跟踪过程和系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入设备。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。眼睛模型是可在包括但不限于注视跟踪过程和系统的过程和系统中使用的人眼的数学表示。

发明内容

描述了用于用户眼睛注册的方法和装置的实施方案。成像系统可包括：两个或更多个照明源(例如，点光源，诸如发光二极管(LED))，这两个或更多个照明源照明人的眼睛或眼睛区域；以及至少一个相机，该至少一个相机被配置为捕获眼睛在被照明时反射的来自照明源的光的图像。在实施方案中，当眼睛处于两个或更多个不同取向以及具有两个或更多个不同水平的显示亮度时捕获的眼睛的图像可被处理以生成眼睛模型，例如眼睛的角膜和瞳孔特征的模型。图像可在设备诸如头戴式设备(HMD)的注册过程期间被捕捉并处理以生成眼睛模型。在一些实施方案中，注册过程可作为初始过程在用户使用设备时，例如在用户将HMD放置在他们的头上时执行。另选地，注册过程可以是连续的或迭代的过程，其在用户正使用设备时构建并改进眼睛模型。

在实施方案中，由在注册过程期间捕获的用户的眼睛的图像来构建特定于该用户的眼睛模型(其可被称为用户感知眼睛模型)。可在显示器上显示刺激或指导以使用户看不同方向。显示器的亮度或其他显示特性可被调节以刺激不同的瞳孔响应。以两个或更多个不同的取向以及以两个或更多个亮度水平由一个或多个眼睛相机捕获用户眼睛的图像。根据这些图像，该系统估计用户眼睛的眼睛特征，例如角膜表面模型和作为瞳孔半径的函数的动态瞳孔模型。可针对一只眼睛或针对两只眼睛执行该建模。该方法可迭代以优化眼睛模型。

附图说明

图1A至图1F示出了根据一些实施方案的示例性眼睛相机系统。

图2示出了根据一些实施方案的使用真值目标位置的注册过程。

图3示出了根据一些实施方案的不使用真值目标位置的注册过程。

图4示出了根据一些实施方案的连续注册过程。

图5A进一步示出了根据一些实施方案的使用真值目标位置和初始一般眼睛模式的注册过程。

图5B进一步示出了根据一些实施方案的不使用真值目标位置或初始一般眼睛模型的注册过程。

图6是根据一些实施方案的进一步示出使用真值目标位置的注册过程的因子图。

图7是根据一些实施方案的进一步示出不使用真值目标位置的注册过程的因子图。

图8是根据一些实施方案的注册方法的高级流程图。

图9A和图9B是示出了根据一些实施方案的可包括如图1至图8所示的部件并且实现如在所述图中所示的方法的设备的框图。

图10示出了根据一些实施方案的示例性头戴式设备(HMD)，该示例性HMD可包括如在图1至图8中示出的部件并且实现如在所述图中示出的方法。

图11是示出了根据一些实施方案的示例性系统的框图，该示例性系统可包括如在图1至图8中示出的部件并且实现如在所述图中示出的方法。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑记载“一种包括一个或多个处理器单元的装置...”的权利要求。此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。

具体实施方式

描述了用于用户眼睛注册的方法和装置的各种实施方案。本文所述的成像系统可包括：两个或更多个照明源(例如，点光源，诸如发光二极管(LED))，这两个或更多个照明源照明人的眼睛或眼睛区域；以及至少一个相机，该至少一个相机被配置为捕获眼睛在被照明时反射的来自照明源的光的图像。当眼睛处于两个或更多个不同取向以及具有两个或更多个不同水平的显示亮度时捕获的眼睛的图像可被控制器处理以生成眼睛模型，例如眼睛的角膜和瞳孔特征的模型。图像可在设备诸如头戴式设备(HMD)的注册过程期间被捕捉并处理以生成眼睛模型。在一些实施方案中，注册过程可作为初始过程在用户使用设备时，例如在用户将HMD放置在他们的头上时执行。另选地，注册过程可以是连续的或迭代的过程，其在用户正使用设备时构建并改进眼睛模型。

本文所述的用于用户眼睛注册的方法和装置的实施方案可例如在头戴式设备(HMD)中使用，例如计算机生成现实(XR)系统(诸如，混合或增强现实(MR)系统或虚拟现实(VR)系统)的HMD。在常规系统中，一般人眼模型通常用作基础。在实施方案中，不是使用一般人眼模型，而是由在注册过程期间捕获的用户的眼睛的图像来构建特定于该用户的眼睛模型(其可被称为用户感知眼睛模型)。此外，虽然一些实施方案可在注册过程期间使用真值目标来引导用户并且构建眼睛模型，但是描述了在其中可在不使用真值目标的情况下构建用户感知眼睛模型的实施方案。移除对真值目标的依赖性可提供更好的用户体验，并且还为系统设计者提供更多的自由。

在实施方案中，用户戴上设备(例如，HMD)。可在显示器上显示刺激或指导以使用户看不同方向。显示器的亮度或其他显示特性可被调节以刺激不同的瞳孔响应。用户眼睛的图像以两个或更多个不同的取向以及以两个或更多个亮度水平由一个或多个眼睛相机捕获。由这些图像，系统估计用户眼睛的角膜表面模型和作为瞳孔半径的函数的动态瞳孔模型。可针对一只眼睛或针对两只眼睛执行该建模。

在注册过程中生成的用户感知眼睛模型的实施方案的示例使用是在注视跟踪中。注视跟踪系统可以例如用于基于眼睛的三维(3D)几何模型使用闪光和眼睛特征来计算注视方向和视轴。又如，由注册过程生成的眼睛模型可用于使用用户眼睛(诸如虹膜、角膜和瞳孔)、眼睛区域(称为眶周区域)、或用户面部的其它部分(诸如眉毛)的特征来验证用户的生物识别认证。本文所述的在注册过程中生成的用户感知眼睛模型的实施方案可在注视跟踪过程、生物识别认证过程或这两者中使用。另一个示例是反欺骗，反欺骗涉及生物识别认证，因为“欺骗”是指通过例如呈现有效用户的眼睛、眼睛区域或面部的图片或模型来欺骗生物识别认证系统的尝试。更一般地，本文所述的注册过程和在注册过程中生成的眼睛模型的实施方案可在任何使用用户眼睛的模型的应用或系统中使用。

用于注册的方法和装置的非限制性示例性应用是在包括具有位于用户面部的每一侧的至少一个眼睛相机(例如，红外(IR)相机)、和向用户的眼睛发射光的照明源(例如，点光源诸如IR发光二极管(LED)的阵列或环)的成像系统的设备中。成像系统可以例如是头戴式设备(HMD)的部件，例如，计算机生成现实(XR)系统诸如混合或增强现实(MR)系统或虚拟现实(VR)系统的HMD。HMD可以例如实现为一副眼镜、谷歌眼镜或头盔。成像系统的其他示例性应用包括移动设备诸如智能电话、平板电脑或平板设备、台式计算机和笔记本计算机，以及安装在壁上或以其他方式位于房间中或建筑物上的独立系统。在这些示例性系统中的任意者中，成像系统可用于注视跟踪、生物识别认证、这两者，或者用于其他应用。

图1A至图1F示出了根据一些实施方案的示例性成像系统。成像系统可包括但不限于一个或多个相机140、照明源130和控制器160。图1A示出了成像系统，其中眼睛相机140直接对眼睛192成像。然而，在一些实施方案中，眼睛相机140可改为对眼睛192的离开热镜150的反射进行成像，如图1B所示。此外，在一些实施方案中，眼睛相机140可通过成像系统的透镜120对眼睛成像，例如如图1C所示。

在一些实施方案中，设备(例如，头戴式设备(HMD))可包括成像系统，该成像系统包括位于用户面部的一侧或每一侧的至少一个眼睛相机140(例如，可见光和/或红外(IR)相机)、以及向用户的眼睛192或眶周区域发射光的照明源130(例如，点光源，诸如IR发光二极管(LED)的阵列或环)。图1D示出了包括多个LED 132的示例性照明源130。在该示例中，存在布置成环的八个LED 132。然而，需注意，照明源130中的LED 132的数量和布置可以不同。另外，在一些实施方案中，可以使用除LED之外的其他发光元件。在一些实施方案中，LED132可被配置为发射IR或NIR范围内的光，例如在740、750、840、850、940或950纳米处。

在实施方案中，眼睛相机140可指向眼睛192以接收从眼睛192反射的来自照明源130的光，如图1A所示。然而，在一些实施方案中，眼睛相机140而是可以对眼睛192的离开热镜150的反射进行成像，如图1B所示。此外，在一些实施方案中，眼睛相机140可通过透镜120或设备的其他光学元件对眼睛192进行成像，例如如图1C所示。一些实施方案可包括捕获用户的眼睛192的图像的单个相机140，如图1E所示。一些实施方案可包括捕获用户的眼睛192的图像的两个或更多个相机140，如图1F所示。

包括图1A至图1F所示成像系统的设备可包括控制器160，该控制器包括一个或多个处理器和存储器。控制器160可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。在一些实施方案中，控制器160可被集成在设备中。在一些实施方案中，控制器160的至少一些功能可由通过有线或无线连接耦接到设备的外部设备来实现。虽然在图1A至图1F中未示出，但在一些实施方案中，控制器160可以耦接到外部存储器用于存储和读取数据和/或软件。

控制器160可向照明源130和相机140发送控制信号以控制眼睛192的照明和捕获眼睛192的图像。控制器160可在注册过程期间使用眼睛相机140捕获的眼睛192的图像142来构建或调节眼睛192的3D模型。眼睛模型然后可被用于一个或多个目的。例如，控制器160可实施基于由相机捕捉的附加图像142和在注册过程期间生成的眼睛模型来估计用户的注视方向的注视跟踪算法。注视跟踪算法可例如处理相机140捕获的图像142以识别从眼睛相机140获得的闪光(LED 130的反射)、瞳孔位置和直径、或眼睛的其他特征，并且将该信息应用于眼睛模型以确定和跟踪用户当前正在看的方向(注视方向)。

注册过程

描述了用户眼睛模型注册方法和实施该注册方法的系统的实施方案。图8是根据一些实施方案的注册方法的高级流程图。在实施方案中，在注册过程期间，一个或多个相机在用户的眼睛处于两个或更多个不同取向以及处于两个或更多个不同水平的显示亮度时捕获该眼睛的图像，如800处所指示。如810处所指示，所捕获的图像被控制器处理以生成3维用户感知眼睛模型，例如至少眼睛的角膜和瞳孔特征的模型。如820处所指示，所生成的用户感知眼睛模型可在其他过程中使用，例如在注视跟踪过程中。实施方案可用于为一只眼睛或为两只眼睛生成眼睛模型。如从810返回到800的箭头所指示，在一些实施方案中，注册过程可以是在用户正使用系统(例如，HMD)时执行的迭代过程或连续过程。需注意，所生成的眼睛模型可被存储并在未来使用，例如当特定用户再次戴上或使用该设备时。此外，可为设备的两个或更多个不同用户生成单独的用户感知眼睛模型。

在构建用户感知眼睛模型时，注册过程的实施方案可执行角膜表面的生理上准确的重建，并且还可执行动态瞳孔建模。瞳孔在收缩和扩张时以多个自由度移动。动态瞳孔建模跨那些自由度捕获和处理用户的瞳孔。注册过程调节亮度以刺激瞳孔直径的变化。因此，角膜表面的数学表示和瞳孔的动态模型在由注册过程生成的用户感知眼睛模型中捕获。通过重建角膜表面的准确表示以及特定用户的动态瞳孔行为以生成用户感知眼睛模型，与使用一般“通用”眼睛模型的常规系统相比，注册过程可提高使用眼睛模型的过程诸如注视跟踪的准确性。

注册过程的实施方案可在捕获眼睛的图像时提示用户看不同方向。从每个捕获的图像，可导出一组特征，例如水晶体和瞳孔轮廓。提示用户看不同方向可提供对眼睛轮廓的良好覆盖。瞳孔可以许多自由度移动，并且因此显示亮度被改变，使得过程可观察那些状态和回归以生成瞳孔模型。

可在设备诸如头戴式设备(HMD)的注册过程期间生成用户感知眼睛模型。在一些实施方案中，注册过程可作为初始过程在用户使用设备时，例如在用户将HMD放置在他们的头上时执行。另选地，注册过程可以是连续的或迭代的过程，其在用户正使用设备时构建并改进眼睛模型。

描述了使用两种不同方法生成用户眼睛模型的眼睛模型注册方法的实施方案。在第一方法中，输入初始眼睛模型，其可以是一般眼睛模型。提示用户看目标位置(对应于姿态)，在那里捕获眼睛的图像，在一些实施方案中，以不同水平的显示亮度进行捕获。然后，该方法寻找最佳眼球中心，使得由姿态构建或计算的特征与由相应图像采集的特征匹配。构建更新后的眼睛模型。可测试更新后的眼睛模型，并且如果不令人满意(例如，如果错误率高于阈值)，则可将更新后的眼睛模型输入到该方法的开始用于优化。在第二方法中，不使用初始眼睛模型。相反，执行捕获和处理在不同位置(以及在不同水平的显示亮度)的图像的多次迭代。在第一迭代中，从一组捕获的眼睛姿态估计眼球中心，并且构建初始用户感知眼睛模型。然后例如在注视跟踪过程中使用眼睛模型来测试眼睛模型。如果眼睛模型不令人满意，例如如果在过程中使用眼睛模型时过程的错误率高于阈值，则执行捕获和处理眼睛姿态的另一迭代以优化眼睛模型。这些迭代可继续，直到错误率低于阈值。

实施方案捕捉用户的眼睛的图像。基于眼睛模型的当前版本，计算角膜特征和瞳孔位置。然后将那些所计算的特征与可实际从所捕获的眼睛图像导出的特征进行比较，以确定模型偏离多远；然后可基于该比较来更新该模型。

在实施方案中，可利用从由眼睛相机捕获的图像获得的信息与现有眼睛模型的组合来确定正被跟踪的特征以计算眼睛姿态。选择给出特征的最佳匹配的眼睛姿态。固定眼睛模型参数，然后估计眼睛姿态(例如，具有5个DoF)。

眼睛姿态用于将特征与本地系统对准。目标是在给定本地系统的情况下生成坚固的眼睛模型。因为在眼睛图像中观察到的是世界系统中的特征，所以那些特征需要与本地系统对准。一旦获得眼睛姿势，就可对准来自不同注视方向的眼睛实例。由此，可优化角膜表面和瞳孔模型。

眼睛姿势是指眼睛的位置和取向。然而，眼睛模型指示在给定姿态，在该姿势从眼睛相机的角度会看到眼睛的什么特征(例如角膜轮廓和瞳孔形状)。

眼睛相机系统可包括主动照明(例如，来自图1A至图1F所示的LED)，从该主动照明可观察角膜表面上的反射。还可观察折射的瞳孔轮廓。光反射(光在眼睛表面上反射的点的观察)基于眼睛姿态而变化。因此，可从由主动照明LED产生的反射或闪光的位置以及还从瞳孔轮廓导出眼睛姿态。

本文所述的用于用户眼睛注册的方法和装置的实施方案可例如在计算机生成现实(XR)系统(诸如，混合或增强现实(MR)系统或虚拟现实(VR)系统)的HMD中使用。在常规系统中，一般人眼模型通常用作基础。在实施方案中，不是使用一般人眼模型，而是由在注册过程期间捕获的用户的眼睛的图像来构建用户感知眼睛模型。

在一些实施方案中，可在注册过程期间使用真值目标来引导用户并构建眼睛模型。然而，描述了其中可在不使用真值目标的情况下构建用户感知眼睛模型的实施方案。移除对真值目标的依赖性可提供更好的用户体验，并且还为系统设计者提供更多的自由。

实施用户眼睛模型注册方法的系统可包括但不限于至少一个眼睛相机(例如，红外(IR)或近红外(NIR)相机、RGB或RGB-D相机等)、包括发光元件(例如，IR或NIR LED或其他波长的LED)的照明源、控制器和显示器。用户眼睛模型注册方法的实施方案可例如在图1A至图1F所示的系统中的任何系统中实施。图9A至图11示出了可实施用户眼睛模型注册方法的实施方案的示例设备和系统。

图2示出了根据一些实施方案的使用真值目标位置的注册过程。在该注册过程中，向用户展示在已知位置处的一系列目标，并且当用户正在看不同目标位置时捕获眼睛图像。分析所捕获的图像以构建用户眼睛的模型。设备或系统可包括控制器260、显示器250和一个或多个眼睛相机240。在控制器260上执行的注册过程260使得两个或更多个目标位置224显示在显示器250上(由显示器250上的圆圈表示)。注册过程260还可调节220显示器250在各个位置224处的亮度。随着用户将其眼睛移动到目标位置224，眼睛相机240捕获用户的眼睛在目标位置224处以及在不同的亮度水平的图像242。图像242和相关联的目标位置224被提供给眼睛模型生成264过程，其从所捕捉的图像242和相关联的目标位置224生成眼睛模型270。然后可在注视跟踪280过程或某个其他过程中使用眼睛模型270。

图3示出了根据一些实施方案的不使用真值目标位置的注册过程。在该注册过程中，可向用户展示移动目标以引导用户看不同方向。当用户正在看不同方向、但不是看已知目标位置时捕获眼睛图像。分析所捕获的图像以构建用户眼睛的模型。设备或系统可包括控制器360、显示器350和一个或多个眼睛相机340。在控制器360上执行的注册过程360可以但不是必须在显示器350上显示移动提示322(由显示器350上的圆圈表示)，以引导用户的眼睛看显示器上的不同位置。注册过程360还可调节320显示器350的亮度。随着用户移动其眼睛，眼睛相机340捕获用户眼睛在两个或更多个不同取向以及在两个或更多个亮度水平的图像342；然而，图像不在已知目标位置处，如图2中。图像342被提供给眼睛模型生成364过程，其从捕获的图像342生成眼睛模型370。然后可在注视跟踪380过程或某个其他过程中使用眼睛模型370。该注册过程不需要知道目标位置，如图2中，也不需要确切地知道用户正在看哪里。可使用移动提示来鼓励用户覆盖宽范围的角度以在注册之后提供立即的准确性。

图4示出了根据一些实施方案的不使用真值目标位置的连续注册过程。在该过程中，眼睛图像是在用户在使用设备时正看不同方向时被捕获，但不是在已知目标位置处。分析所捕获的图像以构建和改进用户眼睛的模型。设备或系统可包括控制器460、一个或多个眼睛相机440、和显示器(未示出)。随着用户在查看显示器上的内容时移动其眼睛，眼睛相机440捕获用户眼睛在两个或更多个不同取向以及在变化的亮度水平的图像442。图像442被提供给连续注册过程462，其从所捕获的图像442生成或更新眼睛模型470。可在注视跟踪480过程或某个其他过程中使用眼睛模型470。该注册过程不需要知道目标位置，如图2中，也不需要确切地知道用户正在看哪里。然而，不是如图3中那样使用移动提示，而是可在用户正在正常使用系统时采集并处理眼睛的图像以构建和改进眼睛模型。

图5A进一步示出了根据一些实施方案的图2所示的使用真值目标位置和初始一般眼睛模型的注册过程。单个相机用于捕获用户眼睛在不同目标位置以及在不同亮度水平的图像。初始眼睛模型500A被输入到视轴优化510过程。基于来自眼睛图像捕获过程的眼睛特征512和位置514来计算520眼睛姿态。以X(例如，16)个自由度(DoF)估计522最佳Zernike角膜。以Y(例如，10)个DoF估计524最佳瞳孔模型。然后评估526更新后的眼睛模型500B。在528，如果对眼睛模型500B的评估确定眼睛模型是足够的，则将其输出作为最终眼睛模型500C。否则，更新后的眼睛模型500B被反馈到计算眼睛姿态520过程中以用于进一步优化。

图5B进一步示出了根据一些实施方案的不使用真值目标位置或初始一般眼睛模型的注册过程。一个或多个相机可用于捕获用户眼睛在不同目标位置以及在不同亮度水平的图像。在初始迭代中，基于来自眼睛图像捕获过程的眼睛特征512来计算520眼睛姿态。以X(例如，16)个自由度(DoF)估计522最佳Zernike角膜。以Y(例如，10)个DoF估计524最佳瞳孔模型。然后评估526更新后的眼睛模型500B。在528，如果对眼睛模型500B的评估确定眼睛模型是足够的，则将其输出作为最终眼睛模型500C。否则，更新后的眼睛模型500B被反馈到计算眼睛姿态520过程中以用于进一步优化。

参照图5A和图5B，从所计算的眼睛姿态，构建图形系统，然后将优化器应用于在不同取向的眼睛的两个或更多个观察，以寻找最佳眼睛姿态空间和眼睛模型。

图6是根据一些实施方案的进一步示出图5所示使用真值目标位置的注册过程的因子图。单个相机可用于捕获用户眼睛在不同目标位置以及在不同亮度水平的图像。顶行圆圈表示眼睛状态，其中Tx表示变换姿态、位置和取向，Rx表示给定眼睛图像(观察)的瞳孔半径。该行矩形表示观察，其中TEx表示目标(位置)错误，GEx表示闪光错误，并且PEx表示给定观察的瞳孔错误。底行圆圈代表眼睛模型，其中VP代表视轴参数(从目标位置导出)，CP代表角膜参数，PP代表瞳孔参数。

图7是根据一些实施方案的进一步示出图3或图4所示不使用真值目标位置的注册过程的因子图。与图6的因子图相比，不存在真值目标位置，因此不存在目标错误或视轴参数。在该过程中，使用两个相机捕获用户眼睛在不同的取向和在不同的亮度水平的图像。顶行圆圈表示眼睛状态，其中Tx表示变换姿态、位置和取向，Rx表示给定观察的瞳孔半径。该行矩形表示观察，对于来自第一相机N和第二相机B的给定观察x，GE表示闪光错误，PE表示瞳孔错误。底行圆圈表示眼睛模型，其中CP表示角膜参数，PP表示瞳孔参数。

示例性系统

图9A和图9B是示出了根据一些实施方案的可包括如图1至图8所示的部件并且实现如在所述图中所示的方法的设备的框图。本文所述用于用户眼睛模型注册的方法的示例性应用是在手持设备3000诸如智能电话、平板电脑或平板计算机中。图9A示出了示例性设备3000的侧视图，并且图9B示出了示例性设备3000的示例性顶视图。设备3000可包括但不限于显示屏(未示出)、包括一个或多个处理器的控制器3060、存储器3070、姿态、运动和取向传感器(未示出)，以及一个或多个相机或感测设备，诸如可见光相机和深度传感器(未示出)。相机3080和照明源3040可附接到设备3000或集成在该设备中，并且设备3000可由用户握持并且定位成使得相机3080可捕获用户的眼睛在由照明源3050照明时的图像。所捕获的图像可例如由控制器3060处理以生成用户眼睛模型。然后可在另一过程诸如注视跟踪或生物识别认证中使用用户眼睛模型。

需注意，如图9A和图9B所示的设备3000以举例的方式给出，并且不旨在进行限制。在各种实施方案中，设备3000的形状、尺寸和其他特征可不同，并且设备3000的部件的位置、数量、类型和其他特征可变化。

图10示出了根据一些实施方案的示例性头戴式设备(HMD)，该示例性HMD可包括如在图1至图8中示出的部件并且实现如在所述图中示出的方法。HMD 4000可以例如是混合或增强现实(MR)系统中的部件。需注意，如图10所示的HMD 4000以举例的方式给出，并且不旨在为限制性的。在各种实施方案中，HMD 4000的形状、尺寸和其他特征可不同，并且HMD4000的部件的位置、数量、类型和其他特征可变化。在一些实施方案中，HMD 4000可包括但不限于安装在可佩戴外壳或框架中的显示器和两个光学透镜(目镜)(未示出)。如图10所示，HMD 4000可被定位在用户的头部4090上，使得显示器被设置在用户的眼睛4092的前面。用户通过目镜朝显示器看。HMD 4000还可包括收集关于用户的环境的信息(视频、深度信息、照明信息等)和关于用户的信息的传感器(例如，眼睛跟踪传感器)。传感器可包括但不限于捕获用户眼睛4092的视图的一个或多个眼睛相机4040(例如，红外(IR)相机)、捕获用户前面的视场中的真实世界环境的图像的一个或多个场景(可见光)相机(例如，RGB摄像机)(未示出)，以及捕获环境的照明信息的一个或多个环境光传感器(未示出)。

该MR系统的控制器4060可在HMD 4000中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到HMD 4000的外部设备(例如，计算系统)来实现。控制器4060可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器4060可以至少部分地基于从传感器获得的输入来渲染包括虚拟内容的帧(每个帧包括左图像和右图像)，并且可以将帧提供给显示器。图11进一步示出了根据一些实施方案的HMD和MR系统的部件。

在一些实施方案中，用于MR系统的成像系统可包括但不限于一个或多个眼睛相机4040和IR光源4030。IR光源4030(例如，IR LED)可被定位在HMD 4000中(例如，在目镜周围或在HMD 4000中的其他地方)，以用IR光照射用户的眼睛4092。至少一个眼睛相机4040(例如，IR相机，例如400×400像素数相机或600×600像素数相机，其在850nm或940nm下或者在某个其他IR波长或波长组合下操作，并且例如以60-120帧/秒(FPS)的速率捕获帧)位于用户4090的面部的每个侧面处。在各种实施方案中，眼睛相机4040可以在HMD 4000中定位在用户4090的面部的每个侧面上，以提供眼睛4092的直接视图、眼睛4092的通过目镜的视图、或眼睛4092的经由从热镜或其他反射部件反射的视图。需注意，眼睛相机4040的位置和角度以举例的方式给出，并且不旨在为限制性的。虽然图10示出了位于用户4090的面部的每个侧面上的单个眼睛相机4040，但是在一些实施方案中，在用户4090的面部的每个侧面上可存在两个或更多个眼睛相机4040。

由光源4030发射的IR光的一部分从用户4090的眼睛反射，并且由眼睛相机4040捕获以使用户的眼睛4092成像。可由控制器4060分析由眼睛相机4040捕获的图像以检测用户的眼睛4092的特征(例如，瞳孔和角膜特征)、位置和运动，和/或检测关于眼睛4092的其他信息，诸如瞳孔扩张。本文所述的注册过程可由控制器4060执行以生成用户眼睛的模型。然后可在其他过程中使用眼睛模型。例如，可利用眼睛模型从眼睛跟踪信息来估计显示器上的注视点；所估计的注视点可用于使得HMD 4000的场景相机基于对应于注视点的感兴趣区域(ROI)来曝光场景的图像。又如，所估计的注视点可使得能够实现与显示器上显示的内容的基于注视的交互。作为另一示例，在一些实施方案中，可基于如由成像系统确定的用户的瞳孔扩张来调节所显示的图像的亮度。HMD 4000可实施如图1至图8中所示出的方法中的一者或多者以捕获和处理用户的眼睛4090的图像以及基于所捕获的图像生成眼睛模型。

如图10所示的HMD 4000的实施方案可例如用于增强或混合(AR)应用，以将增强或混合现实视图提供给用户4090。HMD 4000可包括例如定位于HMD 4000的外表面上的一个或多个传感器，该一个或多个传感器收集关于用户4090的外部环境的信息(视频、深度信息、照明信息等)；传感器可以将所收集的信息提供给MR系统的控制器4060。传感器可包括一个或多个可见光相机(例如，RGB相机)，该一个或多个可见光相机捕获用户的环境的视频，该视频可用于向用户4090提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机捕获的真实环境的视频流可由HMD 4000的控制器4060处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给HMD 4000的显示系统。

图11是示出了根据一些实施方案的示例性MR系统的框图，该示例性MR系统可包括如在图1至图8中示出的部件并且实现如在所述图中示出的方法。在一些实施方案中，MR系统可包括HMD 5000，诸如头戴式耳机、头盔、护目镜或眼镜。HMD 5000可以实现各种类型的显示技术中的任一者。例如，HMD 5000可包括显示系统，该显示系统在由用户通过目镜(未示出)观看的屏幕或显示器(未示出)上显示包括左图像和右图像的帧。显示系统可例如是DLP(数字光处理)、LCD(液晶显示器)或LCoS(硅基液晶)技术显示系统。为了在3D虚拟视图中创建三维(3D)效果，两个图像中不同深度或距离处的对象可作为距离的三角测量的函数向左或向右偏移，其中较近的对象比更远的对象偏移得更多。需注意，在一些实施方案中，可使用其他类型的显示系统。

在一些实施方案中，HMD 5000可包括控制器5060，该控制器被配置为实现MR系统的功能，并且生成提供给HMD的显示器的帧(每个帧包括左图像和右图像)。在一些实施方案中，HMD 5000也可包括存储器5062，该存储器被配置为存储由控制器5060可执行的MR系统的软件(代码5064)，以及当在控制器5060上执行时可由MR系统使用的数据5068。在一些实施方案中，HMD 5000也可包括一个或多个接口(例如，蓝牙技术接口、USB接口等)，一个或多个接口(例如，蓝牙技术接口、USB接口等)被配置为经由有线或无线连接与外部设备通信。在一些实施方案中，针对控制器5060描述的功能中的至少一部分可由外部设备实现。外部设备可为或可包括任何类型的计算系统或计算设备，诸如台式计算机、笔记本或膝上型计算机、平板或平板设备、智能电话、手持式计算设备、游戏控制器、游戏系统等等。

在各种实施方案中，控制器5060可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器5060可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器5060可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。.在一些实施方案中，控制器5060可实现为片上系统(SoC)。例如，在一些实施方案中，处理器、存储器、I/O接口(例如，结构)等可在包括集成到单个芯片中的多个部件的单个SoC中实现。例如，SoC可包括集成到单个芯片中的多个CPU核、多核GPU、多核神经引擎、高速缓存、一个或多个存储器等。在一些实施方案中，SoC实施方案实现精简指令集计算(RISC)架构或任何其他合适的架构。控制器5060可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器5060可包括实现微码技术的电路。控制器5060可包括各自被配置为执行指令的一个或多个处理核心。控制器5060可包括一个或多个级别的高速缓存，该高速缓存可以采用任何尺寸和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器5060可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器5060可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/解码器(编解码器)等。

存储器5062可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUSDRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可耦接到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，这些设备可以与实现系统的集成电路在芯片堆叠配置、封装堆叠配置或者多芯片模块配置中安装。

在一些实施方案中，HMD 5000可包括一个或多个传感器，该一个或多个传感器收集关于用户的环境的信息(视频、深度信息、照明信息等)。传感器可将信息提供给MR系统的控制器5060。在一些实施方案中，传感器可包括但不限于可见光相机(例如，摄像机)和环境光传感器。

HMD 5000可被定位在用户的头部上，使得显示器以及目镜被设置在用户的眼睛5092A和眼睛5092B的前面。IR光源5030A和IR光源5030B(例如，IR LED)可被定位在HMD5000中(例如，在目镜周围或在HMD 5000中的其他地方)，以用IR光照射用户的眼睛5092A和眼睛5092B。眼睛相机5040A和眼睛跟踪相机5040B(例如，IR相机，例如在850nm或940nm或一些其他IR波长下操作并且例如以每秒60帧-120帧(FPS)的速率捕获帧的400×400像素数相机或600×600像素数相机)可以位于用户面部的每一侧。在各种实施方案中，眼睛相机5040可定位在HMD 5000中，以提供眼睛5092的直接视图、眼睛5092的通过目镜5020的视图、或眼睛5092的经由从热镜或其他反射部件反射的视图。需注意，眼睛相机5040A和眼睛跟踪相机5040B的位置和角度以举例的方式给出，并且不旨在为限制性的。在一些实施方案中，可存在位于用户的面部的每个侧面上的单个眼睛相机5040。在一些实施方案中，在用户的面部的每一侧上可存在两个或更多个眼睛相机5040。例如，在一些实施方案中，广角相机5040和较窄角度相机5040可用于用户的面部的每个侧面上。由光源5030A和光源5030B发射的IR光的一部分从用户的眼睛5092A和眼睛5092B反射，接收在相应的眼睛相机5040A和眼睛相机5040B处，并且由眼睛相机5040A和眼睛相机5040B捕获以使用户的眼睛5092A和眼睛5092B成像。由相机5040A和相机5040B捕获的眼睛信息可被提供给控制器5060。控制器5060可分析眼睛信息(例如，用户的眼睛5092A和眼睛5092B的图像)以确定眼睛5092A和眼睛5092B的眼睛位置和运动和/或其他特征。在一些实施方案中，为了准确地确定用户的眼睛5092A和眼睛5092B相对于眼睛相机5040A和眼睛跟踪相机5040B的位置，控制器5060可使用由眼睛相机5040A和眼睛相机5040B捕获的图像来执行3D重建，以生成用户的眼睛5092A和眼睛5092B的3D模型。眼睛5092A和眼睛5092B的3D模型指示眼睛5092A和眼睛5092B相对于眼睛相机5040A和眼睛相机5040的3D位置，这例如允许由控制器执行的眼睛跟踪算法准确地跟踪眼睛运动。HMD 5000可实施如图1至图8中所示出的方法中的一者或多者以捕获和处理用户的眼睛5090的图像以及基于所捕获的图像生成眼睛模型。

由控制器5060获得和分析的眼睛信息可由控制器用于实行各种VR或AR系统功能。例如，可从由眼睛相机5040A和眼睛相机5040B捕获的图像以及眼睛模型估计显示器上的注视点；所估计的注视点可用于使得HMD 5000的一个或多个场景相机基于对应于注视点的感兴趣区域(ROI)来曝光场景的图像。又如，估计的注视点可实现与显示器上显示的虚拟内容的基于注视的交互。作为另一示例，在一些实施方案中，可基于如由成像系统确定的用户的瞳孔扩张来调节所显示的图像的亮度。

在一些实施方案中，HMD 5000可被配置为渲染和显示帧以至少部分地根据传感器输入为用户提供增强或混合现实(MR)视图。MR视图可包括渲染用户的环境，包括基于由一个或多个摄像机捕获的视频来渲染用户的环境中的真实对象，一个或多个摄像机捕获用户的环境的高质量、高分辨率视频用于显示。MR视图也可包括虚拟内容(例如，虚拟对象、真实对象的虚拟标签、用户的化身等)，该虚拟内容由MR系统生成并与用户的真实环境的所显示视图合成。

如图11中所示的HMD 5000的实施方案也可用于虚拟现实(VR)应用中以将VR视图提供给用户。在这些实施方案中，HMD 5000的控制器5060可渲染或获得包括虚拟内容的虚拟现实(VR)帧，并且所渲染的帧可被显示以向用户提供虚拟现实(与混合现实相对)体验。在这些系统中，VR帧的渲染可基于根据成像系统确定的注视点而受到影响。

扩展现实

真实环境是指人可以在不使用设备的情况下感知(例如，看、听、感觉)的环境。例如，办公环境可以包括家具诸如桌子、椅子和档案柜；结构件，诸如门、窗和墙壁；和对象诸如电子设备、书籍和书写工具。真实环境中的人可以感知环境的各个方面，并且可以能够与环境中的对象交互。

另一方面，扩展现实(XR)环境是使用电子设备部分或完全模拟的。例如，在XR环境中，用户可以看到或听到计算机生成的内容，该内容部分地或全部地代替用户对真实环境的感知。另外，用户可以与XR环境交互。例如，可以跟踪用户的移动，并且XR环境中的虚拟对象可以响应于用户的移动而改变。又如，向用户呈现XR环境的设备可确定用户正在将他们的手移向虚拟对象的虚拟位置，并且可以作为响应而移动虚拟对象。另外，可跟踪用户的头部位置和/或眼睛注视，并且虚拟对象可以移动以留在用户的视线中。

XR的示例包括增强现实(AR)、虚拟现实(VR)和混合现实(MR)。XR可被视为一系列现实，其中VR一方面让用户完全沉浸其中，用虚拟内容取代真实环境，另一方面用户无需设备辅助即可体验真实环境。介于两者之间的是AR和MR，它们将虚拟内容与真实环境混合在一起。

VR一般是指一种让用户完全沉浸其中并取代用户真实环境的XR类型。例如，可使用头戴式设备(HMD)将VR呈现给用户，该头戴式设备可包括用于将虚拟视觉环境呈现给用户的近眼显示器和用于呈现虚拟可听环境的头戴式耳机。在VR环境中，用户的移动可被跟踪并导致用户对环境的观察发生变化。例如，佩戴HMD的用户可以在真实环境中行走，而用户将看起来像是在他们正在经历的虚拟环境中行走。另外，用户可以由虚拟环境中的化身来表示，并且HMD可以使用各种传感器来跟踪用户的动作，从而为用户的化身设置动画。

AR和MR是指包括真实环境和虚拟内容的某种混合的一类XR。例如，用户可能手持平板电脑，该平板电脑包括捕获用户的真实环境的图像的相机。平板电脑可具有显示与虚拟对象的图像混合的真实环境的图像的显示器。AR或MR也可以通过HMD呈现给用户。HMD可具有不透明显示器，或者可使用透传显示器，这允许用户通过显示器看到真实环境，同时显示覆盖在真实环境上的虚拟内容。

存在许多类型的设备允许用户体验各种形式的XR。示例包括HMD、平视显示器(HUD)、基于投影仪的系统、智能窗、平板电脑、台式或膝上型计算机、智能手表、耳塞/耳机、可包括触觉设备的控制器、以及许多其他设备。如上文所提及，HMD或上文所列举的其它设备中的任意者可包括不透明显示器(例如，液晶显示器(LCD)、有机发光二极管(OLED)显示器或微LED显示器)或透视显示器。透视显示器可具有介质，光通过该介质被引导到用户的眼睛。介质可包括波导、全息介质、光学组合器、光学反射器和其它光学部件中的一者或多者。可利用显示源诸如OLED、微LED、硅上液晶(LCOS)、光扫描器、数字光投影(DLP)来生成图像并通过介质传播图像。

用于XR的设备还可包括音频输出设备，诸如向用户呈现音频(包括空间音频)的扬声器、刺激用户的触觉的触觉设备、以及其他刺激用户的任何感觉的设备。另外，设备可包括众多传感器，包括相机、麦克风、深度传感器、眼睛跟踪传感器、环境传感器、输入传感器、以及其它传感器以允许设备理解用户及真实环境。

本文所述的各种实施方案反映在以下条款中：

条款1.一种系统，所述系统包括：

一个或多个相机，所述一个或多个相机被配置为捕获眼睛的图像；

显示器；和

控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：

在所述一个或多个相机正在捕获所述眼睛的第一组图像时，调节所述显示器的亮度，其中执行调节所述亮度以刺激瞳孔直径的变化；

使提示被显示在所述显示器上，其中所述提示提供看不同方向的指令；以及

基于所述第一组图像和在所述眼睛正在看所述不同方向时捕获的第二组图像生成眼睛模型。

条款2.根据条款1所述的系统，其中为了生成眼睛模型，所述控制器还被配置为：

从所述第一组图像和所述第二组图像确定两个或更多个眼睛姿态，其中眼睛姿态指示相对于所述一个或多个相机的当前眼睛位置和取向；以及

至少部分地基于所述两个或更多个眼睛姿态来计算眼睛特征，其中所述眼睛特征包括角膜轮廓和瞳孔特征；

其中所述眼睛模型是基于所计算的眼睛特征来生成的。

条款3.根据条款2所述的系统，其中所述提示被显示在两个或更多个已知目标位置处，并且其中所述已知目标位置被用于确定所述一个或多个眼睛姿态。

条款4.根据条款1所述的系统，其中所述控制器还被配置为在注视跟踪过程中应用所述眼睛模型，在所述注视跟踪过程中，从由所述一个或多个相机捕获的所述眼睛的一个或多个图像导出所述眼睛的特征，并且基于所导出的特征和所述眼睛模型来估计注视方向。

条款5.根据条款4所述的系统，其中所述控制器还被配置为：

从所述注视跟踪过程接收指示错误率的反馈；以及

当确定所述错误率超过阈值时，基于由所述一个或多个相机捕获的所述眼睛的一个或多个附加图像来更新所述眼睛模型。

条款6.根据条款1所述的系统，其中所述系统是头戴式设备(HMD)、手持式设备或壁挂式设备。

本技术可收集并使用来自各种源的数据以生成眼睛模型和/或执行注视跟踪过程。在一些情况下，该数据可能包括唯一地标识特定个体的个人信息数据。这个个人信息数据可能包括基于位置的数据、人口统计数据、与用户的健康或健身水平相关联的数据或记录(例如，与生命体征、药物、锻炼等相关联的信息)、出生日期或其它个人或识别信息。

已经认识到，在某些情况下，这种个人信息数据可用于使用户受益。例如，个人信息数据可用于改善注视跟踪的准确性以改善用户视觉体验。

预期个人信息数据的收集、公开、传递、分析、存储或其他用途应遵守既定的隐私政策或实践。应当实施并一贯地使用一般被认为满足或超过工业或政府将个人信息数据保持为私有和安全的要求的隐私政策和实践。这些策略应该能容易地访问并且随着个人信息数据的收集或使用改变而更新。个人信息数据应当被收集用于合法且合理的用途，并且不在这些合法用途之外共享或出售。收集或共享应当在接收到用户的通知同意之后发生。用于保卫和保障对个人信息数据的访问以及确保有权访问个人信息数据的其他人遵守其隐私政策和流程的附加步骤应被考虑。可执行由第三方进行的评估以证明对既定隐私策略和实践的遵守。策略和实践应当针对收集或访问的特定类型的个人信息数据进行调整，并且适用于适用法律和标准，包括特定于管辖范围的考虑。例如，在美国对某些健康数据的收集或访问可能受联邦或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而对相同健康数据的收集或访问在其他国家可能受制于其他规章和政策。因此，在每个国家应为不同类型的个人信息数据实施不同的隐私实践。

可以设想，在某些情况下，用户可以选择性地阻止使用或访问个人信息数据。可提供硬件或软件特征，以防止或阻止对个人信息数据的访问。例如，本技术可被配置为允许用户在设置期间或其后随时对收集个人信息数据的“选择加入”或“选择退出”。在另一示例中，用户可选择不提供所述技术所捕获的图像可与其相关联的个人数据。在又一示例中，用户可选择限制这样的个人数据和/或图像的使用。本技术还可提供与个人信息数据的访问或使用有关的通知。例如，可响应于用户下载可访问用户的个人信息数据的应用而提供第一通知，并且可就在应用访问个人信息数据之前提供第二通知以提醒用户。

应管理和处理个人信息数据以降低无意或未经授权访问或使用的风险。通过一旦不再需要就限制数据的收集和删除数据可降低风险。当适用时，数据去标识可用于保护用户的隐私。例如，可通过移除特定标识符、控制存储的数据的量或特异性(例如，在城市级而非地址级收集家庭位置数据)、控制数据的存储方式(例如，跨多个用户聚合数据)、或其它技术来执行去标识。

尽管本技术可广泛地包括个人信息数据的使用，但是可在不访问这样的个人信息数据的情况下实施本技术。换句话讲，本技术不会由于缺少一些或所有这样的个人信息数据而被致使不可操作。例如，该技术可基于非个人信息数据、减少量的个人信息数据、或公开可获得的信息来生成眼睛模型和/或执行注视跟踪过程，使得任何图像或眼睛模型不可由其他人以可与特定用户相关联的方式访问。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种系统，包括：

一个或多个相机，所述一个或多个相机被配置为捕获眼睛的图像；

控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：

从由所述一个或多个相机捕获的所述眼睛在不同取向上的两个或更多个图像来确定两个或更多个眼睛姿态，其中眼睛姿态指示相对于所述一个或多个相机的当前眼睛位置和取向；

至少部分地基于所述两个或更多个眼睛姿态来计算眼睛特征，其中所述眼睛特征包括瞳孔特征；

基于所计算的眼睛特征来生成或更新眼睛模型；以及

在注视跟踪过程中应用所述眼睛模型，在所述注视跟踪过程中，从由所述一个或多个相机捕获的所述眼睛的一个或多个图像导出所述眼睛的特征，并且基于所导出的特征和所述眼睛模型来估计注视方向。

2.根据权利要求1所述的系统，还包括显示器，其中所述控制器还被配置为在所述一个或多个相机正在捕获所述眼睛在相对于所述一个或多个相机的不同取向上的所述两个或更多个图像时调节所述显示器的亮度，其中执行调节所述亮度以刺激瞳孔直径的变化。

3.根据权利要求1所述的系统，还包括显示器，其中所述控制器还被配置为使得提示被显示在所述显示器上，其中所述提示提供看向两个或更多个不同方向的指令，使得所述一个或多个相机捕获所述眼睛在相对于所述一个或多个相机的不同取向上的所述两个或更多个图像。

4.根据权利要求3所述的系统，其中所述提示被显示在两个或更多个已知目标位置处，并且其中所述已知目标位置被用于确定所述一个或多个眼睛姿态。

5.根据权利要求1所述的系统，其中所述控制器还被配置为：

从所述注视跟踪过程接收指示错误率的反馈；以及

当确定所述错误率超过阈值时，基于由所述一个或多个相机捕获的所述眼睛的一个或多个附加图像来更新所述眼睛模型。

6.根据权利要求1所述的系统，其中为了基于所计算的眼睛特征来生成或更新眼睛模型，所述控制器被配置为将优化过程应用于所述眼睛的两个或更多个观察，每个观察对应于由所述一个或多个相机在不同取向上捕获的一个或多个图像。

7.根据权利要求1所述的系统，其中存在两个相机，每个相机被配置为捕获所述眼睛处于每个取向的单独图像。

8.根据权利要求1所述的系统，还包括照明源，所述照明源包括多个发光元件，所述多个发光元件被配置为向所述眼睛发射光以由所述相机成像。

9.根据权利要求8所述的系统，其中所述发光元件包括发光二极管(LED)。

10.根据权利要求8所述的系统，其中所述发光元件包括红外(IR)光源，并且其中所述一个或多个相机是红外相机。

11.根据权利要求1所述的系统，其中所述系统是头戴式设备(HMD)、手持式设备或壁挂式设备。

12.一种方法，包括：

由包括一个或多个处理器的控制器执行以下操作：

从眼睛在不同取向上的两个或更多个图像确定两个或更多个眼睛姿态，其中所述图像由一个或多个相机捕获，其中眼睛姿态指示相对于所述一个或多个相机的当前眼睛位置和取向；

至少部分地基于所述两个或更多个眼睛姿态来计算眼睛特征，其中所述眼睛特征包括瞳孔特征；

基于所计算的眼睛特征来生成或更新眼睛模型；以及

在注视跟踪过程中应用所述眼睛模型，在所述注视跟踪过程中，从由所述一个或多个相机捕获的所述眼睛的一个或多个图像导出所述眼睛的特征，并且基于所导出的特征和所述眼睛模型来估计注视方向。

13.根据权利要求12所述的方法，还包括在所述一个或多个相机正在捕获所述眼睛在相对于所述一个或多个相机的不同取向上的所述两个或更多个图像时调节光源的亮度，其中调节所述亮度刺激瞳孔直径的变化。

14.根据权利要求12所述的方法，还包括使得可见提示被显示，其中所述提示提供看向两个或更多个不同方向的指令，使得所述一个或多个相机捕获所述眼睛在相对于所述一个或多个相机的不同取向上的所述两个或更多个图像。

15.根据权利要求14所述的方法，其中所述提示被显示在两个或更多个已知目标位置处，并且其中所述已知目标位置被用于确定所述一个或多个眼睛姿态。

16.根据权利要求12所述的方法，还包括：

从所述注视跟踪过程接收指示错误率的反馈；以及

当确定所述错误率超过阈值时，基于由所述一个或多个相机捕获的所述眼睛的一个或多个附加图像来更新所述眼睛模型。

17.根据权利要求12所述的方法，其中基于所计算的眼睛特征来生成或更新眼睛模型包括将优化过程应用于所述眼睛的两个或更多个观察，每个观察对应于由所述一个或多个相机在不同取向上捕获的一个或多个图像。

18.根据权利要求12所述的方法，还包括经由两个相机来捕获所述眼睛处于每个取向的单独图像。

19.根据权利要求12所述的方法，还包括由包括多个红外(IR)发光二极管(LED)的照明源朝向所述眼睛发射光以由所述一个或多个相机成像，并且其中所述一个或多个相机是红外相机。

20.根据权利要求12所述的方法，其中所述一个或多个相机和所述控制器是头戴式设备(HMD)、手持式设备或壁挂式设备的部件。