CN109844610A

CN109844610A - 眼睛跟踪系统

Info

Publication number: CN109844610A
Application number: CN201780064399.1A
Authority: CN
Inventors: K·贝尔克纳-西斯里克基; R·J·莫塔; 林世焄; 金民雄; 齐藤贤一; B·佩特尔詹斯基; J·C·索尔斯; 筱原义和
Original assignee: Apple Computer Inc
Current assignee: Apple Inc
Priority date: 2016-10-21
Filing date: 2017-10-20
Publication date: 2019-06-04
Also published as: US20180113508A1; EP3516444A1; WO2018075949A1; US10877556B2

Abstract

本发明题为“眼睛跟踪系统”。本申请公开了一种用于检测头戴式显示器(HMD)中用户的眼睛的位置和运动的眼睛跟踪系统。眼睛跟踪系统可包括至少一个近红外(NIR)眼睛跟踪相机，至少一个近红外(NIR)眼睛跟踪相机被定位在用户的面部的每个侧面处，并且指向HMD的目镜的面向眼睛的表面；照射源，照射源朝向用户的眼睛发射NIR光；以及热镜，热镜位于目镜的面向眼睛的表面和用户的眼睛之间。热镜反射NIR光的至少一部分，同时允许可见光经过。相机捕获由热镜反射的用户的眼睛的图像。将热镜定位在目镜的面向眼睛的表面处或附近允许相机被放置在用户的面部的侧面处，而不必通过目镜成像。

Description

眼睛跟踪系统

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用VR的模拟环境和/或MR的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。

眼睛跟踪器是用于估计眼睛位置和眼睛运动的设备。眼睛跟踪系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入设备。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。

发明内容

描述了用于虚拟和混合或增强现实(VR/AR)应用中的眼睛跟踪的方法和装置的各种实施方案。描述了诸如头戴式耳机、头盔、护目镜或眼镜的VR/AR设备(本文称为头戴式显示器(HMD))，该VR/AR设备包括用于在用户的眼睛前面显示包括左图像和右图像的帧以因此将3D虚拟视图提供给用户的显示器(例如，左显示器和右显示器)。HMD可包括左光学透镜和右光学透镜(本文中称为目镜)，左光学透镜和右光学透镜(本文中称为目镜)位于显示器和用户的眼睛之间。目镜在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜的光学无限远。

HMD可包括用于检测用户的眼睛的位置和运动的眼睛跟踪系统。眼睛跟踪系统可包括至少一个眼睛跟踪相机(例如，近红外(NIR)相机)，至少一个眼睛跟踪相机(例如，近红外(NIR)相机)被定位在用户的面部的每个侧面处，并且指向相应目镜的面向眼睛的表面；照射源(例如，NIR光源)，照射源(例如，NIR光源)朝向用户的眼睛发射光(例如，NIR光)；以及热镜，热镜位于目镜的面向眼睛的表面和用户的眼睛之间。将热镜表面定位在目镜的面向眼睛的表面处或附近允许眼睛跟踪相机被放置在用户的面部的侧面处(例如，在用户的颊骨处或附近)，而不必通过目镜成像。

在一些实施方案中，HMD的光源发射NIR光以照射用户的眼睛。NIR光的一部分从用户的眼睛反射到位于HMD的目镜的面向眼睛的表面处或附近的热镜。热镜反射NIR光的至少一部分，同时允许可见光经过。例如，位于用户的颊骨处或附近的NIR相机捕获由热镜反射的用户的眼睛的图像。

可分析由眼睛跟踪系统捕获的图像以检测用户的眼睛的位置和运动，或检测关于眼睛的其他信息，诸如瞳孔扩张。例如，从眼睛跟踪图像估计的显示器上的注视点可使得能够与HMD的近眼显示器上示出的内容进行基于注视的交互。其他应用可包括但不限于创建用于VR/AR环境中的化身的眼睛图像动画。

附图说明

图1A和图1B示出了用于VR/AR头戴式显示器(HMD)的眼睛跟踪系统。

图2示出了根据一些实施方案的实现眼睛跟踪系统的VR/AR HMD，眼睛跟踪系统包括位于目镜的面向眼睛的表面和用户的眼睛之间的热镜，以及位于用户的面部的侧面处的眼睛跟踪相机。

图3示出了根据一些实施方案的实现如图2所示的眼睛跟踪系统的示例性HMD的侧视图。

图4是示出根据一些实施方案的示例性VR/AR系统的部件的框图，示例性VR/AR系统包括如图2所示的眼睛跟踪系统。

图5是示出根据一些实施方案的HMD的操作的方法的高级流程图，HMD包括如图2至图4中所示的眼睛跟踪系统。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”。该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”。如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

“或”。在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。

具体实施方式

描述了用于虚拟和混合或增强现实(VR/AR)应用中的眼睛跟踪的方法和装置的各种实施方案。描述了诸如头戴式耳机、头盔、护目镜或眼镜的VR/AR设备(本文中称为头戴式显示器(HMD))，该VR/AR设备包括用于在用户的眼睛前面显示包括左图像和右图像的帧以因此将3D虚拟视图提供给用户的显示器(例如，左显示器和右显示器)。HMD可包括左光学透镜和右光学透镜(本文中称为目镜)，左光学透镜和右光学透镜(本文中称为目镜)位于显示器和用户的眼睛之间。目镜在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜的光学无限远。HMD可包括用于检测用户的眼睛的位置和运动或用于检测关于眼睛的其他信息(诸如瞳孔扩张)的眼睛跟踪系统(眼睛跟踪系统也可被称为注视跟踪系统)。例如，从由眼睛跟踪系统捕获的信息估计的显示器上的注视点可允许与近眼显示器上所示的内容的基于注视的交互。其他应用可包括但不限于创建用于VR/AR环境中的化身的眼睛图像动画。

描述了用于HMD的眼睛跟踪系统的实施方案，眼睛跟踪系统包括至少一个眼睛跟踪相机(例如，近红外(NIR)相机)，至少一个眼睛跟踪相机(例如，近红外(NIR)相机)被定位在用户的面部的每个侧面处(例如，在用户的颊骨处或附近)，并且指向相应目镜的面向眼睛的表面；照射源(例如，NIR光源)，照射源(例如，NIR光源)朝向用户的眼睛发射光(例如，NIR光)；以及热镜，热镜位于目镜的面向眼睛的表面和用户的眼睛之间。热镜可被定义为反射镜，反射镜充当二向色滤光器，以反射近红外范围内的光，同时允许可见光经过。在一些实施方案中，热镜可被实现为目镜的面向眼睛的表面上的二向色滤光器涂层；目镜的面向眼睛的表面可为但不一定是平面的。另选地，热镜可被实现为被定位在目镜的面向眼睛的表面处或附近的单独部件(例如，平玻璃板或带有二向色滤光器涂层或层的其他透明材料)。将热镜表面定位在目镜的面向眼睛的表面处或附近且因此在目镜和用户的眼睛之间允许眼睛跟踪相机被放置在用户的面部的侧面处(例如，在用户的颊骨处或附近)，而不必通过目镜成像。

虽然用于HMD的眼睛跟踪系统的实施方案在本文中一般被描述为包括至少一个眼睛跟踪相机，至少一个眼睛跟踪相机被定位在用户的面部的每个侧面处以跟踪用户的眼睛中的两者的注视，但是也可实现包括至少一个眼睛跟踪相机的用于HMD的眼睛跟踪系统，至少一个眼睛跟踪相机仅被定位在用户的面部的一个侧面处，以仅跟踪用户的眼睛中的一个的注视。

图1A和图1B示出了用于VR/AR HMD的眼睛跟踪系统。VR/AR HMD 100可包括安装在可佩戴外壳中的显示器110和两个目镜透镜120。用户通过目镜120朝显示器110看。目镜120在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜120的光学无限远。为了将眼睛跟踪相机140装配到HMD 100外壳中，已经使用两个不同的相机光路。如图1A的HMD 100A所示，在第一相机光路中，相机140通过目镜120捕获光。如图1B的HMD 100B所示，在第二相机光路中，相机140具有用户的眼睛的直接视图。

参考图1A的HMD 100A，相机140被定位成使得通过目镜120捕获眼睛192的正面视图。为了从用户的视场移除相机140，热镜142被定位在目镜120和显示器110之间，以远离可见光显示器110光路折叠相机140光路。(多个)NIR光源130可定位在HMD 100A中(例如，在目镜120周围或在HMD 100A中的其他地方)，以用NIR光照射用户的眼睛192。

参考图1B的HMD 100B，相机140不通过目镜120看，而是具有对用户的眼睛192的直接视图。对于该光路，相机140通常安装在用户的鼻部的侧面、颊骨194的侧面处或眼镜框架的顶部或底部上。HMD 100B外壳的物理约束可确定哪个位置适合于给定系统。由于目镜120接近用户的眼睛192，所以没有足够的空间来放置热镜以远离用户的面部折叠相机120，这与在HMD 100A中完成的一样。结果，相机120没有对用户的眼睛192的正面视图。因此，在平行于显示器110平面的标称角膜平面上的照相机120的轴向主射线的入射角可基本上小于90度。

图1A和图1B中所示的相机光路具有优点和缺点。图1A的通过目镜视图允许眼睛的更居中的视图，但是必须处理由目镜引入的眼睛图像中的失真。图1B的直接视图不穿过目镜，但是可从倾斜位置朝眼睛看，由于失真、不足的景深和遮蔽，这可引起极端注视角度处的眼睛特征的减少的检测精度。

图2示出了根据一些实施方案的实现眼睛跟踪系统的VR/AR HMD 200，该眼睛跟踪系统包括位于目镜220的面向眼睛的表面和用户的眼睛292之间的热镜242，以及位于用户的面部的侧面处(例如，在用户的颊骨294处或附近)的眼睛跟踪相机240。VR/AR HMD 200可包括安装在可佩戴外壳中的显示器210和两个目镜220。用户通过目镜220朝显示器210看。目镜220在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜220的光学无限远。眼睛跟踪系统可例如用于跟踪用户290的眼睛的位置和运动。在一些实施方案中，眼睛跟踪系统可代替地或也可用于跟踪用户290的瞳孔的扩张或用户290的眼睛的其他特性。(多个)NIR光源230(例如，NIR LED)可被定位在HMD 200中(例如，在目镜220周围或在HMD 200中的其他地方)，以用NIR光照射用户的眼睛292。热镜242被定位在目镜220的面向眼睛的表面处或附近。用于眼睛跟踪相机240的光路经由从热镜242的反射提供眼睛292的直接视图。因此，图2的眼睛跟踪系统提供直接视图(即，不通过目镜220)眼睛跟踪相机240，直接视图(即，不通过目镜220)眼睛跟踪相机240捕获由光源230发射、从用户的眼睛反射和由位于目镜220的面向眼睛的表面处的热镜242反射到相机240的NIR光的一部分，以使用户的眼睛292成像。图2的眼睛跟踪系统提供眼睛跟踪相机光路，眼睛跟踪相机光路使得能够有像图1B中所示的相机光路中那样的更小的倾斜角度，但是这避免像在图1A中所示的相机光路中那样的通过目镜看。

在一些实施方案中，图2的HMD眼睛跟踪系统可使用带有平的或凸面的面向眼睛的表面的目镜220，以及被定位在目镜220的面向眼睛的表面处或附近的热镜242。通过将热镜242定位在目镜220的面向眼睛的表面上或附近，可折叠相机光路，导致与如图1B中所示的直接视图眼睛跟踪相机架构中的相比相机轴线在中心瞳孔位置上的更大的入射角(接近90度)。

在一些实施方案中，热镜242可被实现为安装或附接到目镜220的面向眼睛的表面的单独部件(例如，平片或玻璃板或带有热镜涂层的其他透明材料)，或者另选地被实现为在目镜220的面向眼睛的表面上的涂层。在这两种情况下，热镜的特性需要考虑在近红外(NIR)光谱中以及在可见光谱上在多种角度上的反射率。表1中描述了示例性热镜规范，包括在热镜上在标称相机入射角(例如，30度)处>90％的NIR反射率、在0度处小于1％的可见光反射率，以及在>55度入射角处小于10％反射率。

在一些实施方案中，显示器210发射可见光范围内的光，并且不发射NIR范围内的光，并且因此不会在眼睛跟踪系统中引入噪声。

表1提供了热镜220的示例性实施方案的参数，并且不旨在为限制性的。单元格中给出的值可在合理的限制内变化，同时仍取得类似的结果。例如，在第一列第四行(850nm+/-25nm)中给出的近红外光的值可为940纳米(nm)+/-25nm，或者可使用其他值。作为另一实施例，在第三列第一行中给出的30度的入射角和/或在第四列第一行中给出的55度的入射角可变化几度。

表1

图3示出了根据一些实施方案的实现如图2所示的眼睛跟踪系统的示例性HMD 200的侧视图。需注意，如图3中所示的HMD 200以举例的方式给出，并且不旨在为限制性的。在各种实施方案中，HMD 200的形状、大小和其他特征可不同，并且HMD 200的部件的位置、数量、类型和其他特征可变化。眼睛跟踪系统可例如用于跟踪用户290的眼睛的位置和运动。在一些实施方案中，眼睛跟踪系统可代替地或也可用于跟踪用户290的瞳孔的扩张或用户290的眼睛的其他特性。由眼睛跟踪系统收集的信息可用于各种VR或AR系统功能。例如，可从由眼睛跟踪系统捕获的图像估计显示器210上的注视点；所估计的注视点可例如使得能够与近眼显示器210上示出的内容进行基于注视的交互。眼睛跟踪信息的其他应用可包括但不限于创建用于VR或AR环境中的化身的眼睛图像动画。作为另一实施例，在一些实施方案中，由眼睛跟踪系统收集的信息可用于调整将投影的图像的渲染，并且/或者基于用户290的眼睛看的方向和角度来调整通过HMD 200的投影系统进行的图像的投影。作为另一实施例，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户290的瞳孔扩张来调节所投影的图像的亮度。

如图3所示，HMD 200可被定位在用户290的头部上，使得显示器210和目镜220被设置在用户290的眼睛292的前面。一个或多个NIR光源230(例如，NIR LED)可被定位在HMD200中(例如，在目镜220周围或在HMD 200中的其他地方)，以用NIR光照射用户290的眼睛292。在一些实施方案中，(多个)NIR光源230可发射不同NIR波长(例如，850nm和940nm)的光。热镜242被定位在目镜220的面向眼睛的表面处或附近。可根据(多个)眼睛跟踪相机240的(多个)NIR波长、相机240的位置和显示器210光学规范来优化热镜242。至少一个眼睛跟踪相机240(例如，NIR相机，例如，以850nm或940nm或以一些其他NIR波长操作的400x400像素计数相机)位于用户290的面部的每个侧面处，例如，在用户的眼睛下面和在如图3所示的用户290的颊骨处或附近。需注意，眼睛跟踪相机240的位置和角度以举例的方式给出，并且不旨在为限制性的。虽然图3示出了位于用户290的面部的每个侧面上的单个眼睛跟踪相机240，但是在一些实施方案中，在用户290的面部的每个侧面上可存在两个或更多个NIR相机240。例如，在一些实施方案中，可在用户的面部的每个侧面上使用带有较宽视场(FOV)的相机240和带有较窄FOV的相机240。作为另一实施例，在一些实施方案中，可在用户的面部的每个侧面上使用以一个波长(例如，850nm)操作的相机240和以不同波长(例如，940nm)操作的相机240。由(多个)光源230发射的NIR光的一部分从用户290的眼睛反射，由热镜242反射到相机240，并且由相机242捕获以使用户的眼睛292成像。

带有如图3所示的眼睛跟踪系统的HMD 200的实施方案可例如用于增强或混合(AR)应用，以将增强或混合现实视图提供给用户290。虽然未示出，但是在一些实施方案中，HMD 200可包括例如位于HMD 200的外部表面上的一个或多个传感器，一个或多个传感器收集关于用户290的外部环境的信息(视频、深度信息、照明信息等)；传感器可将所收集的信息提供给VR/AR系统的控制器(未示出)。在一些实施方案中，传感器可包括一个或多个可见光相机(例如，RGB摄像机)，一个或多个可见光相机(例如，RGB摄像机)捕获用户的环境的视频，该视频可用于向用户290提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机捕获的真实环境的视频流可由HMD 200的控制器处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给HMD 200的投影系统用于在显示器210上显示。

带有如图3所示的眼睛跟踪系统的HMD 200的实施方案也可用于虚拟现实(VR)应用中以将VR视图提供给用户290。在这些实施方案中，HMD 200的控制器可渲染或获得包括虚拟内容的虚拟现实(VR)帧，并且所渲染的帧可被提供给HMD 200的投影系统用于在显示器210上显示。

控制器可在HMD 200中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到HMD 200的外部装置(例如，计算系统)来实现。控制器可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器可渲染帧(每个帧包括左图像和右图像)，该帧包括至少部分地基于从传感器获得的输入的虚拟内容，并且可将帧提供给HMD 200的投影系统用于显示到显示器210。图4还示出了根据一些实施方案的HMD和VR/AR系统的部件。

图4是示出根据一些实施方案的示例性VR/AR系统1900的部件的框图，该示例性VR/AR系统1900包括如本文所述的眼睛跟踪系统。在一些实施方案中，VR/AR系统1900可包括HMD 2000，诸如头戴式耳机、头盔、护目镜或眼镜。HMD 2000可实施各种类型的虚拟现实投影仪技术中的任一种。例如，HMD 2000可包括VR投影系统，VR投影系统包括投影仪2020，投影仪2020在由用户通过目镜2220A和目镜2220B观看的屏幕或显示器2022A和显示器2022B上显示包括左图像和右图像的帧。VR投影系统可例如是DLP(数字光处理)、LCD(液晶显示器)或LCoS(硅基液晶)技术投影系统。为了在3D虚拟视图中创建三维(3D)效果，两个图像中不同深度或距离处的对象可作为距离的三角测量的函数向左或向右偏移，其中较近的对象比更远的对象偏移得更多。需注意，在一些实施方案中，可使用其他类型的投影系统。

在一些实施方案中，HMD 2000可包括控制器2030，控制器2030被配置为实现VR/AR系统1900的功能，并且生成由投影仪2020显示的帧(每个帧包括左图像和右图像)。在一些实施方案中，HMD 2000也可包括存储器2032，存储器2032被配置为存储由控制器2030可执行的VR/AR系统的软件(代码2034)，以及当在控制器2030上执行时可由VR/AR系统1900使用的数据2038。在一些实施方案中，HMD 2000也可包括一个或多个接口(例如，蓝牙技术接口、USB接口等)，一个或多个接口(例如，蓝牙技术接口、USB接口等)被配置为经由有线或无线连接与外部设备2100通信。在一些实施方案中，针对控制器2030描述的功能中的至少一部分可由外部装置2100实现。外部装置2100可为或可包括任何类型的计算系统或计算设备，诸如台式计算机、笔记本或膝上型计算机、平板或平板设备，智能电话、手持式计算设备、游戏控制器、游戏系统等等。

在各种实施方案中，控制器2030可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器2030可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器2030可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器2030可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器2030可包括实现微码技术的电路。控制器2030可包括各自被配置为执行指令的一个或多个处理核心。控制器2030可包括一个或多个级别的高速缓存，其可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器2030可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲器中(例如，包括整个帧的像素数据的帧缓冲器)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器2030可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/译码器等。

存储器2032可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。

在一些实施方案中，HMD 2000可包括一个或多个传感器2050，一个或多个传感器2050收集关于用户的环境的信息(视频、深度信息、照明信息等)。传感器2050可将信息提供给VR/AR系统1900的控制器2030。在一些实施方案中，传感器2050可包括但不限于可见光相机(例如，摄像机)。

如图3所示，HMD 2000可被定位在用户的头部上，使得显示器2022A和显示器2022B以及目镜2220A和目镜2220B被设置在用户的眼睛2292A和眼睛2292B的前面。NIR光源2230A和NIR光源2230B(例如，NIR LED)可被定位在HMD 2000中(例如，在目镜2220A和目镜2220B周围或在HMD 2000中的其他地方)，以用NIR光照射用户的眼睛2292A和眼睛2292B。热镜2242A和热镜2242B被定位在目镜2220A和目镜2220B的面向眼睛的表面处或附近。眼睛跟踪相机2240A和眼睛跟踪相机2240B(例如，NIR相机，例如，400x400像素计数相机)位于用户的面部的每个侧面处，例如，在如图3所示的用户的颊骨处或附近。需注意，眼睛跟踪相机2240A和眼睛跟踪相机2240B的位置以举例的方式给出，并且不旨在为限制性的。在一些实施方案中，可存在位于用户的面部的每个侧面上的单个眼睛跟踪相机2240。在一些实施方案中，在用户的面部的每个侧面处可存在两个或更多个NIR相机2240。例如，在一些实施方案中，广角相机2240和较窄角度相机2240可用于用户的面部的每个侧面上。由光源2230A和光源2230B发射的NIR光的一部分从用户的眼睛2292A和眼睛2292B反射，由热镜2242A和热镜2242B反射到相应的眼睛跟踪相机2240A和眼睛跟踪相机2240B，并且由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获以使用户的眼睛2292A和眼睛2292B成像。由相机2240A和相机2240B捕获的眼睛跟踪信息可被提供给控制器2030。控制器2030可分析眼睛跟踪信息(例如，用户的眼睛2292A和眼睛2292B的图像)以确定眼睛2292A和眼睛2292B的眼睛位置和运动、瞳孔扩张或其他特性。

由控制器2030获得和分析的眼睛跟踪信息可由控制器用于实行各种VR或AR系统功能。例如，可从由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获的图像估计显示器2022A和显示器2022B上的注视点；所估计的注视点可例如使得能够与显示器2022A和显示器2022B上所示的内容进行基于注视的交互。眼睛跟踪信息的其他应用可包括但不限于创建用于VR或AR环境中的化身的眼睛图像动画。作为另一实施例，在一些实施方案中，从眼睛跟踪相机2240A和眼睛跟踪相机2240B获得的信息可用于调整将投影的图像的渲染，并且/或者基于用户的眼睛看的方向和角度调整通过HMD 2000的投影仪2020进行的图像的投影。作为另一实施例，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户的瞳孔扩张来调节所投影的图像的亮度。

在一些实施方案中，HMD 2000可被配置为渲染和显示帧以至少部分地根据传感器2050输入为用户提供增强或混合现实(AR)视图。AR视图可包括渲染用户的环境，包括基于由一个或多个摄像机捕获的视频来渲染用户的环境中的真实对象，一个或多个摄像机捕获用户的环境的高质量、高分辨率视频用于显示。AR视图也可包括虚拟内容(例如，虚拟对象、真实对象的虚拟标签、用户的化身等)，该虚拟内容由VR/AR系统1900生成并与用户的真实环境的所投影的视图合成。

如图4中所示的HMD 2000的实施方案也可用于虚拟现实(VR)应用以将VR视图提供给用户。在这些实施方案中，HMD 2000的控制器2030可渲染或获得包括虚拟内容的虚拟现实(VR)帧，并且所渲染的帧可被提供给HMD 2000的投影仪2020用于显示给显示器2022A和显示器2022B。

图5是示出根据一些实施方案的HMD的操作的方法的高级流程图，HMD包括如图2至图4中所示的眼睛跟踪系统。如3010处指示的，HMD的光源发射NIR光以照射用户的眼睛。如3020处指示的，NIR光的一部分从用户的眼睛反射到位于HMD的光学透镜(目镜)的面向眼睛的表面处或附近的热镜。如3030处指示的，热镜反射NIR光的至少一部分，同时允许可见光经过。如3040处指示的，位于用户的颊骨处或附近的NIR相机捕获由热镜反射的用户的眼睛的图像。从元素3060返回到元素3010的箭头指示只要用户正在使用HMD，眼睛跟踪过程就可为连续过程。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其它分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其它变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims

1.一种系统，包括：

头戴式显示器(HMD)，所述头戴式显示器(HMD)被配置为显示用于由用户观看的视觉内容，其中所述HMD包括：

至少一个显示屏，所述至少一个显示屏被配置为显示用于由所述用户观看的视觉内容的帧；

左光学透镜和右光学透镜，所述左光学透镜和右光学透镜位于所述至少一个显示屏和所述用户的左眼和右眼之间；

一个或多个红外或近红外光源，所述一个或多个红外或近红外光源被配置为朝向所述用户的眼睛发射红外或近红外光；

左热镜和右热镜，所述左热镜和右热镜位于所述左光学透镜和右光学透镜的面向眼睛的表面处或附近，其中所述热镜被配置为反射从所述用户的眼睛返回的红外或近红外光且允许来自所述至少一个显示屏的可见光经过；以及

左红外或近红外相机和右红外或近红外相机，所述左红外或近红外相机和右红外或近红外相机被配置为捕获由所述左热镜和右热镜反射的所述红外或近红外光的一部分，以生成所述用户的眼睛的图像。

2.根据权利要求1所述的系统，其中所述左红外或近红外相机和右红外或近红外相机被配置为当佩戴所述HMD时被定位在所述用户的左颊骨和右颊骨处或附近。

3.根据权利要求1所述的系统，其中所述左红外或近红外相机和右红外或近红外相机包括使所述用户的左眼成像的至少一个相机，以及使所述用户的右眼成像的至少一个相机。

4.根据权利要求1所述的系统，其中所述热镜被配置为在所述热镜上以标称相机入射角提供>90％的近红外光反射率，以0度提供小于1％的可见光反射率，并且以>55度的入射角提供小于10％的可见光反射率。

5.根据权利要求3所述的系统，其中所述标称相机入射角为30度。

6.根据权利要求1所述的系统，其中所述热镜被实现为所述左光学透镜和右光学透镜的所述面向眼睛的表面上的涂层。

7.根据权利要求1所述的系统，其中所述热镜被实现为位于所述左光学透镜和右光学透镜的所述面向眼睛的表面处或附近的透明材料的平片的表面上的涂层。

8.根据权利要求1所述的系统，还包括控制器，所述控制器包括一个或多个处理器，其中所述控制器被配置为：

从所述左红外或近红外相机和右红外或近红外相机获得所述用户的眼睛的所述图像；以及

分析所述用户的眼睛的所述图像以确定眼睛跟踪信息。

9.根据权利要求8所述的系统，其中所述眼睛跟踪信息包括眼睛位置、眼睛运动或瞳孔扩张中的一个或多个。

10.根据权利要求8所述的系统，其中所述控制器还被配置为渲染所述帧用于由所述至少一个显示屏显示。

11.根据权利要求1所述的系统，还包括一个或多个可见光相机，所述一个或多个可见光相机被配置为捕获所述用户的环境的视图，其中所述视觉内容包括合成到所述用户的环境的所述视图中的虚拟内容，以将增强或混合现实视图提供给所述用户。

12.根据权利要求1所述的系统，其中所述视觉内容包括虚拟内容以将虚拟现实视图提供给所述用户。

13.根据权利要求1所述的系统，其中所述左光学透镜和右光学透镜被配置为在所述光学透镜的光学无限远处或附近的距离处形成由所述至少一个显示屏显示的所述帧的虚拟图像。

14.一种方法，包括：

通过头戴式显示器(HMD)的一个或多个光源发射NIR光以照射用户的眼睛；

在位于所述HMD的光学透镜的面向眼睛的表面处或附近的热镜处接收从所述用户的眼睛反射的所述NIR光的一部分；

由所述热镜反射所接收的NIR光的至少一部分；以及

由被定位在所述用户的颊骨处或附近的所述HMD的NIR相机捕获如由所述热镜反射的所述用户的眼睛的图像。

15.根据权利要求14所述的方法，其中所述HMD被配置为将虚拟现实(VR)或增强现实(AR)视图显示给所述用户。

16.根据权利要求14所述的方法，其中所述红外或近红外相机包括使所述用户的左眼成像的至少一个相机，以及使所述用户的右眼成像的至少一个相机。

17.根据权利要求14所述的方法，其中所述热镜被配置为在所述热镜上以标称相机入射角提供>90％的近红外光反射率，以0度提供小于1％的可见光反射率，并且以>55度的入射角提供小于10％的可见光反射率。

18.根据权利要求14所述的方法，其中所述标称相机入射角为30度。

19.根据权利要求14所述的方法，其中所述热镜被实现为所述左光学透镜和右光学透镜的所述面向眼睛的表面上的涂层，或者被实现为位于所述左光学透镜和右光学透镜的所述面向眼睛的表面处或附近的透明材料的平片的表面上的涂层。

20.根据权利要求14所述的方法，还包括：

通过所述HMD的控制器从所述红外或近红外相机获得所述用户的眼睛的所述图像；以及

由所述控制器分析所述用户的眼睛的所述图像，以确定眼睛跟踪信息，其中所述眼睛跟踪信息包括眼睛位置、眼睛运动或瞳孔扩张中的一个或多个。