CN112346558A - 眼睛跟踪系统 - Google Patents

Abstract

本公开涉及眼睛跟踪系统。本申请公开了一种用于检测头戴式显示器(HMD)中用户的眼睛的位置和运动的眼睛跟踪系统。眼睛跟踪系统包括至少一个眼睛跟踪相机、朝向用户的眼睛发射红外光的照明源、和位于目镜处的衍射光栅。衍射光栅重定向或反射红外光的从用户的眼睛反射的至少一部分，同时允许可见光通过。相机从被衍射光栅重定向或反射的红外光捕获用户的眼睛的图像。

Description

眼睛跟踪系统

优先权信息

本申请要求于2019年8月6日提交的题为“EYE TRACKINGSYSTEM”的优先权的权益， 其内容以引用方式全文并入本文。

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用VR的模拟环境和/或MR的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。

眼睛跟踪器是用于估计眼睛位置和眼睛运动的装置。眼睛跟踪系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入装置。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。

发明内容

描述了用于虚拟和混合或增强现实(VR/AR)应用中的眼睛跟踪的方法和装置的各种实施方案。描述了诸如头戴式耳机、头盔、护目镜或眼镜的VR/AR装置(本文中称为头戴式显示器(HMD))，该VR/AR装置包括用于在用户的眼睛前面显示包括左图像和右图像的帧以因此将3D虚拟视图提供给用户的显示器(例如，左显示面板和右显示面板)。HMD可包括位于显示器和用户的眼睛之间的左目镜和右目镜，每个目镜包括一个或多个光学透镜。目镜在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜的光学无限远。

HMD可包括用于检测用户的眼睛的位置和运动的眼睛跟踪系统。眼睛跟踪系统可包括指向相应目镜的表面的至少一个眼睛跟踪相机(例如，红外(IR)相机)、朝向用户的眼睛发射光(例如，IR光)的照明源(例如，IR光源)、和集成在目镜中的透射式衍射光栅或反射式衍射光栅。衍射光栅可以例如是夹在目镜中的两个光学透镜之间的全息层或全息膜，或者另选地是层合到目镜中的光学透镜的图像侧(面向眼睛)或对象侧(面向显示器)表面的全息层或全息膜。

在一些实施方案中，HMD的光源发射IR光以照射用户的眼睛。IR光的一部分从用户的眼睛反射到HMD的目镜的面向眼睛的表面。集成在目镜中的衍射光栅被配置为朝向IR相机重定向(透射式光栅)或反射(反射式光栅)IR光的在目镜处接收的至少一部分，同时允许可见光通过。IR相机从由衍射光栅反射或重定向的红外光捕获用户的眼睛的图像，该IR相机可在使用透射式光栅时位于显示面板的边缘处或附近，或者另选地在使用反射式光栅时位于用户的面部的侧面处(例如，在用户的颊骨处或附近)。

当与包括位于目镜和显示面板之间的将IR光朝向IR相机反射的热镜的系统相比时，将透射式或反射式衍射光栅集成在目镜中允许目镜和显示面板之间的间距减小。当与其中IR相机直接通过目镜观察用户的眼睛的系统相比时，将反射式光栅集成在目镜中允许用户的眼睛通过目镜成像，同时改善由IR相机捕获的图像(例如，通过减少失真)。当与其中IR相机直接通过目镜观察用户的眼睛的系统相比时，将透射式或反射式光栅集成在目镜中还改善了IR相机的视角，从而允许IR相机在远离相机转动时对用户的瞳孔成像。将反射式光栅集成在目镜中允许眼睛跟踪相机被放置在用户的面部的侧面处(例如，在用户的颊骨处或附近)，而不必通过目镜成像。

可分析由眼睛跟踪系统捕获的图像以检测用户的眼睛的位置和运动，或检测关于眼睛的其他信息，诸如瞳孔扩张。例如，从眼睛跟踪图像估计的显示器上的注视点可使得能够与HMD的近眼显示器上示出的内容进行基于注视的交互。其他应用可包括但不限于创建用于VR/AR环境中的化身的眼睛图像动画。

附图说明

图1A至图1C示出了用于VR/AR头戴式显示器(HMD)的眼睛跟踪系统。

图2A和图2B示出了根据一些实施方案的实现眼睛跟踪系统的VR/ARHMD，该眼睛跟踪系统包括位于目镜中的透射式衍射光栅。

图3示出了根据一些实施方案的实现眼睛跟踪系统的VR/AR HMD，该眼睛跟踪系统包括位于目镜中的反射式衍射光栅。

图4示出了直接通过目镜对用户的眼睛成像的IR相机。

图5示出了根据一些实施方案的通过目镜对用户的眼睛成像的IR相机，该目镜包括透射式衍射光栅。

图6A示出了如图4所示的系统中的失真。

图6B示出了根据一些实施方案的如图5所示的系统中的减少的失真。

图7示出了根据一些实施方案的用于具有集成衍射光栅的目镜的示例性组装过程。

图8示出了根据一些实施方案的包括在目镜中不同位置处衍射光栅的示例性目镜。

图9示出了根据一些实施方案的实现如图2A或图2B所示的眼睛跟踪系统的示例性HMD的侧视图。

图10示出了根据一些实施方案的实现如图3所示的眼睛跟踪系统的示例性HMD的侧视图。

图11是示出根据一些实施方案的示例性VR/AR系统的部件的框图，该示例性VR/AR系统包括如图2A、图2B或图3所示的眼睛跟踪系统。

图12是示出根据一些实施方案的HMD的操作的方法的高级流程图，该HMD包括如图2A、图2B或图3所示的眼睛跟踪系统。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元…的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35 U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的装置(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。

具体实施方式

描述了用于虚拟和混合或增强现实(VR/AR)应用中的眼睛跟踪的方法和装置的各种实施方案。描述了诸如头戴式耳机、头盔、护目镜或眼镜的VR/AR装置(本文中称为头戴式显示器(HMD))，该VR/AR装置包括用于在用户的眼睛前面显示包括左图像和右图像的帧以因此将3D虚拟视图提供给用户的显示器(例如，左显示器和右显示器)。HMD可包括左光学透镜和右光学透镜(本文中称为目镜)，左光学透镜和右光学透镜(本文中称为目镜)位于显示器和用户的眼睛之间。目镜在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜的光学无限远。HMD可包括用于检测用户的眼睛的位置和运动或用于检测关于眼睛的其他信息(诸如瞳孔扩张)的眼睛跟踪系统(眼睛跟踪系统也可被称为注视跟踪系统)。例如，从由眼睛跟踪系统捕获的信息估计的显示器上的注视点可允许与近眼显示器上所示的内容的基于注视的交互。其他应用可包括但不限于创建用于VR/AR环境中的化身的眼睛图像动画。

描述了用于HMD的眼睛跟踪系统的实施方案，该眼睛跟踪系统包括指向相应目镜的表面的至少一个眼睛跟踪相机(例如，红外(IR)相机)、朝向用户的眼睛发射光(例如，IR光)的照明源(例如，IR光源)、和集成在目镜中的透射式或反射式衍射光栅(例如，全息膜)。衍射光栅重定向或反射红外范围内的光，同时允许可见光通过。

在一些实施方案中，衍射光栅可以被实现为夹在目镜中的两个光学透镜之间或施加到目镜的对象侧或图像侧表面的全息膜或全息层。在一些实施方案中，全息层可以施加到一个光学透镜的表面，然后可以例如使用光学耦合液体将第二光学透镜附接到全息层。在一些实施方案中，全息层夹在其间的透镜的表面可以是平面的。然而，在一些实施方案中，表面可以是弯曲的。需注意，在一些实施方案中，可使用其他类型的衍射光栅。例如，在一些实施方案中，光热反射玻璃可用作衍射光栅。在其他实施方案中，在眼睛跟踪波长下具有不匹配的折射率的表面起伏光栅可用作衍射光栅。

在一些实施方案中，HMD的光源发射IR光以照射用户的眼睛。IR光的一部分从用户的眼睛反射到HMD的目镜的面向眼睛的表面。集成在目镜中的全息层被配置为朝向IR相机重定向(透射式光栅)或反射(反射式光栅)IR光的在目镜处接收的至少一部分，同时允许可见光通过。IR相机从由全息层反射或重定向的红外光捕获用户的眼睛的图像，该IR相机可在使用透射式光栅时位于显示面板的边缘处或附近，或者另选地在使用反射式光栅时位于用户的面部的侧面处(例如，在用户的颊骨处或附近)。

当与其中IR相机直接通过目镜观察用户的眼睛的系统相比时，将透射式或反射式光栅集成在目镜中还改善了IR相机的视角，从而允许IR相机在远离相机转动时对用户的瞳孔成像。当与包括位于目镜和显示面板之间的将IR光朝向IR相机反射的热镜的系统相比时，将透射式或反射式衍射光栅集成在目镜中允许目镜和显示面板之间的间距减小。当与其中IR相机直接通过目镜观察用户的眼睛的系统相比时，将反射式光栅集成在目镜中允许用户的眼睛通过目镜成像，同时改善由IR相机捕获的图像(例如，通过减少失真)。将反射式光栅集成在目镜中允许眼睛跟踪相机被放置在用户的面部的侧面处(例如，在用户的颊骨处或附近)，而不必通过目镜成像。

可分析由眼睛跟踪系统捕获的图像以检测用户的眼睛的位置和运动，或检测关于眼睛的其他信息，诸如瞳孔扩张。例如，从眼睛跟踪图像估计的显示器上的注视点可使得能够与HMD的近眼显示器上示出的内容进行基于注视的交互。其他应用可包括但不限于创建用于VR/AR环境中的化身的眼睛图像动画。

虽然用于HMD的眼睛跟踪系统的实施方案在本文中一般被描述为包括至少一个眼睛跟踪相机，至少一个眼睛跟踪相机被定位在用户的面部的每个侧面处以跟踪用户的眼睛中的两者的注视，但是也可实现包括至少一个眼睛跟踪相机的用于HMD的眼睛跟踪系统，至少一个眼睛跟踪相机仅被定位在用户的面部的一个侧面处，以仅跟踪用户的眼睛中的一个的注视。

物理环境

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

计算机生成的现实

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

混合现实

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

硬件

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

眼睛跟踪系统

图1A至图1C示出了用于VR/AR HMD的眼睛跟踪系统。VR/AR HMD 100可包括安装在可佩戴外壳中的显示器110和两个目镜透镜120。一个或多个红外(IR)光源130可被定位在HMD 100中(例如，在目镜120周围或在HMD 100中的其他地方)，以用IR光照射用户的眼睛192。用户通过目镜120朝显示器110看。目镜120在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜120的光学无限远。眼睛跟踪相机140可被定位在HMD 100中以捕获用户的眼睛192的视图。为了将眼睛跟踪相机140适配在HMD 100中，同时保持用户不看到相机140，已经使用不同的相机光路。

参考图1A的HMD 100A，相机140被定位成具有用户的眼睛的直接视图。参考图1B的HMD 100B，相机140被定位成更靠近显示器110，使得通过目镜120捕获眼睛192的正面视图。参考图1C的HMD 100C，热镜142被定位在目镜120和显示器110之间，以远离可见光显示器110光路折叠相机140光路；相机140可被定位成靠近用户的颊骨并且面向热镜142。

图1A至图1C所示的相机光路具有优点和缺点。图1A的直接视图不穿过目镜，但是可从倾斜位置朝眼睛看，由于失真、不足的景深和遮蔽，这可引起极端注视角度处的眼睛特征的减少的检测精度。比起图1A的直接视图，图1B的通过目镜视图允许眼睛的更居中的视图，但是必须处理由目镜引入的眼睛图像中的失真。此外，当与图1A的直接视图相比时，虽然图1B的通过目镜视图在一定程度上改善了视角，但是这种构型仍然具有极端注视角度下的眼睛特征的减少的检测精度。使用如图1C所示的热镜142可提供眼睛的居中视图，并且因此显著改善极端注视角度下的眼睛特征的检测精度。然而，热镜142需要增加目镜120和显示器110之间的间距。

图2A、图2B和图3示出了用于包括在HMD的目镜中的衍射光栅的VR/AR HMD的眼睛跟踪系统的实施方案。图2A和图2B示出了根据一些实施方案的实现眼睛跟踪系统的VR/ARHMD 200，该眼睛跟踪系统包括位于目镜中的透射式衍射光栅。图3示出了根据一些实施方案的实现眼睛跟踪系统的VR/AR HMD 300，该眼睛跟踪系统包括位于目镜中的反射式衍射光栅。当与其中IR相机直接(如图1A所示)或通过目镜(如图1B所示)观察用户的眼睛的系统相比时，将透射式或反射式光栅集成在目镜中改善了IR相机的视角，从而允许IR相机在远离相机转动时对用户的瞳孔成像。当与包括位于目镜和显示面板之间的将IR光朝向IR相机反射的热镜的如图1C所示的系统相比时，将透射式或反射式衍射光栅集成在目镜中允许目镜和显示面板之间的间距减小。当与其中IR相机直接通过目镜观察用户的眼睛的如图1B所示的系统相比时，将反射式光栅集成在如图3所示的目镜中允许用户的眼睛通过目镜成像，同时改善由IR相机捕获的图像(例如，通过减少失真)。将反射式光栅集成在如图3所示的目镜中允许眼睛跟踪相机被放置在用户的面部的侧面处(例如，在用户的颊骨处或附近)，而不必通过目镜成像。

图2A示出了根据一些实施方案的实现眼睛跟踪系统的VR/AR HMD 200，该眼睛跟踪系统包括位于目镜中的透射式衍射光栅。VR/AR HMD 200可包括但不限于安装在可佩戴外壳或框架中的显示器210和两个目镜220。每个目镜220是可包括一个或多个光学透镜的光学系统。眼睛跟踪系统包括目镜220中的透射式衍射光栅250、和位于显示器210的边缘处或附近(例如，在显示器210的顶部、底部、左侧和/或右侧)的至少一个眼睛跟踪相机240(例如，红外(IR)相机)。用户通过目镜220朝显示器210看。目镜220在设计距离处形成显示的内容的虚拟图像，该设计距离通常接近目镜220的光学无限远。眼睛跟踪系统可例如用于跟踪用户的眼睛292的位置和运动。在一些实施方案中，眼睛跟踪系统可代替地或也可用于跟踪用户的瞳孔的扩张或用户的眼睛292的其他特性。一个或多个红外光源230(IR LED)可被定位在HMD 200中(例如，在目镜220周围或在HMD 200中的其他地方)，以用IR光照射用户的眼睛292。在一些实施方案中，显示器210发射可见光范围内的光，并且不发射IR范围内的光，并且因此不会在眼睛跟踪系统中引入噪声。

透射式衍射光栅250被定位在目镜220处或其内。在一些实施方案中，透射式衍射光栅250可被实现为夹在目镜220的两个光学透镜之间的全息层250，或者被实现为附接到目镜220的对象侧或图像侧表面的全息层。在一些实施方案中，全息层250可以施加到一个光学透镜的表面，然后可以例如使用光学耦合液体将第二光学透镜附接到全息层250。全息层250夹在其间的透镜的表面可以但不一定是平面的。

HMD 200的光源230发射IR光以照射用户的眼睛292。IR光的一部分从用户的眼睛292反射到HMD 200的目镜220的面向眼睛的表面。集成在目镜220中的透射全息层250被配置为朝向IR相机240重定向IR光的在目镜220处接收的至少一部分，同时允许可见光通过。可例如位于显示器210的边缘处或附近的IR相机240从由透射全息层250重定向的红外光捕获用户的眼睛292的图像。

目镜220处或其内的透射式衍射光栅250允许相机240光路被重定向，从而导致比起如图1A和图1B所示的直接视图眼睛跟踪相机架构中，相机轴线在中心瞳孔位置上的更大的入射角(接近90度)。因此，比起图1A和图1B所示的系统，图2A的眼睛跟踪相机240的光路经由衍射光栅250的重定向提供了眼睛292的更直接的视图，同时当与图1C所示的系统相比时，允许目镜220和显示器210之间的间距减小。

图2B示出了根据一些实施方案的实现眼睛跟踪系统的VR/AR HMD 200，该眼睛跟踪系统包括位于目镜中的透射式衍射光栅和用于校正全内反射(TIR)的光学棱镜或楔形件。在一些实施方案中，目镜220的外(面向显示器)透镜的边缘附近的曲率角可导致IR光线在该区域中的TIR。为了补偿曲率，光学棱镜或楔形件252可位于透镜的外表面的边缘处，以防止IR光线在图2B所示的目镜220的边缘附近的区域中的TIR。

图3示出了根据一些实施方案的实现眼睛跟踪系统的VR/AR HMD 300，该眼睛跟踪系统包括位于目镜中的反射式衍射光栅。VR/AR HMD 300可包括但不限于安装在可佩戴外壳或框架中的显示器310和两个目镜320。每个目镜320是可包括一个或多个光学透镜的光学系统。眼睛跟踪系统包括目镜320中的反射式衍射光栅360、和位于用户的面部的侧面处(例如，在用户的颊骨处或附近)的至少一个眼睛跟踪相机340(例如，红外(IR)相机)。用户通过目镜320朝显示器310看。目镜320在设计距离处形成显示的内容的虚拟图像，该设计距离通常接近目镜320的光学无限远。眼睛跟踪系统可例如用于跟踪用户的眼睛392的位置和运动。在一些实施方案中，眼睛跟踪系统可代替地或也可用于跟踪用户的瞳孔的扩张或用户的眼睛392的其他特性。一个或多个红外光源330(IR LED)可被定位在HMD 300中(例如，在目镜320周围或在HMD 300中的其他地方)，以用IR光照射用户的眼睛392。在一些实施方案中，显示器310发射可见光范围内的光，并且不发射IR范围内的光，并且因此不会在眼睛跟踪系统中引入噪声。

反射式衍射光栅360被定位在目镜320处或其内。在一些实施方案中，反射式衍射光栅360可被实现为夹在目镜320的两个光学透镜之间的全息层360，或者被实现为附接到目镜320的对象侧或图像侧表面的全息层。在一些实施方案中，全息层360可以施加到一个光学透镜的表面，然后可以例如使用光学耦合液体将第二光学透镜附接到全息层360。全息层360夹在其间的透镜的表面可以但不一定是平面的。

HMD 300的光源330发射IR光以照射用户的眼睛392。IR光的一部分从用户的眼睛392反射到HMD 300的目镜320的面向眼睛的表面。集成在目镜320中的反射全息层360被配置为朝向IR相机340反射IR光的在目镜320处接收的至少一部分，同时允许可见光通过。可例如位于用户的面部的侧面处(例如，在用户的颊骨处或附近)的IR相机340从由反射全息层360反射的红外光捕获用户的眼睛392的图像。

目镜320处或其内的反射式衍射光栅360允许相机340光路被折叠，从而导致比起如图1A和图1B所示的直接视图眼睛跟踪相机架构中，相机轴线在中心瞳孔位置上的更大的入射角(接近90度)。因此，比起图1A和图1B所示的系统，图3的眼睛跟踪相机340的光路经由从衍射光栅360的反射提供了眼睛392的更直接的视图，同时当与图1C所示的系统相比时，允许目镜320和显示器310之间的间距减小。

图4示出了直接通过如图1B所示的目镜120对用户的眼睛192成像的IR相机140。比起图1A的直接视图，图4所示的通过目镜视图允许眼睛192的更居中的视图，但是必须处理由目镜120引入的眼睛图像中的失真。此外，当与图1A的直接视图相比时，虽然图4的通过目镜视图在一定程度上改善了视角，但是这种构型仍然具有极端注视角度下的眼睛特征的减少的检测精度。图6A示出了如图4所示的系统中的失真。

图5示出了根据一些实施方案的通过目镜220对用户的眼睛292成像的IR相机240，该目镜包括如图2A所示的透射式光栅250。透射式光栅250以倾斜角度朝向IR相机240重定向从用户的眼睛292反射的IR光线。如在图5中可见，当与其中IR相机140通过如图4所示的目镜120直接观察用户的眼睛192的系统相比时，将透射式光栅250集成在目镜220中改善了视角，并且减少由IR相机240的透镜引起的失真，从而允许IR相机240即使在远离相机240转动时也对用户的瞳孔成像。图6B示出了根据一些实施方案的当与如图4所示的系统相比时如图5所示的系统中的减少的失真。当与包括位于目镜和显示面板之间的将IR光朝向IR相机反射的热镜的如图1C所示的系统相比时，将透射式光栅250集成在目镜220中还允许目镜220和显示面板(未示出)之间的间距减小。

图7示出了根据一些实施方案的用于具有集成衍射750的目镜720的示例性组装过程。衍射光栅750(例如，全息膜)被施加到光学透镜721的表面。然后，使用全息记录技术用透射或反射全息图记录衍射光栅750。第二光学透镜722例如使用光学耦合液体728附接到衍射光栅750，以产生目镜720。衍射光栅750夹在其间的透镜721和722的表面可以是平面的，因此衍射光栅是平面的，如图7所示。然而，在一些实施方案中，衍射光栅750夹在其间的透镜721和722的表面可以是弯曲的，并且衍射光栅750因此也可以是弯曲的以适形于表面。需注意，目镜720中所示的光学透镜的形状和数量作为示例给出，并且不旨在为限制性的。可使用其他形状的光学透镜，并且在一些实施方案中，可将一个或多个附加光学透镜附接到全息层750夹在其间的光学透镜。在一些实施方案中，全息层或全息膜可以层合到包括两个或更多个光学透镜的目镜的图像侧(面向眼睛)或对象侧(面向显示器)表面。在一些实施方案中，目镜可包括仅一个光学透镜，并且全息层或全息膜可层合到光学透镜的图像侧(面向眼睛)或对象侧(面向显示器)表面。如所提及的，在一些实施方案中，衍射光栅750可以是全息膜。然而，在一些实施方案中，可使用其他类型的衍射光栅。例如，在一些实施方案中，光热反射玻璃可用作衍射光栅。在其他实施方案中，在眼睛跟踪波长下具有不匹配的折射率的表面起伏光栅可用作衍射光栅。

图8示出了根据一些实施方案的包括在目镜中不同位置处衍射光栅的示例性目镜。需注意，目镜850中所示的光学透镜的形状和数量作为示例给出，并且不旨在为限制性的。目镜820A包括两个光学透镜，其中衍射光栅850A位于两个透镜之间。目镜820B包括三个光学透镜，其中衍射光栅850B位于透镜中的两个透镜之间。目镜820C包括两个光学透镜，其中衍射光栅850C位于目镜820C的对象侧表面处。目镜820D包括两个光学透镜，其中衍射光栅850D位于目镜820C的图像侧表面处。目镜820E包括单个光学透镜，其中衍射光栅850E位于目镜820E的图像侧表面处。目镜820F包括单个光学透镜，其中衍射光栅850F位于目镜820F的图像侧表面处。目镜820F还示出了施加到透镜的曲面的衍射光栅850F。

图9示出了根据一些实施方案的实现如图2A或图2B所示的眼睛跟踪系统的示例性HMD 200的侧视图。需注意，如图9所示的HMD 200以举例的方式给出，并且不旨在为限制性的。在各种实施方案中，HMD 200的形状、大小和其他特征可不同，并且HMD 200的部件的位置、数量、类型和其他特征可变化。眼睛跟踪系统可例如用于跟踪用户290的眼睛292的位置和运动。在一些实施方案中，眼睛跟踪系统可代替地或也可用于跟踪用户290的瞳孔的扩张或用户290的眼睛292的其他特性。由眼睛跟踪系统收集的信息可用于各种VR或AR系统功能。例如，可从由眼睛跟踪系统捕获的图像估计显示器210上的注视点；所估计的注视点可例如使得能够与近眼显示器210上示出的内容进行基于注视的交互。眼睛跟踪信息的其他应用可包括但不限于创建用于VR或AR环境中的化身的眼睛图像动画。作为另一实施例，在一些实施方案中，由眼睛跟踪系统收集的信息可用于调整将投影的图像的渲染，并且/或者基于用户290的眼睛看的方向和角度来调整通过HMD 200的投影系统进行的图像的投影。作为另一实施例，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户290的瞳孔扩张来调节所投影的图像的亮度。

如图9所示，HMD 200可被定位在用户290的头部上，使得显示器210和目镜220被设置在用户290的眼睛292的前面。一个或多个IR光源230(例如，IR LED)可被定位在HMD 200中(例如，在目镜220周围或在HMD 200中的其他地方)，以用IR光照射用户290的眼睛292。在一些实施方案中，一个或多个IR光源230可发射不同IR波长(例如，850nm和940nm)的光。

每个目镜220是可包括一个或多个光学透镜的光学系统。眼睛跟踪系统包括目镜220中的透射式衍射光栅250、和位于显示器210的边缘处或附近(例如，在显示器210的顶部、底部、左侧和/或右侧)的至少一个眼睛跟踪相机240(例如，红外(IR)相机，例如以850nm或940nm操作或者以一些其他IR波长操作的400×400像素计数相机)。用户通过目镜220朝显示器210看。目镜220在设计距离处形成显示的内容的虚拟图像，该设计距离通常接近目镜220的光学无限远。需注意，眼睛跟踪相机240的位置和角度以举例的方式给出，并且不旨在为限制性的。虽然图9示出了针对每只眼睛292的单个眼睛跟踪相机240，但是在一些实施方案中，针对每只眼睛292可存在两个或更多个IR相机240。例如，在一些实施方案中，可针对每只眼睛292使用具有较宽视场(FOV)的相机240和具有较窄FOV的相机240。又如，在一些实施方案中，可针对每只眼睛292使用以一个波长(例如，850nm)操作的相机240和以不同波长(例如，940nm)操作的相机240。由一个或多个光源230发射的IR光的一部分从用户290的眼睛292反射，由透射式衍射光栅250反射到相机240，并且由相机242捕获以使用户的眼睛292成像。

具有如图9所示的眼睛跟踪系统的HMD 200的实施方案可例如用于增强或混合(AR)应用，以将增强或混合现实视图提供给用户290。虽然未示出，但是在一些实施方案中，HMD 200可包括例如位于HMD 200的外部表面上的一个或多个传感器，一个或多个传感器收集关于用户290的外部环境的信息(视频、深度信息、照明信息等)；传感器可将所收集的信息提供给VR/AR系统的控制器(未示出)。在一些实施方案中，传感器可包括一个或多个可见光相机(例如，RGB摄像机)，一个或多个可见光相机(例如，RGB摄像机)捕获用户的环境的视频，该视频可用于向用户290提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机捕获的真实环境的视频流可由HMD 200的控制器处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给HMD 200的投影系统用于在显示器210上显示。

具有如图9所示的眼睛跟踪系统的HMD 200的实施方案也可用于虚拟现实(VR)应用中以将VR视图提供给用户290。在这些实施方案中，HMD 200的控制器可渲染或获得包括虚拟内容的虚拟现实(VR)帧，并且所渲染的帧可被提供给HMD 200的投影系统用于在显示器210上显示。

控制器可在HMD 200中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到HMD 200的外部装置(例如，计算系统)来实现。控制器可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器可渲染帧(每个帧包括左图像和右图像)，该帧包括至少部分地基于从传感器获得的输入的虚拟内容，并且可将帧提供给HMD 200的投影系统用于显示到显示器210。图11还示出根据一些实施方案的HMD和VR/AR系统的部件。

图10示出根据一些实施方案的实现如图3所示的眼睛跟踪系统的示例性HMD 300的侧视图。需注意，如图10所示的HMD 300以举例的方式给出，并且不旨在为限制性的。在各种实施方案中，HMD 300的形状、大小和其他特征可不同，并且HMD 300的部件的位置、数量、类型和其他特征可变化。眼睛跟踪系统可例如用于跟踪用户390的眼睛392的位置和运动。在一些实施方案中，眼睛跟踪系统可代替地或也可用于跟踪用户390的瞳孔的扩张或用户390的眼睛392的其他特性。由眼睛跟踪系统收集的信息可用于各种VR或AR系统功能。例如，可从由眼睛跟踪系统捕获的图像估计显示器310上的注视点；所估计的注视点可例如使得能够与近眼显示器310上示出的内容进行基于注视的交互。眼睛跟踪信息的其他应用可包括但不限于创建用于VR或AR环境中的化身的眼睛图像动画。又如，在一些实施方案中，由眼睛跟踪系统收集的信息可用于调整将投影的图像的渲染，并且/或者基于用户390的眼睛看的方向和角度来调整通过HMD 300的投影系统进行的图像的投影。又如，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户390的瞳孔扩张来调节所投影的图像的亮度。

如图10所示，HMD 300可被定位在用户390的头部上，使得显示器310和目镜320被设置在用户390的眼睛392的前面。一个或多个IR光源330(例如，IR LED)可被定位在HMD300中(例如，在目镜320周围或在HMD 300中的其他地方)，以用IR光照射用户390的眼睛392。在一些实施方案中，一个或多个IR光源330可发射不同IR波长(例如，850nm和940nm)的光。

每个目镜320是可包括一个或多个光学透镜的光学系统。眼睛跟踪系统包括目镜320中的反射式衍射光栅360、和位于用户的面部的侧面处(例如，在用户的颊骨处或附近)的至少一个眼睛跟踪相机340(例如，红外(IR)相机，例如以850nm或940nm操作或者以一些其他IR波长操作的400×400像素计数相机)。用户通过目镜320朝显示器310看。目镜320在设计距离处形成显示的内容的虚拟图像，该设计距离通常接近目镜320的光学无限远。需注意，眼睛跟踪相机340的位置和角度以举例的方式给出，并且不旨在为限制性的。虽然图10示出了针对每只眼睛392的单个眼睛跟踪相机340，但是在一些实施方案中，针对每只眼睛392可存在两个或更多个IR相机340。例如，在一些实施方案中，可针对每只眼睛392使用具有较宽视场(FOV)的相机340和具有较窄FOV的相机340。又如，在一些实施方案中，可针对每只眼睛392使用以一个波长(例如，850nm)操作的相机340和以不同波长(例如，940nm)操作的相机340。由一个或多个光源330发射的IR光的一部分从用户390的眼睛392反射，由反射式衍射光栅360反射到相机340，并且由相机342捕获以使用户的眼睛392成像。

具有如图10所示的眼睛跟踪系统的HMD 300的实施方案可例如用于增强或混合(AR)应用，以将增强或混合现实视图提供给用户390。虽然未示出，但是在一些实施方案中，HMD 300可包括例如位于HMD 300的外部表面上的一个或多个传感器，该一个或多个传感器收集关于用户390的外部环境的信息(视频、深度信息、照明信息等)；传感器可将所收集的信息提供给VR/AR系统的控制器(未示出)。在一些实施方案中，传感器可包括一个或多个可见光相机(例如，RGB摄像机)，该一个或多个可见光相机(例如，RGB摄像机)捕获用户的环境的视频，该视频可用于向用户390提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机捕获的真实环境的视频流可由HMD 300的控制器处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给HMD 300的投影系统用于在显示器310上显示。

具有如图10所示的眼睛跟踪系统的HMD 300的实施方案也可用于虚拟现实(VR)应用中以将VR视图提供给用户390。在这些实施方案中，HMD 300的控制器可渲染或获得包括虚拟内容的虚拟现实(VR)帧，并且所渲染的帧可被提供给HMD 300的投影系统用于在显示器310上显示。

控制器可在HMD 300中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到HMD 300的外部装置(例如，计算系统)来实现。控制器可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器可渲染帧(每个帧包括左图像和右图像)，该帧包括至少部分地基于从传感器获得的输入的虚拟内容，并且可将帧提供给HMD 300的投影系统用于显示到显示器310。图11还示出根据一些实施方案的HMD和VR/AR系统的部件。

图11是示出根据一些实施方案的示例性VR/AR系统1900的部件的框图，该示例性VR/AR系统包括如图2A、图2B或图3所示的眼睛跟踪系统。在一些实施方案中，VR/AR系统1900可包括HMD 2000，诸如头戴式耳机、头盔、护目镜或眼镜。HMD 2000可实施各种类型的虚拟现实投影仪技术中的任一种。例如，HMD 2000可包括VR投影系统，VR投影系统包括投影仪2020，投影仪2020在由用户通过目镜2220A和目镜2220B观看的屏幕或显示器2022A和显示器2022B上显示包括左图像和右图像的帧。VR投影系统可例如是DLP(数字光处理)、LCD(液晶显示器)或LCoS(硅基液晶)技术投影系统。为了在3D虚拟视图中创建三维(3D)效果，两个图像中不同深度或距离处的对象可作为距离的三角测量的函数向左或向右偏移，其中较近的对象比更远的对象偏移得更多。需注意，在一些实施方案中，可使用其他类型的投影系统。

在一些实施方案中，HMD 2000可包括控制器2030，控制器2030被配置为实现VR/AR系统1900的功能，并且生成由投影仪2020显示的帧(每个帧包括左图像和右图像)。在一些实施方案中，HMD 2000也可包括存储器2032，存储器2032被配置为存储由控制器2030可执行的VR/AR系统的软件(代码2034)，以及当在控制器2030上执行时可由VR/AR系统1900使用的数据2038。在一些实施方案中，HMD 2000也可包括一个或多个接口(例如，蓝牙技术接口、USB接口等)，一个或多个接口(例如，蓝牙技术接口、USB接口等)被配置为经由有线或无线连接与外部装置2100通信。在一些实施方案中，针对控制器2030描述的功能中的至少一部分可由外部装置2100实现。外部装置2100可为或可包括任何类型的计算系统或计算装置，诸如台式计算机、笔记本或膝上型计算机、平板或平板装置，智能电话、手持式计算装置、游戏控制器、游戏系统等等。

在各种实施方案中，控制器2030可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器2030可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器2030可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器2030可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器2030可包括实现微码技术的电路。控制器2030可包括各自被配置为执行指令的一个或多个处理核心。控制器2030可包括一个或多个级别的高速缓存，该高速缓存可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器2030可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器2030可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/译码器等。

存储器2032可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。

在一些实施方案中，HMD 2000可包括一个或多个传感器2050，一个或多个传感器2050收集关于用户的环境的信息(视频、深度信息、照明信息等)。传感器2050可将信息提供给VR/AR系统1900的控制器2030。在一些实施方案中，传感器2050可包括但不限于可见光相机(例如，摄像机)。

如图9和图10所示，HMD 2000可被定位在用户的头部上，使得显示器2022A和显示器2022B以及目镜2220A和目镜2220B被设置在用户的眼睛2292A和眼睛2292B的前面。IR光源2230A和IR光源2230B(例如，IR LED)可被定位在HMD 2000中(例如，在目镜2220A和目镜2220B周围或在HMD 2000中的其他地方)，以用IR光照射用户的眼睛2292A和眼睛2292B。衍射光栅2242A和衍射光栅2242B位于目镜2220A和目镜2220B处或其内。图11示出了如图2A、图2B和图9所示的透射式衍射光栅；然而，在一些实施方案中，可使用如图3和图10所示的反射式衍射光栅。眼睛跟踪相机2240A和眼睛跟踪相机2240B(例如，IR相机，例如400×400像素计数相机)分别位于显示器2022A和显示器2022B的边缘处或附近。在其中使用反射式衍射光栅的实施方案中，眼睛跟踪相机可替代地位于用户的面部的每一侧面处，例如位于用户的颊骨处或附近，如图10所示。需注意，眼睛跟踪相机2240A和眼睛跟踪相机2240B的位置以举例的方式给出，并且不旨在为限制性的。在一些实施方案中，针对每个眼睛2292可存在单个眼睛跟踪相机2240。在一些实施方案中，针对每只眼睛2292可存在两个或更多个IR相机2240。例如，在一些实施方案中，可针对每只眼睛2292使用广角相机2240和较窄角度相机2240。由光源2230A和光源2230B发射的IR光的一部分从用户的眼睛2292A和眼睛2292B反射，由衍射光栅2242A和衍射光栅2242B重定向(或反射)到相应的眼睛跟踪相机2240A和眼睛跟踪相机2240B，并且由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获以使用户的眼睛2292A和眼睛2292B成像。由相机2240A和相机2240B捕获的眼睛跟踪信息可被提供给控制器2030。控制器2030可分析眼睛跟踪信息(例如，用户的眼睛2292A和眼睛2292B的图像)以确定眼睛2292A和眼睛2292B的眼睛位置和运动、瞳孔扩张或其他特性。

由控制器2030获得和分析的眼睛跟踪信息可由控制器用于实行各种VR或AR系统功能。例如，可从由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获的图像估计显示器2022A和显示器2022B上的注视点；所估计的注视点可例如使得能够与显示器2022A和显示器2022B上所示的内容进行基于注视的交互。眼睛跟踪信息的其他应用可包括但不限于创建用于VR或AR环境中的化身的眼睛图像动画。作为另一实施例，在一些实施方案中，从眼睛跟踪相机2240A和眼睛跟踪相机2240B获得的信息可用于调整将投影的图像的渲染，并且/或者基于用户的眼睛看的方向和角度调整通过HMD 2000的投影仪2020进行的图像的投影。作为另一实施例，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户的瞳孔扩张来调节所投影的图像的亮度。

在一些实施方案中，HMD 2000可被配置为渲染和显示帧以至少部分地根据传感器2050输入为用户提供增强或混合现实(AR)视图。AR视图可包括渲染用户的环境，包括基于由一个或多个摄像机捕获的视频来渲染用户的环境中的真实对象，一个或多个摄像机捕获用户的环境的高质量、高分辨率视频用于显示。AR视图也可包括虚拟内容(例如，虚拟对象、真实对象的虚拟标签、用户的化身等)，该虚拟内容由VR/AR系统1900生成并与用户的真实环境的所投影的视图合成。

如图11中所示的HMD 2000的实施方案也可用于虚拟现实(VR)应用中以将VR视图提供给用户。在这些实施方案中，HMD 2000的控制器2030可渲染或获得包括虚拟内容的虚拟现实(VR)帧，并且所渲染的帧可被提供给HMD 2000的投影仪2020用于显示给显示器2022A和显示器2022B。

图12是示出根据一些实施方案的HMD的操作的方法的高级流程图，该HMD包括如图2A、图2B或图3所示的眼睛跟踪系统。如3010处指示的，HMD的光源发射红外(IR)光以照射用户的眼睛。如3020处指示的，IR光的一部分从用户的眼睛反射到位于HMD的目镜处或其内的衍射光栅。例如，衍射光栅可以被实现为位于目镜的两个光学透镜之间或位于目镜的对象侧或图像侧表面处的全息层。如3030处指示的，衍射光栅朝向IR相机重定向(透射式衍射光栅)或反射(反射式衍射光栅)IR光的至少一部分，同时允许可见光通过。如3040处指示的，IR相机从由衍射光栅重定向或反射的IR光捕获用户的眼睛的图像，该IR相机在使用透射式衍射光栅时位于显示器的边缘处或附近，或者在使用反射式衍射光栅时位于用户的面部的侧面处(例如，在用户的颊骨处或附近)。从元素3060返回到元素3010的箭头指示只要用户正在使用HMD，眼睛跟踪过程就可为连续过程。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种系统，包括：

头戴式显示器(HMD)，所述HMD被配置为显示用于由用户观看的视觉内容，其中所述HMD包括：

至少一个显示屏，所述至少一个显示屏被配置为显示用于由所述用户观看的视觉内容的帧；

左目镜和右目镜，所述左目镜和所述右目镜位于所述至少一个显示屏与所述用户的左眼和右眼之间，其中每个目镜包括一个或多个光学透镜；

一个或多个红外光源，所述一个或多个红外光源被配置为朝向所述用户的眼睛发射红外光；

左红外相机和右红外相机；

左衍射光栅和右衍射光栅，所述左衍射光栅和所述右衍射光栅位于所述左目镜和所述右目镜中的所述一个或多个光学透镜中的一个光学透镜的表面上，其中所述左衍射光栅和所述右衍射光栅被配置为分别朝向所述左红外相机和所述右红外相机衍射从所述用户的眼睛返回的红外光；并且

其中所述左红外相机和所述右红外相机被配置为捕获所述红外光的由所述左衍射光栅和所述右衍射光栅衍射的一部分以生成所述用户的眼睛的图像。

2.根据权利要求1所述的系统，其中所述左红外相机和所述右红外相机被定位在所述至少一个显示屏的外边缘处或附近，并且其中所述左衍射光栅和所述右衍射光栅是被配置为朝向所述左红外相机和所述右红外相机重定向从所述用户的眼睛返回的红外光的透射式衍射光栅。

3.根据权利要求1所述的系统，其中所述左红外相机和所述右红外相机被配置为在佩戴所述HMD时定位在所述用户的面部的侧面处，并且其中所述左衍射光栅和所述右衍射光栅是被配置为朝向所述左红外相机和所述右红外相机反射从所述用户的眼睛返回的红外光的反射式衍射光栅。

4.根据权利要求1所述的系统，其中所述左红外相机和右红外相机包括使所述用户的左眼成像的至少一个相机以及使所述用户的右眼成像的至少一个相机。

5.根据权利要求1所述的系统，其中所述衍射光栅被实现为施加到所述一个或多个光学透镜中的一个光学透镜的表面的全息膜。

6.根据权利要求1所述的系统，其中所述衍射光栅被实现为附接到所述一个或多个光学透镜中的一个光学透镜的表面的光热反射玻璃，或者被实现为在眼睛跟踪波长下具有不匹配的折射率的表面起伏光栅。

7.根据权利要求1所述的系统，其中所述衍射光栅位于其上的所述光学透镜的表面是平坦表面。

8.根据权利要求1所述的系统，其中所述衍射光栅位于其上的所述光学透镜的表面是曲面。

9.根据权利要求1所述的系统，还包括控制器，所述控制器包括一个或多个处理器，其中所述控制器被配置为：

从所述左红外相机和所述右红外相机获得所述用户的眼睛的所述图像；

分析所述用户的眼睛的所述图像以确定眼睛跟踪信息；以及

渲染所述帧以供所述至少一个显示屏显示。

10.根据权利要求9所述的系统，其中所述眼睛跟踪信息包括眼睛位置、眼睛运动或瞳孔扩张中的一者或多者。

11.根据权利要求1所述的系统，还包括一个或多个可见光相机，所述一个或多个可见光相机被配置为捕获所述用户的环境的视图，其中所述视觉内容包括合成到所述用户的环境的所述视图中的虚拟内容，以将增强或混合现实视图提供给所述用户。

12.根据权利要求1所述的系统，其中所述视觉内容包括虚拟内容以将虚拟现实视图提供给所述用户。

13.根据权利要求1所述的系统，其中所述左目镜和所述右目镜被配置为在所述目镜的光学无限远处或附近的距离处形成由所述至少一个显示屏显示的所述帧的虚拟图像。

14.根据权利要求1所述的系统，还包括位于所述左目镜和所述右目镜的外表面的边缘处的光学棱镜或楔形件，以防止红外光线在所述目镜的所述边缘附近的区域中的全内反射(TIR)。

15.一种方法，包括：

由头戴式显示器(HMD)的一个或多个光源发射红外(IR)光以照射用户的眼睛；

在位于所述HMD的目镜处的衍射光栅处接收所述IR光的从所述用户的眼睛反射的一部分；

由所述衍射光栅朝向所述HMD的IR相机衍射所接收的IR光的至少一部分；以及

由所述HMD的所述IR相机从由所述衍射光栅衍射的所述IR光捕获所述用户的眼睛的图像。

16.根据权利要求15所述的方法，其中所述衍射光栅是透射式衍射光栅，其中所述红外相机被定位在所述HMD的显示屏的外边缘处或附近，并且其中朝向所述IR相机衍射所述IR光包括朝向所述红外相机重定向所述IR光。

17.根据权利要求15所述的方法，其中所述衍射光栅是反射式衍射光栅，其中当佩戴所述HMD时，所述红外相机被定位在所述用户的面部的所述侧面处或附近，并且其中朝向所述IR相机衍射所述IR光包括朝向所述红外相机反射所述IR光。

18.根据权利要求15所述的方法，其中所述目镜各自包括一个或多个光学透镜，其中所述衍射光栅被实现为施加到所述一个或多个光学透镜中的一个光学透镜的表面的全息膜、附接到所述一个或多个光学透镜中的一个光学透镜的表面的光热反射玻璃、或在所述眼睛跟踪波长下具有不匹配的折射率的表面起伏光栅中的一者。

19.根据权利要求15所述的方法，还包括：

由所述HMD的控制器从所述红外相机获得所述用户的眼睛的所述图像；以及

由所述控制器分析所述用户的眼睛的所述图像，以确定眼睛跟踪信息，其中所述眼睛跟踪信息包括眼睛位置、眼睛运动或瞳孔扩张中的一者或多者。

20.根据权利要求15所述的方法，其中所述目镜包括位于所述目镜的外表面的边缘处的光学棱镜或楔形件，以防止红外光线在所述目镜的所述边缘附近的区域中的全内反射(TIR)。

Images