CN114868069A - 用电子显示器的中央凹渲染的预测性眼睛跟踪系统和方法 - Google Patents

Abstract

本主题技术的各个方面涉及对头戴式显示设备的用户的眼睛运动的预测。还公开了使用预测的眼睛运动的预测性中央凹显示系统和方法。还公开了使用预测的眼睛运动的预测性变焦显示系统和方法。预测眼睛运动可以包括基于用户眼睛中的一只或两只眼睛的当前运动来预测用户眼睛的未来注视定位和/或预测用户眼睛的未来辐辏平面。预测的注视定位可用于预渲染在预测的注视定位处具有高分辨率区域的中央凹显示图像帧。预测的辐辏平面可用于修改显示组件的图像平面，以减轻或避免用户的辐辏/调节冲突。

Description

用电子显示器的中央凹渲染的预测性眼睛跟踪系统和方法

背景

发明领域

本公开总体上涉及用于沉浸式观看的显示系统，更具体的涉及用于头戴式显示设备的预测性眼睛跟踪。

相关技术的描述

头戴式显示器(HMD)可以包括可以用于向用户显示虚拟现实、增强现实或混合现实环境的诸如液晶显示面板、发光二极管显示面板或波导显示器的显示面板。例如，立体图像可以显示在头戴式装置(headset)内部的电子显示器上，以模拟深度错觉。头部跟踪传感器和眼睛跟踪传感器可以用于估计用户当前正在观看虚拟环境的哪个部分，以确定环境的哪个部分会呈现在显示器上。然而，当呈现随着用户头部和眼睛位置变化而变化的模拟三维内容时，可能会出现挑战。

例如，这种模拟在一些情况下会导致视觉疲劳和恶心，这是由于现有的头戴式装置无法正确地渲染或以其他方式补偿辐辏和调节冲突(vergence and accommodationconflict)。具有先进的显示特征(诸如变焦显示特征)的HMD已经被提出来解决这些辐辏和调节问题。

作为另一示例，传统显示器以恒定分辨率呈现图像。相反，分辨率在人眼的视网膜上变化。虽然眼睛从大约200度的视野中接收数据，但在这个范围内的大部分敏锐度都很差。事实上，光线必须落在中央凹(fovea)上才能形成高分辨率的图像，这将敏锐的视角限制在15度左右。在头戴式显示器中，在任何给定的时间，从显示器发射的图像光中只有一小部分实际上成像到中央凹上。成像到视网膜上的剩余图像光在不能感知发射的图像光中的高分辨率的其他区域处成像。因此，由于用户不能以其全分辨率感知在中央凹外成像的图像光的部分，因此浪费了一些用于生成由用户观看的高分辨率图像的资源(例如，功率、存储器、处理时间等)。为了解决这些效率低下的问题，提出了具有先进的显示特征(诸如中央凹显示特征)的HMD。

然而，将诸如变焦显示特征和中央凹显示特征的先进的显示特征的操作与从内容生成到内容显示的显示流水线(pipeline)的其他部分集成可能具有额外的挑战。

概述

本公开提供具有预测性眼睛跟踪的头戴式显示系统。本文公开的预测性眼睛跟踪系统和方法可以特别用于提供头戴式显示设备的预测性变焦系统和/或预测性中央凹显示系统，包括用于显示虚拟现实、增强现实和/或混合现实内容。

因此，本发明涉及根据权利要求1的头戴式显示器和根据权利要求9和11的方法。有利的实施例可以包括从属权利要求的特征。

因此，根据本发明的头戴式显示系统包括头戴式显示设备，该头戴式显示设备具有外壳、位于外壳内的显示面板和被配置成获得眼睛跟踪数据的一个或更多个眼睛跟踪单元。系统还包括：被配置成基于眼睛跟踪数据识别当前注视定位(location)的变化的眼睛跟踪模块；被配置成基于识别的变化生成预测的未来注视定位的眼睛预测模块；以及处理电路，该处理电路被配置成基于预测的未来注视定位渲染至少一个预测性中央凹显示图像帧，以用于由显示面板显示。

在一个实施例中，显示面板可以被配置成在处理电路渲染至少一个预测性中央凹显示图像帧的同时，基于当前注视定位显示当前中央凹显示图像帧。当前中央凹显示图像帧可以包括以当前注视定位为中心并具有第一分辨率的高分辨率部分、围绕高分辨率部分的至少一部分并具有低于第一分辨率的第二分辨率的周边部分、以及在高分辨率部分和周边部分之间延伸的过渡部分。预测性中央凹显示图像帧可以包括以预测的未来注视定位为中心并具有第一分辨率的高分辨率部分、围绕高分辨率部分的至少一部分并具有低于第一分辨率的第二分辨率的周边部分、以及在高分辨率部分和周边部分之间延伸的过渡部分。可选地，当前注视定位和预测的未来注视定位可以是显示面板上的定位。可选地，眼睛预测模块还可以被配置成生成针对预测的未来注视定位的注视定位置信水平。在这种情况下，处理电路可以可选地被配置成基于注视定位置信水平确定预测性中央凹显示图像帧的高分辨率部分的大小。此外，可选地，处理电路可以被配置成基于注视定位置信水平确定预测性中央凹显示图像帧的高分辨率部分的形状。

根据又一实施例，眼睛预测模块可以被配置成基于识别的变化通过以下步骤来生成预测的未来注视定位：基于识别的变化来识别眼睛运动的类型；以及基于识别的变化并基于所识别的眼睛运动类型的模型来生成预测的未来注视定位和注视定位置信水平。可选地，眼睛运动的类型可以是眼跳运动(saccade movement)、平滑追踪运动、或前庭-眼部运动。

在又一实施例中，眼睛预测模块可以被配置成基于识别的变化生成第一预测的未来注视定位、第二预测的未来注视定位和第三预测的未来注视定位，处理电路可被配置成基于第一预测的未来注视定位、第二预测的未来注视定位和第三预测的未来注视定位来预渲染对应的第一预测性中央凹显示图像帧、第二预测性中央凹显示图像帧和第三预测性中央凹显示图像帧。可选地，第一预测的未来注视定位、第二预测的未来注视定位和第三预测的未来注视定位可以对应于与未来显示帧相关联的时间，该未来显示帧分别是距当前显示帧的一个显示帧、三个显示帧和十个显示帧。

在一个实施例中，系统还可以包括通信地耦合到头戴式显示设备的控制台，其中处理电路包括控制台的人工现实引擎。

根据又一实施例，处理电路可以包括头戴式显示设备的场景渲染模块。

根据本发明的一种方法包括：获得关于具有显示面板的头戴式显示设备的用户的眼睛跟踪数据，基于眼睛跟踪数据确定当前注视定位和当前注视定位的变化的当前方向和速度，基于当前方向和速度生成预测的未来注视定位，基于当前注视定位渲染当前中央凹显示图像帧以用于由显示面板显示，以及在显示当前中央凹显示图像帧之后基于预测的未来注视定位预渲染至少一个预测性中央凹显示图像帧以用于由显示面板显示。

在一个实施例中，该方法还可以包括基于当前方向和速度生成预测的未来辐辏平面。可选地，方法还可以包括，在显示当前中央凹显示图像帧的同时，基于预测的未来辐辏平面修改与显示面板对齐的光学元件。

根据本发明的一种方法，用于操作具有头戴式显示设备的头戴式显示系统，该头戴式显示设备包括显示面板、被配置成聚焦来自显示面板的显示光的光学块以及左眼和右眼跟踪单元，该方法包括：利用头戴式显示系统的眼睛预测模块从左眼和右眼跟踪单元获得眼睛跟踪数据；使用眼睛跟踪数据利用眼睛预测模块确定眼睛运动的类型；以及使用眼睛跟踪数据和确定的眼睛运动类型利用眼睛预测模块生成预测的未来注视定位或预测的未来辐辏平面中的至少一个。

在一个实施例中，眼睛运动的类型可以是眼跳运动、平滑追踪运动或前庭-眼部运动，其中生成预测的未来注视定位或预测的未来辐辏平面中的至少一个可以包括生成预测的未来注视定位。

在又一实施例中，眼睛运动的类型可以是辐辏运动，并且生成预测的未来注视定位或预测的未来辐辏平面中的至少一个可以包括生成预测的未来辐辏平面。

在一个实施例中，眼睛预测模块可以是头戴式显示设备的眼睛预测模块。

根据本公开的一些方面，公开了一种头戴式显示设备，包括：外壳；位于外壳内的显示组件，显示组件包括显示面板；光学块，其包括被配置成聚焦来自显示面板的显示光的至少一个光学元件；以及一个或更多个眼睛跟踪单元，其被配置成获得眼睛跟踪数据；眼睛跟踪模块，其被配置成基于眼睛跟踪数据识别眼睛运动；眼睛预测模块，其被配置成基于识别的眼睛运动生成预测的未来辐辏平面；以及变焦致动块，其被配置成基于预测的未来辐辏平面调整显示面板或光学块的部件中的至少一个。

根据本公开的一些方面，公开了一种方法，该方法包括：获得关于具有显示面板和用于显示面板的光学块的头戴式显示设备的用户的眼睛跟踪数据；基于眼睛跟踪数据确定眼睛运动的当前方向和速度；基于眼睛运动的当前方向和速度生成预测的未来辐辏平面；以及基于预测的未来辐辏平面调整显示面板或光学块的部件中的至少一个。

根据本公开的一些方面，公开了一种用于操作具有头戴式显示设备的头戴式显示系统的方法，该头戴式显示设备包括显示面板、被配置成聚焦来自显示面板的显示光的光学块以及左眼和右眼跟踪单元。该方法包括：利用头戴式显示系统的眼睛预测模块，从左眼和右眼跟踪单元获得眼睛跟踪数据；利用眼睛预测模块确定：基于眼睛跟踪数据和眼睛运动的眼跳模型的第一预测的注视定位、基于眼睛跟踪数据和眼睛运动的平滑追踪模型的第二预测的注视定位、基于眼睛跟踪数据和眼睛运动的前庭-眼部模型的第三预测的注视定位、以及基于眼睛跟踪数据和眼睛运动的辐辏模型的预测的辐辏平面。

应当理解，从以下详细描述，本领域技术人员将容易地了解本主题技术的其他配置，其中通过图示的方式示出并描述了本主题技术的各种配置。如将认识到的，本主题技术能够具有其他的以及不同的配置，并且其若干细节能够在各种其他方面进行修改，所有这些都不脱离本主题技术的范围。因此，附图和详细描述本质上被视为说明性的，而不是限制性的。

附图简述

所包括的附图用于提供进一步的理解，并且被并入并构成本说明书的一部分，这些附图示出了所公开的实施例，并且与描述一起用于解释所公开的实施例的原理。在附图中：

图1示出了根据本公开的方面的头戴式显示设备的透视图。

图2示出了根据本公开的方面的头戴式显示设备的正面视图。

图3示出了根据本公开的方面的头戴式显示设备的显示元件和眼睛跟踪元件的俯视图。

图4示出了根据本公开的方面的中央凹显示图像的各种分量。

图5示出了根据本公开的方面的与头戴式显示设备相关联的各种显示和眼睛跟踪元件、以及辐辏方面的指示器的俯视图。

图6示出了根据本公开的方面的用于头戴式显示设备的变焦部件的横截面侧视图。

图7示出了根据本公开的方面的头戴式显示系统的示意图。

图8示出了根据本公开的方面的用于头戴式显示系统的眼睛预测模块的示意图。

图9示出了根据本公开的方面的可以被执行用于使用预测的眼睛数据来操作头戴式显示设备的说明性操作的流程图。

图10示出了根据本公开的方面的可以被执行用于预测注视定位和/或辐辏深度的说明性操作的流程图。

图11示出了根据本公开的方面的可以被执行用于预测注视定位和/或辐辏深度的说明性操作的另一流程图。

图12示出了根据本公开的方面的可以被执行用于预测性中央凹显示的说明性操作的流程图。

图13-图16示出了根据本公开的方面的与检测到的用户眼睛的眼跳运动相关联的中央凹显示操作的各个阶段。

图17示出了根据本公开的方面的与检测到的用户眼睛的平滑追踪运动相关联的中央凹显示操作的各个阶段。

图18示出了根据本公开的方面的与检测到的用户眼睛的前庭-眼部运动相关联的中央凹显示操作的各个阶段。

图19示出了根据本公开的方面的可以被执行用于预测性变焦显示的说明性操作的流程图。

图20-图23示出了根据本公开的方面的与检测到的用户眼睛的辐辏运动相关联的变焦显示操作的各个阶段。

详细描述

在以下详细描述中，阐述了许多具体细节以提供对本公开的全面理解。然而，对于本领域的普通技术人员来说，明显的是，可以在没有这些具体细节中的一些具体细节的情况下实施本公开的实施例。在其他情况下，没有详细示出众所周知的结构和技术，以免模糊本公开。

总体概述

头戴式显示设备可以包括当用户佩戴头戴式显示设备时对用户的单只眼睛可见的单独的显示面板或显示面板的单独部分。例如，左眼透镜和右眼透镜可以安装在设备的外壳中，以分别将来自左眼显示像素阵列和右眼显示像素阵列的光聚焦到用户的左眼和右眼中。

为了在用显示面板向用户显示图像帧时节省能量和处理复杂性，显示面板的显示像素可以以中央凹显示模式操作。在中央凹显示模式中，在用户的注视定位周围的区域(例如，高分辨率区域)中的显示像素显示图像帧的高分辨率部分。因为用户的视觉不能在其视场的中央(中央凹)部分之外感知如此高的分辨率，所以周围区域的显示像素在该区域中显示图像帧的较低分辨率版本。还可以提供高分辨率区域和周围区域之间的过渡区域。

通过跟踪用户眼睛的注视定位，显示面板的对应于图像的高分辨率部分的部分可以随着用户眼睛的运动而移动。然而，如果显示器的高分辨率区域不位于用户的当前注视定位处，则对用户来说可能特别具有破坏性和/或迷惑性。此外，完成显示流水线的所有部分(例如，从跟踪操作、到内容识别和/或生成、到渲染)可能需要时间，这可能使得当眼睛停留在注视点(fixation)时(或在眼睛停留在注视点之前)难以在正确的注视定位处显示高分辨率区域。

因此，本文描述了注视预测系统和方法，通过这些系统和方法可以确定预测的注视定位。可以基于预测的注视定位来调整高分辨率区域、过渡区域和/或周围区域的大小、形状、定位和/或其他特征，以帮助确保用户的眼睛始终注视显示器的高分辨率部分。高分辨率(例如，中央凹)区域的大小和/或形状也可以动态地变化(例如，随着预测模型建立置信度而变化)，如下文进一步详细描述的。下文将进一步详细描述注视预测系统和方法，以及基于注视预测的预测性中央凹显示系统和方法。

为了使显示的对象在不同的距离处出现，可以针对用户的每只眼睛改变显示的对象的位置。例如，为了使对象看起来远离用户移动，可以使对象的单独显示给用户的左眼和右眼的副本远离彼此移动。类似地，为了使对象看起来朝向用户移动，可以使对象的单独显示给用户的左眼和右眼的副本朝向彼此移动。对象图像副本的这些移动导致用户的眼睛单独跟随该副本，从而发散或会聚，造成三维运动的印象。用户还可以选择观看各种虚拟距离处的各种对象，在该对象的对用户的左眼和右眼进行显示的左副本和右副本之间具有(沿着显示平面的)各种横向距离。

然而，每个对象的两个显示副本中的每一个在针对每只眼睛的图像平面(imageplane)处聚焦地(in focus)显示。图像平面的距离由光学系统和显示组件的布置确定(例如，通过诸如液晶显示面板、发光二极管显示面板或波导显示器的显示面板的布置和/或被布置成引导、聚焦和/或重定向显示光的一个或更多个透镜的大小、形状和/或位置确定，或者通过控制液晶光学系统、多焦系统和/或光场显示器的部件确定)，并且可以不同于由对象的显示给每只眼睛的两个副本之间的横向距离引起的对象的视深度(apparent depth)。因此，无论被显示对象的被感知的三维位置或运动如何，用户的每只眼睛可能聚焦在图像平面处，或者可能无法聚焦在图像平面上。当用户眼睛的辐辏变化时，如果不调整用户眼睛的聚焦(例如，由图像平面的深度调整引起的调整)，辐辏调节冲突会导致用户疲劳和/或头晕。对于较大的辐辏调节冲突，用户的眼睛甚至可能无法聚焦在图像平面上，这导致显示的图像看起来模糊。为了减轻这些辐辏调节冲突，可以修改诸如透镜、多焦液晶光学部件的一个或更多个光学元件的位置、形状或其他方面和/或显示面板的位置和/或配置(作为示例)，以移动图像平面，从而使用户的聚焦也随着变化的辐辏而变化。

在某些情况下，在人工现实显示中，将图像平面一直移动到所有对象的实际虚拟距离可能是不实际或不可行的。因此，可以为每个辐辏平面定义舒适区，图像平面可以放置在该舒适区内，以为用户提供舒适的观看体验。例如，舒适方式的区垂直于辐辏平面延伸到+/-2屈光度。

通过将图像平面朝向对应于特定辐辏平面的舒适区移动和/或将其移动到进入该区，显示组件光学部件的调整引起用户眼睛在与辐辏变化的方向一致的方向上的调节变化，从而减轻和/或防止当辐辏变化(但聚焦(调节)不变化)时的疲劳或头晕的冲突感。

然而，调整(例如，移动、改变形状或以其他方式调整)显示组件的元件以移动图像平面需要时间。因为用户可能正在观看动态场景和/或动态地环顾静态场景，所以期望使显示组件响应辐辏变化的时间最小化，以便在下一个辐辏变化之前及时执行显示组件响应以向用户提供权益。

因此，本文描述了辐辏预测系统和方法，通过该系统和方法可以确定预测的辐辏平面和/或舒适区。在用户完成移动到新的辐辏平面之前，可以基于预测的辐辏度来调整由显示面板和对应光学器件生成的图像平面。以这种方式，本文公开的辐辏预测系统和方法可以帮助减少或最小化用户的眼睛落在辐辏平面上与虚拟图像平面的焦点落在对应于该辐辏平面的舒适区内之间的时间。下文将进一步详细描述辐辏预测系统和方法，以及基于辐辏预测的预测性变焦显示系统和方法。

示例头戴式显示系统

图1示出了根据本公开的方面的示例头戴式显示系统100。如图1所示，头戴式显示系统100可以包括头戴式显示设备102、面部界面系统108、带组件114和音频子系统116。头戴式显示设备可以包括佩戴在用户头部上或周围并且向用户显示视觉内容的任何类型或形式的显示设备或系统。头戴式显示设备可以以任何合适的方式——包括经由显示面板(例如，LCD或LED显示面板)、投影仪、阴极射线管、光学混合器等——显示视觉内容。头戴式显示设备可以以一种或更多种不同的媒体格式显示内容。例如，头戴式显示设备可以显示视频、照片和/或计算机生成的影像(CGI)。

在图1的示例中，头戴式显示设备102包括显示器外壳110，头戴式显示设备102的各种部件可以安装在该显示器外壳110内和/或安装到其上，头戴式显示设备102的各种部件包括透镜104和/或包括如本文所述的显示部件的各种电子部件。显示器外壳110可以包括外壳后表面112和基本上围绕一个或更多个内部部件的周边表面113，以及围绕显示器外壳110前侧处的观看区域106的开口115。

诸如头戴式显示设备102的头戴式显示设备可以提供不同且独特的用户体验。一些头戴式显示设备可以提供虚拟现实(VR)体验(即，它们可以向用户显示计算机生成的或预先记录的内容，并阻挡用户对其真实世界环境的视图)，而其他头戴式显示器可以提供真实世界体验(即，它们可以显示来自物理世界的实况影像)。头戴式显示器也可以提供实况内容和虚拟内容的任何混合。例如，虚拟内容可以(例如，经由光学或视频透视(see-through))被投影到物理世界的视图上，这可以导致用户的增强现实(AR)或混合现实(MR)体验。诸如头戴式显示设备102的头戴式显示设备可以被配置成以多种方式安装到用户的头部。一些头戴式显示设备可以并入眼镜或护目镜中。其他头戴式显示设备可以并入头盔、帽子或其他头饰中。

头戴式显示设备102可以包括人工现实系统或者结合人工现实系统来实现。人工现实是指设备的音频、视觉、触觉和/或其他感官输出的用户体验，在呈现给用户之前，该输出已经由设备创建或由设备相对于真实世界进行了调整。人工现实可以指例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybrid reality)或它们的某种组合和/或衍生物。人工现实内容可以包括完全是虚拟设备生成的内容和/或系统生成的内容，和/或可以包括与用户(例如，通过设备的透明或半透明部分)可直接观看或由一个或更多个系统相机捕获并由设备向用户显示的真实世界内容组合的虚拟内容。

人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维视觉效果的立体视频)。此外，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在包括连接到主计算机系统的头戴式显示器(有时也称为头戴式显示器(HMD)，而并不旨在要求该HMD当前正佩戴在用户的头上)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其它硬件平台的各种平台上实现。

音频子系统116可以包括(例如，通过延伸部123)安装到外壳110的扬声器121，并且可以与头戴式显示设备102集成或由安装到外壳或直接可附接到用户耳朵的分离部件形成。音频子系统116可以结合显示的内容或独立于显示的内容向用户的耳朵提供音频信号。如图1所示，头戴式显示系统100可以例如具有位于头戴式显示设备102的左侧和右侧的两个音频子系统116，以向用户的左耳和右耳提供音频信号。

如图所示，头戴式显示设备102可以包括带组件114，带组件114可以用于将头戴式显示设备102可调节地安装在用户的头部上。如图1所示，带组件114可以包括下带和/或上带，它们耦合到头戴式显示设备102，以在用户佩戴头戴式显示系统100时，可调节地符合用户头部的顶部和/或侧部。带组件114可以包括与上带和下带耦合的后部件(back piece)125，以抵靠用户头部的后部(例如，用户的枕叶周围)。在至少一个实施例中，后部件可以包括开口，该开口的大小和位置被设计成牢固地配合在用户头部的后部部分(例如，用户的枕骨的一部分)周围。

面部界面系统108可以被配置成当用户佩戴头戴式显示系统100时舒适地抵靠用户面部的区域，包括用户眼睛周围的区域。例如，面部界面系统108可以包括界面垫，该界面垫被配置成抵靠用户面部的部分(例如，用户的鼻部、脸颊、太阳穴和/或前额面部区域的至少一部分)。面部界面系统108围绕观看区域106延伸，并且可以被布置成允许佩戴头戴式显示设备102的用户通过头戴式显示设备102的透镜104进行观看，而不受外部光的干扰。

图2示出了根据本公开的方面的头戴式显示设备102的正面视图。如图2所示，头戴式显示设备102可以包括设置在显示器外壳110内的显示面板118。显示面板118可以被实现为液晶显示(LCD)面板、发光二极管(LED)显示面板或实现其他显示像素技术的显示面板。

如图2所示，显示面板118可以设置在显示器外壳110内，以便使左眼透镜104L和右眼透镜104R重叠，使得由显示面板118的对应区域产生的图像通过左眼透镜104L和右眼透镜104R对用户可见。例如，显示面板118的不同部分可以对用户的每只眼睛可见，其中显示面板的不同部分由在显示面板118和用于左眼透镜104L和右眼透镜104R的安装结构之间延伸的分割区域(例如，每个透镜的独立眼罩的部分、中央分隔物等)分开。这种配置可以使得显示面板118能够向用户的每只眼睛呈现不同的图像，从而允许用户感知三维内容。尽管在图2中示出了单个连续显示面板118(具有用于用户的每只眼睛的显示区域的连续面板)，但应当理解，头戴式显示设备102可以设置有多个显示面板(例如，用于用户的每只眼睛的一个显示面板，诸如一个LCD显示面板)。

如图2所示，头戴式显示设备102还可以包括被布置成跟踪用户每只眼睛的位置、取向和/或移动的眼睛跟踪单元215，并且还可以包括围绕左眼透镜104L和右眼透镜104R的遮光层119。例如，遮光层119可以在左眼透镜104L和右眼透镜104R与显示器外壳110的周围部分之间延伸。遮光层119可以包括例如吸光材料(例如，深色聚合物和/或织物材料)，该吸光材料遮蔽头戴式显示设备102的内部部件，并且防止(例如，通过用户面部和面部界面系统108之间的间隙)偶然进入观看区域106的任何外部光在观看区域106内被反射。

显示器外壳110可以由诸如刚性塑料的刚性材料形成，该刚性材料支撑并保护在其中容纳的内部部件，诸如显示面板108以及其他电子器件。显示器外壳110的至少一部分，诸如围绕观看区域106的显示器外壳110的一部分，可以包括防止外部光通过并防止偶然进入观看区域106的光的反射的吸光材料。阻挡外部光和/或防止光在头戴式显示设备102的观看区域106中的反射可以通过确保几乎所有对用户可见的光是从显示面板118发射而大大增强用户的沉浸式观看体验。返回参考图1，头戴式显示设备102可以设置有连接电缆129，该连接电缆129将头戴式显示设备102通信地耦合到诸如远程计算设备(例如，台式计算机、平板电脑、游戏控制台、服务器、专用计算机等)的远程系统，该远程系统生成要由显示面板118显示的内容。然而，还应理解，头戴式显示设备102可无线耦合到远程计算设备。

图3示出了包括用于用户单只眼睛的显示组件和显示面板的一部分的头戴式显示设备的一部分的示意性俯视图。在示例图3中，针对用户的每只眼睛，头戴式显示设备102包括刚体305(例如，对应于外壳110的后表面112的一部分)、包括光学块320的显示组件360和显示面板118的一部分。为了说明的目的，图3示出了与单只眼睛350相关联的显示组件360的横截面。因此，可在外壳110中为用户的另一只眼睛提供单独的光学块320和/或显示面板118和/或眼睛跟踪单元215。

在操作中，图3的示例显示组件中的显示面板118的显示像素朝向光学块320发射显示光。光学块320可以包括一个或更多个光学元件，该光学元件包括透镜，诸如图1和图2的透镜104，光学元件被布置成、大小被设计成、被成形为和被定位成组合显示光、放大显示光和/或针对一个或更多个附加光学误差(例如，失真、散光等)校正显示光。光学块320可以包括一个或更多个光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器等，并且可以包括不同光学元件的组合。光学块320的一个或更多个光学元件可以具有一个或更多个涂层，诸如抗反射涂层。光学块320对来自显示面板118的图像光的放大可以允许显示面板118比更大的显示器物理上更小、重量更轻并且消耗更少的功率。另外，显示光的放大可以增加显示内容的视场。例如，所显示内容的视场使得所显示内容使用用户的几乎全部视场(例如，150度对角线)以及在一些情况下用户的全部视场来呈现。光学块320将显示光引导到出射光瞳(exitpupil)340，以呈现给用户的眼睛350。出射光瞳340定位在用户眼睛350的瞳孔354的定位处或附近。尽管图3的示例示出了显示面板和将显示光从显示面板的显示像素引导到出射光瞳340的光学块，但应当理解，可以为头戴式显示设备102提供其他显示组件布置，诸如包括将显示光引导到出射光瞳340(例如，通过使用波导衬底上的一个或更多个光栅将来自投影仪的显示光重定向到出射光瞳)的波导显示器的显示组件。

如图3所示，头戴式显示设备102还可以包括一个或更多个眼睛跟踪单元215。眼睛跟踪单元215可以包括一个或更多个相机和/或一个或更多个光源(例如，红外光源)，该一个或更多个相机和/或一个或更多个光源被配置用于获得与眼睛350的运动相对应的眼睛跟踪数据。在一个示例中，红外光368在头戴式显示设备102内发射并从用户的每只眼睛350反射。反射的光由相机接收或检测并被分析以提取眼睛旋转信息以从由每只眼睛反射的红外光的变化识别眼睛运动(例如，通过(诸如通过确定眼睛运动的方向和速度)识别注视定位的变化来识别)。

如图3所示，用户的眼睛350包括角膜352、瞳孔354、晶状体356、虹膜358、巩膜361和中央凹362。中央凹362被示出为视网膜上的小凹陷。中央凹362对应于用户视网膜的具有最高视觉敏锐度的区域。如图3所示，眼睛350的角度取向对应于朝向显示面板118上的注视定位317的用户注视的方向。本文将注视方向定义为中央凹轴364的方向(包括由光学块320进行的任何修改或重定向)，中央凹轴364是眼睛的中央凹与眼睛瞳孔354的中心之间的轴。通常，当用户的眼睛固定在一点上时，用户眼睛的中央凹轴与该点相交。眼睛还包括瞳孔轴366，瞳孔轴是穿过瞳孔354的中心的轴，其垂直于角膜表面352。在一些实施例中，眼睛跟踪单元215检测瞳孔轴的取向，并基于检测到的瞳孔轴来估计中央凹轴364。可替代地，眼睛跟踪单元215通过直接检测中央凹362的定位和/或眼睛视网膜的其他特征的定位来估计中央凹轴。

如下文进一步详细描述的，显示面板118上显示的图像帧可以取决于如头戴式显示设备102所跟踪的用户头部的位置和/或移动。例如，当用户移动其头部以环视虚拟现实场景、增强现实场景、混合现实场景或人工现实场景时，场景中对应于显示面板在该场景中的位置的部分由显示面板显示。

在一些操作情形中，显示器118被操作以提供每个图像帧的中央凹显示。在中央凹显示中，以高分辨率显示图像帧的围绕注视定位317的部分。如图3所示，显示面板118的围绕用户注视定位的部分319可以被用于显示显示图像的高分辨率部分。显示面板118的部分321(其围绕显示图像帧的高分辨率部分的部分319)可以被用于显示过渡区域，在该过渡区域中，显示的图像帧的分辨率随着离注视定位317的距离的增加而降低。显示面板118的剩余部分323可以被用于显示图像帧的相对低的分辨率部分。

当用户的注视定位317由于用户眼睛350的旋转而围绕显示面板移动时，显示面板118的对应于图像的高分辨率部分、过渡部分和周边部分的部分319、321和323相应地变化。

图4示出了可以使用显示面板118显示的中央凹显示图像帧的示例。如图4所示，中央凹显示图像帧401可以包括高分辨率部分430、周边部分400和在高分辨率部分和周边部分之间延伸的过渡部分440。高分辨率部分430、过渡部分440和周边部分400可以分别由显示面板118的部分319、321和323显示(注意，对应于这些部分319、321和323的像素可以随着用户注视定位的变化而变化)。

图像帧401的周边部分400可以具有低于高分辨率部分430的分辨率的分辨率。例如，周边部分400可以具有与人眼的非中央凹区域的分辨率相对应的分辨率。例如，高分辨率部分430可以以对应于人眼的中央凹区域的分辨率显示。

如图所示，过渡部分440具有外边界455和内边界460(为了本描述的清楚起见，它们在图4被标记，但是当显示图像401时对用户不可见)。过渡部分440可以被混合，使得分辨率从外边界455以上面讨论的低分辨率部分400的分辨率平滑地变化到内边界460处的高分辨率部分430的高分辨率。另外，可以将过渡部分450褪色(faded)以与背景部分400混合。

在图4的示例中，高分辨率部分430具有以用户的注视定位417为中心、在图像401内居中并具有对称圆角的直线边界。然而，应当理解，随着高分辨率部分430根据用户的注视定位317的移动而移动，高分辨率部分430的定位(以及周围的过渡部分440)可以移动得更接近或远离图像401的边缘(例如，在用户的注视定位接近显示面板118的边缘和/或其视场的边缘的情况下)。

还应理解，图4的高分辨率部分430和过渡部分440的大小和形状仅是说明性的。高分辨率部分430和/或过渡部分440的其他形状可以包括圆形、卵(oval)形、椭圆(elliptical)形、细长的直线形状等，并且这些形状可以如图4中的示例那样是对称的，或者可以是沿着显示面板的一个或更多个维度不对称的(例如，高分辨率部分430和/或过渡部分440可以沿着用户眼睛305的运动方向伸长)。高分辨率部分430和过渡部分440可以具有相似的、同心的形状和位置，或者可以具有不同的形状和/或在图像401内不同地居中(例如，过渡部分440可以沿着用户眼睛的运动方向伸长并围绕圆形或伸长的高分辨率区域430)。

为了显示以当前注视定位317为中心的高分辨率区域430和过渡区域440，使得用户在区域440和400中不感知到降低的分辨率，用户的眼睛被跟踪。然而，在可以向用户显示针对该注视定位的中央凹显示图像帧之前，将注视定位提供给显示控制电路，识别与注视定位相关联的内容，渲染、校正和/或以其他方式处理显示图像，并且操作显示像素以显示中央凹显示图像帧401。这些操作(例如，除了诸如头部跟踪和/或接收和/或处理用户输入的其他操作之外的操作)中的每一个都需要时间，使得难以在实时跟踪用户眼睛时完成所有操作。由于这些原因，并且由于使用户的注视定位落在过渡区域440的一部分或低分辨率部分400上可能特别破坏用户的体验，因此提前知晓用户的注视定位是有帮助的(例如，使得处理可以在用户的眼睛到达每个注视定位之前开始)。

根据本主题公开的方面，可以获得针对未来显示帧的预测的注视定位，从而可以为该未来显示帧预先生成(例如，预渲染和/或存储)中央凹显示图像帧401。因为未来(预测的)注视定位可能不是确切确定地已知，所以可以基于例如每个预测注视定位的置信水平、用户眼睛350的运动类型和/或其他信息来自适应地修改高分辨率区域430、过渡区域440和背景部分400的大小和/或形状。

因此，高分辨率区域430可以以当前注视定位或预测的(例如，未来)注视定位为中心。当基于预测的注视定位定位高分辨率部分430时，高分辨率部分430、过渡部分440和/或背景部分400的大小和/或形状可以基于预测(例如，基于未来用户预期达到预测定位的时间的量、基于与预测相关联的置信水平和/或基于在用户预期达到预测定位的时刻要在图像401中显示的内容)来确定。下文描述了注视定位预测和对中央凹显示的一些部分的大小和/或形状的修改的进一步细节。

除了结合图3和图4描述的中央凹显示特征之外，显示组件360还可以包括用于提供变焦以减少或防止来自辐辏/调节冲突的不期望效果的部件和/或操作。

例如，在确定并显示与用户正在观看的人工场景的一部分相对应的图像帧(例如，诸如图4的图像帧401的中央凹显示图像帧或均匀分辨率图像帧)之后，系统100然后可以确定用户正在观看的所确定部分内的定位或对象，并相应地调整该定位或对象的焦点。为了确定用户正在观看的虚拟场景的所确定部分内的定位或对象，每只眼睛的眼睛跟踪单元215可以被用于确定注视定位317和/或辐辏平面(例如，垂直于显示面板118的平面，用户两只眼睛的中央凹轴364在该平面处相交)。

眼睛跟踪单元215可以被用于跟踪用户的每只眼睛350的眼睛位置、方向和/或取向。例如，头戴式显示设备102可使用来自眼睛跟踪单元215的眼睛跟踪数据来跟踪每只眼睛350的3D位置、滚动(roll)、俯仰(pitch)和偏航(yaw)的至少一个子集，并使用包括或基于这些量的眼睛跟踪数据来估计每只眼睛的注视定位317、辐辏平面和/或3D注视点。此外，来自过去眼睛位置的信息、描述用户头部位置的信息以及描述呈现给用户的场景的信息也可以用于在各种实施例中估计眼睛的3D注视点。

例如，图5示出了显示组件360的展开俯视图，其中可以看到用于双眼350的眼睛跟踪单元215和显示部件。在图5的示例中，眼睛跟踪单元215各自包括相机(例如，包括光源)，并且显示组件360包括设置在用户的每只眼睛与显示面板118的针对每只眼睛350的单独部分之间的透镜104(例如，透镜块320中的透镜)。例如，透镜104可以形成包括两个或更多个弯曲光学元件(例如，用于用户左眼和右眼中的每一个的一对薄饼透镜(pancake lens))的薄饼透镜块。

在图5的示例中，眼睛跟踪单元215捕获正在观看虚拟对象508的用户眼睛350的图像，该虚拟对象508使用显示面板118在距用户的虚拟距离处显示。头戴式显示设备102可以使用来自眼睛跟踪单元215的眼睛跟踪数据来确定要为每只眼睛350显示的场景内容(例如，基于在显示面板118上为每只眼睛所确定的注视定位317)，并确定注视线506的交点(例如，对应于中央凹轴或瞳孔轴，如图3中所述)。辐辏深度(d_ν)可以基于注视线506的估计交点来确定。辐辏深度可以对应于虚拟对象508的虚拟深度。可以识别与平行于显示面板118并包含注视线506的交点的平面相对应的辐辏平面。

为了改变头戴式显示设备102的光学系统的焦距(或焦度)，从而针对所确定的辐辏深度提供调节，该确定的辐辏深度对应于用户正在观看的虚拟场景的被显示部分的位置或被显示部分中的内容，基于所确定的辐辏深度和/或辐辏平面，可以相对于用户眼睛350和/或相对于显示组件的其他部件移动显示组件360的一个或更多个部件。作为示例，多透镜块中的一个或更多个透镜104可以朝向或远离用户的眼睛移动，或者朝向或远离多透镜块中的另一个透镜移动，透镜104中的一个或更多个可以变形以改变通过该透镜的光路来修改光学系统的焦距，显示面板118可以朝向或远离用户眼睛350和/或朝向或远离透镜104移动，和/或透镜104可以朝向或远离用户眼睛350和/或朝向或远离显示面板118移动。

例如，图6示出了显示组件360的一部分的横截面视图，其中透镜块320是具有彼此间隔开的两个弯曲透镜104的薄饼透镜块。在该示例中，透镜块320设置有致动器610(例如，马达、压电部件等)，该致动器被布置成修改透镜104中的一个的位置和/或形状，以调整头戴式显示设备102的光学系统的焦距(或焦度)，从而移动所得到的图像平面并为所确定的辐辏深度提供调节。在一个示例中，修改透镜104中的一个的位置和/或形状包括改变后光学元件606和前光学元件604之间的距离。在另一示例中，修改透镜104中的一个的位置和/或形状包括将力施加到两个光学元件中较大的一个(例如，后光学元件606)。在另一示例中，可以同时改变两个光学元件604和606的形状，或者改变光学元件的形状中的至少一个或改变两个光学元件之间的距离的组合可以被用来改变透镜块320的焦距。

在一个示例中，修改透镜104中的一个的位置和/或形状包括操作音圈马达，该音圈马达能够提供大约3-4mm的线性行程，以相对于前光学元件604移动后光学元件606。还可以提供导轴(guide shaft)608或其他结构限制器以引导后光学元件606的移动并防止倾斜。在一些实施例中，压电马达或某种其他合适的马达可用作该实现中音圈马达的替代方案。

在另一示例中，后光学元件606可以安装在固定外壳或螺纹环中，并且可以在外边缘上包括阳螺纹(male thread)，而螺纹环的内部包括阴螺纹(female thread)。在另一示例中，透镜104可设置在真空压力外壳内，使得透镜104之间或周围的真空压力可以被用于基于所确定的辐辏平面/深度改变光学系统的焦距。

除了这些用于变焦致动的示例之外，还应当理解，光学系统的焦点还可以或者可替代地通过调整诸如液体可调透镜、液晶光学器件、多焦光学器件、光场显示器、多焦液晶光学器件、Alvarez透镜和/或Pancharatnam-Berry相位(PBP)透镜(作为示例)的其他部件来修改。

如图6所示，致动器612还可以或可替代地耦合到显示面板118，以基于所确定的辐辏平面/距离来调整包括显示面板118和透镜块320的光学系统的图像平面。

在本文所描述的用于致动显示系统的部件以调整焦距和/或所得到的图像平面的各种实现中的任何一个中，为减少调节/辐辏冲突，用于致动光学元件的时间可能导致不希望的效果，诸如渲染中的延迟、帧丢失，和/或可能太晚而无法赶上用户的眼睛运动。

根据本主题公开的方面，可以获得用于未来显示帧的预测的辐辏平面和/或辐辏深度，从而可以提前开始针对该未来显示帧的光学元件调整。由于未来(预测的)辐辏平面/深度可能不是确切确定地已知，因此与每个预测的辐辏平面相关联的舒适区可以基于例如针对每个预测的辐辏平面的置信水平和/或其他信息(诸如在未来显示帧时的场景内容信息、用户校准信息和/或用户建模数据)来自适应地修改。下文描述了辐辏平面预测以及对舒适区的修改和对变焦部件的致动的进一步细节。

图7示出了系统100的各种部件的示意图，包括用于预测注视定位和/或辐辏平面的部件，和/或用于预测性中央凹显示和/或预测性变焦操作的部件。如图7所示，系统100可包括具有显示面板118和透镜块320的头戴式显示设备102。在该示例中，系统100也包括成像设备760和输入接口770，它们各自耦合到控制台750。

尽管图7示出了单个头戴式显示设备102、单个成像设备760和单个输入接口770，但应当理解，系统中可以包括任意数量的这些部件。例如，系统100可以包括多个头戴式显示设备102，每个显示设备有相关联的输入接口770，并且由一个或更多个成像设备760监测，其中每个头戴式显示设备102、输入接口770和成像设备760都与控制台750通信。在替代配置中，在系统100中也可以包括不同的和/或附加的部件。

头戴式显示设备102操作显示器118和/或诸如音频部件的其他部件以向用户呈现内容。在该示例中，头戴式显示设备102包括变焦致动块706、聚焦预测模块708、眼睛跟踪模块710、辐辏处理模块712、一个或更多个定位器714、内部测量单元(IMU)716、头部跟踪传感器718、场景渲染模块720以及眼睛预测模块722。

变焦致动块706包括一个或更多个变焦元件(例如，图6的致动器610或612中的一个或更多个、一个或更多个液体可调透镜、光场显示器的一个或更多个微透镜等)，该变焦元件调整光学块320的一个或更多个部件和/或显示面板118以改变头戴式显示设备102的焦距(或光焦度)，以在辐辏和调节改变时使用户的眼睛保持在舒适区。在其中变焦元件的调整是部件的机械移动的一个示例中，变焦致动块706基于针对用户的预测的辐辏平面和/或当前辐辏平面物理地改变光学块320的两个光学元件之间的距离。在机械聚焦变化的相同示例中，可替代地，或者除了改变光学元件之间的距离之外，变焦致动块706可以通过向图6中描述的后光学元件606或前光学元件604中的一个施加力来改变光学块320的焦距。在机械和/或其他变焦实现的各种示例中，变焦致动块706可以包括致动器、马达、真空压力控制器、可控偏振器、用于调节液体可调透镜和/或其他液晶光学器件的电子和/或机械部件、光场显示部件等，其改变光学块320的至少一个光学元件的形状、位置、取向和/或相位、偏振和/或其他响应度。变焦致动块706可以基于当前辐辏平面或基于针对用户的预测的辐辏平面来调整光学块320和/或显示面板118的布置。

例如，变焦致动块706可以设置和/或改变光学块320的状态和/或显示面板118的状态，以实现期望的焦距和/或对象距离，这减轻了针对用户的特定的当前或预测的辐辏平面的调节/辐辏冲突。

聚焦预测模块708是包括逻辑的编码器，该逻辑跟踪光学块320的状态，以预测光学块320的一个或更多个未来状态。例如，聚焦预测模块708累积对应于光学块320的先前状态的历史信息，并基于先前状态预测光学块320的未来状态。由于基于光学块320的状态来调整设备102对场景的渲染，因此预测的状态允许场景渲染模块720(下面进一步描述)确定要应用于特定帧的场景的调整。因此，聚焦预测模块708将描述用于帧的光学块320的预测状态的信息传送到场景渲染模块720。下面进一步描述由场景渲染模块720执行的针对光学块320的不同状态的调整。聚焦预测模块708可以操作来预测光学块320的状态，以甚至用于基于当前辐辏平面的变焦操作。

眼睛跟踪模块710可以从眼睛跟踪单元215接收眼睛跟踪数据，并基于眼睛跟踪数据跟踪用户眼睛350的眼睛位置和眼睛运动。头戴式显示设备102内部的眼睛跟踪单元215的相机或其他光学传感器捕获用户眼睛的图像信息，并且眼睛跟踪模块710使用捕获的图像信息来确定瞳间(interpupillary)距离、眼间距离、每只眼睛350相对于显示面板118和/或透镜104中的一个或更多个的三维(3D)位置(例如，用于失真调节目的)，包括扭转和旋转(例如，滚动、俯仰和偏航)的幅度。

眼睛跟踪模块710可以跟踪每只眼睛350的多达六个自由度(例如，3D位置、滚动、俯仰和偏航)，并且可以从用户的两只眼睛组合所跟踪的量的至少一个子集以估计注视定位和/或辐辏平面。在一些示例中，可以确定虚拟场景中用户注视的3D定位或位置。例如，眼睛跟踪模块710整合来自过去的眼睛跟踪测量的信息、识别用户头部位置的测量值、以及描述由显示面板118呈现的场景的3D内容信息。

眼睛跟踪模块710可以输出眼睛跟踪数据，诸如每只眼睛的过去注视方向的集合、用户眼睛的过去辐辏平面的集合、每只眼睛的当前注视方向、用户眼睛的当前辐辏平面、和/或用户每只眼睛的运动的当前方向、速度和/或加速度。可以将从眼睛跟踪模块710输出的眼睛跟踪数据提供给头戴式显示设备102的辐辏处理模块、场景渲染模块720、聚焦预测模块708和/或眼睛预测模块722。也可以将从眼睛跟踪模块输出的眼睛跟踪数据在头戴式显示设备102的外部提供到例如控制台750的人工现实引擎756。

眼睛预测模块722可以基于从眼睛跟踪模块接收的眼睛跟踪数据(例如，当前注视定位、当前辐辏平面、以及当前和过去的注视方向、每只眼睛运动的速度和/或加速度)和/或其他信息(例如，场景内容信息和/或用户校准信息)来生成一个或更多个预测的注视定位和/或一个或更多个预测的辐辏平面。预测的注视定位和/或预测的辐辏平面可以基于在眼睛运动期间用户眼睛的速度和/或加速度的前两个、前三个或前三个以上的测量值来确定。眼睛预测模块722可以为要由显示面板118显示的下一个图像帧和/或为一个或更多个后续图像帧生成预测的注视定位和/或预测的辐辏平面。作为示例，眼睛预测模块722可以为注视定位和/或辐辏平面生成接下来的一帧预测、两帧预测、三帧预测、五帧预测、十帧预测等。作为另一个示例，眼睛预测模块722可以为多个即将到来的时间生成多个预测，诸如10毫秒(ms)预测、20ms预测、30ms预测、50毫秒预测和100ms预测。例如，对于辐辏平面预测，变焦致动块706可以具有已知的最大调整时间(例如，以ms为单位)。眼睛预测模块722可以生成未来时间的预测的辐辏平面，这些时间基于变焦致动块706中的该已知延迟(例如，该已知延迟的一倍或更多倍)。应当理解，这些预测时间可以独立于显示帧时间。

眼睛预测模块722可以生成针对每个预测的注视定位和/或辐辏平面的置信水平。例如，在用户眼睛的特定运动期间，当在运动期间从眼睛跟踪模块710提供更多眼睛跟踪数据时，在该运动结束时针对预测的注视定位和/或辐辏平面的置信水平可以提高。下文(例如，结合图8)将描述眼睛预测模块722的另外的特征。

辐辏处理模块712可以对从眼睛跟踪模块710接收的辐辏深度或辐辏平面进行操作，以确定对光学块320和/或显示器110的修改，以实现对应的图像平面深度，从而保持用户的舒适区。在一些实现中，当前辐辏深度也可以或者可替代地由辐辏处理模块712(例如，基于从眼睛跟踪模块710提供的针对每只眼睛的注视方向信息)确定。

定位器714是相对于彼此并且相对于头戴式显示设备102上的特定参考点位于头戴式显示设备102上特定位置的部件。定位器714可以被实现为发光二极管(LED)、角立方体反射器(corner cube reflector)、反射标记(reflective marker)、与头戴式显示设备102的操作环境形成对比的另一种类型的光源、或它们的某种组合。有源定位器714(例如，LED或其他类型的发光设备)可以发射在可见光波段(例如，380nm至750nm之间)中、在红外(IR)波段(例如，750nm至1mm之间)中、在紫外波段(例如，10nm至380nm之间)中、电磁波谱的某个其他部分、或它们的某种组合中的光。

定位器714可以位于头戴式显示设备102的外表面之下，该外表面对于由定位器714发射或反射的光的波长是透光的，或者足够薄而基本上不使由定位器714发射或反射的光的波长衰减。此外，头戴式显示设备102的外表面或其他部分在光波长的可见光波段中可以是不透光(opaque)的。因此，定位器714当在头戴式显示设备102的外表面下时可以发射在IR波段中的光，该外表面在IR波段中是透光的但在可见光波段中是不透光的。

惯性测量单元(IMU)716是基于从一个或更多个头部跟踪传感器718接收的测量信号来生成快速校准数据的电子设备，头部跟踪传感器718响应于头戴式显示设备102的运动生成一个或更多个测量信号。头部跟踪传感器718的示例包括加速度计、陀螺仪、磁力计、适于检测运动、校正与IMU 716相关联的误差的其他传感器或者其某种组合。头部跟踪传感器718可以位于IMU 716的外部、IMU 716的内部或者其某种组合。

基于来自头部跟踪传感器718的测量信号，IMU 716生成快速校准数据，该快速校准数据指示头戴式显示设备102相对于头戴式显示设备102的初始位置的估计位置。例如，头部跟踪传感器718包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、和横滚)的多个陀螺仪。例如，IMU 716可以对测量信号进行快速采样，并根据采样的数据计算头戴式显示设备102的估计位置。例如，IMU 716在时间上对从加速度计接收的测量信号进行积分以估计速度向量，并在时间上对速度向量进行积分以确定头戴式显示设备102上参考点的估计位置。参考点是可以用来描述头戴式显示设备102的位置的点。虽然参考点通常可以被定义为空间中的点，但是在各种实施例中参考点被定义为在头戴式显示设备102内的点(例如，IMU 716的中心)。可替代地，IMU 716向控制台750提供所采样的测量信号，控制台750确定快速校准数据。

IMU 716可以附加地从控制台750接收一个或更多个校准参数。如下面进一步讨论的，一个或更多个校准参数用于保持对头戴式显示设备102的跟踪。基于接收到的校准参数，IMU 716可以调整一个或更多个IMU参数(例如，采样率)。在一些实施例中，某些校准参数使IMU 716更新参考点的初始位置以对应于参考点的下一个校准位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与确定估计位置相关联的累积误差。累积误差(也称为漂移误差(drift error))导致参考点的估计位置随着时间的推移“漂移”远离参考点的实际位置。

场景渲染模块720从人工现实引擎756接收用于人工场景的内容，并提供该内容以在显示面板118上显示。另外，场景渲染模块720可以基于来自聚焦预测模块708、辐辏处理模块712、IMU 716、头部跟踪传感器718和眼睛预测模块722的信息来调整内容。例如，在从引擎756接收到内容时，场景渲染模块720基于从聚焦预测模块708接收到的光学块320的预测状态来调整内容。例如，场景渲染模块720可将失真校正应用于要显示的显示内容(例如，通过在显示之前基于光学块320的预测状态来扭曲所渲染的图像帧)，以抵消可能由光学块320的光学元件引起的所显示图像帧的任何失真。预测的三维注视定位(例如，其基于预测的注视定位和预测的辐辏平面)可以被用于在一些情形中预测该失真校正(例如，通过将预测的三维注视定位提供给聚焦预测模块708)。另外，如下面进一步描述的，场景渲染模块720基于跟踪模块754、头部跟踪传感器718或IMU 716中的一个或更多个来确定待显示在电子显示器118上的内容的一部分。

如本文所述，场景渲染模块720和/或头戴式显示设备102和/或控制台750内的其他处理电路可将图像帧(或图像帧系列)划分为高分辨率部分430、过渡部分440和周边部分400，以渲染中央凹显示图像帧以用于由显示面板118显示。

场景渲染模块720基于来自眼睛跟踪模块710的当前注视定位和/或来自眼睛预测模块722的一个或更多个预测的注视定位来确定要渲染的高分辨率区域430、过渡区域440和周边区域400中的每一个的定位、大小和/或形状。场景渲染模块720然后可以例如以目标分辨率(例如，对应于人眼的中央凹区域的分辨率)渲染高分辨率区域430，并且以低于高分辨率部分430的分辨率的分辨率渲染周边部分400。在一些操作情形中，高分辨率区域430可以被上采样(诸如经由超分辨率技术上采样)(如果需要的话)以实现目标分辨率。在一些操作情形中，场景渲染模块720可以基于预测的注视定位和针对该预测的注视定位的置信水平来调整周边部分400的内容。例如，场景渲染模块720可以根据针对预测的注视定位的置信水平对周边部分400应用填充(fill)。

场景渲染模块720还可以应用混合函数来调整要渲染的过渡部分440的分辨率，使得在渲染时，分辨率从图像的高分辨率部分430的分辨率平滑地过渡到背景区域400的分辨率。混合函数可以对应于与从人眼的中央凹到非中央凹区域的过渡相关联的敏锐度下降。混合函数可以是例如高斯金字塔分解函数、高斯混合函数、从嵌入(inset)区域的分辨率平滑地过渡到背景区域的分辨率的某个函数或其某种组合。另外，金字塔混合函数可以包括执行高斯金字塔分解(例如，用适当的平滑滤波器平滑内容，然后对平滑内容进行子采样，并继续该处理以达到预定的采样密度水平)。可以使用高斯混合函数将子采样和已平滑的内容混合到原始内容。混合的过渡部分可用于复合内容的过渡区域440。

场景渲染模块720还可以使用强度褪色函数在周边部分400和/或过渡部分440中褪色(例如，减小显示强度)。在一些操作情况下，场景渲染模块720可以基于预测的辐辏平面来调整高分辨率部分430、过渡部分440和/或周边部分400中的一个或更多个中的一些或全部的分辨率(例如，通过有意模糊高分辨率区域430中的对象，该对象与用户的眼睛进行辐辏(verged)的高分辨率区域中的另一个对象处于不同深度)，以增强允许用户对各种对象进行辐辏并聚焦于各种对象的深度线索。这种人工散焦(defocus)模糊可以进一步帮助模拟其中眼睛具有有限景深的真实世界效果。由于所显示的图像帧可能完全在单个焦平面上，即使该图像帧可能包含不同深度的对象，场景渲染模块也可以基于对象与焦平面的距离来人为地模糊图像帧中的对象。这种人工散焦可以通过以全分辨率渲染高分辨率区域430，然后人为地对该区域中处于远离焦平面的深度的对象应用散焦模糊来执行，或者可以通过以较低分辨率渲染高分辨率区域中处于远离焦平面的深度的对象来执行。该人工散焦模糊可以仅针对高分辨率区域(例如，用户的视觉可以最好地感知效果的地方)中的对象、高分辨率区域430和过渡部分440中的对象、或者全部的高分辨率区域430、过渡部分440和周边部分400中的对象执行。

当基于诸如预测的注视定位和/或预测辐辏平面的预测眼睛数据操作时，场景渲染模块720可预渲染一个或更多个图像帧，并在显示这些图像帧之前存储预渲染的图像帧。当获得更新的和/或改进的预测眼睛数据时，还可以在显示之前调整和/或替换预渲染的图像帧。

成像设备760根据从控制台750接收的校准参数来生成慢速校准数据。慢速校准数据包括示出定位器714的所观察到的位置的一个或更多个图像，这些图像能够由成像设备760检测。成像设备760可以包括一个或更多个相机、一个或更多个摄像机、能够捕获包括一个或更多个定位器714的图像的其他设备或者其某种组合。另外，成像设备760可以包括一个或更多个滤波器(例如，用于增加信噪比)。成像设备760被配置成在成像设备760的视场中检测从定位器714发射或反射的光。在定位器714包括无源元件(例如，逆反射器(retroreflector))的实施例中，成像设备760可以包括照射一些或所有定位器714的光源，这些定位器朝向成像设备760中的光源逆反射光。慢速校准数据从成像设备760被传送到控制台750，并且成像设备760从控制台750接收一个或更多个校准参数以调整一个或更多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈等)。

输入接口770是允许用户向控制台750发送诸如动作请求的输入的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。输入接口770可以包括一个或更多个输入设备。示例输入设备包括键盘、鼠标、游戏控制器或用于接收动作请求并将接收到的动作请求传送到控制台750的任何其他合适的设备。由输入接口770接收到的动作请求可以被传送到控制台750，控制台750执行对应于动作请求的动作。在一些实施例中，输入接口770可以根据从控制台750接收到的指令来向用户提供触觉反馈。

控制台750根据从成像设备760、头戴式显示设备102和/或输入接口770接收的信息向头戴式显示设备102提供内容以呈现给用户。在图7所示的示例中，控制台750包括应用储存器752、跟踪模块754和引擎756。控制台750的一些实现具有与结合图7描述的模块不同的或附加的模块。类似地，下面进一步描述的功能可以以不同于这里描述的方式在控制台750的部件之间分配。

应用储存器752存储用于由控制台750执行的一个或更多个应用。应用是一组指令，该一组指令在由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由头戴式显示设备102的移动和/或接口设备770而从用户接收的输入。应用的示例包括游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块754使用来自成像设备760的慢速校准信息跟踪头戴式显示设备102的移动，并使用来自慢速校准信息的观察到的定位器714和头戴式显示设备102的模型确定头戴式显示设备102上的参考点的位置。跟踪模块754还使用来自头戴式显示设备102上的IMU716的快速校准信息的位置信息来确定头戴式显示设备102上的参考点的位置。另外，跟踪模块754可以使用快速校准信息、慢速校准信息或其某种组合的部分来预测头戴式显示设备102的未来定位，该未来定位被提供给引擎756。

引擎756执行系统内的应用，并从跟踪模块754接收头戴式显示设备102的位置信息、加速度信息、速度信息、所预测的未来位置或其某种组合。基于接收到的信息，引擎756确定要提供给头戴式显示设备102用于呈现给用户的内容(例如人工场景)。例如，如果接收到的信息指示用户已经向左看，则引擎756根据用户在人工环境中的移动为头戴式显示设备102生成位于先前显示内容左侧的内容。另外，引擎756响应于从输入接口770接收到的动作请求来执行在控制台750上执行的应用内的动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由头戴式显示设备102的视觉或听觉反馈或者经由输入接口770的触觉反馈。应当理解，在各种实现中，被描述为由场景渲染模块720正在执行的一些或全部操作可以在其他地方执行，诸如由AR引擎756执行。

用于头戴式显示设备的示例眼睛预测部件和方法

图8示出了眼睛预测模块722的示例性实现的示意图。如图所示，眼睛预测模块722可以包括滤波模块800、注视预测模块802和辐辏预测模块804。滤波模块800可以从眼睛跟踪模块710接收眼跟踪数据814(例如，每只眼睛的当前注视方向、当前注视运动方向和当前注视运动速度和/或其他眼睛跟踪数据，诸如针对每只用户眼睛的一个或更多个部分的当前和/或过去的原始位置和/或取向数据)，并且可以输出预测，诸如预测的注视定位和/或预测的辐辏平面。

滤波模块800还可以接收诸如用户校准数据816、场景内容信息818和/或头部跟踪数据820的其他数据。例如，可以在针对每个特定用户的训练会话中获得用户校准数据816。在训练会话中，可通过显示面板118向佩戴头戴式显示设备102的用户呈现视觉刺激，该视觉刺激使用户的眼睛以一种或更多种已知类型的眼睛运动进行运动。

例如，四种类型的人眼运动包括眼跳运动(例如，两只眼睛一起向注视方向的快速移动)、平滑追踪运动(例如，两只眼睛一起的相对较慢的运动，典型地跟随移动的对象)、前庭-眼部运动(例如，两只眼睛一起的相对较慢的稳定运动，该运动针对身体和/或头部运动稳定视觉)、以及辐辏运动(例如，眼睛在不同方向上的注视方向单独的会聚或发散运动)。

在针对每个用户的设备训练会话期间，可以由显示器118提供视觉刺激，该视觉刺激引起用户的眼睛执行这四种类型的眼睛运动中的一种或更多种。在已知的眼睛运动期间由眼睛跟踪单元215收集的眼睛跟踪数据可以稍后由滤波模块800使用，以(i)识别在设备102的正常操作期间由用户的眼睛执行的眼睛运动的类型，以及(ii)使用眼睛跟踪数据和识别的眼睛运动的类型来预测一个或更多个未来注视定位和/或辐辏平面。

因为人眼通常执行这四种基本类型的运动中的一种，所以眼睛预测模块722可以包括对应于每种自然眼睛运动类型的处理滤波器。例如，滤波模块800可以包括眼跳滤波器806、平滑追踪滤波器808、前庭-眼部滤波器810和辐辏滤波器812。尽管其他运动滤波器可以包括在滤波模块800中，但应当理解，由眼睛预测模块722生成的预测的注视定位和预测的辐辏平面被限制(例如，由滤波器限制)到那些可以由人眼能够自然执行的眼睛运动实现的预测。眼跳滤波器806、平滑追踪滤波器808、前庭-眼部滤波器810和辐辏滤波器812和/或其他自然眼睛运动滤波器可以各自从眼睛运动跟踪模块710接收眼睛跟踪数据(例如，过去和/或未来的注视定位、和/或每只眼睛的运动的方向和速度)，并且可以各自基于当前眼睛运动是对应于该滤波器的眼睛运动类型的假设来处理所接收的眼睛跟踪数据。

例如，眼跳滤波器806、平滑追踪滤波器808、前庭-眼部滤波器810和辐辏滤波器812中的每一个可以尝试将接收到的眼睛跟踪数据拟合或应用到对应于该类型的眼睛运动的一个或更多个曲线、表面或其他模型(例如，可调整的参数化模型或经训练的机器学习的模型)，并且可以基于例如拟合的良好性来生成当前眼睛运动是对应于该滤波器的眼睛运动类型的置信水平。眼跳滤波器806、平滑追踪滤波器808、前庭-眼部滤波器810和辐辏滤波器812中的每一个试图将接收到的眼睛跟踪数据拟合到或应用到的曲线或其他模型对每个滤波器可以是唯一的(例如，对应于该类型的眼睛运动的已知特征的曲线或模型)，并且可以(例如，使用用户校准数据816)针对设备102的每个特定用户进行调节(例如，基于用户校准数据816进行调节，该用户校准数据816可以被用作例如特定于每种类型的眼睛运动的机器学习模型的训练数据)。当该滤波器内的置信水平上升到预定阈值时，或者可以比较多个滤波器的置信水平直到置信水平中的一个上升到比所有其他置信水平高出预定比较阈值为止，可以通过滤波器806、808、810或812中的一个来识别用户当前正在执行的眼睛运动的类型。例如，当接收到新的眼睛跟踪数据并将其并入到尝试的拟合中时，置信水平可能会改变。例如，在平滑追踪滤波器808中，如果当前眼睛运动是平滑追踪运动，则置信水平将随着附加的眼睛跟踪数据而上升，而在所有其他滤波器中则下降。

在一些示例中，一旦滤波模块800识别出眼睛运动的类型，就可以将眼睛运动的类型和眼睛跟踪数据(例如，包括用于进行确定的眼睛跟踪数据和在识别之后连续获得的附加眼睛跟踪数据)提供给注视预测模块802或辐辏预测模块804中的一个或两个。例如，当识别出眼跳、平滑追踪运动或前庭-眼部运动时，可将所识别出的运动类型和眼睛跟踪数据(例如，用于进行识别的眼睛跟踪数据和连续获得的附加眼睛跟踪数据)提供给注视预测模块802。在这些示例中，注视预测模块802然后确定一个或更多个预测的未来注视定位，以及针对预测的未来注视定位中的每一个的一个或更多个对应的置信水平。然后，可以从注视预测模块802向例如场景渲染模块720、聚焦预测模块708和/或人工现实引擎756提供预测注视定位和注视预测元数据(包括每个预测注视定位的置信水平)，用于渲染(例如，预渲染)中央凹显示图像帧以用于由显示面板118显示。当识别出辐辏运动时，可将所识别的运动类型和眼睛跟踪数据(例如，用于进行识别的眼睛跟踪数据和连续获得的附加眼睛跟踪数据)提供给辐辏预测模块804。在这些示例中，辐辏预测模块804然后确定一个或更多个预测的未来辐辏平面或深度，以及针对预测的辐辏平面或深度中的每一个的一个或更多个对应的置信水平。然后，可以从辐辏预测模块804向例如场景渲染模块720、聚焦预测模块708、人工现实引擎756和/或辐辏处理模块712提供预测的辐辏平面和辐辏预测元数据(包括针对每个预测的辐辏平面的置信水平)，以用于用显示组件360进行变焦显示。

在上面的示例中，眼睛运动的类型以及注视定位和/或辐辏平面的预测是在单独的、不同的操作中执行的。然而，还应当理解，类型识别和预测可以在并行或部分并行操作中执行。例如，眼跳滤波器806、平滑追踪滤波器808、前庭-眼部滤波器810和辐辏滤波器812中的每一个可以用每个输入的眼睛跟踪测量值来生成和/或更新预测和置信水平。例如，随着每次试图将眼睛跟踪数据拟合或应用到眼跳模型，眼跳滤波器806可以生成置信水平和预测的注视定位，并且当该预测的置信水平高于预定阈值时输出基于眼跳的注视预测。在眼跳的示例中，尽管平滑追踪滤波器808、前庭-眼部滤波器810和辐辏滤波器812与眼跳滤波器806并行地生成预测，但这些预测将不被使用，因为眼睛跟踪数据将导致那些预测中的置信水平低于眼跳滤波器中的置信水平，并且随着附加数据而降低。

还应理解，用于眼跳滤波器806、平滑追踪滤波器808、前庭-眼部滤波器810和辐辏滤波器812中的任一个或全部的模型可以在设备正常操作之前的训练会话中，和/或当模型随着时间的推移学习并适应每个用户的眼睛的行为时的头戴式显示设备102的正常使用期间，相对于头戴式显示设备102的每个用户进行调节。

在一些情形中，场景内容信息818还可以由滤波器806、808、810或812中的一个或更多个使用。例如，当滤波模块800识别出平滑追踪运动时，可以将呈现给用户的场景中的对象识别为被追踪的对象。在该情形中，由于场景中对象的运动是预先已知的，因此在视觉追踪该对象期间，可以将提前知道的知识应用于预测的未来注视定位。在另一示例中，在其中用户的眼睛在最近的视觉刺激(例如，爆炸，或游戏角色通过门进入)的方向上执行眼跳运动的情形中，最近的视觉刺激的定位可用于确定当前眼跳结束时的预测的注视定位(例如，通过向模型应用约束或附加输入数据点，以使预测眼睛会移动到最近的视觉刺激的定位的可能性更大)。场景内容信息818还可以被用于确定针对预测的注视定位和/或预测的辐辏平面的置信水平。例如，在活动的场景对象显示在预测的注视定位处或在其附近的情形中，针对该预测的注视定位的置信水平可以高于仅在预测的注视定位处显示背景的情形中的置信水平。

在一些情形中，头部跟踪数据820(例如，来自跟踪模块754、IMU 716和/或头部跟踪传感器718)也可由滤波器806、808、810或812中的一个或更多个使用。例如，当滤波模块800识别出前庭-眼部运动时，头部跟踪数据可以被用于预测用户眼睛的即将发生的运动，以补偿头部跟踪数据指示的头部运动的一些或全部。由头部跟踪数据820指示的头部运动信息也可以被用于增强对眼跳运动、平滑追踪运动和/或辐辏运动的预测(例如，单独地使用或与用户校准数据816和/或场景内容信息818结合地使用)。

还应理解，虽然单独示出了注视预测模块802和辐辏预测模块804，但在一些实现中，注视预测和辐辏预测可以由公共模块执行和/或同时地执行(例如，通过基于识别的眼睛运动类型和眼睛跟踪数据预测三维注视定位)。

图9示出了根据一个或更多个实现的用于诸如头戴式显示设备中的显示面板的电子显示器的预测性操作的示例过程的流程图。为了解释的目的，本文主要参考图1-图3和图5-图8中一个或更多个设备(特别是参考头戴式显示设备102、眼睛跟踪单元215、眼睛跟踪模块710、眼睛预测模块722、场景渲染模块720、辐辏处理模块712、变焦致动块706、显示组件360和显示面板118)描述图9的过程，其中一些过程可以由图1的头戴式设备102的一个或更多个处理器执行。然而，图9的过程不限于这些设备和/或模块，过程的一个或更多个块(或操作)可以由其他合适设备的一个或更多个其他部件执行。进一步为了解释的目的，本文图9的过程的块被描述为串行或线性地发生。然而，图9的过程的多个块可以并行发生。此外，图9的过程的块不需要以示出的顺序执行和/或图9的过程的一个或更多个块不需要被执行和/或可以由其他操作代替。

在块900处，获得预测的眼睛数据。对于佩戴头戴式显示设备(诸如头戴式显示设备102)的用户，预测的眼睛数据可以包括一个或更多个预测的注视定位和/或一个或更多个预测的辐辏平面或辐辏深度。每个预测的注视定位和每个预测的辐辏平面可以在未来具有相关联的预测时间，诸如与用于由显示面板118显示的即将到来的图像帧的显示时间相对应的预测时间。在一些示例中，可以针对下一个即将到来的图像帧和/或针对距当前显示帧的两个、三个、四个、五个、十个或更多个显示帧获得预测的眼睛数据。获得预测的眼睛数据可以包括利用例如图7和图8的眼睛预测模块722生成预测的眼睛数据。例如，结合图7和图8以及图10和图11的流程图，进一步详细描述了为获得预测的眼睛数据而可以被执行的操作的示例。

在块902处，可以基于预测的眼睛数据来控制头戴式显示设备102的中央凹显示特征。例如，场景渲染模块720和/或AR引擎756可以生成(例如，预渲染)中央凹显示图像帧(例如图4的图像帧401)以用于由显示面板118显示，该图像帧具有围绕来自眼睛预测模块722的预测的注视定位的高分辨率区域。场景渲染模块720和/或AR引擎756可以基于例如与预测的注视定位相关联的置信水平来确定高分辨率区域和/或周围过渡区域和/或周边区域的大小和/或形状。结合例如图12-图18进一步详细描述了可以被执行用于基于预测的眼睛数据控制中央凹显示特征的操作的示例。

在块904处，可以基于预测的眼睛数据来控制诸如头戴式显示设备102的辐辏处理模块712和/或变焦致动块706的变焦系统。例如，当预测的眼睛数据包括不同于当前辐辏平面的预测的辐辏平面时，辐辏处理模块712可以操作变焦致动块706以移动或改变显示组件306的一个或更多个部件的形状(例如，通过移动或使薄饼透镜块中的透镜104中的一个变形)。在一些示例中，辐辏处理模块712可以确定与预测的辐辏平面相关联的舒适区，并修改显示组件的一个或更多个部件以将显示组件的图像平面移动到舒适区中。结合例如图19-图23进一步详细描述了可以被执行用于基于预测的眼睛数据控制中央凹显示特征的操作的示例。

图10示出了根据一个或更多个实现的用于获得预测的眼睛数据的示例过程的流程图。图10的过程的块在本文被描述为串行或线性地发生。然而，图10的过程的多个块可以并行发生。此外，图10的过程的块不需要以示出的顺序执行和/或图10的过程的一个或更多个块不需要被执行和/或可以由其他操作代替。

在块1000处，获得针对用户(诸如佩戴头戴式显示设备102的用户)的双眼的眼睛跟踪数据。可以通过在每个眼睛跟踪单元215中用红外光源照射用户的眼睛，以及在每个眼睛跟踪单元215中用红外相机捕获用户眼睛的红外图像来获得眼睛跟踪数据。可以处理眼睛跟踪数据以识别用户眼睛的一个或更多个特征，并识别每只眼睛的当前注视定位(例如，对应于用户的中央凹轴与显示面板118相交的定位处的定位)，并识别每只眼睛的注视定位和/或中央凹轴的变化(例如，通过确定运动的当前方向和/或速度)。

在块1002处，基于眼睛跟踪数据确定眼睛运动的一种或更多种类型。眼睛运动的类型可以是例如当前正由头戴式显示设备102的用户的眼睛执行的眼跳、平滑追踪运动、前庭-眼部运动、辐辏运动或者这些眼睛运动类型中的两种或更多种的组合。可以基于在眼睛运动期间以及在眼睛运动完成之前的前两个、三个或几个眼睛跟踪数据点来确定眼睛运动的类型。确定眼睛运动的类型可以包括同时尝试将前几个眼睛跟踪数据点拟合或应用到针对每种眼睛运动类型的模型或被训练成将输入数据分类为眼睛运动的输出类型的组合的模型，确定针对眼睛运动的每种类型的置信水平，以及基于单独的置信水平和/或置信水平的比较来识别眼睛运动的一种或更多种类型。在一些情形中，可以基于眼睛跟踪数据指示眼睛运动的单一类型(例如，眼跳、平滑追踪运动、前庭-眼部运动或辐辏运动)。在其他情形中，用户的眼睛可以执行组合的运动(例如，眼跳到新深度处的对象，或者平滑地追踪后退或接近的对象)，在这种情形中，可以识别两种并发的眼睛运动类型。在其他情形中，基于针对眼睛运动的每种类型的置信水平，眼睛运动的两种类型可以是可信的，在这种情况下，可以识别眼睛运动的两种类型。

在块1004处，基于所确定的眼睛运动的一种或更多种类型、眼睛跟踪数据以及在识别了眼睛运动类型之后且在完成眼睛运动之前获得的附加眼睛跟踪数据点来确定预测的注视定位和/或预测的辐辏平面。例如，如果眼睛运动被确定为辐辏运动，则可以使用过去和/或当前注视方向和/或每只眼睛的注视方向的运动速度和方向来预测在眼睛运动结束时每只眼睛的注视方向，由此可以确定两只眼睛的定位的交叉点以识别辐辏深度或平面。作为另一示例，如果单个地识别出眼跳、平滑追踪或前庭-眼部运动中的任何一个，则可以将眼睛跟踪数据和附加的眼睛跟踪数据应用于该类型的眼睛运动的模型(例如，如针对特定用户所调节的)，以确定当前眼部运动结束时的最终注视定位。作为另一示例，如果眼跳、平滑追踪和前庭-眼部运动中的两个或更多个被识别为对于由用户的眼睛当前正在执行的眼睛运动来说是可信的类型，则眼睛跟踪数据和附加的眼睛跟踪数据可以被应用于每种类型的眼睛运动的模型(例如，如针对特定用户所调节的)，并且可以(例如，使用基于置信水平的加权平均值)组合所得到的预测以确定当前眼睛运动结束时的最终注视定位。预测的注视定位和/或预测的辐辏平面随后可以被用于控制设备的预测性中央凹显示和/或预测性变焦特征。

在一些情形中，预测的注视定位和/或预测的辐辏平面可以与眼睛运动类型的识别并行地确定。图11示出了根据一个或更多个实现的用于获得预测的眼睛数据的示例过程的流程图，其中可以看到各种并行处理方面。本文将图11的过程的一些块描述为与其他块串行发生，或线性地发生。然而，图11的过程的多个块可以并行发生。此外，图11的过程的块不需要以示出的顺序执行和/或图11的过程的一个或更多个块不需要被执行和/或可以由其他操作代替。

在块1100处，使用安装到设备外壳的至少一个相机，获得针对用户(诸如佩戴头戴式显示设备102的用户)的双眼的眼睛跟踪数据。例如，眼睛跟踪数据可以使用两个红外相机来获得，每个红外相机捕获由安装在外壳中的红外光源照明的用户眼睛的图像。可以处理眼睛跟踪数据以识别用户眼睛的一个或更多个特征，识别每只眼睛的当前注视定位(例如，对应于用户的中央凹轴与显示面板118相交的定位处的定位)，识别眼睛运动，识别注视定位的变化，和/或确定针对每只眼睛的注视定位和/或中央凹轴的运动的当前方向和/或速度。

在块1102、1104、1106和1108处，头戴式显示设备中的处理电路可以并行地尝试识别当前可能正由用户眼睛执行的四种(或更多种)类型的眼睛运动。块1102、1104、1106和1108的操作可以例如分别由图8的滤波模块806、808、810和812执行。

在块1102处，可以基于眼睛跟踪数据并使用眼跳模型(例如，通过尝试将眼睛跟踪数据的特征拟合到经历眼跳的眼睛运动的相同特征的模型，或者通过提供眼睛跟踪数据作为机器学习眼跳模型的输入，该机器学习眼跳模型已被训练成响应于输入眼睛跟踪数据，输出预测的注视定位和预测的注视定位置信水平)来(例如，由眼跳滤波器806)确定第一预测的注视定位和第一注视定位置信水平。例如，通过将针对当前眼睛运动获得的前几个(例如，两个、三个或四个)速度(例如，速度和方向)测量值应用于针对一般用户的眼跳的典型速度测量值的模型或针对当前用户调节的速度测量值的模型(例如，并使用前几个速度测量值调节眼跳模型的参数)，模型可以被用于输出未来时间的预测的注视定位。当前眼睛运动的加速度测量值(例如，其使用速度测量值确定)也可以或者可替代地应用于眼跳典型的加速度测量值的模型(例如，用于一般用户或针对当前用户调节的模型)。前几个速度测量值和/或加速度测量值的模型拟合的良好性或质量可以提供针对预测的注视定位的置信水平(例如，差的拟合将导致低置信水平，而好的拟合将导致高置信水平)。作为另一个示例，可以(例如，在眼睛预测模型722的眼跳滤波器806中)提供已经训练好的机器学习模型(例如，通过以下方式训练的：(i)将与用户和/或具有眼睛跟踪能力的设备的一个或更多个先前用户的已知眼跳运动相对应的眼睛跟踪数据提供给机器学习模型作为输入训练数据，(ii)将已知眼跳运动提供给机器学习模型作为输出训练数据，以及(iii)使用输入训练数据和输出训练数据调整模型的参数以生成经训练的模型)来输出用于新的眼睛跟踪数据的输入集合的预测注视定位和注视定位置信水平。在该机器学习示例中，例如，可以生成预测的注视定位和注视定位置信水平，而无需调整模型的参数以拟合当前的眼睛跟踪数据。当获得每个新的眼睛跟踪数据点时，可以更新预测、置信水平和/或模型参数。如果当前的眼睛运动确实是眼跳，则基于眼跳模型的预测的置信水平将随着每个增加的数据点而提高，并且预测的注视定位将趋向于最终预测。如果当前的眼睛运动不是眼跳，那么置信水平将随着每个增加的数据点而降低，因为从数据中可以更清楚地看出该运动不是眼跳。

在与块1102的操作并行的块1104处，可以基于眼睛跟踪数据和平滑追踪模型(例如，通过尝试将眼睛跟踪数据的特征拟合到经历平滑追踪的眼睛运动的相同特征的模型，或者通过提供眼睛跟踪数据作为机器学习平滑追踪模型的输入，该机器学习平滑追踪模型已被训练成响应于输入眼睛跟踪数据，输出预测的注视定位和预测的注视定位置信水平)来确定(例如，由平滑追踪滤波器808确定)第二预测的注视定位和第二注视定位置信水平。

在与块1102和1104的操作并行的块1106处，可以基于眼睛跟踪数据并假设用户的当前眼睛运动是前庭-眼部运动来(例如，由前庭-眼部滤波器810)确定第三预测的注视定位和第三注视定位置信水平(例如，通过尝试将眼睛跟踪数据和/或头部跟踪的特征拟合到经历前庭-眼部运动的眼睛运动的相同特征的模型，或者通过提供眼睛跟踪数据和/或头部跟踪数据作为机器学习前庭-眼部模型的输入来确定，该机器学习前庭-眼部模型已经被训练成响应于输入眼睛跟踪数据而输出预测的注视定位和预测的注视定位置信水平)。

在与块1102、1104和1106的操作并行的块1108处，可以基于眼睛跟踪数据并假设用户的当前眼睛运动是辐辏运动来(例如，由辐辏滤波器812)确定预测的辐辏平面和辐辏平面置信水平(例如，通过尝试将眼睛跟踪数据的特征拟合到经历辐辏运动的眼睛运动的相同特征的模型，或者通过提供眼睛跟踪数据作为机器学习辐辏模型的输入来确定，该机器学习辐辏模型已经被训练成响应于输入眼睛跟踪数据而输出预测的注视定位和预测的注视定位置信水平)。

还可以针对头戴式显示设备102的一个或更多个特定用户中的每一个来调节结合块1102、1104、1106和1108描述的模型。例如，在用户在使用头戴式显示设备102期间执行的眼睛运动之后，可以将该眼睛运动所产生的眼睛跟踪数据、预测的注视定位、预测的辐辏平面、实际注视定位和/或实际辐辏平面反馈到模型(例如，作为附加训练数据)，以进一步微调针对每个用户的模型。以这种方式，模型可以学习和适应每个用户的特定的眼睛行为。

在块1110处，眼睛预测模块722可以确定第一注视定位置信水平、第二注视定位置信水平或第三注视定位置信水平中的任何一个是否高于置信水平阈值。置信水平阈值可以是与第一注视定位置信水平、第二注视定位置信水平和第三注视定位置信水平中的每一个共同比较的预定阈值，或者可以是基于当前注视定位置信水平变化的动态置信水平。例如，在块1110处，当第一注视定位置信水平、第二注视定位置信水平或第三注视定位置信水平中的任何一个上升到高于公共置信水平阈值时，与该置信水平相关联的眼睛运动的类型可以被标识为用户当前正在执行的眼睛运动的类型。在另一示例中，当第一注视定位置信水平、第二注视定位置信水平或第三注视定位置信水平中的任一个上升到高于第一注视定位置信水平、第二注视定位置信水平和第三注视定位置信水平和/或辐辏平面置信水平中的另两个时，与该置信水平相关联的眼睛运动的类型可被识别为用户当前正在执行的眼睛运动的类型。

在块1112处，眼睛预测模块722还可以确定辐辏平面置信水平是否高于辐辏平面置信水平阈值。如果辐辏平面置信水平高于辐辏平面置信水平阈值，则眼睛预测模块722可以确定用户的当前眼睛运动是辐辏运动。例如，可以通过确定用户的两只眼睛水平地在不同(例如，相反)方向上移动来确定辐辏运动。

因为在图11的示例中，对于每个注视定位置信水平生成预测的注视定位，并且在识别眼睛运动的类型的同时对于每个预测的辐辏平面生成辐辏平面，所以在识别眼睛运动的时候，已准备好将对应的注视定位和/或辐辏平面提供给其他部件以用于中央凹显示和/或变焦操作。

例如，在块1114处，如果第一注视定位置信水平、第二注视定位置信水平或第三注视定位置信水平中的任一个高于置信水平阈值，则可以将对应的第一预测的注视定位、第二预测的注视定位或第三预测的注视定位连同高于阈值的注视定位置信水平提供给场景渲染模块720和/或人工现实引擎756，以用于预测性中央凹显示操作。在一些情形中，在块1114处，(例如，如果要在预测定位处显示的显示内容位于与用户当前定位处的显示内容不同的深度处，诸如，如果用户的眼睛从对应于远处对象的注视定位朝向用户前面的桌子向下移动)还可以将预测的注视定位提供给辐辏处理模块712。以这种方式，变焦部件可以预测性地移动以预期尚未开始的辐辏变化。

例如，在块1116处，如果辐辏平面置信水平高于辐辏平面置信水平阈值，则可将对应的预测的辐辏平面连同辐辏平面置信水平提供给辐辏处理模块712和/或聚焦预测模块708，用于预测性变焦操作。

在注视定位和辐辏平面都在变化的情况下，可以在块1114处提供一个或更多个预测的注视定位，并且可以在块1116处提供一个或更多个预测的辐辏平面。

示例预测性中央凹显示系统和方法

图12示出了根据一个或更多个实现的用于预测性中央凹显示的示例过程的流程图。为了解释的目的，本文主要参考图1-图3和图7-图8的一个或更多个设备(特别是参考头戴式显示设备102、眼睛跟踪单元215、眼睛跟踪模块710、眼睛预测模块722、场景渲染模块720、显示组件360和显示面板110)描述图12的过程，其中一些过程可以由图1的头戴式设备102的一个或更多个处理器执行。然而，图12的过程不限于这些设备和/或模块，过程的一个或更多个块(或操作)可以由其他合适设备的一个或更多个其他部件执行。进一步为了解释的目的，图12的过程的块在本文中被描述为串行或线性地发生。然而，图12的过程的多个块可以并行发生。此外，图12的过程的块不需要以示出的顺序执行和/或图12的过程的一个或更多个块不需要被执行和/或可以由其他操作代替。

在块1200处，获得一个或更多个预测的注视定位。可以基于例如图10或图11的操作从例如眼睛预测模块722获得预测的注视定位。预测的注视定位可以包括一帧的预测、三帧的预测和十帧的预测(作为示例)，它们对应于从当前显示的帧开始的未来一帧、未来三帧或未来十帧的预测时间。每个预测的注视定位具有也可以获得的相关联的置信水平。

在块1202处，场景渲染模块720、AR引擎756和/或头戴式显示设备102的其他处理电路和/或控制台750基于预测的注视定位及其相关联的注视定位置信水平中的一个或更多个来确定即将到来的图像帧的高分辨率区域的定位(例如，中心)、大小和/或形状。

例如，高分辨率区域可以是以预测的注视定位为中心并由同心的矩形或圆形的过渡区域到周围的周边区域所包围的矩形或圆形高分辨率区域。在该示例中，高分辨率区域和过渡区域的宽度或半径可以基于置信水平(例如，与置信水平成反比地)确定。以这种方式，当预测的确定性相对较低时，在预测的注视定位处生成相对较大的高分辨率区域。然而，针对图像帧的矩形或圆形区域的示例仅仅是说明性的。

高分辨率区域、过渡区域和/或周边区域的形状也可以基于注视定位置信水平来确定。例如，高分辨率区域和/或过渡区域可以沿着用户注视的运动方向伸长，(例如)伸长量与置信水平成反比。例如，当针对预测的注视定位的置信水平相对较低时，高分辨率区域和/或过渡区域可以具有沿运动方向的相对较大的伸长。随着针对预测的注视定位的置信水平提高，伸长可以减小(例如，针对高于上阈值的置信水平，或者针对当前(测量的)注视定位，减小到正方形或者圆形形状)。伸长可以是关于预测的注视定位对称的，或者可以具有不对称性(例如，恒定不对称性或与置信水平成反比的不对称性)。高分辨率区域(例如，中央凹区域)的大小和/或形状可以随着预测模型建立置信度而动态变化，如结合例如图13-图18进一步详细描述的。

在渲染之前，随着获得附加的眼睛跟踪数据，针对每个预测的注视定位的置信水平可以提高(或降低)，并且针对每个预测的高分辨率区域430和过渡区域440的大小和/或形状可以相应地修改。例如，在针对一帧预测的注视定位、三帧预测的注视定位和十帧预测的注视定位中的每一个的置信水平随着输入的眼睛跟踪数据而上升时，与每个预测相关联的高分辨率区域430和过渡区域440的大小可以减小。

在块1204处，可以渲染图像帧的第一内容以在具有所确定的定位、大小和/或形状的高分辨率区域中(例如，使用显示面板118)显示。高分辨率区域中的第一内容可以以相对高(例如，中央凹)分辨率渲染。围绕第一内容的第二内容可以被渲染用于在过渡区域中显示，该过渡区域具有针对过渡区域所确定的大小和/或形状，并且分辨率从高分辨率区域的边界处的高分辨率降低到周边区域的边界处的较低分辨率。可以渲染围绕第二内容的第三内容，以便在周边区域中以相对低的分辨率显示。以这种方式，在用户的眼睛运动到未来注视定位时，可以提供图像帧的中央凹显示，其中高分辨率区域在针对用户眼睛的未来注视定位处被预渲染。渲染的中央凹显示图像帧可以被存储以用于以后的显示和/或用于在显示之前的更新或修改，和/或可以在用户的眼睛朝着预测的注视定位运动时被显示。例如，因为一旦启动眼跳运动，用户就不能重定向眼跳，并且眼跳期间的视觉感知可能会降低(例如，因为眼睛在快速眼睛运动或焦点移动期间不会感知到大量细节)，所以当识别出眼跳运动和相关联的未来注视定位时，在用户的眼睛到达预测的未来注视定位之前，可以显示和/或调整预测的未来注视定位处的具有高分辨率区域的中央凹显示图像帧。在其他情况下，在预测的未来注视定位处的具有高分辨率区域的中央凹显示图像帧可以被预渲染并存储以用于当眼睛的当前运动完成时进行显示。在一些情况下，渲染的和/或显示的图像帧的高分辨率区域的大小可以在渲染之后增大(例如，基于不同于预测注视定位的新的预测注视定位处的更新的预测而增大，由于不同于预测注视定位的当前注视定位和/或由于预测注视定位的置信度降低)，以确保用户的眼睛落在高分辨率区域中。在一些情况下，可以首先渲染周边(低分辨率)区域400，稍后基于新更新的眼睛跟踪数据添加高分辨率区域。

在块1206处，下一显示帧的高分辨率区域的大小和/或形状可以相对于渲染的和/或显示的图像帧的大小和/或形状进行修改。例如，当用户的眼睛仍然朝着渲染的和/或显示的图像帧的预测的未来注视定位运动时，由于获得附加的眼睛跟踪数据，针对预测的注视定位的置信水平可以提高，从而允许下一显示帧的高分辨率区域(和/或周围的过渡区域)的大小减小。当用户的眼睛接近预测的注视定位时，高分辨率区域(和/或周围的过渡区域)的形状也可以随着置信水平的提高而变化(例如，变得更对称和/或更圆)。

在块1208处，可以确定静态或当前注视定位。例如，在用户的眼睛运动完成之后，并且用户的注视已经(至少暂时地)落在静态注视定位处，可以使用例如最新的(最近的)眼睛跟踪数据点来识别当前的静态注视定位。静态注视定位可以在先前获得的预测未来注视定位处或附近。

在块1210处，因为现在已知用户的注视定位(例如，因为该定位在最近测量的定位处是静态的)，所以可以进一步将高分辨率区域的大小减小到当注视定位是静态时要显示的中央凹显示帧的最小大小。如图12的操作所示，预测的注视定位和对应的置信水平允许中央凹显示操作的各个方面提前和/或与其他场景内容识别和渲染操作并行地执行，使得中央凹显示图像帧可以在用户的眼睛到达新定位之前生成，从而减少系统延迟的影响并防止用户的视觉错误或中断。

图13-图18示出了根据本公开的方面的在预测性中央凹显示操作期间显示面板118的各种视图。例如，在图13中，显示面板118被示出为显示针对当前静态注视定位317的中央凹显示图像帧401。在图13-图18的示例中，仅为了当前讨论的清楚性而省略光学块320及其光学效果，但应当理解，该光学块320插入在用户眼睛和设备102中的显示面板118之间。

在图13的示例中，注视定位317是基于来自眼睛跟踪单元215和眼睛跟踪模块710的注视方向506的最近测量值的当前静态注视定位。在该示例中，中央凹显示图像帧401的高分辨率区域430和过渡区域440是圆形的，并且具有作为这些区域在中央凹显示操作中的最小宽度的各自的宽度R_H和R_T(本示例中的半径)。尽管在图13的示例中，中央凹显示图像帧401的高分辨率区域430和过渡区域440是圆形的，但是应当理解，诸如矩形形状的其他形状可以用于中央凹显示图像帧401的高分辨率区域430和过渡区域440。

图14示出了其中用户的眼睛350已经开始从图13的注视定位317(在图14中标记为先前的注视定位1400)朝向新的未知的注视定位进行眼跳运动的示例。在图14的示例中，眼睛350具有以速度S在方向D上改变的当前注视定位317M。方向D和速度S可以基于例如用户瞳孔和/或用户眼睛的其他识别部分的运动的眼睛跟踪数据点1402(例如，测量值)来确定。可以用收集的每个数据点1402测量和/或更新方向D和速度S。如图14所示，基于方向D和速度S(例如，其与眼睛运动的已完成部分相关联的一个或多更个测量值)，生成(例如，由眼睛预测模块722生成)预测的注视定位317P。还应当理解，在各种时间(例如，其对应于用户眼睛的注视方向的变化)的眼睛跟踪数据点1402(例如，测量值)可以被用于生成预测的注视定位317P，而无需明确地输出速度S或方向D的测量值。

如上所讨论的(参见，例如，图9-图11)，以一置信水平生成预测的注视定位317P，该置信水平可以被用于确定在用户的眼睛到达预测的注视定位时或之前要显示的图像帧的高分辨率区域430和过渡区域440的大小和形状。在图14的示例中，由于在用户眼睛运动的这个阶段对于预测的注视定位317P的相对低的置信水平，预测性中央凹显示图像帧401P被显示有比图13的高分辨率区域430大的高分辨率区域430P，并且沿着注视定位317M的运动方向伸长。在图14的示例中，由于在用户眼睛运动的这个阶段对于预测的注视定位317P的相对低的置信水平，过渡区域440P也比图13的过渡区域440大，并且沿着注视定位317M的运动方向伸长。相应地确定周边部分400P的大小和形状。

图15示出了其中用户的眼睛350已经完成了从先前注视定位1400朝向预测的注视定位317P的大部分眼跳运动的示例。如图15所示，已经获得了更多的眼睛跟踪数据点1402，允许以比图14时的置信水平相对更高的置信水平来生成预测的注视定位317P。因此，在图15时，显示的图像帧中的高分辨率区域430P和过渡区域440P的大小相对于在图14时显示的图像帧中的那些区域的大小减小，并且由于图15预测的更高置信水平，高分辨率区域430P和过渡区域440P具有沿注视定位317M的运动的减小的伸长。

图16示出了其中眼跳运动完成并且用户的注视方向506已经落在注视定位317并且静止在新的注视定位317处的示例。在该示例中，新的注视定位317接近但不恰好在先前预测的注视定位317P的定位处。在该示例中，因为注视定位317再次是静态的，所以高分辨率区域430和过渡区域440是对称的(例如，在该说明性示例中是圆形的)、同心的，并且分别具有最小宽度R_H和R_T。

图17示出了根据本公开的方面的在用户眼睛的平滑追踪运动期间的预测性中央凹显示操作期间的显示面板118。例如，在图17中，显示面板118被示出为在用户的注视定位变化以执行从第一静态注视定位317-1(移动通过中间注视定位317M-1、317M-2和317M-3)到第二静态注视定位317-2的平滑追踪运动时显示中央凹显示图像帧。在图17的示例中，注视定位317-1和317-2各自是基于来自眼睛跟踪单元215和眼睛跟踪模块710的注视方向506-1和506-2的最近测量值的当前静态注视定位。因此，中央凹显示图像帧401的高分辨率区域430和过渡区域440具有各自的宽度R_H和R_T(例如，在图17的示例中的半径)，该宽度R_H和R_T是在用户眼睛的平滑追踪运动之前和之后用于中央凹显示操作的这些区域的最小宽度。

如图17所示，当检测到平滑追踪运动时，因为用户的眼睛的运动比图13-图16中所示的眼跳运动慢，并且可以以更高的置信水平来预测(例如，特别是，如果对应于显示对象的已知运动的已知显示内容可以与追踪相关联)，移动和/或预测的注视定位(诸如图17的注视定位317M)周围的区域430和440可以保持恒定的形状，并且可以基于预测(例如，基于预测的注视定位的置信水平)相对于针对已知注视定位的图像帧的最小R_H和R_T增加图像帧中的大小(例如，宽度或半径)，但小于眼跳运动的增加。

图18示出了根据本公开的方面的在用户眼睛的前庭-眼部运动期间的预测性中央凹显示操作期间的显示面板118。例如，在图18中，显示面板118被示出为当用户的静态注视定位执行到静态注视定位317周围的各种移动注视定位317M的前庭-眼部运动时显示中央凹图像帧。当确定用户眼睛的运动是前庭-眼部的，并且主要是由于头部和/或身体运动而用于稳定，高分辨率区域430和过渡区域440的大小和形状可以保持在最小宽度，即使在预测用户注视定位的小的运动时也是如此，以用于低延迟的渲染。然而，在一些情形中，在前庭-眼部运动期间，高分辨率区域和/或过渡区域440的大小和/或形状也可以基于注视预测置信水平被修改(例如，增加)。

应当理解，在图13-图18中描绘的区域430和440的大小和形状仅仅是说明性的，并且区域430和/或440的其他大小和/或形状可以基于眼睛运动的类型、预测的注视定位和/或预测的注视定位的置信水平来确定。

示例变焦显示系统和方法

图19示出了根据一个或更多个实现的用于预测性变焦显示的示例过程的流程图。为了解释的目的，本文主要参考图1-图2和图5-图8的中一个或更多个设备(特别是参考头戴式显示设备102、眼睛跟踪单元215、眼睛跟踪模块710、眼睛预测模块722、辐辏处理模块712、变焦致动块706、显示组件360和显示面板110)描述图19的过程，其中一些过程可以由图1的头戴式设备102的一个或更多个处理器执行。然而，图19的过程不限于这些设备和/或模块，过程的一个或更多个块(或操作)可以由其他合适设备的一个或更多个其他部件执行。进一步为了解释的目的，本文图19的过程的块被描述为串行或线性地发生。然而，图19的过程的多个块可以并行发生。此外，图19的过程的块不需要以示出的顺序执行和/或图19的过程的一个或更多个块不需要被执行和/或可以由其他操作代替。

在块1900处，获得一个或更多个预测的辐辏平面。可以基于例如图10或图11的操作从例如眼睛预测模块722获得预测的辐辏平面。预测的辐辏平面可以分别包括针对从当前时间开始的10ms、30ms和100ms的预测时间的10ms预测、30ms预测和100ms预测。例如，对于辐辏平面预测，变焦致动块706可以具有已知的最大调整时间(例如，以ms为单位)。预测时间可以是基于变焦致动块706中的已知延迟时间的未来时间(例如，是已知延迟时间的一倍或更多倍)。作为另一示例，预测的辐辏平面可以包括一帧的预测、三帧的预测和十帧的预测(作为示例)，它们对应于从当前显示的帧开始的未来一帧、未来三帧或未来十帧的预测时间。每个预测的辐辏平面具有也可以获得的相关联的置信水平。

在块1902处，基于预测的辐辏平面和针对预测的辐辏平面的置信水平，确定用于显示组件360的光学系统的图像平面的预测的舒适区。预测的舒适区可以是这样的范围，在该范围内，尽管光学系统的图像平面可能不与辐辏深度或虚拟对象深度相同，但图像平面和辐辏深度之间的差对于用户仍然是舒适的。图像平面的预测的舒适区可以是在例如辐辏平面的1.5屈光度内的区。在一些操作情形中，在块1902处确定的预测的舒适区可以基于用户观看预测的辐辏平面的舒适度和预测的辐辏平面的置信水平来确定。例如，当预测的平面的置信水平小于阈值时，预测的舒适区的大小可以相对于最小舒适大小增大。以这种方式，系统可以避免基于低置信度辐辏预测对显示组件360的光学系统进行过大的改变。

在块1904处，可以调整一个或更多个光学元件(例如，透镜104和/或显示面板118中的一个或更多个)以将图像平面移动到预测的舒适区中。调整光学元件可以包括移动和/或使透镜104中的一个或更多个变形(例如，如上面结合图5和图6所讨论的)、移动和/或使显示组件360的一个或更多个其他元件变形(例如，通过移动显示面板118进行)、调节液体可调透镜、移动一个或更多个Alvarez透镜的一个或更多个部件、和/或修改穿过一个或更多个Pancharatnam-Berry相位(PBP)透镜(作为示例)的显示光的偏振。一个或更多个光学元件可以例如在用户的眼睛在预测的辐辏平面处辐辏之前(例如，在用户的眼睛的辐辏运动期间)被调整。在块1904处，可以将图像平面调整到预测的舒适区的下冲边缘(undershoot edge)。预测的舒适区的下冲边缘是预测的舒适区的最接近当前图像平面的边缘。以这种方式，减少了在用户的眼睛落在新的辐辏平面之前对光学元件的调整。在用户眼睛的辐辏运动期间，将光学元件调整到预测的舒适区的下冲边缘可以是总体调整，并且可以以总体调整速率执行。

在块1906处，当用户的眼睛朝向新的辐辏平面辐辏(例如，会聚或发散)时，可以调整预测的舒适区和/或预测的辐辏平面。例如，当从眼睛跟踪模块710获得附加的眼睛跟踪数据点时，可以以提高的置信水平生成更新的预测的辐辏平面和预测的舒适区。

在块1908处，还可以在用户的眼睛在预测的辐辏平面处辐辏之前进一步调整一个或更多个光学元件。例如，可以进行进一步的调整以将图像平面保持在经调整的预测的舒适区域内，并且可以以第二(例如，较慢)调整速率进行调整。

在块1910处，可以确定静态或当前辐辏平面。例如，在用户的辐辏运动完成之后，并且用户的注视已经(至少暂时地)落在静态辐辏深度处，可以使用例如针对每只眼睛的注视方向的最新的(最近的)眼睛跟踪数据点来识别当前的静态辐辏平面。静态辐辏平面可以在先前获得的预测的未来辐辏平面处或附近。

在块1912处，因为现在已知用户的辐辏平面(例如，因为平面在最近测量的辐辏深度处是静态的)，所以可以识别针对当前辐辏平面的期望的图像平面和对应的期望舒适区(例如，在当前辐辏平面的1.5屈光度内)。

在块1914处，可以进一步调整一个或更多个光学元件以将图像平面移动到期望的图像平面。由于在块1904和/或1908处的一个或更多个光学元件的先前预测性调整，其中光学元件基于预测性辐辏平面被预测性地移动(以在当前辐辏平面的方向上移动图像平面)，在用户的眼睛在当前辐辏平面处进行辐辏之前，块1914处的调整可以是微调调整，该微调调整可以以例如相对较慢的第三调整速率执行。

图20-图23示出了根据本公开的方面的在预测性变焦显示操作期间的显示组件360的各种视图。例如，在图20中，显示面板118显示虚拟对象(未示出)，其中用户的眼睛350在该对象所在的辐辏平面2000处辐辏。在图20的示例中，辐辏平面2000是基于来自眼睛跟踪单元215和眼睛跟踪模块710的每只眼睛350的注视方向506的最近测量值已知的当前静态辐辏平面。

在图20的示例中，光学块320的透镜104被布置成在图像平面2002处形成显示面板118的图像。如图20所示，用户聚焦于显示面板118的图像的图像平面2002可能与用户的眼睛在显示的特定虚拟对象进行辐辏的辐辏平面2000不同。

图21示出了其中用户的眼睛已经开始从先前的静态辐辏平面(在图21中被指示为先前辐辏平面2100)朝向新的尚未到达的辐辏平面发散的示例。例如，眼睛跟踪测量值2110可以指示用户的两只眼睛正在相互远离地旋转。即使注视方向506当前在中间辐辏平面2000M处相交，但用户右眼的运动的方向D_R和速度S_R以及用户左眼的运动的方向D_L和速度S_L(或随时间变化而不显式计算或输出速度或方向的眼睛跟踪数据点)也可以被用于生成预测的辐辏平面2000P。如图21中的箭头2103所示，基于预测的辐辏平面2000P，光学块320和/或显示面板118的调整已经开始将图像平面2102朝向预测的辐辏平面移动，以根据正在进行的辐辏变化引起用户眼睛350的调节。

例如，为了在箭头2103的方向上移动图像平面2102，可以调整诸如前光学元件604或后光学元件606(参见例如图6)的光学元件的位置和/或形状，以将图像平面移动到已经针对预测的辐辏平面2000P识别出的舒适区2104中。如图21所示，舒适区2104可包括下冲边缘2106和过冲边缘2108。显示组件360的元件可以在眼睛350的辐辏运动期间移动和/或变形，以将图像平面2102移动到位于舒适区2104的下冲边缘2106处或其附近的深度。如图所示，下冲边缘2106是舒适区2104最接近当前图像平面2102的边缘。

图22示出了一个示例，其中自对应于图21的时间以来，当前辐辏平面2000M已经进一步朝向预测的辐辏平面2000P移动，并且如箭头2203指示正在继续移动。如图22所示，图像平面2102已经移动到舒适区2104内，正好在下冲边缘2106内。如图22所示，随着用户眼睛350的运动继续，已经获得了附加的眼睛跟踪数据点2110。预测的辐辏平面2000P、针对预测的辐辏平面2000P的置信水平、和/或下冲边缘2106和/或过冲边缘2108可以基于附加的眼睛跟踪数据点2110来调整。

在图23的示例中，用户的眼睛350已经在新的辐辏平面2000处固定并且是静止的。如所指示，新的辐辏平面2000可以在先前预测的辐辏平面2000P处或其附近(例如，取决于预测的精度)。如图23中的箭头2300所指示，在已经检测到静态辐辏平面2000之后，可以继续进行图像平面2102的附加的(例如，微调)调整，以进一步增强用户的舒适度。图23中所指示的微调调整可以例如以比在用户眼睛的辐辏运动期间执行的总调整率慢的微调调整速率执行。

如本文所使用的，在一系列项(用术语“和”或“或”来分隔任何项)之前的短语“......中的至少一个(at least one of)”将列表作为一个整体而不是针对列表的每个成员(即，每个项)来修改。短语“......中的至少一个”不要求选择至少一个项；相反，该短语允许包括以下中的任何一个的含义：项中的至少一个、和/或项的任何组合中的至少一个、和/或每一项中的至少一个。举例来说，短语“A、B和C中的至少一个”或者“A、B或C中的至少一个”各自指仅A、仅B或仅C；A、B和C的任意组合；和/或每个A、B和C中的至少一个。

就说明书或权利要求中使用的术语“包括”、“具有”等而言，该术语旨在以类似于术语“包含”(在权利要求中用作过渡词时所解释的“包含”)的方式包含在内。词语“示例性的”在本文中用于表示“用作示例、实例或说明”。本文描述为“示例性”的任何实施例不一定被解释为比其他实施例更优选或更有利。

除非特别说明，否则对单数形式的元件的引用并不意指“一个且只有一个”，而是指“一个或更多个”。本领域普通技术人员已知或以后将会知道的贯穿本公开描述的各种配置的元件的所有结构和功能等同物通过引用明确地结合于此，并且旨在被本主题技术所包含。此外，本文公开的任何内容都不旨在奉献于公众，无论此类公开是否在以上描述中被明确陈述。

虽然本说明书包含许多细节，但是这些细节不应被解释为对所要求保护的范围的限制，而是对主题的特定实现的描述。在单独的实施例的上下文中本说明书中所描述的某些特征也可在单个实施例中结合实现。相反，在单个实施例的上下文中所描述的各种特征也可以在多个实施例中单独实现或者在任何合适的子组合中实现。此外，尽管上文可将特征描述为以某些组合形式起作用且甚至最初是如此主张的，但在某些情形中，可从一所主张组合去除来自该组合的一个或更多个特征，且所主张组合可涉及一子组合或一子组合的变化形式。

诸如顶、底、前、后、侧、水平、垂直等术语指的是任意的参考系，而不是一般的重力参考系。因此，这样的术语可以在重力参考系中向上、向下、对角线或水平延伸。

已经根据特定方面描述了本说明书的主题，但是可以实现其他方面，并且这些方面在所附权利要求的范围内。例如，虽然在附图中以特定顺序描述了操作，但是这不应该被理解为要求以所示的特定顺序或顺序地执行这些操作，或者要求执行所有示出的操作以获得期望的结果。权利要求中列举的动作可以以不同的顺序执行，并且仍然获得期望的结果。作为一个示例，附图中描述的过程不一定需要所示的特定顺序或顺序地来实现期望的结果。在某些情形下，多任务和并行处理可能是有利的。此外，上述方面中的各种系统组件的分离不应被理解为要求所有方面中的这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。其他变化在所附权利要求的范围内。

Claims (14)

1.一种头戴式显示系统，包括：

头戴式显示设备，所述头戴式显示设备包括：

外壳；

显示面板，其位于所述外壳内；以及

一个或更多个眼睛跟踪单元，其被配置成获得眼睛跟踪数据；

眼睛跟踪模块，其被配置成基于所述眼睛跟踪数据识别当前注视定位的变化；

眼睛预测模块，其被配置成基于识别的变化生成预测的未来注视定位；以及

处理电路，其被配置成基于所预测的未来注视定位渲染至少一个预测性中央凹显示图像帧，以用于由所述显示面板显示。

2.根据权利要求1所述的头戴式显示系统，其中：

所述显示面板被配置成在所述处理电路渲染所述至少一个预测性中央凹显示图像帧的同时，基于所述当前注视定位显示当前中央凹显示图像帧，

所述当前中央凹显示图像帧包括以所述当前注视定位为中心并具有第一分辨率的高分辨率部分、围绕所述高分辨率部分的至少一部分并具有低于所述第一分辨率的第二分辨率的周边部分、以及在所述高分辨率部分和所述周边部分之间延伸的过渡部分，并且

所述预测性中央凹显示图像帧包括：以所述预测的未来注视定位为中心并具有所述第一分辨率的高分辨率部分；围绕所述高分辨率部分的至少一部分并具有低于所述第一分辨率的所述第二分辨率的周边部分；以及在所述高分辨率部分和所述周边部分之间延伸的过渡部分。

3.根据权利要求2所述的头戴式显示系统，其中，所述当前注视定位和所述预测的未来注视定位是所述显示面板上的定位。

4.根据权利要求2所述的头戴式显示系统，其中，所述眼睛预测模块还被配置成生成针对所述预测的未来注视定位的注视定位置信水平，

其中，可选地，所述处理电路被配置成基于所述注视定位置信水平确定所述预测性中央凹显示图像帧的高分辨率部分的大小和/或所述预测性中央凹显示图像帧的高分辨率部分的形状。

5.根据权利要求4所述的头戴式显示系统，其中，所述眼睛预测模块被配置成基于识别的变化通过以下步骤生成所述预测的未来注视定位：

基于所述识别的变化识别眼睛运动的类型；以及

基于所述识别的变化并基于识别的眼睛运动的类型的模型生成所述预测的未来注视定位和所述注视定位置信水平，

其中，可选地，眼睛运动的类型是眼跳运动、平滑追踪运动或前庭-眼部运动。

6.根据权利要求1所述的头戴式显示系统，其中：

所述眼睛预测模块被配置成基于所述识别的变化生成第一预测的未来注视定位、第二预测的未来注视定位和第三预测的未来注视定位；并且

所述处理电路被配置成基于所述第一预测的未来注视定位、第二预测的未来注视定位和第三预测的未来注视定位预渲染对应的第一预测性中央凹显示图像帧、第二预测性中央凹显示图像帧和第三预测性中央凹显示图像帧，

其中，可选地，所述第一预测的未来注视定位、第二预测的未来注视定位和第三预测的未来注视定位对应于与未来显示帧相关联的时间，所述未来显示帧分别是距当前显示帧的一个显示帧、三个显示帧和十个显示帧。

7.根据权利要求1所述的头戴式显示系统，还包括能够通信地耦合到所述头戴式显示设备的控制台，其中，所述处理电路包括所述控制台的人工现实引擎。

8.根据权利要求1所述的头戴式显示系统，其中，所述处理电路包括所述头戴式显示设备的场景渲染模块。

9.一种方法，包括：

获得关于具有显示面板的头戴式显示设备的用户的眼睛跟踪数据；

基于所述眼睛跟踪数据确定当前注视定位以及所述当前注视定位的变化的当前方向和速度；

基于所述当前方向和速度生成预测的未来注视定位；

基于所述当前注视定位渲染当前中央凹显示图像帧，以用于由所述显示面板显示；以及

在显示所述当前中央凹显示图像帧之后，基于所述预测的未来注视定位预渲染至少一个预测性中央凹显示图像帧，以用于由所述显示面板显示。

10.根据权利要求9所述的方法，还包括基于所述当前方向和速度生成预测的未来辐辏平面，

其中，可选地，所述方法还包括，在显示所述当前中央凹显示图像帧的同时，基于所述预测的未来辐辏平面修改与所述显示面板对齐的光学元件。

11.一种操作头戴式显示系统的方法，所述头戴式显示系统具有头戴式显示设备，所述头戴式显示设备包括显示面板、被配置成聚焦来自所述显示面板的显示光的光学块以及左眼和右眼跟踪单元，所述方法包括：

利用所述头戴式显示系统的眼睛预测模块，从所述左眼和右眼跟踪单元获得眼睛跟踪数据；

使用所述眼睛跟踪数据，利用所述眼睛预测模块确定眼睛运动的类型；以及

使用所述眼睛跟踪数据和确定的眼睛运动的类型，利用所述眼睛预测模块生成预测的未来注视定位或预测的未来辐辏平面中的至少一个。

12.根据权利要求11所述的方法，其中，所述眼睛运动的类型是眼跳运动、平滑追踪运动或前庭-眼部运动，并且其中，生成所述预测的未来注视定位或所述预测的未来辐辏平面中的至少一个包括生成所述预测的未来注视定位。

13.根据权利要求11所述的方法，其中，所述眼睛运动的类型是辐辏运动，并且其中，生成所述预测的未来注视定位或所述预测的未来辐辏平面中的至少一个包括生成所述预测的未来辐辏平面。

14.根据权利要求11所述的方法，其中，所述眼睛预测模块是所述头戴式显示设备的眼睛预测模块。

Images