CN116261751A - 对全局照明的开关泄漏补偿 - Google Patents

Abstract

一种经泄漏补偿的全局照明的方法，包括：由应用程序处理器获取显示系统的用户的头部或眼睛中的至少一者的位置数据；由该应用程序处理器基于该位置数据渲染图像帧的图像数据；修改该图像数据以补偿与显示系统的显示器的全局照明相关联的泄漏；以及将该图像数据发送到显示系统的显示驱动器电路，以用于通过该全局照明在显示器上显示该图像帧。

Description

对全局照明的开关泄漏补偿

背景技术

人工现实系统(例如，头戴式显示器(head-mounted display，HMD)或平视显示器(heads-up display，HUD)系统)通常包括头戴式设备(headset)或眼镜形式的近眼显示系统。该人工现实系统可以被配置为经由在例如用户眼睛前方大约10mm至20mm内的电子或光学显示器向用户呈现内容。如在虚拟现实(virtual reality，VR)、增强现实(augmentedreality，AR)或混合现实(mixed reality，MR)应用程序中，近眼显示系统可以显示虚拟对象或将真实对象的图像与虚拟对象的图像组合。例如，在AR系统中，用户例如可以通过透过透明显示眼镜或透镜观看或者查看由摄像头采集到的周围环境的显示图像，来查看虚拟对象的图像(例如，计算机生成的图像(computer-generated image，CGI))和周围环境。近眼显示系统可以包括一个或多个光源，该一个或多个光源被驱动以输出各种亮度等级的光来显示这些图像。

发明内容

本公开总体上涉及根据所附权利要求的显示系统、用于对将要在显示系统的显示器上显示的数据进行处理的方法、以及非暂态机器可读存储介质。根据某些实施例，一种方法可以包括：由应用程序处理器获取显示系统的用户的头部或眼睛中的至少一者的位置数据；由该应用程序处理器基于该位置数据渲染图像帧的图像数据；修改该图像数据，以补偿与显示系统的显示器的全局照明相关联的泄漏；以及将该图像数据发送到显示系统的显示驱动器电路，以用于通过全局照明在显示器上显示该图像帧。

在一些实施例中，该方法也可以包括，在修改图像数据之前，基于更新的位置数据，重新投影由应用程序处理器渲染的图像数据。例如，该方法可以包括，在修改图像数据之前，估计用户的头部或眼睛中的至少一者在全局照明时的位置，以及基于用户的头部或眼睛中的至少一者的估计位置，重新投影由应用程序处理器渲染的图像数据。在另一个示例中，该方法可以包括，在修改图像数据之前，获取用户的头部或眼睛中的至少一者在图像数据被渲染之后的新位置，并且基于用户的头部或眼睛中的至少一者的新位置，重新投影由应用程序处理器渲染的图像数据。

在一些实施例中，该方法可以包括：基于位置数据来估计用户的头部或眼睛中的至少一者在全局照明时的位置，其中由应用程序处理器渲染图像数据可以包括：基于用户的头部或眼睛中的至少一者在全局照明时的估计位置来渲染图像数据。在一些实施例中，该方法可以包括：将图像数据加载到显示器的多个像素驱动电路中，以及由显示驱动器电路开启显示器的多个像素，以用于全局照明。

在一些实施例中，获取用户的头部或眼睛中的至少一者的位置数据可以包括：接收来自头部追踪传感器或眼睛追踪传感器中的至少一者的位置数据。在一些实施例中，渲染图像帧的图像数据可以包括：基于位置数据执行应用程序以确定用户的眼睛的场景，并且将用户的眼睛的场景转换为多个绘图命令。

在一些实施例中，修改图像数据以补偿与显示器的全局照明相关联的泄漏可以包括：对于显示器的每一行像素，确定该像素行的像素中的光源的驱动电路中的泄漏电流；确定将该像素行的图像数据加载到该像素行中与全局照明之间的时间延迟；基于泄漏电流和时间延迟确定像素中的光源的泄漏补偿值；以及基于泄漏补偿值调整像素中的光源的图像数据。

根据某些实施例，显示系统可以包括显示器，该显示器包括多个光源和多个相应的光源驱动电路，其中，该多个光源排列成多行。显示系统也可以包括耦合到显示器的显示驱动器电路，以及耦合到该显示驱动器电路的应用程序处理器。应用程序处理器可以被配置为执行上述方法。应用程序处理器可被配置以：获取显示系统的用户的头部或眼睛中的至少一者的位置数据，基于该位置数据渲染图像帧的图像数据，修改该图像数据以补偿与显示器的全局照明相关联的泄漏，以及将该图像数据发送到显示驱动器电路，以用于通过该全局照明在显示器上显示该图像帧。

在显示系统的一些实施例中，应用程序处理器可以被配置为：在修改图像数据之前，基于更新的位置数据重新投影该图像数据。在一些实施例中，应用程序处理器可以被配置为：在修改图像数据之前，估计用户的头部或眼睛中的至少一者在全局照明时的位置，并且基于用户的头部或眼睛中的至少一者的估计位置来重新投影图像数据。在一些实施例中，应用程序处理器可以被配置为：在修改图像数据之前，获取用户的头部或眼睛中的至少一者在图像数据被渲染之后的新位置，并且基于用户的头部或眼睛中的至少一者的新位置来重新投影图像数据。在一些实施例中，应用程序处理器可以被配置为：基于位置数据来估计用户的头部或眼睛中的至少一者在全局照明时的位置，并且基于用户的头部或眼睛中的至少一者的估计位置来渲染图像数据。

在一些实施例中，应用程序处理器可以被配置为：针对多行中的每一行，通过以下操作修改图像数据以补偿与全局照明相关联的泄漏：确定该行中光源的光源驱动电路中的泄漏电流，确定将光源的图像数据加载到相应的光源驱动电路中和全局照明之间的时间延迟，基于泄漏电流和时间延迟确定光源的泄漏补偿值，以及基于泄漏补偿值调整光源的图像数据。在一些实施例中，应用程序处理器可以被配置为：通过基于位置数据执行应用程序以确定用户的眼睛的场景、并将用户的眼睛的场景转换为多个绘图命令来渲染图像帧的图像数据。

在一些实施例中，显示驱动器电路可以被配置为：将图像数据加载到用于多个光源的多个光源驱动电路中，并控制该多个光源驱动电路开启多个光源，以用于全局照明。应用程序处理器可以包括中央处理单元或图形处理单元中的至少一者。多个光源包括有机发光二极管(organic light emitting diode，OLED)阵列或微型发光二极管(micro-lightemitting diode，micro-LED)阵列。

根据某些实施例，非暂态机器可读存储介质可以包括存储在其上的多个指令。这些指令在由一个或多个处理器执行时，可以使得该一个或多个处理器执行如上文所描述的方法或执行操作，这些操作包括：获取显示系统的用户的头部或眼睛中的至少一者的位置数据；基于该位置数据渲染图像帧的图像数据；修改该图像数据以补偿与显示系统的显示器的全局照明相关联的泄漏；以及将该图像数据发送到显示系统的显示驱动器电路，以用于通过该全局照明在显示器上显示该图像帧。

本概述既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独地用于确定所要求保护的主题的范围。应该通过参考本公开的整个说明书的适当部分、任何或所有附图以及每个权利要求来理解该主题。在下面的说明书、权利要求书和附图中，将更详细地描述前述内容以及其它特征和示例。

附图说明

下面参考以下各附图对多个说明性实施例进行详细描述。

图1是根据某些实施例的包括近眼显示器的人工现实系统环境的示例的简化框图。

图2是用于实现本文公开的一些示例的头戴式显示器(head-mounted display，HMD)设备形式的近眼显示器的示例的立体图。

图3是用于实现本文公开的一些示例的眼镜形式的近眼显示器的示例的立体图。

图4示出了根据某些实施例的包括波导显示器的光学透视增强现实系统的示例。

图5A示出了根据某些实施例的包括波导显示器的近眼显示设备的示例。

图5B示出了根据某些实施例的包括波导显示器的近眼显示设备的示例。

图6示出了根据某些实施例的人工现实系统中的图像源组件的示例。

图7是根据某些实施例的人工现实系统中的显示器的示例的简化框图。

图8示出了驱动显示器的多个像素以用于滚动照明的示例。

图9A示出了根据某些实施例的显示器中的每个光源的驱动和补偿电路的示例。

图9B示出了用于控制图9A所示的驱动和补偿电路的示例的操作的多个控制信号的示例。

图10示出了用于在人工现实应用程序中降低运动光子延迟并提高帧率的时间扭曲的示例。

图11是根据某些实施例的近眼显示系统的显示控制器的示例的简化框图。

图12包括示出了用于由滚动照明显示的一图像帧中的不同像素行的不同预测时移量的曲线图。

图13示出了根据某些实施例的驱动显示器的多个像素以用于全局照明的示例。

图14示出了图9A所示的驱动和补偿电路的示例中的多条泄漏路径的示例。

图15示出了在不同操作条件下的晶体管的多个漏电电流的示例。

图16示出了根据某些实施例的具有对全局照明的泄漏补偿的显示器的简化框图。

图17示出了根据某些实施例的在人工现实系统中使用对全局照明的泄漏补偿来显示图像的方法的示例。

图18是根据某些实施例的近眼显示器的示例中的电子系统的简化框图。

这些附图仅出于说明的目的而描绘了本公开的多个实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本公开的原理或本公开中所宣称的优势的情况下，可以采用所示出的结构和方法的替代实施例。

在这些附图中，相似的部件和/或特征可以具有相同的附图标记。此外，可以通过在附图标记后跟随连接号和区分多个相似部件的第二标记，来区分相同类型的各种部件。如果在说明书中仅使用了第一附图标记，则该描述适用于具有相同第一附图标记的多个类似部件中的任一类似部件，而不考虑第二附图标记。

具体实施方式

本文所公开的技术总体上涉及显示系统。更具体地而非限制性地，本文所公开的是用于例如在人工现实应用程序中使用经泄漏补偿的全局照明来显示图像的技术。本文所公开的技术可以减少图像渲染的计算复杂度，同时降低近眼显示系统(例如，虚拟现实(VR)、增强现实(AR)或混合现实(MR)显示系统)中的亮度不均匀性和色移。本文描述了各种发明实施例，包括系统、模块、电路、设备、方法、指令、代码、机器可读介质等。

在人工现实显示系统(例如，VR、AR或MR显示系统的)中，可以追踪用户的头部或眼睛的取向和/或定位(统称为位置或姿势)，然后可以基于用户的头部或眼睛的位置来渲染图像，以便由显示面板显示，该显示面板包括二维像素阵列，该二维像素阵列例如为有源矩阵有机发光二极管(active matrix organic light emitting diode，AMOLED)阵列或微型发光二极管(micro-light emitting diode，micro-LED或μLED)阵列。因为图像渲染时间可能相对较长，所以在渲染时间之后或在照明时间，用户的头部或眼睛的位置可能已经从图像渲染之前的位置发生改变。这样，显示图像可能具有颤动或运动光子延迟(用户的移动被完全反映在显示屏上所需的时间)。为了降低颤动和延迟、和/或提高帧率(例如，对于游戏)，可以使用重新投影(例如，时间扭曲)技术相对于头部或眼睛的移动变化来稍微偏移所渲染的图像以对其进行调整。

许多VR/AR/MR显示系统使用滚动照明技术来运行，其中二维像素阵列中的每行像素可以在不同(例如，交错的)的各自的时间周期期间发光。在滚动照明中，对于所有像素行，从数据写入到发光的保持时间可以是相同的。因此，在保持时间期间的任何泄漏均不会导致显示图像中的不均匀性。然而，对于滚动照明，由于不同行相对于一帧的开始的不同发射时间，可能需要对每行像素执行对头部/眼睛位置的不同的各自的预测(或测量)和图像渲染(或仅重新投影)。因此，可能需要较高的计算能力或较长的计算时间来进行图像渲染(包括诸如时间扭曲的重新投影)。在不同行中的多个像素同时发光的全局照明中，可以对每个帧中的所有像素行执行对头部/眼睛位置的共同预测(或测量)和图像渲染(或重新投影)。因此，图像渲染的计算复杂性要低得多。然而，在全局照明中，图像数据在不同时间被写入到不同像素行，并且不同的像素行同时发光。因此，不同像素行的图像数据可能在多个像素处停留不同的时间周期。这样，对于不同的像素行，显示数据的泄漏可能不同，这可能导致显示图像中的不均匀性和/或色移。

根据某些实施例，可以基于预测的或预定的泄漏电流和不同的保持时间周期，以不同的值来预补偿显示系统的不同像素行的显示数据。这些像素行可以同时发光以用于全局照明。由于该全局照明，可以对每个图像帧的所有像素执行对头部/眼睛位置的共同预测和共同图像渲染或重新投影，而不是对每行像素执行对头部/眼睛位置的预测和图像渲染或重新投影，从而降低了计算复杂度并且减少了计算时间。由于用于图像渲染(包括诸如时间扭曲的重新投影)的计算复杂度较低且计算时间较短，可以降低运动光子延迟和/或可以提高显示图像帧的帧率(例如，用于视频或游戏)。此外，即使在顺序图像数据加载之后，对于不同的像素行图像数据可能泄漏不同的值，但是多个像素处的图像数据也可以恰好在全局照明之前处于期望值。因此，本文中所公开的技术也可以减少与全局照明相关联的不均匀性和/或色移，从而提高VR/AR/MR系统中的用于全局照明的图像质量和视频质量。

如本文中所使用的，术语“有机发光二极管”(organic light emitting diode，“OLED”)是指具有发射电致发光层的发光二极管，该发射电致发光层包括响应于电流而发光的有机化合物。发射层可以设置在阳极和阴极之间。有机化合物可以包括小分子或聚合物。

如本文中所使用的，术语“有源矩阵有机发光二极管”或“AMOLED”显示器是指使用薄膜晶体管背板来直接控制每个单独像素的显示器。AMOLED显示器不使用背光，因为每个单独的OLED都是自发光的。每个OLED提供的亮度量取决于提供给该OLED的电流。

如本文中所使用，术语“微型LED”或“LED”是指具有芯片的LED，其中芯片的线性尺寸小于约200μm(微米)，例如小于100μm、小于50μm、小于20μm、小于10μm或更小。例如，微型LED的线性尺寸可以小到6μm、5μm、4μm、2μm或更小。一些微型LED可以具有与少数载流子扩散长度相当的线性尺寸(例如，长度或直径)。然而，本文中的公开内容不限于微型LED，并且也可以应用于次毫米LED(mini-LED)和大型LED。

如本文中所使用的，术语“亮度(luminance)”通常是指在特定方向上传播的每单位面积的光的发光强度的光度测定。亮度描述了从一个区域发射、穿过一个区域或从一个区域反射并落在特定立体角内的光的光量。亮度等级指示了传感器(例如，人眼)从特定视角观察表面可以检测到多少发光功率。亮度可以是一表面看起来有多亮的指标。亮度的国际标准单位是坎德拉每平方米(cd/m²)。亮度在视频产业中用于表征显示器的亮度。术语“亮度(brightness)”通常是指由对象的亮度(luminance)引起的感知。给定的目标亮度可以在不同的环境中引起不同的亮度感知。在红绿蓝(RGB)颜色空间中，可以基于红色、绿色和蓝色坐标来确定亮度。

在以下描述中，出于解释的目的，阐述了具体细节以提供对本公开的示例的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下来实践各种示例。例如，设备、系统、结构、组件、方法和其它部件可以以框图形式显示为部件，以免不必要的细节模糊了这些示例。在其它实例下，为了避免混淆这些示例，可以在没有必要的细节的情况下示出公知的设备、过程、系统、结构和技术。各附图和描述不旨在是限制性的。在本公开中已经采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时没有排除掉所示出和描述的特征或这些特征的部分的任何等同物的意图。“示例”一词在本文中用于表示“用作示例、实例或说明”。本文中描述为“示例”的任何实施例或设计不一定被解释为比其它实施例或设计更优选或有优势益。

图1是根据某些实施例的包括近眼显示器120的人工现实系统环境100的示例的简化框图。图1所示的人工现实系统环境100可以包括近眼显示器120、可选的外部的成像设备150、和可选的输入/输出接口140，它们中的每一者均可以耦合到可选的控制台110。尽管图1示出了包括一个近眼显示器120、一个外部的成像设备150、和一个输入/输出接口140的人工现实系统环境100的示例，但是人工现实系统环境100中可以包括任何数量的这些部件，或者可以省略任何部件。例如，可以存在多个近眼显示器120，该多个近眼显示器120由与控制台110通信的一个或多个外部的成像设备150监控。在一些配置中，人工现实系统环境100可以不包括外部的成像设备150、可选的输入/输出接口140、和可选的控制台110。在替代配置中，人工现实系统环境100中可以包括不同的部件或附加的部件。

近眼显示器120可以是向用户呈现内容的头戴式显示器。由近眼显示器120呈现的内容的示例包括图像、视频、音频、或它们的任意组合中的一者或多者。在一些实施例中，可以经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备接收来自近眼显示器120、控制台110、或近眼显示器120和控制台110两者的音频信息，并且基于该音频信息呈现音频数据。近眼显示器120可以包括一个或多个刚体，它们可以刚性地或非刚性地彼此耦接。多个刚体之间的刚性耦接可以使耦接的多个刚体充当单个刚性实体。多个刚体之间的非刚性耦接可以允许该多个刚体相对于彼此移动。在各种实施例中，近眼显示器120可以以任何合适的形状要素(包括眼镜)实现。下面参照图2和图3进一步描述了近眼显示器120的一些实施例。另外，在各种实施例中，本文描述的功能可以用在头戴式设备(headset)中，该头戴式设备组合了近眼显示器120外部的环境的图像和人工现实内容(例如，计算机生成的图像)。因此，近眼显示器120可以利用所生成的内容(例如，图像、视频、声音等)来增强近眼显示器120外部的物理、真实世界环境的图像，以向用户呈现增强现实。

在各种实施例中，近眼显示器120可以包括多个显示电子器件122、多个显示光学器件124、和眼睛追踪单元130中的一者或多者。在一些实施例中，近眼显示器120也可以包括一个或多个定位器126、一个或多个位置传感器128、和惯性测量单元(inertialmeasurement unit，IMU)132。在各种实施例中，近眼显示器120可以省略眼睛追踪单元130、各定位器126、各位置传感器128和IMU 132中的任何一者，或者包括多个附加的元件。另外，在一些实施例中，近眼显示器120可以包括组合了结合图1而描述的各种元件的功能的元件。

显示电子器件122可以根据接收到的来自例如控制台110的数据来显示或便于向用户显示图像。在各种实施例中，显示电子器件122可以包括一个或多个显示面板，例如液晶显示器(liquid crystal display，LCD)、有机发光二极管(OLED)显示器、无机发光二极管(inorganic light emitting diode，ILED)显示器、微型发光二极管(μLED)显示器、有源矩阵OLED显示器(AMOLED)、透明OLED显示器(transparent OLED display，TOLED)或某一其它显示器。例如，在近眼显示器120的一个实施方式中，显示电子器件122可以包括前TOLED面板、后显示面板、以及前显示面板和后显示面板之间的光学部件(例如，衰减器、偏振器、或衍射膜或光谱膜)。显示电子器件122可以包括多个像素，以发射诸如红色、绿色、蓝色、白色或黄色等主导颜色的光。在一些实施方式中，显示电子器件122可以通过由多个二维面板产生的多种立体效果来显示三维(three-dimensional，3D)图像，以创建对图像深度的主观感知。例如，显示电子器件122可以包括位于用户的左眼前方的左显示器和右眼前方的右显示器。左显示器和右显示器可以呈现图像的相对于彼此水平移位的多个副本，以创建立体效果(即，用户观看图像时对图像深度的感知)。

在某些实施例中，显示光学器件124可以光学地显示图像内容(例如，使用光波导和耦合器)，或者放大从显示电子器件122接收的图像光，校正与该图像光相关联的光学误差，并且向近眼显示器120的用户呈现经校正的图像光。在各种实施例中，显示光学器件124可以包括一个或多个光学元件，例如，衬底、光波导、光圈、菲涅耳(Fresnel)透镜、凸透镜、凹透镜、滤光器、输入/输出耦合器、或可以影响从显示电子器件122出射的图像光的任何其它合适的光学元件。显示光学器件124可以包括不同光学元件的组合以及多个机械连接件，以保持这些光学元件在组合中的相对间距和取向。显示光学器件124中的一个或多个光学元件可以具有光学涂层，例如，抗反射涂层、反射涂层、滤光涂层、或不同光学涂层的组合。

显示光学器件124对图像光的放大可以允许显示电子器件122相比于更大的显示器在物理上更小、更轻并且消耗更少的功率。此外，放大可以增加显示内容的视野。可以通过调整光学元件、添加光学元件或从显示光学器件124移除光学元件来改变显示光学器件124对图像光的放大量。在一些实施例中，显示光学器件124可以将多幅显示图像投影到可以比近眼显示器120更远离用户的眼睛的一个或多个图像平面。

显示光学器件124还可以被设计为校正一种或多种类型的光学误差，例如多种二维光学误差、多种三维光学误差或它们的任意组合。多种二维误差可以包括在两种维度中出现的多种光学像差。多种示例类型的二维误差可以包括桶形失真、枕形失真、纵向色差、和横向色差。多种三维误差可以包括在三种维度中出现的多种光学误差。多种示例类型的三维误差可以包括球面像差、彗形像差、场曲和像散。

多个定位器126可以是位于近眼显示器120上的、彼此相关并且与近眼显示器120上的参考点相关的多个特定位置处的对象。在一些实施方式中，控制台110可以识别由外部的成像设备150采集的多幅图像中的多个定位器126，以确定人工现实头戴式设备的位置、取向或位置和取向这两者。定位器126可以是LED、隅角立方反射器(corner cubereflector)、反射标记、与近眼显示器120运行时所处的环境形成对比的一种类型的光源、或它们的任意组合。在多个定位器126是有源部件(例如，LED或其它类型的发光器件)的实施例中，多个定位器126可以发射处于可见波段(例如，约380nm(纳米)至750nm)的光、处于红外(infrared，IR)波段(例如，约750nm至1mm(毫米))的光、处于紫外波段(例如，大约10nm至大约380nm)的光、处于电磁波谱的另一部分的光或处于电磁波谱的各个部分的任意组合的光。

外部的成像设备150可以包括一个或多个摄像头、一个或多个摄像机、能够采集多幅包括多个定位器126中的一个或多个定位器的图像的任何其它设备、或它们的任意组合。另外，外部的成像设备150可以包括一个或多个滤波器(例如，以增加信噪比)。外部的成像设备150可以被配置为检测从处于外部的成像设备150的视场中的多个定位器126发射或反射的光。在定位器126包括无源元件(例如，回射器)的实施例中，外部的成像设备150可以包括照亮多个定位器126中的一些或全部定位器的光源，这些定位器可以将光回射到外部的成像设备150中的光源。可以从外部的成像设备150向控制台110传送慢速校准数据，并且外部的成像设备150可以接收来自控制台110的一个或多个校准参数，以调整一个或多个成像参数(例如，焦距、焦点、帧率、传感器温度、快门速度、孔径等)。

多个位置传感器128可以响应于近眼显示器120的运动而生成一个或多个测量信号。位置传感器128的示例可以包括加速度计、陀螺仪、磁力计、其它运动检测传感器或纠错传感器或它们的任意组合。例如，在一些实施例中，多个位置传感器128可以包括用以测量平移运动(例如，前/后、上/下或左/右)的多个加速度计和用于测量旋转运动(例如，俯仰、偏转或翻滚)的多个陀螺仪。在一些实施例中，各位置传感器可以彼此正交地定位。

IMU 132可以是基于从多个位置传感器128中的一个或多个位置传感器接收的多个测量信号生成快速校准数据的电子设备。多个位置传感器128可以位于IMU 132的外部、IMU 132的内部或它们的任意组合。基于来自一个或多个位置传感器128的一个或多个测量信号，IMU 132可以生成快速校准数据，该快速校准数据指示近眼显示器120的、相对于近眼显示器120的初始位置的估计位置。例如，IMU 132可以随时间对从加速度计接收的多个测量信号进行积分以估计速度矢量，并且随时间对该速度矢量进行积分以确定近眼显示器120上的参考点的估计位置。替代地，IMU 132可以向控制台110提供经采样的多个测量信号，该控制台110可以确定快速校准数据。尽管可以将参考点笼统地定义为空间中的点，但是在各种实施例中，也可以将参考点定义为近眼显示器120内的点(例如，IMU 132的中心)。

眼睛追踪单元130可以包括一个或多个眼睛追踪系统。眼睛追踪可以指确定眼睛相对于近眼显示器120的位置，该位置包括眼睛的取向和定位。眼睛追踪系统可以包括用于对一只或多只眼睛成像的成像系统，并且可以可选地包括光发射器，该光发射器可以生成指向眼睛的光，以使得眼睛反射的光可以被该成像系统采集。例如，眼睛追踪单元130可以包括非相干或相干光源(例如，激光二极管)和摄像头，该非相干或相干光源发射处于可见光谱或红外光谱的光，该摄像头采集用户的眼睛所反射的光。作为另一示例，眼睛追踪单元130可以采集由微型雷达单元发射的被反射的无线电波。眼睛追踪单元130可以使用多个低功率光发射器，该低功率光发射器以不会伤害眼睛或引起身体不适频率和强度发射光。眼睛追踪单元130可以被设置成增加眼睛追踪单元130所采集的眼睛的图像的对比度，同时减小眼睛追踪单元130所消耗的总功率(例如，减小包括在眼睛追踪单元130中的光发射器和成像系统消耗的功率)。例如，在一些实施方式中，眼睛追踪单元130可以消耗小于100毫瓦的功率。

近眼显示器120可以使用眼睛的取向来例如确定用户的瞳孔间距(inter-pupillary distance，IPD)、确定注视方向、引入深度线索(depth cue)(例如，用户的主视线之外的模糊图像)、收集有关VR媒体中的用户交互的启发式方法(heuristics)(例如，花费在任何特定主题、对象或帧(frame)上的时间随遭受的刺激的变化)、部分地基于用户的至少一只眼睛的取向的一些其它功能、或者它们的任意组合。由于可以确定用户的双眼的取向，因此眼睛追踪单元130可以能够确定用户正在看向哪里。例如，确定用户的注视方向可以包括：基于所确定的用户的左眼和右眼的取向，确定会聚点。会聚点可以是用户双眼的两个视网膜中央的(foveal)轴相交的点。用户的注视方向可以是穿过该会聚点以及用户双眼的两个瞳孔之间的中点的线的方向。

输入/输出接口140可以是允许用户向控制台110发送动作请求的设备。动作请求可以是执行特定动作的请求。例如，动作请求可以是启动或结束应用程序或执行应用程序内的特定动作。输入/输出接口140可以包括一个或多个输入设备。示例输入设备可以包括键盘、鼠标、游戏控制器、手套、按钮、触摸屏或用于接收多个动作请求并且向控制台110传送所接收的多个动作请求的任何其它合适的设备。输入/输出接口140接收的动作请求可以被传送到控制台110，该控制台110可以执行与所请求的动作对应的动作。在一些实施例中，输入/输出接口140可以根据从控制台110接收的指令，向用户提供触觉反馈。例如，输入/输出接口140可以在动作请求被接收到时、或者在控制台110已经执行了所请求的动作并且向输入/输出接口140传送指令时，提供触觉反馈。在一些实施例中，外部的成像设备150可以用于追踪输入/输出接口140，例如追踪控制器(该控制器可以包括例如IR光源)的定位或位置、或用户的手部的定位或位置，以确定用户的动作。在一些实施例中，近眼显示器120可以包括一个或多个成像设备，以追踪输入/输出接口140，例如，追踪控制器的定位或位置、或用户的手部的定位或位置，以确定用户的动作。

控制台110可以根据从外部的成像设备150、近眼显示器120和输入/输出接口140中的一者或多者接收的信息向近眼显示器120提供内容，以呈现给用户。在图1所示的示例中，控制台110可以包括应用程序商店112、头戴式设备追踪模块114、人工现实引擎116、和眼睛追踪模块118。控制台110的一些实施例可以包括与结合图1描述的那些模块不同的或附加的模块。以下进一步描述的多种功能可以以不同于此处描述的方式分布在控制台110的多个部件之中。

在一些实施例中，控制台110可以包括处理器和存储可由处理器执行的多个指令的非暂态计算机可读存储介质。该处理器可以包括并行执行多个指令的多个处理单元。该非暂态计算机可读存储介质可以是任何存储器，例如硬盘驱动器、可移动存储器或固态驱动器(例如，闪存或动态随机存取存储器(dynamic random-access memory，DRAM))。在各种实施例中，结合图1描述的控制台110的多个模块可以被编码为非暂态计算机可读存储介质中的多个指令，这些指令在被处理器执行时，使得处理器执行以下进一步描述的多种功能。

应用程序商店112可以存储一个或多个应用程序，以供控制台110执行。应用程序可以包括一组指令，该组指令在被处理器执行时，生成用于呈现给用户的内容。应用程序生成的内容可以响应于经由用户眼睛的移动而从用户接收的输入、或响应于从输入/输出接口140接收的输入。应用程序的示例可以包括游戏应用程序、会议应用程序、视频播放应用程序、或其它合适的应用程序。

头戴式设备追踪模块114可以使用来自外部的成像设备150的慢速校准信息，来追踪近眼显示器120的运动。例如，头戴式设备追踪模块114可以使用来自慢速校准信息的观察到的多个定位器、以及近眼显示器120的模型，来确定近眼显示器120的参考点的多个位置。头戴式设备追踪模块114也可以使用来自快速校准信息的位置信息，来确定近眼显示器120的参考点的多个位置。另外，在一些实施例中，头戴式设备追踪模块114可以使用以下信息中的部分信息：快速校准信息、慢速校准信息或它们的任意组合，来预测近眼显示器120的未来定位。头戴式设备追踪模块114可以向人工现实引擎116提供估计或预测的、近眼显示器120的未来位置。

人工现实引擎116可以执行人工现实系统环境100内的多个应用程序，并且接收来自头戴式设备追踪模块114的近眼显示器120的位置信息、近眼显示器120的加速度信息、近眼显示器120的速度信息、预测的近眼显示器120的未来多个位置或它们的任意组合。人工现实引擎116还可以接收来自眼睛追踪模块118的估计的眼睛位置和取向信息。基于所接收到的信息，人工现实引擎116可以确定将要提供给近眼显示器120以呈现给用户的内容。例如，如果所接收到的信息指示用户已经向左看，则人工现实引擎116可以为近眼显示器120在虚拟环境中生成反映用户眼睛活动的内容。另外，人工现实引擎116可以响应于从输入/输出接口140接收的动作请求，执行在控制台110上执行的应用程序内的动作，并且向用户提供指示该动作已被执行的反馈。该反馈可以是经由近眼显示器120的视觉或听觉反馈、或经由输入/输出接口140的触觉反馈。

眼睛追踪模块118可以接收来自眼睛追踪单元130的眼睛追踪数据，并且基于该眼睛追踪数据确定用户眼睛的位置。眼睛的位置可以包括眼睛相对于近眼显示器120或近眼显示器120中任何元件的取向、定位或取向和定位这两者。由于眼睛的旋转轴线随眼睛在其眼眶中的定位的变化而变化，因此确定眼睛在其眼眶中的定位可以允许眼睛追踪模块118更准确地确定眼睛的取向。

在一些实施例中，眼睛追踪模块118可以存储由眼睛追踪单元130采集的图像与眼睛位置之间的映射，以从由眼睛追踪单元130采集的图像确定参考眼睛位置。替代地或附加地，眼睛追踪模块118可以通过将确定参考眼睛位置的图像与将要确定更新的眼睛位置的图像进行比较，来确定相对于参考眼睛位置的更新的眼睛位置。眼睛追踪模块118可以使用来自不同成像设备或其它传感器的多个测量，来确定眼睛位置。例如，眼睛追踪模块118可以使用来自慢速眼睛追踪系统的多个测量结果，来确定参考眼睛位置，然后根据快速眼睛追踪系统确定相对于参考眼睛位置的更新位置，直到基于来自慢速眼睛追踪系统的多个测量结果确定下一个参考眼睛位置为止。

眼睛追踪模块118还可以确定多个眼睛校准参数，以提高眼睛追踪的精度和准确度。多个眼睛校准参数可以包括每当用户佩戴或调整近眼显示器120时可能改变的多个参数。多个示例眼睛校准参数可以包括估计的、眼睛追踪单元130中的一部件与眼睛的一个或多个部分(例如，眼睛的中心、瞳孔、角膜边界或眼睛表面上的点)之间的距离。其它示例眼睛校准参数对于用户可以是特有的，并且可以包括估计的平均眼睛半径、平均角膜半径、平均巩膜半径、眼睛表面上多个特征的图以及估计的眼睛表面轮廓。在来自近眼显示器120之外的光可以到达眼睛的多个实施例中(如在一些增强现实应用程序中)，多个校准参数可以包括由于来自近眼显示器120之外的光的变化而引起的、强度和色彩平衡的多个校正因子。眼睛追踪模块118可以使用多个眼睛校准参数来确定眼睛追踪单元130所采集的多个测量结果是否将允许眼睛追踪模块118确定准确的眼睛位置(在本文中也称为“多个有效测量结果”)。多个无效测量结果(眼睛追踪模块118从这些无效测量结果可能无法确定准确的眼睛位置)可能是由用户眨眼、调整头戴式设备或移开头戴式设备而引起的，和/或可能是由近眼显示器120由于外部光而经历大于阈值的照度变化而引起的。在一些实施例中，眼睛追踪模块118的多个功能中的至少一些功能可以由眼睛追踪单元130执行。

图2是用于实现本文公开的多个示例中的一些示例的HMD设备200形式的近眼显示器的示例的立体图。HMD设备200例如可以是VR系统、AR系统、MR系统、或它们的任意组合中的一部分。HMD设备200可以包括主体220和头部带230。图2以立体图示出了主体220的底侧223、前侧225和左侧227。头部带230可以具有可调节的或可伸长的长度。在HMD设备200的主体220和头部带230之间可以有足够的空间，以允许用户将HMD设备200佩戴到用户的头上。在各种实施方案中，HMD设备200可以包括附加的、更少的或不同的部件。例如，在一些实施例中，HMD设备200可以包括例如以下如图3所示的眼镜镜脚和眼镜脚套，而不包括头部带230。

HMD设备200可以向用户呈现包括具有计算机生成的元素的物理、真实世界环境的虚拟视图和/或增强视图的媒体。由HMD设备200呈现的媒体的示例可以包括图像(例如，二维(2D)或三维(3D)图像)、视频(例如，2D或3D视频)、音频、或它们的任意组合。可以通过封装在HMD设备200的主体220中的一个或多个显示组件(图2中未示出)将图像和视频呈现给用户的每只眼睛。在各种实施例中，一个或多个显示组件可以包括单个电子显示面板或多个电子显示面板(例如，用于用户的每只眼睛的显示面板)。一个或多个电子显示面板的示例例如可以包括LCD、OLED显示器、ILED显示器、μLED显示器、AMOLED、TOLED、某种其它显示器、或它们的任意组合。HMD设备200可以包括两个适眼区(eye box)区域。

在一些实施方式中，HMD设备200可以包括各种传感器(未示出)，例如深度传感器、运动传感器、位置传感器、和眼睛追踪传感器。这些传感器中的一些传感器可以使用结构光图案进行感测。在一些实施方式中，HMD设备200可以包括用于与控制台通信的输入/输出接口。在一些实施方式中，HMD设备200可以包括虚拟现实引擎(未示出)，该虚拟现实引擎可以执行HMD设备200内的多个应用程序，并且接收来自各种传感器的HMD设备200的深度信息、位置信息、加速度信息、速度信息、预测的未来位置、或它们的任意组合。在一些实施方式中，由虚拟现实引擎接收的信息可以用于向一个或多个显示组件产生信号(例如，显示指令)。在一些实施方式中，HMD设备200可以包括多个定位器(未示出，例如多个定位器126)，该多个定位器位于主体220上的彼此相关并且与参考点相关的多个固定位置。多个定位器中的每个定位器可以发射可由外部的成像设备检测的光。

图3是用于实现本文公开的多个示例中的一些示例的呈眼镜形式的近眼显示器300的示例的立体图。近眼显示器300可以是图1的近眼显示器120的具体实施方式，并且可以被配置为作为虚拟现实显示器、增强现实显示器、和/或混合现实显示器运行。近眼显示器300可以包括框架305和显示器310。显示器310可以被配置为向用户呈现内容。在一些实施例中，显示器310可以包括显示电子器件和/或显示光学器件。例如，如以上关于图1中的近眼显示器120所描述的，显示器310可以包括LCD显示面板、LED显示面板、或光学显示面板(例如，波导显示组件)。

近眼显示器300还可以包括位于框架305上或位于框架305内的各传感器350a、350b、350c、350d和350e。在一些实施例中，传感器350a至350e可以包括一个或多个深度传感器、一个或多个运动传感器、一个或多个位置传感器、一个或多个惯性传感器、或一个或多个环境光传感器。在一些实施例中，传感器350a至350e可以包括一个或多个图像传感器，该一个或多个图像传感器被配置为生成表示不同方向上的不同视场的图像数据。在一些实施例中，传感器350a至350e可以用作输入设备，以控制或影响近眼显示器300的显示内容，和/或向近眼显示器300的用户提供交互式VR/AR/MR体验。在一些实施例中，传感器350a至350e也可以用于立体成像。

在一些实施例中，近眼显示器300还可以包括一个或多个照明器330，以将光投射到物理环境中。投射的光可以与不同的频带(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，一个或多个照明器330可以在黑暗环境中(或在具有低强度的红外光、紫外光等的环境中)投射光，以协助传感器350a至350e采集黑暗环境内的不同对象的图像。在一些实施例中，一个或多个照明器330可以用于将某些光图案投射到环境内的多个对象上。在一些实施例中，一个或多个照明器330可以用作定位器，例如以上关于图1描述的定位器126。

在一些实施例中，近眼显示器300还可以包括高分辨率的摄像头340。摄像头340可以采集视场中的物理环境的多幅图像。可以例如由虚拟现实引擎(例如，图1中的人工现实引擎116)来处理采集到的多幅图像，以将多个虚拟对象添加到采集到的多幅图像，或者对采集到的多幅图像中的多个物理对象进行修改，并且处理后的多幅图像可以由用于AR或MR应用的显示器310显示给用户。

图4示出了根据某些实施例的包括波导显示器的光学透视增强现实系统400的示例。增强现实系统400可以包括投影仪410和组合器415。投影仪410可以包括光源或图像源412、以及投影仪光学器件414。在一些实施例中，光源或图像源412可以包括一个或多个如上所述的微型LED设备。在一些实施例中，图像源412可以包括显示虚拟对象的多个像素(例如，LCD显示面板或LED显示面板)。在一些实施例中，图像源412可以包括生成相干光或部分相干光的光源。例如，图像源412可以包括上面描述的激光二极管、垂直腔面发射激光器、LED和/或微型LED。在一些实施例中，图像源412可以包括多个光源(例如，如上所述的微型LED的阵列)，每个光源发出对应于原色(例如，红色、绿色或蓝色)的单色图像光。在一些实施例中，图像源412可以包括三个二维微型LED阵列，其中每个二维微型LED阵列可以包括被配置为发出原色(例如，红色、绿色或蓝色)光的多个微型LED。在一些实施例中，图像源412可以包括光学图案生成器，例如空间光调制器。投影仪光学器件414可以包括一个或多个光学部件，该一个或多个光学部件可以调节来自图像源412的光，例如扩展、准直、扫描来自图像源412的光、或将来自图像源412的光投射到组合器415。该一个或多个光学部件例如可以包括一个或多个透镜、一个或多个液体透镜、一个或多个反射镜、一个或多个光圈和/或一个或多个光栅。例如，在一些实施例中，图像源412可以包括一个或多个一维微型LED阵列或细长的二维微型LED阵列，并且投影仪光学器件414可以包括一个或多个一维扫描器(例如，微镜(micro-mirror)或棱镜)，该一个或多个一维扫描器被配置为扫描一维微型LED阵列或细长的二维微型LED阵列，以生成多个图像帧。在一些实施例中，投影仪光学器件414可以包括具有多个电极的液体透镜(例如，液晶透镜)，该液体透镜允许扫描来自图像源412的光。

组合器415可以包括输入耦合器430，以将来自投影仪410的光耦合到组合器415的衬底420中。组合器415可以透射第一波长范围内的至少50％的光，并且反射第二波长范围内的至少25％的光。例如，第一波长范围可以是从约400nm到约650nm的可见光，并且第二波长范围可以处于红外波段，例如是从约800nm到约1000nm。输入耦合器430可以包括体积全息光栅、衍射光学元件(diffractive optical element，DOE)(例如，表面浮雕光栅)、衬底420的倾斜表面或折射耦合器(例如，光楔(wedge)或棱镜)。例如，输入耦合器430可以包括反射式体布拉格光栅(reflective volume Bragg grating)或透射式体布拉格光栅(transmissive volume Bragg grating)。输入耦合器430对于可见光可以具有大于30％、50％、75％、90％或更高的耦合效率。耦合到衬底420中的光例如可以通过全内反射(totalinternal reflection，TIR)在衬底420内传播。衬底420可以是一副眼镜的镜片的形式。衬底420可具有平坦或弯曲的表面，并且可以包括一种或多种类型的介电材料，例如玻璃、石英、塑料、聚合物、聚(甲基丙烯酸甲酯(methyl methacrylate))(PMMA)、晶体或陶瓷。衬底的厚度例如可以位于小于约1mm至约10mm或更大的范围内。衬底420对可见光可以是透明的。

衬底420可以包括或可以耦接到多个输出耦合器440，每个输出耦合器被配置为从衬底420提取由衬底420引导、并在衬底420内传播的光的至少一部分，并且将提取到的光460引导到适眼区495，其中，在增强现实系统400的使用中，增强现实系统400的用户的眼睛490可以位于该适眼区495。多个输出耦合器440可以复制出射光瞳(exit pupil)以增加适眼区495的尺寸，使得显示图像在更大的区域中是可见的。与输入耦合器430一样，输出耦合器440可以包括光栅耦合器(例如，体全息光栅或表面浮雕光栅)、其它衍射光学元件(DOE)、棱镜等。例如，输出耦合器440可以包括反射式体布拉格光栅或透射式体布拉格光栅。输出耦合器440可以在不同位置处具有不同的耦合(例如，衍射)效率。衬底420也可以允许来自组合器415前方的环境的光450以很少的损失或没有损失地通过。输出耦合器440也可以允许光450以很少的损失通过。例如，在一些实施方式中，输出耦合器440对于光450可以具有非常低的衍射效率，使得光450可以被折射或者通过其它方式以很少的损失穿过输出耦合器440，并且因此可以具有比提取到的光460更高的强度。在一些实施方式中，输出耦合器440对于光450可以具有较高的衍射效率，并且可以使光450在某些期望方向(即，衍射角)上以很少的损失衍射。因此，用户可以能够观看组合器415前方的环境和由投影仪410投射的虚拟对象的图像的组合图像。

图5A示出了根据某些实施例的包括波导显示器530的近眼显示器(NED)设备500的示例。NED设备500可以是近眼显示器120、增强现实系统400、或另一类型的显示设备的示例。NED设备500可以包括光源510、投影光学器件520和波导显示器530。光源510可以包括多个不同颜色的光发射器面板，例如红光发射器512面板、绿光发射器514面板和蓝光发射器516面板。多个红光发射器512被组织成阵列；多个绿光发射器514被组织成阵列；并且多个蓝光发射器516被组织成阵列。光源510中的光发射器的尺寸和间距可以较小。例如，每个光发射器可以具有小于2μm(例如，约1.2μm)的直径，并且间距可以小于2μm(例如，约1.5μm)。这样，各红光发射器512、绿光发射器514和蓝光发射器516中的光发射器的数量可以等于或大于显示图像中的像素的数量，该像素的数量例如为，960×720像素、1280×720像素、1440×1080像素、1920×1080像素、2160×1080像素、或2560×1080像素。因此，光源510可以同时生成显示图像。扫描元件可以不用在NED设备500中。

在光源510发射的光到达波导显示器530之前，可以由投影光学器件520调节光源510发射的光，该投影光学器件520可以包括透镜阵列。投影光学器件520可以将光源510发射的光准直或聚焦到波导显示器530，波导显示器530可以包括用于将光源510发射的光耦合到波导显示器530中的耦合器532。耦合到波导显示器530中的光可以通过例如以上关于图4所描述的全内反射在波导显示器530内传播。耦合器532也可以将在波导显示器530内传播的光的多个部分从波导显示器530耦合出并且朝向用户的眼睛590。

图5B示出了根据某些实施例的包括波导显示器580的近眼显示器(NED)设备550的示例。在一些实施例中，NED设备550可以使用扫描镜570将来自光源540的光投射到用户的眼睛590可以位于的像场。NED设备550可以是近眼显示器120、增强现实系统400、或另一类型的显示设备的示例。光源540可以包括一行或多行不同颜色的光发射器或一列或多列不同颜色的光发射器，例如多行红光发射器542、多行绿光发射器544、和多行蓝光发射器546。例如，多个红光发射器542、多个绿光发射器544、和多个蓝光发射器546可以各自包括N行，每行例如包括2560个光发射器(像素)。多个红光发射器542被组织成阵列；多个绿光发射器544被组织成阵列；并且多个蓝光发射器546被组织成阵列。在一些实施例中，光源540可以包括用于每种颜色的单排光发射器。在一些实施例中，光源540可以包括用于红色、绿色、和蓝色中每种颜色的多列光发射器，其中每列例如可以包括1080个光发射器。在一些实施例中，光源540中的光发射器的尺寸和/或间距可以相对较大(例如，约3μm至5μm)，因此光源540可能不包括足够的光发射器来同时生成完整显示图像。例如，用于单一颜色的光发射器的数量可以少于显示图像中的像素数量(例如，2560×1080个像素)。由光源540发射的光可以是一组准直光束或一组发散光束。

在光源540发射的光到达扫描镜570之前，可以由各种光学设备(例如，准直透镜或自由形式光学元件560)调节光源540发射的光。自由形式光学元件560例如可以包括多面棱镜或另一光折叠元件，上述自由形式光学元件可以将光源540发射的光导向扫描镜570，例如将光源540发射的光的传播方向改变例如约90°或更大。在一些实施例中，自由形式光学元件560可以是可旋转的，以扫描光。扫描镜570和/或自由形式光学元件560可以将光源540发射的光反射和投射到波导显示器580，该波导显示器580可以包括用于将光源540发射的光耦合到波导显示器580中的耦合器582。耦合到波导显示器580中的光可以通过例如以上关于图4所描述的全内反射在波导显示器580内传播。耦合器582也可以将在波导显示器580内传播的光的多个部分从波导显示器580耦合出并且朝向用户的眼睛590。

扫描镜570可以包括微机电系统(microelectromechanical system，MEMS)镜或任何其它合适的镜。扫描镜570可以旋转以进行一维或二维扫描。当扫描镜570旋转时，由光源540发射的光可以被引导到波导显示器580的不同区域，使得可以将完整的显示图像投射到波导显示器580上，并且可以在每个扫描周期中由波导显示器580将完整的显示图像引导到用户的眼睛590。例如，在光源540包括用于一行或多行、或一列或多列中的所有像素的光发射器的实施例中，扫描镜570可以在列方向或行方向(例如，x或y方向)上旋转以扫描图像。在光源540包括用于一行或多行、或一列或多列中的一些但不是所有像素的光发射器的实施例中，扫描镜570可以在行方向和列方向这两者(例如，x方向和y方向这两者)上旋转以投射显示图像(例如，使用光栅型扫描图案)。

NED设备550可以在预定义的显示周期中运行。显示周期(display period)(例如，显示周期(display cycle))可以指扫描或投射完整图像的持续时间。例如，显示周期可以是期望帧率的倒数。在包括扫描镜570的NED设备550中，显示周期也可以被称为扫描周期(scanning period)或扫描周期(scanning cycle)。光源540生成的光可以与扫描镜570的旋转同步。例如，每个扫描周期可以包括多个扫描步骤，其中光源540可以在每个相应的扫描步骤中生成不同的光图案。

在每个扫描周期中，随着扫描镜570旋转，显示图像可以被投影到波导显示器580和用户的眼睛590上。该显示图像的一给定像素位置的实际颜色值和光强度(例如，亮度)可以是在扫描周期期间照亮该像素位置的三种颜色(例如，红色、绿色、和蓝色)的光束的平均值。在完成一扫描周期之后，扫描镜570可以返回到初始位置以投射下一显示图像的前几行的光，或可在相反的方向或扫描模式(scan pattern)上旋转以投射下一显示图像的光，其中一组新的驱动信号可以被馈送到光源540。当扫描镜570在每个扫描周期中旋转时，可以重复相同的过程。这样，不同的图像可以在不同的扫描周期中被投射到用户的眼睛590。

图6示出了根据某些实施例的近眼显示系统600中的图像源组件610的示例。图像源组件610例如可以包括显示面板640和投影仪650，该显示面板可以生成将要被投射到用户的眼睛的显示图像，该投影仪可以将显示面板640生成的显示图像投射到如以上关于图4至图5B所描述的波导显示器。显示面板640可以包括光源642和用于光源642的驱动器电路644。光源642例如可以包括光源510或540。投影仪650例如可以包括如上所述的自由形式光学元件560、扫描镜570、和/或投影光学器件520。近眼显示系统600也可以包括同步地控制光源642和投影仪650(例如，扫描镜570)的控制器620。图像源组件610可以生成图像光并将该图像光输出到波导显示器(例如波导显示器530或580)(图6中未示出)。如上所述，波导显示器可以在一个或多个输入耦合元件处接收图像光，并且将接收到的图像光引导到一个或多个输出耦合元件。输入耦合元件和输出耦合元件例如可以包括衍射光栅、全息光栅、棱镜、或它们的任意组合。可以选择输入耦合元件，使得波导显示器中发生全内反射。输出耦合元件可以将全内反射图像光的多个部分从波导显示器耦合出。

如上所述，光源642可以包括排列成阵列或矩阵的多个光发射器。每个光发射器可以发射单色光，例如红光、蓝光、绿光、红外光等。尽管在本公开中经常论述RGB颜色，但本文中所描述的实施例不限于使用红色、绿色及蓝色作为多个原色。其它颜色也可以用作近眼显示系统600的原色。在一些实施例中，根据一实施例的显示面板可以使用三种以上的原色。光源642中的每个像素可以包括三个子像素，该三个子像素包括红色微型LED、绿色微型LED、以及蓝色微型LED。半导体LED通常包括多层半导体材料内的有源发光层。多层半导体材料可以包括不同的化合物材料或具有不同的掺杂剂和/或不同的掺杂密度的相同的基底材料。例如，该多层半导体材料可以包括n型材料层、可以包括异质结构(例如，一个或多个量子阱)的有源区域、以及p型材料层。多层半导体材料可以生成在具有特定取向的衬底的表面上。在一些实施例中，为了提高光提取效率，可以形成包括多层半导体材料层中的至少一些半导体材料层的台面。

控制器620可以控制图像源组件610的图像渲染操作，例如光源642和/或投影仪650的操作。例如，控制器620可以确定用于图像源组件610渲染一幅或多幅显示图像的多个指令。这些指令可以包括显示指令和扫描指令。在一些实施例中，显示指令可以包括图像文件(例如，位图文件)。例如，可以从控制台(例如，以上关于图1所描述的控制台110)接收显示指令。图像源组件610可以使用扫描指令来生成图像光。扫描指令例如可以指定图像光的源的类型(例如，单色或多色)、扫描速率、扫描装置的取向、一个或多个照明参数或它们的任意组合。控制器620可以包括此处未示出的硬件、软件、和/或固件的组合，以免模糊本公开的其它方面。

在一些实施例中，控制器620可以是显示设备的图形处理单元(graphicsprocessing unit，GPU)。在其它实施例中，控制器620可以是其它种类的处理器。由控制器620执行的操作可以包括获取用于显示的内容，并且将该内容划分为多个离散片段。控制器620可以向光源642提供多个扫描指令，这些扫描指令包括与光源642的单个源元件对应的地址和/或施加到该单个源元件的电偏压。控制器620可以指示光源642使用与最终显示给用户的图像中的一行或多行像素对应的光发射器来顺序地呈现多个离散片段。控制器620也可以指示投影仪650执行不同的光调节。例如，控制器620可以控制投影仪650，以将多个离散片段扫描到如以上关于图5B所描述的波导显示器(例如，波导显示器580)的耦合元件的多个不同区域。这样，在波导显示器的出射光瞳处，每个离散片段在不同的相应位置中被呈现。尽管每个离散片段在不同的相应时间被呈现，但是对这些离散片段的呈现和扫描发生得足够快，使得用户的眼睛可以将不同片段集成到单个图像或一系列图像中。

图像处理器630可以是通用处理器和/或专用于执行本文中所描述的特征的一个或多个专用电路。在一个实施例中，通用处理器可以耦接到存储器，以执行使得该处理器执行本文中所描述的某些过程的软件指令。在另一实施例中，图像处理器630可以是专用于执行某些特征的一个或多个电路。尽管图6中的图像处理器630被示出为与控制器620和驱动器电路644分离的独立单元，但是在其它实施例中，图像处理器630可以是控制器620或驱动器电路644的子单元。换句话说，在那些实施例中，控制器620或驱动器电路644可以执行图像处理器630的各种图像处理功能。图像处理器630也可以被称为图像处理电路。

在图6所示的示例中，可以由驱动器电路644基于从控制器620或图像处理器630发送的数据或指令(例如，显示指令和扫描指令)来驱动光源642。在一个实施例中，驱动器电路644可以包括电路板，该电路板连接到并机械地保持光源642中的各种光发射器。光源642可以根据一个或多个照明参数发光，这些照明参数由控制器620设置，并且可能由图像处理器630和驱动器电路644调节。光源642可以使用照明参数来生成光。照明参数例如可以包括源波长、脉冲速率、脉冲振幅、光束类型(连续或脉冲)、可能影响所发射的光的其它一个或多个参数或它们的任意组合。在一些实施例中，由光源642生成的源光可以包括多束红光、多束绿光和多束蓝光或者它们的任意组合。

投影仪650可以执行一组光学功能，例如聚焦、组合、调节或扫描由光源642生成的图像光。在一些实施例中，投影仪650可以包括组合组件、光调节组件、或扫描镜组件。投影仪650可以包括一个或多个光学部件，该一个或多个光学部件对来自光源642的光进行光学调整和潜在地重定向。对光的调整的一个示例可以包括调节光，例如扩展、准直、校正一个或多个光学误差(例如，场曲、色差等)、对光的一些其它调整，或它们的任意组合。投影仪650的光学组件例如可以包括透镜、反射镜、光圈、光栅或它们的任意组合。

投影仪650可以经由其一个或多个反射部分和/或折射部分，对图像光进行重定向，使得该图像光以特定取向投射到波导显示器。图像光被重定向到波导显示器的位置可以取决于一个或多个反射部分和/或折射部分的特定取向。在一些实施例中，投影仪650包括在至少两个维度上进行扫描的单个扫描镜。在其它实施例中，投影仪650可以包括多个扫描镜，每个扫描镜在彼此正交的方向上进行扫描。投影仪650可以执行光栅扫描(水平地或垂直地)、双谐振扫描、或它们的任意组合。在一些实施例中，投影仪650可以以特定的振荡频率沿着水平和/或垂直方向执行受控振动，以沿着两个维度进行扫描并生成呈现给用户的眼睛的媒体的二维投影图像。在其它实施例中，投影仪650可以包括透镜或棱镜，该透镜或棱镜可以起到与一个或多个扫描镜类似或相同的功能。在一些实施例中，图像源组件610可以不包括投影仪，其中由光源642发射的光可以直接入射到波导显示器上。

在半导体LED中，通常通过位于有源区域(例如，一个或多个半导体层)内的电子和空穴复合，以一定的内部量子效率生成光子，其中内部量子效率是发射光子的有源区域中的辐射电子-空穴复合的比例。然后，可以在特定方向上或在特定立体角内从这些LED中提取所生成的光。从一LED提取的被发射的光子的数量与穿过该LED的电子的数量之间的比率被称为外部量子效率，该外部量子效率描述了LED将注入的电子转换为从器件提取的光子效率如何。

外部量子效率可以与注入效率、内部量子效率、和提取效率成比例。注入效率是指穿过器件、被注入到有源区域的电子的比例。提取效率是有源区域中生成的光子从器件逃逸的比例。对于LED，特别是对于具有减小的物理尺寸的微型LED，提高内部量子效率和外部量子效率和/或控制发射光谱可能是具有挑战性的。在一些实施例中，为了提高光提取效率，可以形成包括多层半导体材料层中的至少一些半导体材料层的台面。

图7是示出了根据某些实施例的包括显示器710的显示系统700的示例的简化框图。显示器710可以是如上所述的任何显示面板，例如，AMOLED阵列或微型LED阵列。显示器710可以包括排列成二维像素阵列的多个有源像素714。每个有源像素714可以包括三个(红色、绿色、和蓝色)光源，例如AOLED或微型LED。每个有源像素714也可以包括用于每个光源的驱动和补偿电路。驱动和补偿电路可以接收和存储有源像素的图像数据，并向光源提供驱动电流，以用于发光。

多个有源像素714的二维像素阵列可以直接或间接地耦接到多条扫描线712和多条数据线740。每条扫描线712可以耦接到二维像素阵列的一行上的多个有源像素714，并且可以用于将二维像素阵列的一行上的多个有源像素714连接到对应的数据线740。每条数据线740可以通过由扫描线712控制的开关耦接到二维像素阵列的一列上的多个有源像素714。每条数据线740可以用于将图像数据发送到耦接到已被选择或激活的扫描线712的有源像素714。通常，可以一次选择或激活多条扫描线中的一条扫描线，以将耦接到多条扫描线的多个有源像素顺序连接到对应的数据线。可以并行驱动多条数据线740，以同时将数据发送到连接到所选择的或所激活的扫描线712的一行有源像素714。

显示器710也可以包括一些板上外围电路，例如用于驱动不同扫描线的栅极阵列，以选择扫描线上的像素来接收以供显示的图像数据。这些外围电路可以连接到控制总线750，该控制总线可以发送一个或多个控制信号，以选择性地激活(扫描)多条扫描线，从而用于接收图像数据和接通光源以进行发光。

可以由显示驱动器IC(display driver integrated circuit，DDIC)720驱动数据线740和控制总线750。DDIC 720可以接受来自图像处理器730的图像数据，并通过数据线740将接收到的图像数据发送到有源像素714。在一些实施方式中，DDIC 720可以不包括缓冲器。在一些实施方式中，DDIC 720可以包括帧缓冲器，因此可暂时存储接收到的图像数据，并在将图像数据发送到数据线740之前对该图像数据进行处理。例如，在一些实施方式中，DDIC 720可以执行对图像数据的扰码、畸变、校正或其它变换。DDIC 720也可以生成多个扫描控制信号(例如，多个时钟信号和各种触发信号)，并通过扫描控制总线750将多个扫描控制信号发送到显示器710。

图像处理器730可以包括一个或多个CPU或一个或多个GPU。图像处理器730可以接收信息(例如，位置信息、加速度信息、速度信息、预测的未来位置或它们信息的某种组合(例如，来自各种传感器))，并且执行图形处理应用程序(例如，游戏)，以使用接收到的信息来渲染图像帧。

许多显示系统可以使用滚动照明技术来显示静止图像或视频帧。在滚动照明中，图像数据在不同的时间窗口中被写入不同行中的多个像素，并且不同行中的该多个像素也可以在不同的时间窗口中被接通以发光。例如，写入一像素的图像数据可以用于驱动该像素发光，而不需要等待时间或只需要很短的恒定等待时间。因此，二维像素阵列中的每行像素可以在不同的(交错的)相应时间窗口期间发光。在滚动照明中，图像数据被写入不同行的保持时间可以较短，并且对于所有像素可以是相同的，使得保持时间期间的泄漏量可以是较低的并且可以是相同的。因此，该泄漏可能不会导致显示图像中的不均匀性。

图8示出了驱动显示器的多个像素以用于滚动照明的示例。如所示出的，如以上关于图7所描述的，每个图像帧810的图像数据可以一次一行地被写入多个像素。每行812的图像数据可以在相同的数据写入和/或等待周期814期间被写入该行中的多个像素中，然后该行中的多个像素可以在相同的发光周期816期间被接通以发光，其中多个像素的亮度可以是图像数据的函数。不同像素行的数据写入和/或等待周期814可以错开，使得图像数据可以一次被写入一行像素中。多个像素中的不同行的发光周期816也可以是交错的。在第一图像帧810的图像数据被写入多个像素中之后，第二图像帧810的图像数据可以一次一行地被写入该多个像素中，以显示第二图像帧810。

图9A示出了根据某些实施例的显示器中的每个光源的驱动和补偿电路900的示例。在一些显示器(例如，AMOLED显示器或微型LED显示器)中，显示驱动器集成电路(例如，驱动器电路644或DDIC 720)可以包括用于每个光源的相应驱动器电路。因此，对于每个像素包括三个光源(例如，红色LED、绿色LED、和蓝色LED)的彩色显示器，三个驱动和补偿电路900可以用于每个像素。

在所示出的示例中，驱动和补偿电路900可以包括七个晶体管和一个电容器，并且因此可以被称为7T1C补偿电路。七个晶体管可以包括六个晶体管T1至T6和驱动器薄膜晶体管(driver thin film transistor，D TFT)。在一些实施例中，晶体管T1至T6和D TFT中的每一者均可以使用P沟道或N沟道薄膜晶体管(thin film transistor，TFT)来实现。晶体管T1至T6和D TFT中的每一者均可以包括栅极、源极和漏极。源极和漏极可以被称为第一端子和第二端子。

可以由扫描信号Scan(n)控制晶体管T1、晶体管T2和晶体管T6。可以由扫描信号Scan(n-1)控制晶体管T5。可以由发光控制信号EM控制晶体管T3和晶体管T4。晶体管T1在被导通时，可以在采样(或补偿)周期期间将晶体管D TFT的栅极连接到晶体管D TFT的一端子(例如，漏极)。晶体管T2可以用于在采样(或补偿)周期期间将数据线910上的数据电压V_data提供给晶体管D TFT的另一端子(例如，源极)。晶体管T3可以用于在发光周期期间将高电压电源电压VDD提供给晶体管D TFT的源极。晶体管T4可以在发光周期期间将来自晶体管DTFT提供的驱动电流发送到LED L(例如，OLED或微型LED)。晶体管T5可以用于在初始化周期期间，将连接到晶体管D TFT的栅极和存储电容器C的节点N连接到初始化电压V_ini。晶体管T6可以用于向LED L施加初始化电压(例如，以将LED L设置为反向偏置状态)。

图9B示出了用于控制图9A所示的驱动和补偿电路900的操作的多个控制信号的示例。在初始化周期920期间，扫描信号Scan(n-1)处于低电平，而扫描信号Scan(n)和发光控制信号EM可以处于高电平。因此，晶体管T1至T4、T6和D TFT被扫描信号Scan(n)和发光控制信号EM截止，而晶体管T5可以被扫描信号Scan(n-1)导通，以将节点N初始化为初始化电压V_ini。

在采样(或补偿)周期930期间，扫描信号Scan(n)处于低电平，而扫描信号Scan(n-1)和发光控制信号EM可以处于高电平。因此，晶体管T3、T4和T5可以截止，而T1、T2和T6可以被扫描信号Scan(n)导通。晶体管T2在被导通时可以将数据线910上的数据电压V_data提供到晶体管D TFT的源极。晶体管T1在被导通时可以连接晶体管D TFT的栅极和漏极，使得晶体管D TFT作为具有阈值电压V_th的二极管而运行。因此，电压V_data-V_th可以被提供至晶体管DTFT的栅极和节点N。因此，存储电容器C可以被充电至电压VDD-V_data+V_th。晶体管T6在被导通时可以将LED L的阳极连接到初始化电压V_ini，以将LED L的阳极初始化为初始化电压V_ini。

在发光周期940期间，发光控制信号EM处于低电平，而扫描信号Scan(n)和扫描信号Scan(n-1)可以处于高电平。因此，晶体管T3和T4可以被发光控制信号EM导通，而T1、T2、T5和T6可以截止。晶体管T3在被导通时可以将高电压电源电压VDD提供到晶体管D TFT的源极，而晶体管D TFT的栅极(即，节点N)可以处于电压V_data–V_th。因此，驱动晶体管(晶体管DTFT)的栅极和源极之间的电压V_gs可以是VDD–V_data+V_th。因此，晶体管D TFT可以具有驱动电流I_ds＝k×(V_gs–V_th)²＝k×(VDD–V_data+V_th–V_th)²＝k×(VDD–V_data)²，其中k是取决于驱动晶体管D TFT的迁移率、沟道宽度和沟道长度的系数。因此，驱动电流可以是V_data的函数。晶体管T4在被导通时可以向LED L提供由晶体管D TFT提供的驱动电流I_ds，以使得L EDL可发光。

在人工现实显示系统(例如，VR/AR/MR显示系统)中，可以基于用户的头部或眼睛的移动，将连续图像帧而不是静止图像呈现给用户。因此，在人工现实显示系统中，可以追踪用户的头部或眼睛的移动或位置，然后可以基于用户的头部或眼睛的位置来渲染用于左眼和右眼的图像，以由一个或两个显示面板显示，每个显示面板包括二维像素阵列，例如AMOLED阵列或微型LED阵列。因为图像渲染时间可能相对较长，所以用户的头部或眼睛在渲染时间之后的位置可能已经从图像渲染之前的位置发生变化。这样，相对于头部和/或眼睛位置的变化，显示图像可能具有颤动或运动光子延迟(motion-to-photon latency)。为了减少颤动和运动光子延迟和/或为了提高帧率(例如，对于游戏)，可以使用时间扭曲(timewarping)技术来重新投影相对于头部位置和/或眼睛位置的变化而略微调整的最初渲染的图像。

图10示出了用于减少运动光子延迟，并提高人工现实应用程序中的帧率的时间扭曲的示例。在人工现实应用程序(例如，VR游戏)中，可以由头部追踪系统或眼睛追踪系统来确定用户的头部位置或眼睛位置(例如，定位和/或取向)。一个或多个CPU可以基于用户的头部位置或眼睛位置对用于用户的每只眼睛的场景进行处理。一个或多个GPU可以用于从不同的各自的视角渲染用于每只眼睛的图像，以实现立体效果。图像渲染(或图像合成)是从2D或3D模型和场景文件生成真实感或非真实感图像的过程，该场景文件例如可以包括虚拟场景的几何形状、视点、纹理、照明、和阴影信息。例如可以使用光栅化、光线投射、或光线追踪技术来执行图像渲染。所渲染的图像可以包括各种可见特征，例如色差、纹理和阴影。渲染可能需要较高的计算能力和/或较长的处理时间。可以由合成器对所渲染的图像进行进一步处理，以执行例如失真校正，从而校正某些与透镜相关的失真。

在所示出的示例中，可以在时刻1010处确定用户的头部位置和/或眼睛位置。在时间窗口1020期间，一个或多个CPU可以接收用户输入，对用于用户的每只眼睛的场景进行处理，并且向一个或多个GPU发出命令。例如，一CPU可以读取用户输入并运行模拟以计算包括各种对象(例如，人、建筑物、树、汽车等)的场景，另一CPU可以向一个或多个GPU发出渲染命令。在时间窗口1030期间，该一个或多个GPU可以将场景转换为绘图命令，以渲染用于左眼和右眼的图像。在时间窗口1040中合成器可以进行失真校正。在时间窗口1040之后，用户的头部或眼睛可以从时刻1010处的头部或眼睛的原始位置发生移动。因此，如果所渲染的图像数据在时间窗口1040之后被发送到显示驱动器以用于显示，则在显示图像与用户的头部或眼睛的移动之间可能存在大量的延迟1050(有时被称为运动光子延迟)，这可能是导致晕动病的原因之一。例如，在60帧每秒(fps)游戏中，每16.7毫秒显示一个新场景。在没有任何拖延(delay)减少或延迟(latency)减少的情况下，用户看到的每个图像可以基于至少约16.7毫秒前获得的位置数据。

在一些实施例中，可以使用重新投影技术(例如，时间扭曲技术)而非重新渲染图像，通过相对于头部位置或眼睛位置的变化而将所渲染的图像稍微移位以进行调整，从而将运动光子延迟减小到用户察觉不到的值。时间扭曲技术在将所渲染的帧发送到显示器之前对其进行重新投影，以应对头部位置或眼睛位置的变化。例如，时间扭曲技术可以在用户旋转头部的方向上几何地(例如，通过矩阵乘法)扭曲图像。时间扭曲可能仅占用一小部分渲染时间，并且被扭曲的帧在此之后可能被立即发送到显示器。因此，拖延或延迟要低得多。

在图10所示的时间扭曲的示例中，在时刻1010处采集用户的头部和/或眼睛的位置并且在时间窗口1020和1030中基于用户的头部和/或眼睛的位置模拟和渲染场景之后，可以在时刻1060处再次采集用户的头部和/或眼睛的位置。然后，可以基于用户头部和/或眼睛在时刻1060处的位置，通过时间窗口1040中的数学计算(例如，矩阵乘法)来修改(例如，重新投影)初始渲染图像，以生成最终渲染图像。然后，最终渲染的图像数据可以被发送到显示器的帧缓冲器，以供显示给用户。因此，延迟(或运动光子延迟)1070可以仅是延迟1050的一部分。因此，显示图像比初始渲染图像更加新，并且更准确地描绘了在显示(发光)时用户头部和/或眼睛的位置。时间扭曲也可以通过人工填充丢失的帧来帮助实现更高的帧率。例如，当渲染时间很长时，可以利用关于用户头部或眼睛的位置的最新追踪数据来更新最后的完全渲染的帧，而不是更新正在渲染的帧。

在一些实施例中，不是在渲染初始图像之后重新采集用户的头部和/或眼睛的位置，而是可以基于预测的发光时间和先前的追踪数据(例如，头部和/或眼睛的移动的速度和方向)来预测用户头部和/或眼睛在一行像素发光时的位置。然后，用户头部和/或眼睛的预测位置可以用于重新投影图像，以生成最终的渲染图像数据。当预测准确时，运动光子延迟可以接近零。

图11是根据某些实施例的用于近眼显示系统的显示控制器1100的示例的简化框图。显示控制器1100可以结合在如上所述的人工现实引擎116内，并且可以是近眼显示系统600或显示系统700的示例。显示控制器1100可以包括应用程序处理器1120和显示驱动器集成电路(DDIC)1150。应用程序处理器1120可以包括一个或多个处理器，例如一个或多个CPU和/或一个或多个GPU。显示控制器1100可以接收来自传感器1110的数据，该传感器具有传感器接口1115。如上所述，传感器1110可以用于追踪用户头部或眼睛的移动。传感器1110的传感器接口1115可以将头部追踪数据或眼睛追踪数据发送到应用程序处理器1120的传感器接口1125。

然后，应用程序处理器1120的传感器接口1125可以将追踪数据发送到应用程序1130(例如，VR游戏)，如上所述，该应用程序1130可以模拟和渲染将要显示给用户的左眼和右眼的图像。应用程序1130可以将所渲染的图像发送到合成器1135。合成器1135可以预测用户头部或眼睛的移动(或者可以通过传感器接口1125接收最新的追踪数据)，以确定用户头部或眼睛的新位置。合成器1135可以基于预测的(或重新采集的)用户头部或眼睛的新位置对所渲染的图像执行重新投影(例如，失真校正和时间扭曲)，以生成最终的渲染图像数据。然后，最终的渲染图像数据可以通过显示器接口1140被发送到DDIC 1150的显示器接口1155。

DDIC 1150的显示器接口1155可以将接收到的图像数据保存在帧缓冲器(未示出)中，或者将该图像数据直接发送到时序控制器1160。时序控制器1160可以使用图像数据来向显示器栅极驱动器1165和显示器源极驱动器1170提供指令，该显示器栅极驱动器1165和显示器源极驱动器1170可以驱动显示器中的光源(如以上关于图7所描述的)发光。例如，显示器栅极驱动器1165可以用于通过扫描控制总线750向扫描线712提供扫描控制信号。显示器源极驱动器1170可以通过数据线740向有源像素714发送显示数据。在一些实施例中，显示器源极驱动器1170和/或显示器栅极驱动器1165可以执行伽马校正(例如，应用显示器伽马来校正或补偿图像伽马)，并且基于输入显示值(例如，灰度等级或驱动等级)和亮度等级之间的传递函数向光源提供驱动电流或驱动电压。

在一些渲染技术(例如，基于光栅化的渲染技术)中，应用程序1130可以仅接受单个姿势或位置(基于单个发光时间)作为输入，以用于渲染图像帧。在以上关于图8描述的滚动照明中，不同的像素行可以具有不同的发光时间。因此，通过诸如基于光栅化的渲染技术的渲染技术，可能无法在一次渲染过程中为所有像素行正确地渲染图像帧。因此，可能需要基于不同发光时间处的不同估计位置来单独地渲染图像帧中的每一行。替代地，可以选择一行像素(第一行或中间行)的单个发光时间来估计姿势或位置，以用于渲染图像帧，并且可以对其它像素行中的每一像素行执行时间扭曲，以减少运动光子延迟。例如，可能需要为每行像素采集或预测不同的相应位置数据，并且可能需要为每行像素执行不同的相应重新投影(例如，图像移位)，因为不同行相对于帧的开始具有不同的发光时间。因此，对于具有许多行(例如，几百或超过一千行)的图像，可能需要较高的计算能力或较长的计算时间来渲染(包括时间扭曲)最终图像以供显示。

图12包括图表1200，该图表示出了通过滚动照明显示的图像帧中的不同像素行的不同量的预测时移。预测时移可以由曲线1210示出。预测时移可以是原始追踪数据(例如，眼睛追踪数据或头部追踪数据)被采集的时间与显示器的一行像素中的光源发光以显示图像的该行像素的时间之间的差值。例如可以由合成器1135基于显示器的一行像素中的光源发光的时间来确定预测时移。如示例中所示出的，预测时移对于较早发光的像素行可以较小，而对于较晚发光的像素行可以较大。可以由在一帧中最后发光的像素行的时移1220来示出最大预测时移。例如可以由合成器1135基于用户的头部或眼睛的追踪移动(例如，速度和方向)以及由曲线1210示出的预测时移来估计用户的头部或眼睛的位置。

在使用全局照明的显示器中，不同行中的多个像素同时发光。因此，可以对每帧中的所有像素行执行共同的时移(和姿势)预测和图像偏移。例如，对于所有像素行，预测时移可以是时移1220。可以基于时移1220来确定头部或眼睛在发光时的共同估计位置，并且可以基于该共同的计位置对图像帧中的所有像素行执行共同的图像渲染或重新投影(例如，时间扭曲)。因此，图像渲染或图像时间扭曲的计算复杂度可以远低于滚动照明中的计算复杂度。

图13根据某些实施例示出了的驱动显示器的多个像素以用于全局照明的方法的示例。如所示出的，如以上关于图7所描述的，每帧1310的图像数据可以一次一行地被写入多个像素。在数据写入和/或等待周期1314期间，每行1312的图像数据可以被写入该行的多个像素中。在所有像素行的图像数据均被写入之后，所有行中的多个像素可以被开启(例如，通过图9A至图9B中所示的发光控制信号EM的低电平)，以在相同的发光周期1316期间发光，其中，如以上关于例如图9A至图9B所描述的，多个像素的亮度可以是图像数据的函数。在第一帧的图像数据被写入到多个像素中之后，第二帧的图像数据可以一次一行地被写入到多个像素中，并且所有像素均可以在相同的发光周期1316中被开启以基于该图像数据显示第二帧。

在一些实施例中，由于显示器的不同像素行同时发光，因此可以在图像渲染之前估计用户头部和/或眼睛在所有像素照明时在一帧中的共同位置。然后，可以使用该共同估计位置、例如使用基于光栅化的渲染技术来渲染该帧的图像。因此，可能不需要时间扭曲来重新投影所渲染的图像。

如上所述，在全局照明中，图像数据(例如，数据电压V_data)在不同的时间被顺序地写入不同的像素行，并且这些不同的像素行同时发光。因此，在图像数据用于向光源(例如，LED L(例如，OLED或微型LED))提供驱动电流之前，不同像素行的图像数据可以在存储电容器(例如，存储电容器C)处保持不同的时间周期。由于驱动电路中的泄漏，恰好在发光之前在节点N处的存储图像数据可以与写入多个像素的多个节点N的初始图像数据(例如，V_data–V_th)不同。当图像数据保持更长的时间周期时，泄漏可能更大，并且该图像数据可以变化更大的值。因此，由于不同的保持时间，图像数据的泄漏对于不同的像素行可能是不同的，这可能导致显示图像中的不均匀性和/或色移。

图14示出了图9A所示的驱动和补偿电路900的示例中的多条泄漏路径的示例。如上所述，在采样(或补偿)周期930期间，可以向晶体管D TFT的栅极和节点N提供电压V_data–V_th。因此，存储电容器C两端可以具有电压VDD–(V_data–V_th)。可以由存储电容器C保持节点N处的电压。如所示出的，可能存在从节点N到驱动和补偿电路900的其它部分的泄漏路径。例如，可能存在通过晶体管T5的、从节点N到初始化电压V_ini的泄漏电流1420。节点N处的电荷也可以被通过晶体管T1的泄漏电流1410泄漏。泄漏电流可取决于晶体管的运行条件，例如源极与漏极之间的电压(V_ds)和晶体管的栅极处的电压电平(V_G)。电荷泄漏的总量可以是泄漏电流和保持时间的乘积。因此，在发光周期940开始时，驱动晶体管(晶体管D TFT)的栅极的电压可能不再是V_data–V_th，因此晶体管D TFT的V_gs可能不是VDD–V_data+V_th，并且由晶体管DTFT提供的驱动电流可能不是k×(VDD–V_data)²。因此，光源的亮度等级可能不是期望值，这可能导致显示图像中的颜色偏移或灰度等级偏移。另外，不同行上的多个像素可能具有不同保持时间，并因此具有不同的泄漏量。因此，显示图像在不同的像素行上可能不是均匀的。

图15包括示出了在不同运行条件下晶体管的泄漏电流的示例的图1500。在图1500中，横轴表示p型晶体管(例如，P型金属氧化物半导体(P-type metal-oxide-semiconductor，PMOS)晶体管或p型TFT晶体管)的栅极电压。垂直轴对应于漏极电流。当栅极电压低于源极电压时，p型晶体管可以导通，当栅极电压高于源极电压时，p型晶体管可以截止。晶体管在被导通时可以具有较高的漏极电流。即使当晶体管截止时，晶体管的漏极和源极之间也可能存在泄漏电流，如曲线1510、1520和1530所示。曲线1510示出了当源极和漏极之间的电压(V_ds)为0.1V时，不同栅极电压下的漏极电流。曲线1520示出了当源极和漏极之间的电压(V_ds)为-5.1V时，不同栅极电压下的漏极电流。曲线1530示出了当源极和漏极之间的电压(V_ds)为-10.1V时，不同栅极电压下的漏极电流。

根据某些实施例，经泄漏补偿的全局照明技术可以用于显示VR/AR/MR应用程序的视频帧。可以对一图像帧的所有像素行(基于共同测量的或共同预测的头部位置和/或眼睛位置)执行共同的图像渲染或针对所渲染的图像的共同时间扭曲，而不是针对每行像素执行，从而降低计算复杂度和计算时间。由于用于图像渲染和/或时间扭曲的计算复杂度较低且计算时间较短，所以可以减少运动光子延迟和/或可以提高显示视频的帧率。另外，可以基于多个运行条件、多个预测或预定的泄漏电流(例如，如图15所示)以及不同像素行的不同保持时间周期而对显示器的不同像素行的图像数据预补偿不同的量。例如，在将图像数据发送到DDIC之前，可以对由应用程序和/或合成器在以上关于图11描述的失真校正和/或时间扭曲之后生成的图像数据进行预补偿，以解决不同像素行处的不同泄漏量。然后，多行像素可以基于存储在多个像素处的图像数据同时发光以用于全局照明。以这种方式，即使对于不同像素行，显示数据可能在图像数据被加载到多个像素中之后以不同的量泄漏，但是在全局照明之前，显示数据可以处于期望值。因此，本文中所公开的技术也可以减少与全局照明相关联的不均匀性问题和色移问题，从而提高VR/AR/MR系统中用于全局照明的图像质量和视频质量。

图16示出了根据某些实施例的具有对全局照明的泄漏补偿的显示器1600的示例的简化框图。显示器1600可以包括应用程序处理器1610、DDIC 1620和显示面板1630。应用程序处理器1610可以包括一个或多个GPU、或其它图像处理器。应用程序处理器1610可以执行应用程序1612(例如，VR游戏)，以基于如上所述的用户头部或眼睛的测量位置或估计位置来渲染将要显示给用户的左眼和右眼的图像。应用程序1612可以将初始渲染图像发送到合成器1614。合成器1614可以预测用户的头部或眼睛的移动(或者可以接收最新的追踪数据)，以确定用户的头部或眼睛的位置。合成器1614也可以基于用户头部或眼睛的预测位置(或重新采集的用户头部或眼睛的位置)，对初始渲染图像执行重新投影(例如，失真校正和/或时间扭曲)，以生成重新投影的图像数据。

例如，在一些实施例中，应用程序1612可以基于在帧开始时测量到的或以其它方式获取的用户头部或眼睛的位置来渲染图像。合成器1614可以在图像被渲染之后获取用户头部或眼睛的新位置，并且基于该新位置重新投影(例如，时间扭曲)所渲染的图像。

在一些实施例中，应用程序1612可以基于在帧开始时测量到的或以其它方式获取的用户的部或眼睛的位置来渲染图像。合成器1614可以估计用户头部或眼睛在全局照明时的位置，并基于估计位置重新投影(例如，时间扭曲)所渲染的图像。

在一些实施例中，合成器1614可以估计用户头部或眼睛在全局照明时的位置，并将估计位置发送给应用程序1612。应用程序1612可以基于用户头部或眼睛的估计位置来渲染图像。合成器1614可以对所渲染的图像执行例如失真校正。

应用程序处理器1610也可以对重新投影的图像数据执行泄漏预补偿操作1616，以生成最终的渲染图像数据。如上所述，泄漏预补偿可以基于运行条件下的泄漏电流(例如，如图15所示)和一行像素的图像数据的保持时间。例如，对于被较早写入的像素行，由于较大的泄漏量，预补偿值可以较大。然后，可以将最终的渲染图像数据发送到DDIC 1620，例如DDIC 1620中的帧缓冲器。在一些实施例中，泄漏预补偿操作1616可以由内部DDIC或DDIC1620执行。

如上文关于例如图11所描述的，DDIC 1620可以包括时序控制器(例如，时间控制器1160)，该时序控制器可以使用接收到的图像数据来向显示器栅极驱动器(例如，显示器栅极驱动器1165)和显示器源极驱动器(例如，显示器源极驱动器1170)提供多个指令，该显示器栅极驱动器和显示器源极驱动器可以将图像数据加载到显示面板1630中的多个像素，并且接通光源(如以上关于图7所描述的)以发光。例如，显示器栅极驱动器可以通过控制总线750向扫描线712提供扫描控制信号。显示器源极驱动器可以通过数据线740向有源像素714发送显示数据。在一些实施例中，显示器源极驱动器和/或显示器栅极驱动器可以执行伽马校正(例如，应用显示器伽马来校正或偏移图像伽马)，并且基于输入显示值(例如，指示灰度等级或驱动等级的像素数据)和亮度等级之间的传递函数，向光源提供驱动电流或驱动电压。

显示面板1630可以包括多条扫描线和有源像素二维阵列，有源像素二维阵列例如可以包括多个如以上关于图7所描述的不同颜色的光源(例如，OLED或微型LED)。每个光源可以与驱动电路(例如，驱动和补偿电路900)相关联。驱动电路可以接收和存储图像数据(例如，V_data)并且基于所存储的图像数据向光源提供驱动电流以用于发光。所接收的和最初存储的图像数据可以包括泄漏补偿分量。当正在为其它行中的像素加载图像数据时，每个像素处存储的图像数据可能由于以上例如关于图14所描述的泄漏而随时间变化。在将一帧的图像数据写入相应的多个像素之后，由于预补偿和泄漏，每个像素处存储的图像数据可能具有期望值。因此，当所有像素被开启以发光时，每个光源的驱动电流可以处于期望值，以发射具有期望亮度等级的光，从而更精确地显示由合成器1614生成的重新投影的图像。

图17包括流程图1700，该流程图示出了根据某些实施例的在人工现实系统中使用经泄漏补偿的全局照明来显示多个视频帧的方法的示例。流程图1700中描述的多个操作仅用于说明的目的，而不旨在限制。在各种实施方式中，可以对流程图1700进行修改，以添加附加的操作、省略一些操作、合并一些操作或拆分一个操作。流程图1700中描述的多个操作可以使用例如近眼显示系统600、显示系统700、显示控制器1100、或显示器1600来执行。

在框1710处，应用程序处理器(例如，应用程序处理器1120或1610)可以获取显示系统的用户的头部或眼睛中的至少一者的位置数据。应用程序处理器可以包括一个或多个CPU或一个或多个GPU。位置数据例如可以由如以上关于例如图1所描述的头部追踪传感器或眼睛追踪传感器收集或生成。位置数据可以指示用户头部或眼睛的定位和/或取向。

在框1720处，应用程序处理器可基于位置数据来渲染图像帧的图像数据。例如，应用程序处理器可以基于该位置数据来执行应用程序(例如，VR游戏)，以确定用于用户的每只眼睛的场景，并将用于用户的眼睛的场景转换为多个绘图命令以渲染图像数据。应用程序处理器例如可以使用光栅化、光线投射、或光线追踪技术来渲染图像数据。在一些实施例中，例如可以使用合成器来预测用户的头部和/或眼睛在全局照明时的估计位置，然后应用程序处理器可以使用该估计位置来渲染图像数据。可以基于例如先前测量的位置、移动速度以及用户头部/眼睛的移动方向来估计用户的头部/眼睛的位置。

在一些实施例中，在框1730处，应用程序处理器可以估计用户的头部/眼睛在全局照明时的位置，或者可以获取用户的头部/眼睛在图像数据被渲染之后的新位置。例如，应用程序处理器可以执行合成器，以例如基于先前测量的位置、移动速度以及用户的头部/眼睛的移动方向来估计用户的头部/眼睛在全局照明时的位置。在一些实施例中，应用程序处理器可以在渲染图像数据之后，获取来自头部追踪传感器和/或眼睛追踪传感器的用户头部/眼睛的新位置。

在一些实施例中，在框1740处，应用程序处理器可以基于用户的头部/眼睛在全局照明时的估计位置或用户的头部/眼睛在图像被渲染之后的新的测量位置来重新投影图像数据。由于全局照明，对于所有像素行，估计位置或新的测量位置可以是共同的，并且可以对所有像素行的图像数据执行相同的时间扭曲过程(例如，矩阵乘法)，以基于共同估计位置或共同测量位置来重新投影图像帧的图像数据。

在框1750处，应用程序处理器可以修改图像数据，以补偿与显示系统的显示器的全局照明相关联的泄漏。例如，对于显示器的每行像素，应用程序处理器可以确定该行像素的像素中的光源的驱动电路中的泄漏电流，确定将该行像素的图像数据加载到该行像素中与全局照明之间的时间延迟，基于该泄漏电流和该时间延迟确定该像素中的光源的泄漏补偿值，以及基于该泄漏补偿值调整该像素中的光源的图像数据。

在框1760处，应用程序程序处理器可以将图像数据发送到显示系统的显示驱动器电路(例如，DDIC 720、1150或1620)，以用于通过全局照明在显示器上显示图像帧。在一些实施例中，图像数据可以被发送到显示驱动器电路的帧缓冲器。

在框1770处，显示驱动器电路可以将图像数据加载到显示器的多个像素驱动电路(例如，驱动和补偿电路900)。如上所述，可以使用例如控制总线、多条数据线和多条扫描线将图像数据一次一行地加载到像素驱动电路。

在框1780处，显示驱动器电路可以控制像素驱动电路，以开启显示器中的所有像素以用于全局照明。例如，如上所述，显示驱动器电路可以向所有像素驱动电路发送低电平发光控制信号EM，以开启显示器中的多个光源，以用于照明。

本文所公开的实施例可以用于实现人工现实系统的多个部件，或者可以结合人工现实系统被实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，人工现实例如可以包括虚拟现实、增强现实、混合现实(mixed reality)、混合现实(hybridreality)或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与采集的(例如，真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，以上任何一种都可以在单通道或多通道(例如，给观看者带来三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与应用程序、产品、附件、服务或它们的某种组合相关联，这些应用程序、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容，和/或以其它方式用于人工现实中(例如，在人工现实中执行动作)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主控计算机系统的HMD、独立HMD、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其它硬件平台。

图18是用于实现本文所公开的多个示例中的一些示例的示例近眼显示器(例如，HMD设备)的示例电子系统1800的简化框图。电子系统1800可以用作如上所述的HMD设备或其它近眼显示器中的电子系统。在该示例中，电子系统1800可以包括一个或多个处理器1810和存储器1820。一个或多个处理器1810可以被配置成执行用于在多个部件处执行多个操作的多个指令，并且例如可以是适于在便携式电子设备内实现的通用处理器或微处理器。一个或多个处理器1810可以与电子系统1800内的多个部件通信地耦接。为了实现这种通信耦接，一个或多个处理器1810可以通过总线1840与示出的其它部件通信。总线1840可以是适于在电子系统1800内传输数据的任何子系统。总线1840可以包括用于传输数据的多条计算机总线和附加电路。

存储器1820可以耦接到一个或多个处理器1810。在一些实施例中，存储器1820可以提供短期存储和长期存储这二者，并且可以被划分为若干单元。存储器1820可以是易失性的，例如静态随机存取存储器(static random-access memory，SRAM)和/或动态随机存取存储器(dynamic random-access memory，DRAM)和/或存储器1820可以是非易失性的，例如只读存储器(read-only memory，ROM)和闪存等。此外，存储器1820可以包括多个可移动存储器器件，例如多个安全数字(secure digital，SD)卡。存储器1820可以为电子系统1800提供多个计算机可读指令、多个数据结构、多个程序模块、和其它数据的存储。在一些实施例中，存储器1820可以分布在不同的硬件模块中。指令集和/或代码集可以存储在存储器1820上。这些指令可以采用可以由电子系统1800可执行的可执行代码的形式，和/或可以采用源代码和/或可安装代码的形式，在电子系统1800上(例如，使用各种通常可用的编译器、安装程序、压缩/解压缩实用程序等中的任何一种)对这些指令进行编译和/或安装时，可以采用可执行代码的形式。

在一些实施例中，存储器1820可以存储多个应用程序模块1822到1824，这些应用程序模块可以包括任何数量的应用程序。应用程序的示例可以包括游戏应用程序、会议应用程序、视频播放应用程序或其它合适的应用程序。这些应用程序可以包括深度感测功能或眼睛追踪功能。应用程序模块1822至1824可以包括待由一个或多个处理器1810执行的多个特定指令。在一些实施例中，某些应用程序或应用程序模块1822至1824的某些部分可以由多个其它硬件模块1880执行。在某些实施例中，存储器1820可以额外包括安全存储器，该安全存储器可以包括多个附加安全控制，以防止复制安全信息或对安全信息的未经授权的其他访问。

在一些实施例中，存储器1820可以包括加载在该存储器中的操作系统1825。操作系统1825可以是可操作的，以启动执行应用程序模块1822至1824提供的多个指令和/或管理其它硬件模块1880并且与无线通信子系统1830交互，该无线通信子系统可以包括一个或多个无线收发器。操作系统1825可以适于跨电子系统1800中的多个部件执行其它操作，该其他操作包括线程、资源管理、数据存储控制、和其它类似功能。

无线通信子系统1830例如可以包括红外通信设备、无线通信设备和/或芯片组(例如，蓝牙

设备、IEEE 802.11设备、Wi-Fi设备、WiMax设备、蜂窝通信设施等)、和/或类似的通信接口。电子系统1800可以包括用于无线通信的一个或多个天线1834，该一个或多个天线作为无线通信子系统1830的一部分，或者作为耦接到该系统的任何部分的单独部件。取决于期望的功能，无线通信子系统1830可以包括多个单独的收发器，以与多个基站收发台以及其它无线设备和接入点进行通信，这可以包括与不同的数据网络和/或网络类型进行的通信，这些数据网络或网络类型例如为无线广域网(wireless wide-areanetwork，WWAN)、无线局域网(wireless local area network，WLAN)、或无线个域网(wireless personal area network，WPAN)。WWAN例如可以为WiMax(IEEE 802.16)网络。WLAN例如可以为IEEE 802.11x网络。WPAN例如可以为蓝牙网络、IEEE 802.15x、或一些其它类型的网络。本文中所描述的多种技术也可以用于WWAN、WLAN和/或WPAN的任意组合。无线通信子系统1830可以允许与网络、其它计算机系统和/或本文中所描述的任何其它设备交换数据。无线通信子系统1830可以包括用于使用一条或多条天线1834和一条或多条无线链路1832来发送或接收数据(例如，多个HMD设备的标识符、位置数据、地理地图、热图、多张照片或多段视频)的装置。无线通信子系统1830、一个或多个处理器1810和存储器1820可以一起包括用于执行本文中所公开的一些功能的一种或多种装置中的至少一部分。

电子系统1800的多个实施例还可以包括一个或多个传感器1890。一个或多个传感器1890例如可以包括图像传感器、加速度计、压力传感器、温度传感器、接近传感器、磁力计、陀螺仪、惯性传感器(例如，组合了加速度计与陀螺仪的模块)、环境光传感器、或可以操作用来提供感官输出和/或接收感官输入的任何其它类似模块(例如深度传感器或位置传感器)。例如，在一些实施方式中，一个或多个传感器1890可以包括一个或多个惯性测量单元(inertial measurement unit，IMU)和/或一个或多个位置传感器。基于从多个位置传感器中的一个或多个位置传感器接收到的多个测量信号，IMU可以生成指示HMD设备相对于HMD设备的初始位置的估计位置的校准数据。位置传感器可以响应于HMD设备的运动而生成一个或多个测量信号。上述位置传感器的示例可以包括但不限于一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、另一种合适的检测运动的传感器、一种用于IMU的误差校正的传感器、或它们的任意组合。上述位置传感器可以位于IMU的外部、IMU的内部或它们的任意组合。至少一些传感器可以使用结构光图案进行感测。

电子系统1800可以包括显示模块1860。显示模块1860可以是近眼显示器，并且可以图形化地将来自电子系统1800的信息(例如，多幅图像、多段视频和各种指令)呈现给用户。这样的信息可以从一个或多个应用程序模块1822至1824、虚拟现实引擎1826、一个或多个其它硬件模块1880、它们的组合、或用于为用户解析图形内容(例如，通过操作系统1825)的任何其它合适的装置中得到。显示模块1860可以使用LCD技术、LED技术(例如包括OLED、ILED、μLED、AMOLED、TOLED)、发光聚合物显示器(light emitting polymer display，LPD)技术或其他一些显示技术。

电子系统1800可以包括用户输入/输出(input/output)模块1870。用户输入/输出模块1870可以允许用户向电子系统1800发送多个动作请求。动作请求可以是执行特定动作的请求。例如，动作请求可以是启动或结束应用程序或执行应用程序内的特定动作。用户输入/输出模块1870可以包括一个或多个输入设备。多个示例输入设备可以包括触摸屏、触摸板、一个或多个传声器、一个或多个按钮、一个或多个旋钮、一个或多个开关、键盘、鼠标、游戏控制器或用于接收多个动作请求并将接收到的多个动作请求传送到电子系统1800的任何其它合适的设备。在一些实施例中，用户输入/输出模块1870可以根据从电子系统1800接收的多个指令向用户提供触觉反馈。例如，可以在接收到动作请求或者动作请求已经被执行时提供触觉反馈。

电子系统1800可以包括摄像头1850，该摄像头可以用于拍摄用户的多张照片或多段视频，例如，以用于追踪用户眼睛的位置。摄像头1850还可以用于拍摄环境的多张照片或多段视频，例如，以用于VR应用程序、AR应用程序或MR应用程序。摄像头1850例如可以包括具有几百万或几千万像素的互补金属氧化物半导体(complementary metal–oxide–semiconductor，CMOS)图像传感器。在一些实施方式中，摄像头1850可以包括可以用于采集3D图像的两个或更多个摄像头。

在一些实施例中，电子系统1800可以包括多个其它硬件模块1880。每个硬件模块1880可以是电子系统1800内的物理模块。尽管多个其它硬件模块1880每个可以被永久地配置为结构，但是多个其它硬件模块1880中一些可以被临时配置为执行多个特定功能或被临时激活。多个其它硬件模块1880的示例可以包括例如音频输出和/或输入模块(例如，传声器或扬声器)、近场通信(near field communication，NFC)模块、可再充电电池、电池管理系统、有线/无线电池充电系统等。在一些实施例中，多个其它硬件模块1880的一个或多个功能可以在软件中实现。

在一些实施例中，电子系统1800的存储器1820也可以存储虚拟现实引擎1826。虚拟现实引擎1826可以执行电子系统1800内的多个应用程序，并且从各种传感器接收HMD设备的位置信息、加速度信息、速度信息、预测的未来位置或它们的任意组合。在一些实施例中，由虚拟现实引擎1826接收的信息可以用于向显示模块1860生成信号(例如，多个显示指令)。例如，如果所接收的信息指示用户已经向左看，则虚拟现实引擎1826可以为HMD设备生成反映用户在虚拟环境中的活动的内容。另外，虚拟现实引擎1826可以响应于从用户输入/输出模块1870接收的动作请求而执行应用程序内的动作，并且向用户提供反馈。所提供的反馈可以是视觉、听觉或触觉反馈。在一些实施方式中，一个或多个处理器1810可以包括可以执行虚拟现实引擎1826的一个或多个GPU。

在各种实施方式中，上述的硬件和多个模块可以在单个设备上实现，或者在可以使用有线或无线连接彼此通信的多个设备上实现。例如，在一些实施方式中，可以在与头戴式显示设备分离的控制台上实现一些部件或模块(例如GPU、虚拟现实引擎1826、和多个应用成像(例如，追踪应用程序))。在一些实施方式中，一个控制台可以与多于一个HMD连接或者支持多于一个HMD。

在可选的配置中，电子系统1800中可以包括不同的和/或附加的部件。类似地，这些部件中的一个或多个部件的功能可以以与上述方式不同的方式分布在这些部件之间。例如，在一些实施例中，可以将电子系统1800修改为包括其它系统环境，例如AR系统环境和/或MR环境。

以上论述的多种方法、多个系统和多个设备均为示例。各种实施例可以适当地省略、替换或添加各种程序或部件。例如，在替代的配置中，可以以与所描述的顺序不同的顺序来执行所描述的方法，和/或可以添加、省略和/或组合各种阶段。此外，关于某些实施例描述的特征可以在各种其它实施例中组合。各个实施例的不同方面和元件可以以类似的方式组合。此外，技术在发展，因此，许多元件都是示例，这些示例并不会将本公开的范围限制在那些特定示例中。

在描述中给予了许多具体细节，以提供对多个实施例的透彻理解。然而，可以在没有这些具体细节的情况下来实施多个实施例。例如，为了避免模糊多个实施例，已经在不具有非必要细节的情况下示出众所周知的多个电路、多个过程、多个系统、多种结构和多种技术。本描述仅提供了多个示例实施例，并不旨在限制本发明的范围、适用性或配置。而是，以上对多个实施例的描述将为本领域技术人员提供用于实现各种实施例的使能描述。在不脱离本公开的精神和范围的情况下，可以对多个元件的功能和布置进行各种改变。

此外，将一些实施例作为被描述为流程图或框图的过程进行了描述。尽管每个过程都可以将多个操作描述为顺序过程，但是这些操作中的许多操作可以并行或同时执行。另外，这些操作的顺序可以被重新排列。过程可能具有图中未包括的多个附加步骤。此外，方法的实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或它们的任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行多个相关任务的程序代码或多个代码段可以存储在诸如存储介质的计算机可读介质中。多个处理器可以执行该多个相关任务。

对本领域的技术人员来说将显而易见的是，可以根据多个具体的要求做出多种实质性的变化。例如，也可以使用定制的或专用的硬件，和/或可以在硬件、软件(包括便携式软件，例如，小程序等)或在硬件和软件这两者中实现多个特定元素。此外，可以采用与诸如网络输入/输出设备的其他计算设备的连接。

参考附图，可以包括存储器的多个部件可以包括非暂态机器可读介质。术语“机器可读介质”和“计算机可读介质”可以指参与提供数据的任何存储介质，该数据使机器以特定方式运行。在上文提供的多个实施例中，各种机器可读介质可以涉及向多个处理单元和/或一个或多个其它设备提供多个指令/代码，以供执行。附加地或替代地，机器可读介质可以用于存储和/或携载这些指令/代码。在许多实施方式中，计算机可读介质是物理和/或有形的存储介质。这种介质可以采用多种形式，该多种形式包括但不限于非易失性介质、易失性介质、和传输介质。常见形式的计算机可读介质包括例如诸如光盘(compact disk，CD)或数字多用光盘(digital versatile disk，DVD)的磁和/或光学介质、穿孔卡、纸带、具有多个孔图案的任何其他物理介质、RAM、可编程只读存储器(programmable read-onlymemory，PROM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)、FLASH-EPROM、任何其他存储芯片或盒式存储器(cartridge)、如下所述的载波、或任何其他介质(计算机可以从该任何其他介质中读取多个指令和/或代码)。计算机程序产品可以包括代码和/或多个机器可执行指令，该代码和/或多个机器可执行指令可以表示过程、功能、子程序、程序、例程、应用程序(App)、子例程、模块、软件包、类或多个指令、多个数据结构或多个程序语句的任何组合。

本领域技术人员将理解的是，用于传达本文所描述的消息的信息和多个信号可以使用多种不同科技和技术中的任一种来表示。例如，整个上述描述中可能引用的数据、多个指令、多个命令、信息、多个信号、多个位、多个符号和多个芯片可以使用多个电压、多个电流、多个电磁波、多个磁场或磁粒子、多个光场或光粒子、或它们的任意组合来表示。

如本文所使用的术语“和”和“或”可以包括多种含义，其中，也至少部分地基于使用这些术语时的上下文来预料这些含义。通常，“或”如果用于关联一列表，例如A、B或C，则旨在表示A、B和C(此处用于包括性意义)以及A、B或C(此处用于排他性意义)。另外，如本文所使用的术语“一个或多个”可以用于以单数形式描述任何特征、结构或特性，或可以用于描述多个特征、多个结构或多个特性的某种组合。然而，应当注意的是，这仅仅是说明性示例，并且所要求保护的主题不限于该示例。此外，术语“至少一个”如果用于关联一列表，例如A、B或C，则可以解释为A、B和/或C的任意组合(例如，A、AB、AC、BC、AA、ABC、AAB、AABBCCC等)。

此外，尽管已经使用硬件和软件的特定组合对某些实施例进行了描述，但是应当认识到的是，硬件和软件的其它组合也是可以的。某些实施例可以仅以硬件、或仅以软件、或使用它们的组合来实现。在一个示例中，软件可以使用包含计算机程序代码或多个指令的计算机程序产品来实现，该计算机程序代码或多个指令可以由一个或多个处理器执行，从而执行本公开中描述的多个步骤、多个操作或多个过程中的任何或所有，其中，计算机程序可以存储在非暂态计算机可读介质上。本文描述的各种过程可以在同一处理器或以任意组合的不同处理器上实现。

在多个设备、多个系统、多个部件或多个模块被描述为被配置为执行某些操作或功能的情况下，这种配置例如可以通过如下来完成：通过设计多个电子电路来执行该操作、通过对多个可编程电子电路(例如，多个微处理器)进行编程来执行该操作(例如，通过执行多个计算机指令或代码)或通过被编程的多个处理器或内核来执行存储在非暂态存储介质上的代码或多个指令来执行该操作，或它们的任意组合。多个进程可以使用多种技术进行通信，这些技术包括但不限于用于进程间通信的传统技术，并且不同的进程对可以使用不同的技术，或者同一进程对在不同的时间可以使用不同的技术。

因此，说明书和附图应被认为是说明性的，而非限制性的。然而，将显而易见的是，在不脱离如权利要求书中所阐述的更广泛的精神和范围的情况下，还可以进行添加、减去、删除以及其它修改和改变。因此，尽管已经描述了多个具体实施例，但是这些具体实施例并不旨在进行限制。各种修改和等同物均落入以下权利要求书的范围内。

Claims (20)

1.一种方法，包括:

由应用程序处理器获取显示系统的用户的头部或眼睛中的至少一者的位置数据；

由所述应用程序处理器基于所述位置数据渲染图像帧的图像数据；

修改所述图像数据，以补偿与所述显示系统的显示器的全局照明相关联的泄漏；以及

将所述图像数据发送到所述显示系统的显示驱动器电路，以用于通过所述全局照明在所述显示器上显示所述图像帧。

2.根据权利要求1所述的方法，还包括：在修改所述图像数据之前，基于更新的位置数据，重新投影由所述应用程序处理器渲染的所述图像数据。

3.根据权利要求1所述的方法，还包括：在修改所述图像数据之前，

估计所述用户的头部或眼睛中的至少一者在所述全局照明时的位置；以及

基于所述用户的头部或眼睛中的至少一者的估计位置，重新投影由所述应用程序处理器渲染的所述图像数据。

4.根据权利要求1所述的方法，还包括：在修改所述图像数据之前，

获取所述用户的头部或眼睛中的至少一者在所述图像数据被渲染之后的新位置；以及

基于所述用户的头部或眼睛中的至少一者的所述新位置，重新投影由所述应用程序处理器渲染的所述图像数据。

5.根据权利要求1所述的方法，还包括：

基于所述位置数据，估计所述用户的头部或眼睛中的至少一者在所述全局照明时的位置，

其中，由所述应用程序处理器渲染所述图像数据包括：基于所述用户的头部或眼睛中的至少一者在所述全局照明时的估计位置来渲染所述图像数据。

6.根据权利要求1所述的方法，还包括:

将所述图像数据加载到所述显示器的多个像素驱动电路中；以及

由所述显示驱动器电路开启所述显示器的多个像素，以用于全局照明。

7.根据权利要求1所述的方法，其中，获取所述用户的头部或眼睛中的至少一者的所述位置数据包括：接收来自头部追踪传感器或眼睛追踪传感器中的至少一者的位置数据。

8.根据权利要求1所述的方法，其中，渲染所述图像帧的所述图像数据包括：

基于所述位置数据执行应用程序，以确定所述用户的眼睛的场景；以及

将所述用户的眼睛的所述场景转换为多个绘图命令。

9.根据权利要求1所述的方法，其中，修改所述图像数据以补偿与所述显示器的所述全局照明相关联的所述泄漏包括：对于所述显示器的每一行像素：

确定像素行的像素中的光源的驱动电路中的泄漏电流；

确定将所述像素行的所述图像数据加载到所述像素行中与所述全局照明之间的时间延迟；

基于所述泄漏电流和所述时间延迟，确定所述像素中的所述光源的泄漏补偿值；以及

基于所述泄漏补偿值调整所述像素中的所述光源的所述图像数据。

10.一种显示系统，包括：

显示器，所述显示器包括多个光源和相应的多个光源驱动电路，所述多个光源排列成多行；

显示驱动器电路，所述显示驱动器电路耦合到所述显示器；以及

应用程序处理器，所述应用程序处理器耦合到所述显示驱动器电路，并且被配置为执行根据权利要求1至9中任一项所述的方法，或者被配置为：

获取所述显示系统的用户的头部或眼睛中的至少一者的位置数据；

基于所述位置数据，渲染图像帧的图像数据；

修改所述图像数据，以补偿与所述显示器的全局照明相关联的泄漏；以及

将所述图像数据发送到所述显示驱动器电路，以用于通过所述全局照明在所述显示器上显示所述图像帧。

11.根据权利要求10所述的显示系统，其中，所述应用程序处理器还被配置为：在修改所述图像数据之前，基于更新的位置数据重新投影所述图像数据。

12.根据权利要求10所述的显示系统，其中，所述应用程序处理器还被配置为：在修改所述图像数据之前：

估计所述用户的头部或眼睛中的至少一者在所述全局照明时的位置；以及

基于用户的头部或眼睛中的至少一者的估计位置，重新投影所述图像数据。

13.根据权利要求10所述的显示系统，其中，所述应用程序处理器还被配置为：在修改所述图像数据之前：

获取所述用户的头部或眼睛中的至少一者在所述图像数据被渲染之后的新位置；以及

基于所述用户的头部或眼睛中的至少一者的所述新位置，重新投影所述图像数据。

14.根据权利要求10所述的显示系统，其中，所述应用程序处理器被配置为：

基于所述位置数据，估计所述用户的头部或眼睛中的至少一者在所述全局照明时的位置；以及

基于所述用户的头部或眼睛中的至少一者的估计位置来渲染所述图像数据。

15.根据权利要求10所述的显示系统，其中，所述应用程序处理器被配置为：针对所述多行中的每一行，通过以下操作修改所述图像数据以补偿与所述全局照明相关联的所述泄漏：

确定所述行中的光源的光源驱动电路中的泄漏电流；

确定将所述光源的所述图像数据加载到相应的所述光源驱动电路中与所述全局照明之间的时间延迟；

基于所述泄漏电流和所述时间延迟，确定所述光源的泄漏补偿值；以及

基于所述泄漏补偿值调整所述光源的所述图像数据。

16.根据权利要求10所述的显示系统，其中，所述应用程序处理器被配置为通过以下操作来渲染所述图像帧的所述图像数据：

基于所述位置数据执行应用程序，以确定所述用户的眼睛的场景；以及

将所述用户的眼睛的所述场景转换为多个绘图命令。

17.根据权利要求10所述的显示系统，其中，所述显示驱动器电路被配置为：

将所述图像数据加载到用于所述多个光源的所述相应的多个光源驱动电路中；以及

控制所述相应的多个光源驱动电路以开启所述多个光源，以用于所述全局照明。

18.根据权利要求10所述的显示系统，其中，所述应用程序处理器包括中央处理单元或图形处理单元中的至少一者。

19.根据权利要求10所述的显示系统，其中，所述多个光源包括有机发光二极管OLED阵列或微型发光二极管micro-LED阵列。

20.一种非暂态机器可读存储介质，所述非暂态机器可读存储介质包括存储在其上的多个指令，所述多个指令在由一个或多个处理器执行时，使所述一个或多个处理器执行根据权利要求1至9中任一项所述的方法或执行包括以下各项的操作：

获取显示系统的用户的头部或眼睛中的至少一者的位置数据；

基于所述位置数据渲染图像帧的图像数据；

修改所述图像数据，以补偿与所述显示系统的显示器的全局照明相关联的泄漏；以及

将所述图像数据发送到所述显示系统的显示驱动器电路，以用于通过所述全局照明在所述显示器上显示所述图像帧。

Images