CN110582718A - 近眼显示器的变焦像差补偿 - Google Patents

Abstract

一种在近眼显示系统(100)中的操作的方法，包括使用近眼显示系统的眼睛跟踪组件(106)确定用户的眼睛(132)的姿势。基于用户的眼睛的姿势确定用于近眼显示系统的放大透镜(124)的移位向量，并且该移位向量被传送到近眼显示系统的致动器(126)以指示放大透镜相对于用户的眼睛的平移。在放大透镜的平移之后，基本图像(122)的阵列(120)在近眼光场帧内的位置处被渲染，并且被传送以供在近眼显示系统的显示面板(118)处显示。

Description

近眼显示器的变焦像差补偿

背景技术

头戴式显示器(HMD)和其他近眼显示系统可以利用近眼光场显示器或其他计算显示器来提供对三维(3D)图形的显示。通常，近眼光场显示器采用一个或多个显示面板以及覆盖在一个或多个显示面板上的许多透镜、针孔或其他光学元件。渲染系统渲染基本图像阵列，每个基本图像代表来自相应的视角或虚拟相机位置的物体或场景的图像或视图。这样的近眼光场显示器通常显示出在由于显示面板的物理表面导致的聚散(vergence)(即，眼睛在相反方向上的同时移动以保持对于在不同距离处的物体的眼睛注视的双目固定)和由于HMD的模拟图形中的焦点导致的调节(accommodation)(即，改变透镜在眼睛中的聚焦能力)之间的差异(disparity)。

在自然观看中(与观看虚拟场景相反)，聚散和调节的要求彼此一致：观察较近的物体需要会聚(convergence)并增加镜头聚焦能力，而观察较远的物体则需要发散(divergence)并降低聚焦能力。相应地，并且由于眼睛会聚和调节到的距离通常是相同的，因此两个响应被耦合，使得聚散的改变产生调节的改变，反之亦然。然而，当与显示面板的距离(通常是固定的)与在显示面板上呈现的物体的虚拟深度(通常随内容而变化)不同时，常规的近眼显示系统经常会遇到聚散-调节的冲突，导致观众的不适和疲劳。

附图说明

通过参考附图，可以更好地理解本公开，并且使得本公开的众多特征和优点对于本领域技术人员而言显而易见。在不同附图中的相同的附图标记的使用指示相似或相同的项目。

图1是示出根据一些实施例的采用眼睛跟踪和相应的透镜致动以提供变焦像差补偿的近眼显示系统的示意图。

图2是示出根据一些实施例的图1的近眼显示系统中的动态聚散-调节冲突校正的示例的示意图。

图3是示出根据一些实施例的图1的近眼显示系统中用于动态聚散-调节冲突校正的方法的流程图。

图4是示出根据一些实施例的图1的近眼显示系统中的动态注视相关像差校正的示例的示意图。

图5是示出根据一些实施例的图1的近眼显示系统中的动态注视相关像差校正的方法的流程图。

具体实施方式

图1至图5示出了用于基于近眼显示系统中的用户眼睛姿势的动态变焦像差补偿的示例方法和系统。在至少一个实施例中，近眼显示系统采用计算显示器来向用户显示像的近眼光场帧，以便向用户提供沉浸式的虚拟现实(VR)或增强现实(AR)体验。每个近眼光场帧都由基本图像阵列组成，每个基本图像表示来自不同的对应视点的物体或场景的视图。

为了在不相应降低FOV和/或感知帧率的情况下提供改进的深度线索，在至少一个实施例中，本文描述的近眼显示系统利用动态放大透镜移位技术，其中，利用眼睛跟踪组件来确定用户的眼睛的姿势(位置和/或旋转)，并基于此姿势，相对于近眼显示系统的显示屏移位放大透镜，以便改变眼睛对深度线索的感知。例如，常规的近眼显示系统有时会由于聚焦在虚拟物体上的聚散距离与例如因为显示屏的近眼接近而引起的调节距离之间的不匹配而遇到聚散-调节冲突。近眼显示系统通过相对于用户的眼睛移位放大透镜以引起在VR的调节平面中的相应移位来补偿这种聚散-调节冲突。通过将移位后的调节平面与聚散平面匹配，近眼显示系统能够模拟对于聚散和调节的现实生活观看响应。

作为另一个示例，常规的近眼显示系统有时会遇到注视相关像差。近眼显示系统相对于用户的眼睛移位放大透镜，以校正由以下所引起的像差：例如由注视在显示屏的不同部分而引起的视觉失真、在将VR/AR HMD在重复使用时放置在用户脸上的相同位置时的不可再现性、不同用户之间的眼睛几何形状(例如，瞳孔之间的距离)的差异等。因此，动态移位放大透镜并且响应于用户的眼睛姿势的移位渲染图像阵列在不牺牲任何利用的光学组件的聚焦能力的情况下，有效地补偿了聚散-调节冲突和注视相关像差，否则这可能导致近眼显示系统的FOV和/或显示帧率的相应降低。

图1示出了根据至少一个实施例的近眼显示系统100，其结合了动态调整以补偿聚散-调节差异和注视相关像差。在所描绘的示例中，近眼显示系统100包括计算显示子系统102、渲染组件104以及一个或多个眼睛跟踪组件(例如用于跟踪用户的左眼的眼睛跟踪组件106和用于跟踪用户的右眼的眼睛跟踪组件108中的一个或两个)。计算显示子系统102包括安装在设备114(例如，护目镜、眼镜等)中的左眼显示器110和右眼显示器112，设备114将显示器110、112分别放置在用户的左眼和右眼前面。

如视图116所示，显示器110、112中的每一个包括至少一个显示面板118，以显示一系列或连续的近眼光场帧(以下简称为“光场帧”，以便于引用)，其中每个都包括基本图像122的阵列120。为了便于引用，基本图像122的阵列120在本文中也可以称为光场帧120。在一些实施例中，为显示器110、112中的每一个实现单独的显示面板118，而在其他实施例中，左眼显示器110和右眼显示器112共享单个显示面板118，其中，显示面板118的左半部分用于左眼显示器110，而显示面板118的右半部分用于右眼显示器112。

显示器110、112中的每一个进一步包括一个或多个光学元件124，例如透镜，其被布置为覆盖显示面板118。图1的截面图128描绘了沿着光学元件124的线AA的横截面图，该光学元件124覆盖在显示面板118上，使得光学元件124覆盖在显示面板118的显示表面130上，从而布置在显示表面130和用户的对应的眼睛132之间。在一些实施例中，诸如在图1中所示，光学元件124包括布置在左眼显示器110和右眼显示器112的每一个上的放大透镜。在这种配置中，每个光学元件124将显示表面130的对应的区域聚焦到眼睛的瞳孔134上。

虽然在该示例中被描述为具有布置在显示器110、112上的单个放大透镜，但是光学元件124也可以包括多个透镜。例如，在一些实施例中，光学元件124包括(补充或代替放大透镜)在显示面板118的显示表面130上覆盖的小透镜阵列(未示出)，从而布置在显示表面130和用户的每个对应的眼睛132之间。在这样的配置中，小透镜阵列的每个小透镜将显示表面130的对应的区域聚焦到眼睛的瞳孔134上，其中，每个这样的区域至少部分地与一个或多个相邻区域重叠。因此，在这种计算显示器配置中，当基本图像122的阵列120被显示在显示面板118的显示表面130上并且然后由眼睛132通过小透镜阵列观察时，用户将基本图像122的阵列120感知为场景的单个图像。因此，当针对用户的左眼和右眼并行执行此过程并在其间实现适当的视差时，结果是以相对较宽的FOV和通常由此类计算显示器提供的浅形状因子向用户呈现自动立体三维(3D)像。

每个光学元件124(例如，放大透镜)耦合到致动器126，该致动器126被配置为使光学元件124相对于用户的眼睛132和显示面板118的显示表面130沿着X轴、Y轴和Z轴方向移动。在各种实施例中，致动器126由渲染组件104控制，以改变显示面板118和用户的眼睛132之间的物理距离。例如，致动器126可包括光机械致动器，诸如压电、音圈或电活性聚合物致动器。虽然这里是在光机械致动器的上下文中描述的，但是本领域技术人员将认识到，可以使用能够相对于显示面板118和用户的眼睛132物理地移动光学元件124的任何机械致动器，而不脱离本公开的范围。

同样如图1所示，渲染组件104包括：一组一个或多个处理器，例如所示的中央处理单元(CPU)136和图形处理单元(GPU)138、140；以及，一个或多个存储组件，例如系统存储器142，用于存储由处理器136、138、140访问和执行的软件程序或其他可执行指令，以便操纵处理器136、138、140中的一个或多个来执行本文所述的各种任务。这样的软件程序例如包括：渲染程序144，其包括用于如下所述的光场帧渲染过程的可执行指令；以及眼睛跟踪程序146，其包括用于也如下所述的眼睛跟踪过程的可执行指令。

在操作中，渲染组件104从本地或远程内容源150接收渲染信息148，其中，渲染信息148表示图形数据、视频数据或表示物体或场景的其他数据，该物体或场景是要渲染并且在显示子系统102处显示的像的主题。通过执行渲染程序144，CPU 136通过使用多种公知的VR/AR计算/光场渲染过程中的任何一个，使用渲染信息148将绘图指令发送到GPU 138、140，GPU 138、140继而利用绘图指令并行渲染用于显示在左眼显示器110处的一系列光场帧151和用于显示在右眼显示器112处的一系列光场帧153。作为该渲染过程的一部分，CPU136可以从惯性管理单元(IMU)154接收姿势信息150，由此姿势信息150代表显示子系统102的姿势，CPU 136并且控制一对或多对光场帧151、153的渲染，以从姿势反映物体或场景的视点。

如以下详细描述的，渲染组件104还可以使用来自眼睛跟踪组件106、108中的一个或两个的眼睛姿势信息来移位放大透镜124的位置，从而改变用户的眼睛132对光场帧的感知。为此，眼睛跟踪组件106、108可各自包括：一个或多个红外(IR)光源(在本文中称为“IR照明器”)，以用IR光照射对应的眼睛；一个或多个成像相机，用于捕获从对应的眼睛反射的IR光作为对应的眼睛图像(眼睛图像信息156)；一个或多个反射镜、波导和分束器等，用于将反射的IR光引导到成像相机；以及，一个或多个处理器，用于执行眼睛跟踪程序146，以便从捕获的眼睛图像确定对应的眼睛的当前位置、当前定向或两者(在本文中单独或共同称为“姿势”)。可以采用多种公知的眼睛跟踪装置和技术中的任何一种作为眼睛跟踪组件146、148，以跟踪用户的一只或两只眼睛。

在至少一个实施例中，近眼显示系统100可以将眼睛姿势确定为过去的眼睛姿势、当前的眼睛姿势或预测的(未来的)眼睛姿势或其组合。特别地，对未来的眼睛姿势的预测可以提供改善的性能或响应时间，并且可以实现多种眼睛移动预测算法中的任何算法来预测未来的眼睛姿势。此外，在一些情况下，眼睛跟踪组件106、108可以将场景信息(例如，待渲染的像中的脸部位置或显著性启发法)用作在用于眼睛姿势计算的用户的眼睛的未来注视的预测中的输入。这样，如本文中所使用的，术语“眼睛姿势”可以指先前的、当前的或预测的眼睛姿势或其某种组合。

在常规的基于计算显示器的近眼系统中，有时会遇到聚散-调节冲突，其中，例如，聚焦在虚拟物体上的聚散距离与由于显示面板的近眼接近而导致的调节距离之间存在不匹配。另外，传统的基于计算显示器的近眼系统有时会遇到注视相关像差。结果，经常会影响用户对所显示的像的感知，导致所显示的像的视图失真以及用户的不适/疲劳。

如本文所述，在至少一个实施例中，近眼显示系统100通过相对于用户的眼睛移位放大透镜124以引起调节距离的对应改变(例如，VR中的调节平面中的移位)来减轻聚散-调节冲突的影响。这是通过使用眼睛跟踪组件106、108来跟踪用户的一只或两只眼睛以便确定用于要显示的对应的光场帧的一只或两只眼睛的姿势来实现的。利用所确定的姿势，致动器126随后使放大透镜124相对于眼睛132的位置移位。放大透镜124相对于眼睛132的位置的该移位具有使物体出现聚焦的调节平面移位的效果。渲染组件104然后通过在移位的调节平面与聚散平面之间的匹配重新渲染光场帧内的基本图像122，该聚散平面包含如由眼睛132中的一只或两只的姿势确定的用户的注视聚焦的物体。除了移位调节平面之外，渲染组件104还可以缩放显示面板118上所显示的像的尺寸，以便尝试在虚拟平面中保持所表示的像的一致大小，而不管放大透镜124的Z轴位置如何。以这种方式，可以动态地调整调节平面的位置，以调节用户的眼睛的姿势，并更好地模拟对于聚散和调节的现实观看响应。此外，在至少一个实施例中，近眼显示系统100通过相对于用户的眼睛132移位放大透镜124来减轻注视相关像差的影响。这补偿了例如由以下引起的像差：因为注视在显示屏的不同部分而引起的视觉失真、在将VR/AR HMD在重复使用时放置在用户的脸上的相同位置时的不可再现性以及在不同用户之间的眼睛几何形状(例如，瞳孔之间的距离)的差异等。

图2示出了根据一些实施例的计算显示器的截面图，该计算显示器例如是在使用光电机械致动器以动态校正聚散-调节冲突的近眼显示系统100中使用的那些。如截面图的示意图200所示，用户的眼睛132指向位于虚拟深度d₁处的立体物体平面204中的点202。如先前相对于图1所讨论的，每个放大透镜124将显示表面130的对应的区域聚焦到眼睛132的瞳孔134上。此外，每个放大透镜124均与致动器126耦合，该致动器126被配置为相对于用户的眼睛132和显示面板118沿X-轴、Y轴和Z轴方向移动放大透镜124。计算显示器还包括一个或多个眼睛跟踪组件，例如用于跟踪用户的左眼的眼睛跟踪组件106和用于跟踪用户的右眼的眼睛跟踪组件108中的一个或两个。

渲染虚拟图像以供显示，使得当用户的眼睛132调节并改变光学能力以具有近似所示的调节距离d₂的焦距的焦距时，点202处的物体(和/或与点202处于同一平面的其他物体)似乎处于聚焦中。虚拟图像中与该焦平面(focal plane)(即，虚拟图像平面208)相对应的点看起来是对焦的，而与其他虚拟图像平面相对应的点变得模糊。本领域技术人员将认识到，焦平面也可以被称为“调节平面”，如在本文中可互换使用的。

在现实观看中(与观看虚拟场景相反)，聚散和调节彼此一致：观察较近的物体需要会聚并增加透镜聚焦能力，而观察较远的物体则需要发散并减小聚焦能力。因为眼睛会聚和调节到的距离通常是相同的，所以两个响应耦合，使得聚散的变化产生调节的变化，反之亦然。另外，在现实生活中观看时，视网膜模糊与场景深度的变化一致地变化，其中，所感知的视网膜图像(在眼睛132的视网膜处)对于眼睛所聚焦在的距离处的物体最清晰，并且对于较近或较远物体模糊。当眼睛132环顾真实场景时，神经命令被发送到眼睛132的晶状肌，以改变聚焦能力，并且由此使场景的固定部分的模糊最小化，以提供深度线索。现实场景中的模糊和深度之间的相关性有助于深度感知。

利用计算显示器，当眼睛132环顾模拟的虚拟场景时，源自显示面板118的光的焦距通常不会改变。因此，焦点线索(例如，视网膜图像中的调节和模糊)指定了显示的深度，而不是在模拟的虚拟场景中的物体的深度。但是，聚散刺激取决于用户在模拟的虚拟场景中所看的位置而变化。眼睛聚散变化，以固定在模拟虚拟场景中不同虚拟深度处的不同物体上。因此，当聚散距离d₁(例如，来自立体视图的物体(例如，点202)的虚拟深度)与调节距离d₂不同时，计算显示器会遇到聚散-调节冲突。

例如，如图2所示，由于点202的虚拟深度被定位成比调节平面208更远而导致在聚散距离d₁与调节距离d₂之间存在差异d₃，在调节平面208处，眼睛132感知到被聚焦的物体。类似地，当另一点(未示出)的虚拟深度被定位成比调节平面208更近时，会出现差异，在该调节平面208处，眼睛132感知到被聚焦的物体。那些距离上的差异要求用户解耦聚散和调节，其中，相对于虚拟物体的可变深度的调节距离导致双眼视差。聚散和调节的解耦通常会降低观看者融合双眼刺激的能力，导致用户的不适和疲劳。

可以使用变焦机制动态地校正聚散-调节冲突来减小眼睛的聚散平面和调节平面之间的差异。如截面图的示意图206所示，可以通过致动器126来调整一个或两个放大透镜124的位置，以使调节平面208移位得更接近于立体物体平面204(即，聚散平面)，以减小或消除差异d₃。眼睛跟踪组件106、108跟踪眼睛132的瞳孔134的位置，以便确定一只或两只眼睛132的姿势(例如，眼睛的注视方向)。

如本文所述，动态放大透镜平移和调节平面调整过程利用眼睛跟踪组件(例如，眼睛跟踪组件106、108)来确定对应的眼睛的姿势。该眼睛跟踪组件通常包括一个或多个用于照明眼睛的IR照明器、用于捕获来自眼睛的IR反射的像的成像相机、一个或多个透镜、波导或其他光学元件(用于将从眼睛反射的IR光引导至成像相机)以及一个或多个处理器(执行软件程序来分析捕获的像)。虽然眼睛追踪组件106、108被示出为覆盖显示面板118以便被布置在放大透镜和用户的眼睛132之间(并且因此提供了提供较不太斜或更直接的眼睛的瞳孔和角膜的视点的益处，并且因此促进改善的眼睛跟踪精度)。因此，本领域的技术人员将认识到，可以利用眼睛跟踪组件106、108在图1的近眼显示系统100内的任何定位，而不偏离本公开的范围。

在图2的示例中，眼睛跟踪组件106、108确定用户的眼睛132朝向位于虚拟深度d₁处的立体物体平面204中的点202。为了校正聚散平面204(即，立体物体平面)和调节平面208(即，虚像平面)之间的差异d₃，可以(例如，通过图1的渲染组件104)计算出放大透镜的移位，以使至少一个放大透镜124相对于眼睛132和显示面板118的位置移位。

如截面图的示意图206所示，致动器126已经沿Z轴方向平移了放大透镜124，以定位成更靠近眼睛132并且更远离显示面板118。这使调节平面208移位得远离眼睛132(即，增加调节距离d₂)。相反，致动致动器126以沿Z轴方向平移放大透镜124以被定位成距眼睛132更远并且更靠近显示面板118使调节平面208移位得更靠近眼睛132(即，减小了调节距离d₂)。如截面图的示意图206所示，使调节平面208移位进一步远离眼睛132以匹配聚散平面204的距离允许眼睛132的瞳孔134彼此旋转远离(即，发散)并固定在点202上，以模拟对于聚散和调节的现实生活观看响应。

因此，可以通过使聚散平面204和调节平面208匹配来减小聚散距离d₁和调节距离d₂之间的差异。虽然此处在两个放大透镜同时移位的上下文下进行了描述，但是本领域技术人员将认识到，每个放大透镜124可以相对于彼此独立地被致动，并且为两只眼睛132提供独立的光路。

图3是根据一些实施例的近眼显示系统100的操作方法300，用于使用调整的放大透镜定位来渲染光场帧，以提供动态的聚散-调节差异校正。为了便于理解，下面经常参考图1至图2所示的示例场景来描述方法300。方法300示出了用于渲染和显示左眼显示器110或右眼显示器112之一的光场帧的过程的一次迭代，并且因此，针对显示器110、112中的每一个并行地重复执行所示出的过程，以便在不同的时间点为每只眼睛生成并显示不同的光场帧的流或序列，并且因此为用户提供3D、自动立体VR或AR体验。

对于将要生成和显示的光场帧，方法300在块302开始，由此，渲染组件104将要显示给用户的对应的眼睛的图像内容标识为光场帧。在至少一个实施例中，渲染组件104从各种姿势相关的传感器(例如，陀螺仪、加速度计、磁力计和全球定位系统(GPS)传感器等)接收表示数据的IMU信息152，并且从IMU信息150确定用于将显示器110、112安装在用户的眼睛附近的装置114(例如，HMD)的姿势。根据该姿势，执行渲染程序144的CPU 136可以确定主题场景或物体的对应的当前视点，并且根据该视点以及作为渲染信息148提供的场景或物体的图形和空间描述来确定要为该姿势渲染的像。

在框304，执行眼睛跟踪程序146的CPU 136确定用户的对应的眼睛的姿势。如本文所述，可以使用多种眼睛跟踪技术中的任何一种来确定眼睛的姿势。通常，这样的技术包括捕获从眼睛的瞳孔和角膜反射的IR光的一个或多个图像。眼睛跟踪程序146然后可以操纵CPU136或GPU 138、140分析图像以基于瞳孔反射或角膜反射之一或两者的对应的位置来确定眼睛的姿势。例如，在一些实施例中，执行单眼眼睛跟踪以获得兴趣区域信息并计算用户的眼睛试图在渲染的场景中调节的位置(例如，场景中的哪个(些)物体是眼睛的注视所朝向的)。通过对每只眼睛执行单眼眼睛跟踪，可以测量在两只眼睛之间的相对角位移以确定聚散。因此，基于所确定的聚散(例如，差分眼睛跟踪)来计算调节。在其他实施例中，执行双眼眼睛跟踪以确定与渲染的场景内容无关的调节，并且/或者瞳孔相对于角膜的方向进而可以用于确定眼睛的定向(即，眼睛的注视的方向)。应当注意，虽然在图3中将框304示出为在框302之后，但是可以在框302的过程之前、期间或之后执行框304的过程。

在确定了用户的眼睛的姿势的情况下，在框306，渲染程序144操纵CPU 136基于用户的眼睛的姿势来确定并且致动放大透镜移位。在一些实施例中，确定放大透镜移位包括：确定表示放大透镜在三维(3D)空间中的期望平移的移位向量。如上所述，放大透镜移位表示要施加到放大透镜的位置的移位，以便改变调节平面到眼睛的距离。尤其是，放大透镜移位旨在基于用户的眼睛的姿势来匹配眼睛的聚散平面和调节平面。即，放大透镜移位将用于动态减小眼睛的聚散距离与调节距离之间的差异。

在至少一个实施例中，放大透镜移位的确定是基于对将应用于改变相对于用户的眼睛与显示面板的放大透镜之间的距离的移位向量的计算。为了说明，参考由图2的截面图说明的示例场景，确定用户的眼睛132相对于显示面板118的姿势，以识别虚拟图像中的用户注视指向的点202。对于该示例，识别在聚散距离d₁与调节距离d₂之间的差异d₃。因此，计算移位向量并将其传送到致动器126，以沿Z轴方向平移放大透镜124，以匹配从眼睛132到虚拟图像内的聚散平面204和调节平面208的距离。致动放大透镜124使其距眼睛132更远(例如，更靠近显示面板118)使调节平面208移位得更靠近眼睛132，反之亦然。

返回参考图3，在确定放大透镜移位的情况下，可以如下所述适当地确定基本图像的缩放比例。然后，在框308，渲染程序144操纵CPU 136以指示GPU 138、140中的对应的一个使用在框302处标识的图像内容来渲染具有阵列120的光场帧，从而该光场帧包括基本图像的阵列。在一些实施例中，作为该过程的一部分，CPU 136基于框306的所确定的放大透镜移位来计算相对放大率变化。特别地，放大率依赖于眼睛调节状态，并且改变眼睛调节距离可能需要所显示的图像的缩放以保持框302的图像内容的相同视图。例如，在图2的上下文中，示意图206的增加的调节距离需要放大在显示面板118上渲染的图像，以维持与图2的示意图200中的眼睛所经历的虚拟图像相同的视图。因此，CPU 136将放大透镜移位信息和要应用于基本图像的尺寸的任何缩放的指示提供给GPU，并指示GPU渲染光场帧，使得基本图像利用匹配的聚散和调节平面来渲染，并且根据提供的缩放信息(如果有)来缩放。GPU随后利用对框306和308的调节平面和/或相对放大率变化的调整在框310处渲染光场帧并且将该光场帧提供给计算显示器110、112中的对应的显示器以供显示给用户的眼睛132。

AR/VR像的显示有时会与注视相关像差(例如，当眼睛对显示像的感知随眼睛移动而变形时的瞳孔游动)相关联。通常，当眼睛从其中心轴旋转开时，尤其是在VR中朝着透镜的边缘旋转时，会发生扭曲(作为运动等)，因为边缘处的扭曲场与中心处的扭曲场不同。图4示出了根据一些实施例的计算显示器(诸如在使用光机械致动器来动态校正注视相关像差的近眼显示系统100中使用的计算显示器)的截面图。类似于以上相对于图2至图3讨论的示例实施例，用户的眼睛132指向立体物体平面404中位于虚拟深度d₁处的点402。每个放大透镜124将显示表面130的对应的区域聚焦到眼睛132的瞳孔134上。此外，放大透镜124每个都耦合到致动器126，该致动器126被配置为沿着X轴、Y轴和Z轴方向相对于用户的眼睛132和显示面板118移动放大透镜124。计算显示器还包括一个或多个眼睛跟踪组件，例如用于跟踪用户的左眼的眼睛跟踪组件106和用于跟踪用户的右眼的眼睛跟踪组件108中的一个或两个。

渲染虚拟图像以供显示，以使得当用户的眼睛132调节和改变光学能力以具有近似于所示的调节距离d₂的焦距的焦距时，虚拟图像中的点402处的物体(和/或与点402在同一虚拟图像平面408上的其他物体)显得被聚焦。虚拟图像中与该焦平面(即，虚拟图像平面408)相对应的点看起来处于聚焦，而与其他虚拟图像平面相对应的点变得模糊。本领域技术人员将认识到，焦平面也可以被称为“调节平面”，如在本文中可互换使用的。

如图4中所示，由于点402的虚拟深度被定位成比调节平面408更远，因此在聚散距离与调节距离之间存在差异，在调节平面408处，眼睛132感知到物体被聚焦。类似地，当另一点(未示出)的虚拟深度被定位成比调节平面408更近时，会出现差异，在调节平面408处，眼睛132感知到物体被聚焦。如上文更详细描述的，可以使用变焦机制动态校正眼睛的聚散-调节冲突来减小眼睛的聚散平面和调节平面之间的差异。如截面图的图406所示，可以通过致动器126来调整一个或两个放大透镜124的位置，以使用跟踪眼睛132的瞳孔134的位置的眼睛跟踪组件106、108基于眼睛132中的一只或两只的姿势(例如，眼睛的注视方向)来将调节平面408移位到更靠近立体物体平面404(即，聚散平面)。

如本文所述，动态放大透镜平移、调节平面调整和注视相关像差校正过程利用眼睛跟踪组件(例如，眼睛跟踪组件106、108)来确定对应的眼睛的姿势。该眼睛跟踪组件通常包括一个或多个用于照明眼睛的IR照明器、用于捕获来自眼睛的IR反射的像的成像相机、一个或多个透镜、波导或其他光学元件(用于将从眼睛反射的IR光引导至成像相机)以及一个或多个处理器(执行软件程序来分析捕获的像)。虽然眼睛追踪组件106、108被示出为覆盖显示面板118以便被布置在放大透镜和用户的眼睛132之间，但是本领域技术人员将认识到，可以利用眼睛追踪组件106、108在图1的近眼显示系统100中的任何定位而不脱离本公开的范围。

图4的计算显示器移位放大透镜124以解决注视相关像差，例如瞳孔游动或不同用户之间的眼睛几何形状的变化。如截面图的示意图406中所示，致动器126已经沿Z轴方向平移了放大透镜124，以定位成更靠近眼睛132并且更远离显示面板118。这使调节平面408移位得进一步远离眼睛132，以匹配聚散平面404的距离，从而针对聚散和调节模拟现实生活观看响应。此外，致动器126已经沿着X轴和Y轴方向中的至少一个平移了放大透镜124，以校正注视相关像差。例如，如截面图的示意图406所示，致动器126已经沿X轴(和/或Y轴)方向将放大透镜124(除了Z轴平移之外)进一步平移以校正注视相关像差，例如由于点402的偏心轴位置(相对于图2的点202上的显示眼睛焦点的中心)而导致的失真场变化。此外，致动器126可平移放大透镜124以解决各种用户之间的差异眼睛几何形状(例如，瞳孔间距离等)。此外，在一些实施例中，致动器126可以平移放大透镜124以解决在不同观看会话期间用户头上的近眼显示系统100相对于眼睛132的定位和/或近眼显示系统100在各种用户的头上的定位之间的差异几何形状。因此，可以基于用户的眼睛相对于显示屏的姿势来动态地校正注视相关像差。虽然这里是在两个放大透镜同时移位的上下文中进行描述的，但是本领域技术人员将认识到，每个放大透镜124可以相对于彼此独立地被致动并且为两只眼睛132提供独立的光路。而且，虽然这里是在放大透镜的移位以校正聚散-调节差异和注视相关像差的上下文中进行描述的，但是本领域技术人员将认识到，可以独立于聚散-调节冲突校正(例如，如本文所述的Z轴移位)应用注视相关像差校正(例如，如本文所述的X和/或Y轴移位)。

图5是根据一些实施例的近眼显示系统100的操作方法500，用于使用调整的放大透镜定位来渲染光场帧，以提供动态注视相关像差校正。为了便于理解，下面经常参考图1至图4所示的示例场景来描述方法500。方法500示出了用于渲染和显示用于左眼显示器110或右眼显示器112之一的光场帧的过程的一次迭代，并且因此，针对显示器110、112中的每一个并行地重复执行所示出的过程，以便在不同的时间点为每只眼睛生成并显示不同的光场帧的流或序列，并且因此为用户提供3D、自动立体VR或AR体验。

对于将要生成和显示的光场帧，方法500在块502开始，由此，渲染组件104将要显示给用户的对应的眼睛的图像内容识别为光场帧。在至少一个实施例中，渲染组件104从各种姿势相关的传感器(例如，陀螺仪、加速度计、磁力计和全球定位系统(GPS)传感器等)接收表示数据的IMU信息152，并且从IMU信息150确定用于将显示器110、112安装在用户的眼睛附近的装置114(例如，HMD)的姿势。根据该姿势，执行渲染程序144的CPU 136可以确定主题场景或物体的对应的当前视点，并且根据该视点以及作为渲染信息148提供的场景或物体的图形和空间描述来确定要为该姿势渲染的像。

在框504，执行眼睛跟踪程序146的CPU 136确定用户的对应的眼睛的姿势。如本文所述，可以使用多种眼睛跟踪技术中的任何一种来确定眼睛的姿势。通常，这样的技术包括捕获从眼睛的瞳孔和角膜反射的IR光的一个或多个图像。眼睛跟踪程序146然后可以操纵CPU136或GPU 138、140分析图像以基于瞳孔反射或角膜反射之一或两者的对应的位置来确定眼睛的姿势。例如，在一些实施例中，执行单眼眼睛跟踪以获得兴趣区域信息并计算用户的眼睛试图在渲染的场景中调节的位置(例如，场景中的哪个(些)物体是眼睛的注视所朝向的)。通过对每只眼睛执行单眼眼睛跟踪，可以测量在两只眼睛之间的相对角位移以确定聚散。因此，基于所确定的聚散(例如，差分眼睛跟踪)来计算调节。在其他实施例中，执行双眼眼睛跟踪以确定与渲染的场景内容无关的调节，并且/或者瞳孔相对于角膜的方向进而可以用于确定眼睛的定向(即，眼睛的注视的方向)。应当注意，虽然在图5中将框504示出为在框502之后，可以在框502的过程之前、期间或之后执行框504的过程。

在确定了用户的眼睛的姿势的情况下，在框506，渲染程序144操纵CPU 136基于用户的眼睛的姿势确定并且致动放大透镜移位。在一些实施例中，确定放大透镜移位包括：确定表示放大透镜在三维(3D)空间中的期望平移的移位向量。如上所述，放大透镜移位表示要施加到放大透镜的位置的移位，以便动态校正注视相关像差和/或校正用户的眼睛相对于显示屏的不同定位。

在至少一个实施例中，对放大透镜移位的确定是基于对应用于在用户的眼睛四处移动以观看虚像的不同部分时对放大透镜进行移位的移位向量的计算。为了说明，参考由图4的截面图说明的示例场景，确定用户的眼睛132相对于显示面板118的姿势以识别虚拟图像中的用户注视指向的点402。致动器126已经沿X轴和Y轴方向中的至少一个平移了放大透镜124，以校正注视相关像差，例如由于点402的偏心轴位置引起的失真场的变化(相对于在图2的点202上的显示视线焦点的中心)。

在其他实施例中，放大透镜移位的确定是基于要应用于对放大透镜进行移位以解决各种用户之间的眼睛几何形状差异(例如，瞳孔间距离等)的移位向量的计算。例如，致动器126可以平移放大透镜124以被定位成彼此更靠近(或更远离)，以解决一个用户与另一个用户相比具有更窄(或更宽)的IPD的情况。类似地，在其他实施例中，致动器126可以平移放大透镜124以解决在不同观看会话期间用户头上的近眼显示系统100相对于眼睛132的定位和/或近眼显示系统100在各种用户的头上的定位之间的几何形状差异。例如，对于每个单独的用户来说，在多个观看会话中将近眼显示系统100可再现地定位在他/她的脸上的相同位置上(例如，开启和关闭HMD)通常是困难的。

在其他实施例中，放大透镜移位的确定可以进一步包括：计算用于改变相对于用户的眼睛与显示面板的放大透镜之间的距离的移位向量。例如，如截面图的示意图406所示，除了用于注视相关像差校正的X轴和/或Y轴之外，致动器126还已经沿Z轴方向平移了放大透镜124以进行聚散-调节冲突校正。

因此，在框506处，计算移位向量并将其传送到致动器126，以沿X、Y和Z轴方向中的至少一个平移放大透镜124，以执行注视相关像差校正。在适当的情况下，在确定了放大透镜移位并确定了基本图像的缩放的情况下，渲染程序144操纵CPU 136，以指示GPU 138、140中的对应一个使用在框502识别的图像内容来渲染具有阵列120的光场帧，由此光场帧包括基本图像的阵列。

在一些实施例中，作为该过程的一部分，CPU 136基于框506所确定的放大透镜移位来计算相对放大率变化。特别地，放大率依赖于眼睛调节状态并且改变眼睛调节距离可能需要如果已经改变了调节平面，则对显示的图像进行缩放以维持框502的图像内容的相同视图。例如，在图2的上下文中，示意图206的增加的调节距离需要放大在显示面板118上渲染的图像，以保持与图2的示意图200中的眼睛所经历的虚拟图像相同的视图。

CPU 136将放大透镜移位信息和要应用于基本图像的尺寸的任何缩放的指示提供给GPU，并指示GPU渲染光场帧，使得基本图像被渲染以解决注视相关像差。此外，在一些实施例中，指示GPU渲染光场帧，使得渲染基本图像以匹配聚散和调节平面，并且根据所提供的缩放信息(如果有的话)被缩放。GPU随后在框510处渲染光场帧，并将光场帧提供给计算显示器110、112中的对应一个，以显示给用户的眼睛132。

图1至图5所示的眼睛跟踪和光学组件配置的优点在于提供了对聚散-调节差异和注视相关像差的动态校正，同时保留了大视场、高空间分辨率和高帧率。也就是说，本文描述的实施例允许在不牺牲所使用的光学组件的聚焦能力的情况下进行聚散-调节差异和注视相关像差校正，其否则会导致近眼显示系统的FOV和/或显示帧率的对应降低。例如，本文描述的实施例不需要对由近眼显示系统生成的信号进行任何时间复用，降低显示面板的固有显示帧率，或放置任何中间光学器件，这些光学器件会降低从显示面板到用户的眼睛的光通量。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括在非暂时性计算机可读存储介质上存储或否则有形地体现的一组或多组可执行指令。该软件可以包括指令和某些数据，这些指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非易失性计算机可读存储介质可以包括例如磁盘或光盘存储设备、诸如闪存的固态存储设备、高速缓存、随机存取存储器(RAM)或其他一个或多个非易失性存储设备等等。存储在非暂时性计算机可读存储介质上的可执行指令可以是以源代码、汇编语言代码、目标代码或由一个或多个处理器解释或否则可执行的其他指令格式。

计算机可读存储介质可以包括在使用期间由计算机系统可访问的任何存储介质或存储介质的组合，用于向计算机系统提供指令和/或数据。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字多功能盘(DVD)、蓝光光盘)、磁性介质(例如，软盘、磁带或磁硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁硬盘驱动器)，可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存，或通过有线或无线网络(例如，网络可访问存储器(NAS))耦合到计算机系统。

注意，并非一般描述中上述的所有活动或元素都是必需的，特定活动或设备的一部分可能不是必需的，并且除了上述那些之外，还可以执行一个或多个其他活动或包括元素。更进一步，列出活动的顺序不一定是执行它们的顺序。而且，已经参考特定实施例描述了概念。然而，本领域的普通技术人员将理解，可以进行各种修改和改变而不脱离如所附权利要求书中阐述的本公开的范围。因此，说明书和附图应被认为是说明性的而不是限制性的，并且所有这样的修改旨在被包括在本公开的范围内。

上面已经关于特定实施例描述了益处、其他优点和对于问题的解决方案。但是，益处、优点、对于问题的解决方案以及可能导致任何益处、优点或对于问题的解决方案出现或变得更加明显的任何特征都不应解释为任何或全部权利要求的关键、必需或必要特征。此外，上面公开的特定实施例仅是说明性的，因为可以以受益于本文的教导的本领域技术人员显而易见的不同但等效的方式来修改和实践所公开的主题。除了在下面的权利要求书中描述的以外，没有意图限于本文所示的构造或设计的细节。因此，显而易见的是，以上公开的特定实施例可以被改变或修改，并且所有这样的变化都被认为在所公开的主题的范围内。因此，本文所寻求的保护如以下权利要求书所述。

Claims (17)

1.一种在近眼显示系统(100)中的方法，所述方法包括：

使用所述近眼显示系统的眼睛跟踪组件(106)确定用户的眼睛(132)的姿势；

基于所述用户的眼睛的所述姿势确定用于所述近眼显示系统的放大透镜(124)的移位向量；

将所述移位向量传送到所述近眼显示系统的致动器(126)，以指令所述放大透镜相对于所述用户的眼睛的平移；

在近眼光场帧内的位置处渲染基本图像(122)的阵列(120)；以及

传送所述近眼光场帧以供在所述近眼显示系统的显示面板(118)处显示。

2.根据权利要求1所述的方法，其中，确定所述移位向量包括：

确定到所述用户的眼睛的所述姿势所聚焦的点(202)的聚散距离和调节距离；以及

确定用于表示所述放大透镜在三维(3D)空间中的位置的移位的所述移位向量，以减小在所述聚散距离和所述调节距离之间的差异。

3.根据权利要求2所述的方法，其中，确定所述移位向量还包括：

将所述移位向量确定为表示所述放大透镜在3D空间中的位置的移位，以消除在所述聚散距离和所述调节距离之间的差异。

4.根据权利要求1所述的方法，其中，确定所述移位向量包括：

基于所述用户的眼睛的所述姿势，确定所述近眼光场帧内的聚散平面(204、404)和调节平面(208、408)；以及

将所述移位向量确定为表示所述放大透镜在3D空间中的位置的移位，以在所述近眼光场帧内将所述调节平面朝向所述聚散平面会聚。

5.根据前述权利要求中的任一项所述的方法，其中，确定所述用户的眼睛的所述姿势包括：使用布置在所述显示面板和所述用户的眼睛之间的成像相机来捕获所述用户的眼睛的像。

6.根据权利要求1所述的方法，其中，确定所述移位向量包括：

基于所述用户的眼睛的所述姿势确定要感知的观看失真；以及

将所述移位向量确定为表示所述放大透镜在三维(3D)空间中的位置的移位，以校正所述观看失真。

7.根据权利要求6所述的方法，其中，确定所述移位向量进一步包括：

当所述用户的眼睛的所述姿势相对于所述显示面板被重新定向时，识别由于失真场的变化导致的注视相关像差。

8.一种在近眼显示系统(100)中的方法，包括：

使用所述近眼显示系统的眼睛跟踪组件(106)确定第一只眼睛(132)相对于所述近眼显示系统的显示面板(118)的姿势；

基于所述第一只眼睛的所述姿势渲染第一近眼光场帧(120)；

基于所述第一只眼睛的所述姿势确定用于所述近眼显示系统的放大透镜(124)的移位向量；

使用所述近眼显示系统的致动器(126)基于所述移位向量来致动所述放大透镜；以及

基于所述移位向量渲染并且显示第二近眼光场帧。

9.根据权利要求8所述的方法，其中，确定所述移位向量包括：

基于所述第一只眼睛的所述姿势，确定所述第一近眼光场帧内的聚散平面(204、404)和调节平面(208、408)；以及

将所述移位向量确定为表示所述放大透镜在3D空间中的位置的移位，以在所述第二近眼光场帧内将所述调节平面朝向所述聚散平面会聚。

10.根据权利要求9所述的方法，进一步包括：

基于所述移位向量确定缩放因子；以及

基于所述缩放因子缩放所述第二近眼光场帧在所述显示面板上的显示尺寸，以保持所述第二近眼光场帧相对于所述第一近眼光场帧的相同感知视图。

11.根据权利要求8所述的方法，其中，确定所述移位向量包括：

检测所述第一只眼睛沿垂直于所述显示面板的轴的位置的变化；

基于所述第一只眼睛的位置的变化来确定要感知的观看失真；以及

将所述移位向量确定为表示所述放大透镜在三维(3D)空间中的位置的移位，以校正所述观看失真。

12.根据权利要求11所述的方法，其中，确定所述移位向量进一步包括：

识别由于由用户的所述第一只眼睛的位置的变化引起的失真场的变化导致的注视相关像差。

13.根据权利要求8至12中的任一项所述的方法，进一步包括：

确定第二只眼睛相对于所述显示面板的姿势；

基于所述第二只眼睛的所述姿势确定所述放大透镜的第二移位向量；

基于所述第二移位向量致动所述放大透镜；以及

基于所述第二移位向量在所述显示面板上渲染并且显示第三近眼光场帧，以保持通过所述第二只眼睛的所述第三近眼光场帧相对于通过所述第一只眼睛的所述第二近眼光场帧的相同感知视图。

14.一种近眼显示系统(100)，包括显示面板(118)、眼睛跟踪组件(106)、放大透镜(124)和致动器(126)，其中，所述近眼显示系统被配置为执行任何前述权利要求所述的方法。

15.一种渲染系统(104)，包括：

至少一个处理器(136、138、140)；

用于从眼睛跟踪组件(106)接收数据的输入，所述数据指示用户的眼睛(132)相对于近眼显示面板(118)的姿势，其中，所述输入进一步用于接收指示放大透镜的移位位置的数据；以及

存储组件(142)，用于存储一组可执行指令(144、146)，该组可执行指令被配置为操纵所述至少一个处理器基于所述用户的眼睛的所述姿势和所述放大透镜的所述移位位置来渲染包括基本图像(122)的阵列(120)的近眼光场帧，所述基本图像(122)的阵列(120)具有在所述近眼光场帧内的位置。

16.根据权利要求16所述的渲染系统，其中，该组可执行指令被配置为操纵所述至少一个处理器通过以下来渲染所述近眼光场帧：

基于所述用户的眼睛的所述姿势，确定在所述近眼光场帧内的聚散平面(204、404)和调节平面(208、408)；以及

基于所述放大透镜的移位位置渲染所述近眼光场帧，以在所述近眼光场帧内将所述调节平面朝向所述聚散平面会聚。

17.根据权利要求15所述的渲染系统，其中，该可执行指令被配置为操纵所述至少一个处理器通过以下来渲染所述近眼光场帧：

基于所述用户的眼睛的所述姿势确定要感知的观看失真；以及

基于所述放大透镜的所述移位位置渲染所述近眼光场帧，以校正所述观看失真。