CN111757089A - 利用眼睛的瞳孔增强调节来渲染图像的方法和系统 - Google Patents

Abstract

本公开内容涉及一种用于显示具有特定景深的图像的方法。该方法包括以下步骤：获得和与注视显示器的用户相适应的焦距相关的信息数据；确定所述用户的瞳孔大小；基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深；以及基于所述景深来渲染要在所述显示器上显示的图像。进一步地，本公开内容涉及一种系统、一种头戴式显示器、以及一种非临时性计算机可读介质。

Description

利用眼睛的瞳孔增强调节来渲染图像的方法和系统

技术领域

本公开内容涉及一种用于显示具有特定景深的图像的方法。进一步地，本公开内容涉及一种系统、一种头戴式显示器、以及一种非临时性计算机可读介质。

背景技术

众所周知，在显示单元中被渲染为虚拟现实VR图像和增强现实AR图像的对象在距离用户的特定深度上被投影。这种特定的和被定义的深度通过迫使用户的大脑在降低准确性的同时不自然地适应冲突提示而以会聚-调节冲突形式与用户产生冲突。视网膜模糊(其是人类视觉系统的视觉提示)驱使对调节的动眼响应或者对眼睛晶状体的调整，以便聚焦在期望深度上从而使模糊减至最小。此外，视网膜视差是驱使会聚的视觉提示，该会聚是两只眼睛在相反方向上同时移动以获得或维持双眼单视觉。

会聚与调节之间的视差结果之一是用户可能经历视觉疲劳(尤其是在长期使用显示单元期间)。在某些领域(诸如3D电视或电影观看)中，内容和显示单元需要满足某些约束条件。这些约束条件之一可以是例如必须落在聚焦提示的1°安全区内的视网膜视差。然而，这种约束条件要求在观看之前能够为每一帧调整立体参数。

在VR应用和AR应用的背景中(其中，内容是动态且交互式的并且附近的对象必须在不同的近点任务中示出)，这种类型的安全区约束条件是不够的并且因此被违反。

除了安全问题，用户还需要获得更自然的体验，例如，当使用VR应用和AR应用时图像或场景具有与双眼的期望内容一致的视野时。

换言之，需要一种能够解决上述问题的方法和系统。

发明内容

相应地，提供了一种表现与现实世界更一致的系统。这是通过将影响眼睛调节的因素(诸如控制会聚点的晶状体形状以及控制景深的瞳孔大小)考虑在内的解决方案来实现的。

因此，根据该解决方案，捕捉双眼会聚点和用户的瞳孔直径两者。通过使用捕捉到的双眼会聚点和用户的瞳孔直径两者，可以在正确距离处在显示单元上渲染全息图。全息图中的对象将显现为具有正确的景深，即所渲染的全息图的景深将与现实世界完全对应。

因此，本公开内容涉及一种用于显示具有特定景深的图像的方法。该方法包括以下步骤：获得和与注视显示器的用户相适应的焦距相关的信息数据；确定所述用户的瞳孔大小；基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深；以及基于所述景深来渲染要在该显示器上显示的图像。优点在于：考虑到用户的瞳孔大小以基于所述景深来渲染图像，实现了用户的更自然的体验。

本公开内容还涉及一种用于显示具有特定景深的图像的系统。该系统包括显示器和至少一个处理器。该至少一个处理器被配置用于：获得和与注视该显示器的用户相适应的焦距相关的信息数据；确定所述用户的瞳孔大小；基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深；以及基于所述景深来渲染要在所述显示器上显示的图像。进一步地，该显示器被配置用于将所述渲染的图像显示给所述用户。优点在于：考虑到用户的瞳孔大小以基于所述景深来渲染图像，实现了用户的更自然的体验。

在一个示例中，该系统进一步包括眼睛跟踪设备，该眼睛跟踪设备被配置用于确定与焦距相关的信息数据并将该信息发送到该处理器。

该显示器可以包括光学微型元件的阵列。这些光学微型元件可以是有源的或无源的。该光学微型元件阵列可以选自微型透镜阵列、微型孔阵列、液晶阵列(诸如LCD或LCoS)、光栅阵列和相位掩模阵列。数字显示元件可以选自数字显示屏，诸如LED显示屏、OLED显示屏、LCoS显示屏、LCD显示屏和SLM显示屏。

另外，提供了一种头戴式显示器。所述头戴式显示器包括适于由用户穿戴的机架、显示器、以及至少一个处理器。该至少一个处理器被配置用于：获得和与注视该显示器的用户相适应的焦距相关的信息数据；确定所述用户的瞳孔大小；基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深；以及基于所述景深来渲染要在所述显示器上显示的图像。进一步地，该显示器被配置用于将所述渲染的图像显示给所述用户。优点在于：考虑到用户的瞳孔大小以基于所述景深来渲染图像，实现了用户的更自然的体验。

在一个示例中，该头戴式显示器进一步包括眼睛跟踪设备，该眼睛跟踪设备被配置用于确定与焦距相关的信息数据并将该信息发送到该处理器。

在又一示例中，该头戴式显示器适于虚拟现实体验、增强现实体验、混合现实体验、或其他广泛的现实体验。

此外，提供了一种非临时性计算机可读介质，该非临时性计算机可读介质上存储有指令，这些指令可由计算机执行以使该计算机执行以下步骤：获得和与注视显示器的用户相适应的焦距相关的信息数据；确定所述用户的瞳孔大小；基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深；以及基于所述景深来渲染要在所述显示器上显示的图像。

进一步地，上述方法中确定瞳孔大小的步骤可以通过以下步骤来执行：使用来自被配置用于对瞳孔大小进行测量的成像设备的图像数据获得并选择该用户的瞳孔大小的测量值。该成像设备可以是眼睛跟踪设备的一部分。然而，如果这种成像设备不可用，则可以通过考虑显示器的亮度来估算瞳孔大小。由于显示器的光会影响瞳孔大小，因此可以基于显示器的亮度来计算瞳孔大小。

进一步地，与该焦距相关的信息数据可以包括该用户的左右眼的注视向量会聚在的距离的测量值。在这种情况下，所测量的焦距是会聚距离，即，来自用户的注视向量会聚在会聚点的位置处。

与该焦距相关的信息数据还可以基于该用户的朝向在该显示器或显示单元上渲染的对象的注视点。

此外，上述方法可以进一步包括估算用户双眼的调节幅度的步骤，这根据年龄、总体亮度、视力矫正等而发生变化。然后使用此估算来估算要渲染的图像的景深。优点在于：可以根据用户双眼的调节幅度来估算所述用户的双眼的景深，从而实现更自然的体验。

如所解释的，该方法可以获得用于确定会聚点的眼睛取向测量值，并且还可以确定瞳孔直径。这些参数可以用于产生和估算现实世界中眼睛的景深。如果用户校准的眼睛模型被用作该方法中的额外步骤，则所渲染的图像将具有更真实的与用户的视觉相适应的FOV。

此外，估算所述景深DOF的步骤可以包括应用用户校准的眼睛模型，诸如PCCR瞳孔中心角膜反射模型。

附图说明

在下文中，将参考附图中的示例性方法和系统来更详细地描述本公开内容，在附图中：

图1示出了眼睛调节的一般表示。

图2示出了由于会聚距离和瞳孔大小而导致的不同景深的示例。

图3展示了根据本公开内容的示例性实施例的方法的流程图。

图4展示了根据本公开内容的另一示例性实施例的方法的流程图。

图5展示了根据本公开内容的任一示例性实施例的系统。

具体实施方式

现在将参考附图在下文中更全面地描述用于显示具有特定景深的图像的装置、方法和系统，在附图中示出了各种示例。出于清楚起见，这些附图是示意性并且简化的，并且这些附图仅示出了为理解本发明所必需的细节，同时省去了其他细节。所附专利权利要求书可以以未在附图中示出的不同形式来体现，并且不应被解释为局限于本文阐述的示例。相反，提供这些示例使得本公开内容将是详尽且完整的，并且将向本领域技术人员充分地传达所附专利权利要求书的范围。

在图1中，示出了对同一只眼睛的调节的一般表示。如所见的，眼睛通过调节过程聚焦于图像，其中睫状肌可以改变晶状体101的弯曲度。仍然迫使双眼将晶状体101聚焦和调节到应该与用户的会聚点对应的距离(焦距)处。这类似于针孔相机，该针孔相机是具有极小光圈的相机，其中景深非常大，并且靠近相机和远离相机的对象在图像平面上被清晰地渲染。另一方面，具有大光圈的相机具有更窄更浅的景深，并且附近的对象被清晰地渲染，同时较远的对象被模糊地渲染且表现出散焦。

对于人眼来说，瞳孔直径对应于相机系统中的光圈。在光线充足的环境中，瞳孔直径可以是2mm，这给出约0.6屈光度的景深，并且在黑暗的环境中，瞳孔可以是8mm，这给出约0.2屈光度的景深。当渲染例如需要以令人信服的方式融入环境中的全息图时，通常使用此信息。

在图1a中，示出了远焦。眼睛正看向远距离处，此时来自遥远对象的光线穿过角膜并且以较小的角度发散，即更接近于平行，因此几乎不需要调节。然后，放松睫状肌，并且晶状体101具有最长的焦距。

相反的，在图1b中，眼睛正看向较近的对象，并且来自这个附近对象的光线具有较大的角度，因此需要更多的折射。晶状体的焦距需要减小以在视网膜上产生图像，因此睫状肌收缩，从而使得晶状体弯曲并突出。换言之，人眼的晶状体在对某一焦距作出适应时通常会改变其折射率，即晶状体的弯曲度。这允许人在不同的距离处清楚且清晰地看到对象。

如图2中所见，渲染了三个图像。对于所有三个图像，焦点FP是对象被投影到的位置。以上图像示出了黑暗的场景(诸如在光线不足的条件下渲染的场景)，其中用户看到展示了在夜间在特定距离处的一只猫的图像。这种场景可以是如在计算机游戏中的或在HMD中针对虚拟现实或增强现实而创建的虚拟3D场景。该场景包含随着时间推移在场景中移动的3D对象。实际上，一些对象可以移动离开场景，而其他对象可以移动进入到场景中。当在监视器、显示器或计算机屏幕上观看这些3D场景时，显示器或屏幕通过显示器上的用于查看信息的被框区域(即，视口)呈现2D图像，该2D图像表示从空间中的特定位置来看在3D场景上的视图。视口界定了由位于关于3D场景的想象位置处的相机或眼睛将看到的图像。相机位置和视口的组合设定了视野FOV。另一方面，当通过HMD观看3D场景时，以略微不同的视口将用户的每只眼睛呈现在场景上，然后用户的大脑从中感觉到单个3D图像。

如先前所解释的，眼睛通过扩大瞳孔来适应黑暗。然而，由于黑暗，景深DOF非常窄并且只有猫的一部分被感觉为清晰的。中间图像示出了明亮的场景，其中用户的瞳孔因此较小以适应所接收的光量。在这种情况下，景深DOF较大并且大部分景观被正确地感觉到。然而，由于在VR或AR中渲染的对象(即，猫)是以距离用户的特定深度进行投影的，因此焦点FP不一定与会聚点(即，双眼会聚且因此对象被感知为清晰的点)重合。这导致景深DOF中的对象不是完全清晰的。因此，当用户在观察在VR或AR中(例如，在全息图中)投影的对象时，需要为该用户感觉的图像带来更高的清晰度。这通过根据本公开内容的方法来实现，并且图2的最后一张图像中示出了这种效果。场景是明亮的，并且因此景深DOF与中间图像的景深相同。与先前图像的区别在于：景深DOF中的所有对象是根据注视显示器的用户的瞳孔大小来正确渲染的。

图3中示出了根据本公开内容的示例性实施例的用于显示具有特定景深的图像的方法。该方法包括一系列步骤。在步骤S1中，由一类设备(诸如眼睛跟踪设备或类似设备)来获得信息数据，该设备能够测量和与注视显示器的用户相适应的焦距或会聚距离相关的信息。显示器可以是单焦的，即具有单个透镜，或者显示器可以是变焦的，即具有可调的光学透镜，这些光学透镜能够改变整个视图的焦深。理想地，用于该方法的显示器是单焦或变焦的并且在景深方面为用户提供针对HMD图像、全息图、VR体验的更自然的体验。

与焦距相关的信息数据可以包括该用户的左右眼的注视向量会聚在的距离1A的测量值。所测量的距离是用户注视在显示器上渲染的对象时的位置与来自左右眼两者的注视向量的会聚点之间的距离，即会聚距离。在此会聚点处，用户获得单个双眼视域，因此该对象被聚焦并且是清晰的。可替代地，与焦距相关的信息数据可以基于朝向在显示器上渲染的对象的所述用户的注视点1B。

与该焦距相关的信息数据还可以基于朝向在该显示器或显示单元上渲染的对象的用户的注视点。

跟踪设备等将该信息数据发送到至少一个处理器，该至少一个处理器获得与焦距相关的信息数据并将该信息数据存储在存储设备中。在步骤S1中，假设会聚距离等于焦距。如果情况不是这样，则该差异将被用户感觉为具有不正确景深的(即散焦的)图像。

因此，为了估算所述用户的双眼的正确景深，在步骤S2中确定用户的瞳孔大小。本公开内容的方法或者通过确定显示器的亮度2A或者通过获得和选择用户的瞳孔大小的测量值2B(这些测量值表示从例如眼睛跟踪设备或类似设备获取的图像数据)来确定瞳孔大小。

在步骤S3中，基于所获得的焦距和所确定的瞳孔大小来估算用户的双眼的景深。然后，在步骤S4中基于所述估算的景深在显示器上渲染图像。

图4中示出了使用根据本公开内容的方法的附加实施例。在此图中，将另一步骤添加至图3中提到的方法中。在这种情况下，在步骤S3中，为了估算与用户相适应的景深，还考虑与调节幅度相关的信息。调节幅度是在调节眼睛的聚焦点时眼睛所能达到的最大潜在的光功率增加。它是指一定范围的对象距离，在该对象距离范围内视网膜图像会尽可能地被清晰聚焦。由于不同的因素，特别是年龄、心智状态(受药物、疲劳等影响)、环境光强度/颜色、总体光强度/颜色、以及使眼睛中晶状体的柔性下降的其他因素，每个用户的调节幅度也不同。可以基于年龄和/或通过用户校准的眼睛模型来估算调节幅度。

创建基于瞳孔中心角膜反射PCCR的用户校准的眼睛模型的方式是在不同的深度/距离处且以不同的瞳孔大小/照明水平执行用户个体的校准。在不同的光照条件下，向用户单独地展示不同深度的全息图，并且要求该用户提供反馈(所渲染的全息图是否融入环境中)。然后将结果收集到揭示了用户的调节幅度的用户校准的眼睛模型中。因此，在步骤S4中基于调节幅度S3、与焦距S1相关的信息数据以及用户的瞳孔大小S2来估算景深。在步骤S5中，在显示器上渲染与用户相适应的图像。

在图5中，示出了根据任一示例性实施例的用于显示具有特定景深的图像的系统500。系统500包括：至少一个处理器(诸如中央处理单元CPU 502和图形处理单元GPU 503)，该至少一个处理器被配置用于执行图3和图4中示出的所有方法步骤；以及用于将所渲染的图像显示给用户的显示器506。该至少一个处理器可以与存储器单元或存储设备505一起作为计算机设备504的一部分。通过示例的方式，存储设备505可以是磁盘驱动器、光学存储设备、固态设备(诸如可编程、可闪存更新的随机存取存储器(“RAM”)和/或只读存储器(“ROM”))和/或类似物。进一步地，系统500可以包括眼睛跟踪设备501，该眼睛跟踪设备被配置用于确定与用户相适应的焦距。又进一步地，系统500可以包括成像设备(未示出)。该成像设备可以是朝向用户的至少一只眼睛的任何成像设备或相机。进一步地，该成像设备可以是眼睛跟踪设备501的一部分。又进一步地，该成像设备或相机可以独立于最终的眼睛跟踪设备501。在另一示例中，系统500可以包括光传感器(未示出)，该光传感器被配置用于测量环境光的水平，以估算瞳孔大小。

图5中示出的计算机506被配置用于包括非临时性计算机可读介质，该非临时性计算机可读介质上存储有指令，并且这些指令可由计算机506执行以使该计算机执行图3和图4中描述的任一方法步骤。

根据本公开内容的另一示例性实施例(未示出)是一种头戴式显示器(诸如一副眼镜、虚拟现实头戴装置、增强现实头戴装置、头盔等)，用于计算机生成的图像的显示和形象化。头戴式显示器包括适于由用户穿戴的机架、至少一个处理器(诸如CPU或GPU)，该至少一个处理器被配置用于执行在图3和图4中描述的所有方法步骤。该头戴式显示器还包括显示器，该显示器用于将所渲染的图像显示给用户。进一步地，该头戴式显示器可以包括眼睛跟踪设备，该眼睛跟踪设备被配置用于确定与用户相适应的焦距。

Claims (19)

1.一种用于显示具有特定景深的图像的方法，所述方法包括以下步骤：

-获得和与注视显示器的用户相适应的焦距相关的信息数据，

-确定所述用户的瞳孔大小，

-基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深，以及

-基于所述景深来渲染要在所述显示器上显示的图像。

2.根据权利要求1所述的方法，其中，确定所述瞳孔大小的步骤是通过首先确定所述显示器的亮度并且然后基于所述亮度估算所述瞳孔大小来执行的。

3.根据权利要求1所述的方法，其中，确定所述用户的瞳孔大小的步骤是通过使用来自成像设备的图像数据获得并选择所述用户的所述瞳孔大小的测量值来执行的。

4.根据前述权利要求中任一项所述的方法，其中，与所述焦距相关的所述信息数据包括所述用户的左右眼的注视向量会聚在的距离的测量值。

5.根据权利要求1至3中任一项所述的方法，其中，与所述焦距相关的所述信息数据是基于朝向在所述显示器上渲染的对象的、所述用户的注视点。

6.根据前述权利要求中任一项所述的方法，其中，所述方法进一步包括估算所述用户的双眼的调节幅度的步骤，并且其中，估算景深的步骤进一步基于所述调节幅度。

7.根据前述权利要求中任一项所述的方法，其中，估算所述景深的步骤包括应用用户校准的眼睛模型，诸如瞳孔中心角膜反射(PCCR)模型。

8.一种用于显示具有特定景深的图像的系统，所述系统包括：

-显示器，以及

-至少一个处理器，所述至少一个处理器被配置用于：

o获得和与注视所述显示器的用户相适应的焦距相关的信息数据，

o确定所述用户的瞳孔大小，

o基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深；并且

o基于所述景深来渲染要在所述显示器上显示的图像，

其中，所述显示器被配置用于将所渲染的图像显示给所述用户。

9.根据权利要求8所述的系统，进一步包括：眼睛跟踪设备，所述眼睛跟踪设备被配置用于确定与焦距相关的信息数据并将所述信息发送到所述处理器。

10.根据权利要求8或权利要求9所述的系统，其中，所述处理器进一步被配置用于首先确定所述显示器的亮度并且然后基于所述亮度来估算所述瞳孔大小。

11.根据权利要求8或权利要求9所述的系统，其中，所述处理器进一步被配置用于通过使用来自成像设备的图像数据来获得并选择所述用户的所述瞳孔大小的测量值。

12.根据权利要求8至11中任一项所述的系统，其中，与所述焦距相关的信息数据包括所述用户的左右眼的注视向量会聚在的距离的测量值。

13.根据权利要求8至11中任一项所述的系统，其中，与所述焦距相关的信息数据基于朝向在所述显示器上渲染的对象的、所述用户的注视点。

14.根据权利要求8至13中任一项所述的系统，其中，所述处理器进一步被配置用于估算所述用户的双眼的调节幅度，并且其中，对所述景深的估算进一步基于所述调节幅度。

15.根据权利要求8至14中任一项所述的系统，其中，对所述景深的估算包括应用用户校准的眼睛模型，诸如瞳孔中心角膜反射(PCCR)模型。

16.一种头戴式显示器，所述头戴式显示器包括：

-机架，所述机架适于由用户穿戴，

-显示器，以及

-至少一个处理器，所述至少一个处理器被配置用于：

o获得和与注视所述显示器的用户相适应的焦距相关的信息数据，

o确定所述用户的瞳孔大小，

o基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深；并且

o基于所述景深来渲染要在所述显示器上显示的图像，

其中，所述显示器被配置用于将所渲染的图像显示给所述用户。

17.根据权利要求16所述的头戴式显示器，进一步包括：眼睛跟踪设备，所述眼睛跟踪设备被配置用于确定与焦距相关的所述信息数据并将所述信息发送到所述处理器。

18.根据权利要求16或权利要求17所述的头戴式显示器，其中，所述头戴式显示器适于虚拟现实体验、增强现实体验、混合现实体验、或其他广泛的现实体验。

19.一种非临时性计算机可读介质，其上存储有指令，所述指令可由计算机执行以使所述计算机执行以下步骤：

-获得和与注视显示器的用户相适应的焦距相关的信息数据，

-确定所述用户的瞳孔大小，

-基于所述焦距和所述瞳孔大小来估算所述用户的双眼的景深，以及

-基于所述景深来渲染要在所述显示器上显示的图像。

Images