CN111819487A - 具有低延迟瞳孔跟踪器的显示系统 - Google Patents

Abstract

一种显示系统，其通过改变输出光的光源的部分的位置，将其出射光瞳的位置与观看者的瞳孔的位置进行对准。该光源可以包括输出光的像素阵列，从而允许在光源上显示图像。显示系统包括捕获眼睛图像的相机，并且由光源显示图像的负像。在负像中，眼睛的深色瞳孔是亮点，当通过光源显示时，限定了显示系统的出射光瞳。眼瞳的瞳孔的位置可以通过捕获眼睛的图像来跟踪，并且可以通过使用光源显示所捕获的图像的负像来调整显示系统的出射光瞳的位置。

Description

具有低延迟瞳孔跟踪器的显示系统

相关申请的交叉引用

本申请通过引用并入以下专利申请中的每一个的全部内容：2014年11月27日提交的美国申请号14/555,585，2015年7月23日公开为美国公开号2015/0205126；2015年4月18日提交的美国申请号14/690,401，2015年10月22日公开为美国公开号2015/0302652；2014年3月14日提交的美国申请号14/212,961，2016年8月16日授权的美国专利号9,417,452；2014年7月14日提交的美国申请号14/331,218，2015年10月29日公开为美国公开号2015/0309263；2017年10月20日提交的美国申请号15/789,895；2017年2月24日提交的美国专利申请号15/442,461；2017年3月21日提交的美国临时专利申请号62/474,419；2016年9月21日提交的美国申请号15/271,802，公开为美国公开号2017/0082858；以及2015年12月3日公开的美国公开号2015/0346495。

技术领域

本公开涉及显示系统，更具体地，涉及增强和虚拟现实显示系统。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以它们看起来是真实的或者可能感觉上真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其他现实的真实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的现实世界的可视化增强。混合现实或“MR”场景是一种AR场景并且通常涉及融入到自然世界中并对其作出响应的虚拟对象。例如，在MR场景中，AR图像内容可以被真实世界中的对象阻挡或者以其他方式被感知为与真实世界中的对象进行交互。

参见图1，描绘了增强现实场景10，其中AR技术的用户看到以背景中的人、树、建筑为特征的真实世界的公园状设置20以及实体平台30。除了这些项目以外，AR技术的用户还感觉他“看到了”“虚拟内容”，诸如站在真实世界的平台30上的机器人雕像40，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色50，尽管这些元素40、50不存在于真实的世界中。由于人类视觉感知系统是复杂的，产生促进虚拟图像元素在其他虚拟或现实图像元素中的舒适、感觉自然、丰富的呈现的AR技术是具有挑战性的。

本文中公开的系统和方法解决了与AR和VR技术相关的各种挑战。

发明内容

一些实施例包括用于向观看者显示图像的方法。该方法包括提供显示设备，该显示设备包括被配置为显示图像的光源。观看者眼睛的瞳孔的位置与显示设备的出射光瞳对准。将出射光瞳与眼睛的瞳孔对准包括：捕获观看者眼睛的图像；以及在光源上显示眼睛的图像的负像。形成负像的光被调制以向观看者的眼睛提供图像内容。

一些其他实施例包括用于向观看者显示图像的方法。该方法包括提供显示设备，该显示设备包括被配置为从多个不同的光输出位置向观看者的眼镜输出光的光源。显示设备的出射光瞳的位置与观看者眼睛的瞳孔的位置对准。对准包括捕获眼睛的图像；并且从与眼睛的图像中眼睛的瞳孔的位置对应的光源一个或多个位置选择性地发射光。

另一些实施例包括头戴式显示系统，其包括被配置为捕获用户的眼睛的图像的眼睛成像设备。该显示系统还包括光源，该光源包括被配置为发射光以形成眼睛的负像的多个选择性激活的发光位置。空间光调制器被配置为通过在形成眼睛的负像的光中编码图像信息来向用户显示图像内容。

实施例的另外示例包括：

示例1.一种用于向观看者显示图像的方法，该方法包括：

提供显示设备，该显示设备包括被配置为显示图像的光源；

将观看者的眼睛的瞳孔的位置与显示设备的出射光瞳对准，其中，将该位置对准包括：

捕获观看者的眼睛的图像；以及

在光源上显示眼睛的图像的负像；以及

调制形成负像的光以向观看者的眼睛提供图像内容。

示例2.根据实施例1所述的方法，其中，调制形成负像的光包括使该光传播通过空间光调制器。

示例3.根据实施例1所述的方法，其中，光源是空间光调制器，其中，负像显示在空间光调制器上。

示例4.根据实施例1所述的方法，其中，眼睛的负像限定显示器的出射光瞳的位置，

其中，在向眼睛提供图像内容时，对准眼睛的瞳孔的位置被连续地执行，

其中，捕获眼睛的图像并显示该图像的负像以每秒60次或更多次被执行。

示例5.一种用于向观看者显示图像的方法，该方法包括：

提供显示设备，该显示设备包括被配置为从多个不同的光输出位置向观看者的眼睛输出光的光源；

将显示设备的出射光瞳的位置与观看者的眼睛的瞳孔的位置对准，其中，对准包括：

捕获眼睛的图像；以及

从与眼睛的图像中眼睛的瞳孔的位置对应的光源的一个或多个位置选择性地发射光。

示例6.根据实施例5所述的方法，还包括：

调制从一个或多个位置发射的光；以及

将所调制的光传播到眼睛以向观看者提供图像内容。

示例7.根据实施例5所述的方法，其中，光源包括空间光调制器。

示例8.根据实施例5所述的方法，还包括将眼睛的图像转换成负像，

其中，选择性地发射光包括在光源上显示该负像。

示例9.一种头戴式显示系统，包括：

眼睛成像设备，其被配置为捕获用户的眼睛的图像；

光源，其包括被配置为发射光以形成眼睛的负像的多个选择性激活的发光位置；以及

空间光调制器，其被配置为通过在形成眼睛的负像的光中编码图像信息来向用户显示图像内容。

示例10.根据实施例9所述的显示系统，其中，眼睛成像设备包括相机。

示例11.根据实施例9所述的显示系统，其中，光源是另一空间光调制器。

示例12.根据实施例11所述的显示系统，其中，另一空间光调制器是发射式空间光调制器。

示例13.根据实施例12所述的显示系统，其中，发射式空间光调制器是LED阵列。

示例14.根据实施例9所述的显示系统，还包括：

光源光学器件，其被配置为准直从光源传播到空间光调制器的光；

光源中继光学器件，其被配置为接收来自空间光调制器的光并形成光源的图像；以及

光瞳中继光学器件，其被配置为接收来自光源中继光学器件的光并向眼睛提供同时的光源和空间光调制器的图像。

示例15.根据实施例9所述的显示系统，还包括被配置为将来自空间光调制器光朝向用户的眼睛引导的光导。

示例16.根据实施例15所述的显示系统，其中，光导具有光焦度并且被配置为输出具有发散波前的光。

示例17.根据实施例16所述的显示系统，还包括多个光导，其中，多个光导中的至少一些光导具有与多个光导中的其他光导不同的光焦度。

示例18.根据实施例9所述的显示系统，还包括被配置为安装在用户的头部上的框架，

其中，眼睛成像设备的至少光捕获部分被附接到该框架，以及

其中，空间光调制器被附接到该框架。

示例19.根据实施例9所述的显示系统，其中，该显示系统被配置为对所捕获的眼睛的图像进行阈值处理以将所捕获的图像转换为对应的负像。

示例20.根据实施例9所述的显示系统，其中，光源是二进制空间光调制器，其中，选择性激活的发光位置具有开启状态和关闭状态。

附图说明

图1示出了用户通过增强现实(AR)设备看到的增强现实的视图。

图2A示出了具有光源的显示系统的示例，该光源具有单个光发射器。

图2B示出了具有光源的显示系统的示例，该光源具有从不同位置发射光的多个光发射器。

图3示出了具有用于捕获观看者的眼睛的图像的相机和被配置为显示所捕获图像的负像的光源的显示系统的示例。

图4示出了跟踪观看者的眼睛的移动的图3的显示系统的出射光瞳的示例。

图5示出了具有光学组合器的显示系统的示例。

图6示出了具有离轴的、基于反射镜的眼睛成像设备的图5的显示系统的示例。

图7示出了具有折叠式中继反射镜组合器的显示系统的示例。

图8示出了用于为用户模拟三维图像的常规显示系统。

图9A至图9C示出了曲率半径与焦半径之间的关系。

图10示出了人类视觉系统的适应-聚散响应的表示。

图11示出了用户的双眼的不同适应状态和聚散状态的示例。

图12A示出了经由显示系统观看内容的用户的俯视平面图的表示的示例。

图12B示出了经由显示系统观看内容的用户的俯视平面图的表示的另一示例。

图13示出了通过修改波前发散来模拟三维图像的方法的方面。

图14示出了用于将图像信息输出给用户的光导堆叠的示例。

图15示出了堆叠光导组件的示例，其中每个深度平面包括使用多种不同分量颜色形成的图像。

图16示出了一组堆叠的光导的示例的横截面侧视图，每个堆叠的光导包括入耦合光学元件。

图17示出了可穿戴显示系统的示例。

具体实施方式

虚拟和增强现实近眼显示系统，包括混合现实显示系统，优选地能够以高光学质量向观看者的眼睛提供图像信息，同时还允许随着观看者的眼睛移动而连续接收该图像信息。例如，优选的是，即使用户的眼睛相对于显示器移动，用户也能够继续接收图像信息(例如，从而观看所显示的图像)。图像信息可以采取来自光源的调制光的形式。例如，可以在将调制的光引导到观看者的眼睛之前，通过空间光调制器来调制来自光源的光，以使光编码有图像信息。为了形成紧凑和/或便携式显示系统，显示系统优选地高效地利用来自光源的光。在仍然产生了理想的明亮图像时，高效地降低了光源的功率需求。光的利用效率越高，显示系统通常可以越小且运行时间越长。

将会理解的是，可以通过显示系统的出射光瞳将调制光提供给观看者的眼睛。例如，显示系统可以利用投影/中继系统，该投影/中继系统将来自空间光调制器的图像光传送到无限远或近无限远聚焦的图像，该图像由观看者通过由上游投影仪光学系统形成的出射光瞳观察到。在这些光学系统中，系统的出射光瞳可能很小(例如，0.5至2mm)，这可能要求观看者的眼瞳(观看者的眼睛的瞳孔)与出射光瞳仔细对准，以优选地允许所有离开显示系统的光进入眼瞳。出射光瞳和眼瞳未对准可以导致一些从显示系统出射的光无法被观看者的眼睛捕获，这可能会导致不期望的光学伪像，例如渐晕(vignetting)。

可以在显示系统中采用光瞳扩展以放松对准要求。例如，光瞳扩展目镜可以用于将输入光衍射采样为在目镜上的多个子束(beamlet)，目镜可以由一个或多个光导形成。例如，光瞳扩展可以涉及在目镜上复制光线。“眼箱(eye-box)”可以被描述为观看者放置他/她的瞳孔以便例如通过捕获离开目镜的子束来观看使用空间光调制器形成的图像的区域或体积。大尺寸的眼箱使观看者的瞳孔移动和旋转，而观看者不会感觉到明显的渐晕。但是，这是通过有效利用光的代价来实现的，因为在给定的时间瞬时，观看者的眼睛只会对眼箱中存在的一小部分光进行采样。因此，由光源发射并且随后由目镜输出的许多光并不进入观看者的眼瞳。

用于复制和输出来自目镜的光导的光线的光学元件也可以导致低效的光利用。例如，衍射结构本身的使用可以导致光利用效率低下，因为衍射结构通常不将所有光都引导在单个期望的方向上，衍射结构也通常不将不同波长的光均匀地引导在期望的方向上。另外，希望从目镜射出的分布和光通量均匀，以提供高感知图像质量，包括当眼瞳在眼箱上移动时图像亮度的高均匀性。在一些配置中，将光耦合出光导的光学元件可以是具有低衍射效率的衍射结构，以便于将光均匀地分布在整个眼箱上和目镜之外。因此，类似于以上所述，从光源耦合到光导中的光的仅一小部分从光导输出，并穿过光导在给定位置处进入眼瞳。在一些配置中，对均匀性的期望可以导致使用衍射效率低的衍射元件，以使得耦合到光导中的一些光在完全穿过光导之前不被输出到观看者。

有利地，在一些实施例中，显示系统使用跟踪并与观看者的眼瞳对准的出射光瞳来提供高效的光利用。可以使用包括多个或阵列的选择性激活的光输出位置的光源来实现对准。改变光源输出的光的位置会改变出射光瞳的横向位置，从而允许出射光瞳移动以跟踪眼瞳。

在一些实施例中，光源的每个选择性激活的光输出位置可以用作像素，并且选择性地激活这些光输出位置中的不同光输出位置可以允许图像被光源显示。除了光源之外，显示系统还可以包括用于捕获眼睛的图像的成像设备。捕获的图像被转换为负像，由光源进行显示。在负像中，眼睛的深色瞳孔呈现为亮点，当由光源显示时，它限定了显示系统的出射光瞳。因此，可以通过捕获眼睛的图像来有效地确定眼瞳的位置，并且可以通过使用光源显示那些捕获的图像的负像来设置显示系统的出射光瞳的位置。在操作中，在一些实施例中，可以连续地捕获观看者眼睛的图像，并且可以类似地连续地更新捕获的图像中的所显示的负像，从而允许调整出射光瞳的位置并连续地跟踪眼瞳的位置。在一些实施例中，然后可以在由光源输出的光离开显示系统之前对其进行调制以编码图像信息。将理解的是，对于将图像显示给观看者的两只眼睛的显示器，在一些实施例中，该系统可以包括用于每只眼睛的专用的成像设备、光源以及相关对象。

有利地，本文公开的显示系统的各种实施例能够提供许多益处。例如，显示系统可以提供光的高效利用。由于出射光瞳移动以跟踪观看者眼睛的位置，因此显示系统可以在涵盖眼瞳的可能位置的大面积上不需要光瞳扩展。在一些实施例中，不是试图在大的眼箱上均匀地输出光，而是由发射光源输出的基本上所有光都能够被引导到观看者的眼睛中，这取决于该光的任何调制以编码图像信息。另外，较高的光利用率能够实现更紧凑的设备和在给定量的存储电力的情况下更长的运行时间。

跟踪观看者的眼瞳并将其对准出射光瞳的能力还可以改善图像质量。例如，保持眼睛在出射光瞳中的对准可以允许观看者的眼睛捕获从出射光瞳出来的基本上所有的光，从而减少例如渐晕的光学伪像的发生。眼瞳和出射光瞳的跟踪和对准还允许使用镜面光学继电器来产生出射光瞳，并且可以消除对泄漏衍射结构的需要。这可以消除衍射结构在提供相干光输出方面的困难。另外，由于仅形成单个出射光瞳的光用于显示图像，因此减少了通过系统传播的光量，这可以减少到达观看者眼睛的无意散射的光量。无意散射的光的减少能够有利地增加显示图像的感知对比度。

本文公开的各种实施例还可有利地与多种光学组合器兼容，如文中讨论的。另外，由于出射光瞳和眼瞳的跟踪和对准主要涉及与捕获、反转和显示眼睛的负像有关的相对简单的过程，因此跟踪和对准可以有利地以低延迟时间进行并且利用少量的处理资源。

现在将参考附图，在附图中，相同的附图标记始终指代相同的部分。除非另有说明，否则附图是示意性的，不一定按比例绘制。

图2A示出了具有光源的显示系统的示例，其中光源具有单个光发射器。该显示系统包括具有光发射器1002的光源1000。光发射器1002发出最终将进入观看者的眼睛210的眼瞳208的光，以在该眼睛210中形成图像。

显示系统还可包括光源会聚(condense)/准直光学器件1010。光源会聚/准直光学器件1010可被配置为在光到达图像空间光调制器(SLM)1020之前对由光发射器1002发射的光进行准直。

图像SLM 1020被配置为调制来自光源1000的光。图像SLM 1020可以包括像素元件的阵列，每个像素元件可以修改与像素元件相互作用(例如，入射到像素元件或通过像素元件传播)的光。可以通过调制光来形成图像(例如，改变光的强度，选择性地透射某些波长和/或偏振的光等)。结果，可以说图像SLM 1020在光到达眼睛210之前使光编码有图像信息。应当理解，图像SLM 1020可以是透射式或反射式的。在图像SLM 1020是反射式的情况下，可以提供附加的光学元件(例如，分束器和相关的光学元件)以将来自光源1000的光引导到图像SLM 1020并朝向眼睛210。有关反射式空间光调制器的其他细节可以在例如2017年2月24日提交的美国专利申请号15/442,461中找到，其全部公开内容通过引用合并于此。在一些实施例中，图像SLM 1020可以采用液晶显示器(LCD)的形式，包括硅基液晶(LCOS)显示器。

显示系统还可包括被配置为产生输出或出射光瞳的中继光学器件或透镜结构1030，输出或出射光瞳也是光发射器1002的图像1031。观看者将他/她的眼瞳208放置在出射光瞳的位置(在图像1031处)，将看到图像SLM 1020的无限聚焦图像。可以在虚拟现实或其他显示系统中利用这些配置，在这些系统中，观看者直接从系统提供图像，而无需例如将图像内容与诸如来自周围环境的其他光进行组合。

在一些实施例中，可以在中继光学器件1030和观看者的眼瞳208之间的光路上提供中继透镜系统1040。中继透镜系统1040可以是例如4F中继系统。在一些实施例中，可以将中继透镜系统1040理解为示意性地表示目镜，例如组合器目镜，其示例在本文中进一步讨论。该组合目镜有利地允许通过将来自环境的光传输到观看者的一只或两只眼睛来观看周围环境，同时还允许由显示系统输出的图像与该光组合。这样的显示系统可以构成增强现实显示系统。

继续参考图2A，如上所述，中继光学器件1030可以被配置为形成光发射器1002的图像1031，该图像可以在中继光学器件1030和中继透镜系统1040之间。中继透镜系统1040可以分别包括第一透镜1042和第二透镜1044。图像SLM 1020的图像可以驻留在中继透镜系统1040的第一透镜1042和第二透镜1044之间。观看者将他/她的眼瞳208放置在出射光瞳的位置(即，由中继透镜系统1040提供的光发射器1002)处，看到图像SLM 1020的无限远聚焦图像。

在一些实施例中，可能期望将SLM 1020的图像聚焦在除无限远以外的平面上。对于这样的实施例，可以在中继透镜系统1040的输出与观看者之间的光路上设置透镜结构1046(例如，弯月形透镜)。透镜结构1046可以在期望的深度平面处修改SLM 1020的图像的焦点。在一些实施例中，可以省略透镜结构1046，例如，其中第二透镜1044将SLM 1020的图像聚焦在期望的深度平面处。应当理解，除了本文公开的其他透镜之外，第一透镜1042和第二透镜1044可以包括一个或多个透镜元件或透镜元件的群组。

继续参考图2A，出射光瞳的位置可以由光发射器1002的位置确定。横向位移光发射器1002使得出射光瞳的位置相应地移位。例如，将光发射器1002放置在不同的位置使得来自光发射器1002的光采取不同的路径通过显示系统的各种光学结构(例如，会聚/准直光学器件1010、中继光学器件1030和中继器透镜系统1040)。因此，使光发射器1002的位置移位能够引起出射光瞳的位置相应移位。使用位于不同位置的一个或多个附加的光发射器，也可以实现出射光瞳位置的类似移位；即，不是将光发射器1002移位到一个或多个其他位置，而是可以在这些位置处设置其他光发射器。

图2B示出了具有光源的显示系统的示例，该光源具有多个从不同位置发射光的光发射器。图2B的显示系统类似于图2A的显示系统，除了光源1000在不同的位置处包括两个光发射器，光发射器1002和光发射器1004。在该图示中，来自光发射器1002的光被示出为虚线，并且来自光发射器1000的光被示出为实线。光源会聚/准直光学器件1010从任一光发射器接收光，并且会聚/准直该光，使得其作为准直光束传播到图像SLM 1020。然而，由于光发射器1000和光发射器1004之间的位置不同，所以来自每个光发射器的光以不同的角度朝向图像SLM 1020传播。这样，中继光学器件1030在中继光学器件1030和中继透镜系统1040之间形成光发射器1002和光发射器1004两者的图像，但是这些光发射器的图像彼此偏移。另外，由来自光发射器1002和光发射器1004的每一个的光形成的图像SLM 1020的图像二者可以驻留在第一透镜1042和第二透镜1044之间，并且图像SLM 1020的这些图像也彼此偏移。取决于光发射器1002和光发射器1004之间的间距，来自两个出射光瞳的光可以同时进入观看者的眼睛210，并且观看者可以继续看到聚焦在无穷远处的SLM的单个图像。光发射器1002和光发射器1004的位置的不同提供了在不同位置处的出射光瞳，并且眼睛210可以在不同出射光瞳之间移位，随着眼睛210移位，图像SLM 1020的图像将继续可见。有利地，第二光发射器1004的添加实际上可以扩大系统的出射光瞳的尺寸。

在一些实施例中，光发射器1002和光发射器1004可以是光发射器阵列的一部分。例如，光源1000可以是空间光调制器。形成光源1000的空间光调制器可以是发射式空间光调制器，例如，包括由发光二极管(例如有机发光二极管(OLED))形成的像素，空间光调制器通过在像素阵列上的不同位置处的像素输出强度和/或波长变化的光来对光进行空间调制。在一些其他实施例中，空间光调制器可以是被配置为调制由照明光学器件提供的光的透射或反射SLM。

在光源是空间光调制器的情况下，空间光调制器的各个像素或像素的群组可以构成光发射器1002和光发射器1004。如上所述，光发射器1002和光发射器1004中的每个光发射器的图像可以提供显示系统的相应的对应出射光瞳，出射光瞳的位置由光发射器1002和光发射器1004的位置确定。如上所述，可以通过有选择地激活空间光调制器上的不同位置处的光发射器(不同像素)来使光发射器的位置移位。另外，因为出射光瞳是由光发射器的图像限定的，所以那些光发射器的大小也限定了出射光瞳的大小。因此，在一些实施例中，可以通过选择性地激活形成光源1000的空间光调制器的像素来设置出射光瞳的大小和位置。

例如，如参考图2B所讨论的，可以通过显示系统来中继光发射器的图像(在这种情况下光源SLM 1000具有其激活的像素)。当观看者将他/她的眼睛210放在形成光源的SLM的图像中时，他们将看到图像SLM 1020的无限聚焦图像。出射光瞳的大小将由光源1000的SLM上被激活的像素的数量来确定，光源1000的SLM在本文中也称为光源SLM 1000。出射光瞳的位置可以由光源SLM 1000上的哪些像素被激活来确定。因此，如果光源SLM 1000上的单个像素被激活，则当位于光源SLM 1000的图像中时，观看者的眼睛处会形成单个小的出射光瞳。如果该单个像素发生移动(即，如果那个像素被去激活，光源SLM 1000上不同位置处的另一个单个像素被激活)，则显示系统的出射光瞳将相应移动。在所有这些情况下，图像SLM的无限聚焦图像将优选地在出射光瞳内保持静止并且通过出射光瞳可见，无论其可能在哪里，无论它是大或是小。

有利地，横向改变出射光瞳的位置的能力能够为图像质量和/或能量效率提供优势。例如，显示系统可以被配置为改变出射光瞳的位置，使得其跟踪眼瞳的位置。这可以减少例如渐晕的光学伪像的发生，从而提高感知的图像质量并减少图像亮度的意外波动。另外，通过连续跟踪和对准眼瞳和出射光瞳，显示系统可以避免使用低效率的衍射光学元件。此外，在光源包括发射式光发射器(例如，包括OLED的LED)的情况下，可以在任何给定时间仅激活为出射光瞳贡献光的那些光发射器。结果，基本上所有的由光源发射的光都可以被观看者的眼睛捕获，从而提高了显示系统的光利用效率。

另外，利用包括多个独立激活的光发射器的光源有效地允许改变光源的尺寸，例如，在向观看者显示图像的过程中动态地改变光源的尺寸。这种可变性允许在将图像显示给观看者时修改显示系统的景深，例如连续地修改。例如，可以通过激活相对大量的光发射器来增加光源的尺寸，而可以通过激活较少数量的光发射器(例如，单个光发射器)来减小光源的尺寸。预期较大的光源将产生SLM 1020的浅景深图像，而预期相对较小的光源将产生SLM 1020的深景深图像。改变光源的有效尺寸的能力可以具有管理观看者的眼睛的适应功能的优点。例如，可以通过利用相对较大的光源将用户的眼睛对适应提示的敏感性设置为相对较高的水平，而通过利用相对较小的光源可以将用户的眼睛对适应提示的灵敏度降低。这可以对于例如减少适应-聚散不匹配的影响具有优势。例如，在预期适应-聚散不匹配超过期望的阈值水平的情况下，可以减小光源的尺寸以减小用户对与不匹配相关联的适应提示的敏感性。

将理解的是，可以认为包括多个选择性激活的光发射器的光源大致用作显示器。在光源是空间光调制器的情况下，光源确实可以被认为是一种类型的显示设备。在一些实施例中，可以通过捕获观看者的眼睛210的图像并在光源SLM 1000上显示那些图像的修改形式来跟踪眼瞳。由于眼瞳是深色或黑色，但是出射光瞳应该发光，显示系统可以被配置为在光源SLM 1000上显示眼睛210的捕获图像的负像。在负像中，捕获图像相对较暗的像素或区域显得相对明亮或较亮，而捕获图像相对明亮或较亮的像素或区域显得相对较暗。结果，深色的眼瞳可能看起来是白色或明亮的，而眼睛210的其他区域(例如眼白)是深色的。因此，对应于眼瞳的光发射器被激活(从而发光)，而对应于眼睛210的其他区域的光发射器不被激活(从而不发光)。

图3示出了显示系统的示例，该显示系统具有用于捕获观看者的眼睛的图像的相机和被配置为显示所捕获图像的负像的光源。光源1000包括多个光发射器。例如，光源1000可以是SLM，其可以包括面板显示器，该面板显示器可以包括在诸如LED或激光器的光发射器阵列中。光源1000显示观看者的眼睛210的负像。该负像提供出射光瞳，通过该出射光瞳可以看到图像SLM 1020。

显示系统包括用于捕获眼睛210的图像的成像设备1050。在一些实施例中，成像设备1050可以包括数字摄像机和/或数字照相机。在一些实施例中，成像设备1050可以被配置为连续地捕获眼睛210的图像，或者以期望的速率来捕获这样的图像。例如，可以捕获图像并且可以以足够快的速率显示图像的负像，以使得无法感知到由光源SLM 1000显示的负像的更新。在一些实施例中，以大于闪烁融合阈值的速率(例如，大于每秒60次(或60Hz)，大于每秒90次(或90Hz))更新负像。

继续参考图3，显示系统包括处理单元1051，该处理单元1051被配置为接收捕获的图像并将这些图像转换成负像，优选高对比度的图像以供光源SLM 1000显示。处理单元1051与成像设备1050进行通信，并且从成像设备1050接收眼睛210的捕获图像1052(例如，以表示捕获图像的数据形式)。在一些实施例中，捕获图像1052是灰度图像或黑白图像。处理单元1051包括反向器(inverter)1060，该反向器1060被配置为将捕获图像1052转换为该捕获图像的负像，从而形成负像1062。例如，正常黑色瞳孔现在在负像1062中变为白色。处理单元1051可以被配置为然后将负像1062(例如，以表示负像的数据形式)传输到光源SLM1000，光源SLM 1000然后显示负像1062。

在一些实施例中，反向器1060可以被配置为对捕获图像1052的每个像素的强度值进行反转。作为示例，对于具有256个等级水平和从0至255的对应强度值的8位灰度图像，反向器1060可以被配置为通过翻转强度值来反转像素的强度；也就是说，X的强度值(X大于0，可能的强度值的下限)可以通过将该值转换为X小于255(可能的强度值的上限)的数字来反转。

在一些其他实施例中，反向器1060可以被配置为执行阈值化。例如，反向器1060可以被配置为将强度小于阈值的每个“暗”像素转换为具有特定较高强度(例如，最大强度)的像素。优选地，阈值被设置在一定水平，使得捕获的图像1052中表示眼瞳208的基本上仅黑色像素被转换为具有较高强度的白色像素。在一些其他实施例中，光源SLM可以是二进制SLM，其中像素被配置为仅提供两个强度水平(例如，仅提供黑色和白色、或开启和关闭状态)。使用二进制SLM可以消除阈值的需要。

除了反转眼睛的捕获图像1052之外，在一些实施例中，处理单元1051可以被配置为在负像中排除捕获图像的不是眼瞳208的暗部。眼睛210的虹膜还可以包括黑色部分。为了从负像中排除虹膜的这些部分，处理单元1051可以被配置为执行图像识别并且实时确定像素是否形成虹膜的图像的一部分，或者图片是否形成眼瞳208的图像的一部分。在一些实施例中，处理单元1051可以被配置为将基本上全黑的圆形区域识别为眼瞳208，并且在负像1062中仅(使用白色像素)示出该圆形区域。

在一些实施例中，处理单元1051可以是本地处理和数据模块140和/或远程处理模块150(图17)的一部分。在一些其他实施例中，本地处理单元1051可以是光源SLM 1000本身的一部分。在这样的实施例中，传输负像1062以供光源SLM 1000显示可以包括简单地在光源SLM 1000内的电路(例如，反向器电路和显示电路)之间传输图像信息。

继续参考图3，负像1062可以由光源SLM 1000显示。如本文所讨论的，光源SLM1000的图像和图像SLM 1020可以通过显示系统中继。例如，中继光学器件1030在中继光学器件1030和中继透镜系统1040之间形成光源SLM 1000的图像1032。此外，图像SLM 1020的图像形成在中继透镜系统1040的第一透镜1042和第二透镜1044之间。中继透镜系统1040还形成光源SLM 1000的图像1048。将观看者的眼睛210放置在光源SLM图像1048中可允许观看者看到图像SLM 1020的无限远聚焦图像。

优选地，出射光瞳和眼瞳具有基本相同的尺寸。例如，当光源SLM 1020显示负像1062时，在负像1062的图像1048中再现的眼瞳208的尺寸与实际眼瞳208的尺寸基本相同。将理解的是，相机1050的透镜的焦距与该相机1050的图像传感器的尺寸将确定该眼瞳的捕获图像内的眼瞳208的相对尺寸，并且该相对尺寸可以与眼瞳208的实际尺寸不同。因此，眼瞳208的实际尺寸与眼瞳208在捕获图像内的尺寸之间存在缩放因子。另外，光源SLM 1000和眼瞳208之间的各种透镜结构(例如，透镜1010、1030、1042和1044)也可以具有相关的缩放因子。可以考虑所有这些缩放因子以在与瞳孔位置208一致的位置处产生具有期望尺寸的眼瞳208的图像的图像1048。例如，可以增加或减小SLM 1000上示出的眼瞳208的负像的尺寸以提供具有期望尺寸的眼瞳208的图像1048。

在一些其他实施例中，光源SLM 1020上的一组激活的发光像素的尺寸可以提供小于或大于眼瞳208的尺寸的出射光瞳。例如，可以选择用于阈值化的强度值，使得眼睛210的虹膜和瞳孔都被显示为负像1062中的白色像素。结果，出射光瞳的尺寸可以对应于眼睛210的虹膜的尺寸。在一些其他实施例中，如本文所公开的，可以修改光源SLM 1020上的发光区域的尺寸(例如，眼睛210的瞳孔的负像的尺寸)以控制显示系统的焦深。

应当理解，光源SLM图像1048包括白点，该白点限定了显示系统的出射光瞳。可以通过连续捕获眼睛210的新图像1052来跟踪眼瞳208与眼睛210的运动。此外，可以通过连续地将捕获图像1052转换为显示在空间光调制器1000上的负像1062，来连续(例如，实时地)更新显示系统的出射光瞳与眼瞳208的对准。例如，当眼瞳208位置移位时，此移位被捕获在捕获图像1052中，然后引起负像1062的高强度区域的位置移位。然后，具有移位的高强度区域的该更新的负像1062被显示在光源SLM 1000上，这引起出射光瞳移位。结果，眼瞳208的位置的改变引起出射光瞳的位置的相应改变。因此，出射光瞳可以理解为基本上实时地跟踪眼瞳208的位置。

图4示出了跟踪观看者的眼睛运动的图3的显示系统的出射光瞳的示例。可以在由成像设备1050捕获的图像中观察到眼睛210的取向上的向上移位。为了简化图示，未示出捕获图像和所得的转换后的负像。然而，如以上关于图3所讨论的，将理解的是，捕获图像由处理单元1051接收并且那些捕获图像的负像由反向器1060形成。负像被提供给光源SLM 1000并由光源SLM 1000显示。因此，眼睛210的取向上的向上移位引起由光源SLM 1000显示的眼瞳的图像中的相应的向上移位。眼瞳的图像中的向上移位引起出射光瞳中的向上移位，从而使出射光瞳与眼瞳208对准。

应当理解，增强现实系统可以利用光学组合器，光学组合器允许来自周围环境的光传播到观看者的眼睛从而允许观看周围环境，同时还允许来自显示图像的光也传播到用户的眼睛；也就是说，来自周围环境(真实世界)的光和包含来自显示器的图像信息的光可以进行组合，并且两者都可以被观看者的眼睛接收到。在一些实施例中，光学组合器可以是在观看者的视线方向上至少部分透明的光导(例如，波导)，从而允许现实世界的可见性。光导还可被配置为引导来自光源SLM 1000和图像SLM 1020的编码有图像信息的光，并朝向观看者的眼睛210输出该光。应当理解，光可以在光导内通过全内反射被引导并传播。同样，在整个本公开中，波导可以被理解为光导的示例。

图5示出了具有光学组合器的显示系统的示例。除了中继透镜系统1040是光学组合器以外，所示的显示系统类似于图3和图4所示的显示系统。如图所示，中继透镜系统1040包括光导1070(例如，波导)和反射透镜结构1076和1078，其可以对应于图2A至图4所示的透镜1042和1044。光导1070允许来自周围环境的光1074到达观看者的眼睛210。此外，光导1070作为折叠光学器件发挥作用，其将由光源SLM 1000发射并由图像SLM 1020修改的光1072引导至观看者的眼睛210。在一些实施例中，反射指引器1076和1078可以是部分透明的弯曲镜面反射器。

继续参考图5，成像设备1050可以相对于眼睛210的视线方向离轴设置，例如，使得成像设备1050不在眼睛210的视野内。成像设备1050可以是眼睛成像组件1056的一部分，眼睛成像组件1056包括被配置为将光1058从眼睛210引导到成像设备1050的光导1054(例如，波导)。光导1054可以包括被配置为将光1058入耦合到光导1054中的入耦合光学元件1055。可以通过全内反射在光导1054内引导入耦合光1058，直到它朝向成像设备1050离开光导1054为止。

在一些实施例中，成像设备1050可以被配置为使用可见光谱之外的电磁辐射来对眼睛成像。例如，成像设备1050可以被配置为通过检测红外光来对眼睛成像。在一些实施例中，成像设备1050还可以包括被配置为用红外光照射眼睛的红外光发射器。例如，成像设备1050可以包括红外光发射器，该红外光发射器将光注入到光导1054中，并且该红外光可以通过光学元件1055从光导1054中射出。

图6示出了具有离轴的、基于反射镜的眼睛成像设备的图5的显示系统的示例。除了使用部分反射且部分透明的反射镜1057将来自眼睛210的光1058反射到成像设备1050之外，所示的显示系统与图5所示的显示系统相似。反射镜1057可以是镜面反射器。在一些其他实施例中，反射镜1057可以是离轴镜，其中来自反射镜的光的反射角不同于该光在反射镜上的入射角。例如，反射镜1057可以包括具有衍射结构的衍射光学元件，该衍射光学结构被配置(例如，定向且形成为)为在由成像设备1050进行捕获的方向上反射来自眼睛210的光，并且来自眼睛210的光的入射角不同于光从反射镜1057的反射角。

继续参考图6，在一些实施例中，反射镜1057可以设置在光导1070上。如上所述，在一些实施例中，成像设备1050可以被配置为检测可见光谱以外的电磁辐射，例如红外光。在一些实施例中，成像设备1050还可包括红外光发射器以照亮眼睛210。

除了图4和图5中所示的光学组合器配置之外，将理解的是，本文公开的眼睛跟踪和出射光瞳对准系统可以与各种其他光学组合器结合使用。举例来说，光学组合器1040可以包括一个或多个光导，该一个或多个光导包括用于对编码有图像信息的光进行入耦合和出耦合的衍射光学元件。这种光导的示例包括光导堆叠250(图14)和光导堆叠660(图16)中的光导。

作为另一示例，光学组合器可以是鸟浴(bird-bath)式光学组合器。在一些实施例中，鸟浴光学组合器可以包括分束器和部分透明的反射镜(例如，部分透明的球面镜)，其中该分束器将编码有图像信息的光引导至反射镜，然后反射镜使光反射回到观看者。分束器和部分透明的反射镜都可以是部分透明的，从而允许来自周围环境(外界)的光到达观看者的眼睛。关于鸟浴式光学组合器的更多细节可以在2015年12月3日公开的US 2015/0346495中找到，其全部内容通过引用合并于此。

在另一个示例中，图7示出了具有折叠式中继反射镜组合器的显示系统。除了中继透镜系统1040包括折叠的反射镜1077和1079以代替图6的透镜结构1076和1078以外，图7的显示系统类似于图6的显示系统。如图所示，眼睛成像组件1056可以包括被配置为将光引导到成像设备1050以对眼睛210成像的反射镜1057。在一些其他实施例中，眼睛成像组件1056可以包括被配置为收集光并将其传播到图像捕获设备1050的光导1054(图5)。

应当理解，为了易于说明和描述，图2A至图7示出了用于向单只眼睛提供光和图像信息的系统。还应当理解，为了向观看者的两只眼睛提供光和图像信息，显示系统可以具有两个所示的系统，每只眼睛一个。

另外，在一些实施例中，除了设置在不同位置的多个光发射器之外，光源1000可以包括一个或多个光发射器，该一个或多个光发射器能够改变光输出的表观位置，从而模仿具有光发射器阵列的光源的光输出。例如，光源可以包括例如F-theta(F-θ或F-tanθ)透镜的线性传递透镜、公共或共享的光发射器、以及用于引导由光发射器发出的光沿着不同路径通过F-theta透镜的致动器。光在不同位置离开光源通过F-theta透镜，该F-theta透镜将出射光聚焦到像平面上。在不同位置离开F-theta透镜的光也位于像平面上的不同位置，并且像平面可以被认为提供了虚拟二维(2D)发光器阵列。因此，光发射器阵列的各个区域以及来自线性传递透镜的光穿过像平面的位置都可以被认为是光源的光输出位置。

在一些实施例中，致动器可以是双轴振镜的一部分，该双轴振镜包括在不同轴上独立地致动以沿着期望的传播路径引导来自光发射器的光的多个(例如，一对)反射镜。在一些其他实施例中，光源可以包括光纤扫描仪，并且致动器可以是被配置为移动光纤扫描仪的光纤的致动器。光源还可以包括处理模块或与处理模块通信，该处理模块使光源的光输出与反射镜或光纤的位置以及要显示的瞳孔内图像同步。例如，反射镜或光纤可以沿着已知路径移动，并且当反射镜或光纤处于与负像的所需光输出位置相对应的位置时，处理模块可以控制光发射器发射光，如本文所进一步描述的。这种光源的示例描述在2017年10月20日提交的美国申请号15/789,895中，其全部公开内容通过引用合并于此。

具有适应-聚散匹配的示例显示系统

有利地，本文公开的显示系统可以被配置为提供高水平的适应性-聚散度匹配，这可以提供各种益处，例如用于观察舒适性和长期佩戴性。例如，与常规的立体显示器相反，显示系统的目镜(例如，光学组合器1040)可以被配置为选择性地提供可变量的波前发散，这可以提供期望的适应提示以实现与聚散提示的匹配，通过向观看者的每只眼睛显示略有不同的视图来提供。

图8示出了用于为用户模拟三维图像的传统显示系统。应当理解，用户的眼睛是间隔开的，并且当观看空间中的真实对象时，每只眼睛将具有该对象的稍微不同的视图，并且可以在每只眼睛的视网膜上的不同位置处形成该对象的图像。这可以被称为双目视差，并且可以被人类视觉系统用来提供对深度的感知。传统的显示系统通过呈现具有相同虚拟对象的略有不同的视图的两个不同的图像190、200(每只眼睛210、220对应一个图像)来模拟双目视差，该略有不同的视图对应于每只眼睛将看到的虚拟对象的视图，如果虚拟对象是期望深度的真实对象的话。这些图像提供了双目提示，用户的视觉系统可以将其解释为获得深度的感知。

继续参考图8，图像190、200与眼睛210、220在z轴上间隔开距离230。z轴与观看者的光轴平行，其眼睛注视在观看者正前方的光学无限远处的对象上。图像190、200是平坦的并且距眼睛210、220固定的距离。基于分别呈现给眼睛210、220的图像中的虚拟对象的略微不同的视图，眼睛可以自然地旋转，使得对象的图像落在每只眼睛的视网膜上的对应点上，以保持单个双目视觉。该旋转可导致眼睛210、220中的每只眼睛的视线会聚到空间上的一点，在该点处虚拟对象被感知为存在。结果，提供三维图像通常涉及提供双目提示，该双目提示可操纵用户眼睛210、220的聚散，并且人类视觉系统将其解释为提供深度的感知。

然而，生成对深度的现实且舒适的感知是具有挑战性的。应当理解，来自距眼睛不同距离处的对象的光具有带有不同发散量的波前。图9A-9C示出了距离与光线的发散之间的关系。对象与眼睛210之间的距离由R1、R2和R3按减小距离的顺序表示。如图9A-9C中所示，随着距对象的距离减小，光线变得更加发散。相反，随着距离增加，光线变得更加准直。换句话说，可以说由点(对象或对象的一部分)产生的光场具有球面波前曲率，该曲率是该点距用户眼睛多远的函数。曲率随着对象和眼睛210之间的距离减小而增加。尽管为了清楚起见在图9A-9C和在此的其它图中仅示出了单只眼睛210，但是关于眼睛210的讨论可以应用于观看者的两只眼睛210和220。

继续参考图9A-9C，观看者眼睛注视在其上的对象发出的光可能具有不同程度的波前发散。由于不同量的波前发散，眼睛的晶状体可能会不同地聚焦光，这进而可能会要求晶状体采取不同的形状以在眼睛的视网膜上形成聚焦图像。在未在视网膜上形成聚焦图像的情况下，所产生的视网膜模糊可作为适应的提示，该适应引起眼睛晶状体形状的改变，直到在视网膜上形成聚焦图像为止。例如，适应的提示可触发眼睛晶状体周围的睫状肌松弛或收缩，从而调节施加到保持晶状体的悬韧带的力，从而引起眼睛晶状体的形状改变直到注视对象的视网膜模糊被消除或最小化，从而在眼睛的视网膜(例如，中央凹)上形成注视对象的聚焦图像。眼睛的晶状体改变形状的过程可以被称为适应，并且形成在眼睛的视网膜(例如，中央凹)上的注视对象的聚焦图像所需的眼睛的晶状体的形状可以被称为适应状态。

现在参考图10，示出了人类视觉系统的适应-聚散响应的表示。眼睛注视在对象上的运动使眼睛接收来自对象的光，该光在眼睛的每个视网膜上形成图像。在视网膜上形成的图像中视网膜模糊的存在可以提供适应的提示，并且图像在视网膜上的相对位置可以为聚散提供提示。适应的提示使适应发生，导致眼睛的晶状体各自呈现特定的适应状态，该特定的适应状态形成了对象在眼睛的视网膜(例如，中央凹)上的聚焦图像。另一方面，聚散的提示使聚散运动(眼睛的旋转)发生，使得形成在每只眼睛的每个视网膜上的图像位于保持单个双目视觉的对应视网膜点处。在这些位置中，可以说眼睛已呈现特定的聚散状态。继续参考图10，适应可以被理解为眼睛达到特定的适应状态的过程，而聚散可以被理解为眼睛达到特定的聚散状态的过程。如图10中所示，如果用户注视在另一对象上，则眼睛的适应和聚散状态可能改变。例如，如果用户注视在z轴上的不同深度处的新对象上，则适应状态可能改变。

在不受理论限制的情况下，相信对象的观看者可能由于聚散和适应的组合而将对象感知为“三维”。如上所述，两只眼睛相对于彼此的聚散运动(例如，眼睛的旋转，使得瞳孔彼此朝向或远离移动以会聚眼睛的视线以注视在对象上)与眼睛的晶状体的适应紧密相关。在正常情况下，改变眼睛的晶状体形状以将焦点从一个对象改变到不同距离处的另一对象，将在称为“适应-聚散反射”的关系下自动导致在聚散上距相同距离的匹配变化。同样，在正常情况下，聚散的变化将触发晶状体形状的匹配变化。

现在参考图11，示出了眼睛的不同适应和聚散状态的示例。一对眼睛222a注视在光学无限远处的对象，而一对眼睛222b注视在小于光学无限远处的对象221上。值得注意的是，每对眼睛的聚散状态不同，该对眼睛222a笔直指向前方，而该对眼睛222会聚在对象221上。形成每对眼睛222a和222b的眼睛的适应状态也不同，如晶状体210a、220a的不同形状所代表的。

不期望地，由于显示器中的适应状态和聚散状态之间的失配，传统“3D”显示系统的许多用户发现此类传统系统不舒适或根本无法感知深度感。如上所述，许多立体或“3D”显示系统通过向每只眼睛提供略有不同的图像来显示场景。此类系统对于许多观看者来说是不舒适的，因为它们尤其提供了场景的不同呈现并且引起眼睛的聚散状态的改变，但是没有相应地改变那些眼睛的适应状态。相反，通过显示器在距眼睛的固定距离处示出图像，使得眼睛在单个适应状态下观看所有图像信息。此类布置通过引起聚散状态的变化而没有适应状态的匹配变化来对抗“适应-聚散反射”。据信该失配会引起观看者不适。在适应和聚散之间提供更优匹配的显示系统可能会形成更逼真的且更舒适的三维图像模拟。

不受理论的限制，据信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面相对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。在一些实施例中，不同的呈现可以提供聚散的提示和适应的匹配提示二者，从而提供生理上正确的适应-聚散匹配。

继续参考图11，示出了两个深度平面240，其对应于距眼睛210、220在空间上的不同距离。对于给定的深度平面240，可以通过为每只眼睛210、220显示适当不同视角的图像来提供聚散提示。此外，对于给定的深度平面240，形成提供给每只眼睛210、220的图像的光可以具有与该深度平面240的距离处的点所产生的光场相对应的波前发散。

在所示的实施例中，包含点221的深度平面240沿z轴的距离为1m。如在此所使用的，可以采用位于用户眼睛的瞳孔处的零点来测量沿z轴的距离或深度。因此，位于深度为1m的深度平面240对应于在这些眼睛的光轴上距用户眼睛的瞳孔1m的距离，其中眼睛朝向光学无限远引导。作为近似，可以从用户眼睛前面的显示器(例如，从光导的表面)测量沿z轴的深度或距离，再加上该设备与用户眼睛的瞳孔之间的距离值。该值可以称为眼距，并且对应于用户眼睛的瞳孔与用户在眼睛前面佩戴的显示器之间的距离。实际上，眼距的值可以是通常用于所有观看者的归一化值。例如，可以假设眼距为20mm，并且深度1m处的深度平面在显示器前面的距离可以为980mm。

现在参考图12A和12B，分别示出了匹配的适应-聚散距离和失配的适应-聚散距离的示例。如图12A中所示，显示系统可以向每只眼睛210、220提供虚拟对象的图像。图像可以使眼睛210、220呈现聚散状态，在该状态中眼睛会聚在深度平面240上的点15上。另外，图像可以由具有与该深度平面240处的真实对象相对应的波前曲率的光形成。结果，眼睛210、220呈现适应状态，在该状态中图像聚焦在那些眼睛的视网膜上。因此，用户可以将虚拟对象感知为在深度平面240上的点15处。

应当理解，眼睛210、220的适应状态和聚散状态中的每一种状态都与z轴上的特定距离相关联。例如，距眼睛210、220特定距离处的对象使那些眼睛基于该对象的距离呈现特定的适应状态。与特定的适应状态相关联的距离可以被称为适应距离A_d。类似地，在特定的聚散状态或相对于彼此的位置中，存在与眼睛相关联的特定的聚散距离V_d。在适应距离和聚散距离匹配的情况下，适应和聚散之间的关系可以说是生理上正确的。对于观看者来说，这被认为是最舒适的场景。

然而，在立体显示器中，适应距离和聚散距离可能并不总是匹配。例如，如图12B中所示，显示给眼睛210、220的图像可以以与深度平面240相对应的波前发散来显示，并且眼睛210、220可以呈现特定的适应状态，在该状态中在该深度平面上的点15a、15b处于焦点。然而，显示给眼睛210、220的图像可能会提供聚散提示，该提示使眼睛210、220会聚在未位于深度平面240上的点15上。结果，在一些实施例中，适应距离对应于从眼睛210、220的瞳孔到深度平面240的距离，而聚散距离对应于从眼睛210、220的瞳孔到点15的较大距离。适应距离不同于聚散距离。因此，存在适应-聚散失配。此类失配被认为是不期望的，并且可能导致用户不适。应当理解，失配对应于距离(例如，V_d-A_d)，并且可以使用屈光度来表征。

在一些实施例中，应当理解，除了眼睛210、220的瞳孔之外的参考点可以被用于确定用于确定适应-聚散失配的距离，只要相同的参考点被用于适应距离和聚散距离。例如，可以测量从角膜到深度平面，从视网膜到深度平面，从目镜(例如，显示设备的光导)到深度平面的距离等。

在不受理论限制的情况下，据信用户仍可将高达约0.25屈光度、高达约0.33屈光度和高达约0.5屈光度的适应-聚散失配感知为生理上正确的，而失配本身不会引起严重不适。在一些实施例中，在此公开的显示系统(例如，图14的显示系统250)向观看者呈现具有约0.5屈光度或更小的适应-聚散失配的图像。在一些其它实施例中，由显示系统提供的图像的适应-聚散失配为约0.33屈光度或更小。在其它实施例中，由显示系统提供的图像的适应-聚散失配为约0.25屈光度或更小，包括约0.1屈光度或更小。

图13示出了通过修改波前发散来模拟三维图像的方法的方面。该显示系统包括目镜1040，该目镜1040被配置为接收用图像信息编码的光770，并将该光输出到用户的眼睛210。在一些实施例中，目镜1040可以包括光导270(例如，波导)。光导270可以输出具有限定量的波前发散的光650，该限定量的波前发散与由所期望的深度平面240上的点产生的光场的波前发散相对应。在一些实施例中，为在该深度平面上呈现的所有对象提供相同量的波前发散。另外，将说明可以向用户的另一只眼睛提供来自类似光导的图像信息。

在一些实施例中，单个光导可以被配置为输出具有与单个或有限数量的深度平面相对应的设定量的波前发散的光，和/或光导可以被配置为输出有限波长范围的光。因此，在一些实施例中，目镜1040可以包括多个或堆叠的光导，可以利用多个或堆叠的光导来为不同的深度平面提供不同量的波前发散和/或输出不同波长范围的光。如在此所使用的，应当理解，在深度平面处可以遵循平坦或弯曲表面的轮廓。在一些实施例中，为简单起见，有利地，深度平面可以遵循平坦表面的轮廓。

图14示出了用于向用户输出图像信息的光导堆叠的示例。显示系统250包括目镜1040，该目镜1040具有光导的堆叠或堆叠的光导组件260，其可以用于使用多个光导270、280、290、300、310向眼睛/大脑提供三维感知。将理解的是，在一些实施例中，显示系统250可以被认为是光场显示器。

在一些实施例中，显示系统250可以被配置为提供聚散的基本上连续的提示和适应的多个离散的提示。可以通过向用户的每只眼睛显示不同的图像来提供聚散的提示，并且可以通过输出具有形成可选择的离散量的波前发散的图像的光来提供适应的提示。换句话说，显示系统250可以被配置为输出具有可变水平的波前发散的光。在一些实施例中，波前发散的每个离散水平对应于特定的深度平面，并且可以由光导270、280、290、300、310中的特定一个光导提供。

继续参考图14，光导组件260还可以在光导之间包括多个特征320、330、340、350。在一些实施例中，特征320、330、340、350可以是一个或多个透镜。在一些实施例中，透镜320、330、340、350可以对应于透镜1046(图2A)。光导270、280、290、300、310和/或多个透镜320、330、340、350可以被配置为以各种水平的波前曲率或光线发散向眼睛发送图像信息。每个光导水平可以与特定的深度平面相关联并且可以被配置为输出与该深度平面相对应的图像信息。

在一些实施例中，通过图像注入系统520将光注入到光导270、280、290、300、310中，该图像注入系统520包括光模块530，该光模块530可以包括诸如发光二极管(LED)的光发射器。来自光模块530的光可以经由分束器550被引导至光调制器540(例如，空间光调制器)并由其修改。将理解的是，光模块530可以对应于光源1000，并且光调制器540可以对应于图像SLM 1020(图2A-7)。

光调制器540可以被配置为改变注入到光导270、280、290、300、310中的光的感知强度，以采用图像信息对光进行编码。空间光调制器的示例包括液晶显示器(LCD)，该液晶显示器包括硅上液晶(LCOS)显示器。在一些实施例中，图像注入系统520可以是包括一根或多根扫描纤维的扫描纤维显示器，该一根或多根扫描纤维被配置为将各种图案(例如，光栅扫描，螺旋扫描，李沙育图案等)的光投射到一个或多个光导270，280、290、300、310中，最后到达观看者的眼睛210。

继续参考图14，控制器560控制堆叠的光导组件260，光源530和光调制器540中的一个或多个的操作。在一些实施例中，控制器560是本地数据处理模块140的一部分。控制器560包括编程(例如，非暂态介质中的指令)，该编程根据例如在此公开的各种方案中的任何方案来调节图像信息到光导270、280、290、300、310的定时和提供。在一些实施例中，控制器可以是单个整体设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器560可以是处理模块140或150(图17)的一部分。

继续参考图14，可以将光导270、280、290、300、310配置为通过全内反射(TIR)在每个相应的光导内传播光。光导270、280、290、300、310每个可以是平面的或具有另一种形状(例如，弯曲的)，具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸的边缘。在所示的配置中，光导270、280、290、300、310可各自包括出耦合光学元件570、580、590、600、610，其被配置为通过将在每个相应光导内传播的光重定向到光导之外以将图像信息输出到眼睛210，从而从光导中提取光。提取的光也可以称为出耦合光，并且出耦合光学元件也可以称为光提取光学元件。如在此进一步讨论的，出耦合光学元件570、580、590、600、610可以例如是包括衍射光学特征的光栅。虽然示出为设置在光导270、280、290、300、310的底部主表面上，但是为了便于描述和清楚作图起见，在一些实施例中，如在此进一步讨论的，出耦合光学元件570、580、590、600、610可以设置在顶部和/或底部主表面上，和/或可以直接设置在光导270、280、290、300、310的体积中。在一些实施例中，出耦合光学元件570、580、590、600、610可以形成为材料层，该材料层附接到透明基板以形成光导270、280、290、300、310。在其它实施例中，光导270、280、290、300、310可以是单片材料，并且出耦合光学元件570、580、590、600、610可以形成在该片材料的表面上和/或内部中。在一些实施例中，出耦合光学元件570、580、590、600、610可以对应于透镜结构1078、1079(图5至7)。

继续参考图14，如在此所述，每个光导270、280、290、300、310被配置为输出光以形成与特定深度平面对应的图像。例如，最靠近眼睛的光导270可以被配置为将准直光传送到眼睛210。准直光可以代表光学无限远焦平面。下一个光导向上280可以被配置为在准直光可到达眼睛210之前发出穿过第一透镜350(例如，负透镜)的准直光；此类第一透镜350可以被配置为产生轻微的凸面的波前曲率，使得眼睛/大脑将来自下一个光导向上280的光解释为来自光学无限远更近地向内朝向眼睛210的第一焦平面。类似地，第三向上光导290在到达眼睛210之前使它的输出光通过第一透镜350和第二透镜340二者；第一350和第二340透镜的组合光焦度(optical power)可以被配置为产生另一增量的波前曲率，使得眼睛/大脑将来自第三光导290的光解释为来自第二焦平面，该第二焦平面比来自下一个光导向上280的光从光学无限远更近地向内朝向人。

其它光导层300、310和透镜330、320被类似地配置，其中堆叠中的最高光导310通过其与眼睛之间的所有透镜发送其输出，以代表最接近人的焦平面的总(aggregate)焦度。在观看/解释来自堆叠光导组件260的另一侧上的世界510的光时，为了补偿透镜320、330、340、350的堆叠，可以在堆叠的顶部设置补偿透镜层620，以补偿下面的透镜堆叠320、330、340、350的总焦度。此类配置提供与可用的光导/透镜对一样多的感知焦平面。光导的出耦合光学元件和透镜的聚焦方面二者都可以是静态的(即，不是动态的或电激活的)。在一些替代实施例中，使用电激活特征，上述中的一个或二者可以是动态的。

在一些实施例中，光导270、280、290、300、310中的两个或更多个光导可以具有相同的相关联深度平面。例如，多个光导270、280、290、300、310可以被配置为输出设置到相同深度平面的图像，或者光导270、280、290、300、310的多个子集可以被配置为输出设置到相同的多个深度平面的图像，其中对于每个深度平面设置一个子集。这可以提供用于形成平铺图像以在那些深度平面处提供扩大的视野的优点。

继续参考图14，出耦合光学元件570、580、590、600、610可以被配置为既将光重定向到其相应的光导之外，并且针对与光导相关联的特定深度平面以适当的发散量或准直输出该光。结果，具有不同的相关联深度平面的光导可以具有出耦合光学元件570、580、590、600、610的不同配置，其取决于相关联的深度平面以不同的发散量输出光。在一些实施例中，光提取光学元件570、580、590、600、610可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件570、580、590、600、610可以是体积全息图、表面全息图和/或衍射光栅。在一些实施例中，特征320、330、340、350可以不是透镜；相反，它们可以简单地是间隔物(例如，用于形成气隙的包层和/或结构)。

在一些实施例中，一个或多个DOE可以在它们主动衍射的“开”状态和它们没有明显衍射的“关”状态之间切换。例如，可切换DOE可以包含聚合物分散的液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以切换为与主体材料的折射率基本上匹配(在该情况下，该图案不会明显地衍射入射光)，或者可以将微滴切换到与主体介质的折射率不匹配的折射率(在该情况下，该图案主动衍射入射光)。

在一些实施例中，如在此所讨论的，可以提供眼睛成像组件1056(例如，包括可见光和红外光相机的数字相机)以捕获眼睛210的图像。如在此所使用的，相机可以是任何图像捕获设备。在一些实施例中，眼睛成像组件1056可包括图像捕获设备和以将光(例如，红外光)投射到眼睛的光源，然后该光可被眼睛反射并被图像捕获设备检测。在一些实施例中，眼睛成像组件1056可以附接到框架80(图17)，并且可以与处理模块140和/或150电连通，该处理模块140和/或150可以处理来自眼睛成像组件1056的图像信息。在一些实施例中，一个眼睛成像组件1056可以用于每只眼睛，以分别监视每只眼睛。

在一些实施例中，可以通过在诸如三个或更多个分量颜色的每个分量颜色中覆盖图像来在每个深度平面处形成全色图像。图15示出了堆叠光导组件的示例，其中每个深度平面包括使用多个不同分量颜色形成的图像。所示的实施例示出了深度平面240a-240f，但是也可以考虑更多或更少的深度。每个深度平面可以具有与其相关联的三个或更多个分量颜色图像，包括：第一颜色G的第一图像；第二颜色R的第二图像；以及第三颜色B的第三图像。在图中，不同的深度平面由字母G、R和B之后的屈光度(dpt)的不同数字表示。作为示例，这些字母中的每个字母之后的数字都指示屈光度(1/m)或深度平面距观看者的距离的倒数，并且图中的每个框代表单独的分量颜色图像。在一些实施例中，为了解决眼睛对不同波长的光聚焦的差异，针对不同分量颜色的深度平面的确切位置可能会有所不同。例如，针对给定深度平面的不同分量颜色图像可以被放置在与距用户的不同距离对应的深度平面上。此类布置可以增加视觉敏锐度和用户舒适度和/或可以减少色差。

在一些实施例中，每个分量颜色的光可以由单个专用光导输出，并且因此，每个深度平面可以具有与其相关联的多个光导。在此类实施例中，图中的包括字母G、R或B的每个框可以被理解为代表单独的光导，并且每深度平面可以提供三个光导，其中每深度平面提供三个分量颜色图像。尽管为了便于描述，在该图中将与每个深度平面相关联的光导示出为彼此相邻，但是应当理解，在物理设备中，光导可以全部以每个层级一个光导的形式布置在堆叠中。在一些其它实施例中，相同的光导可以输出多个分量颜色，使得例如每深度平面可以仅提供单个光导。

继续参考图15，在一些实施例中，G是绿色，R是红色，并且B是蓝色。在一些其它实施例中，除了红色、绿色或蓝色中的一个或多个之外或可以替代红色、绿色或蓝色中的一个或多个，可以使用与其它波长的光相关联的其它颜色，包括品红色和青色。

应当理解，在整个本公开中，对给定颜色的光的引用将被理解为涵盖被观看者感知为给定颜色的光的波长范围内的一个或多个波长的光。例如，红光可以包括在约620-780nm范围内的一个或多个波长的光，绿光可以包括在约492-577nm范围内的一个或多个波长的光，并且蓝光可以包括在约435-493nm范围内的一个或多个波长的光。

在一些实施例中，光源530(图14)可以被配置为发射观看者的视觉范围之外的一个或多个波长的光，例如，红外和/或紫外波长。另外，显示器250的光导的入耦合、出耦合和其它光重定向结构可以被配置为将该光朝向用户的眼睛210引导并发射出显示器，例如，用于成像和/或用户刺激应用。

现在参考图16，在一些实施例中，可以重定向撞击到光导上的光以将该光入耦合到光导中。入耦合光学元件可以用于将光重定向并入耦合到其对应的光导中。图16示出了多个堆叠光导或堆叠光导组660的示例的横截面侧视图，每个堆叠光导包括入耦合光学元件。光导可以各自被配置为输出一种或多种不同波长或一种或多种不同波长范围的光。应当理解，堆叠660可以对应于堆叠260(图14)，并且堆叠660中的所示光导可以对应于多个光导270、280、290、300、310的一部分。

所示的堆叠光导组660包括光导670、680和690。每个光导包括相关联的入耦合光学元件(其也可以称为光导上的光输入区域)，例如，设置在光导670的主表面(例如，上主表面)上的入耦合光学元件700、设置在光导680的主表面(例如，上主表面)上的入耦合光学元件710，以及设置在光导690的主表面(例如，上主表面)上的入耦合光学元件720。在一些实施例中，入耦合光学元件700、710、720中的一个或多个可以设置在相应的光导670、680、690(特别是一个或多个入耦合光学元件是反射的偏转光学元件的情况)的底部主表面上。如图所示，入耦合光学元件700、710、720可设置在它们相应的光导670、680、690(或下一个较低的光导的顶部)的上主表面上，特别是那些入耦合光学元件是透射的偏转光学元件的情况。在一些实施例中，入耦合光学元件700、710、720可设置在相应的光导670、680、690的主体中。在一些实施例中，如在此所讨论的，入耦合光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其它波长的光。虽然在它们相应的光导670、680、690的一侧或角上示出，但是应当理解，在一些实施例中，入耦合光学元件700、710、720可以设置在其相应的光导670、680、690的其它区域中。入耦合光学元件700、710、720可以对应于透镜结构1076、1077(图5至7)。

如图所示，入耦合光学元件700、710、720可以在横向上彼此偏移。在一些实施例中，每个入耦合光学元件可以被偏移，使得其接收光而该光不穿过另一入耦合光学元件。例如，每个入耦合光学元件700、710、720可被配置为从不同的SLM或图像SLM的不同部分接收光，并且可以与其它入耦合光学元件700、710、720分离(例如，横向间隔开)，使得其基本上不接收入射到入耦合光学元件700、710、720中其他光学元件上的光。此外，每个入耦合光学元件700、710、720可以具有专用的关联SLM，以显示观看者眼睛的负像，或可以在光源SLM1000与入耦合光学元件700、710、720中的各个对应的不同部分显示负像。在一些实施例中，每个入耦合光学元件700、710、720可具有专用的相关光学元件，包括从显示的负像到对应的入耦合光学元件700、710或720的光路上的专用相关的光源会聚/准直光学器件和中继光学器件。

光导670、680、690可以例如由气体、液体和/或固体材料层间隔开并分离。例如，如图所示，层760a可以分离光导670和680；并且层760b可以分离光导680和690。在一些实施例中，层760a和760b由低折射率材料(也就是说，具有比形成光导670、680、690中的紧邻光导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率是形成光导670、680、690的材料的折射率的0.05或更大，或者是0.10或更小。有利地，较低折射率层760a、760b可以用作包层，该包层有助于通过光导670、680、690的光的全内反射(TIR)(例如，每个光导的顶部和底部主表面之间的TIR)。在一些实施例中，层760a、760b由空气形成。尽管未示出，但是应当理解，所示出的光导组660的顶部和底部可以包括紧邻的包层。

优选地，为了易于制造和其它考虑，形成光导670、680、690的材料相似或相同，并且形成层760a、760b的材料相似或相同。在一些实施例中，在一个或多个光导之间，形成光导670、680、690的材料可以是不同的，和/或形成层760a、760b的材料可以是不同的，同时仍保持上述各种折射率关系。

继续参考图16，光线770、780、790入射在该光导组660上。在一些实施例中，光线770、780、790具有不同的特性，例如，不同的波长或不同的波长范围，其可以对应于不同的颜色。入耦合光学元件700、710、720每个使入射光偏转，使得光通过TIR传播通过光导670、680、690中的相应一个光导。在一些实施例中，入耦合光学元件700、710、720每个选择性地偏转一个或多个特定波长的光，同时将其它波长透射到下面的光导和相关联的入耦合光学元件。

例如，入耦合光学元件700可以被配置为使具有第一波长或波长范围的光线770偏转，同时透射分别具有不同的第二和第三波长或波长范围的光线780和790。透射光线780撞击到入耦合光学元件710上并由其偏转，该入耦合光学元件710被配置为使第二波长或波长范围的光偏转。光线790由入耦合光学元件720偏转，该入耦合光学元件720被配置为选择性地偏转第三波长或波长范围的光。

继续参考图16，偏转的光线770、780、790被偏转，使得它们传播通过对应的光导670、680、690；也就是说，每个光导的入耦合光学元件700、710、720将光偏转到对应的光导670、680、690中，以将光入耦合到对应的光导中。光线770、780、790以使光通过TIR传播通过相应波导670、680、690的一定角度偏转。然后，光线770、780、790分别射在出耦合光学元件800、810、820上。在一些实施例中，出耦合光学元件800、810、820可以对应于透镜结构1078、1079(图5至7)。

相应地，参考图16，在一些实施例中，该光导组660包括光导670、680、690；入耦合光学元件700、710、720；以及用于每个分量颜色的出耦合光学元件800、810、820。光导670、680、690可以以每个光导之间的气隙/包层堆叠。入耦合光学元件700、710、720将入射光(具有接收不同波长的光的不同的入耦合光学元件)重定向或偏转到其光导中。然后，光以一定角度传播，该角度将导致相应的光导670、680、690内的TIR。在所示示例中，光线770(例如，蓝光)被第一入耦合光学元件700偏转，并且然后继续向下反弹光导，以及然后与出耦合光学元件800相互作用。光线780和790(例如，分别为绿光和红光)将穿过光导670，光线780撞击在入耦合光学元件710上并被入耦合光学元件710偏转。然后，光线780经由TIR向下反弹光导680，继续进行到出耦合光学元件810。最后，光线790(例如，红光)穿过光导690撞击到光导690的光入耦合光学元件720上。光入耦合光学元件720使光线790偏转，使得光线通过TIR传播到出耦合光学元件820。然后，出耦合光学元件820最终将光线790出耦合到观看者，该观看者还可以从其它光导670、680接收出耦合光。

图17示出了可穿戴显示系统60的示例，可将在此所公开的各种光导和相关系统集成到该显示系统60中。在一些实施例中，显示系统60是图14的系统250，图14示意性地更详细地示出了该系统60的一些部分。例如，图14的光导组件260可以是显示器70的一部分。

继续参考图17，显示系统60包括显示器70，以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以耦合至框架80，该框架80可由显示系统用户或观看者90穿戴，并且被配置为将显示器70定位在用户90的眼睛前面。在一些实施例中，显示器70可以被认为是眼镜。在一些实施例中，扬声器100耦合到框架80，并且被配置为定位在用户90的耳道附近(在一些实施例中，未示出的另一扬声器可以可选地定位在用户的另一耳道附近，以提供立体声/整形的声音控制)。显示系统60还可包括一个或多个麦克风110或检测声音的其它设备。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令的选择、自然语言问题等)，和/或可以允许与其他人(例如与相似显示系统的其他用户)的音频通信。麦克风可以进一步被配置为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统60可进一步包括一个或多个向外定向的环境传感器112，该环境传感器112被配置为检测用户周围的对象、刺激、人、动物、位置或世界的其它方面。例如，环境传感器112可以包括一个或多个相机，该相机可以例如面向外定位以便捕获与用户90的普通视野的至少一部分类似的图像。在一些实施例中，显示系统还可以包括外围传感器120a，该外围传感器120a可以与框架80分离并附接到用户90的身体(例如，用户90的头部、躯干、四肢上等)。在一些实施例中，外围传感器120a可以被配置为获得表征用户90的生理状态的数据。例如，传感器120a可以是电极。

继续参考图17，显示器70通过通信链路130(诸如通过有线导线或无线连接)可操作地耦合到本地数据处理模块140，该本地数据处理模块140可以以各种配置安装，诸如固定地附接到框架80，固定地附接到用户佩戴的头盔或帽子，嵌入耳机中，或者以其它方式可移除地附接到用户90(例如，以背包式配置、以皮带耦合式配置)。类似地，传感器120a可以通过通信链路120b(例如，有线导线或无线连接)可操作地耦合到本地处理器和数据模块140。本地处理和数据模块140可以包括硬件处理器以及数字存储器，诸如非易失性存储器(例如，闪存或硬盘驱动器)，二者均可以用于辅助数据的处理、缓存和存储。可选地，本地处理器和数据模块140可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。数据可以包括如下数据：a)从传感器(例如，可以可操作地耦合到框架80或以其它方式附接到用户90)捕获的，诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线设备、陀螺仪和/或在此公开的其它传感器；和/或b)使用远程处理模块150和/或远程数据存储库160(包括与虚拟内容有关的数据)获得和/或处理的，可能在此类处理或取得之后传递给显示器70。本地处理和数据模块140可以由通信链路170、180，诸如经由有线或无线通信链路，可操作地耦合到远程处理模块150和远程数据存储库160，使得这些远程模块150、160可操作地彼此耦合，并可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括一个或多个图像捕获设备、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线设备和/或陀螺仪。在一些其它实施例中，这些传感器中的一个或多个传感器可以附接到框架80，或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。

继续参考图17，在一些实施例中，远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器，例如包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。在一些实施例中，远程数据存储库160可以包括数字数据存储设施，该数字数据存储设施可以通过互联网或“云”资源配置中的其它网络配置而可用。在一些实施例中，远程数据存储库160可以包括一个或多个远程服务器，该远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如用于生成增强现实内容的信息。在一些实施例中，所有数据都存储在本地处理和数据模块中，并且所有计算都在本地处理和数据模块中执行，从而允许从远程模块完全自主地使用。可选地，包括CPU、GPU等的外部系统(例如，一个或多个处理器、一个或多个计算机的系统)可以执行至少一部分处理(例如，生成图像信息、处理数据)，并且例如经由无线或有线连接向模块140、150、160提供信息，以及从模块140、150、160接收信息。

计算机视觉检测所捕获的图像中的对象或特征

如上所述，显示系统可以被配置为检测捕获的图像中的对象或特征。在一些实施例中，可以使用计算机视觉技术来检测图像中存在的对象或特征。例如，显示系统可以被配置为对所捕获的图像执行图像分析，以确定在那些图像中特定对象或特征的存在。在一些实施例中，显示系统可以分析所捕获的图像以确定眼瞳的存在和轮廓。

可以使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关按键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、均值平移(Mean-shift)算法、视觉同时定位和地图构建(vSLAM)技术、顺序贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundle adjustment)、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持矢量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)，等等。

机器学习

可以使用各种机器学习算法来学习识别眼瞳的存在、形状、位置等。一旦训练，机器学习算法可以由显示系统存储。机器学习算法的一些示例可以包括：有监督或无监督的机器学习算法、包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习矢量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k-均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机、或深度神经网络)、降维算法(例如，主要成分分析)、整体算法(例如，堆叠泛化)和/或其他机器学习算法。在一些实施例中，可以为各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基本模型。基本模型可以用作起点以生成特定于数据类型(例如，特定用户)、数据集(例如，获得的附加图像的集合)、有条件情况或其他变化的附加模型。在一些实施例中，显示系统可被配置为利用多种技术来生成用于分析聚合数据的模型。其他技术可以包括使用预定义的阈值或数据值。

用于检测对象或特征的标准可以包括一个或多个阈值条件。如果对捕获的图像的分析指示通过了阈值条件，则显示系统可以提供指示检测到图像中存在对象的信号。阈值条件可能涉及定量和/或定性测量。例如，阈值条件可以包括与对象在图像中存在的可能性相关的分数或百分比。显示系统可以将根据捕获的图像计算出的分数与阈值分数进行比较。如果分数高于阈值水平，则显示系统可以检测到对象或特征的存在。在一些其他实施例中，如果得分低于阈值，则显示系统可以发信号通知图像中不存在对象。

还应当理解，在此描述和/或附图中描绘的每个过程、方法和算法可以在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或配置为执行具体和特定的计算机指令的电子硬件所执行的代码模块中体现或完全或部分地自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释性编程语言编写。在一些实施例中，可以由特定于给定功能的电路来执行特定操作和方法。

此外，本公开的功能的某些实施例在数学、计算或技术上都足够复杂，以至于例如由于所涉及计算的数量或复杂性，可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，或实质上实时地提供结果。例如，视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间内提供所需的图像处理任务或应用。

代码模块或任何类型的数据可以存储在任何类型的非暂态计算机可读介质上，诸如物理计算机存储装置，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储装置，它们的组合等。在一些实施例中，非暂态计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一个或多个的一部分。方法和模块(或数据)也可以作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)在各种计算机可读传输介质上发送，包括基于无线的和有线的/基于电缆的介质，并且可以采用多种形式(例如，作为单个或多路复用模拟信号的一部分，或作为多个离散数字包或帧)。所公开的过程或过程步骤的结果可以永久地或以其它方式存储在任何类型的非暂态有形计算机存储装置中，或者可以经由计算机可读传输介质进行通信。

在此描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地代表包括用于在过程中实现特定功能(例如，逻辑或算术)或步骤的一个或多个可执行指令的代码模块、代码段或代码部分。各种过程、框、状态、步骤或功能可以与在此提供的说明性示例相结合、重新布置、添加、删除、修改或以其它方式改变。在一些实施例中，附加或不同的计算系统或代码模块可以执行在此描述的一些或全部功能。在此描述的方法和过程也不限于任何特定的顺序，并且与其相关的框、步骤或状态可以以适当的其它顺序来执行，例如，串行、并行或以一些其它方式。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，在此描述的实施例中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实施例中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在单个计算机产品中或包装到多个计算机产品中。

在前述说明书中，已经参考本发明的特定实施例描述了本发明。然而，将显而易见的是，在不脱离本发明的更广泛精神和范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图应被认为是说明性而非限制性的。

实际上，应当理解，本公开的系统和方法均具有若干创新方面，其中没有一个对在此公开的期望属性负有单独责任或要求。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。

在单独的实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是在一些情况下，可以从该组合中切除所要求保护的组合中的一个或多个特征，并且可以将所要求保护的组合用于子组合或子组合的变体。对于每个和所有实施例，没有单个特征或一组特征是必要的或必不可少的。

应当理解，除非另外特别说明，否则在此使用的条件语言，诸如“能”、“可”、“可能”、“可以”、“例如”等通常旨在传达某些实施例包括而某些实施例不包括某些特征、元件和/或步骤。因此，此类条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必须包括用于在有或没有作者输入或提示的情况下确定在任何特定实施例中是否包括或将要执行这些特征、元素和/或步骤的逻辑。术语“包括”、“包含”、“具有”等是同义词，并且以开放式方式包含在内，并且不排除附加元素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，使得例如在用于连接元素列表时，术语“或”表示一个、一些或列表中的全部元素。另外，在本申请和所附权利要求书中使用的冠词“一”、“一个”和“该”应被解释为表示“一个或多个”或“至少一个”，除非另有说明。类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或以顺序的次序执行此类操作，或者不需要执行所有示出的操作来获得所需的结果。此外，附图可以以流程图的形式示意性地描绘另一示例过程。然而，未示出的其它操作可以结合在示意性示出的示例方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其它实施例中，操作可以被重新布置或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包成多个软件产品。另外，其它实施例在所附权利要求的范围内。在某些情况下，权利要求中记载的动作可以以不同的顺序执行并且仍然实现所需的结果。

因此，权利要求书无意限于在此所展示的实施例，而是应被赋予与在此所揭示的本发明、原理及新颖特征一致的最广范围。

Claims (20)

1.一种用于向观看者显示图像的方法，所述方法包括：

提供显示设备，所述显示设备包括被配置为显示图像的光源；

将所述观看者的眼睛的瞳孔的位置与所述显示设备的出射光瞳对准，其中对准所述位置包括：

捕获所述观看者的眼睛的图像；以及

在所述光源上显示所述眼睛的图像的负像；以及

调制形成所述负像的光以向所述观看者的所述眼睛提供图像内容。

2.根据权利要求1所述的方法，其中，调制形成所述负像的光包括使所述光传播通过空间光调制器。

3.根据权利要求1所述的方法，其中，所述光源是空间光调制器，其中，所述负像被显示在所述空间光调制器上。

4.根据权利要求1所述的方法，其中，所述眼睛的所述负像限定所述显示器的出射光瞳的位置，

其中，在向所述眼睛提供图像内容时，对准所述眼睛的所述瞳孔的所述位置被连续地执行，

其中，捕获所述眼睛的所述图像并显示所述图像的所述负像以每秒60次或更多次被执行。

5.一种用于向观看者显示图像的方法，所述方法包括：

提供显示设备，所述显示设备包括被配置为从多个不同的光输出位置向所述观看者的眼睛输出光的光源；

将所述显示设备的出射光瞳的位置与所述观看者的所述眼睛的瞳孔的位置对准，其中，对准包括：

捕获所述眼睛的图像；以及

从与所述眼睛的所述图像中所述眼睛的所述瞳孔的位置对应的所述光源的一个或多个位置选择性地发射光。

6.根据权利要求5所述的方法，还包括：

调制从所述一个或多个位置发射的所述光；以及

将所调制的光传播到所述眼睛以向所述观看者提供图像内容。

7.根据权利要求5所述的方法，其中，所述光源包括空间光调制器。

8.根据权利要求5所述的方法，还包括：将所述眼睛的所述图像转换成负像，

其中，选择性地发射光包括在所述光源上显示所述负像。

9.一种头戴式显示系统，包括：

眼睛成像设备，其被配置为捕获用户的眼睛的图像；

光源，其包括被配置为发射光以形成所述眼睛的负像的多个选择性激活的发光位置；以及

空间光调制器，其被配置为通过在形成所述眼睛的所述负像的所述光中编码图像信息来向所述用户显示图像内容。

10.根据权利要求9所述的显示系统，其中，所述眼睛成像设备包括相机。

11.根据权利要求9所述的显示系统，其中，所述光源是另一空间光调制器。

12.根据权利要求11所述的显示系统，其中，所述另一空间光调制器是发射式空间光调制器。

13.根据权利要求12所述的显示系统，其中，所述发射式空间光调制器是LED阵列。

14.根据权利要求9所述的显示系统，还包括：

光源光学器件，其被配置为准直从所述光源传播到所述空间光调制器的光；

光源中继光学器件，其被配置为接收来自所述空间光调制器的光并形成所述光源的图像；以及

光瞳中继光学器件，其被配置为接收来自所述光源中继光学器件的光并向所述眼睛提供同时的所述光源和所述空间光调制器的图像。

15.根据权利要求9所述的显示系统，还包括：被配置为将来自所述空间光调制器的光朝向所述用户的眼睛引导的光导。

16.根据权利要求15所述的显示系统，其中，所述光导具有光焦度并且被配置为输出具有发散波前的光。

17.根据权利要求16所述的显示系统，还包括多个所述光导，其中，所述多个光导中的至少一些光导具有与所述多个光导中的其他光导不同的光焦度。

18.根据权利要求9所述的显示系统，还包括：被配置为安装在所述用户的头部的框架，

其中，所述眼睛成像设备的至少光捕获部分被附接到所述框架，以及

其中，所述空间光调制器被附接到所述框架。

19.根据权利要求9所述的显示系统，其中，所述显示系统被配置为对所捕获的所述眼睛的图像进行阈值处理以将所捕获的图像转换为对应的负像。

20.根据权利要求9所述的显示系统，其中，所述光源是二进制空间光调制器，其中，所述选择性激活的发光位置具有开启状态和关闭状态。

Images