CN113383260A - 具有对于观看者的正确单目深度提示的光场混合现实系统 - Google Patents

Abstract

一种光场混合现实系统，包括：针式光阵列(10)，其生成照射光学光调制器(20)的入射光场(100)；光学光调制器(20)，被配置用于调制入射光场(100)并且生成调制的虚拟光场(111)；以及组合器(40)，被配置用于反射调制的虚拟光场(111)并且投影限定沿着投影轴(170)的眼动范围区(121)的所投影的虚拟光场(110)；其中所投影的虚拟光场(110)进一步形成针式光阵列(10)在眼动范围(121)内的出射光瞳(122)和光学光调制器(20)的沿着投影轴(170)在如下处的虚拟图像(114)：在出射光瞳(122)的前方或者在出射光瞳(122)后方；以及其中组合器(40)被进一步配置用于将来自现实世界(80)的自然光朝向眼动范围(121)传输，使得所投影的虚拟光场(110)和自然光(80)这两者被投影在眼动范围(121)内。

Description

具有对于观看者的正确单目深度提示的光场混合现实系统

技术领域

本公开涉及用于混合人工创建的光场和现实世界光场的光学组合器。本公开进一步涉及近眼光场混合现实系统。

背景技术

混合现实硬件被认为将现实世界图像与人工生成的图像一起传递给人眼，现实世界图像和人工生成的图像需要由所谓的组合器进行组合的。这样的组合器包括光学元件，光学元件对于来自现实世界的光而言是透明的，即其让外部光通往观察者的眼睛瞳孔，同时其还将来自图像制成元件的虚拟图像的人工创建的光场引导至观察者的瞳孔。这样的图像制成元件可以是显示器或投影仪。现实光场和人工光场需要被以观察者可以在没有视觉冲突的情况下看到现实物体和虚拟物体这样的方式理想地组合。这要求人工创建的图像中的不同的虚拟物体可以被以不同的任意焦距来显示。该特征迄今还没有被适当地解决。

眼睛包含可变透镜，在实际世界中该可变透镜必须聚焦在所观察的物体的距离上，以便将其清晰图像投影在眼睛视网膜上。在另外的距离上的物体是离焦的，并且它们在视网膜上的图像是模糊的。然而，常规的3D显示器和投影仪从平坦屏幕将图像提供到每只眼睛或者通过使用扫描激光束或具有几乎为零的出射光瞳孔径的光场的直接视网膜投影来将图像提供到每只眼睛。前者要求眼睛聚焦在光学系统中的平坦屏幕的光学图像的距离上。

在此以及在下文中，术语“光学图像”意指物体的如通过光学系统看到的视位置。在平坦屏幕上显示的画面或者是完全清晰的或者是模糊已经存在于在它们之中并且不能被利用眼睛调节来消除模糊。当眼睛聚焦在不同于显示器的光学图像的距离的任何其它距离上时，所显示的画面的视网膜图像是模糊的。视网膜投影在视网膜上创建所投影的画面的始终对焦的图像，并且眼睛调节仅影响图像尺寸和位置。始终对焦的光场携带所有缺陷的阴影，缺陷诸如为光学路径中的尘埃斑点、眼睫毛和眼睛玻璃体浑浊。

建议了用以在3D场景的人工投影的光场中创建正确的单目深度提示的若干构思；包括：(i)全息显示器；(ii)具有快速变焦距光学元件的近眼投影仪，快速变焦距光学元件诸如为与快速显示器(诸如数字微镜面装置(DMD))组合的可变透镜或弯曲镜面；(iii)具有如下的光学器件的显示器：所述光学器件主动地控制显示器的光学图像的距离并且根据所测量或所估计的眼睛的焦距在所显示的画面中创建对应的模糊；(iv)显示器，其通过微透镜阵列或点光阵列背光来在空间上复用所显示的画面；或者(v)光学路径长度扩展器组合器或多层波导，其在两个或三个焦距上提供图像。

这些构思中的每个具有某些优点和缺点。(i)全息显示器理论上能够提供人工3D场景的完全正确的光场，但是它们遭受衍射和彩色伪影的影响，要求大量的输入数据、相干光源以及光的高分辨率相位和幅度调制。(ii)快速变焦距透镜和镜面是精密组件，并且它们的光学性质遭受光学缺陷的影响。(iii)具有被主动地控制的屏幕光学图像距离和在显示画面中的人工模糊的显示器要求测量或估计眼睛的焦距以及随之发生的投影仪光学器件和数字模糊的适配。这种构思遭受由于个体眼睛之间的差异而复杂化的测量误差的影响，并且其实际上不提供正确的光场，其仅模拟光场的效应。例如，其不能为快速移动的眼睛提供正确的微视差效应。(iv)利用通过微透镜阵列或具有透明空间光调制器的点光背光对图像进行空间复用的构思来实现商业上有吸引力的图像分辨率要求特殊的小间距高分辨率显示器，因为人工场景的每个图像点被在同一时刻显示多次以便使视网膜图像中的模糊正确地取决于眼睛的焦距。它们在增强现实应用中作为透视显示器的使用由于微透镜阵列构思包括非透明显示器并且点光阵列构思是大体积的事实而被复杂化。(v)光学路径扩展器和多层波导在诸如两个或三个的小数量的焦平面中创建图像并且要求所显示的图像在焦平面之间的有意的切换，这创建可见的伪影。

基于利用向列液晶或有机发光二极管显示器对图像时间复用的多个其它构思遭受这些显示器的小的刷新时间的影响。

最常用的类型的混合现实组合器基于在固定焦平面(波导堆叠可以被用于提供多个焦平面)中提供图像的具有全息光栅的波导、具有分束器或椭球组合器的圆顶形状半透明镜面。椭球组合器至今尚未被用于光场。这些组合器的共同特征是，它们将平坦显示器的图像放置于某个固定的距离。

WO2018091984A1利用用于将人工光场与现实世界光混合的可能的组合器的若干个实施例公开了顺序光场投影的原理机制。

发明内容

本公开涉及电子和光学装置，其将数字处理的信息投影到用户的眼睛并且将它们与现实世界光进行混合。更具体地，本公开涉及一种光场混合现实系统，其创建虚拟场景的针式光阵列，并且将对应的虚拟光场从眼睛的靠近接近处投影到眼睛，同时所投影的虚拟光场被与从现实世界进入眼睛的自然光叠加。在此，靠近接近可以被看作为在所投影的对应的虚拟光场和眼睛之间的小于15 cm的距离。

所投影的虚拟光场具有如下这样的性质，进行接收的眼睛可以自然地改变在所投影的视觉场景中以及在现实世界中物体的不同距离上的聚焦，并且可以观察它们的现实模糊和视野深度。由光场混合现实系统产生的所投影的虚拟光场向观看者提供具有正确的单目深度提示的图像。

光场混合现实系统通过时间复用多个始终对焦的光场分量并且将多个始终对焦的光场分量顺序投影到观看者的瞳孔中来生成所投影的虚拟光场。由于自然视觉延迟，观看者感知到组合而成的光场，并且体验到现实的单目深度提示，诸如正确的眼睛调节和相关联的图像模糊。这允许在没有视觉冲突的情况下视觉混合虚拟物体和现实物体。

特别是，本公开涉及要由观看者佩戴的光场混合现实系统，包括：针式光阵列，其生成照射光学光调制器的入射光场；光学光调制器，其被配置用于调制入射光场并且生成调制的虚拟光场；以及组合器，其被配置用于反射调制的虚拟光场并且投影沿着投影轴限定眼动范围区的所投影的虚拟光场。

所投影的虚拟光场进一步形成针式光阵列在眼动范围内的出射光瞳和光学光调制器的沿着投影轴在如下处的虚拟图像：在出射光瞳前方，即在组合器和出射光瞳之间从出射光瞳起小于15 cm的距离处；或者在出射光瞳后方，即在与组合器相对的方向上远离于出射光瞳。

组合器被进一步配置用于将自然光从现实世界朝向眼动范围传输，使得所投影的虚拟光场和自然光这两者被经由组合器投影在眼动范围内。

组合器将具有现实单目深度提示——其创建观看者对现实有限视野深度的感知和在人工生成的3D场景中的正确调节——的虚拟光场与现实世界光组合。光场混合现实系统提供实际上无限的和几乎连续的深度范围、高的图像分辨率、低的图像持久性，在可靠的当前大量生产的组件的情况下可行并且其可以被嵌入在用于混合现实应用的小形状因子的眼镜中。

光场混合现实系统能够向任何人、动物的眼睛或相机提供混合现实体验。

光场混合现实系统的用户可以体验现实3d场景和虚拟3d场景的现实混合。光场混合现实系统适合于在正确的眼睛调节的适用性下传递3D虚拟和增强现实信息。

本公开进一步还涉及包括光场混合现实系统的可佩戴装置，可佩戴装置具有小的形状因子并且可以被用作为将情景数字信息叠加到自然地观察到的现实世界中的每天可佩戴的眼镜。

附图说明

借助于通过示例方式给出并且由各图图示的实施例的描述，将更好地理解本发明，在各图中：

图1示出根据实施例的包括组合器的用于混合现实应用的光场混合现实系统；

图2a图示根据另一实施例的光场混合现实系统；

图2b图示根据图2a的实施例的变型的光场混合现实系统；

图2c示出根据另一实施例的光场混合现实系统；

图3示出根据又一实施例的光场混合现实系统；

图4a图示图3的光场混合现实系统配置的变型；

图4b表示根据实施例的组合器中包括的镜面阵列；

图5示出根据又一实施例的光场混合现实系统；

图6示出图5的光场混合现实系统配置的变型；

图7示出图5的光场混合现实系统配置的另一变型；

图8描绘图3的光场混合现实系统配置的另一变型；

图9描绘图5的光场混合现实系统配置的又一变型；

图10和图11图示根据另一实施例的包括光场混合现实系统的混合现实眼镜；

图12图示根据实施例的包括光场混合现实系统的混合现实眼镜的配置；

图13图示根据又一实施例的光场混合现实系统；

图14a是根据实施例的包括眼睛跟踪装置的光场混合现实系统的示图表示；

图14b和图14c示出当观看者的眼睛定向为向下、靠近系统(图14b)和远离系统(图14c)时的光场混合现实系统；

图14d和图14e示出当观看者的眼睛定向为向上、靠近系统(图14d)和远离系统(图14e)时的光场混合现实系统；

图14f示出图14a至图14d的组合表示；

图15a至图15e示出包括被配置为考虑观看者的视场的眼睛跟踪装置的光场混合现实系统；以及

图16a至图16c示出光场混合现实系统，其中组合器包括移动眼动范围，移动眼动范围包括微镜面。

具体实施方式

图1示出根据实施例的用于混合现实应用的由观看者佩戴的光场混合现实系统。光场混合现实系统包括生成入射光场100的针式光阵列10，入射光场100照射空间光调制器(SLM)20。入射光场100典型地包括多个入射针孔孔径光场(在图1中表示了三个入射针孔孔径光场101、101'、101'')。空间光调制器20被配置用于调制入射光场100并且生成调制的虚拟光场111。

针式光阵列10发射在电磁谱的可见范围内的光，但是其也可以发射在电磁谱的可见范围之外的光，如例如在电磁谱的近红外(NIR)或紫外(UV)范围内的光。针式光阵列10可以发射相干或非相干光。可以被用于针式光阵列10的典型光源包括LED、VCSEL或LD。针式光阵列10可以是单个发射器或者是以预先限定的空间配置(如矩阵配置)分组的多个发射器。针式光阵列10可以发射具有限定的发散度或数值孔径(NA)的光。

光场混合现实系统可以进一步包括可选的傅立叶滤波器30。偏振滤波可以是由固态滤波器以及/替代地偏振棱镜提供的。

傅立叶滤波器30可以被配置为从调制的虚拟光场111移除高于零阶的衍射分量，调制的虚拟光场111在SLM 20上被反射和衍射，并且生成调制的和滤波的虚拟光场112。

光场混合现实系统进一步包括组合器40，其被配置用于反射调制的和滤波的虚拟光场112并且沿着投影轴170投影限定眼动范围区121的所投影的虚拟光场110。投影的虚拟光场110在眼动范围121内形成对应于出射光瞳122的针式光虚拟图像孔径。出射光瞳122包括与入射针孔孔径光场101对应的多个针式光虚拟图像120(在图2中表示了三个针式光虚拟图像120、120'、120'')。出射光瞳122是由针式光虚拟图像120的阵列的位置限定的。出射光瞳122应当足够宽，使得所投影的虚拟光场110至少部分地进入眼睛瞳孔。出射光瞳122可以大于眼睛瞳孔，以便即使在瞳孔相对于组合器40移动的情况下也将所投影的虚拟光场110的至少一部分投影到瞳孔中。

投影的虚拟光场110进一步形成SLM 20的沿着投影轴170的虚拟图像114。

可以通过选择针式光阵列10中的给定的一个或多个针式光虚拟图像120来在横向上(即在垂直于投影轴170的方向上)移位眼动范围121内的出射光瞳122。

SLM 20可以包括使用数字微镜面器件(DMD)、硅上铁电液晶(FLCOS)或任何其它合适的光强度和相位的空间调制器。

在图1的实施例中，光场混合现实系统被配置以使得在与组合器40相对的方向上远离出射光瞳122地沿着投影轴170形成虚拟图像114。

在图1中进一步表示了观看者的眼睛90。当观看者佩戴光场混合现实系统时，在观看者的眼睛90内形成出射光瞳122，并且在观看者的眼睛90的调节范围之外形成虚拟图像114。例如，在图1中，在观看者的眼睛90后方较远地形成虚拟图像114。

组合器40被进一步配置用于将自然光从现实世界80朝向眼动范围121传输，使得投影的虚拟光场110和自然光80这两者被经由组合器40投影在眼动范围121内。

当观看者佩戴光场混合现实系统时，组合器40将自然光从现实世界80朝向观看者的眼睛90传输。组合器40因此允许投影的虚拟光场110和自然光80这两者都被朝向观看者的眼睛90投影，例如投影到观看者的眼睛90的瞳孔130，使得投影的虚拟光场110和来自现实世界80的光这两者都被投影在视网膜92上。

在实施例中，组合器40可以包括半透明的第一元件41，其包括具有凹的并且椭球形状的第一反射表面43。在这样的配置中，调制的和滤波的虚拟光场112入射在第一焦点处并且投影的虚拟光场110在第二焦点处反射。第二焦点允许投影的虚拟光场110被朝向观看者的眼睛90反射。

组合器40是在2D平面中描绘的，但是具体的实现可以在所有三个维度中使用折叠。组合器40可以包括一般的自由形状的表面。

在图1的实施例中，光场混合现实系统可以包括准直器50(例如，准直的或部分准直的透镜)、分束器60和再成像透镜70。分束器60可以包括全内反射棱镜(TIR)(在SLM 20使用DMD的情况下)或者可以包括偏振棱镜(在SLM 20使用FLCOS的情况下)。再成像透镜70被配置用于在与组合器40相对的方向上远离出射光瞳122地在沿着投影轴170的位置——换句话说，在与组合器40相对的方向上远离出射光瞳120的位置——形成虚拟图像114。当观看者佩戴光场混合现实系统时，虚拟图像114位于观看者的眼睛90的调节范围之外。

注意，在图1中仅描绘了观看者的眼睛90的位置。在眼睛晶状体91上的投影的虚拟光场110的失真未被图示。光学器件，即组合器40的位置和焦距，以及可能地，准直器50、再成像透镜70的位置和焦距，以及SLM 20的位置，放置SLM 20的图像，确定虚拟图像114的位置。例如，虚拟图像114可以在观看者的眼睛90后方较远(对应于图1中的图示)或者在眼睛90附近，诸如在观看者的眼睛90前方小于大约15 cm处(参见图2b)。虚拟图像114必须在观看者的调节范围之外，否则其将创建不同的平面，在其处图像将看起来不同于在其它距离处的图像。

光学器件将针式光阵列10的出射光瞳122放置在观察者的眼睛瞳孔130附近，理想地放置在观看者的眼睛90内。

组合器40可以被调谐以反射调制的和滤波的虚拟光场112的窄谱带，诸如红色、绿色和蓝色的波长，同时其传输来自现实世界80的所有或大多数其它可见波长。

图2a图示根据另一实施例的光场混合现实系统，其中近眼光场投影仪不包括分束器60。替代分束器60，透镜52被配置为组合准直器和针式光阵列再成像元件的同时的功能。近眼光场投影仪进一步包括可选的傅立叶滤波器30和SLM再成像透镜32。SLM再成像透镜32被配置用于在组合器40之前(在SLM 20和组合器40之间)形成SLM 20的第一虚拟图像114'。椭球形状的组合器40的第一焦点位于虚拟图像114的中心处。在这种配置中，SLM再成像透镜32将出射光瞳122放置于观看者的眼睛90内。在与组合器40相对的方向上远离出射光瞳122地沿着投影轴170形成虚拟图像。虚拟图像未被表示在图2a中，但是应当在投影的虚拟光场110的投影中看到(诸如在图1中)。

当观看者佩戴光场混合现实系统时，在观看者的眼睛90的调节范围之外在观看者的眼睛90后方较远地形成虚拟图像。

图2b图示根据图2a的实施例的变型的光场混合现实系统，其中近眼光场投影仪不包括SLM再成像透镜32。光场混合现实系统包括组合了准直器和针式光阵列再成像元件的功能的透镜52，其被配置用于在观看者的眼睛90的调节范围之外形成虚拟图像114。在这种配置中，沿着投影轴170在组合器40和出射光瞳122之间形成虚拟图像114。例如，可以沿着投影轴170在距出射光瞳122小于15 cm的距离处(优选地在距出射光瞳122小于10 cm的距离处)形成虚拟图像114。

当观看者佩戴光场混合现实系统时，虚拟图像114位于靠近于观看者的眼睛90并且位于观看者的眼睛90前方，例如在观看者的眼睛90的调节范围之外距观看者的眼睛小于5 cm。

图2c示出光场混合现实系统的另一实施例，其中组合器40进一步包括具有实质上平坦的半透明反射表面45的半透明第二元件42。来自SLM再成像透镜32的调制的和滤波的虚拟光场112被在第二元件42的反射表面45上朝向凹的并且椭球形状的第一元件41的第一反射表面43反射。组合器40的这种配置允许传输来自现实世界80的光并且反射来自调制的和滤波的虚拟光场112的经反射的投影的虚拟光场110，以便形成出射光瞳122。在这种配置中，靠近第二元件42形成第一虚拟图像114'。在与组合器40相对的方向上远离出射光瞳122地沿着投影轴170形成虚拟图像(虚拟图像未被表示在图2c中但是应当在投影的虚拟光场110的投影中看到)。当观看者佩戴光场混合现实系统时，所投影的虚拟光场110被反射到观看者的眼睛90的瞳孔130，使得所投影的虚拟光场110和来自现实世界80的光这两者都被投影在观看者的眼睛视网膜92上。

图3示出光场混合现实系统的又一实施例，其中组合器40包括镜面44的阵列。镜面44的阵列与投影的虚拟光场110的针式光的出射光瞳122相符合。镜面44是倾斜的，从而它们可以将投影的虚拟光场110投影在眼动范围121内，眼动范围121涵盖其中观看者的眼睛90的瞳孔130可以移动的区域。在这种配置中，在与组合器40相对的方向上远离出射光瞳122地沿着投影轴170形成虚拟图像114。当观看者佩戴光场混合现实系统时，靠近观看者的眼睛90形成第一虚拟图像114'并且在视网膜上在观看者的眼睛90内形成虚拟图像114。

在这种配置中，光场混合现实系统可以包括被配置用于作为部分准直器和针式光再成像元件(诸如傅立叶变换透镜)起作用的透镜52。在SLM 20使用FLCOS的情况下，光场混合现实系统可以进一步包括偏振滤波器。

图4a图示图3的光场混合现实系统配置的变型，其中该变型包括用作为针式光再成像元件(诸如傅立叶变换透镜)的再成像透镜70。

在图4b中，组合器40中的镜面44的阵列由布置在光栅44a中的子镜面阵列表示或者被表示为单个更大的镜面44b。在这两种情况下，镜面44、44a、44b的阵列被压印到透明板中。更一般地，镜面阵列可以包括在透明板中通过任何其它合适的方式创建的反射平面。

光场投影仪未必要求傅立叶滤波器30来传递可接受的出射光瞳122。这是当SLM20的虚拟图像114被放置于观察者的眼睛90的调节范围之外时的情况。例如，这是当SLM 20的虚拟图像114在观看者的眼睛后方或者靠近(例如，小于15 cm)观看者的眼睛90前方时的情况。在这样的配置中，由SLM 20调制的光的高于零阶的衍射分量起微小作用。

可以通过调制图像在SLM 20上的“随机化”来减小高阶衍射分量的强度。出现在SLM 20上的每个二进制子帧的图像可以是以如下这样的方式具体地变换的：其减小图像中的不同频率的呈现并且因此减小在其傅立叶变换图像中在出射光瞳122的位置处的衍射附属物的强度。衍射滤波器还可以是在组合器40本身中实现的，如在下面进一步描述的那样。

图5示出另一实施例，其中光场混合现实系统包括针式光阵列10、SLM 20以及凹的并且椭球形状的或者自由形状的组合器40。与图1的配置相比，光场混合现实系统不包括准直器50、分束器60和再成像透镜70。光场混合现实系统也不包括傅立叶滤波器30，使得调制的虚拟光场111是在组合器40上反射的。

可以通过由偏振滤波器对去往SLM 20的入射的调制虚拟光场111以及来自SLM 20的反射的投影虚拟光场110进行滤波来实现从光学路径中拒绝“黑色”即“偏离off”的像素。

在SLM 20使用FLCOS的情况下，可以通过组合器40或者通过位于SLM 20的表面上的单个偏振滤波器(未示出)来执行反射路径中对由SLM 20调制的光的滤波。在SLM 20使用DMD的情况下，可以通过由组合器40的选择性角度反射从光学路径中拒绝DMD处对应于偏离像素的更高角度光线来执行反射路径中对由SLM 20调制的光的滤波。

组合器40的选择性角度反射可以是通过布拉格光栅获得的，布拉格光栅被调谐用于在组合器40的表面处入射光场100的具有特定波长的有限范围的入射角度的反射。布拉格光栅可以是通过具有不同的折射率的材料的多层沉积或者是通过全息记录介质的曝光形成的。布拉格光栅可以被形成在组合器40的第一反射表面43上、在组合器40内部或者在组合器40的相对的表面上。

图6示出图5的实施例的变型，其中光场混合现实系统包括针式光阵列10、SLM 20，并且其中组合器40包括全息反射器46，全息反射器46包括全息图案。全息反射器46可以被以如下这样的方式配置：在组合器40的第一反射表面上的反射期间拒绝调制的虚拟光场111的衍射角度。例如，在此，全息反射器46作为衍射滤波器起作用。

光场生成与先前的实施例相同，但是组合器40通过反射器46的全息图案来提供反射。全息图案46可以执行滤波，该滤波在SLM 20使用DMD的情况下拒绝更高阶的衍射角度和“偏离状态”角度的反射。

图7示出图5的实施例的另一变型，其中组合器40包括菲涅耳类型元件48。菲涅耳类型元件48可以被以如下这样的方式配置：在组合器40的第一反射表面43上的反射期间拒绝调制的虚拟光场111的衍射角度。

菲涅耳反射器48可以是具有椭球的半透明的或选择性地透明的表面——其近似地将调制的虚拟光场111从椭球的一个焦点反射到另一个焦点——的光栅化表面。光栅化表面48可以被嵌入为在两个透明材料之间的界面(诸如在图7中示出)，其对于大多数可见光而言是透明的并且对于针式光阵列10和投影的虚拟光场110的波长而言是反射的。

替换地或者以组合的方式，可以通过使用足够小的SLM 20的间距来减小光场110的衍射角度，使得所投影的虚拟光场110的高于零阶的衍射分量将不进入眼睛瞳孔130。

图8描绘图3的光场混合现实系统配置的另一变型，包括作为在倾斜微镜面44的位置形成针式光10的针式光虚拟图像120的光学元件起作用的自由形状反射器54。

图9描绘图5的光场混合现实系统配置的又一变型，其中组合器40包括全息或菲涅尔选择性反射器46。光场混合现实系统进一步包括作为将所投影的虚拟光场100引导至SLM20并且然后引导至组合器40的菲涅尔选择性反射器46的光学元件起作用的自由形状反射器54。反射器54与组合器40的菲涅尔选择性反射器46一起在观看者的瞳孔130附近形成针式光虚拟图像120。

在图3至图9的实施例中，针式光阵列10和组合器40位于轴171的与投影轴170垂直的一侧上。空间光调制器20位于轴171的相对的侧。这种配置适合于轻重量的小形状因子的可佩戴光场混合现实系统。

图10和图11示出特别适合于用于混合现实应用的小形状因子眼镜的光场混合现实系统的另一实施例。在这种配置中，针式光阵列10直接照射组合器40。针式光阵列10然后被通过组合器40成像在取决于使用情况而可以位于观看者的眼睛90的前方或后方的出射光瞳122内。针式光阵列10优选地被放置于组合器40和出射光瞳122之间。

在本实施例中，组合器40包括具有第一反射表面43的玻璃基板47和被放置于第一反射表面43上的光学光调制器20。光学光调制器20允许取决于必须从特定的针式光阵列10位置显示的图像来局部地修改所投影的虚拟光场110的传播。优选地，针式光阵列10完全地照射光学光调制器20。

光学光调制器20可以包括微米尺寸单元的矩阵，可以通过向合期望的微米尺寸单元施加电信号来将单元单独地设置为透射状态(在图10中由标号2a表示)或阻断状态(在图10中由标号2b表示)。每个单元的透射状态或阻断状态可以典型地在微秒内改变。

光学光调制器20可以由诸如锗锑碲合金(Ge2Se2Te5)的光学相变材料(O-PCM)制成，光学相变材料可以将其相位状态从晶态以电气方式改变到非晶态并且反之亦然。光学光调制器20也可以由液晶材料制成，液晶材料可以将其相位状态从液态以电气方式改变到晶态并且反之亦然。

在单元的透射状态下，当观看者佩戴光场混合现实系统时，来自针式光阵列10的入射光场100可以通过光学光调制器20并且被由玻璃基板47朝向眼动范围区121并且朝向观看者的眼睛90反射。在单元的阻断状态下，来自针式光阵列10的入射光场100不能通过光学光调制器20并且不能被由玻璃基板47朝向眼动范围区121反射。

玻璃基板47的光学性质可以是通过在第一反射表面43上或者在组合器40本身内使用微结构图案来实现的。玻璃基板47的光学性质可以是进一步通过使用体积全息图来实现的，体积全息图已经被记录以便将来自针式光阵列10的入射光场100重新引导到位于眼动范围区121的针式光虚拟图像120(在观看者的眼睛90的前方)。

在图11中，示出针式光阵列10的三个入射光场针式光100、100'和100''以及对应的针式光虚拟图像120、120'和120''。

通过针对由针式光阵列10生成的多个入射光场100对入射光场100在包括玻璃基板47和光学光调制器20的组合器40上的上面描述的反射(或非反射)进行求和，形成包括多个针式光虚拟图像121的出射光瞳122。当观看者佩戴光场混合现实系统时，出射光瞳122位于观看者的眼睛内并在视网膜上。

在实施例中，光场混合现实系统可以被包括在可佩戴的装置中。图12图示包括光场混合现实系统的混合现实眼镜25的可能的配置。例如，组合器40可以被包括在透镜24之一中或者被包括在它们中的每个中。针式光阵列10和SLM 20可以被包括在铰链或镜腿的另外的部分中。在所示出的示例中，在眼镜挂绳23中提供了包含电池和支持电子器件的附加单元81。本发明的光场混合现实系统可以被包括在诸如处方眼镜或校正眼镜之类的任何眼镜中。

针式光阵列10可以包括多个点光，每个点光被配置为发射入射光场针式光100。有源子集可以包括多个有源点光，每个有源点光发射入射光场针式光100。无源子集包括无源的并且不发射入射光场针式光100的其它点光。针式光阵列10的点光是在有源子集中以及是在无源子集中可以是在时间上变化的。

通过在空间上以及暂时地修改在针式光阵列10中发射入射光场100的有源点光的子集，可以移动出射光瞳122——其中出现来自针式光阵列10的有源入射光场100的针式光虚拟图像120——的位置或改变出射光瞳122的尺寸。以与任何种类的眼睛跟踪组合的方式，出射光瞳122可以总是以最大量的投影信息进入观看者的瞳孔91的这样的方式被投影的。

图13示出类似于图1的光场混合现实系统的光场混合现实系统，其中图像分量53被显示在光学光调制器20(诸如SLM)上，使得所投影的虚拟光场110被生成为好像其是由被置于虚拟场景中的不同光学距离处的物体生成的。例如，所投影的虚拟光场110被生成为好像其是由沿着投影轴170在与组合器40相对的方向上远离出射光瞳120地放置的虚拟物体点54(在光学上在观看者的眼睛后方)生成的。虚拟物体点54可以被放置在距出射光瞳120不同的距离处。通过在光学光调制器20上的被与有源针式光(其确定投影光线111的方向)同步地顺序显示的对应位置处显示虚拟物体点54的图像分量53来执行光学变换。

因此投影的虚拟光场110可以通过显示在光学光调制器20上的图像分量53的数字变换来模拟对来自现实场景的诸如虚拟校正点58的虚拟校正光场57执行的任何光学变换的效果。投影的虚拟光场110因此允许模拟放置在眼动范围121和具有虚拟校正点58的现实世界80的区之间的校正(和处方)透镜56的效果。标号55对应于通过组合器40投影的入射虚拟校正光场57的校正的光线。

图14a是根据实施例的光场混合现实系统的示图表示。诸如准直的或部分准直的透镜50、分束器60和再成像透镜的光学元件由方框“光学器件”和标号140表示。光学器件140和光学光调制器20引导入射光场100并且将入射光场100光学变换为调制的虚拟光场111和/或调制的和滤波的虚拟光场112。光场混合现实系统包括显示控制电子器件141，显示控制电子器件141产生、格式化并且输出在光学光调制器20上创建图像的信号。照射控制电子器件142产生、格式化并且输出以特定的取决于时间的方式对针式光阵列10的特定的点光供电的信号。在显示器和点光控制电子器件141、142之间传输的同步信号143控制哪个图像分量被照射在光学光调制器20上以及是通过针式光阵列10的哪个特定的点光进行的。图像信号144包括创建在光学光调制器20上的图像分量序列的经调节的电子信号。照射信号145包括引起来自点光阵列10中的点光的光发射序列的经调节的电子信号。

光场混合现实系统进一步包括控制显示控制电子器件141的眼睛跟踪装置146。眼睛跟踪装置146提供关于观看者的眼睛90的定向的信息同时显示控制电子器件141根据观看者的眼睛90的定向来提供图像。因此投影的虚拟光场110被根据观看者的眼睛90的定向投影在眼动范围(在图14a中未示出)内。

例如，图14b和图14c示出当观看者的眼睛90定向为向下时针对眼睛90和光学器件140之间的两个不同距离的光场混合现实系统。图14d和图14e示出当观看者的眼睛90定向为向上时针对眼睛90和光学器件140之间的两个不同距离的光场混合现实系统。眼睛跟踪装置146检测观看者的眼睛90的定向并且显示控制电子器件141控制光学器件140以便根据观看者的眼睛定向提供在眼动范围(未示出)内的所投影的虚拟光场110的子集。图14f示出具有眼睛跟踪功能的光场混合现实系统的图14a至图14d的组合表示，由此出射光瞳122可以被以最大量的投影信息总是在眼动范围121内这样的方式投影。

图15a至图15e示出光场混合现实系统，其中眼睛跟踪装置146被进一步配置为控制显示控制电子器件141以便考虑观看者的移动眼动范围和视场(FOV)。为此，光场混合现实系统被配置为生成具有在窄FOV中的高角度分辨率图像以及针对宽FOV的低角度分辨率图像的所投影的虚拟光场110。光场混合现实系统可以包括FOV光学装置(未示出)，FOV光学装置被配置用于通过使所投影的虚拟光场110的在虚拟图像114的平面中并且还可能沿着投影轴170的至少一子集在空间上偏移来与所投影的虚拟光场110进行交互。FOV光学装置可以包括偏转棱镜和/或补偿透镜，将所投影的虚拟光场110偏转预定的角度度。FOV光学装置可以进一步包括被配置为使所投影的虚拟光场110的沿着投影轴170的至少一子集的虚拟图像114偏移的成像透镜。

图15a至图15c示出当观看者的眼睛90定向为向下时光场混合现实系统生成具有在窄FOV中的高角度分辨率图像的所投影的虚拟光场110(图15c)、具有针对宽FOV的低角度分辨率图像的所投影的虚拟光场110(图15b)、以及具有这两者的组合的所投影的虚拟光场110(图15a)。图15d和图15e示出当观看者的眼睛90定向为向上时光场混合现实系统投影具有在窄FOV中的高角度分辨率图像的所投影的虚拟光场110(图15e)以及具有高角度分辨率图像和低角度分辨率图像的组合的所投影的虚拟光场110(图15f)。

移动的窄FOV部分被称为中心凹(foveation)。其将高分辨率光场投影到眼中心窝中。如果所投影的虚拟光场110是顺序地投影的，则即使宽FOV部分也可以提供光场。顺序投影允许拼接窄FOV图像和宽FOV图像。宽FOV部分可以具有低的角度分辨率和色彩分辨率，仅包括二进制色彩分辨率。

图16a至图16c示出光场混合现实系统的示例性配置，其中组合器40包括移动眼动范围，移动眼动范围包括微镜面44。移动眼动范围40由眼睛跟踪装置146控制并且根据观看者的眼睛90的定向移动以便根据观看者的眼睛定向在眼动范围(未示出)内提供所投影的虚拟光场110的子集。

参考标号和符号

10 针式光阵列；2a透射状态；2b 阻断状态；20光学光调制器，空间光调制器(SLM)；21镜腿；22铰链；23眼镜挂绳；24透镜；25混合现实眼镜；30傅立叶滤波器；32 SLM再成像透镜；40组合器；41第一元件；42第二元件；43第一反射表面；44镜面阵列；45第二反射表面；46全息或菲涅耳反射器；47玻璃基板；48菲涅尔类型组合器；50准直的或部分准直的透镜；52透镜；53图像分量；54虚拟物体点；55校正的光线；56虚拟校正透镜；57虚拟校正光场；58虚拟校正点；60分束器；70再成像透镜；80来自现实世界的光场；81附加单元；90观察者的眼睛；91眼睛晶状体；92视网膜；100入射光场；101，101'，101''针孔孔径光场；110投影的虚拟光场；111调制的虚拟光场；112调制的和滤波的虚拟光场；114虚拟图像；114'第一虚拟图像；120 针式光虚拟图像；121眼动范围区；122针式光虚拟图像孔径，出射光瞳；130瞳孔；140光学器件；141显示控制电子器件；142照射控制电子器件；143同步信号；144图像信号；145照射信号；146眼睛跟踪装置；170投影轴；171垂直于投影轴的轴。

Claims (26)

1.一种由观看者佩戴的光场混合现实系统，包括：

针式光阵列(10)，其生成照射光学光调制器(20)的入射光场(100)；

光学光调制器(20)，被配置用于调制入射光场(100)并且生成调制的虚拟光场(111)；以及

组合器(40)，被配置用于反射调制的虚拟光场(111)并且投影限定沿着投影轴(170)的眼动范围区(121)的所投影的虚拟光场(110)；

其中所投影的虚拟光场(110)进一步形成针式光阵列(10)在眼动范围(121)内的出射光瞳(122)和光学光调制器(20)的沿着投影轴(170)在如下处的虚拟图像(114)：

在出射光瞳(122)的前方，即在组合器(40)和出射光瞳(122)之间距出射光瞳(122)小于15 cm的距离处，或者

在出射光瞳(122)后方，即在与组合器(40)相对的方向上远离于出射光瞳(122)；以及

其中组合器(40)被进一步配置用于将来自现实世界(80)的自然光朝向眼动范围(121)传输，使得所投影的虚拟光场(110)和自然光(80)这两者被经由组合器(40)投影在眼动范围(121)内。

2.根据权利要求1所述的系统，

其中光学光调制器(20)包括空间光调制器。

3.根据权利要求1或2所述的系统，

其中所述组合器(40)包括半透明的第一元件(41)，半透明的第一元件(41)包括具有凹的并且椭球形状的第一反射表面(43)，使得所投影的虚拟光场(110)被在焦点中的一个焦点处反射。

4.根据权利要求3所述的系统，

包括准直器(50)、分束器(60)和再成像透镜(70)；其与空间光调制器(20)组合地确定虚拟图像(114)的位置。

5.根据权利要求4所述的系统，

其中虚拟图像(114)在出射光瞳(122)后方。

6.根据权利要求2或3所述的系统，

包括组合准直器和针式光阵列再成像元件的功能的透镜(52)，其被配置用于形成在出射光瞳(122)前方的虚拟图像(114)。

7.根据权利要求6所述的系统，

进一步包括SLM再成像透镜(32)，其被配置用于形成在光学光调制器(20)和组合器(40)之间的虚拟图像(114)。

8.根据权利要求2至7中的任何一项所述的系统，

其中组合器(40)进一步包括半透明的第二元件(42)，半透明的第二元件(42)具有实质上平坦的半透明反射表面(45)，半透明反射表面(45)针对虚拟光场(112)朝向第一元件(41)的第一反射表面(43)进行反射。

9.根据权利要求8所述的系统，

其中第一元件(41)和第二元件(42)将自然光(80)朝向观看者的眼睛(90)传输。

10.根据权利要求2至9中的任何一项所述的系统，

其中组合器(40)包括被以如下这样的方式配置的全息元件(46)：在第一反射表面(43)上的反射期间拒绝虚拟光场(112)的衍射角度。

11.根据权利要求2至9中的任何一项所述的系统，

其中组合器(40)包括被以如下这样的方式配置的菲涅尔类型元件(48)：在第一反射表面(43)上的反射期间拒绝虚拟光场(112)的衍射角度。

12.根据权利要求2所述的系统，

其中组合器(40)包括与针式光虚拟图像(120)相符合的镜面(44)的阵列，镜面(44)倾斜从而它们将所投影的虚拟光场(110)投影在眼动范围(121)内。

13.根据权利要求12所述的系统，

包括被配置用于作为部分准直器以及作为针式光再成像元件起作用的透镜(52)。

14.根据权利要求12所述的系统，

包括作为针式光再成像元件的再成像透镜(70)。

15.根据权利要求1至14中的任何一项所述的系统，

其中组合器(40)被配置用于反射虚拟光场(112)的窄谱带同时透射来自自然光(80)的所有或大部分其它可见波长。

16.根据权利要求1至15中的任何一项所述的系统，

其中针式光阵列(10)和组合器(40)位于垂直于投影轴(170)的轴(171)的一侧上；以及

其中光学光调制器(20)位于轴(171)的相对的侧。

17.根据权利要求3至16中的任何一项所述的系统，

其中光学光调制器(20)被包括在组合器(40)的第一反射表面(43)上。

18.根据权利要求17所述的系统，

其中光学光调制器(20)包括单元矩阵，单元矩阵能够被单独地设置为透射状态或阻断状态，在透射状态中入射光场(100)被光学光调制器(20)朝向眼动范围区(121)反射，在阻断状态中入射光场(100)未被反射。

19.根据权利要求1至18中的任何一项所述的系统，

其中针式光阵列(10)包括发射入射光场针式光(100)的多个有源点光以及多个无源非发射点光；以及

其中针式光阵列(10)中的有源点光和无源点光的空间布置可以在时间上变化以便使出射光瞳(122)的位置变化或者改变出射光瞳(122)的尺寸。

20.根据权利要求1至19中的任何一项所述的系统，

其中图像分量(53)被显示在光学光调制器(20)上，使得所投影的虚拟光场(110)通过显示在光学光调制器(20)上的图像分量(53)的数字变换来模拟对来自现实场景的诸如虚拟校正点(58)的虚拟校正光场(57)执行的光学变换的效果。

21.根据权利要求20所述的系统，

其中所投影的虚拟光场(110)允许模拟放置在眼动范围(121)和现实世界(80)的区之间的校正透镜(56)的效果。

22.根据权利要求1至21中的任何一项所述的系统，

进一步包括眼睛跟踪装置(146)，眼睛跟踪装置(146)提供关于观看者的眼睛(90)的定向的信息，使得所投影的虚拟光场(110)被根据观看者的眼睛(90)的定向投影在眼动范围(121)内。

23.根据权利要求22所述的系统，

其中眼睛跟踪装置(146)被进一步配置用于使所投影的虚拟光场(110)在虚拟图像(114)的平面中的至少一子集在空间上偏移。

24.根据权利要求23所述的系统，

其中眼睛跟踪装置(146)被进一步配置用于使所投影的虚拟光场(110)沿着投影轴(170)的至少一子集的虚拟图像(114)偏移。

25.一种可佩戴装置，包括根据权利要求1至24中的任何一项所述的光场混合现实系统。

26.根据权利要求25所述的可佩戴装置，

包括混合现实眼镜，其中组合器(40)被包括在透镜中的至少一个透镜中，针式光阵列(10)和光学光调制器(20)被包括在铰链或镜腿的另外的部分中。

Images