CN116339099A - 计算光学系统的虚拟图像的全息图的方法 - Google Patents

Abstract

描述了光学系统和计算光学系统的虚拟图像的全息图的方法。该光学系统包括布置成显示全息图的显示设备和布置成复制全息图的波导。该方法包括确定由从虚拟图像点到观察者的入射光瞳周边的直线路径定义的区域内的虚拟图像点的子全息图。该区域包括由波导形成的显示设备的虚拟复本的至少一部分。

Description

计算光学系统的虚拟图像的全息图的方法

技术领域

本公开涉及光瞳扩展或复制，特别是对于包括发散光线束的衍射光场。更具体地，本公开涉及一种用于确定衍射结构的方法，例如全息图或相息图，用于由包括波导光瞳扩展器的显示系统进行显示，并且涉及一种使用波导进行光瞳扩展的方法。显示系统的一些示例涉及使用第一和第二波导光瞳扩展器的二维光瞳扩展。显示系统的一些示例涉及图像生成单元和平视显示器，例如汽车平视显示器(HUD)。本公开还涉及紧凑型平视显示器的全息图计算。

背景技术

从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或重放图像。

计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。例如，还可以通过相干光线跟踪或点云技术来计算计算机生成的全息图。

可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。

空间光调制器通常包括多个单独可寻址像素，其也可被称为单元或元素。光调制方案可以是二进制、多级或连续的。可替代地，该设备可以是连续的(即不包括像素)，因此光调制可以在设备上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性的，这意味着调制光以透射输出。

使用这里描述的系统可以提供全息投影仪。这种投影仪已经在平视显示器“HUD”中得到应用。

发明内容

在所附的独立权利要求中定义了本公开的各方面。

概括地说，本公开涉及图像投影。它涉及图像投影的方法和包括显示设备的图像投影仪(或光学系统)。本公开还涉及包括图像投影仪(或光学系统)和观察系统的投影系统，其中图像投影仪将来自显示设备的光投影或中继到观察系统。本公开同样适用于单目和双目观察系统。观察系统可以包括观察者的一只或多只眼睛。观察系统包括具有光焦度的光学元件(例如人眼的晶状体)和观察平面(例如人眼的视网膜)。投影仪可被称为“光引擎”。显示设备和使用显示设备形成(或感知)的图像在空间上彼此分离。观察者在显示平面上形成或感知图像。在一些示例中，图像是虚拟图像，并且显示平面可被称为虚拟图像平面。在其他示例中，图像是通过全息重建形成的真实图像，并且该图像被投影或中继到观察平面。通过照射显示在显示设备上的衍射图案(例如全息图)来形成图像。

显示设备包括像素。显示设备的像素可以显示衍射光的衍射图案或结构。衍射光可以在与显示设备空间分离的平面上形成图像。根据众所周知的光学原理，最大衍射角的幅度由像素的大小和其他因素比如光的波长决定。

在投影仪的示例中，显示设备是空间光调制器，例如硅上液晶(“LCOS”)空间光调制器(SLM)。光在衍射角范围内(例如从零到最大衍射角)从LCOS向观察实体/系统比如相机或眼睛传播。在一些实施例中，可以使用放大技术来增加可用衍射角的范围，使其超过LCOS的传统最大衍射角。

在投影仪的一些示例中，图像(由显示的衍射图案/全息图形成)传播到眼睛。例如，在显示设备和观察者之间的自由空间中或者在屏幕或其他光接收表面上形成的中间全息重建/图像的空间调制光可以传播到观察者。

在投影仪的示例中，图像是真实图像(实像)。在其他示例中，图像是由一个(或多个)人眼感知的虚拟图像(虚像)。投影系统或光引擎因此可以配置成使得观察者直接看着显示设备。在投影仪的这种示例中，用全息图编码的光直接传播到眼睛，并且在显示设备和观察者之间的自由空间或屏幕或其他光接收表面上没有形成中间全息重建。在这样的示例中，眼睛的瞳孔可以被认为是观察系统的入口孔径，眼睛的视网膜可以被认为是观察系统的观察平面。有时人们说，在这种配置中，眼睛的晶状体执行全息图到图像的转换。

在投影仪的一些其他示例中，衍射图案/全息图本身(的光)传播到眼睛。例如，全息图(尚未完全转换为全息重建，即图像)—可以非正式地说是用全息图“编码”的—的空间调制光直接传播到观察者的眼睛。观察者可以感知到真实或虚拟图像。在这些实施例中，在显示设备和观察者之间没有形成中间全息重建/图像。有时说，在这些实施例中，眼睛的晶状体执行全息图到图像的转换或变换。投影系统或光引擎可以配置成使得观察者有效地直视显示设备。

这里提到的“光场”是“复合光场”。术语“光场”仅仅表示在至少两个正交的空间方向例如x和y上具有有限大小的光图案。术语“光场”仅仅表示在至少两个正交空间方向(x和y)上具有有限尺寸的光图案。这里使用的“复数”一词仅仅表示光场中每个点处的光可以由振幅值和相位值来定义，因此可以由复数或一对值来表示。出于全息图计算的目的，复合光场可以是复数的二维阵列，其中复数定义光场内多个离散位置处的光强和相位。

根据已知的光学原理，眼睛或其他观察实体/系统可以观察到的从显示设备传播的光的角度范围随着显示设备和观察实体之间的距离而变化。例如，在1米的观察距离，来自LCOS的仅小范围角度可以传播通过眼睛的瞳孔，以在给定眼睛位置的视网膜上形成图像。从显示设备传播的光线的角度范围决定了观察者“可见”的图像部分，该光线可以成功地传播通过眼睛的瞳孔以在给定眼睛位置的视网膜上形成图像。换句话说，不是图像的所有部分从观察平面上的任何一点都是可见的(例如诸如眼动盒的观察窗口内的任何一个眼睛位置)。

在投影仪的一些示例中，观察者感知的图像是出现在显示设备上游的虚拟图像，也就是说，观察者感觉图像比显示设备离他们更远。从概念上讲，可以考虑虚拟图像的多个不同的虚拟图像点。对于该虚拟图像点，从虚拟点到观察者的距离在这里被称为虚拟图像距离。当然，不同的虚拟点可以具有不同的虚拟图像距离。与每个虚拟点相关的光线束中的各个光线可以经由显示设备采取不同的相应光路到达观察者。然而，只有显示设备的一些部分且因此只有来自虚拟图像的一个或多个虚拟点的一些光线可能在用户的视野内。换句话说，只有来自虚拟图像上的一些虚拟点的一些光线将通过显示设备传播到用户的眼睛中，因此将被观察者看到。因此，从概念上讲，可以认为观察者正在通过“显示设备大小的窗口”观察虚拟图像，该窗口可以非常小，例如直径为1cm，处于相对较大的距离，例如1米。并且用户将通过他们眼睛的瞳孔观察显示设备大小的窗口，瞳孔也可以非常小。因此，在任何给定时间，视场变小，并且能够看到的特定角度范围严重依赖于眼睛位置。

光瞳扩展器解决了如何增加从显示设备传播的光线的角度范围，并且该光线可以成功地传播通过眼睛的瞳孔以形成图像。显示设备通常(相对而言)小，投影距离(相对而言)大。在一些示例中，投影距离比显示设备的入瞳和/或孔径的直径或宽度(即像素阵列的尺寸)大至少一个(比如至少两个)数量级。本公开的示例涉及一种配置，其中图像的全息图而不是图像本身传播到人眼。换句话说，观察者接收到的光根据图像的全息图进行调制(或者用图像的全息图进行编码)。然而，本公开的其他示例可以涉及这样的配置，其中图像而不是全息图传播到人眼-例如通过所谓的间接观察，其中在屏幕上(或者甚至在自由空间中)形成的全息重建或者“重放图像”的光传播到人眼。

使用波导来扩展视场，并因此增加最大传播距离，在该距离上可以使用显示设备的全衍射角。使用波导还可以横向增加用户的眼盒，从而使眼睛能够进行一些运动，同时仍使用户能够看到图像。因此，波导可以被称为波导光瞳扩展器。然而，本发明人发现，对于非无限虚拟图像距离，即近场虚拟图像，由于通过波导的不同可能光传播路径，会出现所谓的“重影图像”。重影图像是主图像的低亮度复本。主要的、最高强度的图像可以被称为主图像。每个重影图像可以被称为副图像。重影的存在会显著降低感知到的虚拟图像的质量。重影图像可能会使主图像看起来模糊。

本公开部分地涉及通过一种用于计算诸如点云全息图的全息图的改进技术来解决由于在投影仪(光学系统)中使用波导而导致的重影图像所引起的问题。

光瞳扩展器的使用横向增加了观察区域(即用户的眼盒)，从而使得眼睛能够发生一些运动，同时仍使得用户能够看到图像。如技术人员将理解，在成像系统中，观察区域(用户的眼盒)是观察者的眼睛能够感知图像的区域。本公开涉及非无限虚像距离—即近场虚像。

传统上，二维光瞳扩展器包括一个或多个一维光波导，每个使用一对相对的反射表面形成，其中来自表面的输出光形成观察窗—例如供观察者观察的眼盒或眼动盒。从显示设备接收的光(例如来自LCOS的空间调制光)被该或每个波导复制，以便在至少一个维度上增加视场(或观察区域)。特别是，由于通过划分入射波前的振幅产生额外的光线或“复本”，波导扩大了观察窗。

在光波导的示例中，第一波导的第一对相对表面是细长的或伸长的表面，沿着第一维相对较长，沿着第二维相对较短，例如沿着两个其他维度中的每个相对较短，每个维度基本与相应的其他维度中的每个正交。光在第一对表面之间/从第一对表面反射/透射的过程布置成使光在第一波导光瞳扩展器内传播，光传播的大致方向是第一波导光瞳扩展器相对较长的方向(即在其“伸长”方向)。

这里公开了图像投影仪(光学系统)的示例，其使用衍射光形成图像，并提供适合于真实世界应用的眼盒尺寸和视场—例如在汽车工业中通过平视显示器。衍射光是从衍射结构形成图像全息重建的光—例如全息图比如傅立叶或菲涅耳全息图或点云全息图。使用衍射和衍射结构需要具有非常小的像素(例如1微米)的高密度的显示设备—这在实践中意味着小显示设备(例如1cm)。发明人已经解决了如何为2D光瞳扩展提供提供衍射光场(例如包括发散(非准直)光束的衍射光)的问题。

在一些方面，显示系统包括显示设备—比如像素化显示设备，例如空间光调制器(SLM)或硅上液晶(LCoS)SLM—其布置为提供或形成衍射(例如发散)光。在这些方面，空间光调制器(SLM)的孔径是系统的极限孔径。也就是说，空间光调制器的孔径—更具体地说，界定SLM中包含的光调制像素阵列的区域的大小决定了可以离开系统的光线束的大小(例如空间范围)。根据本公开，陈述了通过使用至少一个光瞳扩展器，系统的出射光瞳被扩展以反映系统的出射光瞳(其受到具有用于光衍射的像素尺寸的小显示设备的限制)在空间延伸上变得更大。

衍射(例如发散)光场可以被称为具有“光场大小”，其被定义在基本正交于光场传播方向的方向上。因为光被衍射/发散，所以光场大小随着传播距离而增加。

在本文公开的投影仪的一些示例中，衍射光场根据全息图被空间调制。换句话说，在这些方面，衍射光场包括“全息光场”。全息图可以显示在像素化显示设备上。全息图可以是计算机生成的全息图(CGH)。它可以是傅立叶全息图或菲涅耳全息图或点云全息图或任何其他合适类型的全息图。可选地，可以计算全息图，以便形成全息光的通道，每个通道对应于观察者想要观察(或者感知，如果是虚像的话)的图像的不同部分。像素化显示设备可以配置成连续或依次显示多个不同的全息图。这里公开的每个方面和示例可以应用于多个全息图的显示。

第一波导光瞳扩展器的输出端口可以耦合到第二波导光瞳扩展器的输入端口。第二波导光瞳扩展器可以布置成通过第二波导光瞳扩展器的第三对平行表面之间的内部反射，将衍射光场—包括由第一波导光瞳扩展器输出的光场的一些、优选大多数、优选全部复本—从其输入端口引导至相应的输出端口。第三对平行表面的第一表面可以是部分透射反射的，使得光场在每次内部反射时被分割，并且光场的多个复本透射通过第二波导光瞳扩展器上的第一表面的形成其输出端口的区域。

第一波导光瞳扩展器可以布置成在第一方向上提供光瞳扩展或复制，并且第二波导光瞳扩展器可以布置成在不同的第二方向上提供光瞳扩展或复制。第二方向可以基本正交于第一方向。第二波导光瞳扩展器可以布置成保持第一波导光瞳扩展器在第一方向上已经提供的光瞳扩展，并且扩展(或复制)它在不同的第二方向上从第一波导光瞳扩展器接收的一些、优选大多数、优选全部复本。第二波导光瞳扩展器可以布置成直接或间接地从第一波导光瞳扩展器接收光场。可以沿着第一和第二波导光瞳扩展器之间的光场的传播路径提供一个或多个其他元件。

第一波导光瞳扩大器可以是基本细长的(例如杆状的)，而第二波导光瞳扩大器可以是基本平面的(例如矩形的)。第一波导光瞳扩展器的细长形状可以由沿着第一维的长度来定义。第二波导光瞳扩展器的平面或矩形形状可以由沿着第一维的长度和沿着基本正交于第一维的第二维的宽度或广度来定义。第一波导光瞳扩展器沿其第一维的尺寸或长度分别对应于第二波导光瞳扩展器沿其第一维或第二维的长度或宽度。包括其输入端口的第二波导光瞳扩展器的一对平行表面的第一表面可以被成形、定尺寸和/或定位成对应于由第一波导光瞳扩展器上的一对平行表面的第一表面上的输出端口限定的区域，使得第二波导光瞳扩展器布置成接收由第一波导光瞳扩展器输出的每个复本。

第一和第二波导光瞳扩展器可以共同地在第一方向和垂直于第一方向的第二方向上提供光瞳扩展，可选地，其中包含第一和第二方向的平面基本平行于第二波导光瞳扩展器的平面。换句话说，分别限定第二波导光瞳扩展器的长度和宽度的第一和第二维度可以分别平行于第一和第二方向(或者分别平行于第二和第一方向)，其中波导光瞳扩展器提供光瞳扩展。第一波导光瞳扩展器和第二波导光瞳扩展器的组合通常可被称为“光瞳扩展器”。

可以说，由第一和第二波导扩展器提供的扩展/复制具有在两个方向中的每个方向上扩展显示系统的出射光瞳的效果。由扩展的出射光瞳定义的区域又可以定义扩展的眼盒区域，观察者可以从该区域接收输入衍射或发散光场的光。可以说眼盒区域位于或定义了观察平面。

出射光瞳扩展的两个方向可以与第一和第二波导光瞳扩展器提供复制/扩展的第一和第二方向共面或平行。可替代地，在包括诸如光学组合器的其他元件的布置中，例如车辆的挡风玻璃，出射光瞳可被认为是来自该其他元件的出射光瞳，比如来自挡风玻璃。在这种布置中，出射光瞳可以与第一和第二波导光瞳扩展器提供复制/扩展的第一和第二方向不共面且不平行。例如，出射光瞳可以基本垂直于第一和第二波导光瞳扩展器提供复制/扩展的第一和第二方向。

观察平面和/或眼盒区域可以与第一和第二波导光瞳扩展器提供复制/扩展的第一和第二方向不共面或不平行。例如，观察平面可以基本垂直于第一和第二波导光瞳扩展器提供复制/扩展的第一和第二方向。

为了提供合适的发射条件以实现第一和第二波导光瞳扩展器内的内反射，第一波导光瞳扩展器的细长维度可以相对于第二波导光瞳扩展器的第一和第二维度倾斜。

为了提供合适的发射条件以实现第一和第二波导光瞳扩展器内的内反射，第一波导光瞳扩展器的细长维度可以相对于第二波导光瞳扩展器的第一和第二维度倾斜。

显示设备可以具有有源或像素显示区域，该有效或显示区域具有小于10厘米的第一维度，例如小于5厘米或小于2厘米。显示设备和观察系统之间的传播距离可以大于1m，例如大于1.5m或大于2m。波导内的光学传播距离可以高达2m，例如高达1.5m或高达1m。该方法能够在小于20ms比如小于15ms或小于10ms内接收图像并确定足够质量的相应全息图。

在一些示例中—仅通过根据本公开的衍射或全息光场的示例来描述—全息图配置成将光路由到多个通道中，每个通道对应于图像的不同部分(即子区域)。全息图可以在诸如空间光调制器的显示设备上展示比如显示。当显示在适当的显示设备上时，全息图可以对可由观察系统转换成图像的光进行空间调制。由衍射结构(包括全息图)形成的通道在这里被称为“全息图通道”,仅仅是为了反映它们是由具有图像信息的全息图编码的光通道。可以说每个通道的光是在全息域中，而不是在图像或空间域中。在一些示例中，全息图是傅立叶或傅立叶变换全息图，因此全息图域是傅立叶或频域。全息图同样可以是菲涅耳或菲涅耳变换全息图。全息图在本文中被描述为将光路由到多个全息图通道中，仅仅是为了反映可由全息图重建的图像具有有限的大小，并且可被任意划分成多个图像子区域，其中每个全息图通道对应于每个图像子区域。重要的是，本示例的全息图的特征在于它在被照射时如何分布图像内容。具体来说，全息图通过角度来划分图像内容。也就是说，图像上的每个点都与照射时全息图形成的空间调制光中的唯一光线角度相关—至少是唯一的一对角度，因为全息图是二维的。为了避免疑问，这种全息图行为不是常规的。当被照射时，由这种特殊类型的全息图形成的空间调制光可被任意分成多个全息图通道，其中每个全息图通道由一系列光线角度(二维)限定。从上文可以理解，在空间调制光中可以考虑的任何全息图通道(即光线角度的子范围)将与图像的相应部分或子区域相关。也就是说，重建图像的该部分或子区域所需的所有信息都包含在由图像的全息图形成的空间调制光的角度子范围内。当作为整体观察空间调制光时，不一定存在多个离散光通道的任何证据。然而，在一些布置中，通过有意地将计算全息图的目标图像的区域留为空白或空的(即不存在图像内容)来形成多个空间分离的全息图通道。

然而，全息图仍可被识别。例如，如果只有由全息图形成的空间调制光的连续部分或子区域被重建，则只有图像的子区域应该是可见的。如果重建空间调制光的不同的连续部分或子区域，图像的不同子区域应该是可见的。这种类型的全息图的另一个识别特征是，任何全息图通道的横截面区域的形状基本对应于入射光瞳的形状(即基本相同)，尽管尺寸可以不同—至少在计算全息图的正确平面处。每个光/全息图通道以不同的角度或角度范围从全息图传播。虽然这些是表征或识别这种类型全息图的示例方式，但也可以使用其他方式。总之，本文公开的(特定类型)全息图通过图像内容如何分布在全息图编码的光内来表征和识别。此外，为了避免任何疑问，本文中对配置成引导光或将图像成角度地划分成多个全息图通道的全息图的引用仅作为示例，并且本公开同样适用于任何类型的全息光场或者甚至任何类型的衍射或衍射光场的光瞳扩展。

概括地说，本文公开了一种为输入光场提供光瞳扩展的系统，其中输入光场是包括发散光线束的衍射或全息光场。如上所述，通过创建输入光线(或光线束)的一个或多个副本，光瞳扩展(也可以称为“图像复制”或“复制”或“光瞳复制”)使得观察者可以看到/从之看到图像(或可以接收全息图的光，观察者的眼睛形成图像)的区域的大小能够增加。可以在一个或多个维度上提供光瞳扩展。例如，可以提供二维光瞳扩展，其中每个维度基本与相应的另一个维度正交。

该系统可以紧凑和流线型的物理形式提供。这使得系统适用于广泛的现实世界应用，包括那些空间有限和不动产价值高的应用。例如，它可以在平视显示器(HUD)中实现，比如车辆或汽车HUD。

根据本公开，为衍射或衍射光提供光瞳扩展，其可以包括发散的光线束。衍射光可以由显示设备输出，比如像素化显示设备，比如布置成显示衍射结构(比如全息图)的空间光调制器(SLM)。衍射光场可以由“光锥”来定义。因此，衍射光场的大小(如在二维平面上定义的)随着距相应衍射结构(即显示设备)的传播距离而增加。

空间光调制器可以布置成显示全息图(或者包括全息图的衍射图案)。衍射或发散光可以包括用全息图编码的光，而不是图像或全息重建的光。因此，在投影仪(光学系统)的这种示例中，可以说光瞳扩展器复制全息图或形成全息图的至少一个复本，以传达传递给观察者的光是根据图像的全息图而不是图像本身进行空间调制的。也就是说，衍射光场传播到观察者。

在投影仪(光学系统)的一些示例中，提供了两个一维波导光瞳扩展器，每个一维波导光瞳扩展器布置成通过形成空间光调制器的出射光瞳(或出射光瞳的光)的多个复本或副本来有效地增加系统的出射光瞳的尺寸。出射光瞳可以理解为系统从其输出光的物理区域。也可以说，每个波导光瞳扩展器布置成扩展系统的出射光瞳的尺寸。也可以说，每个波导光瞳扩展器布置成扩展/增加观察者的眼睛可以位于其内的眼盒的尺寸，以便看到/接收由系统输出的光。

本公开提供了一种计算光学系统的虚拟图像的全息图的方法。该光学系统包括布置成显示全息图的显示设备。该光学系统还包括布置成接收和复制所显示的全息图的波导。该方法包括确定虚拟图像的每个虚拟图像点的子全息图。每个子全息图被限制/限定在显示设备的区域内。显示设备的区域对应于包含显示设备及其由波导形成的虚拟复本的虚拟表面的区域。虚拟表面的区域由从相应的虚拟图像点到观察系统的入射光瞳周边的直线路径定义/描绘/界定。用于子全息图的显示设备的区域在空间上对应于由直线定义的一个或多个虚拟复本的区域。至少一个子全息图的至少一个分量—如果不是，则整个至少一个子全息图—被确定，例如在对应于由波导形成的显示设备的“虚拟复本”的位置(例如平面)处计算。

根据本公开的一方面，提供了一种计算全息图的方法。全息图是光学系统的虚拟图像。该光学系统包括显示设备和波导。波导可以是一维波导。光学系统可以包括一对正交的一维波导，其布置成提供显示全息图的二维复制和/或显示设备出射光瞳的二维扩展。显示设备布置成显示全息图。波导布置成复制全息图。该方法包括确定由从虚拟图像点到观察者的入射光瞳周边的直线路径定义的区域内的虚拟图像点的子全息图。虚拟图像点可以是虚拟图像的多个虚拟图像点中的一个虚拟图像点。该区域包括由波导形成的显示设备的虚拟复本的至少一部分。

在实施例中，该方法包括识别虚拟图像和波导之间的虚拟表面。虚拟表面包括显示设备和由波导形成的显示设备的多个复本。该方法还包括识别虚拟表面上的区域。

在一些实施例中，在显示设备的第一虚拟复本的第一区域内确定第一虚拟图像点的第一子全息图。

在其他实施例中，第一虚拟图像点的第一子全息图包括第一子全息图分量和第二子全息图分量。在一示例中，在显示设备的第一虚拟复本的第一区域内确定第一子全息图分量，并且在显示设备的第二虚拟复本的第二区域内确定第二子全息图分量。在另一示例中，在显示设备的第一虚拟复本的第一区域内确定第一子全息图分量，并且在显示设备的第二区域内确定第二子全息图分量。这些实施例的方法可以还包括叠加第一子全息图分量和第二子全息图分量，以形成第一虚拟图像点的第一子全息图。在一些实施例中，如果子全息图分量的大小小于阈值，则从叠加步骤中丢弃该子全息图分量。在一些实施例中，第一子全息图分量和第二子全息图分量如果叠加的话将重叠的任何部分从叠加步骤中被丢弃。

在实施例中，该方法还包括计算虚拟图像的多个虚拟图像点中的每个虚拟图像点的相应子全息图。然后可以叠加各个子全息图以形成虚拟图像的全息图。

在实施例中，每个子全息图是点云全息图，通过从对应的虚拟图像点向观察者传播光波并确定到达该区域的对应位置的复合光场来确定，可选地，其中光波是球面光波或“小波”。如技术人员将理解的，每个子全息图的确定可以通过模拟光波(小波)的传播以形成波前/复合光场来计算执行。

在实施方式中，由波导形成的显示设备的每个虚拟复本与显示设备的垂直距离不同，从而形成显示设备的虚拟复本的交错虚拟表面。在示例中，显示设备的每个虚拟复本对应于由波导形成的全息图的相应复本。该方法可以包括通过在波导内展开从显示设备到由波导形成的全息图的相应复本的光路来确定显示设备的每个虚拟复本的位置。

在本公开的另一方面，提供了一种计算全息图的方法。该全息图是光学系统的虚拟图像，该光学系统包括布置成显示全息图的显示设备和布置成复制全息图的波导。该方法包括确定虚拟图像的每个虚拟图像点的子全息图。每个子全息图通过以下确定：从相应的虚拟图像点向观察者传播光波；在虚拟图像和观察者之间的虚拟表面处定义传播光波的相交区域，其中虚拟表面包括显示设备和由波导形成的显示设备的多个虚拟复本，其中定义的区域由从相应虚拟图像点到观察者眼睛的入射光瞳周边的直线路径界定；识别复合光场的定义区域的一个或多个子区域，其中每个子区域在对应于显示设备和多个虚拟复本中不同一个的位置处与虚拟表面相交。复合光场的一个或多个子区域中的每个形成子全息图的相应分量。

在实施例中，包含显示设备和多个虚拟复本的虚拟表面是“交错的”。特别地，由于与每个复本相关的波导中不同的路径长度，显示设备的每个复本与显示设备的垂直距离不同。因此，与每个复本相关的虚拟表面部分(例如在x,y维度上)在垂直方向上(例如在z维度上)偏离显示设备。

提供了一种为光学系统确定虚拟图像点的子全息图的方法，该光学系统包括布置成显示全息图的显示设备和布置成复制子全息图的波导。该方法包括在由从虚拟图像点到观察者的入射光瞳周边的直线路径定义的区域内确定子全息图。该区域包括由波导形成的显示设备的复本的至少一部分。还提供了一种确定包括多个虚拟图像点的虚拟图像的全息图的方法，该方法包括重复为虚拟图像的每个虚拟图像点确定子全息图的方法。

在实施例中，提供了一种计算点云全息图的方法。点云全息图是光学系统的虚拟图像的全息图，该光学系统包括布置成显示全息图的显示设备和布置成复制全息图的波导。该方法包括在对应于显示设备位置的位置形成点云子全息图。该方法还包括在对应于由波导形成的显示设备的相应虚拟复本的每个位置形成点云子全息图。每个点云子全息图仅使用来自虚拟图像的光线形成，该光线可以穿过观察者的入射光瞳。

在实施例中，该方法包括通过展开波导内从显示设备到全息图副本的相应光路来确定显示设备的每个复本的位置。

在本公开的另一方面，提供了一种全息引擎。全息引擎布置为计算光学系统的虚拟图像的全息图，该光学系统包括布置为显示全息图的显示设备和布置为复制全息图的波导。全息引擎布置成确定由从虚拟图像点到观察者的入射光瞳周边的直线路径所定义的区域内的虚拟图像点的子全息图。该区域包括由波导形成的显示设备的虚拟复本的至少一部分。

这里使用的术语“虚拟图像”是指在显示设备上游形成的图像或全息重建。也就是说，显示设备位于虚拟图像和观察者之间。换句话说，从虚拟图像到观察者的距离大于从显示设备到观察者的距离。光学领域的技术人员将理解，观察者有效地透过显示设备观察虚拟图像。虚拟图像可能在显示设备后面几米处被感知。因此，本领域技术人员将理解，如何可能考虑从虚拟图像通过显示设备或包含显示设备的扩展表面到显示设备另一侧的观察者的光线路径。

与形成在显示设备上的多个全息图中的每个全息图及其复本相关的前缀“子”仅用于与整个虚拟图像的最终/组合全息图相区分，并反映每个是全息图的构成。全息图可以是点云全息图。因此，子全息图和子全息图分量也可以分别是点云子全息图或点云子全息图分量。

如本文所述，波导有效地形成显示设备的复本(本文也称为“虚拟复本”)的阵列，其中每个显示设备复本对应于全息图的相应复本。复制显示设备的阵列在这里被称为“交错表面”。“表面”不是连续的，因为复本在正交于显示设备表面的方向上例如在z方向上是空间分离的。该表面被称为“交错的”,以反映z方向上不同显示设备复本的这种变化的分离。通常，显示设备复本在不同的x、y平面上，这些平面在z方向上空间偏移(没有任何偏斜)。在使用一个波导进行一维复制的情况下，交错表面可以类似于一系列独立的台阶，其中没有台阶的竖面。在光瞳扩展领域中已知的使用两个正交波导在两个正交方向上复制的情况下，交错表面在两个方向上有效地交错，例如x和y，但是在z方向上没有表面分量。术语“虚拟表面”、“交错扩展调制器”和“扩展表面”在本文中也可以用来指由波导形成的显示设备的复本阵列。本公开描述了如何将每个子全息图限制/限定在显示设备的区域内，该区域在空间上对应于由从各个虚拟图像点到观察系统的入射光瞳周边的直线路径所限定的交错或虚拟表面的区域。交错或虚拟表面的区域有效地定义了用于子全息图的显示设备的“贡献区域”。

参考直线外推通过波导的输出端口离开波导的光线(即复本的光线)回到虚拟表面而在波导内没有内反射的过程，描述了在波导内“展开”光路的步骤。通过将复本的所有光线外推回虚拟表面，显示设备的相应虚拟复本的位置或方位被识别。显示设备的每个虚拟复本与观察者的距离不同，因为与每个复本相关的波导内的光路长度不同。

本公开参考组合全息图的过程描述了“叠加”子全息图和子全息图的分量的过程，该过程在显示设备上例如在xy平面上保留位置或空间信息。

这里提到的在各种“位置”确定子全息图或子全息图分量是参照正交于显示设备表面的方向上的位置进行的，该方向在这里也可以称为传播轴或投影轴。如光学领域技术人员熟悉的，传播轴通常被定义为z轴。显示设备及其虚拟复本通常都定义在xy平面上。在一些实施例中，通过将光波传播到所描述的“位置”或平面来确定点云全息图。

这里提到将每个子全息图限制到(或在其中定义每个子全息图)由直线定义/界定/描绘的一个或多个区域。每个区域是由虚拟表面的区域定义或对应于虚拟表面的区域的显示设备的区域。例如，如果直线定义了单个虚拟复本中间的区域，则子全息图被限制/定义在显示设备的中间区域内。同样，如果直线与两个或更多个虚拟复本相交，则虚拟复本的每个区域(或虚拟表面的描绘区域的“子区域”)有效地定义了显示设备的相应区域(或“子区域”)。在一些实施例中，重叠区域被定义在不同的虚拟复本上，并且根据这里公开的进一步改进，这些区域可以被不同地对待。

为避免疑问，形成或感知的图像是目标图像的全息重建。全息重建由基于目标图像的全息图形成。在一些实施例中，从目标图像确定(例如计算)全息图。

这里公开的方法识别用于形成主图像的虚拟图像点的贡献光路。起作用的光路是来自虚拟图像的光路，通过观察者的入射光瞳，从而有助于成像。因此，该方法不考虑导致主图像的拷贝/复本或“重影”版本的光路。因此，计算全息图的所有“子全息图”对“主”目标图像有积极的贡献。

在本公开中，术语“复本”仅用于反映空间调制光被分割，使得复合光场沿着多个不同的光路被引导。“复本”一词用于指复制事件后复合光场的每一次出现或实例—比如光瞳扩展器的部分反射-透射。每个复本沿着不同的光路传播。本公开的一些实施例涉及用全息图而不是图像编码的光的传播—即用图像的全息图而不是图像本身进行空间调制的光。全息术领域的技术人员将理解，与用全息图编码的光的传播相关的复合光场将随着传播距离而变化。这里使用的术语“复本”与传播距离无关，因此与复制事件相关的两个光分支或路径仍被称为彼此的“复本”，即使分支具有不同的长度，使得复合光场沿着每条路径不同地演化。也就是说，根据本公开，即使两个复合光场与不同的传播距离相关，它们仍被认为是“复本”—假设它们源自相同的复制事件或一系列复制事件。

根据本公开的“衍射光场”是由衍射形成的光场。可以通过照射相应的衍射图案来形成衍射光场。根据本公开，衍射图案的示例是全息图，衍射光场的示例是全息光场或形成图像的全息重建的光场。全息光场在重放平面上形成图像的(全息)重建。从全息图传播到重放平面的全息光场可以说包括用/由全息图编码的光或全息域中的光。衍射光场的特征在于由衍射结构的最小特征尺寸和(衍射光场的)光的波长确定的衍射角。根据本公开，也可以说“衍射光场”是在与相应衍射结构空间分离的平面上形成重建的光场。本文公开了一种光学系统，用于将衍射光场从衍射结构传播到观察者(例如从显示设备传播到观察系统)。衍射光场可以形成图像。

术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建是真实图像并且与全息图在空间上分离。术语“重放场”用于指代在其内形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上，则重放场将以多个衍射级的形式重复，其中每个衍射级是零级重放场的副本。零级重放场通常对应于优选或主重放场，因为它是最亮重放场。除非另有明确说明，术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”指通过全息重建的光照射的重放场的区域。在一些示例中，“图像”可包括离散点，其可被称为“图像点”，或仅出于方便起见而被称为“图像像素”。

术语“编码”、“写入”和“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”全息图，并且全息图可被认为是光调制值或水平的阵列。

已经发现，可接受质量的全息重建可以由仅包含与原始物体的傅立叶变换相关的相位信息的“全息图”形成。这样的全息记录可被称为仅相位全息图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息术。实施例涉及点云全息图的计算，即使用点云方法构建的全息图。

本公开也同样适用于使用与原始物体的傅立叶变换相关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。

可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。

因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在重放平面上平移重放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的重放平面上。

尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的组合和置换。

附图说明

仅参考以下附图以示例的方式描述特定实施例：

图1是示出在屏幕上产生全息重建的反射型SLM的示意图；

图2示出了包括多个图像区域的图像(底部)和包括多个全息图成分的相应全息图(顶部)；

图3示出了全息图，其特征在于将全息编码光路由或引导到多个离散的全息图通道中；

图4示出了一种系统，该系统布置成通过不同的光路将图3的每个全息图通道的光内容路由到眼睛；

图5示出了一对堆叠的图像复制器的透视图，该图像复制器布置用于在二维方向上扩展光束；

图6示出了包括3D阵列的“扩展调制器”或“虚拟表面”的示例可视化，该3D阵列包括显示设备和由波导形成的显示设备的多个复本；

图7示出了使用扩展调制器计算点云全息图的装置，示出了从将由全息图全息重建的期望虚拟图像的第一和第二示例图像点传播的波的路径；

图8示出了图7装置的第一示例图像点的子全息图的计算；

图9示出了图7装置的第二示例图像点的子全息图的计算；

图10示出了用于将来自示例复合光图案的子区域的信息包括在对应的子全息图中与扩展调制器相交的区域的第一标准；

图11A示出了用于将来自另一示例复合光图案的子区域的信息包括在对应的子全息图中与扩展调制器相交的区域的第二标准，以及

图11B示出了使用第二标准和图11A的复合光图案形成的子全息图。

在所有附图中，相同的附图标记将用于指代相同或相似的部分。

具体实施方式

本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以不同的形式实施且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。

除非另有说明，单数形式的术语可以包括复数形式。

描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况，此外，还包括在它们之间设置第三结构的情况。

在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有说明。例如，除非使用诸如“刚好”、“紧邻”或“直接”等措辞，否则描述应被视为包括不连续的情况。

尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。

不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。一些实施例可以彼此独立地执行，或者可以相互依存的关系一起执行。

光学配置

图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的投影仪(光学系统)的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此，可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅上液晶“LCOS”器件。全息图在空间光调制器上编码，并且在重放场例如光接收表面比如屏幕或漫射器处形成全息重建。

光源110例如激光或激光二极管设置成经由准直透镜111照射SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中，波前的方向是偏离法线的(例如与真正正交于透明层的平面相距两度或三度)。然而，在其他示例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入和输出光学路径。在图1所示的示例中，布置使得来自光源的光从SLM的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，傅立叶变换透镜120的焦点位于屏幕125处。更具体地，傅立叶变换透镜120接收来自SLM140的调制光束，并执行频率-空间变换以在屏幕125处产生全息重建。

值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个重放场上。

在投影仪的这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且在光学上执行傅立叶变换。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。

全息图计算

在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将重放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。

仅作为示例，实施例涉及傅立叶全息术和Gerchberg-Saxton型算法。本公开同样适用于可以通过类似方法计算的菲涅耳全息术和菲涅耳全息图。在一些实施例中，全息图是相位或纯相位全息图。然而，实施例涉及基于点云方法计算的全息图。2021年8月26日提交的英国专利申请GB 2112213.0公开了可以与本公开结合的示例全息图计算方法，该专利申请通过引用结合于此。特别地，该早期专利申请描述了用于计算(特殊)类型全息图的方法，这将在下面参考图2和图3进行描述，其对图像内容进行角度划分/通道化。

在投影仪的一些实施例中，提供了实时引擎，其布置为接收图像数据并使用算法实时计算全息图。在一些示例中，图像数据是包括图像帧序列的视频。在投影仪的其他实施例中，全息图被预先计算，存储在计算机存储器中，并在需要时被调用以在SLM上显示。也就是说，在一些实施例中，提供了预定全息图的储存库。

光调制

显示系统包括限定显示系统出射光瞳的显示设备。显示设备是空间光调制器。空间光调制可以是相位调制器。显示设备可以是本领域公知的硅上液晶“LCOS”、空间光调制器。LCOS SLM包括多个像素，例如四边形LC像素的阵列。像素可以用包括全息图的衍射图案来寻址或编码。可以说LCOS SLM布置成“显示”全息图。LCOS SLM布置成用光照射，并根据全息图输出空间调制光。LCOS SLM输出的空间调制光包括如本文所述的衍射或全息光场。

光通道

这里公开的光学系统适用于具有任何衍射光场的光瞳扩展。在光学系统的一些实施例中，衍射光场是全息光场—即，根据图像的全息图而不是图像本身进行空间调制的复合光场。在光学系统的一些实施例中，全息图是特殊类型的全息图，其成角度地划分/引导图像内容。这种类型的全息图在本文中被进一步描述，仅仅作为与本公开兼容的衍射光场的示例。其他类型的全息图可以与这里公开的显示系统和光引擎结合使用。

下面描述了一种显示系统和方法，其包括波导光瞳扩展器。正如熟练的读者所熟悉的，波导可以配置为“光瞳扩展器”，因为它可以用于增加由相对小的光发射器(比如相对小的SLM或在这里描述的装置中使用的其他像素化显示设备)发射的光可被位于远离光发射器一定距离(比如相对大的距离)的人类观察者或其他观察系统观察到的面积。波导通过增加向观察者输出光的透射点的数量来实现此。结果，可以从多个不同的观察者位置看到光，例如，观察者可以移动他们的头部，从而移动他们的视线，同时仍能够看到来自光发射器的光。因此，可以说，通过使用波导光瞳扩展器，观察者的“眼盒”或“眼动盒”被放大了。这具有许多有用的应用，例如但不限于平视显示器，例如但不限于汽车平视显示器。

这里描述的显示系统可以配置成引导光比如衍射光场通过波导光瞳扩展器，以便在至少一个维度上例如在两个维度上提供光瞳扩展。衍射光场可以包括由空间光调制器(SLM)比如LCOS SLM输出的光。例如，该衍射光场可以包括由SLM显示的全息图编码的光。例如，该衍射光场可以包括全息重建图像的光，对应于由SLM显示的全息图。全息图可以包括计算机生成的全息图(CGH),例如但不限于点云全息图、菲涅耳全息图或傅立叶全息图。全息图可被称为“衍射结构”或“调制图案”。SLM或其他显示设备可以布置成以熟练读者熟悉的方式显示衍射图案(或调制图案)，其包括全息图和一个或多个其他元件，比如软件透镜或衍射光栅。

全息图可被计算以提供衍射光场的引导。这在GB2101666.2、GB2101667.0和GB2112213.0中均有详细描述，所有这些文献在此引入作为参考。一般来说，全息图可被计算成对应于将要全息重建的图像。全息图所对应的该图像可被称为“输入图像”或“目标图像”。可以计算全息图，使得当它显示在SLM上并被适当照射时，它形成包括空间调制光锥的光场(由SLM输出)。在一些实施例中，光锥包括多个空间调制光的连续光通道，其对应于图像的相应连续区域。然而，本公开不限于这种类型的全息图。

尽管我们在这里称之为“全息图”或“计算机生成的全息图(CGH)”，但应当理解，SLM可以配置成连续地或根据序列动态地显示多个不同的全息图。这里描述的系统和方法适用于多个不同全息图的动态显示。

图2和3示出了可以在诸如SLM的显示设备上显示的全息图类型的示例，该显示设备可以与这里公开的光瞳扩展器结合使用。然而，该示例不应被视为对本公开的全息图计算方法的限制。

图2示出了用于投影的图像252，包括八个图像区域/分量V1到V8。仅作为示例，图2示出了八个图像分量，并且图像252可被分成任意数量的分量。图2还示出了编码光图案254(即全息图),其可以重建图像252—例如，当被合适的观察系统的透镜转换时。编码光图案454包括第一至第八子全息图或分量H1至H8，对应于第一至第八图像分量/区域V1至V8。图2进一步显示了全息图如何通过角度分解图像内容。因此，全息图的特征在于它对光的引导。这在图3中示出。具体而言，本示例中的全息图将光导入多个离散区域。在所示的示例中，离散区域是盘，但也可以设想其他形状。在通过波导传播之后，最佳盘的尺寸和形状可以与观察系统的入射光瞳的尺寸和形状相关。

图4示出了系统400，包括显示如图2和3所示计算的全息图的显示设备。

系统400包括显示设备，该显示设备在该布置中包括LCOS 402。LCOS402布置成显示包括全息图的调制图案(或“衍射图案”)，并将已经全息编码的光投射到眼睛405，眼睛405包括充当孔径404的瞳孔、晶状体409和充当观察平面的视网膜(未示出)。具有布置成照射LCOS 402的光源(未示出)。眼睛405的晶状体409执行全息图到图像的转换。光源可以是任何合适的类型。例如，它可以包括激光源。

观察系统400还包括位于LCOS 402和眼睛405之间的波导408。波导408的存在使得来自LCOS 402的所有角度内容能够被眼睛接收，即使在所示的相对大的投影距离下。这是因为波导408以众所周知的方式充当光瞳扩展器，因此在此仅简要描述。

简而言之，图4所示的波导408包括基本细长的结构。在该示例中，波导408包括折射材料的光学板，但其他类型的波导也是众所周知的并且可被使用。波导408定位成与从LCOS 402投射的光锥(即衍射光场)相交，例如以斜角相交。在该示例中，波导408的尺寸、位置和定位配置成确保来自光锥内的八个光束中的每个的光进入波导408。来自光锥的光经由波导408的第一平面表面(位置最靠近LCOS 402)进入波导408，并且在经由波导408的与第一表面基本相对的第二平面表面(位置最靠近眼睛)发射之前，至少部分地沿着波导408的长度被引导。很容易理解，第二平面表面是部分反射、部分透射的。换句话说，当每条光线从第一平面表面在波导408内传播并撞击第二平面表面时，一些光将透射出波导408，一些光将被第二平面表面反射回第一平面表面。第一平面表面是反射性的，使得从波导408内撞击它的所有光将被反射回第二平面表面。因此，一些光在被透射之前可以简单地在波导408的两个平面表面之间折射，而其他光可以被反射，因此在被透射之前可以在波导408的平面表面之间经历一次或多次反射(或“反弹”)。

图4示出了沿着波导408长度的总共九个“反弹”点B0到B8。尽管如图2所示，与图像(V1-V8)所有点相关的光在从波导408的第二平面表面的每次“反弹”时被透射出波导，但只有来自图像的一个角度部分的光(例如V1到V8之一的光)具有使其能够从每个相应的“反弹”点B0到B8到达眼睛405的轨迹。此外，来自图像的不同角度部分(V1到V8)的光从每个相应的“反弹”点到达眼睛405。因此，在图4的示例中，编码光的每个角度通道仅从波导408到达眼睛一次。

上述方法和装置可以在各种不同的应用和观察系统中实现。例如，它们可以在平视显示器(HUD)中或者在诸如增强现实(AR)HMD的头部或头盔安装设备(HMD)中实现。

尽管这里已经一般性地讨论了虚像，虚像需要眼睛转换接收的调制光以形成感知图像，但上文描述的方法和装置可以应用于实像。

二维光瞳扩展

虽然图4所示的布置包括在一个维度上提供光瞳扩展的单个波导，但光瞳扩展可以在不止一个维度上提供，例如在两个维度上。此外，虽然图4中的示例使用了已被计算以创建光通道的全息图，每个光通道对应于图像的不同部分，但本公开和下面描述的系统不限于这种全息图类型。

图5示出了系统500的透视图，该系统包括两个复制器504、506，布置用于在二维上扩展光束502。

在图5的系统500中，第一复制器504包括彼此平行堆叠的第一对表面，其布置成以类似于图4的波导408的方式提供复制或者光瞳扩展。第一对表面的尺寸和形状彼此相似(在某些情况下相同),并且在一个方向上基本是细长的。光束502被导向第一复制器504上的输入。由于两个表面之间的内部反射过程，以及来自其中一个表面(上表面，如图5所示)上的多个输出点中的每个的光的部分透射，这对于熟练的读者来说是熟悉的，光束502的光沿着第一复制器504的长度在第一方向上被复制。因此，第一多个复本光束508从第一复制器504朝向第二复制器506发射。

第二复制器506包括彼此平行堆叠的第二对表面，布置成接收第一多个光束508的每个准直光束，并且进一步布置成通过在基本正交于第一方向的第二方向上扩展这些光束中的每个来提供复制或者光瞳扩展。第一对表面的尺寸和形状彼此相似(在某些情况下相同),并且基本为矩形。为第二复制器实现矩形形状，以使其具有沿着第一方向的长度，以便接收第一多个光束508，并且具有沿着第二正交方向的长度，以便在该第二方向上提供复制。由于两个表面之间的内部反射过程，以及来自其中一个表面(如图5所示的上表面)上的多个输出点中的每个的光的部分透射，第一多个光束508内的每个光束的光在第二方向上被复制。因此，第二多个光束510从第二复制器506发射，其中第二多个光束510包括输入光束502沿着第一方向和第二方向中的每个的复本。因此，第二多个光束510可被视为包括复本光束的二维网格或阵列。

因此，可以说图5的第一和第二复制器504、505组合以提供二维复制器(或“二维光瞳扩展器”)。

由一个或多个波导形成的显示设备的虚拟复本

传统上，为了计算图像(例如虚拟图像)的点云全息图，图像被分解成多个单独的点(即由多个单独的点表示)—这里称为“虚拟点”。然后，光波(例如球面波(或“小波”)通过计算(即使用模型或其他理论工具)从虚拟图像内的每个虚拟点的预期或期望位置传播到全息图的平面，例如将用于显示全息图的显示设备，例如上述示例中的LCOS平面。将来自多个虚拟图像点的小波相互组合，并且计算在显示设备处得到的振幅和/或相位分布/图案。然后，显示设备可以众所周知的方式(因此在此不再描述)配置来显示全息图，以便重建小波，从而创建图像的重建。

然而，如本文所述，在某些显示系统应用中，一个或多个波导用于光瞳扩展。发明人已经认识到，使用光线复制的光瞳扩展具有在二维阵列中创建显示设备的“虚拟复本”的效果，并且这些复本的位置可以用于帮助消除由于波导内的多个不同光传播路径而可能出现的重影。发明人还意识到，由于通过一个或多个波导的光路距离，虚拟复本的深度(从眼盒测量)是不同的，并且这里公开的方法必须考虑这些差异。为了避免疑问，显示设备的这些不同的虚拟复本有助于相同的重建虚拟图像，因此从眼盒内的所有位置观察者可以看到相同的深度。

因此，本公开提出了一种用于计算虚拟图像的全息图的新方法，使得对于特定的目标眼睛位置，所显示的全息图在光瞳扩展器之后产生波前，就好像它是由目标图像产生的一样。

图6示出了包括3D阵列的“扩展调制器”或“虚拟表面”的示例可视化，该3D阵列包括形成在显示设备上的全息图和由波导形成的全息图的多个复本。

如上参考图4所述，一维波导408可以布置成扩展显示系统的出射光瞳。该显示系统包括显示全息图的显示设备402，该全息图在波导408的“反弹”点B0输出。此外，波导在沿其长度的相应“反弹”点B1至B8处形成全息图的多个复本，对应于光瞳扩展的方向。如图4所示，多个复本可以直线外推回相应的多个复本或虚拟显示设备402’。该过程对应于在波导内“展开”光路的步骤，使得复本的光线被外推回“虚拟表面”，而在波导内没有内反射。因此，扩展出射光瞳的光可以被认为源自包括显示设备402和复制显示设备402’的虚拟表面(这里也称为“扩展调制器”)。

所提出的计算全息图的方法定义了所谓的“扩展调制器”，其中显示设备(例如LCOS SLM)被其虚拟复本的阵列“扩展”，该阵列将由一个或多个波导光瞳扩展器形成，以形成“扩展调制器”或“虚拟表面”(例如图4中所示)。例如，显示设备(例如LCOS SLM)可以位于图6所示的扩展调制器的位置(0,0),并且由两个一维光瞳扩展器形成的(虚拟)复本(即复本显示设备)位于在光瞳扩展的第一方向上延伸到(0,2)和在光瞳扩展的第二方向上延伸到(4,0)的位置。光路的方向由箭头601示出，其垂直于光瞳扩展的第一和第二方向。

因此，扩展调制器被定义为包括：(i)由角度(在空间中)和对应的光瞳扩展方向定义的在第一波导光瞳扩展器(例如细长波导)中产生的复本之间的第一偏移，(ii)由角度(在空间中)和对应的光瞳扩展方向定义的在第二波导光瞳扩展器(例如平面波导)中产生的复本之间的第二偏移；(iii)第一偏移和第二偏移的方向之间的任何偏斜—产生图6中的大致平行四边形形状，以及(iv)显示设备复本和眼睛位置之间的光路长度(差)—在图6所示的方向601上。

使用包括虚拟复本的扩展调制器的全息图计算

图7示出了根据本公开实施例的使用扩展调制器(例如图6所示的扩展调制器)计算点云全息图的装置。

该装置包括在空间中期望的虚拟图像位置处的虚拟图像700，以及包括眼睛720的观察系统，眼睛720具有形成观察系统的入射孔径730的光瞳。该装置示出了眼睛720在眼盒内的一个位置。因此，点云全息图与特定的眼盒位置相关。此外，该装置包括位于虚拟图像700和眼睛720之间的扩展调制器(或虚拟表面)710。本领域技术人员将理解，在图7中，光路在波导内被有效地“展开”。

根据本领域公知的用于计算点全息图的传统技术，球面波(或“小波”)沿着从每个虚拟图像点到显示设备平面的路径传播。基于(例如通过组合/叠加)由小波形成的复合光图案(即具有振幅和相位分布的复合光场)来确定点云全息图，该小波从每个虚拟图像点在其与显示设备平面的相应相交区域传播。可以说，与每个虚拟图像点相关的小波的复合光图案是在与显示设备平面相交的相应区域被“捕获”的。

然而，根据本公开，基于(例如通过组合/叠加)由小波形成的复合光图案(即振幅和/或相位分布)来确定点云全息图，该小波从每个虚拟图像点在其与扩展调制器或虚拟表面的相应相交区域传播。此外，仅考虑从虚拟图像点传播的到达观察者眼睛的小波部分。

图7示出了虚拟图像700的第一和第二示例虚拟图像点701、702，它们位于离观察者的眼睛720的期望距离处。如虚线所示，(扩展的)球面波或小波从每个示例虚拟图像点701、702通过扩展调制器710传播到观察者眼睛720的入射孔径730。第一对直线711从第一虚拟图像点701延伸到入口孔径730的相对极端位置(即图中的左手侧和右手侧),表示相关小波(的相关部分)的边缘/周界。类似地，第二对直线721从第二虚拟图像点702延伸到入口孔径730的相对极端位置/边缘(即图中的左手侧和右手侧),表示相关小波(的相关部分)的边缘/周界。第一和第二对直线711、721分别具有与扩展调制器710(或虚拟表面)相交的区域800、900。因此，根据本公开，第一和第二对直线711、721分别与第一和第二虚拟图像点701、702相关地“描绘”(即形成其周围的边界)期望的小波(的一部分)，该第一和第二虚拟图像点701、702可以在特定眼盒位置穿过观察者眼睛720的入射孔径730(即瞳孔)。在下面的描述中，对从虚拟图像点传播的“小波”的引用涉及传播波的由直线描绘的部分，如上所述。

由于扩展调制器是“交错的”，如本文所述，从每个虚拟图像点传播的小波的相交区域处于不同的垂直距离(到显示设备的平面)—或者在传播方向上的不同距离。特别地，从不同虚拟图像点传播的小波穿过扩展调制器710的不同“复本”(显示设备的)。一些小波—例如与虚拟图像点701相关的小波—可以与多个副本相交，而其他小波—例如与虚拟图像点702相关的小波—仅与单个复本相交，如下面进一步描述。例如，图7示出了与第一小波的扩展调制器710相交的第一区域800，由第一对线711描绘/界定，从第一虚拟图像点701传播到眼睛720。类似地，图7示出了与第二小波的扩展调制器710相交的第二区域900，由第二对线721描绘/界定，从第二虚拟图像点702传播到眼睛720。下面参照图8和9描述这些相交区域。

图8更详细地示出了与第一小波的扩展调制器710相交的第一区域800，由第一对线711描绘，从第一虚拟图像点701传播。特别地，第一小波在包括扩展调制器710的两个相邻虚拟复本的区域中相交—这些虚拟复本在图7中示出为水平线，在图8中示出为竖直线。如上所述，扩展调制器的不同虚拟复本位于不同垂直距离的不同平面中。因此，与扩展调制器的每个虚拟复本相交的区域处的复合光图案被单独确定。这是必要的，因为与两个相邻虚拟复本相交的小波部分将从虚拟图像点791传播不同的距离，因此在到达扩展调制器时具有不同的复合光图案或波前。

下文中提到的“复合光图案”是指表示从每个虚拟图像点到达扩展调制器的光场的振幅和相位值对的空间分布。换句话说,“复合光图案”对应于小波在其与扩展调制器相交的一个或多个点处的波前。在实施例中，“复合光图案”是振幅和相位值对的阵列。在一些示例中，显示设备是相位调制器，在这种情况下，振幅值最终可以被忽略或丢弃。“复合光图案”也可以称为“复合光场”。

因此，图8示出了由小波在与扩展调制器710的第一虚拟复本(在图的顶部示出)的相交处形成的第一复合光图案810’。第一复合光图案810’被“捕获”在第一虚拟复本的平面处，并形成与第一虚拟图像点701相关的第一子全息图元件810。此外，图8示出了由小波在与扩展调制器710的第二虚拟复本(在图的底部示出)的相交处形成的第二复合光图案811’。第二复合光图案811’被“捕获”在第二虚拟复本的平面处，并形成与第一虚拟图像点701相关的第二子全息图元件811。值得注意的是，扩展调制器710的第一和第二虚拟复本中的每个的相交区域被示为圆形或椭圆形(的一部分)。这对应于“主贡献区域”，因为它对应于穿过观察系统入射光瞳的光线。在某些情况下，这确保了观察系统形成主图像(而不是“重影图像”)。在一些实施例中，主贡献区域的形状对应于观察系统的入射光瞳的形状(例如具有相同的总体形状，但是不一定具有相同的尺寸)。因为由小波形成的复合光图案810’、811’位于相应虚拟复本的边缘，所以主贡献区域位于虚拟图像点701的子全息图820的顶部和底部边缘。

图8示出了第一子全息图分量810和第二子全息图分量811被组合，特别是叠加，以形成与第一虚拟图像点701相关的子全息图820。特别地，在叠加步骤中保留了与每个复合光图案810’、811’相关的空间信息(在显示设备上)。也就是说，第一复合光图案810’形成在对应于显示设备下部区域的位置，因此出现在该虚拟图像点701的最终子全息图820的相应下部区域。同样，第二复合光图案811’形成在对应于显示设备的上部区域的位置，因此出现在该虚拟图像点701的最终子全息图820的相应上部区域。在该示例中，第一复合光图案810’和第二复合光图案811’是不重叠的，因此可以叠加以形成该虚拟图像点的最终子全息图820，而无需任何进一步的处理。

图9更详细地示出了与第二小波的扩展调制器710的相交区域900，由第二对线721描绘，从第二虚拟图像点702传播。具体而言，小波在扩展调制器710的单个虚拟复本的区域中相交—该虚拟复本在图7中显示为水平线，在图9中显示为竖直线。因此，在扩展调制器710的虚拟复本的(单个)平面处的相交区域处的复合光图案920’被捕获，并形成与第二虚拟图像点702相关的子全息图920。再次，扩展调制器710的虚拟复本处的相交区域被示为圆形或椭圆形。这对应于第二虚拟图像点702的“主贡献区域”。因为由小波形成的复合光图案位于虚拟复本的中心，所以对于该虚拟图像点702，主贡献区域位于子全息图920的中心。

通过组合/叠加(例如通过向量相加)与虚拟图像700的每个虚拟图像点例如701、702相关的子全息图例如820、920，为整个虚拟图像700确定点云全息图。

由于计算点云全息图的改进方法使用了扩展调制器，所以它自动考虑了以下差异：(i)第一维度上的复本之间的第一偏移，(ii)第二维度上的复本之间的第二偏移，以及(iii)由一个或多个波导光瞳扩展器生成的复本之间的任何偏斜，以及(iv)复本之间到眼睛位置的光路长度差异，如上所述。

此外，计算点云全息图的改进方法仅考虑来自虚拟图像的小波/光线，这些小波/光线可以在相关眼睛位置穿过观察者眼睛的入射光瞳。因此，只考虑对“主图像”(而非重影图像)有贡献的光线，即小波与扩展调制器相交处的主贡献区域。结果，如上所述，改进的方法自动避免了不希望的“重影图像”的形成。此外，由于该方法仅传播来自虚拟图像的小波/光线，该小波/光线可以在相关眼睛位置穿过观察者眼睛的入射光瞳，因此计算复杂度降低。这样，降低了计算点云全息图的速度，也降低了计算资源的消耗。

进一步改进

上述计算点云全息图的方法可以利用扩展调制器上所有小波与可以穿过观察者眼睛的入射光瞳的虚拟图像点相交区域的波前信息(即复合光图案)。也就是说，与所有虚拟图像点相关的所有子全息图820、920(包括子全息图分量810、811)可被组合/叠加以形成虚拟图像700的点云全息图。

然而，在一些实施例中，可以使用某些标准来确定是否在虚拟图像点的最终子全息图中包括捕获的波前信息。下面参照图10和11描述两个这样的标准。

第一标准是基于扩展调制器处相交区域的阈值最小尺寸，将波前信息(捕获的复合光图案)包括在最终的子全息图中。图10示出了与从虚拟图像点传播的小波相关的复合光图案(示出为圆形)的示例，其在与扩展调制器相交的区域被捕获。复合波前/光图案的相交区域包括扩展调制器的相应的第一、第二、第三和第四相邻“虚拟复本”R1、R2、R3、R4上的第一、第二、第三和第四子区域1001、1002、1003、1004。如上所述，虚拟复本R1、R2、R3、R4在不同的平面中偏移。相交的每个子区域的大小可以与阈值进行比较。例如，阈值可以表示形成可接受质量的波前所需的复合光图案的最小尺寸。如果相交的子区域没有超过阈值，则复合信息可以被丢弃，并且可以不包括在最终的子全息图中。因此，该标准消除了对点云全息图没有积极贡献的任何波前信息，并且可以减少计算资源和/或存储器的消耗，以及显著提高图像质量。

第二标准是，仅当波前信息(捕获的复合光图案)仅在扩展调制器的一个复本中“可见”时，才在最终的子全息图中包括该波前信息。基于这一标准,(虚拟图像点的)最终子全息图不包括来自相交重叠区域的波前信息。包括来自重叠区域的波前信息是不期望的，因为由于通过与每个全息图复本相关的光瞳扩展器的不同光线路径，可能从(最终)子全息图产生“重影”图像/图像点。图11A示出了与从虚拟图像点传播的小波相关的复合光图案(由圆圈包围示出)的示例，该光图案是在与扩展调制器相交的区域捕获的。图11B示出了使用该标准确定的最终子全息图。

参考图11A，复合波前/光图案的相交区域包括扩展调制器的第一、第二和第三“虚拟复本”R1、R2、R3上的第一至第五子区域1101、1102、1103、1104、1105。如上所述，虚拟复本R1、R2、R3在不同的平面上偏移。第二虚拟复本R2与第一和第三虚拟复本R1、R3中的每个相邻，并位于它们之间。复合光图案的第一子区域1101位于第二虚拟复本R2的中心，并且不与第一和第三虚拟复本R1、R3上的复合光图案的子区域1102、1103、1104、1105重叠。因此，根据该标准，第一子区域1001中的复合光图案被包括在子全息图中，如图11B所示。然而，在第二/中间虚拟复本R2顶部的区域中的复合光图案的第二子区域1102与在第三虚拟复本R3顶部的等效区域中的复合光图案的第三子区域1103重叠。类似地，复合光图案的第四子区域1104—在第一虚拟复本R1底部的区域中—与复合光图案的第五子区域1105重叠—在第二/中间虚拟复本R2底部的等效区域中。因此，根据该标准，重叠的第二和第三子区域1102、1103以及重叠的第四和第五子区域1104、1105中的复合光图案不包括在子全息图中，如图11B所示。因此，该方法包括丢弃与显示设备的相同部分重叠或使用或对应于或需要显示设备的相同部分的子全息图分量信息。

上述实施例涉及点云全息图的计算。然而，本领域技术人员将理解，本公开可以用于计算包括显示设备和波导的光学系统的虚拟图像的其他类型的全息图。特别地，技术人员将理解如何在计算其他类型全息图的方法中应用在全息图平面处包括虚拟图像点的虚拟表面(例如虚拟复本的交错虚拟表面)的概念。

附加特征

在投影仪(光学系统)的实施例中，全息重建是彩色的。在一些实施例中，被称为空间分离颜色“SSC”的方法被用于提供彩色全息重建。在其他实施例中，使用了被称为帧顺序彩色“FSC”的方法。

示例描述了用可见光照射SLM，但本领域技术人员将理解，例如，光源和SLM同样可以用于引导红外或紫外光，如本文公开。例如，为了向用户提供信息，本领域技术人员将知道用于将红外和紫外光转换成可见光的技术。例如，本公开延伸到为此目的使用磷光体和/或量子点技术。

一些布置仅通过示例描述了2D全息重建。在其他布置中，全息重建是3D全息重建。也就是说，在一些布置中，每个计算机生成的全息图形成3D全息重建。

本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为临时或永久地存储数据的介质，比如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。

术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。

对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims (18)

1.一种计算光学系统的虚拟图像的全息图的方法，该光学系统包括布置成显示全息图的显示设备和布置成复制全息图的波导，其中该方法包括：

确定由从虚拟图像点到观察者的入射光瞳周边的直线路径定义的区域内的虚拟图像点的子全息图，其中该区域包括由波导形成的显示设备的虚拟复本的至少一部分。

2.如权利要求1所述的方法，还包括：

识别虚拟图像和波导之间的虚拟表面，其中虚拟表面包括所述显示设备和由所述波导形成的显示设备的多个虚拟复本；以及

识别虚拟表面上的区域。

3.如权利要求1或2所述的方法，其中，在所述显示设备的第一虚拟复本的第一区域内确定第一虚拟图像点的第一子全息图。

4.如权利要求1或2所述的方法，其中，第一虚拟图像点的第一子全息图包括第一子全息图分量和第二子全息图分量。

5.如权利要求4所述的方法，其中，在所述显示设备的第一虚拟复本的第一区域内确定第一子全息图分量，并且在所述显示设备的第二虚拟复本的第二区域内确定第二子全息图分量。

6.如权利要求5所述的方法，还包括叠加第一子全息图分量和第二子全息图分量，以形成第一虚拟图像点的第一子全息图。

7.如权利要求4所述的方法，其中，在所述显示设备的第一虚拟复本的第一区域内确定第一子全息图分量，并且在所述显示设备的第二区域内确定第二子全息图分量。

8.如权利要求6所述的方法，还包括叠加第一子全息图分量和第二子全息图分量，以形成第一虚拟图像点的第一子全息图。

9.如权利要求8所述的方法，其中：

如果子全息图分量的大小小于阈值，则从叠加步骤中丢弃该子全息图分量，或者

第一子全息图分量和第二子全息图分量如果叠加的话则将重叠的任何部分从叠加步骤中被丢弃。

10.如权利要求1或2所述的方法，还包括计算所述虚拟图像的多个虚拟图像点中的每个虚拟图像点的相应子全息图。

11.如权利要求10所述的方法，还包括叠加所述相应子全息图以形成所述虚拟图像的全息图。

12.如权利要求1或2所述的方法，其中，每个子全息图是点云全息图，通过从对应的虚拟图像点向观察者传播光波并确定到达所述区域的对应位置的复合光场来确定，可选地，其中光波是球面光波。

13.如权利要求1所述的方法，其中，由所述波导形成的显示设备的每个虚拟复本与显示设备的垂直距离不同，从而形成显示设备的虚拟复本的交错虚拟表面。

14.如权利要求1所述的方法，其中，所述显示设备的每个虚拟复本对应于由所述波导形成的全息图的相应复本。

15.如权利要求13或14所述的方法，还包括通过在所述波导内展开从所述显示设备到由波导形成的全息图的相应复本的光路来确定显示设备的每个虚拟复本的位置。

16.一种计算光学系统的虚拟图像的全息图的方法，该光学系统包括布置成显示全息图的显示设备和布置成复制全息图的波导，其中该方法包括：

确定虚拟图像的每个虚拟图像点的子全息图，其中每个子全息图由以下确定：

从相应的虚拟图像点向观察者传播光波；

在虚拟图像和观察者之间的虚拟表面处定义传播光波的相交区域，其中虚拟表面包括显示设备和由波导形成的显示设备的多个虚拟复本，其中定义的区域由从相应虚拟图像点到观察者眼睛的入射光瞳周边的直线路径界定；

识别复合光场的定义区域的一个或多个子区域，其中每个子区域在对应于显示设备和多个虚拟复本中不同一个的位置处与虚拟表面相交；

其中复合光场的一个或多个子区域中的每个形成子全息图的相应分量。

17.一种计算机可读介质，包括当由处理器执行时执行如权利要求1或16所述的方法的指令。

18.一种用于计算光学系统的虚拟图像的全息图的全息图引擎，该光学系统包括布置成显示全息图的显示设备和布置成复制全息图的波导，其中全息图引擎布置成确定由从虚拟图像点到观察者的入射光瞳周边的直线路径定义的区域内的虚拟图像点的子全息图，其中该区域包括由波导形成的显示设备的虚拟复本的至少一部分。

Images