CN114879468A

CN114879468A - 图像投影

Info

Publication number: CN114879468A
Application number: CN202210110621.XA
Authority: CN
Inventors: J.克里斯马斯; M.卡纳; R.林; T.斯米顿
Original assignee: Envisics Ltd
Current assignee: Envisics Ltd
Priority date: 2021-02-05
Filing date: 2022-01-29
Publication date: 2022-08-09
Also published as: JP2022120780A; GB202101666D0; GB2603517A; JP7430699B2; GB2613086B; US20220252879A1; KR20220113275A; GB2613086A; EP4040239A1; GB2603517B

Abstract

一种光引擎，布置为向具有入射光瞳的观看系统提供空间调制光。显示系统包括布置为显示全息图并根据全息图对光进行空间调制的显示设备。显示系统还包括布置为基于入射光瞳的位置接收识别显示设备的贡献和非贡献区域的贡献信息的全息图引擎。显示设备的贡献区域基本传播穿过所确定位置处的入射光瞳的光。显示设备的非贡献区域基本传播被所确定位置处的入射光瞳阻挡的光。贡献信息进一步识别：(i)显示设备的向观看系统传播有助于主图像的光的至少一个主贡献区域，以及(ii)显示设备的向观看系统传播有助于次图像的光的至少一个次贡献区域。全息图引擎还布置成基于显示设备的由处理引擎识别的至少一个主贡献区域来确定全息图。全息图引擎还布置成将全息图输出到显示设备用于显示。

Description

图像投影

技术领域

本公开涉及图像投影。更具体地，本公开涉及全息投影和用于确定诸如全息图或相息图的衍射结构的方法。一些实施例涉及基于眼睛跟踪信息的实时全息图计算。一些实施例涉及虚拟图像投影。其他实施例涉及真实图像的投影。实施例涉及通过波导观看投影图像。一些实施例涉及诸如图片生成单元的光引擎。一些实施例涉及平视显示器。

背景技术

从目标散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或 “全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始目标的二维或三维全息重建或重放图像。

计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换(诸如菲涅耳或傅立叶变换)的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是目标的傅立叶域/平面表示或目标的频域/平面表示。例如，还可以通过相干光线跟踪或点云技术来计算计算机生成的全息图。

可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。

空间光调制器通常包括多个单独可寻址像素，其也可被称为单元或元素。光调制方案可以是二进制、多级或连续的。可替代地，该设备可以是连续的 (即不包括像素)，因此光调制可以在设备上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性的，这意味着调制光以透射输出。

可以使用本文描述的系统来提供全息投影仪。例如，这种投影仪已经在平视显示器“HUD”和光检测和测距“LIDAR”中得到应用。

发明内容

本公开的各方面在所附独立权利要求中定义。

本公开涉及图像投影。它涉及图像投影的方法和包括显示设备的图像投影仪。本公开还涉及包括图像投影仪和观看系统的投影系统。本公开同样适用于单目和双目观看系统。观看系统可以包括观看者的一只或两只眼睛。观看系统包括具有光焦度(例如人眼的透镜)和观看平面(例如人眼的视网膜)的光学元件。投影仪可被称为“光引擎”。显示设备和使用显示设备形成(或感知) 的图像在空间上彼此分离。图像在显示平面上形成或被观看者感知。在一些实施例中，图像是虚拟图像，并且显示平面可被称为虚拟图像平面。通过照射显示在显示设备上的衍射图案(例如全息图)来形成图像。

显示设备包括像素。显示设备的像素衍射光。根据众所周知的光学原理，最大衍射角的大小取决于像素的大小(以及其他因素，诸如光的波长)。

在实施例中，显示设备是空间光调制器，诸如硅上液晶(“LCOS”)空间光调制器(SLM)。光在一定范围的衍射角(例如从零到最大衍射角)内从LCOS 向观看实体/系统(诸如相机或眼睛)传播。在一些实施例中，放大技术可用于将可用衍射角的范围增加到超过LCOS的常规最大衍射角。

在实施例中，图像是真实图像。在其他实施例中，图像是由一只(或两只)人眼感知的虚拟图像。投影系统或光引擎因此可以配置成使得观看者直接看显示设备。在这样的实施例中，用全息图编码的光直接传播到眼睛，并且在显示设备和观看者之间的自由空间中或者屏幕或其他光接收表面上没有中间全息重建形成。在这样的实施例中，眼睛的光瞳可被认为是观看系统的入射孔径，眼睛的视网膜可被认为是观看系统的观看平面。有时也可以说，在这种配置中，眼睛的透镜执行全息图到图像的转换。

根据众所周知的光学原理，眼睛或其他观看实体/系统可以观看到的从显示设备传播的光的角度范围随着显示设备和观看实体之间的距离而变化。例如，在1米的观看距离处，来自LCOS的只有小范围的角度可以通过眼睛的光瞳传播，以在视网膜处形成给定眼睛位置的图像。从显示设备传播的光线 (其可以成功地传播通过眼睛的光瞳以在视网膜处形成给定眼睛位置的图像) 的角度范围决定了对观看者“可见”的图像部分。换句话说，不是图像的所有部分从观看平面上的任何一个点(例如从诸如眼球运动框的观看窗口内的任何一个眼球位置)都是可见的。

在一些实施例中，由观看者感知的图像是出现在显示设备上游的虚拟图像，即观看者感知到图像比显示设备离他们更远。在概念上，可以考虑虚拟图像的多个不同的虚拟图像点。从虚拟图像点到观看者的距离在这里被称为虚拟图像距离(对于该虚拟图像点而言)。当然，不同的虚拟点可能具有不同的虚拟图像距离。与每个虚拟点相关的光线束内的单独光线可以经由显示设备采取不同相应光学路径到达观看者。然而，只有显示设备的一些部分且因此只有来自虚拟图像的一个或多个虚拟点的一些光线可以在用户的视场内。换句话说，只有来自虚拟图像上的一些虚拟点的一些光线将通过显示设备传播到用户的眼睛中，因此将对观看者可见。从概念上讲，因此可以认为观看者正在通过“显示设备大小的窗口”看虚拟图像，该窗口在相对较大距离(例如 1米)处可能非常小，例如直径1cm。并且用户将通过他们眼睛的光瞳观看显示设备大小的窗口，其也可能非常小。因此，在任何给定时间，视场变小，并且可以看到的特定角度范围严重依赖于眼睛位置。

本公开解决了当显示设备(相对而言)小并且投影距离(相对而言)大时如何增加视场的技术问题，即如何增加从显示设备传播且可以成功地传播通过眼睛的光瞳以形成图像的光线的角度范围。在一些实施例中，投影距离是大于显示设备的孔径的直径或宽度(即像素阵列的大小)的至少一个(诸如至少两个)数量级。更具体地，本公开解决了如何利用所谓的直视全息术来做到这一点的技术问题，其中图像的全息图传播到人眼，而不是图像本身传播到人眼。换句话说，由观看者接收的光根据图像的全息图被调制。

波导用于扩大视场，从而增加可以在其上使用显示设备的全衍射角的最大传播距离。波导的使用还可以横向增加用户的眼球框，从而使眼睛能够进行一些运动，同时仍使用户能够看到图像。波导因此可被称为波导光瞳扩展器。然而，本发明人已经发现，对于非无限虚拟图像距离(即，近场虚拟图像)，由于通过波导的不同可能光传播路径而出现所谓的“重影图像”。重影图像是主要图像的低强度副本。主要最高强度图像可被称为主图像。每个重影图像可被称为次图像。重影图像的存在会显著降低感知到的虚拟图像的质量。重影图像可能使主图像看起来模糊不清。

本公开涉及用于解决由重影图像引起的问题的不同方法。这里公开的一些解决方案已被证明能够成功地去除重影图像。本文公开的一些解决方案已被证明修改/操纵重影图像以增强或强化主图像/非重影图像。

根据一方面，一种光引擎布置为向具有入射光瞳的观看系统提供空间调制光。显示系统包括显示设备，其布置为显示全息图并根据全息图对光进行空间调制。显示系统还包括全息图引擎，其布置为基于入射光瞳的位置接收识别显示设备的贡献和非贡献区域的贡献信息。显示设备的贡献区域基本传播穿过所确定位置处的入射光瞳的光。显示设备的非贡献区域基本传播被所确定位置处的入射光瞳阻挡的光。全息图引擎还布置成基于显示设备的由处理引擎识别的至少一个主贡献区域来确定全息图。全息图引擎还布置成将全息图输出到显示设备用于显示。

在至少一些实施例中，贡献信息还识别：(i)显示设备的向观看系统传播有助于主图像的光的至少一个主贡献区域，以及(ii)显示设备的向观看系统传播有助于次图像的光的至少一个次贡献区域。

为了避免疑问，所形成或感知的图像是目标图像的全息重建。全息重建由基于目标图像的全息图形成。在一些实施例中，全息图由目标图像确定(例如计算)。

通过识别显示设备的贡献和非贡献区域，对于观看系统的入射孔径的给定位置，光引擎可以确定显示设备的哪个或哪些部分可被全息图有用地编码，以便对主图像的形成做出积极贡献。例如，这可以对应于在给定时间观看者眼睛的位置。此外，光引擎可以确定显示设备的哪些部分不能将光传播通过入射孔径，因此不值得用全息图值填充。此外，光引擎可以区分显示设备中对“主要”目标图像有积极贡献的部分和对主图像的拷贝/复制或“重影”版本有贡献的部分。因此，全息图可以在所谓的次贡献区域中省略，以消除重影。

可替代地，在显著的进一步改进中，可以基于图像点(即，要全息重建的期望图像内的点)的位移或修正位置来确定在附加贡献区域中显示的全息图。该修正位置可被称为“次图像点”，但这是(主)图像点的次(即改变的)位置的简写。简而言之，可以修正(例如在图像平面上平移)图像点的建模/计算位置，使得从所述修正位置传播的光经由显示设备上的附加贡献区域到达观看平面上的期望位置，以便有效地增强主图像。因此，在该替代方法中，附加贡献区域的全息图是基于到用于识别显示设备上的主贡献区域的图像点的不同位置来确定的。从主图像点到在观看平面上形成的相应图像的光学路径长度通常不同于从次图像点到在观看平面上形成的相应图像的光学路径长度。因此可以说，与附加贡献区域相关的全息图确定过程包括平移或移动全息图确定过程中使用的图像点。

因此，提供了一种智能且高效的光引擎，其可以配置和操作以提供清晰、准确的图像，对应于已经以流线型和计算高效的方式确定的全息图。

根据一方面，提供了一种确定用于在显示设备上显示的全息图的方法。该方法包括确定布置成观看全息图的观看系统的入射光瞳的位置并且识别显示设备的贡献区域和非贡献区域，其中显示设备的贡献区域基本传播穿过观看系统的所确定位置处的入射光瞳的光，并且显示设备的非贡献区域基本传播被观看系统的所确定位置处的入射光瞳阻挡的光。该方法还包括基于显示设备的至少一个主贡献区域来确定全息图。

该方法可以还包括识别显示设备的提供有助于主图像的光的至少一个主贡献区域和显示设备的提供有助于次图像的光的至少一个次贡献区域。

根据一方面，提供了一种衍射结构，其布置成将可由观看系统变换的光空间调制成目标图像，其中衍射结构配置成生成多个离散光图案，每个光图案对应于目标图像的不同部分，其中每个离散光图案的形状基本对应于观看系统的入射孔径的形状。

根据一方面，提供了一种衍射结构，其布置成将可由观看系统(包括透镜)变换的光空间调制成图像，其中衍射结构布置成将光引导到多个离散的光通道中，其中每个光通道具有基本对应于观看系统的入射光瞳的横截面形状，并且每个光通道基本对应于图像的不同部分。

根据一方面，提供了一种确定用于在显示设备上显示的全息图并通过波导观看显示在显示设备上的全息图来形成从观看平面可感知的虚拟图像的方法。该方法包括，对于虚拟图像的每个虚拟图像点，确定虚拟图像点的坐标[x_virtual,y_virtual,z_virtual]，确定观看平面上的观看位置，以及确定波导内与波导形成的主图像相关的光反射数量B。该方法还包括针对波导内的“B”个光反射的从虚拟图像点到观看平面的光线跟踪，以及针对具有B个反射的从 [x_virtual,y_virtual,z_virtual]到观看平面的光传播，确定主光线在显示设备处的坐标 [x_LCOS(B),y_LCOS(B)]。该方法还包括确定显示设备的在由[x_LCOS(B),y_LCOS(B)] 定义的区域内的有源像素；以及通过将光波从[x_virtual,y_virtual,z_virtual]传播到有源像素来确定包括有源像素的振幅和/或相位全息图分量的子全息图。

主光线可以包括被确定(例如计算或建模)为从虚拟图像点经由显示设备行进到观看平面上的虚拟图像点的主或“主要”图像点的光线。

该方法还可以包括组合分别为两个或更多个对应虚拟图像点计算的子全息图，以便形成全息图。

该方法还可以包括确定虚拟图像点的主要图像在观看平面上的位置 [x_sensor,y_sensor]。

该方法还可以包括，对于波导允许的每个ΔB值，针对B+ΔB反弹的光线从[x_sensor,y_sensor]跟踪回到虚拟图像平面z_virtual，并确定虚拟点坐标[x_virtual(ΔB), y_virtual(ΔB),z_virtual]，其将将针对B+ΔB反射成像到[x_sensor,y_sensor]。该方法可以还包括针对具有B+ΔB反弹的从[x_virtual(ΔB),y_virtual(ΔB),z_virtual]到观看平面的光传播，确定主光线在显示设备处的坐标[x_LCOS(B+ΔB),y_LCOS(B+ΔB)]，并识别显示设备的在由[x_LCOS(B+ΔB),y_LCOS(B+ΔB)]限定的第二区域(即附加区域) 内的附加有源像素。该方法还可以包括通过将光波从[x_virtual(ΔB),y_virtual(ΔB), z_virtual]传播到附加有源像素来确定附加子全息图，其包括附加有源像素的振幅和/或相位全息图分量。

本公开的各方面还涉及一种以全息光的引导或路由为特征的全息图或相息图。具体而言，这里公开了一种衍射结构，其布置成将可由观看系统变换成图像的光进行空间调制，其中衍射结构配置成将光路由到多个全息通道中，每个全息通道对应于图像的不同部分。

衍射结构可以布置成使得全息通道以不同的角度从衍射结构传播。

每个全息通道可以包括根据图像的相应不同部分的全息图的空间调制光。

衍射结构可以布置成空间调制光的相位。

衍射结构可以布置成通过波导路由光。波导可以布置用于光瞳扩展。

可由每个全息通道形成的光图案的横截面形状可以基本对应于观看系统的入射孔径的形状。

全息通道可以是空间分离的或者至少部分空间分离的。

这里还公开了一种系统，包括衍射结构、布置成接收来自衍射结构的空间调制光的波导以及布置成经由波导接收空间调制光的观看系统。

该系统可以布置成使得每个全息通道的光沿着从衍射结构到观看系统的不同光学路径。

不同光学路径可以包括波导内不同数量的反射。不同光学路径可以具有不同的长度。不同光学路径可以不同的角度穿过观看系统的入射孔径。

波导可以布置成使得在观看平面上的任何观看位置所有全息通道都被路由通过观看系统的入射孔径。对于每个允许的观看位置，波导仅通过一个光学路径将每个全息通道路由到观看系统。

多个全息通道中的至少两个全息通道可以在观看系统的入射孔径处部分重叠。

衍射结构可以是相息图或全息图。

术语“全息图”用于指代包含关于目标的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的目标的光学重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建可以是真实图像并且与全息图在空间上分离。术语“重放场”用于指代在其内形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上，则重放场将以多个衍射级的形式重复，其中每个衍射级是零级重放场的副本。零级重放场通常对应于优选或主重放场，因为它是最亮重放场。除非另有明确说明，术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”指通过全息重建的光照射的重放场的区域。在一些实施例中，“图像”可包括离散光斑，其可被称为“图像光斑”，或仅出于方便起见而被称为“图像像素”。

术语“编码”、“写入”和“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示” 全息图，并且全息图可被认为是光调制值或水平的阵列。

已经发现，可以从仅包含与原始目标(即用于重建的目标图像)有关的相位信息的“全息图”形成可接受质量的全息重建。这样的全息记录可被称为仅相位全息图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息图。本公开不限于全息图计算的任何特定方法。一些实施例仅作为示例涉及点云全息图，即，使用点云方法建立的全息图。然而，本公开同样适用于傅立叶或菲涅耳型全息图以及根据诸如相干光线跟踪的其他技术计算的全息图。

本公开也同样适用于使用与原始目标(即目标图像)有关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始目标有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。

可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π 范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。

因此，全息图包括灰度级阵列，即光调制值阵列，诸如相位延迟值或复数调制值的阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案(诸如用作透镜或光栅的衍射图案)组合。例如，可以将用作光栅的衍射图案与全息图组合以在重放平面上平移重放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的重放平面上。

尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的组合和置换。

附图说明

仅参考以下附图以示例的方式描述特定实施例：

图1是示出在屏幕上产生全息重建的反射型SLM的示意图；

图2A示出了示例Gerchberg-Saxton类型算法的第一迭代；

图2B示出了示例Gerchberg-Saxton类型算法的第二及后续迭代；

图2C示出了示例Gerchberg-Saxton类型算法的替代第二及后续迭代；

图3是反射型LCOS SLM的示意图；

图4示出了从显示设备向孔径有效传播的虚拟图像的角度内容；

图5a示出了具有相对较小传播距离的观看系统；

图5b示出了具有相对较大传播距离的观看系统；

图6a示出了具有相对较大传播距离的观看系统，其包括波导，用于在无穷远处形成虚拟图像；

图6b示出了图6a的光学路径的放大视图；

图7示出了可以如何使用有限虚拟图像和波导光瞳扩展器来形成重影图像；

图8示出了包括主图像和两个重影图像的虚拟图像；

图9A至9C示出了其中整个LCOS用于形成一个主图像点和两个对应重影图像点的示例；

图10A至10C示出了通过波导的第一、第二和第三传播路径，分别产生第二重影点、主图像点和第一重影点；

图11A至11C示出了与三个不同场/图像点相关的三个传播路径和LCOS 利用；

图12A示出了包括虚拟图像点和由观看系统和波导形成的该虚拟图像点的图像的观看系统；

图12B示出了与图12A的示例相关的LCOS的主贡献区域；

图13示出了根据实施例的导出改进的数据结构的改进方法的流程图；

图14示出了根据实施例的导出改进的数据结构的进一步改进方法的流程图；

图15A示出了包括多个图像区域(底部)的图像和包括多个全息图分量 (顶部)的相应全息图；

图15B示出了根据本公开的全息图，其特征在于将全息编码的光路由或引导到多个离散的全息图通道中；以及

图15C示出了布置成通过不同光学路径将每个全息图通道的光内容路由到眼睛的优化系统。

在所有附图中，相同的附图标记将用于指代相同或相似的部分。

具体实施方式

本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以不同的形式实施且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。

除非另有明确说明，任何数字示例都应被视为说明性的而非限制性的。

除非另有说明，单数形式的术语可以包括复数形式。

描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况，此外，还包括在它们之间设置第三结构的情况。

在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有说明。例如，除非使用诸如“刚好”、“紧邻”或“直接”等措辞，否则描述应被视为包括不连续的情况。

尽管本文可以使用术语“第一”、“第二”等来描述各种元素，但这些元素不受这些术语的限制。这些术语仅用于区分各个元素。例如，在不脱离所附权利要求的范围的情况下，第一元素可被称为第二元素，类似地，第二元素可被称为第一元素。

不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。在所附权利要求的范围内，一些实施例可以彼此独立地执行，或者可以相互依存的关系一起执行。

光学配置

图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的目标的傅立叶变换。应当理解，这仅仅是一个示例，并且在本公开中考虑了用于计算机生成全息图的其他方法。因此，可以说全息图是目标的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅上液晶“LCOS”器件。全息图在空间光调制器上编码，并且在重放场(例如，诸如屏幕或漫射器的光接收表面)处形成全息重建。

光源110(例如激光或激光二极管)设置成经由准直透镜111照射 SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中，波前的方向是偏离法线的(例如与真正正交于透明层的平面相距两度或三度)。然而，在其他实施例中，大致平面波前以法向入射而被提供，并且分束器布置用于分离输入和输出光学路径。在图1所示的实施例中，布置使得来自光源的光从SLM的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，傅立叶变换透镜120的焦点位于屏幕125处。更具体地，傅立叶变换透镜120接收来自 SLM140的调制光束，并执行频率-空间变换以在屏幕125处产生全息重建。

值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个重放场上。

在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度 (聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且在光学上执行傅立叶变换。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。

全息图计算

在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将重放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。

可以使用诸如Gerchberg-Saxton算法的算法来计算傅立叶变换全息图。此外，Gerchberg-Saxton算法可用于根据空间域(诸如照片)中的仅振幅信息来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的仅振幅信息中有效地“检索”与目标有关的相位信息。在一些实施例中，使用 Gerchberg-Saxton算法或其变型从仅振幅信息计算计算机生成的全息图。

Gerchberg-Saxton算法考虑了当已知分别在平面A和B中的光束的强度截面I_A(x,y)和I_B(x,y)并且I_A(x,y)和I_B(x,y)通过单个傅立叶变换关联时的情况。对于给定的强度横截面，分别求出了平面A和B中的相位分布近似Ψ_A(x, y)和Ψ_B(x,y)。Gerchberg-Saxton算法通过遵循迭代过程求出该问题的解。更具体地，Gerchberg-Saxton算法迭代地应用空间和频谱约束，同时在空间域和傅立叶(频谱或频率)域之间重复传输代表I_A(x,y)和I_B(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中的相应计算机生成的全息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以是仅振幅全息图、仅相位全息图或全复数全息图。

在一些实施例中，仅相位全息图是使用基于Gerchberg-Saxton算法的算法来计算的，诸如在英国专利2498170或2501112中描述的算法，所述专利的全部内容通过引用结合于此。然而，本文公开的实施例仅通过示例的方式描述计算仅相位全息图。在这些实施例中，Gerchberg-Saxton算法检索数据集的傅立叶变换的相位信息Ψ[u,v]，其产生已知的振幅信息T[x,y]，其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中本质上是结合的，因此变换后的幅度和相位包含有关计算数据集的准确性的有用信息。因此，算法可以与振幅和相位信息的反馈一起迭代使用。然而，在这些实施例中，仅相位信息Ψ[u,v]用作全息图，以在图像平面处形成目标图像的全息表示。全息图是相位值的数据集(例如2D阵列)。

在其他实施例中，基于Gerchberg-Saxton算法的算法用于计算全复数全息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复数数据值阵列的数据集(例如2D阵列)，其中每个复数数据值包括幅度分量和相位分量。

在一些实施例中，算法处理复数数据，并且傅立叶变换是复数傅立叶变换。可以将复数数据视为包括(i)实数分量和虚数分量，或(ii)幅度分量和相位分量。在一些实施例中，复数数据的两个分量在算法的各个阶段被不同地处理。

图2A示出了根据一些实施例的用于计算仅相位全息图的算法的第一迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。也就是说，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可被视为仅幅度或仅振幅或仅强度分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。算法的第一迭代从数据形成步骤202A开始，该步骤包括使用随机相位分布 (或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成起始复数数据集，其中数据集的每个数据元素包括幅度和相位。可以说，起始复数数据集代表了空间域中的输入图像。

第一处理块250接收起始复数数据集并执行复数傅立叶变换以形成傅立叶变换的复数数据集。第二处理块253接收傅立叶变换的复数数据集并输出全息图280A。在一些实施例中，全息图280A是仅相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280A。根据可以在空间光调制器的将用于“显示”仅相位全息图的像素上表示的相位水平来量化每个相位值。例如，如果空间光调制器的每个像素提供256个不同的相位水平，则将全息图的每个相位值量化为256个可能相位水平中的一个相位水平。全息图280A是代表输入图像的仅相位傅立叶全息图。在其他实施例中，全息图280A是全复数全息图，其包括从接收的傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量) 阵列。在一些实施例中，第二处理块253将每个复数数据值约束到多个可允许复数调制水平之一以形成全息图280A。约束步骤可以包括将每个复数数据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280A 代表频谱或傅立叶或频域中的输入图像。在一些实施例中，算法在该点处停止。

然而，在其他实施例中，算法继续，如图2A中的虚线箭头所示。换句话说，遵循图2A中的虚线箭头的步骤是可选的(即并非对所有实施例都是必不可少的)。

第三处理块256从第二处理块253接收修改的复数数据集，并执行逆傅立叶变换以形成逆傅立叶变换的复数数据集。可以说逆傅立叶变换的复数数据集代表空间域中的输入图像。

第四处理块259接收逆傅立叶变换的复数数据集，并提取幅度值的分布 211A和相位值的分布213A。可选地，第四处理块259评估幅度值的分布211A。具体地，第四处理块259可以将逆傅立叶变换的复数数据集的幅度值的分布 211A与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值的分布211A与输入图像210之间的差足够小，则第四处理块259 可以确定全息图280A是可接受的。也就是说，如果幅度值的分布211A与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是输入图像210的足够准确表示。在一些实施例中，为了比较的目的，忽略了逆傅立叶变换的复数数据集的相位值的分布213A。将理解的是，可以采用任何数量的不同方法来比较幅度值的分布211A和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，则认为全息图280A是可接受的。如果第四处理块259确定全息图 280A是不可接受的，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，执行的算法的迭代次数是预定的或预设的或用户定义的。

图2B表示算法的第二迭代以及算法的任何进一步迭代。通过算法的处理块来反馈先前迭代的相位值的分布213A。拒绝幅度值的分布211A，有利于输入图像210的幅度值的分布。在第一迭代中，数据形成步骤202A通过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复数数据集。然而，在第二和后续迭代中，数据形成步骤202B包括通过将(i) 来自算法的先前迭代的相位值的分布213A与(ii)输入图像210的幅度值的分布相结合来形成复数数据集。

然后，以参照图2A描述的相同方式处理由图2B的数据形成步骤202B 形成的复数数据集，以形成第二迭代全息图280B。因此，此处不重复对该过程的说明。当已经计算了第二迭代全息图280B时，算法可以停止。然而，可以执行该算法的任何数量的进一步迭代。将理解的是，仅在需要第四处理块259或需要进一步迭代时才需要第三处理块256。输出全息图280B通常随着每次迭代而变得更好。然而，实际上，通常会达到一个点，在该点处，无法观察到可测量的改进，或者执行进一步迭代的正面好处被额外处理时间所带来的负面影响抵消。因此，该算法被描述为迭代和收敛的。

图2C表示第二和后续迭代的替代实施例。通过算法的处理块来反馈先前迭代的相位值的分布213A。拒绝幅度值的分布211A，有利于幅度值的替代分布。在该替代实施例中，幅度值的替代分布是从先前迭代的幅度值的分布211中导出的。具体地，处理块258从先前迭代的幅度值的分布211中减去输入图像210的幅度值的分布，通过增益因子α缩放该差，并从输入图像 210中减去经缩放的差。这在数学上通过以下等式来表述，其中下标文本和数字表示迭代次数：

R_n+1[x,y]＝F'{exp(iψ_n[u,v])}

ψ_n[u,v]＝∠F{η·exp(i∠R_n[x,y])}

η＝T[x,y]-α(|R_n[x,y]|-T[x,y])

其中：

F'是逆傅立叶变换；

F是正向傅立叶变换；

R[x,y]是第三处理块256输出的复数数据集；

T[x,y]是输入或目标图像；

∠是相位分量；

Ψ是仅相位全息图280B；

η是幅度值的新分布211B；以及

α是增益因子。

增益因子α可以是固定的或可变的。在一些实施例中，基于输入目标图像数据的大小和速率来确定增益因子α。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。

在所有其他方面，图2C的实施例与图2A和图2B的实施例相同。可以说，仅相位全息图Ψ(u,v)包括频率或傅立叶域中的相位分布。

在一些实施例中，使用空间光调制器执行傅立叶变换。具体地，全息图数据与提供光焦度的第二数据组合。也就是说，写入空间光调制的数据包括表示目标的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据会模拟物理透镜，即它以与相应物理光学元件相同的方式将光聚焦。因此，透镜数据提供了光焦度或聚焦功率。在这些实施例中，可以省略图1的物理傅立叶变换透镜120。已知如何计算代表透镜的数据。代表透镜的数据可以称为软件透镜。例如，可以通过计算由透镜的每个点由于其折射率和空间变化的光学路径长度而引起的相位延迟来形成仅相位透镜。例如，在凸透镜的中心的光学路径长度大于透镜边缘处的光学路径长度。仅振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中，还已知如何将代表透镜的数据与全息图相结合，从而可以在不需要物理傅立叶透镜的情况下执行全息图的傅立叶变换。在一些实施例中，通过简单的加法诸如简单的矢量加法将透镜化数据与全息图结合。在一些实施例中，物理透镜与软件透镜结合使用以执行傅立叶变换。可替代地，在其他实施例中，完全省略傅立叶变换透镜，使得全息重建在远场中发生。在进一步的实施例中，全息图可以相同的方式与光栅数据(即，布置成执行诸如图像转向的光栅函数的数据)结合。同样，在本领域中已知如何计算这样的数据。例如，可以通过对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成仅相位光栅。仅振幅光栅可以简单地与仅振幅全息图叠加以提供全息重建的角度转向。提供透镜化和/或转向的第二数据可被称为光处理函数或光处理图案，以与可被称为图像形成函数或图像形成图案的全息图数据区分开。

在一些实施例中，傅立叶变换由物理傅立叶变换透镜和软件透镜联合执行。也就是说，由软件透镜提供有助于傅立叶变换的一些光焦度，而由一个或多个物理光学器件提供有助于傅立叶变换的其余光焦度。

在一些实施例中，提供了一种实时引擎，其布置为接收图像数据并使用算法实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图被预先计算，存储在计算机存储器中并且根据需要被调出以在SLM上显示。也就是说，在一些实施例中，提供了预定全息图的储存库。

实施例仅通过示例的方式涉及傅立叶全息术和Gerchberg-Saxton类型算法。本公开同样适用于可通过类似方法计算的菲涅耳全息术和菲涅耳全息图。本公开还可适用于通过其他技术诸如基于点云方法的技术计算的全息图。如将看到的，本文的后续附图描述为包括用于全息图计算的点云方法。然而，也可以使用其他全息图计算方法，包括上面关于图2A至2C描述的傅立叶方法。

光调制

可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如果全息图是仅相位全息图，则需要调制相位的空间光调制器。如果全息图是全复数全息图，则可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。

在一些实施例中，空间光调制器的光调制元件(即像素)是包含液晶的单元。也就是说，在一些实施例中，空间光调制器是其中光学活性成分是液晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。也就是说，每个液晶单元在任何时候配置为以从多个可能光调制水平中选择的一个光调制水平操作。每个液晶单元可动态地重新配置为与多个光调制水平不同的光调制水平。在一些实施例中，空间光调制器是反射型硅上液晶(LCOS) 空间光调制器，但本公开不限于这种类型的空间光调制器。

LCOS器件在小孔径(例如几厘米宽)内提供密集的光调制元件阵列或像素阵列。像素通常约为10微米或更小，这导致几度的衍射角，意味着光学系统可以紧凑。充分照射LCOS SLM的小孔径比其他液晶装置的大孔径要容易得多。LCOS器件通常是反射性的，这意味着驱动LCOS SLM像素的电路可以埋在反射表面下。这导致更高的孔径比。换句话说，像素紧密堆积，意味着像素之间几乎没有死区。这是有利的，因为它减少了重放场中的光学噪声。LCOS SLM使用硅底板，其优点是像素是光学平坦的。这对于相位调制装置特别重要。

下面仅以举例的方式，参考图3来描述合适的LCOS SLM。使用单晶硅基板302形成LCOS器件。它具有方形平面铝电极301的2D阵列，由间隙 301a间隔开，布置在基板的上表面上。可以通过掩埋在基板302中的电路 302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303 设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如由玻璃制成的平面透明层306上。例如由ITO制成的单个透明电极 307设置在透明层306和第二取向层305之间。

每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控的相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透明电极307施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射在其上的光提供可变延迟。效果是向波前提供仅相位调制，即不出现振幅效应。

所描述的LCOS SLM以反射方式输出空间调制光。反射型LCOS SLM 具有的优势在于，信号线、栅线和晶体管位于镜面之下，这导致高填充因子 (通常大于90％)和高分辨率。使用反射型LCOS空间光调制器的另一优势在于，液晶层的厚度可以是使用透射型器件时所需厚度的一半。这大大提高了液晶的切换速度(投影运动视频图像的关键优势)。然而，本公开的教导同样可以使用透射型LCOS SLM来实现。

使用小显示设备和长观看距离的图像投影

本公开涉及图像投影，其中显示设备和观看者之间的间隔远大于显示设备的尺寸。观看距离(即观看者和显示设备之间的距离)可以至少比显示设备的尺寸大一个数量级。观看距离可以比显示设备的尺寸大至少两个数量级。例如，显示设备的像素区域可以是10mm×10mm，并且观看距离可以是1m。由系统投影的图像形成在与显示设备空间分离的显示平面上。

根据本公开，图像通过全息投影形成。全息图显示在显示设备上。全息图由光源(未示出)照射，并且在与全息图空间分离的显示平面上感知图像。图像可以是真实的或虚拟的。出于以下解释的目的，考虑在显示设备上游形成的虚拟图像是有帮助的。即出现在显示设备的后面。然而，图像为虚拟图像并不是必须的，并且本公开同样可适用于在显示设备和观看系统之间形成的真实图像。

显示设备包括显示全息图的像素。显示设备的像素结构是衍射的。因此，全息图像的大小由衍射规则决定。下面参考图4解释显示设备的衍射特性的结果。

图4示出了像素化显示设备402，其布置为显示在显示设备402的上游形成虚拟图像401的全息图。显示设备的衍射角θ决定了虚拟图像401的大小。虚拟图像401、显示设备402和观看系统405布置在光轴Ax上。

观看系统405具有入射孔径404和观看平面406。观看系统406可以是人眼。因此，入射孔径404可以是眼睛的光瞳，观看平面406可以是眼睛的视网膜。

在显示设备402和观看系统405之间传播的光用图像的全息图(不是图像本身)调制。每个图示的光线束涉及虚拟图像401的不同部分。更具体地，每个光线束中的光由全息图用关于虚拟图像的一部分的信息编码。图4示出了五个示例光线束，每个由相对于光轴Ax的相应角度表征，并且每个代表虚拟图像的相应部分。在该示例中，光束之一穿过光瞳404，而其他四个光束被光瞳404阻挡。同样，五个不同光线束对应于虚拟图像401的五个不同部分。虚拟图像的完整图像内容被有效地按角度划分。沿着光轴Ax传播的光束携带图像信息的中心部分，即与图像中心相关的信息。其他光束携带图像信息的其他部分。光锥极端处显示的两个光束携带图像信息的边缘部分。这种按角度划分图像信息的结果是，在给定的观看位置，不是所有的图像内容都能穿过观看系统的入射孔径404。换句话说，不是所有的图像内容都被眼睛接收到。在图4的示例中，在任何观看位置所示的五个光束中只有一个穿过光瞳404。读者将理解，仅通过示例的方式示出了五个光束，并且所描述的过程不限于将虚拟图像的图像信息分割成仅仅五个光束。

在该示例中，图像信息的中心部分由眼睛接收。图像信息的边缘部分被眼睛的光瞳遮挡。读者将理解，如果观看者向上或向下移动，眼睛可能接收到不同的光束，并且例如图像信息的中心部分可能被遮挡。因此，观看者只看到完整图像的一部分。其余的图像信息被入射光瞳遮挡。观看者的视场受到严重限制，因为他们通过显示设备本身的小孔径有效地观看图像。

总之，光在来自显示设备的衍射角范围内传播。在1米的观看距离处，对于给定眼睛位置，只有来自显示设备的小范围角度可以通过眼睛的光瞳传播，以在视网膜上形成图像。虚拟图像中可见的部分是只有落在图4所示的小角度范围内穿过入射孔径的部分。因此，视场非常小，具体的角度范围很大程度上取决于眼睛位置。

参考图4解释的小视场和对眼睛位置的敏感性的问题是显示设备的大观看距离和小孔径的结果。观看距离的重要性将参考图5至7进一步解释。

图5A示出了显示设备502，其布置成显示全息图并将根据全息图调制的光传播到包括入射孔径504和观看平面506的观看系统。虚拟图像501在无穷远处，因此在虚拟图像和显示设备之间跟踪的光线被准直。图5A的下部示出了观看系统的放大视图。该图是示意性的，因此没有示出眼睛的生理细节。在实践中，当然有光源(图5A中未示出)布置成照射显示设备502。

图5A仅示出了那些可以通过孔径504传播的光线；省略了不能穿过孔 504的任何其他光线。然而，应当理解，在实践中，这些其他光线从显示设备502传播。在图5A中，显示设备和观看平面之间的距离足够小，使得来自显示设备的全衍射角可以在视网膜上形成图像。从虚拟图像示出的所有光传播路径都穿过入射孔径。因此，虚拟图像上的所有点都映射到视网膜上，并且所有图像内容都被传送到观看平面。因此，感知图像的视场是最大的。在最佳位置，视场等于显示设备的衍射角。有趣的是，视网膜上的不同图像点是由从显示设备502上的不同区域传播的光形成的，例如最靠近图5A顶部的图像点仅由从显示设备下部传播的光形成。从显示设备的其他区域传播的光对该图像点没有贡献。

图5B示出了随着观看距离的增加而出现的情况。

更详细地，图5B示出了显示设备502’,其布置成显示全息图并将根据全息图调制的光传播到包括入射孔径504’和观看平面506’的观看系统。虚拟图像501’在无穷远处，因此虚拟图像和显示设备之间跟踪的光线被准直。图 5B的下部示出了观看系统的放大视图。该图是示意性的，因此没有示出眼睛的生理细节。在实践中，当然有光源(图5B中未示出)布置成照射显示设备502’。

图5B仅示出了可以通过孔504’传播的那些光线。在图5B的较大观看距离处，一些光束被入射孔径504’阻挡。具体而言，与虚拟图像的边缘部分相关的光线束被入射光瞳504’阻挡。因此，整个虚拟图像是不可见的，虚拟图像中可见的部分严重依赖于眼睛位置。因此，这说明由于显示设备的(相对)小尺寸，显示设备和观看系统之间的大距离是有问题的。

图6A示出了包括显示设备602的改进系统，向包括入射孔径604和观看平面606的观看系统传播已经用显示设备602上显示的全息图编码的光。在实践中，当然有光源(未示出)布置成照射显示设备602。改进的系统还包括位于显示设备602和入射孔径604之间的波导608。图6A的下部示出了入射光瞳604和观看平面606的放大视图。该图是示意性的，因此没有示出眼睛的生理细节。

图6的观看距离与图5B相同。然而，在图5B中被阻挡的光线束被波导608有效地恢复，使得观看系统接收到完整图像信息，尽管观看距离更长。

波导608的存在使得来自显示设备602的所有角度内容能够被眼睛接收，即使在该相对较大投影距离处。这是因为波导608以众所周知的方式充当光瞳扩展器，因此在此仅简要描述。

简而言之，波导608包括基本细长结构。在该示例中，它包括折射材料光学板，但其他类型波导也是众所周知的，并且可以使用。波导608定位成例如以倾斜角度与从显示设备602投射的光锥相交。波导608的尺寸、方位和位置被配置成确保来自光锥内的五个光束中的每个的光进入波导608。来自光锥的光经由其第一平面表面610(位于最靠近显示设备602)进入波导608，并且在经由其第二平面表面612发射之前，至少部分地沿着波导608的长度被引导，第二表面612与第一表面610基本相对(位于最靠近眼睛)。如将很好地理解，第二平面表面612是部分反射、部分透射的。换句话说，当每条光线在波导608内从波导608的第一平面表面610行进到第二平面表面612 时，一些光线将被透射出波导608，一些光线将被第二平面表面612反射回第一平面表面610。第一平面表面610是反射性的，使得从波导608内射向它的所有光将被反射回第二平面表面612。因此，一些光可以在被透射之前在波导608的两个平面表面610、612之间简单地折射，而其他光可被反射，因此可以在透射之前在波导608的平面表面610、612之间经历一次或多次反射(或“反弹”)。因此，波导608的净效应是光的透射有效地扩展到波导608 的第二平面表面612上的多个位置。因此，与没有波导608的情况相比，显示设备602输出的所有角度内容可以出现在显示平面上更大数量位置处(以及在孔径平面上更大数量位置处)。这意味着来自每个光束的光可以进入入射孔径604，并且有助于由观看平面606形成的图像，尽管投影距离相对较大。换句话说，眼睛可以接收来自显示设备602的所有角度内容。因此，显示设备602的全衍射角被利用，并且对于用户来说观看窗口被最大化。反过来，这意味着所有光线都对感知的虚拟图像601有贡献。

图6B示出了对在图6A中形成的虚拟图像601内的五个相应像点有贡献的五个光束中的每个光束的单独光学路径，从上到下分别标记为R1到R5。从图中可以看出，R1和R2中的每个的光被波导608简单地折射，然后透射。另一方面，R4的光在透射之前遇到单次反弹。R3的光包括在透射之前被波导608简单地折射的来自显示设备602的对应第一部分的一些光，以及在透射之前遇到单次反弹的来自显示设备602的不同对应第二部分的一些光。类似地，R5的光包括在透射之前遇到单次反弹的来自显示设备602的对应第一部分的一些光，以及在透射之前遇到两次反弹的来自显示设备602的不同对应第二部分的一些光。对于R3和R5中的每个，LCOS的两个不同部分传播对应于虚拟图像的该部分的光。

本发明人已经认识到，至少在一些应用中，与在无穷远处形成的虚拟图像相反，虚拟图像距离(即从观看者到虚拟图像的距离)优选是有限的。在某些应用中，将存在优选的虚拟图像距离，在该距离处，虚拟图像内容出现是期望的或必要的。例如，这可以是平视显示器中的情况，例如在汽车设置中，例如如果虚拟图像内容要叠加到观看者通过车辆挡风玻璃观看的真实内容上。例如，期望的虚拟图像距离可以包括在观看者的车辆或挡风玻璃前方几米(例如3米或5米)处形成的虚拟图像内容。

图7的顶部示出了包括显示设备702的系统，显示设备702向包括入射孔径704和观看平面706的眼睛传播已经用显示在显示设备702上的全息图编码(即根据全息图调制)的光703。具有光源(未示出)布置成照射显示设备 702。该系统还包括位于显示设备702和入射孔径704之间的波导708，以充当如以上关于图6a详细描述的光瞳扩展器。图7的中间部分示出了入射孔径704和观看平面706的放大视图，图7的最低部分示出了观看平面706的另外放大视图。该图是示意性的，因此没有示出眼睛的生理细节。在这种布置中，眼睛感知到虚拟图像701位于显示设备702上游的有限距离处。虚拟图像701和显示设备之间的光线是发散的，因为虚拟图像距离是有限的。

如上根据图6A所述，图7中波导708的存在有效地使得显示设备702 的全衍射角能够在相对大的投影距离处被访问，使得用户在所示的观看位置处可以看到完整图像内容。

然而，引入了另一技术问题。当虚拟图像以有限虚拟图像距离形成时，对于某些光线束，来自显示设备702的不同部分的不同光学路径可以导致这些光线束各自在视网膜706上形成多个像点。这与图7中标记为R3’和R5’ 的光线束相关。附属于虚拟图像内给定点的主要图像点的形成的附加图像点可被称为“重影图像点”，它们共同形成“重影图像”或简单地“重影”。图像形成领域的技术人员将理解，从观看者的角度，重影的形成会导致虚拟图像的模糊和感知质量的总体下降。这在“重影”与“主要”图像部分重叠时尤其如此。

图8示出了数字“5”和“9”的虚拟图像的示例，该虚拟图像是使用类似于图7所示的观看系统创建的，除了主要图像之外还包括重影图像。主要图像可被看作是每个数字最亮的中心图像，左右都有重影。在图8的示例中，“9” 是在观看距离大于对于“5”而言时形成的，因此模糊对它来说更明显。但这只是一个说明性示例，不应被视为对本公开的限制。

发明人已经解决了重影图像的问题。发明人已经认识到，希望提供一种观看系统，其中可以在有限的虚拟图像距离处形成虚拟图像，该虚拟图像包括由显示设备输出的所有角度图像内容，并且减少或消除了重影图像的形成。此外，发明人已经发现，随着常规观看系统中观看孔径大小的增加，形成重影图像点的风险增加，因为孔径可以允许附加光线，这可能在显示平面上形成附加图像点。因此，希望提供一种改进的观看系统，其能够适应不同大小的孔径，同时仍减少或消除重影图像的形成。下面详细描述的发明人提供的解决方案适用于孔径、波导和显示设备的不同尺寸和布置的范围，并且可以应用于不同的传播距离，对此通常可以形成一个或多个重影图像。

总的来说，发明人已经认识到，有可能提供一种用于生成全息图的光引擎，该光引擎实际上识别显示设备的一个或多个区域，这些区域在传统布置中会有助于一个或多个重影图像，其中全息图被导出以便控制来自显示设备的这些一个或多个区域的贡献，并且因此避免或减少当全息图显示在显示设备上并被照射时重影图像点的形成。发明人还认识到，即使当观看系统中的投影距离相对较大并且显示设备和/或观看孔径相对较小时，也可以提供用于提供这种全息图的全息图引擎，并且提供用于显示和照射改进的全息图以形成改进图像的改进的观看系统。

发明人已经认识到，由于具有包括具有相对较小观看孔径的波导(诸如在本文的图6A和7中所示)并且可选地还包括相对较小显示设备的观看系统所施加的角度限制，因此可以分别考虑波导内不同的可能传播路径。此外，他们已经认识到，作为这种考虑的结果，有可能识别以下中的每个：显示设备的作为有助于期望的“主要”图像的光源的区域；显示设备的作为有助于不期望的“重影”图像的光源的区域；以及显示设备的作为被孔径阻挡且因此对主要图像或重影图像都没有贡献的光源的区域。发明人还认识到，有可能将全息图计算仅限制到显示设备的对主要图像有贡献的区域。他们还认识到，在进一步的改进中，在一些实施例中，可以提供改进的全息图，这实际上可以导致一个或多个重影图像被平移，以便被叠加到主要图像上。

参考下面详细描述的附图，可以进一步理解发明人做出的认识以及体现这些认识的改进的系统和方法。

图9A至9C示出了显示设备902，其在该示例中是LCOS空间光调制器。下面提到的“LCOS”是“显示设备”的简写。本公开的教导不限于LCOS显示设备。图9B描绘了光线相对于一个虚拟图像点从LCOS902经由波导908 朝向观看实体/系统905的轨迹，在该示例中，观看实体/系统905包括观看者的眼睛。图9C还包括眼睛905的放大视图，示出了光瞳904(即入射孔径) 和视网膜906(即传感器或观看平面)处的光线。在该示例中，整个LCOS区域有助于在视网膜906上形成图像点。换句话说，整个LCOS 902对于观看者是“可见的”。整个LCOS902对图像的这种贡献由被遮蔽的整个LCOS示出，将它的整个表面区域表示为“贡献区域”。

可以看出，针对该特定虚拟图像点，在图9B和9C中从LCOS 902跟踪的光导致在视网膜906上形成三个图像点(分别标记为G1、M和G2)。中间图像点“M”包括主要图像点，其有助于观看者感知的主/主要虚拟图像。顶部图像点G1包括第一重影图像点，而底部图像点G2包括同一虚拟图像点的不同的第二重影图像点。注意，在进一步的进展中，发明人已经认识到，可以识别对主要图像点M和/或重影图像点G1、G2有贡献的LCOS902的区域。

图10A至10C示出了图9A至9C的LCOS902和光线图，其被分成三个相应传播路径，第一传播路径包括对底部重影图像点G2有贡献的光，第二传播路径包括对主要图像点M有贡献的光，第三传播路径包括对顶部重影图像点G1有贡献的光。如图10A所示，对G2有贡献的光在被波导908 透射之前反弹三次。如图10B所示，对M有贡献的光在被波导908透射之前反弹两次。如图10C所示，对G1有贡献的光在被波导908透射之前反弹一次。

每个图(10A、10B、10C)还示出了对相应图像点有贡献的LCOS902的部分，用阴影示出。因此，可以看出，底部重影图像点G2由朝向LCOS902 下部的区域贡献，顶部重影图像点G1由朝向LCOS902上部的区域贡献，主要图像点由整个LCOS902贡献。

在图9和10a至10c的示例中，孔径904(即观看者的光瞳)相对较宽，这解释了为什么整个LCOS902对主要图像点有贡献。换句话说，在该示例中，观看系统的f数相对较低。图10A至10C示出，尽管LCOS902的部分也对一个或另一个重影图像G1、G2有贡献，但LCOS902的一区域不对重影图像G1和G2有贡献，而只对主要图像点M有贡献。发明人已经认识到，该区域对于该示例中的LCOS902可被识别为贡献区域，更具体地，它可被识别为“主贡献区域”，这将从随后附图的描述中进一步理解。因此可以看出，在这种情况下，主贡献区域不限于圆形或椭圆形，并且可以采取其他更复杂的形状。

图11A至11C示出了当入射孔径相对较小时(即f数相对较高)虚拟图像不同点的相应光线图。图11A涉及虚拟图像的第一场点(即第一虚拟图像点)，图11B涉及虚拟图像的第二场点，图11C涉及虚拟图像的第三场点。图11A 至11C示出了不是全部LCOS902都对主要图像点有贡献。事实上，图11A 至11C示出了LCOS的第一区域对应于主要图像点(这里称为“主贡献区域”)，LCOS的第二区域对应于重影图像点(这里称为“次贡献区域”)。

发明人已经认识到，在某些条件下，LCOS902(或观看系统中的其他显示设备)的不同相应区域将有助于主要图像或重影图像，或者将不会有助于图像的任何可见部分。他们进一步认识到，可以使用该信息对全息图确定过程进行优化。例如，可以省略来自显示设备的某些部分的光，或者在某些情况下，可以改变全息图对显示设备的某些部分进行编码的方式，以便对主要图像做出积极贡献，而不是对重影图像做出贡献。此外，可以识别显示设备的附加区域，其可以配置为对主要图像做出积极贡献。

下面将通过一个示例结合点云全息图来描述发明人的认识。然而，它们可以应用于其他类型的全息图，诸如傅立叶或菲涅耳全息图。也就是说，可以使用根据本公开确定的LCOS信息来优化其他全息图计算方法。

如将很好地理解，通常为了计算图像(诸如虚拟图像)的点云全息图，图像被分解成多个单独点(即图像由多个单独点表示)，这里称为“虚拟点”，因为我们描述了虚拟图像的形成。球面波(或“小波”)则通过计算(即使用模型或其他理论工具)从虚拟图像内的每个虚拟点的其预期或期望位置传播到显示设备的平面，诸如上述示例中的LCOS的平面。考虑这种小波相互干扰的方式，并计算将在显示设备的每个像素处接收的小波的合成振幅和/或相位。然后，显示设备可以众所周知的方式被调谐(这里不再描述)，从而呈现每个像素位置处所需的振幅和/或相位调制，以便模拟计算的小波，并因此创建图像的全息图。

发明人已经认识到，对于如本文所述的具有波导和大观看距离的观看系统，如果整个显示设备填充有所有虚拟点的相应小波的净振幅和相位，则当显示和照射时，将要创建的全息图可以生成一个或多个重影图像以及主要图像。例如，当观看系统配置成使得在离观看者有限距离处感知到虚拟图像时，这可能发生。此外，在许多情况下，从设备的一些部分中的像素发射的光线将被浪费(即它们不会对观看者看到或感知的图像做出贡献)，因为观看系统的物理限制(诸如小孔径和/或小显示设备和/或大投影距离)将规定来自设备的那些部分的光不会进入观看者的眼睛。因此，发明人已经认识到关于显示设备的哪些部分被调谐以提供全息图，可以应用智能选择。具体而言，如果只选择了对主要图像有贡献的LCOS的那些部分(或部件或区域)，并且如果小波仅从预期虚拟图像的虚拟点通过计算传播到LCOS的那些部分，而不是LCOS的对主要图像没有贡献的其他部分，则可以计算在显示设备的所选区域内的每个像素处接收到的小波的合成振幅和/或相位。不需要对显示设备的任何其他部分进行计算。

然后，根据改进的计算，可以调谐显示设备，以在所选部分内的每个像素位置处呈现所需的振幅和相位调制，以便模拟计算的小波，从而创建主要图像的全息图。当这样做时，当计算的全息图显示在显示设备上并被照射时，将不会调谐LCOS的任何其他部分，因此没有图像信息将从这些其他部分传播到观看者的眼睛(或其他观看实体)。因此，观众将没有可用的信息，这可能导致它形成不期望的“重影”图像点。结果，重影被消除或“熄灭”。此外，没有计算或图像信息被浪费，因为对于给定的一组条件(诸如对于眼睛的特定孔径宽度和位置)，只有那些已知提供将被允许通过观看者的光瞳(或通过相应其他观看实体的孔径)的光的显示设备的像素将被调谐。

图12A和12B示出了形成包括示例虚拟点1201的虚拟图像的系统1200。观看系统1200包括显示设备1202，在该示例中显示设备1202是LCOS SLM，其包括根据本公开识别的贡献区域1203和非贡献区域1207。显示设备1202 布置成显示虚拟图像的全息图，并将根据全息图编码的光投射到眼睛1205，其包括充当孔径的光瞳(未示出)、透镜1209和充当观看平面的视网膜1206。透镜1209和视网膜被分离距离“A”分开。光源(未示出)布置成照射显示设备 1202。观看系统1200还包括位于LCOS1202和眼睛1205之间的波导1208。该图像是示意性的，因此没有示出眼睛的生理细节。

虚拟点1201位于显示设备1202的上游，在图12A和12B中描绘为虚拟点1201位于显示设备1202的左侧。虚拟点1201具有由空间坐标定义的位置，在该示例中，空间坐标包括笛卡尔(x,y,z)坐标，但也可以使用其他坐标系或识别虚拟点位置的其他手段。在基本平行于显示设备1202的光轴的方向上，在虚拟点1201和显示设备1202之间定义距离“z”。在基本平行于显示设备1201的光轴的方向上，在显示设备1201和眼睛透镜1209之间还定义了显示器到透镜的距离“l”。在给定时间，包括观看者位置，“z”和“l”的数值将根据观看系统1200的特定布置而变化。例如，显示器到透镜的距离“l” 可以是约1米的量级，显示器到图像的距离“z”可以更大，例如几米的量级。但这些数字示例纯粹是说明性的，不应被视为限制性的。

发明人已经认识到，如果包括虚拟图像点1201的虚拟图像将被观看者在图12A所示的位置感知，则相应的图像点1211必须形成在视网膜1206 上。光线可以经由LCOS1202从虚拟图像的虚拟点1201跟踪到视网膜1206 上的对应点1211。

应当理解，由于波导1208产生/生成的可能路径，虚拟点1201和其在视网膜上的对应点1211之间，经由LCOS1202可以采用一个以上的可能光学路径。根据实施例，可以确定主光线，其包括在观看平面(即视网膜1206)上的虚拟图像点1201和对应点1211之间的多条光线路径中的光线路径。当该主光线路径被识别时，光在波导中经历的反弹数量被确定。该反弹数量(B) 可以设置为在虚拟图像和观看平面之间应该被跟踪的光线的反弹数量。根据实施例，作为初始步骤，可以识别主光线以及相关的反弹数量(B)。

在本示例中，光线跟踪可以确定LCOS1202中“主光线”光在每个虚拟图像点1201到视网膜上的对应点1211之间传播的部分，以便识别针对该虚拟图像点1201的“贡献区域”1203。因此，在图12A中，光线“r”被描绘为在虚拟图像点1201和显示设备1202的贡献区域1203之间传播。根据发明人的认识，仅需要基于虚拟图像点1201和显示设备1202对贡献于LCOS的贡献区域的小波进行建模(或以其他方式通过计算考虑)。换句话说，只有显示设备1202的识别的贡献区域1203需要被编码(或“调谐”)，以便生成适当的全息图。这种全息图当被编码在显示设备上并被适当地照射时将使观看者能够感知虚拟图像点1201，而也不存在该虚拟图像点1201的任何重影。这可以从下面讨论的图13和14中进一步理解。

图12A和12B中的贡献区域1203，以及下面关于图13和14讨论的贡献区域的大小和形状，可以基于相应观看实体和相关光学器件(例如波导几何形状、较大光学系统内的任何反射等)的入射孔径的大小和形状来确定。因此，当观看实体是人眼时，在一些情况下，显示设备上的贡献区域可以包括与接收光瞳大小相似的基本圆形或椭圆形，或者任何其他合适的形状，诸如复杂形状。然而，本公开包含用于贡献区域的更复杂形状。可以任何合适的方式测量或估计光瞳直径。例如，眼睛光瞳直径的测量可以通过眼睛跟踪系统进行。可替代地，其可以基于眼睛的光瞳直径的已知范围(例如2-6mm) 或者基于在给定时间下的给定环境光条件的另一估计来估计。

贡献区域可以设置为有意地贡献比光瞳稍大的区域(在孔径平面上)，和/ 或贡献与光瞳(或其他孔径)稍微不同形状的区域(在孔径平面上)。在这种情况下，并非来自“贡献区域”的所有光都可以一直穿过光瞳，但眼睛将能够在仍收集足够的光以在视网膜上形成良好图像的同时稍微移动。

图13示出了根据本公开主要方面的用于确定显示设备的贡献和非贡献区域的方法。可选地，这些确定然后可以用于优化一个或多个全息图的生成，以由诸如图12A和12B的系统1200的观看系统显示和照射。在参考图13 描述的方法中，观看系统包括具有“f”数(即焦距和孔径)的透镜和相机。相机的光敏部件可以是例如CCD阵列，并且位于观看平面上。在功能上，透镜和相机替代观看者的人眼的眼睛透镜和视网膜，并且仅用于确定显示设备的贡献和非贡献区域的过程。可以针对多个观看位置(例如眼球运动框内的眼球位置)和/或多个图像距离(例如车辆前方的虚拟图像距离)来确定显示设备的这些区域。在某些方面，参考图13公开的方法可被认为是全息图计算的先驱。该方法可被认为是优化或甚至校准过程。

如将很好地理解，要生成的每个虚拟图像可以由一个或多个虚拟图像点表示，每个具有相应的位置，例如由(x,y,z)坐标定义。图13的方法1300的步骤一1302至步骤六1312(下面详述)可被单独应用于要被创建的虚拟图像内的每个虚拟图像点。此外，方法1300适用于观看系统的一组特定条件(即特定测量和约束)。因此，方法1300的任何给定迭代(或“运行”)都适用于建立要(逐个虚拟图像点)创建的特定图像，并且适用于当系统具有特定的显示器到图像距离“z”、显示设备和视网膜之间的特定距离“d”、特定孔径(光瞳)宽度以及眼睛聚焦的特定虚拟图像距离时。方法1300的迭代也特定于显示设备的特定尺寸和类型，并且对于眼睛的特定位置，具有允许的观看窗口。可能有该方法的每次迭代都特定于的其他测量和/或约束。根据实施例，如果任何那些测量或约束改变，则方法1300可以重新运行，以在改变的环境下重新确定显示设备的贡献区域。然而，应当理解，根据实施例，某些公差可以应用于那些测量或约束中的一个或多个，使得如果它们变化小于预定量和 /或小于预定时间长度，则该方法可以不必重新运行。关于何时应该重新迭代该方法的规则可以基于每个系统来确定。

方法1300可以由合适的处理器执行。处理器可以包括全息图引擎，或者包括在全息图引擎内或与之通信。处理器或全息图引擎可以包含在光引擎中。

在执行方法1300之前，处理器可以获得或接收关于观看系统的边界信息。例如，它可以获得或接收关于诸如显示设备的部件尺寸的信息、关于各种部件和观看系统(例如潜在的人类观看者)的绝对和/或相对位置的信息、关于光源的信息等。

根据方法1300，在第一步骤1302，根据虚拟图像将被感知的位置，获得虚拟图像点(这里也简称为“虚拟点”)的位置，例如坐标[x_virtual,y_virtual,Z_virtual]。然后获得或确定透镜1209和虚拟点之间的虚拟图像距离。该虚拟图像距离可以由执行方法1300的处理器设置或确定，或者可以由另一实体设置或确定，并传送给该处理器。在一些布置中，它可以预先设置或从多个可能的虚拟图像距离中选择。在现实操作中，当观看系统是眼睛时，眼睛跟踪或头部跟踪信息可以用于确定虚拟图像距离。

在第二步骤1304，确定透镜和传感器之间的所需距离“A”，以聚焦在虚拟图像点上。每个虚拟图像点也可以用角度来定义，参见图4。本文提到的“角度内容”是相对于虚拟图像的虚拟图像点而言的。

在第三步骤1306，确定与由观看系统形成的主要图像或主图像相关的波导内的光的反射或反弹数量“B”。光学领域的技术人员将理解，波导产生与虚拟图像点相关的光的多个复制，并且每个复制可以与波导内不同数量的光反弹/反射相关。仅作为示例，确定B的一种方式是确定波导中每个可能的光传播路径的主光线与显示设备的交点并选择使主光线最靠近显示设备中心的反射/反弹数量。有利地，该方法使得对观看系统有贡献的显示设备的面积最大。

可替代地，计算在第三步骤1306使用的反弹数量的另一种方式包括下面的子步骤1至5：

1.已知眼睛位置并用作输入

2.对于第一反弹数量B，从显示设备的中心到确定的眼睛位置的光线跟踪。该光线向虚拟图像的外推限定该反弹数量(B)的视场角(θ_B)。

3.对于第二反弹数量B+1，从显示设备的中心到确定的眼睛位置的光线跟踪。该光线向虚拟图像的外推限定该反弹数量(B+1)的视场角(θ_B+1)。

4.B是用于θ_B和θ_B+(θ_B+1-θ_B)/2之间的角度内容的反弹数量

5.B+1是用于θ_B+(θ_B+1-θ_B)/2和θ_B之间的角度内容的反弹数量

在第四步骤1308使用来自第一步骤1302(即虚拟图像点的坐标)和第三步骤1306(参数B)的输出来确定传感器上的相应图像位置/点[x_sensor,y_sensor, Z_sensor]。也就是说，第四步骤1308确定传感器上接收虚拟图像点的光的点。换句话说，传感器上虚拟图像点被成像所在的点。传感器上的该点在下面关于图14被称为主要图像点[x_sensor,y_sensor,z_sensor]。仅作为示例，可以使用从虚拟点到传感器的用于波导内的B个反弹的计算光线跟踪，但本公开不限于第四步骤的这种方法。

本领域技术人员将理解，可以识别从虚拟点[x_virtual,y_virtual,z_virtual]到传感器上的点[x_virtual,y_virtual,z_virtual]的主光线(或简称为主线)。同样，计算光线跟踪可用于识别或跟踪主光线，但其他方法同样适用。在第五步骤1310，识别显示设备交叉点[x_LCOS(B),y_LCOS(B),z_LCOS(B)]，其中显示设备交叉点是显示设备上主光线与显示设备相交的位置。显示设备交叉点可以例如通过计算光线跟踪来确定、计算或测量。

在第六步骤1312，识别与显示设备交叉点[x_LCOS(B),y_LCOS(B),z_LCOS(B)] 相关的显示设备的区域。显示设备的区域可以几何上集中在该点[x_LCOS(B), y_LCOS(B),z_LCOS(B)]上。例如，该区域可以是圆形或椭圆形，但也可以设想其他更复杂的形状。如果该区域是规则形状，诸如圆形或椭圆形，则可以例如根据观看系统的透镜的f数确定该区域的半径。该区域在这里被称为“主贡献区域”，因为它对应于由观看系统形成的主图像。单词“贡献”反映了显示设备的识别区域内的显示设备的像素是向传感器提供必要信息内容的像素。显示设备的其他区域(即显示设备的其他像素)对传感器上图像点的形成没有贡献。当然，其他像素可以对传感器上与其他虚拟图像点相关的其他图像点有贡献。

根据本公开主要方面的方法结束于确定显示设备的主贡献区域。可选地，可以基于主贡献区域而不是显示设备的整个区域来确定全息图。

因此，在可选的第七步骤1314，基于虚拟点为主贡献区域确定全息图分量。具体地，确定主贡献区域的光参数。光参数可以是主贡献区域的每个像素的振幅和/或相位。例如，可以使用本领域技术人员熟悉的点云方法，基于光从虚拟点到主贡献区域的传播，为主贡献区域内的每个像素确定光振幅和相位。虚拟点的全息图分量可被存储并与其他虚拟点的全息图分量组合，作为下段中描述的迭代过程的一部分，以便为整个虚拟图像建立完整全息图。

总的来说，在第七步骤1314，光调制值(例如振幅和/或相位值)被分配给主贡献区域内的显示设备的每个像素值。这是通过考虑光波从[x_virtual,y_virtual, z_virtual]到主贡献区域的传播并将振幅和/或相位加到[x_LCOS(B),y_LCOS(B), z_LCOS(B)]的期望半径内的显示设备的像素上来实现的。也就是说，源自虚拟图像点并到达主贡献区域的每个点(即像素)的光的振幅和/或相位是通过考虑光波的传播来确定的，即光波在从虚拟图像点行进到每个像素的距离之后的振幅和/或相位。该确定可以通过光学领域技术人员已知的多种不同技术中的任何一种来执行。这种确定可以通过实验测量来进行。

在要使用全息图投影的虚拟图像内，可以对每个虚拟点重复第一至第七步骤。例如，可以将多个全息图分量加在一起，以产生显示设备的每个像素的合成全息图。例如，可以在每个像素处将复数振幅相加，用于从所有虚拟图像点的传播。如果全息图要在仅相位调制器上显示，则所得复数振幅和的振幅分量可以忽略，只保留相位。更广泛地，该结果是对应于虚拟图像的衍射结构，如果在观看系统内的显示设备上显示和照射，则形成该虚拟图像。

全息图可以显示或编码在显示设备上。结果，显示设备将被调谐以调制光，使得观看者能够在所需的虚拟图像距离处感知虚拟图像。

可以针对虚拟图像内的多个虚拟点中的每个基本同时(或非常快速连续地)执行方法1300，从而对于给定的观看设置和特定的数值测量和约束，可以非常快速地导出整个虚拟图像的合适全息图并编码到显示设备上。如果任何可能影响贡献区域的识别和/或显示设备的所需调谐的变化，则该方法可以重新运行。处理器可以配置为在时间控制循环上，和/或响应于指示已经发生改变的信号，和/或当所需虚拟图像的内容或身份改变时，重新运行该方法。处理器可以包括或者可以与存储器通信，用于存储先前计算的数据。例如，可以提供查找表或其他存储装置，其在一组特定的测量和/或约束下，针对特定的虚拟图像或虚拟点指示显示设备的有源区域。

方法1300可以非常快速地运行(或重新运行)，以便快速连续地显示多个不同的虚拟图像，和/或准确地响应条件变化，诸如用户移动。尽管在图12A 的系统中仅示出了一只眼睛，但方法1300可以配置为考虑观看者的两只眼睛。此外，尽管上面的某些描述可能涉及孔径宽度，但应当理解，光瞳(以及用于观看实体的大多数其他孔径)是二维的，并且可以在这两个维度中的每个维度上改变大小。方法1300可以配置为考虑二维孔径大小及其变化。

发明人发现，使用参考图13公开的方法可以有效地确定虚拟图像的全息图。然而，发明人还观察到，在一些情况下，当没有使用LCOS的通常会传播形成重影图像的光的所有区域时，只利用了LCOS的相对小的部分。在另一值得注意的技术进步中，发明人发现了在主贡献区域之外使用LCOS的附加区域并且计算这些附加区域的全息图值的方法，这将使它们能够贡献光来增强主图像，而不是形成不想要的重影图像。

如将很好地理解，相对于相应其他光线的路径长度，光线通过观看系统中的波导所采取的光学路径可以增加其路径长度。通常，与虚拟图像距离“v” 相比，这种增加可能很小，因此对于眼睛将是不可见的。

图14示出了根据发明人做出的附加认识的又一改进的方法1400，其可以应用于系统，诸如图12A和12B的系统1200。图14的方法1400包括图 13的方法1300的所有步骤，此外，它包括对应于虚拟点的一个或多个重影图像点的处理，该重影图像点也可能存在，并且通常会导致对虚拟图像的一个或多个重影图像的感知。

方法1400可以由合适的处理器执行。处理器可以包括全息图引擎，或者包括在全息图引擎内或与之通信。处理器或全息图引擎可以包含在光引擎内。

处理器可以在执行该方法之前获得或接收关于系统的边界信息。例如，它可以获得或接收关于诸如显示设备的部件尺寸的信息、关于各种部件和观看者的绝对和/或相对位置的信息、关于光源的信息等。

在一些情况下，发明人已经发现，重影图像点是由于光从相应虚拟点穿过显示设备的不同于“主贡献区域”的部分而产生的，主要图像的主光线穿过该部分。在前面的附图中，显示设备的这些部分被称为“次贡献区域”。产生一个或多个重影图像点的光可被称为包括一个或多个“重影光线”。产生重影图像的光线可以在波导内经历的反弹数量不同于与主要图像对应的反弹数量，以便也穿过观看者眼睛的窄光瞳并与视网膜重合。因此，如果确定对应于主要图像的主光线在波导内经历“B”个反弹，则可以确定对应于重影图像的光经历“B+ΔB”个反弹，其中ΔB可以是负的或正的整数，通常是单个数字，例如在-5到+5的范围内。

根据图14的改进方法1400，在图13的方法1300的第四步骤1308(其中建立了观看平面上的主要图像点的位置(例如其坐标(x_sensor,y_sensor,z_sensor)) 之后，图13的方法1300的后续步骤可以继续执行，此外，例如并行地或者在稍后的时间，对于至少一个ΔB值，可以如下执行另一组步骤。总之，图14的改进方法1400根据虚拟点的坐标[x_virtual,y_virtual,z_virtual]来确定重影光线将经历多少个反弹“B+ΔB”,以便在观看平面处形成重影图像点。然后，改进方法1400确定虚拟点的平移(或修正)位置，光可以从该位置传播并在波导内经历“B+ΔB”反弹，并到达观看平面上的主要图像点，而不是形成单独的重影图像点。然后，可以识别LCOS上的光线从虚拟点的平移位置行进到主要图像点所经的位置，并且可以相应地用全息图对该位置进行编码。因此，LCOS 的一个或多个附加区域(而非主贡献区域)可以用全息图值来编码，以对主要图像做出贡献，同时仍避免重影图像的产生。

更详细地，改进方法1400如下：

在第一进一步步骤1402，来自主图像点(x_sensor,y_sensor,z_sensor)的光线被跟踪回到虚拟图像，但针对在波导内经历“B+ΔB”个反弹/反射(而不是B个反弹) 的光线。

在第二进一步步骤1404，确定(例如作为在第一进一步步骤1402执行的光线跟踪的结果)虚拟图像的次虚拟点的位置(例如坐标[x_virtual(ΔB), y_virtual(ΔB),z_virtual(ΔB)]))，该次虚拟点将成像到主要图像点[x_sensor,y_sensor,z_sensor] (即将传播穿过显示设备、波导和入射孔径的光，以与位置[x_sensor,y_sensor, z_sensor]处的观看平面重合)，如果光经历“B+ΔB”个反弹的话。术语“次虚拟点” 在此用作(主)虚拟点的次(即移位或修正)位置的简写。也就是说，本发明人已认识到，如果虚拟点的位置移动到“次虚拟点”位置(x_virtual(ΔB),y_virtual(ΔB), z_virtual(ΔB)]，则来自“次虚拟点”的在波导中经历“B+ΔB”个反弹/反射的任何光将有助于观看平面处的主要图像。

总之，第三进一步步骤1406包括确定在显示设备处的主光线的坐标 [x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS]，用于对于波导内的B+ΔB个反弹的从 [x_virtual(ΔB),y_virtual(ΔB),z_virtual]到观看平面的光传播。在一些情况下，可以调整 z_virtual以考虑通过波导的不同路径长度(即因为不同的反弹数量)。该主光线可被称为“次主光线”。

更详细地，在第三进一步步骤1406，识别显示设备上的一个点，其中从次虚拟点到主要图像点[x_sensor,y_sensor,z_sensor]的“次主光线”将在该点传播，经由该点在波导中经历B+ΔB个反弹。显示设备上的该点具有坐标[x_LCOS(B+ΔB), y_LCOS(B+ΔB),z_LCOS]。

在第四附加步骤1408，为点[x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS]分配与其相关的区域的范围或大小的半径或其他合适的指示符。与点[x_LCOS(B+ΔB), y_LCOS(B+ΔB),z_LCOS]相关的区域在这里被称为“附加贡献区域”，因为它传播对观看平面处的主要图像点有贡献的光，但仅当该光源自(主)虚拟点的移位或修正位置时(即[x_virtual(ΔB),y_virtual(ΔB),z_virtual])，而不是如在第二进一步步骤 1404确定的[x_virtual,y_virtual,z_virtual]。

第四进一步步骤1408类似于第六步骤1312。具体地，第四进一步步骤 1408包括识别与显示设备交叉点[x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS(B)]相关的显示设备的区域。显示设备的区域可以几何上集中在该点[x_LCOS(B+ΔB), y_LCOS(B+ΔB),z_LCOS(B)]上。例如，该区域可以是圆形或椭圆形，但也可以设想其他更复杂的形状。如果该区域是规则形状，诸如圆形或椭圆形，则可以例如根据观看系统的透镜的f数确定该区域的半径。该区域在这里被称为“附加贡献区域”，因为如果基于(主)虚拟点的移位或修正位置计算适当的全息图，它将传播对虚拟图像有贡献的光。

第五进一步步骤1410类似于第七步骤1314。第五进一步步骤1410是可选的。在第五进一步步骤1410，基于(主)虚拟点[x_virtual(ΔB),y_virtual(ΔB),z_virtual] 的修正位置，为附加贡献区域确定全息图分量。具体地，确定附加贡献区域的光参数。光参数可以是附加贡献区域的每个像素的振幅和/或相位。例如，可以使用本领域技术人员熟悉的点云方法，基于光从不同虚拟点[x_virtual(ΔB), y_virtual(ΔB),z_virtual]到附加贡献区域的传播，为附加贡献区域内的每个像素确定光振幅和相位。不同虚拟点[x_virtual(ΔB),y_virtual(ΔB),z_virtual]的全息图分量可被存储并与其他虚拟点的全息图分量组合，作为下一段中描述的迭代的一部分，以便为整个虚拟图像建立完整全息图。

显示设备输出的与单个虚拟点相关的该所需光调制可被称为该虚拟点的“全息图分量”。在方法1300的后续重复过程中，在要创建的虚拟图像内，可以由处理器为一个或多个其他虚拟点存储全息图分量。

图14的进一步改进的方法1400的步骤1402至1410可以与图13的方法1300的步骤一1302至第七步骤1314一起，针对要创建的虚拟图像内的每个虚拟点重复。当已经确定了每个虚拟点的调制行为和相应的全息图分量时，可以将全息图分量相加在一起，以产生显示设备的每个像素的合成调制行为。这种合成调制行为代表虚拟图像的衍射结构或全息图，如果其在观看系统内的显示设备上被显示和照射，则仅导致形成主要图像，而不会形成任何重影图像。作为执行图14的改进方法1400的结果而形成的主要图像可能比单独由图13的方法1300产生的相应主要图像更亮。

处理器可以任何合适的方式输出对应于全息图的数据。全息图可被编码到显示设备上。结果，显示设备将被调谐以调制光，使得观看者能够在所需的虚拟图像距离处感知虚拟图像，而不会形成任何重影图像。

方法1400可以针对虚拟图像内的多个虚拟点中的每个基本同时(或非常快速连续地)执行，从而对于给定的观看设置和特定的数值测量和约束，可以非常快速地导出整个虚拟图像的合适全息图并将其编码到显示设备上。如果有可能影响显示设备的识别和/或所需调谐的任何变化，则可以重新运行该方法。处理器可以配置为在时间控制循环上，和/或响应于指示已经发生改变的信号，和/或当所需虚拟图像的内容或身份改变时，重新运行该方法。处理器可以包括或者可以与存储器通信，用于存储先前计算的数据。例如，可以提供查找表或其他存储装置，其在一组特定的测量和/或约束下，针对特定的虚拟图像或虚拟点指示显示设备的有源区域。

方法1400可以非常快速地运行(或重新运行)，以便快速连续地显示多个不同的虚拟图像，和/或准确地响应条件变化，诸如用户移动。尽管在图12A 的系统中仅示出了一只眼睛，但方法1400可以配置为考虑观看者的两只眼睛。此外，尽管上面的某些描述可能涉及孔径宽度，但应当理解，光瞳(以及用于观看实体的大多数其他孔径)是二维的，并且可以在这两个维度中的每个维度上改变大小。方法1400可以配置为考虑二维孔径大小及其变化。

根据本公开的主要方面，发明人发现每个虚拟图像点对应于显示设备上的不同主贡献区域。发明人还认识到，这意味着来自虚拟图像不同部分(即不同虚拟图像点)的光沿着不同光学路径通过系统。在图15A和15B所示的实施例中，发明人配置该系统，使得简单地说，(i)虚拟图像包括多个离散虚拟图像分量或区域，以及(ii)每个虚拟图像分量的光与波导1508内不同数量的反弹/反射相关。

图15A示出了用于投影的图像1552，包括八个图像区域/分量V1到V8。图15A示出了仅作为示例的八个图像分量，图像1552可被分成任意数量的分量。图15A还示出了编码光图案1554，例如当被合适的观看系统的透镜变换时，编码光图案1554可以重建图像1552。编码光图案1554包括对应于第一至第八图像分量/区域V1至V8的第一至第八子全息图或分量H1至H8。图15A进一步示出了根据本公开计算的全息图如何有效地按角度分解图像内容。因此，全息图的特征可以在于它所执行的光的引导。这在图15B中示出。具体地，根据本公开的全息图将光引导到多个离散区域中。在所示的示例中，离散区域是盘，但也可以设想其他形状。在通过波导传播之后，最佳盘的尺寸和形状可以与观看系统的入射光瞳的尺寸和形状相关。该光引导仅仅是由于这里公开的确定全息图的特定方法而发生的。

图15C示出了根据图15A和15B所示的识别的改进的观看系统1500。图13的方法1300或图14的方法1400可以应用于图15A和15B所示的方案。

观看系统1500包括显示设备，其在该布置中包括LCOS1502。LCOS1502 布置成显示包括全息图的调制图案(或“衍射图案”)，并将已经全息编码的光投射到眼睛1505，眼睛1505包括充当孔径1504的光瞳、透镜1509和充当观看平面的视网膜(未示出)。具有布置成照射LCOS1502的光源(未示出)。眼睛1505的透镜1509执行全息图到图像的转换。

观看系统1500还包括位于LCOS1502和眼睛1505之间的波导1508。图15C中的投影距离可能相对较大。然而，如关于前面的附图描述，波导 1508的存在使得来自LCOS1502的所有角度内容能够被眼睛1505接收，即使在该相对大的投影距离。这是因为波导1508以上面已经描述的方式充当光瞳扩展器。

此外，在这种布置中，当根据这里描述的方法对LCOS1502进行编码时，波导1508可以相对于LCOS1502成一定角度定向，以便在来自LCOS1502 的光和观看者将感知的虚拟图像之间建立独特的关系。波导1508的尺寸、方位和位置配置成确保来自虚拟图像的每个部分的光进入波导1508，并沿着其细长轴线被引导，在波导1508的基本平面表面之间反弹。每当光到达第二平面表面(最靠近眼睛1505)时，一些光被透射，一些光被反射。

图15C示出了沿着波导1502的长度的总共九个“反弹”点B0到B8。读者将注意到图像1552的中心保持空白。图15C示出了波导内第零至第九光 “反弹”或反射点B0至B8。尽管与图像(V1-V8)的所有点相关的光在每次从波导1508的第二平面表面“反弹”时被透射出波导，但只有来自图像的角度部分之一的光(例如V1到V8之一的光)具有使其能够从每个相应的“反弹”点 B0到B8到达眼睛1505的轨迹。此外，来自图像的不同角度部分V1到V8 的光从每个相应的“反弹”点到达眼睛1505。图15C示出了来自所有不同角度内容的光在每个“反弹”点发射，(由每个透射点处的多个短箭头描绘)，但然后仅示出了从波导的该相应部分到达眼睛1505的(实际上将到达眼睛 1505的)各个角度内容的光学路径，因此将对观看者将感知的虚拟图像的相应部分有贡献。例如，对于第零反弹B0，由波导1508透射的光被简单地折射，并且在其中不经历任何反射。第八子全息图H8的光从第零反弹B0到达眼睛。对于下一反弹B1，由波导1502透射的光在透射之前在其中经历一次反弹。来自第七全息图H7的光从下一反弹B1到达眼睛。这连续进行，直到由波导1508在最终反弹B8处透射的光在被透射并到达眼睛1505之前经历了八次反弹，并且包括根据第一全息图H1编码的光。

在图15所示的示例中，从每个反弹点，只有一个图像区域的光到达眼睛。因此，当如本文所述确定全息图时，在虚拟图像的区域和它们在波导上的相关反弹点之间建立了空间相关性。在一些其他示例中，可能有相对小的重叠，使得图像的一个区域来自两个相邻的透射点，因此被包括在从波导向观看平面传播的光的两个相邻盘内。

因此，由发明人做出的认识以及这里描述的方法和布置能够产生包括全息图的衍射图案(或光调制图案)，当显示在LCOS或其他合适的显示设备上时，能够使光以多个“盘”或光束从其有效地发射，每个“盘”或光束对应于(更具体地说编码)相应虚拟图像的不同相应部分。

因此，本文描述了改进的方法和布置，其使得全息图能够被计算，并使得全息图以当显示设备被合适的光源照射时，观看者能够看到清晰图像的方式显示在合适的显示设备上。观众看到的图像可以没有重影，并且可以通过光的贡献而变得更亮，而这在传统上原本会有助于重影图像，而不是有助于单个主要图像。

这里描述的改进方法和布置可以在各种不同的应用和观看系统中实现。例如，它们可以在平视显示器(HUD)中实现。与许多传统的形成虚拟图像的 HUD相比，这里描述的改进方法和布置可以实现为在有限的图像距离上创建虚拟图像(这可以由合适的控制器选择和调谐)时仍消除重影图像。

尽管在此已经讨论了需要眼睛变换接收的调制光以形成感知图像的虚拟图像，但在此描述的改进方法和布置可以应用于真实图像。

附加特征

实施例仅通过示例的方式涉及电激活的LCOS空间光调制器。本公开的教导可以等同地在能够显示根据本公开的计算机生成的全息图的任何空间光调制器上实现，诸如任何电激活的SLM、光学激活的SLM、数字微镜设备或微机电设备。

在一些实施例中，光源是激光器，诸如激光二极管。

本公开的系统可用于提供改进的平视显示器(HUD)或头戴式显示器。在一些实施例中，提供了一种车辆，其包括安装在车辆中以提供HUD的全息投影系统。车辆可以是机动车辆，诸如汽车、卡车、厢式货车、运货卡车、摩托车、火车、飞机、船或轮船。

全息重建的质量可能受到所谓的零级问题的影响，这是使用像素化空间光调制器的衍射性质的结果。这种零级光可被认为是“噪声”，并且包括例如镜面反射光以及来自SLM的其他不需要的光。

示例描述了用可见光照射SLM，但本领域技术人员将理解，光源和SLM 同样可以用于引导红外光或紫外光，例如如本文所公开。例如，本领域技术人员将知道为了向用户提供信息而将红外光和紫外光转换成可见光的技术。例如，本公开扩展到为此目的使用磷光体和/或量子点技术。

本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为暂时或永久地存储数据的介质，诸如随机存取存储器 (RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。

术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。

对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims

1.一种光引擎，布置为向具有入射光瞳的观看系统提供空间调制光，其中显示系统包括：

显示设备，布置为显示全息图并根据全息图对光进行空间调制；以及

全息图引擎，布置为基于入射光瞳的位置接收识别显示设备的贡献和非贡献区域的贡献信息，其中显示设备的贡献区域基本传播穿过所述位置处的入射光瞳的空间调制光，并且显示设备的非贡献区域基本传播被所述位置处的入射光瞳阻挡的空间调制光，

其中贡献信息进一步识别：(i)显示设备的向观看系统传播有助于主图像的光的至少一个主贡献区域，以及(ii)显示设备的向观看系统传播有助于次图像的光的至少一个次贡献区域，并且

其中全息图引擎还布置成基于显示设备的至少一个主贡献区域来确定全息图，并且将全息图输出到显示设备用于显示。

2.如权利要求1所述的光引擎，其中，所述光引擎还包括监控系统，其布置为确定所述观看系统的入射光瞳的位置。

3.如权利要求1所述的光引擎，其中，所述光引擎还包括波导，其布置成接收来自所述显示设备的空间调制光，并且为来自显示设备的空间调制光提供到所述入射光瞳的多个不同光传播路径，其中每个贡献区域对应于由波导提供的不同相应光传播路径。

4.如权利要求1所述的光引擎，其中，所述观看系统布置成形成对应于所述全息图的图像。

5.如权利要求4所述的光引擎，其中，所述主图像包括图像的第一版本，所述次图像包括图像的第二版本。

6.如权利要求1所述的光引擎，其中，所述贡献信息为所述图像的多个图像点中的每个识别所述显示设备的相应贡献和非贡献区域。

7.如权利要求6所述的光引擎，其中，所述全息图包括多个子全息图，其中每个子全息图由所述全息图引擎基于所述图像的相应图像点的贡献信息来确定。

8.一种确定用于在显示设备上显示的全息图的方法；该方法包括：

(i)确定布置成观看全息图的观看系统的入射光瞳的位置；

(ii)识别显示设备的贡献区域和非贡献区域，其中显示设备的贡献区域基本传播穿过在观看系统的所确定位置处的入射光瞳的光，并且显示设备的非贡献区域基本传播被观看系统的所确定位置处的入射光瞳阻挡的光；

(iii)识别显示设备的提供有助于主图像的光的至少一个主贡献区域和显示设备的提供有助于次图像的光的至少一个次贡献区域；以及

(iv)基于显示设备的至少一个主贡献区域确定全息图。

9.如权利要求8所述的确定全息图的方法，其中，针对所述图像的多个图像点中的每个图像点执行步骤(ii)至(iv)，并且其中，为每个图像点确定每个贡献区域的位置包括识别从所述图像点行进到所述入射光瞳的光线与所述显示设备相交的位置。

10.如权利要求8所述的确定全息图的方法，其中，所述观看系统包括波导，其布置成接收来自所述显示设备的空间调制光，并且为来自显示设备的空间调制光提供到所述入射光瞳的多个不同光传播路径，并且其中，步骤(iii)包括针对每个图像点确定对应于所述主图像的波导光瞳扩展器内的内部反射数量B。

11.如权利要求10所述的方法，其中，确定内部反射数量(B)的步骤基于与相应图像点相关的角度，其中该角度是相对于线的光轴的角度，该线是通过连接所述显示设备的中心和所确定的入射光瞳位置的线向所述图像外推而形成的。

12.如权利要求11所述的方法，其中，每个贡献区域具有基于所述入射光瞳的直径的尺寸。

13.如权利要求8所述的方法，其中，步骤(ii)和(iii)对于每个图像点包括：

针对所述波导内的B个光反射的从图像点[x_virtual,y_virtual,z_virtual]到观看系统的观看平面的光线跟踪，以识别观看平面上的位置[x_sensor,y_sensor]；

针对从图像点[x_virtual,y_virtual,z_virtual]到观看平面上的位置[x_sensor,y_sensor]的具有B个反射的光传播，确定主光线在显示设备处的坐标[x_LCOS(B),y_LCOS(B)]；以及

识别由[x_LCOS(B),y_LCOS(B)]限定的区域内的显示设备的有源像素。

14.如权利要求8所述的方法，其中，步骤(iv)包括仅在所述显示设备的至少一个主贡献区域中确定所述全息图的一个或多个值，或者其中，步骤(iv)包括在确定全息图期间排除与至少一个次贡献区域相关的全息图值，或者其中，步骤(iv)包括将全息图确定仅限制到显示设备的至少一个主贡献区域。

15.如权利要求8所述的方法，还包括排除在所述显示设备的不包括在所述主贡献区域内的区域中的全息图的值。

16.如权利要求8所述的确定全息图的方法，其中，步骤(iv)包括针对每个图像点确定在相应至少一个主贡献区域内的子全息图，并组合子全息图以形成所述全息图。

17.如权利要求16所述的确定全息图的方法，其中，每个子全息图包括通过将光波从[x_virtual,y_virtual,z_virtual]传播到相应主贡献区域而确定的振幅和/或相位全息图分量。

18.如权利要求8所述的确定全息图的方法，还包括对于每个图像点识别所述显示设备的与B+ΔB反弹相关的附加贡献区域。

19.如权利要求18所述的确定全息图的方法，其中，识别附加贡献区域包括：

针对B+ΔB反弹的光线从[x_sensor,y_sensor]跟踪回到虚拟图像平面z_virtual；

确定虚拟点坐标[x_virtual(ΔB),y_virtual(ΔB),z_virtual]，其将针对B+ΔB反弹成像到[x_sensor,y_sensor]；

针对具有B+ΔB反弹的从[x_virtual(ΔB),y_virtual(ΔB),z_virtual]到观看平面的光传播，确定主光线在所述显示设备处的坐标[x_LCOS(B+ΔB),y_LCOS(B+ΔB)]；以及

识别显示设备的在由[x_LCOS(B+ΔB),y_LCOS(B+ΔB)]限定的第二区域内的附加有源像素。

20.如权利要求19所述的确定全息图的方法，还包括为每个附加有源像素确定附加子全息图，并将附加子全息图与所述子全息图组合。