CN117706897A - 优化的全息图更新 - Google Patents

Abstract

一种方法，包括从图像的第一全息图确定图像的一部分的第二全息图。该方法包括提供或接收图像的第一全息图。该方法还包括将对应于第一全息图的复合场从全息平面传播到图像平面。该方法还包括通过将对应于图像该部分之外的图像区域的复合场的振幅分量设置为零来修改图像平面中的复合场的振幅。该方法还包括将修改的复合场从图像平面传播回全息平面，从而获得图像该部分的第二全息图。

Description

优化的全息图更新

技术领域

本公开涉及图像投影。更具体地，本公开涉及衍射结构，例如全息图或相息图，以及确定该衍射结构的方法，例如计算或检索该衍射结构。一些实施例涉及基于眼睛跟踪信息的实时全息图计算。一些实施例涉及虚拟图像投影。一些实施例涉及真实图像投影。实施例涉及通过波导观察投影图像。一些实施例涉及诸如图片生成单元的光引擎。一些实施例涉及平视显示器。

背景技术

从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或重放图像。

计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。例如，还可以通过相干光线跟踪或点云技术来计算计算机生成的全息图。可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。空间光调制器通常包括多个单独可寻址像素，其也可被称为单元或元素。光调制方案可以是二进制、多级或连续的。可替代地，该设备可以是连续的(即不包括像素)，因此光调制可以在设备上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性的，这意味着调制光以透射输出。

使用这里描述的系统可以提供全息投影仪。例如，这种投影仪已经在平视显示器“HUD”以及光探测和测距“LiDAR”中得到应用。

发明内容

根据第一方面，提供了一种方法。该方法包括从图像的第一全息图确定图像的一部分的第二全息图。为简单起见，第一全息图可被称为一阶子全息图或甚至一阶全息图。这些术语在本文中可互换使用。第一全息图可以是对应于较大图像的子区域的第一级子全息图，即图像本身是较大图像的子区域。为简单起见，第二全息图可被称为二阶子全息图或甚至二阶全息图。这些术语在本文中也可互换使用。图像的该部分可以是图像的有限或受限部分。该方法包括提供或接收图像的第一全息图。该方法还包括将对应于第一全息图的复合(光)场从全息平面传播到图像平面。在本申请的上下文中传播复合(光)场可以包括使用诸如菲涅耳变换和/或傅立叶变换的数学变换来数学模拟对应于第一全息图的光场的传播，比如傅立叶光学领域中已知的。例如，传播包括对第一全息图进行菲涅耳和/或傅立叶变换，以获得对应于图像的复合(光)场(即复数阵列)。该方法还包括通过将对应于图像该部分之外的一个或多个图像区域的复合(光)场的振幅分量设置为零来修改(或改变或更新)图像平面中复合(光)场的振幅。该方法还包括将修改的复合(光)场从图像平面传播回全息平面，从而获得图像该部分的第二全息图。在本申请的上下文中，获得第二全息图可被认为是提取相位值。例如，获得第二全息图可以包括对图像平面中的修改的复合(光)场执行逆菲涅耳和/或傅立叶变换。

在另一方面，提供了另一种方法。该方法是为系统确定图像的全息图，该系统包括布置成显示全息图的显示设备和布置成通过光瞳扩展器观察全息图的观察区域，该光瞳扩展器提供从显示设备到观察系统的多个光传播路径。该方法包括，对于图像的子区域，识别从显示设备到观察系统的多个可能传播路径中的一个传播路径，并且执行相位恢复算法的多次初级迭代，相位恢复算法包括经由相应的传播路径在全息平面和图像平面之间来回变换，以便形成对应于图像的子区域的一阶子全息图。该方法还包括执行与子区域的一部分相关的相位恢复算法的二次迭代，其中二次迭代包括：将对应于一阶子全息图的复合光场从全息平面传播到图像平面，根据子区域的一部分的振幅修改振幅分量，并传播回全息域以形成二阶子全息图。

有利地，上述方法提供了一种确定(例如)更新全息图的快速方式，当图像的一部分被改变和/或需要诸如关闭全息光场的技术来避免在全息图对眼系统中观察者的两只眼睛之间的串扰时，这种方式特别有用。在实施例中，该方法包括执行迭代算法的又一次来回迭代，以从初级全息图计算至少一个子全息图。在这里描述的情况下，这种方法节省了算法的多次迭代，并且当需要或有利于以不同方式对图像进行切片和切块(即分割)时，这种方法特别有用。

这里公开的方法可以应用于包括布置成显示第一全息图的显示设备和布置成通过光瞳扩展器观察第一全息图的观察系统的系统，该光瞳扩展器提供从显示设备到观察系统的多个光传播路径。提供第一全息图可以包括识别从显示设备到观察系统的多个可能传播路径中的一个传播路径，并且执行相位恢复算法的多个初级迭代，相位恢复算法包括经由相应的传播路径在全息平面和图像平面之间来回变换，以便形成对应于图像的第一全息图。第一方面的步骤可以是相位恢复算法的第二次迭代，并且可以仅执行一次。

相位恢复算法的多个初级迭代中的每个初级迭代可以包括：第一阶段，包括确定观察系统的入射光瞳处的第一复合光场，其中第一复合光场由图像的光沿着光瞳扩展器的多个光传播路径中的一个光传播路径的传播以及根据观察系统的入射光瞳的裁剪而产生；第二阶段，包括确定观察系统的传感器的传感器平面处的第二复合光场，其中第二复合光场由来自入射光瞳的第一复合光场的光通过观察系统的透镜的传播以及根据图像对振幅分量的修改而产生；第三阶段，包括确定入射光瞳处的第三复合光场，其中第三复合光场由第二复合光场的光从传感器平面反向传播穿过透镜并根据入射光瞳进行裁剪而产生；第四阶段，包括确定显示平面处的第四复合光场，其中第四复合光场由第三复合光场的光沿着光瞳扩展器的至少一个光传播的反向传播以及根据显示设备的裁剪而产生；以及从第四复合光场中提取第一全息图。在从最终迭代中提取第一全息图的步骤之前，迭代地重复第一至第四阶段，并且对于第二次和后续迭代，从显示设备传播的光包括前一次迭代的第四复合光场的相位分布。

将对应于第一全息图的复合光场从全息平面传播到图像平面包括菲涅耳变换和/或傅立叶变换。

图像的该部分具有比图像更小的视场(即尺寸—更具体地，角度尺寸或角度空间中的尺寸)。有利地，本发明人还认识到，在许多应用中，例如适应具有不同光瞳间距(IPD)的用户、补偿头部倾斜和/或适应头部向前或向后移动，具有可定制视场的图像部分的全息图往往是合乎需要的。在本领域的上下文中，视场FoV等同于图像尺寸，即全息显示系统的观察者所看到的图像的尺寸。它通常由竖直和水平角度范围来测量。更优选地，图像该部分的视场基于观察者的光瞳间距、光瞳大小或两者。光瞳间距和/或光瞳大小可以由传感器确定。

可以对图像的每个相应部分执行修改步骤和传播回全息平面步骤，以确定多个第二全息图，其中每个第二全息图是图像的相应部分，其中图像的相应部分彼此不重叠。可以对图像的每个相应部分执行修改步骤和传播回全息平面步骤(例如仅一次)。多个第二全息图可以包括的第二全息图的视场不同于多个第二全息图中的另一个第二全息图的视场。

在一些实施例中，该方法提供了一种快速有效地更新或改变全息图以反映对图像的更新或改变的手段。在一些示例中，全息投影仪可以布置成显示图像序列的全息图序列。通常，序列中后续图像之间的变化可能相对较小。例如，只有图像的相对小的一个或多个部分可以从一个图像变为另一个图像，而图像的剩余一个(或多个)部分可以保持不变。可能是图像的内容在变化或保持不变。因此，当后续图像的一个或多个部分被描述为改变时，包含在一个或多个部分中的内容可能改变。当后续图像的一个或多个部分没有改变时，则包含在一个或多个部分中的内容可以是基本恒定的。在车辆的平视显示器的情况下，这样的示例是要显示的图像可以包括显示信息的虚拟显示面板，该信息包括例如充电或燃料状态、数字速度计、当前速度限制和方向信息。在某些情况下，序列中两个连续图像之间的唯一区别可能是数字速度计显示的速度的变化或更新。由虚拟显示面板显示的其他信息可以保持不变。发明人已经认识到，当图像序列中的连续图像之间的变化相对小时(例如在前面描述的示例中)，根据本公开的方法可以用于快速和有效地更新或改变全息图，以补偿要显示的图像(的内容)的相对小的变化(例如速度的变化)。发明人已经认识到，这种方法有利地比从零开始为要由全息投影系统显示的图像序列中的每个图像重新计算整个全息图更快且更有效。

如上所述，该方法可以包括获得第二全息图(从图像的第一全息图)。当该方法用于更新或改变全息图时(如上所述)，第一全息图可以是第一图像的全息图。换句话说，上述图像是第一图像，第二全息图是第一图像的一部分的全息图。在这种情况下，在为其确定第二全息图的图像该部分之外的(第一)图像的一个或多个区域可以对应于要更新或改变的(第一)图像的一个或多个区域。将这一个或多个区域的振幅设置为零有效地从全息图计算中去除了图像的这些部分，使得通过将修改的复合光场传播回全息平面而获得的第二全息图是缺少这一个或多个区域的(第一)图像的一部分的全息图。例如，当改变/更新显示的速度时,(第一)图像的一个或多个区域可以包括(数字)速度计的至少一部分。第二全息图可以是(第一)图像的一部分的全息图，其中速度计的部分是空白的。这可以对应于第二图像。换句话说，第二全息图可以是第二图像(对应于第一图像的一部分)的全息图。

在一些实施例中，该方法还包括从第二全息图确定第三全息图。第三全息图可以是第三图像的。第三图像可以基于第一图像，但第一图像的一个或多个区域中的内容已被改变。换句话说，在一个或多个区域中，第三图像可以不同于第一图像(和第二图像)。在一个或多个区域之外，第一和第三图像可以基本相同。例如，在上述虚拟显示面板示例中，第一全息图可以是包括显示46mph的(数字)速度计的第一图像。第二全息图可以是显示4Xmph的第二全息图(其中“X”对应于空白或清空区域)。可以提供与第一图像相同的第三图像，除了第二图像包括显示47mph(而不是46mph)的(数字)速度计。

确定第三全息图可以包括将对应于第二全息图的第二复合光场从全息平面传播到图像平面。确定第三全息图可以进一步包括通过基于第三图像设置第二复合光场的振幅分量来修改图像平面中第二复合光场的振幅。确定第三全息图可以进一步包括将修改的第二复合光场从图像平面传播回全息平面，从而获得第三图像的第三全息图。

发明人已经发现，在如上所述的单次迭代(在全息平面和图像平面之间来回传播)之后，第三全息图可以适于全息重建第三图像，并且重建可以包括所述一个或多个区域中的新的/改变的/修改的内容。然而，发明人已经发现，在一些示例中，用户/观众可以区分改变的内容和未改变的内容。例如，相对于未改变的内容，改变的内容的重建可能质量较低和/或可能看起来较暗。因此，在一些实施例中，该方法可以进一步包括在获得第三全息图之后的一次或多次优化迭代。每次优化迭代可以包括：接收输入全息图；将对应于输入全息图的复合光场从全息平面传播到图像平面；通过基于对应于第三图像的目标设置复合光场的振幅分量来修改图像平面中复合光场的振幅；然后将修改的复合光场从图像平面传播回全息平面，以获得优化的第三全息图。发明人已经发现，包含仅仅一次或一些优化迭代可以显著改善(优化的)第三全息图，使得全息再现的优化的第三全息图的未改变部分和改变部分之间的质量差异的出现显著减少。

在彻底的模拟和实验之后，发明人发现实现所述显著改进所需的优化迭代次数相对较低。例如，在一些实施例中，优化迭代的次数可以是五次或更少，可选地三次或更少。发明人已经认识到，即使包括相对少量的优化迭代，根据本公开的方法仍比每次从零开始计算全息图(当连续图像之间的图像内容有相对小的变化时)显著更快且更有效(使用更少的迭代)。

在第一次优化迭代中，接收到的输入全息图可以是第三全息图(先前获得的)。如果该方法包括进一步的优化迭代(即第二次迭代或更多次)，则接收的输入全息图可以是先前优化迭代中的优化的第三全息图输出。重要的是，目标图像在每次优化迭代中可以是相同的(即目标图像可以是每次迭代中的第三图像)。

在另一方面，一种从第一图像的第一全息图确定第三全息图的方法，在第三全息图中图像的一个或多个部分已被改变(例如更新或修改)。该方法包括提供第一图像的第一全息图。该方法还包括将对应于第一全息图的第一复合光场从全息平面传播到图像平面。该方法还包括通过将第一复合光场的对应于第一图像的将被改变一个或多个区域的振幅分量设置为零来修改图像平面中的第一复合光场的振幅。如上文关于先前方面描述，所述一个或多个区域之外的第一图像的区域可以不被改变或更新。所述修改步骤(修改第一复合光场)可以包括不改变所述(将被改变或更新的)一个或多个区域之外的图像平面中的第一复合光场的振幅。

该方法还包括将修改的第一复合光场从图像平面传播回全息平面，从而获得第二(或中间)全息图。第二全息图是已被修改的第一图像的全息图，使得(将被改变/更新/修改的)一个或多个区域是空的。换句话说，所述一个或多个区域是空白的或者没有图片(或图像)内容。这与可能包含内容的所述一个或多个区域之外的区域形成对比。所述内容可以与第一图像中的相应内容基本相同。因此，第二全息图可被描述为第二图像的全息图。第二图像可以对应于第一图像，除了在(将被改变/更新/修改的)所述一个或多个区域中，第二图像是空的/空白的/没有(图片/图像)内容。可以说第二图像包括第一图像的一个(或多个)部分。

在一些实施例中，该方法还包括将对应于第二全息图的第二复合光场从全息平面传播到图像平面。在一些实施例中，该方法还包括通过基于对应于第三图像的目标设置复合光场的振幅来修改图像平面中第二全息图的第二复合光场的振幅。第三图像可以基于第一图像，但是其中第一图像的所述一个或多个区域中的内容在第三图像中已被改变(或更新或修改)(相对于第一图像)。除了所述一个或多个区域(或一个或多个区域之外)，第三图像可以与第一图像基本相同。第三图像的(改变、更新或修改的)一个或多个区域可以包括内容。如上所述，所述一个或多个区域的内容可以与第一图像的相应内容相同。换句话说，第三图像的(改变、更新或修改的)一个或多个区域可能不是空的。

在一些实施例中，该方法还包括将修改的第二复合光场从图像平面传播回全息平面，从而获得第三图像的第三全息图。

发明人已经认识到，根据本方面的方法有利地允许以快速有效的方式更新第一图像的第一全息图。具体而言，可以用非常少数量的GS型环的步骤/迭代来确定(第三)图像的(第三)全息图，其中该图像的一个或多个离散区域已经相对于第一图像被更新。例如，可以使用计算第二(或中间)全息图的第一次迭代和计算第三全息图的第二次迭代从第一全息图确定(第三)全息图。这比从零开始为全息图序列的每个图像重新计算全息图(如本领域技术人员所熟悉的，这通常需要相对大量的GS环迭代)要更快且更有效。这在实时全息图计算的情况下尤其有利。例如，可能希望以每秒至少25帧的帧速率显示不同图像的全息图。在多色全息投影仪中，这可以针对每个颜色通道重复进行(例如对于红/绿/蓝投影仪，可能需要显示不同图像的至少75个全息图，以实现每秒25帧的帧速率)。因此，在这样的系统中实时计算全息图在计算上是昂贵的。上述方法更快且更有效(通过在相对非常少的迭代中计算全息图),有利地显著降低了实现实时全息所需的计算能力。

在一些实施例中，该方法可以进一步包括在获得第三全息图之后的一次或多次优化迭代。每次优化迭代可以包括：接收输入全息图；将对应于输入全息图的复合光场从全息平面传播到图像平面；通过基于对应于第三图像的目标设置复合光场的振幅分量来修改图像平面中复合光场的振幅；然后将修改的复合光场从图像平面传播回全息平面，以获得优化的第三全息图。在第一次优化迭代中，接收的输入全息图可以是第三全息图(先前获得的)。如果该方法包括进一步的优化迭代，则接收的输入全息图可以是在先前的优化迭代中优化的第三全息图输出。

在一些实施例中，优化迭代的次数可以是五次或更少，可选地是三次或更少。

在又一方面，提供了另一种方法。该方法是从图像的第一全息图形成图像的合成全息图。该方法包括在第一全息图上执行前段的方法，以获得多个第二全息图。该方法还包括将全息域中的多个第二全息图求和以获得合成全息图。有利地，发明人已经认识到，在动态全息术中，即在图像改变的情况下，具有合成全息图往往是有益的。这种合成全息图可以相对快速地适应图像的变化，因为只有对应于图像变化部分的第二全息图(子全息图)需要改变，并且该子全息图可以快速改变。这节省了计算能力并提高了确定更新图像的全息图的速度。

该方法还可以包括接收对图像的至少一部分的更新，基于更新的部分形成更新的第二全息图，识别对应于更新的部分的至少一个第二全息图，用更新的第二全息图替换多个第二全息图中识别的第二全息图，以获得更新的多个第二全息图，以及对更新的多个第二全息图求和，以获得更新的合成全息图。

在又一方面，提供了一种全息引擎。全息引擎包括处理器、存储用于控制处理器执行前述任一方面的方法的处理器可实现指令的存储介质、配置为显示至少第二全息图的显示设备以及布置为使得第二全息图可通过光瞳扩展器看到的光瞳扩展器。

在又一方面，提供了一种方法。该方法控制光引擎中的光传播，以形成从观察窗可见的图像，其中光引擎包括显示设备和光瞳扩展器。该方法包括执行从图像的第一全息图形成图像的合成全息图的方法(如上所述)以确定合成全息图，其中合成全息图是该图像的，在显示设备上显示图像的合成全息图，照射显示设备以根据合成全息图空间调制光，其中合成全息图配置成根据图像内容的位置成角度地分布图像的空间调制光，使得空间调制光的角度通道对应于图像的相应部分。可选地，每个角度通道可以由相应的第二全息图形成。该方法还包括布置光瞳扩展器以接收空间调制光，并为空间调制光提供从显示设备到观察窗的相应多个不同光传播路径。该方法还包括使用设置在光瞳扩展器和观察窗之间的控制设备来控制多个不同光传播路径的传播，其中控制设备包括至少一个孔径。控制多个不同光传播路径的传播的步骤包括配置控制设备，使得观察窗内的第一观察位置接收由合成全息图根据图像的一部分进行空间调制的第一通道光(即在第一观察位置的观察者将看到图像的一部分)，并且观察窗内的第二观察位置同时接收由合成全息图根据图像的另一部分进行空间调制的第二光通道(即在第二观察位置的观察者将看到图像的另一部分)。此外，每个观察位置接收第一和第二通道的光(即在每个全息图的全息域中只有两个通道的示例中的图像的所有部分)。观察位置之间的差异在于不同的通道/部分沿着不同的传播路径到达每个观察位置。有利地，本公开的全息方法允许精确调整不同通道的宽度/FoV。这反过来意味着可以根据用户的IPD来进行(对不同通道的宽度的)调整，以便不同IPD的不同用户可以看到相同的图像，而不会出现眼睛串扰等问题。类似地，可以进行(对不同通道的宽度的)调整来补偿特定用户的头部倾斜(即针对特定的IPD)，使得倾斜头部的用户仍可以看到相同的图像。类似地，可以进行(对不同通道的宽度的)调整以补偿特定用户的头部移动，例如向前或向后(即对于特定的IPD)，使得移动其头部的用户仍可以看到图像质量恶化的相同图像。

该方法还包括确定至少一个孔径的宽度，并且其中第二全息图之一具有与至少一个孔径的宽度相同大小的视场(在角空间中)。

配置控制设备的步骤包括允许光透过控制设备的第一部分，并阻止光透过控制设备的不同的第二部分。

光瞳扩展器包括多个透射点，并且其中多个不同光传播路径中的每个从不同的相应透射点透射。

该方法还包括i.识别第一透射点，在没有控制设备的情况下，第一角度通道的光将从该第一透射点传播到第一观察位置，ii.识别不同的第二透射点，在没有控制设备的情况下，第一角度通道的光将从该第二透射点传播到第二观察位置，以及iii.将控制设备配置成在选定时间(t)阻挡第一角度通道到第一观察位置的光路或者第一角度通道到第二观察位置的光路。步骤(iii)包括在选定的时间段内，交替地阻挡第一角度通道到第一观察位置的光路和阻挡第一角度通道到第二观察位置的光路。

在又一方面，提供了一种光引擎。光引擎布置成形成从观察窗可见的图像。该光引擎包括：处理器；存储介质，其存储用于控制处理器执行获得图像的合成全息图的任何前述方面的方法的处理器可实现的指令；显示设备，其布置为显示图像的合成全息图并根据合成全息图对光进行空间调制，其中合成全息图配置为根据图像内容的位置对空间调制光进行角度分布，使得空间调制光的角度通道(在全息域中)对应于图像的相应部分(在图像域中)；光瞳扩展器，其布置成接收空间调制光并为空间调制光提供从显示设备到观察窗的多个不同光传播路径；以及控制设备，其设置在光瞳扩展器和观察窗之间，其中控制设备包括至少一个孔径，所述孔径布置成使得观察窗内的第一观察位置接收由合成全息图根据图像的一部分进行空间调制的第一光通道，并且观察窗内的第二观察位置接收由合成全息图根据图像的另一部分进行空间调制的第二光通道。第二全息图之一具有对应于至少一个孔径的宽度或小于至少一个孔径的视场。

为了便于解释和说明，本公开和附图通常示出一维情况。然而，光学领域的技术人员将理解，所描述和示出的概念可以二维扩展，以从二维全息图提供二维图像。例如，虽然仅描述和示出了一维光瞳扩展，但读者应该理解，本公开延伸到二维光瞳扩展—例如使用串联的两个一维光瞳扩展器。

概括地说，本公开涉及图像投影。它涉及图像投影的方法和包括显示设备的图像投影仪。本公开还涉及包括图像投影仪和观察系统的投影系统。本公开同样适用于单目和双目观察系统。观察系统可以包括观察者的一只或多只眼睛。观察系统包括具有光功率的光学元件(例如人眼的晶状体)和观察平面(例如人眼的视网膜)。投影仪可被称为“光引擎”。显示设备和使用显示设备形成(或感知)的图像在空间上彼此分离。观察者在显示平面上形成或感知图像。在一些实施例中，图像是虚拟图像，并且显示平面可被称为虚拟图像平面。通过照射显示在显示设备上的衍射图案(例如全息图)来形成图像。

显示设备具有多个像素。显示设备的像素衍射光。根据众所周知的光学原理，最大衍射角的幅度取决于像素的大小(以及其他因素，比如光的波长)。

在某些实施例中，显示设备是空间光调制器，例如硅上液晶(“LCOS”)空间光调制器(SLM)。光在衍射角范围内(例如从零到最大衍射角)从LCOS向观察实体/系统比如相机或眼睛传播。在一些实施例中，可以使用放大技术来增加可用衍射角的范围，使其超过LCOS的传统最大衍射角。

在某些实施例中，图像是真实图像。在其他实施例中，图像是由人眼(或多只眼睛)感知的虚拟图像。投影系统或光引擎因此可以配置成使得观察者直接看着显示设备。在这样的实施例中，用全息图编码的光直接传播到眼睛，并且在显示设备和观察者之间的自由空间或屏幕或其他光接收表面上没有形成中间全息重建。在这样的实施例中，眼睛的瞳孔可被认为是观察系统的入射孔径，眼睛的视网膜可被认为是观察系统的观察平面。有时据说，在这种配置中，眼睛的晶状体执行全息图到图像的转换或变换。

根据众所周知的光学原理，眼睛或其他观察实体/系统可以观察到的从显示设备传播的光的角度范围随着显示设备和观察实体之间的距离而变化。例如，在1米的观察距离，来自LCOS的仅小范围角度可以传播通过眼睛的瞳孔，以在给定眼睛位置的视网膜上形成图像。从显示设备传播的光线的角度范围决定了观察者“可见”的图像部分，该光线可以成功地传播通过眼睛的瞳孔以在给定眼睛位置的视网膜上形成图像。换句话说，不是图像的所有部分从观察平面上的任何一点都是可见的(例如诸如眼动盒的观察窗口内的任何一个眼睛位置)。

在一些实施例中，观察者感知的图像是出现在显示设备上游的虚拟图像，也就是说，观察者感知图像比显示设备离他们更远。因此，从概念上讲，可以认为观察者正在通过“显示设备大小的窗口”观察虚拟图像，该窗口可以非常小，例如直径为1cm，处于相对较大的距离，例如1米。并且用户将通过他们眼睛的瞳孔观察显示设备大小的窗口，瞳孔也可以非常小。因此，在任何给定时间，视场变小，并且能够看到的特定角度范围严重依赖于眼睛位置。光瞳控制器解决了如何增加视场的技术问题—即如何增加从显示设备传播的光线的角度范围，并且该光线可以成功地传播通过眼睛的瞳孔以形成图像。显示设备(相对而言)小且投影距离(相对而言)大。在一些实施例中，投影距离比显示设备的入射光瞳和/或孔径的直径或宽度(即像素阵列的尺寸)大至少一个数量级，例如至少两个数量级。本公开涉及所谓的直视全息术，其中图像的全息图而不是图像本身被传播到人眼。换句话说，观察者接收的光根据图像的全息图进行调制。

光瞳扩展器增加视场，因此增加了显示设备的全衍射角可以使用的最大传播距离。光瞳扩展器的使用还可以横向增大用户的眼盒，从而使得眼睛能够发生一些运动，同时仍使得用户能够看到图像。在实施例中，光瞳扩展器是波导光瞳扩展器。本公开总体涉及非无限虚拟图像距离，即近场虚拟图像。在所附的独立权利要求中定义了本公开的各方面。

本文公开了一种为包括显示设备和观察系统的系统确定图像的衍射结构的方法。衍射结构可以是全息图，术语“全息图”此后仅用作根据本公开的衍射结构的示例。衍射结构可以是相位全息图、纯相位全息图或相息图。显示设备布置成显示全息图。观察系统布置成通过光瞳扩展器观察全息图。光瞳扩展器提供了从显示设备到观察系统的多个光传播路径。该方法包括第一至第五阶段。第一阶段包括确定观察系统的入射光瞳处的第一复合光场。第一复合光场由来自显示设备的显示平面的光沿着光瞳扩展器的至少一个光传播路径的传播产生。第一阶段还包括根据观察系统的入射光瞳进行裁剪。第二阶段包括确定观察系统的传感器的传感器平面处的第二复合光场。第二复合光场由第一复合光场的光从入射光瞳通过观察系统的透镜的传播产生。第二阶段还包括根据图像修改振幅分量。第三阶段包括确定入射光瞳处的第三复合光场。第三复合光场由第二复合光场的光从传感器平面反向传播通过透镜而产生。第三阶段还包括根据入射光瞳进行裁剪。第四阶段包括确定显示平面上的第四复合光场。第四复合光场由第三复合光场的光沿着光瞳扩展器的至少一个光传播返回的传播产生。第四阶段还包括根据显示设备进行裁剪。全息图是从第四数据集提取的。第一至第四步骤可以反复重复。随着每次迭代，全息图收敛，并且可能会改善，但会趋于平稳。例如，当可从第四阶段提取的全息图被认为具有可接受的质量或者每次迭代的变化率低于阈值或者分配的时间已经到期时，该方法可以停止。为了避免疑问，提取的全息图是用于在显示设备上显示的全息图。

更广泛地，本文公开了一种计算图像的全息图的方法，该方法包括至少一个步骤，该步骤包括根据观察系统的入射光瞳进行裁剪以形成全息图，该全息图在被照射时形成空间调制光，其中空间调制光的连续光通道对应于图像的连续区域。连续的光通道可以由空间调制光的光线角度的连续范围来定义。空间调制光的所有连续光通道对应于图像的连续区域。空间调制光可被分成任意数量的连续光通道。在一些实施例中，光通道是不重叠的。在其他实施例中，例如，在波导和观察者之间另外包括具有光功率的光组合器(例如车辆挡风玻璃)的实施例，一些光通道可以至少部分重叠。本文公开的方法确定衍射结构，该衍射结构布置成将可由观察系统转换的光空间调制成图像，其中该衍射结构配置成将光路由到多个全息图通道中，每个全息图通道对应于图像的不同部分。

术语“反向传播”仅用于反映第三和第四阶段中的光传播方向与第一和第二阶段中的不同或基本相反。在这方面，第一和第二阶段中的光传播可称为“正向传播”。在一些实施例中，“正向传播”和“反向传播”是彼此的数学逆。

这里使用的术语“裁剪”指的是选择性地丢弃感兴趣的区域或范围之外(例如光孔径之外)的信息(例如光场信息)的过程。在一些实施例中，“裁剪”是一个数据处理步骤，包括丢弃孔径之外的数据点，或置零数据点，或简单地忽略数据点。

这里提到了“复合光场”。术语“光场”仅仅表示在至少两个正交空间方向(x和y)上具有有限尺寸的光图案。这里使用的“复数”一词仅仅表示光场中每个点处的光可以由振幅值和相位值来定义，因此可以由复数或一对值来表示。出于全息图计算的目的，复合光场可以是复数的二维阵列，其中复数定义光场内多个离散位置处的光强和相位。根据本文公开的方法，复合光场在全息平面和图像平面之间沿+z和-z方向向前和向后传播。可以使用波动光学领域的技术人员熟悉的多种不同方法或数学变换中的任何一种来模拟或建模光传播。

发明人设计了一种为相对小的显示设备和在相对长距离上投影确定全息图的方法，其中全息图被直接投影到观察系统，并且该方法能够实时实施。显示设备的相对小的尺寸和相对长的投影距离需要光瞳扩展器。发明人设计的方法还解决了使用光瞳扩展器引入的光学复杂性。该方法还允许图像内容出现在离观察系统不同的距离和/或多个距离处，可选地，同时出现，例如使用一个全息图。此外，该方法允许图像内容出现在显示设备的下游和显示设备的上游，可选地同时出现—例如使用一个全息图。

重要的是，全息图被传播到观察系统—而不是由全息图形成的全息重建(即图像)。可以说由观察系统接收的空间调制光是在全息域中，而不是在空间或图像域中。也可以说观察系统执行全息图到图像的转换。更具体地，诸如每个观察系统的透镜的光学元件执行转换。在实施例中，在显示设备和观察系统之间不形成全息重建或图像。在一些实施例中，可选地，使用交错方案，计算不同的全息图并将其传播到观察者的每只眼睛。

显示设备具有有源/像素显示区域，该有效或显示区域具有小于10厘米的第一维度，例如小于5厘米或小于2厘米。显示设备和观察系统之间的传播距离可以大于1m，例如大于1.5m或大于2m。波导内的光学传播距离可以高达2m，例如高达1.5m或高达1m。该方法能够在小于20ms比如小于15ms或小于10ms内接收图像并确定足够质量的相应全息图。

本文公开的方法形成全息图，该全息图配置成将光路由到多个通道中，每个通道对应于图像的不同部分(即子区域)。全息图可以在诸如空间光调制器的显示设备上展示比如显示。当显示在适当的显示设备上时，全息图可以对可由观察系统转换成图像的光进行空间调制。由衍射结构形成的通道在这里被称为“全息图通道”,仅仅是为了反映它们是由具有图像信息的全息图编码的光通道。可以说每个通道的光是在全息域中，而不是在图像或空间域中。在一些实施例中，全息图是傅立叶或傅立叶变换全息图，因此全息域是傅立叶或频域。全息图同样可以是菲涅耳或菲涅耳变换全息图。全息图在本文中被描述为将光路由到多个全息图通道中，仅仅是为了反映可由全息图重建的图像具有有限的大小，并且可被任意划分成多个图像子区域，其中每个全息图通道对应于每个图像子区域。重要的是，本公开的全息图的特征在于它在被照射时如何分布图像内容。具体来说，全息图通过角度来划分图像内容。也就是说，图像上的每个点都与由全息图在被照射时形成的空间调制光中唯一的光线角度相关—至少是唯一的一对角度，因为全息图是二维的。为了避免疑问，这种全息图行为不是常规的。当被照射时，由这种特殊类型的全息图形成的空间调制光可被任意分成多个全息图通道，其中每个全息图通道由一系列光线角度(二维)定义。从上文可以理解，可以在空间调制光中考虑的任何全息图通道(即光线角度的子范围)将与图像的相应部分或子区域相关。也就是说，重建图像的该部分或子区域所需的所有信息都包含在由图像的全息图形成的空间调制光的角度子范围内。当作为整体观察空间调制光时，不一定存在多个离散光通道的任何证据。然而，在一些实施例中，通过有意地将计算全息图的目标图像的区域留为空白或空的(即不存在图像内容)来形成多个空间分离的全息图通道。

尽管如此，全息图仍可被识别。例如，如果只有由全息图形成的空间调制光的连续部分或子区域被重建，则只有图像的子区域应是可见的。如果空间调制光的不同的连续部分或子区域被重建，图像的不同子区域应是可见的。这种类型的全息图的另一识别特征是，任何全息图通道的横截面的形状基本对应于(即基本相同于)入射光瞳的形状，尽管大小可能不同—至少在计算全息图的正确平面处是不同的。每个光全息图通道以不同的角度或角度范围从全息图传播。虽然这些是表征或识别这种类型全息图的示例方式，但也可以使用其他方式。总之，本文公开的全息图通过图像内容如何分布在全息图编码的光内来表征和识别，并且相应地陈述了所附权利要求。

本文公开的方法提供了许多技术进步。首先，该方法不形成可能由其他方法(例如点云方法)形成的重影图像。这是因为该方法通过充分考虑波导中所有可能的光传播路径而固有地确保了正确的图像内容到达正确的位置。其次，该方法可以在任何深度平面呈现图像内容，而不像其他方法，例如点云方法，其在图像点距离非常小时可能很差。这在利用具有光功率的光组合器(例如汽车挡风玻璃)来形成虚拟图像的光学系统中是一个重大问题。第三，该方法固有地考虑了波长的影响，使得在包括多个单色全息通道的彩色投影仪中，不需要比如在美国专利10,514,658中公开的那样通过波长进行图像尺寸校正，该专利在此引入作为参考。

不同的传播路径可以不同的角度穿过观察系统的入射孔径。光瞳扩展器可以布置成使得所有的全息图通道在观察平面上的任何观察位置被路由通过观察系统的入射孔径。对于每个允许的观察位置，光瞳扩展器仅经由一个传播路径将每个全息图通道路由到观察系统。多个全息图通道中的至少两个全息图通道可以在观察系统的入射孔径处部分重叠。

第一至第四阶段可以是有序的阶段。所公开的方法通过在图像平面和全息图之间来回投影来操作，并且该方法可以从图像平面或全息平面开始。光场在每次传播到图像平面或全息平面之后的振幅分量被修改或约束，但相位分量被保留。在一些实施例中，该方法从第一阶段开始，这等同于从全息平面开始。然而，在其他实施例中，该方法从第三阶段开始，这等同于从图像平面开始。在这些其他实施例中，第三阶段之后是第四阶段。第四阶段之后是第一阶段，第一阶段之后是第二阶段。每个阶段可以在全息图提取之前执行一次，或者至少一些阶段可以在全息图提取之前执行多次。

至少一个光传播路径可以包括由光瞳扩展器提供的多个光传播路径。光瞳扩展器的结构便于或允许多个不同的可能光路通过。不同的可能光路可以部分重叠。在一些实施例中，由光瞳扩展器创建一系列不同的光路，其中该系列中的每个光路都比上一个光路长。该系列的每个光路在其出射表面上的不同点离开光瞳扩展器，以创建相应系列的光出射点或子区域。这一系列光出射点或子区域可以沿着光瞳扩展器的出射面基本均匀地间隔开。

光瞳扩展器可以是波导光瞳扩展器。进入光瞳扩展器的每个光线可被复制多次。光瞳扩展器可以布置成通过一系列内部反射传播光，并且在沿着其主面的多个点处输出光。每个光传播路径可以由与该光传播路径相关的波导内的内部反射的数量来定义。例如，第一光传播路径可以包括零内部反射，因此对应于直接穿过波导的光。例如，第二光传播路径可以包括在离开波导之前的两次内部反射，即在波导的第一主/反射表面处的第一反射和在波导的第二主/反射表面处的第二反射，其中第二主/反射表面与第一主/反射表面相对或互补。为了避免疑问，光传播路径因此具有一些重叠。在其他示例中，第一光传播路径包括一次反射，第二光传播路径包括三次反射。第一光传播路径可以是最短的光传播路径，第n光传播路径可以是最长的光传播路径。不同的传播路径可以不同的角度穿过观察系统的入射孔径。

至少一个光传播路径可以仅仅是由光瞳扩展器提供的多个光传播路径中的一个。可以对多个光传播路径中的每个光传播路径执行第一至第四阶段，以便为每个光传播路径提取全息图。对于每个光传播路径，可以独立地执行第一至第四阶段。可以组合对应于多个光传播路径的多个全息图，以便形成用于在显示设备上显示的全息图。

值得注意的是，该方法通过对每个光传播路径执行第一至第四步骤(不考虑起始点)来考虑通过波导的多个光传播路径。可以对每个传播路径依次执行第一至第四步骤。可替代地，可以对每个传播路径执行第一步骤，然后对每个传播路径执行第二步骤，然后执行第三步骤，依此类推。应当理解，由于不同传播路径的部分重叠，关于第n个传播路径执行的步骤可以重用关于第n-1个传播路径的计算，其中第n个传播路径是在第n-1个传播路径之后的下一个最长的传播路径。分别为多个不同的光传播路径确定的多个全息图可以通过相加来组合，特别是如果全息图是相位或纯相位全息图。

在第一阶段中从显示平面传播的光可以包括具有随机相位分量的第零复合光场、二次函数或采样二次函数。第零复合光场的振幅分量可以等于照射光束的振幅分量。在一些实施例中，第零复合光场的振幅是1。如果该方法从第一阶段开始，则第零复合光场的相位分量可能是随机的。随机相位分布有时被称为随机相位种子，并且当该方法在全息平面(即第一阶段)开始时，可以仅被用作该方法的起始点。

在从最终迭代中提取全息图的步骤之前，可以迭代地重复第一至第四阶段。对于第二次和后续迭代，从显示设备传播的光可以包括前一次迭代的第四复合光场的相位分布。

如果在该方法停止之前执行第一阶段的进一步迭代(即全息图是可接受的)，则来自第四步骤的相位分量被保存或保留或结转。即，根据第一阶段传播到显示平面的复合光场的相位分量等于第四复合光场的相位分量。

全息图可以是第四数据集的相位分量。全息图可以是该方法的最终迭代或阶段的第四数据集的相位分量。在一些实施例中，全息图是相息图或相位全息图或纯相位全息图。可以丢弃第四复合光场的振幅分量。

全息图可以是多个图像的全息图。每个图像可以具有不同的图像距离。该方法的第二阶段可以针对每个图像独立执行。重要地，本文公开的方法形成了可以同时在多个平面上形成图像内容的全息图。这是通过对每个不同的平面执行第二阶段并组合结果来实现的，例如将复合光场相加在一起。每个图像可以是实像或虚拟图像。图像内容可能在显示设备的前面(即显示设备的下游)和/或显示设备的后面(即显示设备的上游)可见。

每个复合光场由波传播光学确定，例如菲涅耳传播、移位菲涅耳传播、分数菲涅耳传播、分数傅立叶变换或缩放快速傅立叶变换。

第二阶段的振幅分量的修改可以包括用图像的振幅分量替换第二复合光场的振幅分量，或者基于图像的振幅分量对第二复合光场的振幅分量进行加权。

裁剪的每个步骤可以包括根据相应瞳孔的大小和位置中的至少一个来裁剪复合光场。入射光瞳的大小和位置中的至少一个可以通过跟踪或监控观察系统或接收关于观察系统的信息来确定。在观察系统是眼睛的实施例中，该方法可以包括眼睛跟踪或头部跟踪。如果入射光瞳的至少一个属性(例如位置或大小)改变，则可以重复本文公开的第一至第四阶段。

所述或每个图像可以是虚拟图像。所述或每个图像对于观察系统来说可能看起来在显示设备的后面或外面。也就是说，从观察系统到感知图像的图像距离可能大于从观察系统到显示设备的距离。然而，在其他实施例中，图像内容另外或可替代地形成在显示设备的下游—即在显示设备和观察系统之间。

观察系统可以是观察者的眼睛。该方法还可以包括跟踪观察者的眼睛或头部，以便确定观察系统的入射光瞳的尺寸和位置中的至少一个。在一些实施例中，观察系统的入射光瞳的尺寸和/或位置被用作确定全息图的方法的一部分。在一些实施例中，如果观察者移动或者例如环境光条件改变影响了观察者的入射光瞳的大小，则该方法实时执行，例如以视频速率，并且全息图被重新确定，例如重新计算。

沿着由光瞳扩展器提供的每个光传播路径的传播可以包括组合各个单独光传播路径的单独复合光场。单独复合光场可以通过相加来组合。由光瞳扩展器提供的多个不同光传播路径中的每个光传播路径被单独考虑。由每个光传播路径形成的复合光场被单独确定。

光瞳扩展器可以是波导光瞳扩展器。每个光传播路径对应于波导内不同数量的内部反射。在一些实施例中，光瞳扩展器是具有基本一维(即细长的)或二维形状(例如基本平面的，比如板形)的波导光瞳扩展器。

在实施例中，出射光瞳在部件的长方向或维度上扩展。光瞳扩展器可以包括一对相对或互补的反射表面。这些表面中的一个可以仅仅是部分反射的，以允许光在一系列光出射点或子区域逸出。

组合单独复合光场可以包括确定每个单独复合光场在包含入射光瞳的平面上的横向位置。波导内的内部反射次数决定了横向位置。

组合单独复合光场还可以包括确定与每个光传播路径的内部反射相关的总相移。这可以包括对与每个光传播路径相关的多个相移进行求和，其中每个相移由光瞳扩展器内的反射产生。

这里还公开了一种全息引擎，其布置为确定图像的全息图，以使用平视显示器进行观察。平视显示器包括显示设备和光瞳扩展器。平视显示器配置成与至少一个观察系统一起操作。每个观察系统包括入射光瞳平面上的入射光瞳、透镜平面上的透镜和传感器平面上的传感器。平视显示器可以配置成与一对观察系统比如一双眼睛一起操作。显示设备(例如空间光调制器)布置成显示全息图。光瞳扩展器布置成接收根据全息图进行空间调制的光。例如，显示的全息图可以用来自光源的至少部分相干光照射。显示设备根据显示的全息图对接收的光进行空间调制。全息引擎布置成确定在观察系统的入射光瞳处的第一复合光场。第一复合光场由来自显示设备的显示平面的光沿着光瞳扩展器的每个光传播路径的传播产生。第一复合光场还由根据观察系统的入射光瞳裁剪而产生。全息引擎还布置成确定在观察系统的传感器的传感器平面处的第二复合光场。第二复合光场由第一复合光场的光从输入光瞳通过观察系统的透镜的传播而产生。第二复合光场还由根据图像对振幅分量的修改而产生。全息引擎还布置成确定在入射光瞳处的第三复合光场。第三复合光场由第二复合光场的光从传感器平面反向传播通过透镜而产生。第三复合光场还由根据入射光瞳的裁剪产生。全息引擎还布置成确定显示平面上的第四复合光场。第四复合光场由第三复合光场的光沿着光瞳扩展器的每个光传播的反向传播产生。第四复合光场还由根据显示设备的裁剪产生。全息引擎布置成从第四数据集中提取全息图。全息引擎可以体现在显示驱动器中，比如现场可编程门阵列“FPGA”或专用集成电路“ASIC”。显示驱动器可以是用于平视显示器“HUD”的图像生成单元“PGU”的一部分。

术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建是真实图像并且与全息图在空间上分离。术语“重放场”用于指代在其内形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上，则重放场将以多个衍射级的形式重复，其中每个衍射级是零级重放场的复本。零级重放场通常对应于优选或主重放场，因为它是最亮重放场。除非另有明确说明，术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”指通过全息重建的光照射的重放场的区域。在一些实施例中，“图像”可包括离散点，其可被称为“图像点”，或仅出于方便起见而被称为“图像像素”。

术语“编码”、“写入”和“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”全息图，并且全息图可被认为是光调制值或水平的阵列。

已经发现，可接受质量的全息重建可以由仅包含与原始物体的傅立叶变换相关的相位信息的“全息图”形成。这种全息记录可以称为纯相位全息图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息术。

本公开也同样适用于使用与原始物体的傅立叶变换相关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。

可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。

因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在重放平面上平移重放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的重放平面上。

尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的组合和置换。

附图说明

仅参考以下附图以示例的方式描述特定实施例：

图1是示出在屏幕上产生全息重建的反射型SLM的示意图；

图2A示出了示例Gerchberg-Saxton类型算法的第一迭代；

图2B示出了示例Gerchberg-Saxton类型算法的第二及后续迭代；

图2C示出了示例Gerchberg-Saxton类型算法的替代第二及后续迭代；

图3是反射型LCOS SLM的示意图；

图4示出了从显示设备向孔径有效传播的虚拟图像的角内容；

图5A示出了具有相对较小传播距离的观察系统；

图5B示出了具有相对较大传播距离的观察系统；

图6A示出了具有相对较大传播距离的观察系统，其包括波导，用于在无穷远处形成虚拟图像；

图6B示出了图6a的光路的放大图；

图7示出了根据实施例的光学系统；

图8是示出根据实施例的方法的步骤的流程图。

图9是示例图像的示意图；

图10A-10F各自描绘了根据实施例的图9的图像的相应部分；

图11是示出根据实施例的方法的步骤的流程图；

图12是在图11的方法中使用的第一图像；

图13是在图12的方法中使用的第二图像；

图14是在图13的方法中使用的第三图像；以及

图15是优化第三全息图之前第三图像的第三全息图的全息重建。

在所有附图中，相同的附图标记将用于指代相同或相似的部分。

具体实施方式

本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以不同的形式实施且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。

除非另有说明，单数形式的术语可以包括复数形式。描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况，此外，还包括在它们之间设置第三结构的情况。

在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有说明。例如，除非使用诸如“刚好”、“紧邻”或“直接”等措辞，否则描述应被视为包括不连续的情况。

尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。

不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。一些实施例可以彼此独立地执行，或者可以相互依存的关系一起执行。

光学配置

图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此，可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅上液晶“LCOS”器件。全息图在空间光调制器上编码，并且在重放场例如光接收表面比如屏幕或漫射器处形成全息重建。

光源110例如激光或激光二极管设置成经由准直透镜111照射SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中，波前的方向是偏离法线的(例如与真正正交于透明层的平面相距两度或三度)。然而，在其他实施例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入和输出光学路径。在图1所示的实施例中，布置使得来自光源的光从SLM的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，傅立叶变换透镜120的焦点位于屏幕125处。更具体地，傅立叶变换透镜120接收来自SLM140的调制光束，并执行频率-空间变换以在屏幕125处产生全息重建。

值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个重放场上。

在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且在光学上执行傅立叶变换。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。

示例全息图计算

在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将重放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。

可以使用算法比如Gerchberg-Saxton算法来计算傅立叶变换全息图。此外，Gerchberg-Saxton算法可用于根据空间域(比如照片)中的仅振幅信息来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的仅振幅信息中有效地“检索”与物体有关的相位信息。在一些实施例中，使用Gerchberg-Saxton算法或其变型从仅振幅信息计算计算机生成的全息图。

Gerchberg-Saxton算法考虑了当已知分别在平面A和B中的光束的强度截面I_A(x,y)和I_B(x,y)并且I_A(x,y)和I_B(x,y)通过单个傅立叶变换关联时的情况。对于给定的强度横截面，分别求出了平面A和B中的相位分布近似Ψ_A(x,y)和Ψ_B(x,y)。Gerchberg-Saxton算法通过遵循迭代过程求出该问题的解。更具体地，Gerchberg-Saxton算法迭代地应用空间和频谱约束，同时在空间域和傅立叶(频谱或频率)域之间重复传输代表I_A(x,y)和I_B(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中的相应计算机生成的全息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以是仅振幅全息图、仅相位全息图或全复数全息图。

在一些实施例中，仅相位全息图是使用基于Gerchberg-Saxton算法的算法来计算的，比如在英国专利2,498,170或2,501,112中描述的算法，所述专利的全部内容通过引用结合于此。然而，本文公开的实施例仅通过示例的方式描述计算仅相位全息图。在这些实施例中，Gerchberg-Saxton算法检索数据集的傅立叶变换的相位信息Ψ[u,v]，其产生已知的振幅信息T[x,y]，其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中本质上是结合的，因此变换后的幅度和相位包含有关计算数据集的准确性的有用信息。因此，算法可以与振幅和相位信息的反馈一起迭代使用。然而，在这些实施例中，仅相位信息Ψ[u,v]用作全息图，以在图像平面处形成目标图像的全息表示。全息图是相位值的数据集(例如2D阵列)。

在其他实施例中，基于Gerchberg-Saxton算法的算法用于计算全复数全息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复数数据值阵列的数据集(例如2D阵列)，其中每个复数数据值包括幅度分量和相位分量。

在一些实施例中，算法处理复数数据，并且傅立叶变换是复数傅立叶变换。可以将复数数据视为包括(i)实数分量和虚数分量，或(ii)幅度分量和相位分量。在一些实施例中，复数数据的两个分量在算法的各个阶段被不同地处理。

图2A示出了根据一些实施例的用于计算仅相位全息图的算法的第一迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。也就是说，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可被视为仅幅度或仅振幅或仅强度分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。算法的第一迭代从数据形成步骤202A开始，该步骤包括使用随机相位分布(或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成起始复数数据集，其中数据集的每个数据元素包括幅度和相位。可以说，起始复数数据集代表了空间域中的输入图像。

第一处理块250接收起始复数数据集并执行复数傅立叶变换以形成傅立叶变换的复数数据集。第二处理块253接收傅立叶变换的复数数据集并输出全息图280A。在一些实施例中，全息图280A是仅相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280A。根据可以在空间光调制器的将用于“显示”仅相位全息图的像素上表示的相位水平来量化每个相位值。例如，如果空间光调制器的每个像素提供256个不同的相位水平，则将全息图的每个相位值量化为256个可能相位水平中的一个相位水平。全息图280A是代表输入图像的仅相位傅立叶全息图。在其他实施例中，全息图280A是全复数全息图，其包括从接收的傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量)阵列。在一些实施例中，第二处理块253将每个复数数据值约束到多个可允许复数调制水平之一以形成全息图280A。约束步骤可以包括将每个复数数据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280A代表频谱或傅立叶或频域中的输入图像。在一些实施例中，算法在该点处停止。

然而，在其他实施例中，算法继续，如图2A中的虚线箭头所示。换句话说，遵循图2A中的虚线箭头的步骤是可选的(即并非对所有实施例都是必不可少的)。

第三处理块256从第二处理块253接收修改的复数数据集，并执行逆傅立叶变换以形成逆傅立叶变换的复数数据集。可以说逆傅立叶变换的复数数据集代表空间域中的输入图像。

第四处理块259接收逆傅立叶变换的复数数据集，并提取幅度值211A的分布和相位值213A的分布。可选地，第四处理块259评估幅度值211A的分布。具体地，第四处理块259可以将逆傅立叶变换的复数数据集的幅度值211A的分布与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是可接受的。也就是说，如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是输入图像210的足够准确表示。在一些实施例中，为了比较的目的，忽略了逆傅立叶变换的复数数据集的相位值213A的分布。将理解的是，可以采用任何数量的不同方法来比较幅度值211A的分布和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，则认为全息图280A是可接受的。如果第四处理块259确定全息图280A是不可接受的，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，执行的算法的迭代次数是预定的或预设的或用户定义的。

图2B表示算法的第二迭代以及算法的任何进一步迭代。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，有利于输入图像210的幅度值的分布。在第一迭代中，数据形成步骤202A通过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复数数据集。然而，在第二和后续迭代中，数据形成步骤202B包括通过将(i)来自算法的先前迭代的相位值213A的分布与(ii)输入图像210的幅度值的分布相结合来形成复数数据集。

然后，以参照图2A描述的相同方式处理由图2B的数据形成步骤202B形成的复数数据集，以形成第二迭代全息图280B。因此，此处不重复对该过程的说明。当已经计算了第二迭代全息图280B时，算法可以停止。然而，可以执行该算法的任何数量的进一步迭代。将理解的是，仅在需要第四处理块259或需要进一步迭代时才需要第三处理块256。输出全息图280B通常随着每次迭代而变得更好。然而，实际上，通常会达到无法观察到可测量的改进的点，或者执行进一步迭代的正面好处被额外处理时间所带来的负面影响抵消。因此，该算法被描述为迭代和收敛的。

图2C表示第二和后续迭代的替代实施例。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，有利于幅度值的替代分布。在该替代实施例中，幅度值的替代分布是从先前迭代的幅度值211的分布中导出的。具体地，处理块258从先前迭代的幅度值211的分布中减去输入图像210的幅度值的分布，通过增益因子α缩放该差，并从输入图像210中减去经缩放的差。这在数学上通过以下等式来表述，其中下标文本和数字表示迭代次数：

R_n+1[x,y]＝F'{exp(iψ_n[u,v])}

ψ_n[u,v]＝∠F{η×exp(i∠R_n[x,y])}

η＝T[x,y]-α(|R_n[x,y]|-T[x,y])

其中：

F'是逆傅立叶变换；

F是正向傅立叶变换；

R[x,y]是第三处理块256输出的复数数据集；

T[x,y]是输入或目标图像；

∠是相位分量；

Ψ是仅相位全息图280B；

η是幅度值211B的新分布；以及

α是增益因子。

增益因子α可以是固定的或可变的。在一些实施例中，基于输入目标图像数据的大小和速率来确定增益因子α。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。

在所有其他方面，图2C的实施例与图2A和图2B的实施例相同。可以说，仅相位全息图Ψ(u,v)包括频率或傅立叶域中的相位分布。

在一些实施例中，使用空间光调制器执行傅立叶变换。具体地，全息图数据与提供光功率的第二数据组合。也就是说，写入空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据会模拟物理透镜—即它以与相应物理光学元件相同的方式将光聚焦。因此，透镜数据提供了光功率或聚焦功率。在这些实施例中，可以省略图1的物理傅立叶变换透镜120。已知如何计算代表透镜的数据。代表透镜的数据可以称为软件透镜。例如，仅相位透镜可以通过计算由透镜的每个点由于其折射率和空间变化的光学路径长度而引起的相位延迟来形成。例如，在凸透镜的中心的光学路径长度大于透镜边缘处的光学路径长度。仅振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中，还已知如何将代表透镜的数据与全息图相结合，从而可以在不需要物理傅立叶透镜的情况下执行全息图的傅立叶变换。在一些实施例中，通过简单的加法比如简单的矢量加法将透镜化数据与全息图结合。在一些实施例中，物理透镜与软件透镜结合使用以执行傅立叶变换。可替代地，在其他实施例中，完全省略傅立叶变换透镜，使得全息重建在远场中发生。在进一步的实施例中，全息图可以相同的方式与光栅数据—即布置成执行光栅函数比如图像转向的数据结合。同样，在本领域中已知如何计算这样的数据。例如，可以通过对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成仅相位光栅。仅振幅光栅可以简单地与仅振幅全息图叠加以提供全息重建的角度转向。提供透镜化和/或转向的第二数据可被称为光处理函数或光处理图案，以与可被称为图像形成函数或图像形成图案的全息图数据区分开。

在一些实施例中，傅立叶变换由物理傅立叶变换透镜和软件透镜联合执行。也就是说，由软件透镜提供有助于傅立叶变换的一些光功率，而由一个或多个物理光学器件提供有助于傅立叶变换的其余光功率。

在一些实施例中，提供了一种实时引擎，其布置为使用算法接收图像数据并实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图被预先计算，存储在计算机存储器中并且根据需要被调出以在SLM上显示。也就是说，在一些实施例中，提供了预定全息图的储存库。

实施例仅通过示例的方式涉及傅立叶全息术和Gerchberg-Saxton类型算法。本公开同样适用于可通过类似方法计算的菲涅耳全息术和菲涅耳全息图。本公开还可适用于通过其他技术比如基于点云方法的技术计算的全息图。

光调制

可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如果全息图是仅相位全息图，则需要调制相位的空间光调制器。如果全息图是全复数全息图，则可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。

在一些实施例中，空间光调制器的光调制元件(即像素)是包含液晶的单元。也就是说，在一些实施例中，空间光调制器是其中光学活性成分是液晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。也就是说，每个液晶单元在任何时候配置为以从多个可能光调制水平中选择的一个光调制水平操作。每个液晶单元可动态地重新配置为与多个光调制水平不同的光调制水平。在一些实施例中，空间光调制器是反射型硅上液晶(LCOS)空间光调制器，但本公开不限于这种类型的空间光调制器。

LCOS器件在小孔径(例如几厘米宽)内提供密集的光调制元件或像素阵列。像素通常约为10微米或更小，这导致几度的衍射角，意味着光学系统可以紧凑。充分照射LCOS SLM的小孔径比其他液晶装置的大孔径要容易得多。LCOS器件通常是反射性的，这意味着驱动LCOS SLM像素的电路可以埋在反射表面下。这导致更高的孔径比。换句话说，像素密集填充，意味着像素之间几乎没有死区。这是有利的，因为它减少了重放场中的光学噪声。LCOSSLM使用硅底板，其优点是像素是光学平坦的。这对于相位调制装置特别重要。

下面仅以举例的方式，参考图3来描述合适的LCOS SLM。使用单晶硅基板302形成LCOS器件。它具有方形平面铝电极301的2D阵列，由间隙301a间隔开，布置在基板的上表面上。可以通过掩埋在基板302中的电路302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如由玻璃制成的平面透明层306上。例如由ITO制成的单个透明电极307设置在透明层306和第二取向层305之间。每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控的相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透明电极307施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射在其上的光提供可变延迟。效果是向波前提供仅相位调制，即不出现振幅效应。

所描述的LCOS SLM以反射方式输出空间调制光。反射型LCOS SLM具有的优势在于，信号线、光栅线和晶体管位于镜面之下，这导致高填充因子(通常大于90％)和高分辨率。使用反射型LCOS空间光调制器的另一优势在于，液晶层的厚度可以是使用透射型器件时所需厚度的一半。这大大提高了液晶的切换速度(投影运动视频图像的关键优势)。然而，本公开的教导同样可以使用透射型LCOS SLM来实现。

使用小显示设备和长观察距离的图像投影。本公开涉及图像投影，其中显示设备和观察者之间的间隔远大于显示设备的尺寸。观察距离(即观察者和显示设备之间的距离)可以至少比显示设备的尺寸大一个数量级。观察距离可以比显示设备的尺寸大至少两个数量级。例如，显示设备的像素区域可以是10mm×10mm，观察距离可以是1m。由系统投影的图像形成在与显示设备空间分离的显示平面上。

根据本公开，图像由全息投影形成。全息图显示在显示设备上。全息图由光源(未示出)照射，并且在与全息图空间分离的显示平面上感知到图像。图像可以是真实的或虚拟的。出于以下解释的目的，考虑在显示设备上游形成的虚拟图像是有帮助的。也就是说，出现在显示设备的后面。然而，图像是虚拟图像并不重要，并且本公开同样适用于在显示设备和观察系统之间形成的真实图像。

显示设备包括显示全息图的像素。显示设备的像素结构是衍射的。因此，全息图像的大小是由衍射规则决定的。下面参照图4解释显示设备的衍射特性的结果。

图4示出了像素化显示设备402，其布置为显示全息图，该全息图在显示设备402的上游形成虚拟图像401。显示设备的衍射角θ决定了虚拟图像401的大小。虚拟图像401、显示设备402和观察系统405布置在光轴Ax上。

观察系统405具有入射孔径404和观察平面406。观察系统406可以是人眼。因此，入射孔径404可以是眼睛的瞳孔，而观察平面406可以是眼睛的视网膜。

在显示设备402和观察系统405之间传播的光被图像的全息图(不是图像本身)调制。然而，图4示出了全息图如何通过角度划分虚拟图像内容。每个图示的光线束涉及虚拟图像401的不同部分。更具体地，每个光线束中的光由全息图用关于虚拟图像的一部分的信息编码。图4示出了五个示例光线束，每个的特征在于相对于光轴Ax的相应角度，并且每个表示虚拟图像的相应部分。在该示例中，光束之一穿过光瞳404，而其他四个光束被光瞳404阻挡。同样，五个不同的光线束对应于虚拟图像401的五个不同部分。虚拟图像的完整图像内容被有效地按角度划分。沿着光轴Ax传播的光束携带图像信息的中心部分，即与图像中心相关的信息。其他光束携带图像信息的其他部分。示出在光锥末端的两个光束携带图像信息的边缘部分。图像信息按角度的该划分的结果是，不是所有的图像内容都能在给定的观察位置通过观察系统的入射孔径404。换句话说，不是所有的图像内容都被眼睛接收到。在图4的示例中，所示的五个光束中只有一个在任何观察位置穿过光瞳404。读者将理解，仅以示例的方式示出了五个光束，并且所描述的过程不限于将虚拟图像的图像信息划分成仅仅五个光束。

在该示例中，图像信息的中心部分由眼睛接收。图像信息的边缘部分被眼睛的瞳孔阻挡。读者将理解，如果观察者向上或向下移动，眼睛可能会接收到不同的光束，例如，图像信息的中心部分可能会被阻挡。因此，观察者只能看到整个图像的一部分。其余的图像信息被入射光瞳阻挡。观察者的视场受到严重限制，因为他们实际上是通过显示设备本身的小孔径观察图像。

总之，光从显示设备在衍射角范围内传播。在1m的观察距离下，对于给定的眼睛位置，只有来自显示设备的小范围角度可以通过眼睛的光瞳传播以在视网膜上形成图像。虚拟图像中唯一可见的部分是那些落入图4所示的小角度范围内并穿过入射孔径的部分。因此，视场非常小，并且具体的角度范围严重依赖于眼睛位置。

参考图4解释的小视场和对眼睛位置的敏感性的问题是显示设备的大观察距离和小孔径的结果。参照图5至7进一步解释观察距离的重要性。

图5A示出了显示设备502，其布置为显示全息图并将根据全息图调制的光传播到包括入射孔径504和观察平面506的观察系统。虚拟图像501在无穷远处，因此在虚拟图像和显示设备之间跟踪的光线是准直的。图5A的下部示出了观察系统的放大图。该图是示意性的，因此没有示出眼睛的生理细节。实际上，当然存在布置成照射显示设备502的光源(图5A中未示出)。

图5A仅示出了那些可以通过孔径504传播的光线；不能穿过孔径504的任何其他光线被省略。然而，将理解，在实践中，那些其他光线也将从显示设备502传播。在图5A中，显示设备和观察平面之间的距离足够小，使得来自显示设备的全衍射角可以在视网膜上形成图像。从虚拟图像显示的所有光传播路径都穿过入射孔径。因此，虚拟图像上的所有点都映射到视网膜上，并且所有图像内容都被传递到观察平面。因此，感知图像的视场是最大的。在最佳位置，视场等于显示设备的衍射角。有趣的是，视网膜上的不同图像点是由从显示设备502上的不同区域传播的光形成的，例如最靠近图5A顶部的图像点仅由从显示设备的下部传播的光形成。从显示设备的其他区域传播的光对该图像点没有贡献。

图5B示出了当观察距离增加时出现的情况。更详细地，图5B示出了显示设备502’,其布置成显示全息图并将根据全息图调制的光传播到包括入射孔径504’和观察平面506’的观察系统。虚拟图像501’在无穷远处，因此虚拟图像和显示设备之间的光线是准直的。图5B的下部显示了观察系统的放大图。该图是示意性的，因此没有示出眼睛的生理细节。实际上，当然具有布置成照射显示设备502’的光源(图5B中未示出)。

图5B仅示出了那些可以通过孔径504’传播的光线。在图5B的较大观察距离处，一些光束被入射孔径504’阻挡。具体地，与虚拟图像的边缘部分相关的光线束被入射光瞳504’阻挡。因此，整个虚拟图像是不可见的，并且虚拟图像的可见部分严重依赖于眼睛的位置。因此，由于显示设备的小尺寸，显示设备和观察系统之间的大距离是有问题的。

图6A示出了包括显示设备602的改进系统，向包括入射孔径604和观察平面606的观察系统传播已经用显示设备602上显示的全息图编码的光。实际上，当然存在布置成照射显示设备602的光源(未示出)。改进系统还包括位于显示设备602和入射孔径604之间的波导608。图6A的下部示出了入射光瞳604和观察平面606的放大视图。该图是示意性的，因此没有示出眼睛的生理细节。

图6的观察距离与图5B的相同。然而，在图5B中被阻挡的光束被波导608有效地恢复，使得观察系统接收到完整的图像信息—尽管观察距离更长。

波导608的存在使得来自显示设备602的所有角度内容能够被眼睛接收，即使在这个相对大的投影距离上。这是因为波导608以众所周知的方式充当光瞳扩展器，因此在此仅简要描述。

简而言之，波导608包括基本细长的结构。在这个示例中，它包括折射材料的光学板，但其他类型的波导也是众所周知的并且可被使用。波导608被定位成与从显示设备602投影的光锥相交，例如以斜角相交。波导608的大小、位置和定位配置成确保来自光锥内的五个光束中的每个的光进入波导608。来自光锥的光经由波导608的第一平面表面610(位置最靠近显示设备602)进入波导608，并且在经由波导608的第二平面表面612发射之前，至少部分地沿着波导608的长度被引导，第二平面表面612基本与第一表面610相对(位置最靠近眼睛)。

很容易理解，第二平面表面612是部分反射、部分透射的。换句话说，当每条光线在波导608内从波导608的第一平面表面610传播到第二平面表面612时，一些光将透射出波导608，一些光将被第二平面表面612反射回第一平面表面610。第一平面表面610是反射性的，使得从波导608内撞击它的所有光将被反射回第二平面表面612。

因此，一些光在被透射之前可以简单地在波导608的两个平面表面610、612之间折射，而其他光可被反射，因此在被透射之前可以在波导608的平面表面610、612之间经历一次或多次反射(或“反弹”)。因此，波导608的净效应是光的透射有效地扩展到波导608的第二平面表面612上的多个位置。因此，与没有波导608的情况相比，显示设备602输出的所有角度内容可以出现在显示平面上更多数量的位置处(并且在孔径平面上更多数量的位置处)。这意味着来自每个光线束的光可以进入入射孔径604，并有助于由观察平面606形成的图像，尽管投影距离相对较大。换句话说，眼睛可以接收来自显示设备602的所有角度内容。因此，显示设备602的全衍射角被利用，并且对于用户来说观察窗被最大化。反过来，这意味着所有光线都对感知的虚拟图像601有贡献。

图6B示出了对虚拟图像601内的五个相应图像点有贡献的五个光线束中的每个的单独光路，虚拟图像601在图6A中形成，从上到下分别标记为R1到R5。如在其中可以看到，R1和R2中的每个的光被简单地折射，然后被波导608透射。另一方面，R4的光在透射之前会遇到单次反弹。R3的光包括来自显示设备602的相应第一部分的一些光，其在被透射之前被波导608简单地折射，以及来自显示设备602的不同的第二相应部分的一些光，其在被透射之前遇到单次反弹。类似地，R5的光包括来自显示设备602的对应的第一部分的在被透射之前遇到单次反弹的一些光，以及来自显示设备602的不同的第二对应部分的在被透射之前遇到两次反弹的一些光。对于R3和R5中的每个，LCOS的两个不同部分传播对应于虚拟图像部分的光。

本发明人已经认识到，至少在一些应用中，与在无穷远处形成虚拟图像相反，虚拟图像距离(即从观察者到虚拟图像的距离)优选是有限的。在某些应用中，将存在优选的虚拟图像距离，在该距离处，虚拟图像内容出现是期望的或必要的。例如，这可以是平视显示器中的情况，例如在汽车设定中，例如如果虚拟图像内容要被叠加到观察者通过车辆挡风玻璃观察的真实内容上。例如，期望的虚拟图像距离可以包括在观察者的车辆或挡风玻璃前方几米处形成的虚拟图像内容，例如3米或5米。

小型显示设备、长观察距离和光瞳扩展器的全息图计算。发明人设计了一种计算图7所示光学系统的全息图的方法。重要的是，显示设备相对较小，投影距离相对较长。全息图被直接投影到观察系统，并且该方法能够实时实施。显示设备的相对小的尺寸和相对长的投影距离需要光瞳扩展器。该方法解决了通过光瞳扩展器的不同路径。该方法允许图像内容出现在离观察系统不同的距离和/或多个距离处，可选地同时出现，例如使用一个全息图。该方法允许图像内容出现在显示设备的下游和显示设备的上游，可选地同时出现，例如使用一个全息图。

图7示出了可用于显示图像全息图的空间光调制器701。在该实施例中，空间光调制器701是硅上液晶器件，其布置成对接收到的光的相位进行模块化。空间光调制器701由来自未示出的光源的至少部分相干光照射。光源可以是激光二极管。空间光调制器701输出根据显示全息图进行空间调制的光。图7示出了空间调制光的一条光线702。光瞳扩展器703接收空间调制光。光瞳扩展器703相对于显示设备701的平面倾斜。光瞳扩展器703因此接收非垂直入射的光。入射角(光轴与光瞳扩展器形成的角度)可以小于25度，例如10到20度。光瞳扩展器包括接收空间调制光的输入表面703a和输出表面703b。输入表面703a和输出表面703b基本平行，并在光瞳扩展的方向上伸长。输入表面703a包括基本全反射的至少一部分(例如R＝1)。输出表面703b包括高反射但部分透射的至少一部分(例如R＝0.9和T＝0.1)。反射表面布置成使得空间调制光在它们之间来回反射，并且光在沿着输出表面703b的多个点发射，如上面参考图6的波导608所述。在这个实施例中，光瞳扩展器基本是细长的。光瞳扩展器提供在一个方向上的光瞳扩展—即伸长方向，但本公开可以扩展到包括布置成在正交方向上扩展光瞳的第二光瞳扩展器的存在。

图7示出了光线702如何被有效地复制两次以形成三个传播路径705，每个路径与不同的距离Z₀,Z₁和Z₂相关。最短的传播路径对应于Z₀，并且在这个示例中，光已经穿过波导而没有任何内部反射。所示的三个中的中距离传播路径对应于Z₁和光瞳扩展器中的两个内部反射(每个表面一个)。所示的最长传播路径对应于Z₂和光瞳扩展器中的四次内部反射(每个表面两次)。平面x₀,x₁和x₂分别示出了与三个传播路径Z₀,Z₁和Z₂中的每个相关的光场的空间范围。更具体地，图7示出了三个平面x₀、x₁和x₂在x方向上是如何相互偏移的。

图7还示出了观察系统713，其包括入射光瞳707、透镜709和光传感器711。在实施例中，观察系统713是人眼，光传感器711是眼睛的视网膜。图7示出了只有一些与每个传播路径相关的光场如何穿过入射光瞳707。图7示出了与穿过入射光瞳707中心的中距离传播路径的中心相关的光线。但是例如，与最短传播路径的光场的中心相关的光线被孔径707的顶部阻挡。然而，与最短传播路径的光场相关的其他光线可以穿过孔径707。与最长传播路径的光场中心相关的光线被孔径707的下部阻挡。然而，与最长传播路径的光场相关的其他光线也可以穿过孔径707。

穿过孔径707的光被透镜709聚焦到光传感器711上。光传感器711的平面基本平行于显示设备701的平面，因此也相对于光瞳扩展器703的细长维度倾斜。

仅作为示例，图7示出了三条可能的光传播路径。本公开不受传播路径数量的限制。也就是说，本领域技术人员将从以下描述中理解，该方法可以扩展到考虑任何数量的光传播路径。同样，光瞳扩展器相对于显示平面和传感器平面倾斜也不是必须的。

图8是示出该方法步骤的流程图。该方法类似于Gerchberg-Saxton型算法，该算法使用在图像平面和全息图之间来回的数学变换，以会聚在对应于图像的相位全息图上。在每次传播到图像平面或全息平面之后，光场的振幅分量被修改或约束，但相位分量被保留。

该方法的第零阶段包括步骤802和804。第零阶段包括形成第零复合光场。步骤802提供随机相位种子，形成第零复合光场的相位分量。步骤804提供第零复合光场的振幅分量。振幅分量可以是代表将用于从全息图重建图像的光源光的单位或振幅分布。在步骤806中，第零复合光场从空间光调制器701(即从全息平面)菲涅耳传播到观察系统713的入射光瞳707(更具体地，传播到包含观察系统713的入射光瞳707的平面)。此外，该实施例将菲涅耳传播称为可以使用的多种不同数学变换的一个示例，而不脱离本公开的精神或范围。对由光瞳扩展器703提供的每个数量的反弹或内部反射执行步骤806，以形成关于每个光传播路径的复合光场。步骤806包括考虑入射光瞳707的平面处在x方向上的复合光场的横向位置，以及在光瞳扩展器703内每次反射的相移。不同的复合光场可以例如通过相加来组合。第一阶段还包括步骤808，根据入射光瞳707的尺寸和形状裁剪组合的复合光场，以在入射光瞳707处形成第一复合光场。

该方法的第二阶段包括步骤810和812。在步骤810中，通过将第一复合光场从入射光瞳穿过透镜709传播到光传感器711的平面来确定第二复合光场。步骤812包括修改到达光传感器711的复合光场的振幅分量。更具体地，步骤812包括用目标图像的振幅分量或者基于目标图像的振幅分量的振幅分量(例如目标图像的振幅分量的加权版本)来替换复合光场的振幅分量。传播中使用的透镜709的位置决定了图像距离—即图像内容将出现的空间。在一些实施例中，图像是虚拟图像，并且该距离可被称为虚拟图像距离“VID”。

有利地，这里公开的方法允许使用相同的全息图在多个不同的图像距离(例如多个VID)形成图像内容。发明人认识到，这可以通过考虑透镜709在z方向上的不同位置，对每个图像距离重复第二阶段来实现。例如，根据这种方法为每个不同图像距离确定的复合光场可以通过相加来组合。

该方法的第三阶段包括步骤814，其中第二复合光场经由透镜709传播回入射光瞳707。这可被称为反向传播，仅仅是为了反映光在相反的z方向上行进。在一些实施例中，反向传播是对应的“正向”传播的数学逆。第三阶段还包括根据入射光瞳707的尺寸和形状裁剪传播的光场，以形成第三复合光场。

第四阶段包括步骤816和818。在步骤816中，光经由光瞳扩展器的多个光传播路径传播回空间光调制器702的平面，以上面关于第一阶段描述的方式—但当然是在相反的光方向上(即“反向”传播)。步骤818包括根据显示设备的有效/像素区域的大小和位置裁剪传播的光场。每个复合光场的复数值的数量可以等于或小于显示设备的像素数量。步骤820包括从第四复合光场中提取全息图。全息图可以包括第四复合光场的相位值，在这种情况下，全息图可被称为相息图。如本公开中前面解释，该方法同样可以从图像平面开始(即第三阶段)。根据本公开，每个阶段需要至少一次迭代。

从较大FoV全息图确定小FoV子全息图

图9是图像902的示意图(未按比例)。图像902是字母“E”“N”“V”“I”。图像902可以是较大图像的子区域或有限部分。较大图像可能是单词“ENVISICS”。图像902由第一全息图产生，例如通过用光照射第一全息图。

在一些全息显示器中，例如在2021年6月14日提交的英国专利申请2108456.1中公开的系统，采用可切换孔径来抑制串扰。在这种全息显示器中，任何给定帧中的整个图像/重放倾向于被分成角度区域，其宽度(即子FoV)由光瞳尺寸、观察者的光瞳间距离和图像距离(例如虚拟图像距离)确定。在一些实施例中，第一全息图可以是提供一个角度区域的一阶子全息图。第一全息图，例如一阶子全息图，可以由基于GS环的算法产生，例如在2021年8月26日提交的英国专利申请2112213.0中公开的算法。如该专利申请中公开，基于GS环的算法可被巧妙修改，用于利用杆状/板状波导的光瞳扩展。在修改中，在不同输出位置离开光瞳扩展器的波前被有效地认为是源自不同的全息图复本(通过考虑展开时从全息图到眼睛的光路)。可以为每个复本计算一阶子全息图。为了实现全视场，每个一阶子全息图贡献了图像/重放的足够大的子区域。第一全息图可以根据完整目标图像的子图像来计算。

发明人发现，为了适应不同IPD的观察者，具有可定制宽度/FoV的角度区域是有益的。根据本公开，通过计算二阶子全息图来提供对角度区域的控制，该二阶子全息图产生比一阶子全息图更小但可控的FoV。实施例包括从第一全息图(例如一阶子全息图)获得一个或多个第二全息图(例如二阶子全息图)。每个第二全息图具有任意的并且比相应的第一全息图的FoV更小的FoV。因此，每个第二全息图是图像902的相应有限部分904的。这样，第二全息图是较大图像的子区域902的有限部分904的二阶子全息图。为了获得多个第二全息图中的一个，用/由第一全息图编码的复合光场从全息平面传播到图像平面(例如图像将在视网膜上形成的地方)。复合光场的传播可以涉及第一全息图的菲涅耳变换或傅立叶变换。由于第一全息图包含角度分量的所有信息，为了从第一全息图获得具有较小宽度/FoV的第二全息图，可以有效地丢弃期望宽度/FoV之外的内容/信息。这可以通过对图像平面中的复合光场施加振幅约束来实现。振幅约束可以基于期望的宽度/FoV。具体而言，振幅约束可以包括将对应于图像在受限部分之外的部分的复合光场的振幅分量设置为零。一旦对应于那些分量的振幅被设置为零，第一全息图中存在的任何角度分量将被过滤并丢弃。然后，修改的复合光场被(从图像平面)传播回到全息平面，以获得第二全息图(更具体地，二阶全息图)，即复合光场传播的逆操作。

使用上述方法，仅需要单次迭代(来回)来获得可行的第二全息图。已经在模拟和实验中证实，使用上述方法计算的二阶子全息图的FoV在使用单次迭代的角空间中可以低至0.05度。这允许快速和精确地控制用于串扰抑制的每个区域的期望宽度/FoV。这又倾向于允许精确调整不同区域的宽度，以适应具有不同IPD的用户。对于特定用户/IPD，在特定位置使用可定制的宽度/FoV意味着可以进一步定制特定第二全息图的区域宽度/FoV，以补偿头部倾斜、颈部旋转和眼球旋转。此外，对于特定用户/IPD，在特定位置使用可定制的宽度/FoV意味着可以定制特定第二全息图的区域宽度/FoV，以适应轴向头移动，即向前或向后移动头。

可以采用传感器来检测观察采用上述方法的全息显示设备的观察者的瞳孔大小和/或IPD。可以获得多个第二全息图，每个对应于图像902的相应部分904。每个第二全息图可以具有基于所感测的观察者的瞳孔大小和/或IPD的宽度/FoV。

图10A-10F分别描绘了图像902的相应部分。图10A-10D各自描绘了字母N的相应部分。图10E-10F各自描绘了字母E的相应部分。图10A-10D中描绘的每个部分可以使用获得图像的有限部分的第二全息图的方法(上面关于图9讨论的)来获得。

对应于第一全息图的复合光场从全息平面传播到图像平面。第一全息图可以是字母“ENVI”的图像902。对图像平面中的复合光场应用振幅约束。振幅约束可以基于图10A中描绘的字母N的部分。具体而言，振幅约束可以包括将不对应于图10A中描绘的字母N的部分的复合光场的振幅分量设置为零。然后，修改的复合光场从图像平面反向传播到全息平面，以获得第二全息图。

随后，可以再次修改图像平面中的复合光场，但具有基于图10B中描绘的字母N的部分的振幅约束。特别地，振幅约束可以包括将不对应于图10B中描绘的字母N的部分的复合光场的振幅分量设置为零。然后，该修改的复合光场从图像平面反向传播到全息平面，以获得另一个第二全息图。

类似地，图像平面中的复合光场可以再次被修改，但具有基于图10C中描绘的字母N的部分的振幅约束。特别地，振幅约束可以包括将不对应于图10C中描绘的字母N的部分的复合光场的振幅分量设置为零。然后，该修改的复合光场从图像平面反向传播到全息平面，以获得另一个第二全息图。

可以再次修改图像平面中的复合光场，但具有基于图10D中描绘的字母N的部分的振幅约束。特别地，振幅约束可以包括将不对应于图10D中描绘的字母N的部分的复合光场的振幅分量设置为零。然后，该修改的复合光场从图像平面反向传播到全息平面，以获得另一个第二全息图。

可以再次修改图像平面中的复合光场，但具有基于图10E中描绘的字母E的部分的振幅约束。具体而言，振幅约束可以包括将不对应于图10E中描绘的字母E的部分的复合光场的振幅分量设置为零。然后，该修改的复合光场从图像平面反向传播到全息平面，以获得另一个第二全息图。

可以再次修改图像平面中的复合光场，但是具有基于图10F中描绘的字母E的部分的振幅约束。具体而言，振幅约束可以包括将不对应于图10F中描绘的字母E的部分的复合光场的振幅分量设置为零。然后，该修改的复合光场从图像平面反向传播到全息平面，以获得另一个第二全息图。

以上述方式，可以创建多个第二全息图。每个第二全息图是图10A-10F中描绘的相应一个部分。

合成全息图可以由多个第二全息图形成。合成全息图可以通过简单地将由多个第二全息图表示的复合光场求和来形成。

第一示例—有效IPD/快门方案的变化

当全息显示器的观察者转动他们的头，从而改变平行于显示器的平面中的IPD时，观察者看到的图像将受到影响。观察者可能会体验到眼睛串扰(如早期的英国专利2112213.0中描述)—例如，因为有效IPD被改变，因此快门方案不再是最佳的。为了校正，可以根据快门区域的尺寸和位置的重新优化来改变(例如增加或减少)图像区域的宽度/FoV。在实施例中，提供一个或多个更新的一阶全息图。

图像区域可被重新配置(例如宽度和/或位置)以补偿IPD的变化。在一示例中，与一阶全息图相关的图像宽度/FoV被改变以与快门重新配置兼容。例如，系统可以确定应减小当前快门区域的宽度(因为有效IPD的变化)。响应于该确定，仅使用先前是(原始快门区域的)原始一阶全息图的一部分的(本公开的)一些二阶全息图来重新计算对应于减小的快门区域的新的一阶全息图。实际上，对应于FoV一侧(即末端)的至少一个二阶全息图从原始一阶全息图中省略。剩余的二阶全息图然后可以在全息平面中被求和(在复合光场中),以获得更新的(即新的)一阶全息图。读者将理解，同样，根据快门的重新优化，(先前与不同的图像/快门区域相关的)附加的二阶全息图可以与新的一阶全息图组合。

第二示例—图像变化较小时的有效更新

上述方法也有利于计算动态内容的全息图。动态内容是可能变化的内容，例如移动车辆的当前速度的显示。以上述方式获得的合成全息图可以通过仅改变对应于正在改变的图像部分的第二全息图来更新。例如，如果速度从80kph变为85kph，唯一需要的变化是将数字0变为数字5。为此，可以将文本“8Xkph”(其中X是黑色/空白区域)的第二全息图和数字“0”的另一个第二全息图求和。该合成全息图可以用来显示图像“80kph”。例如通过执行基于GS环的算法，获得数字“5”的新的第二全息图。文本“8Xkph”的第二全息图可与数字“5”的新的第二全息图求和，以获得可用于显示图像“85kph”的新的合成全息图。使用这种方法来计算动态变化的全息图节省了时间和计算能力，因为只有正在变化的图像部分的全息图被改变。根据本公开，可以从“85kph”的第一全息图快速确定“5”的第二全息图。

第三示例—有效的颜色变化

在受益于本公开的教导的另一示例中，使用第二全息图可以快速改变图像的一部分和/或至少一个图像元素(例如头灯图标)的颜色。在实施例中，通过以本领域技术人员熟悉的方式叠加红色、绿色和蓝色图像来提供彩色显示。使用相应的全息图来形成每个单色图像。例如，通过使红色全息图(即用于红色通道的全息图)无效，可以将图像元素的颜色从黄色变为绿色。这可以包括将红色全息图的所有全息图像素值设置为零(或者对应于黑色的调制值)。这有效地从图像元素中去除了红色分量，从而将元素的颜色从黄色变为绿色。

第四示例—图像变化较小时的有效更新—版本2

第四示例是另一示例，其中根据本公开的方法有益于计算动态内容的全息图。类似于第二示例，第四示例涉及将移动车辆的当前速度显示为动态内容(尽管这仅仅是示例性的，并且这里描述的方法可应用于图像的相对小部分动态变化的任何种类的动态内容)。与计算合成全息图的第二示例不同，第四示例包括改变全息图计算中使用的目标图片，以在相对较少的迭代中确定改变的(或修改的)目标图片的新全息图。

图11示出了根据第四示例的方法的流程图。

该方法的步骤1102包括提供第一图像1200的第一全息图。在一些示例中，使用如图8所示的方法计算第一全息图。在该示例中，第一图像1200如图12所示。在一些示例中，第一全息图是图12所示的整个第一图像1200的全息图。在其他示例中，第一全息图是第一图像1200的一部分的一阶全息图(类似于上文所述)。第一图像1200是包括用于车辆驾驶员的各种信息的虚拟显示面板的图像。这包括方向信息和车辆信息，例如燃料水平和车辆前照灯变暗的指示。第一图像1200还包括数字速度计1202，指示车辆当前以46kph的速度行驶。第一全息图使得当第一全息图被适当照明时，第一图像的全息重建可以从全息投影系统的眼盒中看到。例如，在增强现实布置中，第一图像1200的虚拟图像可以出现在离车辆驾驶员几米远的地方。

该方法的步骤1104包括将对应于第一图像1200的第一全息图的第一复合光场从全息平面传播到图像平面，其方式类似于关于先前示例所描述的方式。

该方法的步骤1106包括通过将对应于第一图像中要被改变的一个或多个区域的第一复合光场的振幅分量设置为零来修改图像平面中的第一复合光场的振幅。换句话说，该方法包括根据第二图像1300修改第一复合光场的振幅，其中所述一个或多个区域是空的/没有内容(相对于第一图像1200)。在该示例中，有一个所述区域1204，由图12和13中的虚线矩形表示。区域1204由第一图像1200中的数字速度计1202的“6”构成。图13示出了第二图像1300。特别地，图13示出了在区域1204之外，第二图像1300如何与第一图像1200相同。但是，在区域1204内部，第二图像1300是空的。特别地，在第二图像1300中的区域1204中没有“6”。因此，当根据第二图像(在图像平面)修改第一复合光场的振幅时，对应于区域1204的振幅被设置为零。

该方法的步骤1108包括将修改的第一复合光场从图像平面传播回全息平面，从而获得(第二图像1300的)第二全息图。因此，在步骤1108中，获得区域1204为空的图像的全息图。如果第二全息图(在步骤1108中获得)被全息重建，全息重建将包括对应于第二图像1300的区域1204的空白区域。

该方法的步骤1110包括将对应于第二全息图的第二复合光场从全息平面传播到图像平面，其方式类似于关于先前示例所描述的方式。

该方法的步骤1112包括通过基于对应于第三图像1400的目标设置复合光场的振幅分量来修改图像平面中第二全息图的第二复合光场的振幅。第三图像1400在图14中示出。第三图像1400基于第一图像1200。第三图像1400中的区域1204之外的内容与第一图像1200(以及第二图像1200)相同。第三图像1400中的区域1204内部的内容不同于第一图像1200中的相应内容。具体地，第三图像1400在区域1204中包括“7”，而不是“6”。换句话说，第三图像1400的数字速度计1202显示车辆正以47kph行驶，而不是46kph。因此，区域1204中的内容可被描述为已经从第一图像1200更新/修改或改变到第三图像1400。在步骤1112之后，对应于区域1204的复合光场的至少一些振幅分量将是非零的(不同于步骤1106)。

该方法的步骤1114包括将修改的第二复合光场从图像平面传播回全息平面，从而获得第三图像的第三全息图。

该方法的步骤1102至1114是用于确定动态图像的全息图的快速有效的手段，特别是在只有图像的相对小的部分是动态的(例如随时间变化)而图像的其余部分相对恒定的情况下。在该示例中，动态图像包括各种静态信息和动态数字速度计。如本文所用，信息是静态的意味着它没有从第一图像改变到第三图像。当然，随着时间的推移，信息可能会发生变化。例如，燃油油位指示器可能只会非常缓慢地变化。

发明人已经发现，在如上所述的单次迭代(在全息平面和图像平面之间来回传播)之后，第三全息图可以适于全息重建第三图像，并且重建可以包括所述一个或多个区域中的新的/改变的/修改的内容。然而，发明人已经发现，在一些示例中，用户/观察者可以区分改变的内容和未改变的内容。这如图15所示。在该示例中，改变的内容(即“7”)看起来比未改变的内容(例如“4”)更暗。

因此，在一些实施例中，该方法可选地还包括在获得第三全息图之后的一次或多次优化迭代。在本示例中，包括三次优化迭代，具体如下所述。

该方法的步骤1116包括将迭代次数i设置为1。

该方法的步骤1118包括接收输入全息图。当i＝1时(即在第一次迭代中)，输入全息图是在步骤1116中确定的第三全息图。当i>1时，输入全息图是在第(i-1)次迭代中在步骤1124获得的优化的第三全息图。

该方法的步骤1120包括将对应于输入全息图的复合光场从全息平面传播到图像平面。该方法的步骤1122包括通过基于对应于第三图像的目标设置复合光场的振幅分量来修改图像平面中复合光场的振幅。该方法的步骤1124包括将修改的复合光场从图像平面传播回全息平面，以获得优化的第三全息图。该方法的步骤1126包括增加迭代计数(即i＝i+1)。

当迭代计数达到预定数量(在该示例中，3次迭代)时，输出优化的第三全息图(在步骤1128中)。发明人已经发现，包含三次优化迭代显著地改善了(优化的)第三全息图，使得全息重建的第三全息图的未改变部分和改变部分之间的质量差异明显减少(使得优化的第三全息图的全息重建看起来像第三图像1400)。

读者将理解，本公开的教导可以用于任何场景，其中当(目标)图像只有一小部分改变时，例如从一帧到下一帧。也就是说,(目标)图像基本没有变化。因此，该系统可以包括识别(目标)图像的微小变化(例如仅影响(目标)图像的少量像素的变化，例如小于10％或小于5％)并且从整个(目标)图像的第一(阶)全息图确定多个第二(阶)全息图的子系统，其中每个第二(阶)全息图对应于(目标)图像的子区域。

Claims (20)

1.一种从图像的第一全息图确定该图像的一部分的第二全息图的方法，该方法包括：

提供图像的第一全息图；

将对应于第一全息图的复合光场从全息平面传播到图像平面；

通过将对应于图像该部分之外的图像区域的复合光场的振幅分量设置为零来修改图像平面中的复合光场的振幅；以及

将修改的复合光场从图像平面传播回全息平面，从而获得图像该部分的第二全息图。

2.根据权利要求1所述的方法，其中，

所述方法用于这样的系统：其包括布置成显示第一全息图的显示设备和布置成通过光瞳扩展器观察第一全息图的观察系统，该光瞳扩展器提供从显示设备到观察系统的多个光传播路径；并且

提供第一全息图包括识别从显示设备到观察系统的多个可能传播路径中的一个传播路径，并执行相位恢复算法的多次初级迭代，该相位恢复算法包括经由相应的传播路径在全息平面和图像平面之间来回变换，以便形成对应于图像的第一全息图。

3.根据权利要求2所述的方法，其中，权利要求1的步骤是所述相位恢复算法的第二次迭代，并且只执行一次。

4.根据权利要求2或3所述的方法，其中，所述相位恢复算法的多次初级迭代中的每次初级迭代包括：

第一阶段，包括确定观察系统的入射光瞳处的第一复合光场，其中第一复合光场由图像的光沿着所述光瞳扩展器的多个光传播路径中的一个光传播路径的传播以及根据所述观察系统的入射光瞳的裁剪而产生；

第二阶段，包括确定观察系统的传感器的传感器平面处的第二复合光场，其中第二复合光场由来自入射光瞳的第一复合光场的光通过观察系统的透镜的传播以及根据图像对振幅分量的修改而产生；

第三阶段，包括确定入射光瞳处的第三复合光场，其中第三复合光场由第二复合光场的光从传感器平面反向传播穿过透镜并根据入射光瞳进行裁剪而产生；

第四阶段，包括确定显示平面处的第四复合光场，其中第四复合光场由第三复合光场的光沿着光瞳扩展器的至少一个光传播的反向传播以及根据显示设备的裁剪而产生；以及

从第四复合光场中提取所述第一全息图。

5.根据权利要求4所述的方法，其中，在从最终迭代提取第一全息图的步骤之前，迭代地重复所述第一至第四阶段，并且对于第二次和随后的迭代，从显示设备传播的光包括前一次迭代的第四复合光场的相位分布。

6.根据任一前述权利要求所述的方法，其中，将对应于第一全息图的复合光场从全息平面传播到图像平面包括菲涅耳变换和/或傅立叶变换；和/或其中所述图像该部分具有比图像更小的视场。

7.根据任一前述权利要求所述的方法，其中，对图像的每个相应部分执行修改步骤和传播回全息平面步骤，以确定多个第二全息图，其中每个第二全息图属于图像的相应部分；可选地，其中多个第二全息图包括的第二全息图的视场不同于多个第二全息图中的另一个第二全息图的视场。

8.一种从图像的第一全息图形成图像的合成全息图的方法，该方法包括对第一全息图执行权利要求8或9所述的方法以获得多个第二全息图；以及

在全息域中对复合光场中的多个第二全息图求和，以获得合成全息图。

9.根据权利要求8所述的方法，进一步包括：

接收对图像的至少一部分的更新；

基于更新部分形成更新的第二全息图；

识别对应于更新部分的至少一个第二全息图；

用更新的第二全息图替换多个第二全息图中识别的第二全息图，以获得更新的多个第二全息图；以及

将更新的多个第二全息图求和，以获得更新的合成全息图。

10.根据权利要求1所述的方法，其中，所述图像是第一图像，并且第一图像的一部分对应于第二图像，并且其中，所述方法还包括从所述第二全息图确定基于第一图像的第三图像的第三全息图，其中第一图像的一个或多个区域中的内容已被改变，其中确定第三全息图包括：

将对应于第二全息图的第二复合光场从全息平面传播到图像平面；

通过基于第三图像设置第二复合光场的振幅分量来修改图像平面中的第二复合光场的振幅；以及

将修改的第二复合光场从图像平面传播回全息平面，从而获得第三图像的第三全息图。

11.一种全息引擎，包括：

处理器；

存储介质，其存储用于控制处理器以执行前述方法权利要求中任一项所述的方法的处理器可实现指令；

显示设备，其配置为显示至少第二全息图；以及

光瞳扩展器，其布置成使得第二全息图能通过光瞳扩展器观察。

12.一种控制光引擎中的光传播以形成从观察窗可见的图像的方法，其中光引擎包括显示设备和光瞳扩展器，该方法包括：

对图像的第一全息图执行权利要求1或其任何从属权利要求所述的方法，以确定合成全息图，其中合成全息图是所述图像的；

在显示设备上显示图像的合成全息图；

照射显示设备以根据合成全息图对光进行空间调制，其中合成全息图配置为根据图像内容的位置对图像的空间调制光进行角度分布，使得空间调制光的角度通道对应于图像的相应部分；

布置光瞳扩展器以接收空间调制光，并为空间调制光提供从显示设备到观察窗的相应多个不同光传播路径；以及

使用设置在光瞳扩展器和观察窗之间的控制设备来控制多个不同光传播路径的传播，其中控制设备包括至少一个孔径；

其中，控制多个不同光传播路径的传播的步骤包括配置控制设备，使得观察窗内的第一观察位置接收由复合全息图根据图像的一部分进行空间调制的第一通道光，观察窗内的第二观察位置接收由复合全息图根据图像的另一部分进行空间调制的第二通道光。

13.根据权利要求12所述的方法，还包括确定所述至少一个孔径的宽度；

其中，用于形成合成全息图的第二全息图之一具有对应于至少一个孔径的宽度的视场。

14.根据权利要求12或13所述的方法，其中，配置所述控制设备的步骤包括允许光透过控制设备的第一部分，并且阻止光透过控制设备的不同的第二部分。

15.根据权利要求12至14中任一项所述的方法，其中，光瞳扩展器包括多个透射点，并且其中，多个不同光传播路径中的每个从不同的相应透射点透射。

16.根据权利要求15所述的方法，进一步包括：

i.识别第一透射点，在没有控制设备的情况下，第一角度通道的光将从该第一透射点传播到第一观察位置；

ii.识别不同的第二透射点，在没有控制设备的情况下，第一角度通道的光将从该第二透射点传播到第二观察位置；以及

iii.将控制设备配置成在选定时间(t)阻挡第一角度通道到第一观察位置的光路或者第一角度通道到第二观察位置的光路。

17.根据权利要求16所述的方法，其中，步骤(iii)包括在选定的时间段内，交替地阻挡第一角度通道到第一观察位置的光路和阻挡第一角度通道到第二观察位置的光路。

18.一种光引擎，其布置成形成从观察窗可见的图像，其中光引擎包括：

处理器；

存储介质，其存储处理器可实现的指令，用于控制处理器执行权利要求10或其任何从属权利要求所述的方法，以获得图像的合成全息图；

显示设备，其布置成显示图像的合成全息图并根据合成全息图对光进行空间调制，其中合成全息图配置成根据图像内容的位置对空间调制光进行角度分布，使得空间调制光的角度通道对应于图像的相应部分；

光瞳扩展器，其布置成接收空间调制光，并为空间调制光提供从显示设备到观察窗的多个不同光传播路径；以及

控制设备，其设置在光瞳扩展器和观察窗之间，其中，控制设备包括至少一个孔径，所述至少一个孔径布置成使得观察窗内的第一观察位置接收由复合全息图根据图像的一部分进行空间调制的第一通道光，并且观察窗内的第二观察位置接收由复合全息图根据图像的另一部分进行空间调制的第二通道光。

19.根据权利要求18所述的光引擎，其中：

所述控制设备还配置成确定所述至少一个孔径的宽度；

其中，用于形成所述合成全息图的第二全息图之一具有对应于至少一个孔径的宽度的视场。

20.一种从第一图像的第一全息图确定图像的第三全息图的方法，其中该图像的一个或多个部分相对于第一图像已被改变，该方法包括：

提供第一图像的第一全息图；

将对应于第一全息图的第一复合光场从全息平面传播到图像平面；

通过将第一复合光场的对应于第一图像的将被改变的一个或多个区域的振幅分量设置为零来修改图像平面中的第一复合光场的振幅；

将修改的第一复合光场从图像平面传播回全息平面，从而获得第二全息图；

将对应于第二全息图的第二复合光场从全息平面传播到图像平面；

通过基于对应于第三图像的目标设置复合光场的振幅分量来修改图像平面中的第二全息图的第二复合光场的振幅，第三图像基于第一图像，其中第一图像的一个或多个区域中的内容在第三图像中已被改变；以及

将修改的第二复合光场从图像平面传播回全息平面，从而获得第三图像的第三全息图。