CN113009802A - 全息图像对准 - Google Patents

Abstract

全息投影的方法。该方法包括使用第一和第二彩色全息通道投影至少一个校准图像。每个校准图像包括至少一个光斑。该方法包括对每个校准图像执行以下步骤。第一步骤包括通过在第一空间光调制器上显示第一全息图并用第一颜色的光照射第一空间光调制器，而使用第一颜色全息通道将校准图像投影到回放平面上。第二步骤包括通过在第二空间光调制器上显示第二全息图并用第二颜色的光照射第二空间光调制器，而使用第二颜色全息通道将校准图像投影到回放平面上。第三步骤包括确定在由第一和第二彩色全息通道形成的光斑之间的位移矢量。第四步骤包括根据多个确定的位移矢量，预处理图像，用于使用第二彩色全息通道进行投影。

Description

全息图像对准

技术领域

本公开涉及全息投影仪。更具体地，本公开涉及彩色全息投影仪和全息投影多个单色图像的方法。一些实施例涉及在全息图计算之前对图像进行预处理(例如失真)的方法。一些实施例涉及使用独立的单色全息通道对准分别通过全息投影形成的多个单色图像的方法。一些实施例涉及平视显示器和对准由平视显示器形成的多个单色虚像的方法。

背景技术

从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或回放图像。

计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。例如，还可以通过相干射线追踪或点云技术来计算计算机生成的全息图。

可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。

空间光调制器通常包括多个单独可寻址像素，其也可以称为单元或元素。光调制方案可以是二元、多级或连续的。可替代地，设备可以是连续的(即不包括像素)，因此光调制可以在整个设备上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性的，这意味着调制光以透射输出。

可以使用本文描述的系统来提供全息投影仪。例如，这种投影仪已经应用于平视显示器“HUD”和头戴式显示器“HMD”，其包括近眼设备。

可以通过组合多个单色全息投影通道来形成彩色全息投影仪。每个投影通道可以包括布置成显示全息图的空间光调制器和单色光源。可以由不同的相应单色光源发出的不同的相应颜色的光将具有不同的相应波长。每个全息图可以由来自相应光源的光照射。根据全息图对光进行空间调制。经空间调制光可以在回放平面上形成图像。回放平面与空间光调制器在空间上分离，该过程称为全息投影。该图像是所需光图案的全息重建。例如，全息图可以是傅立叶全息图或菲涅耳全息图。值得注意的是，每个单色图像由独立的光通道形成。然而，这会带来复杂的对准问题，这是由多种因素引起的，例如与波长有关的失真、非线性色彩分离、与波长有关的旋转和图像键滞现象，特别是如果全息投影仪是包括至少一个高倍率自由曲面镜的平视显示器的图片生成单元。通过全息投影形成的每个单色图像可以包括多个图像点或像素。一种颜色的图像像素与另一种颜色的相应图像像素之间的未对准会大大降低感知的图像质量。本公开描述了解决对准问题的方法。

发明内容

本公开的各方面在所附的独立权利要求中定义。

在本公开的第一方面，存在一种对准第一(例如绿色)全息重建和第二(例如红色或蓝色)全息重建的方法。该方法的第一步骤包括使用第一全息投影通道在显示平面上形成多个离散光特征(例如光斑)的第一全息重建，其中第一全息投影通道包括布置成显示全息图(例如傅立叶或菲涅耳全息图)的第一空间光调制器(例如相位调制器，比如硅上液晶空间光调制器)。第一空间光调制器可以布置用于由第一波长的光(例如绿光)照射。该方法的第二步骤包括使用第二全息投影通道在显示平面上形成多个离散光特征的第二全息重建，其中第二全息投影通道包括布置为显示与至少一个光栅函数组合(例如叠加)的全息图的第二空间光调制器。第一空间光调制器可以布置用于由第二不同波长的光(例如红光或蓝光)照射。每个光栅函数都有各自的位移方向。每个光栅函数都是线性或1D光栅函数。本领域技术人员将熟悉提供光在一个方向上的位移的线性光栅的想法。显示平面与第一和第二空间光调制器在空间上分开。将第一和第二全息重建投影到显示平面上。该方法的第三步骤包括捕获显示平面的图像。该方法的第四步骤包括，对于每个离散光特征，分别确定在相应的位移方向上对准离散光特征的第一全息重建与相应离散光特征的第二全息重建所需的每个光栅函数的光栅角。这是为了针对每个位移方向在显示平面上的各个多个不同位置处获得多个光栅角。该方法可以包括第五步骤，该第五步骤计算与每个确定的光栅角的距离(即在显示平面上的线性位移的大小)，以在显示平面上的多个不同位置的每个位置处的每个位移方向上形成位移值。该方法可以包括第六插值步骤，以形成在每个位移方向上第二全息投影通道的整个/总回放场区域的位移图。在计算用于形成目标图像的全息重建的全息图之前，该方法可以用于改变/处理(例如失真)目标图像。

每个全息投影通道的多个离散光特征可以仅使用一个全息图或连续显示的多个不同全息图来形成。

该方法可以进一步包括使用光学组合器在显示平面上形成第一全息重建和第二全息重建的虚像，可选地，其中光学组合器是车辆的挡风玻璃。

根据另一方面，提供了一种显示系统，包括第一全息投影通道，包括布置为显示全息图的第一空间光调制器和布置为由第一波长的光照射第一空间光调制器的光源；第二全息投影通道，包括第二空间光调制器，其布置为显示与至少一个光栅函数组合的全息图，其中每个光栅函数具有各自的位移方向；以及光源，其布置为通过第二波长的光照射第二空间光调制器。显示系统还包括图像捕获装置和处理器。显示系统配置为通过以下方式对准第一全息重建和第二全息重建：使用第一全息投影通道在显示平面上形成多个离散光特征的第一全息重建；使用第二全息投影通道在显示平面上形成多个离散光特征的第二全息重建；捕获显示平面的图像；以及对于每个离散光特征，确定在相应的位移方向上对准离散光特征的第一全息重建与相应离散光特征的第二全息重建所需的每个光栅函数的光栅角，以对于每个位移方向获得在显示平面上的相应多个不同位置处的多个光栅角。

每个离散光特征可以包括单个图像像素，其中，单个图像像素通常是全息重建内的最小特征，其可以由全息投影通道进行全息重建并在回放场中单独形成。每一离散光特征可包含多于一个此类图像像素。每个离散光特征可以包括全息重建内的区域或区。每个这样的区域或区可以具有预定的形状和大小。例如，每个离散光特征可以包括圆形、卵形或椭圆形，它们中的每一个可以包含一个或多于一个的图像像素(或在尺寸上可与之相当)。当每个离散光特征包括尺寸大于单个图像像素的图像区域时，在全息重建内，一个或多个这样的图像区域可以与一个以上图像像素相交。当每个离散光特征包括尺寸大于单个图像像素的图像区域时，图像区域可以包括一个或多个图像像素的一部分或全部。

在一示例中，第一方面的方法包括：

(a)在第一空间光调制器上显示第一衍射图案，并用第一颜色的光照射该第一衍射图案以形成校准图像的第一彩色全息投影，其中第一衍射图案包括校准图像的全息图，校准图像包括至少一个光特征；

(b)在第二空间光调制器上显示第二衍射图案，并用第二颜色的光照射第二衍射图案以形成校准图像的第二彩色全息投影，其中第二衍射图案包括校准图像的全息图和具有位移方向的第二光栅函数；

(c)确定在位移方向上将校准图像的所述/每个光特征的第一彩色全息重建与所述/每个对应的光特征的第二彩色全息重建对准所需的第二光栅函数的光栅角(或多个光栅角)；以及可选地，

(d)确定在位移方向上对应于每个光栅角的所需位移。所需位移可以包括“像素校正”，其中，所需位移以第二空间光调制器在位移方向上的像素数表示。

该方法可以进一步包括重复步骤(c)和(d)，以确定在全息回放平面上的相应多个点处的多个离散光特征在位移方向上的所需位移。

校准图像可以在全息回放平面上的多个点中的每个处包括光特征。可替代地，全息回放平面上的多个点中的每个可以对应于图像区域，其中每个可以包含一个或多个光特征和/或一个或多个光特征的相应部分。可替代地，可以全息投影多个不同的校准图像，以便为全息回放平面上的对应多个点提供多个所需的位移。

在另一示例中，提供了一种全息投影的方法。该方法包括使用第一彩色全息通道和第二彩色全息通道投影至少一个校准图像。每个校准图像包括至少一个光斑。该方法包括对每个校准图像执行以下步骤，以确定在回放平面上的相应多个不同位置处的多个位移矢量。第一步骤包括通过在第一空间光调制器上显示第一全息图并用具有第一波长的第一颜色的光照射第一空间光调制器，使用第一颜色全息通道将校准图像投影到回放平面上。第二步骤包括通过在第二空间光调制器上显示第二全息图并用具有第二不同波长的第二颜色的光照射第二空间光调制器，使用第二颜色全息通道将校准图像投影到回放平面上。可以说第一全息图和第二全息图分别对应于校准图像。然而，第一全息图和第二全息图可以彼此不同，因为它们被计算用于使用不同波长的光进行重建。本文公开的每个全息图是波长或颜色特定的。第三步骤包括确定在由第一彩色全息通道形成的光斑与由第二彩色全息通道形成的光斑之间的位移矢量。第四步骤包括根据多个确定的位移矢量，预处理图像，以使用第二彩色全息通道进行投影。

鉴于以下，可以更好地理解由第一方面提供的技术进步。使用多个独立的单色光通道的彩色图像形成的问题是可能发生复杂的未对准。更具体地，多个单色图像可能在回放平面上未对准。未对准可能是不均匀的或非线性的，并且可能是由于每个单色图像经历不同的图像平移、旋转和放大而导致的。人眼对未对准敏感，并且即使单色图像的图像像素之间的相对较小的未对准，也可以显著降低感知的图像质量。在使用多个独立的单色全息通道的全息系统中，该问题特别明显，每个通道包括其自己的显示装置(即空间光调制器)和光源(例如激光二极管)。在包括设计用于执行复杂的光学处理并满足严格的光学和物理约束的光学回放系统的平视显示器中，该问题更加明显。发明人已经认识到，在全息投影仪中，可以通过在计算相应的全息图之前对图像进行预处理来实现回放平面的空间变化的子像素操纵。该方法包括用成像装置(例如相机)观察图像平面，并分别在回放平面上的多个位置处评估两个全息回放场的相应光特征的对准。该方法包括使用两个光通道将光斑投射到回放平面上的多个位置，并确定在回放平面上的多个位置中的每个位置处由第一光通道形成的第一颜色的光斑和由第二光通道形成的第二颜色的光斑之间的位移矢量。随后，在确定或计算与图像相对应的全息图之前，可以使用多个位移矢量来处理(例如失真)至少一个图像以进行投影。例如，用于投影的图像的像素可以根据全息图计算之前的位移矢量来位移。

本文公开了一种方法，其中使用多个校准图像来评估(或采样)回放平面上的单个点或位置。在一些实施例中，包括至少一个光斑的相同校准图像用于计算第一颜色(例如绿色)的第一全息图和第二颜色(例如红色)的第二全息图。当使用相应的全息通道显示每个全息图并通过相干光照射对其进行重建时，每个单色通道应产生相同的图像(即绿色光斑应与由红色全息图形成的红色光斑重合)。然而，实际上，即使已处理相同的图像，系统范围的未对准也会导致各个单色回放场不同。发明人已经认识到，可以通过所公开的方法来校正这种系统范围的未对准，其中全息投影包括至少一个单个光斑的校准图像，并且确定相应光斑之间的位移矢量以根据回放平面上的位置提供位移误差的度量。所确定的位移矢量随后可以用于提供由一个或多个图像的不同颜色通道提供的各个全息重建的对准。

投影校准图像的每个步骤包括计算诸如傅立叶全息图或菲涅耳全息图的全息图。每个全息图都显示在空间光调制器上，并用相干光照射。在回放平面上形成全息重建(即单色图像)。光被显示在空间光调制器(SLM)上的衍射全息图图案的特征所衍射。衍射光在回放平面处干涉以重建所需的图像。在本文所述的一些实施例中，在多个空间光调制器(SLM)的每个空间光调制器上显示相位调制图案，并且在相应SLM的至少一个上的相位调制图案包括全息图和至少一个其他函数，比如光束转向函数，例如光栅函数(在本文中也称为相位斜坡)。在实施例中，空间光调制器是反射性的，在这种情况下，光栅函数可以是对应于闪耀光栅的函数。

确定每个位移矢量可以包括确定在第一方向(例如x方向)上的第一位移和在第二方向(y方向)上的第二位移。第二方向垂直于第一方向。

在实施例中，独立地或分别地确定多个或成阵列位移矢量的每个位移矢量的两个正交分量。回放场可以包含在x-y平面上，距每个空间光调制器的距离为z。在实施例中，距离z是波长的函数。例如在第一步骤中，确定在x方向上的位移，并且在第一步骤之后的第二步骤中，确定在y方向上的位移。

该方法可以进一步包括在第一方向上向第二全息图添加光栅函数(在本文中也称为相位斜坡)。该方法可以进一步包括确定在第一方向上将由第二彩色全息通道形成的光斑与由第一彩色全息通道形成的对应光斑对准所需的光栅函数的光栅角(或相位斜坡的梯度)，以便确定在第一方向(例如x方向)上的第一位移。可以针对回放场上的多个光斑中的每个，或者针对多个图像像素或图像区域中的每个，可以这样做。

相位斜坡(或光栅函数)在全息回放平面上沿第一方向将回放场移位预定量。可以计算相位斜坡(或光栅函数)以提供高精度的位移范围。相位斜坡的梯度类似于光栅函数的光栅角。由相位斜坡提供的位移是在第一方向上的线性位移。第一方向可以是x方向。相位斜坡可以通过加法与全息图组合。在实施例中，在诸如硅上液晶的空间光调制器之类的相位调制装置上显示相位延迟分布，并且通过包裹(wrapped)(模(modulo)2π)相位加法将相位斜坡加到全息图上。该方法可以包括实时修改相位斜坡，并且在修改相位斜坡时观察光斑的位置，更具体地说，观察光斑位置的变化。相位斜坡的特征在于斜坡的斜率，即斜坡上的相位延迟的变化率。因此，该方法可以包括实时改变斜坡的梯度并观察光斑的位置。当两个对应的光斑重合时，该方法可以停止。在这些条件下，可以通过使用本领域技术人员能力范围内的基本几何形状的简单校准，将相位斜坡的梯度与回放平面上的位移矢量相关联。根据观察，导致两个相应的光斑重合的梯度和/或相关的位移矢量此后可以在预处理步骤中使用，以针对第一和第二颜色通道，对准其他图像(可能称为“输入图像”或“目标图像”)的不同颜色全息重建。因此，根据第一方面的方法可以被认为是校准方法或预处理方法或形成校准方法或预处理方法的一部分。

同样，该方法可以包括在第二方向上向第二全息图添加相位斜坡。该方法可以进一步包括确定将第二颜色全息通道形成的光斑与第一颜色全息通道形成的相应光斑在第二方向上对准所需的相位斜坡的梯度，以便确定在第二方向(例如y方向)上的第二位移。对于回放场上的多个光斑中的每个，或者对于多个图像像素或图像区域中的每个，也可以这样做。

可以将两个垂直相位斜坡单独添加到全息图，并分别进行修改以在两个正交方向上微调回放场在回放平面上的位置。

该方法可以进一步包括将光栅角转换成SLM的距离或像素数量。该方法可以进一步包括内插以提供回放平面的第一位移图。该方法还可以包括计算与多个第二位移的表面拟合以提供回放平面的第二位移图。

可以在回放平面上的多个位置处测量第一位移。在各个位置中的每个位置处的每个第一位移是具有指示位移方向的符号(或极性)的矢量。第一位移矢量的阵列(或分布)可以被绘制为x-y平面上的z值。因此，最佳拟合可以是在x-y平面上对z值进行表面拟合。第一位移是在第一方向上的矢量，并且每个指示在回放平面上的点处在第一和第二单色图像之间在第一方向上的未对准程度。同样，可以在回放平面上的多个位置处测量第二位移。在相应位置的每个处的每个第二位移是具有指示位移方向的符号的矢量。第二位移矢量的阵列也可以被绘制为x-y平面上的z值。该表面可能是最佳表面拟合。第二位移是第二方向上的矢量，并且每个指示在回放平面上的点处在第一和第二单色图像之间在第二方向上的未对准程度。表面拟合的计算可以包括内插(以及可选地外推)，以便即使仅分析了回放场上的点的子集，也可以校正回放场上的所有点。

确定每个位移矢量可以包括修改第二全息图，以便重新定位由第二彩色全息通道形成的光斑，使其与由第一彩色全息通道形成的光斑重合，并根据所需的修改来确定每个位移矢量。

在替代实施例中，不将可变光栅函数添加到全息图以提供回放场的可观察到的线性位移。在替代实施例中，全息图本身被重新计算以便在重建时在位移位置处形成图像点。这可以通过修改用于计算全息图的输入图像来实现。全息图可以被重新计算多次(即图像可以被多次修改并且每次都计算对应的全息图)，直到对应的图像点在回放平面上重合。本领域技术人员将能够将对输入图像进行的更改与回放平面上的位移矢量相关联。同样，该替代过程可以在两个正交方向上独立进行。

使用第二颜色全息通道对用于投影的图像进行预处理的步骤可以包括：接收用于投影的图像，其中，图像包括第一颜色分量和第二颜色分量。该方法可以包括使用(即根据)第一位移图在第一方向上校正(或修改或校准)第二颜色分量。该方法可以包括使用(即根据)第二位移图在第二方向上校正(或修改或校准)第二颜色分量。

因此，提供了一种对准多个单色通道的方法，其中每个单色通道全息地投射单色图像。接收用于投影的彩色图像可以是RGB(红色、绿色和蓝色)图像。该方法可包括独立地投影红色、绿色和蓝色图像。每个单色图像可以从对应的全息图重建。因此，该方法可以包括计算多个全息图。第一位移图可用于在第一方向上将第二彩色图像与第一彩色图像对准。第二位移图可用于在第二方向上将第二彩色图像与第一彩色图像对准。技术人员将理解如何使用位移图来将第二彩色图像与第一彩色图像对准。例如，用于第二颜色的期望图像可以在被输入到全息图计算引擎中之前被预处理(诸如预失真或预翘曲)。例如，这可以包括将所需图像添加到位移图或位移图的镜像的反版本或反图像。根据第一和第二位移图，在全息图计算之前修改第二颜色的图像。

光栅函数(或线性相位斜坡)提供的线性位移可以非常精确地控制。使用本文公开的全息投影仪的方法可以容易地实现亚像素位移(例如1/10的像素尺寸)。可以以几十微米的精度计算线性位移。因此，可以非常精确地评估第一颜色的图像斑点的位移。在添加特征明确的相位斜坡之后，光斑的位置出现误差表明相应的全息投影通道引入了误差。在一些实施例中，该误差是由平视显示器的光中继系统引起的。根据一实施例，可以导出或以其他方式提供误差图(或分别在第一和第二方向上的第一和第二误差图)，以针对第一颜色解决并校正全息重建的光斑中的任何此类误差。根据第一和第二误差图对第一颜色的期望图像(或输入图像或目标图像)进行预处理，然后根据第一和第二位移图对第二颜色的期望图像进行预处理，以使其与校正的第一颜色分量对准。可以考虑基于关于期望位置的测量来对准第一颜色分量，然后将第二颜色分量与第一颜色分量对准。

因此，该方法改善了第一彩色图像和第二彩色图像的对准。将理解的是，本文公开的方法可以扩展为将任何多个单一颜色通道与第一颜色通道对准。一个颜色通道可以是绿色，另一颜色通道可以是红色，而另一颜色通道可以是蓝色。

根据一方面，提供了一种显示第一全息重建和第二全息重建的方法，该方法包括：接收用于投影的图像，其中该图像包括第一颜色分量和第二颜色分量，获得位移图，包括多个位移值，用于在回放平面上将第二全息重建与第一全息重建对准，并根据位移图对图像的第二颜色分量进行预处理。该方法进一步包括计算第一颜色分量的全息图和预处理的第二颜色分量的全息图，通过在第一空间光调制器上显示第一颜色分量的全息图并用第一颜色的光照射来在回放平面上形成第一颜色图像，并通过在第二空间光调制器上显示预处理的第二颜色分量的全息图并用第二颜色的光照射来在回放平面上形成第二颜色图像。

位移图可以包括与可以彼此正交的第一和第二相应方向上的位移有关的第一和第二位移图。

获得位移图的步骤可以包括计算位移图内包括的一个或多个位移和/或它可以包括接收位移图内包括的一个或多个位移。

该方法还可以包括在计算表示第一颜色分量的全息图之前，根据第一和第二误差图预处理第一颜色分量。因此，第一颜色分量的全息图可以包括图像的第一颜色分量的预处理版本的全息图。误差图可以包括与可以彼此正交的第一和第二相应方向上的误差(或与校正)有关的第一和第二误差图。

提供一种方法，包括：接收用于投影的图像，其中，所述图像包括第一颜色分量和第二颜色分量；根据第一和第二误差图预处理第一颜色分量，并根据第一和第二位移图预处理第二颜色分量；计算预处理的第一颜色分量的全息图和预处理的第二颜色分量的全息图；通过在第一空间光调制器上显示经过预处理的第一颜色分量的全息图并用第一颜色的光照射来在回放平面上形成第一颜色图像；以及通过在第二空间光调制器上显示预处理的第二颜色分量的全息图并用第二颜色的光照射来在回放平面上形成第二颜色图像。

还提供了一种全息投影的方法，该方法包括：在空间光调制器上显示第一衍射图案，其中，第一衍射图案包括与包括图像斑点的图像相对应的全息图；以及照射空间光调制器以便在回放平面上形成图像的全息重建；检测图像斑点在回放平面上与第一衍射图案相对应的第一位置；在第一衍射图案上增加相位斜坡，以形成第二衍射图案，其中，该相位斜坡提供了图像在回放平面上的线性位移；在空间光调制器上显示第二衍射图案；照射空间光调制器以便在回放平面上形成图像的第二全息重建；检测图像斑点在回放平面上与第二衍射图案对应的第二位置；计算图像斑点位置的变化。可以重复该方法，每次将不同的相位斜坡添加到第一衍射图案，直到在回放平面上得到的图像位移达到目标或阈值。例如，可以重复它，直到它导致回放平面上的图像与回放平面上的目标位置重合或相距预定距离。

本文公开了一种校准图像，其包括单个/离散的光斑或光区域的阵列。为绿光计算校准图像的第一全息图。为蓝光计算校准图像的第二全息图。为红光计算校准图像的第三张全息图。使用第一全息图形成第一全息图重建。使用第二全息图形成第二全息重建。使用第三全息图形成第三全息图重建。第一、第二和第三全息重建在显示表面上基本重合，但是可能存在一些未对准。在一些示例中，使用光学中继系统(可选地包括车辆挡风玻璃)来形成三个全息重建的放大的虚像。光学中继系统会引入与波长有关的失真。本公开描述了一种方法，该方法通过单独地重新放置三个单色图像的像素来提供端对端对准校正。该方法是可行的，因为“图像像素”是通过(全息)投影形成的光斑。相反，在常规显示器中是不可能的，例如TFT显示面板，因为传统显示器中的图像像素不能单独地重新定位，这是因为图像像素是显示面板的物理液晶单元。术语“端对端对准校正”用于反映本文所公开的方法可用于补偿由色度引起的整个系统中的所有未对准，包括由中继光学器件或光学组合器(例如挡风玻璃)引入的那些未对准。本公开的特征在于在回放平面上图像像素或图像区域的单独重新定位，以一种或多种不同的颜色对图像进行全息重建。本公开的特征还在于使用两个正交位移图，其是使用与目标图像的全息图结合的软件光栅函数来确定的。

术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建是真实图像并且与全息图在空间上分离。术语“回放场”用于指代在其内形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上，则回放场将以多个衍射级的形式重复，其中每个衍射级是零级回放场的副本。零级回放场通常对应于优选或主要回放场，因为它是最亮的回放场。除非另有明确说明，否则术语“回放场”应被认为是指零级回放场。术语“回放平面”用于指代包含所有回放场的空间中的平面。术语“图像”、“回放图像”和“图像区域”指的是通过全息重建的光照射的回放场的区域。在一些实施例中，“图像”可包括离散光斑，其可被称为“图像光斑”，或仅出于方便起见，被称为“图像像素”。

术语“编码”、“写入”或“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”全息图，并且全息图可被认为是光调制值或水平的阵列。

已经发现，可以从仅包含与原始物体的傅立叶变换有关的相位信息的“全息图”形成可接受质量的全息重建。这样的全息记录可被称为仅相位全息图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息图。

本公开也同样适用于使用与原始物体的傅立叶变换有关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。

可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。

因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在回放平面上平移回放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的回放平面上。

在整个本公开中参照“光栅函数”，其是仅通过示例的方式提供回放场的线性平移的函数。也就是，光调制值的阵列，当将其添加到全息图时，将回放场线性移动定义的幅度和方向。位移可以以像素、毫米或度为单位来测量。相位斜坡也可以称为相位楔。相位斜坡的相位值可以被包裹(例如模2π)。包裹的相位斜坡可被认为是相位光栅。然而，本公开不限于仅相位调制，并且术语“光栅函数”、“软件光栅”和“闪耀光栅”可以用作诸如包裹的调制斜坡之类的光束转向函数的示例。相位斜坡可以通过其相位梯度来表征。术语“光栅函数”在本公开中是优选的，因为相关的光栅角是所公开的方法的关键成分。根据本公开，第一相位斜坡可以用于在第一方向上移动回放场，并且第一相位斜坡的相位梯度是第二方向上的相位值的变化率，其中第二方向垂直于第一方向。

根据本公开，单色图像被全息地投影到回放平面上。该过程需要确定，例如计算与用于投影的每个图像相对应的全息图。本公开涉及其中在计算全息图之前处理或修改图像的方法。术语“预处理”可用于反映该处理或修改步骤在计算全息图之前发生。术语“预失真”和“预翘曲”可以用作预处理的示例。预处理可以包括使用简单的加、减、乘或除来处理图像。

术语“光特征”在本文中用于指由相应的光通道照射的回放场的区域。与回放场的大小相比，“光特征”定义的照射区域是相对较小的区域。光特征可以具有任何形状，例如圆形、椭圆形、方形或矩形。与回放平面的其他区域相比，光特征是亮度相对较高的区域。光特征可以具有规则或不规则、对称或不对称的形状或亮度。通过全息投影形成的图像可以由多个图像点或像素形成。根据本公开的每个“光特征”可以包括回放场的一个或多个像素。在一些实施例中，光特征是一个图像像素，其中图像像素是可以由显示系统形成的最小像素。可替代地，它可以指包含一个或多个图像像素的图像区域或图像区。图像区域可以包括多个图像像素，例如5至10个图像像素，或例如20至40个图像像素。每个图像区域可以具有特定的形状，例如圆形、椭圆形或卵形。图像区域可以不限于包括整个图像像素，而是可以与一个或多个图像像素相交(即可以仅与其中的一部分或子部分重叠)。

本公开描述了包括观察显示平面上的光斑的方法。显示平面可以包括布置为直接从每个空间光调制器接收空间调制光的屏幕。该平面可被视为主全息回放平面，因为它是在其上重建单色图像的平面，即空间调制光会干涉以形成图像的平面。然而，主回放平面可以是多个平面中的一个，在该平面上可以看到每个单色图像。特别地，本公开扩展到观察和调整在副显示平面上观察到的光斑的位置。副显示平面可以是主显示平面的图像。可以使用光学器件在副显示平面上形成每个单色回放场的图像。副显示平面可以是虚像显示平面。具体地，本文所指的显示平面可以是平视显示器的虚像平面。平视显示器可以包括光学回放系统，其布置成对在主显示平面上形成的校准图像成像。可以通过观察在副显示平面上的图像点来进行本文公开的方法，该副显示平面是主显示(例如回放)平面的虚像。因此，本文公开的方法可用于进一步校正由平视显示器的光学回放系统和/或挡风玻璃引入的未对准问题。

本文参考了使用以光栅角为特征的光栅函数平移光特征以使其与其他光特征对准。光栅函数与全息图组合(即相加)以形成显示在空间光调制器上的衍射图案。应当理解，衍射图案的光栅分量移动了由衍射图案的全息图分量形成的整个全息回放场。因此，提及平移光特征意味着平移包括光特征的整个全息回放场，直到根据需要定位光特征。根据本公开，通过移动全息回放场，多个光特征中的每个光特征被一一对准。即，在对准过程中，每个光特征的位置都在监视中，而与多个光特征中的其他光特征无关。

尽管可以在随后的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中公开的特征的所有可能的组合和置换。

附图说明

仅参考以下附图以示例的方式描述特定实施例：

图1是示出在屏幕上产生全息重建的反射型SLM的示意图；

图2A示出了示例Gerchberg-Saxton类型算法的第一迭代；

图2B示出了示例Gerchberg-Saxton类型算法的第二及后续迭代；

图2C示出了示例Gerchberg-Saxton类型算法的替代第二及后续迭代；

图3是反射型LCOS SLM的示意图；

图4示出了根据本发明的多个独立的单色全息通道；

图5A示出了第一颜色的光斑的示例阵列；

图5B示出了光斑阵列的第一彩色全息重建和光斑阵列的第二彩色全息重建；

图6A示出了第一颜色光特征和相应第二颜色光特征之间的示例未对准；

图6B示出了如何使用x方向光栅来改变第二颜色光斑的位置；

图6C示出了如何使用y方向光栅来改变第二颜色光斑的位置；

图7A示出了回放平面上的位移矢量的阵列；

图7B示出了通过对位移矢量进行内插而形成的表面；

图8A示出了目标图像的像素；

图8B示出了使用表面进行修改之后的目标图像的像素的位置；

图8C示出了对位移的像素进行采样以形成失真的图像的方法；

图8D和8E示出了交错技术；

图9示出了形成适合于执行本文公开的方法的虚拟回放平面的平视显示器；

图10示出了根据一些平视显示示例的示例回放平面；以及

图11是示出根据实施例的全息投影系统的一个单色通道的示意图。

在整个附图中将使用相同的附图标记指代相同或相似的部件。

具体实施方式

本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以以不同的形式实施，并且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。

被描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况以及在其之间设置有第三结构的情况。

在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有规定。例如，描述应被认为包括除非使用诸如“仅”、“紧邻”或“直接”之类的措词否则不连续的情况。

尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。

不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。一些实施例可以彼此独立地执行，或者可以以相互依存的关系一起执行。

光学配置

图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅上液晶“LCOS”器件。全息图在空间光调制器上编码，并且在回放场例如光接收表面比如屏幕或漫射器处形成全息重建。

设置光源110，例如激光或激光二极管，以经由准直透镜111照射SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中，波前的方向是偏离法线的(例如，与真正垂直于透明层的平面相距两或三度)。然而，在其他实施例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入和输出光路。在图1所示的实施例中，该布置使得来自光源的光从SLM的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，其焦点位于屏幕125上。更具体地，傅立叶变换透镜120接收来自SLM140的调制光束，并执行频率-空间变换以在屏幕125上产生全息重建。

值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。回放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个回放场上。

在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且傅立叶变换是光学进行的。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。

全息计算

在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将回放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。

可以使用算法比如Gerchberg-Saxton算法来计算傅立叶变换全息图。此外，Gerchberg-Saxton算法可用于根据空间域(比如照片)中的仅振幅信息来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的仅振幅信息中有效地“获得”与物体有关的相位信息。在一些实施例中，使用Gerchberg-Saxton算法或其变型从仅振幅信息计算计算机生成的全息图。

Gerchberg-Saxton算法考虑了当已知分别在平面A和B中的光束的强度截面I_A(x,y)和I_B(x,y)并且I_A(x,y)和I_B(x,y)通过单个傅立叶变换关联时的情况。对于给定的强度横截面，求出了平面A和B中的相位分布的近似值，分别为Ψ_A(x,y)和Ψ_B(x,y)。Gerchberg-Saxton算法通过遵循迭代过程来找到该问题的解决方案。更具体地，Gerchberg-Saxton算法迭代地应用空间和频谱约束，同时在空间域和傅立叶(频谱或频率)域之间重复传输代表I_A(x,y)和I_B(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中的相应计算机生成的全息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以是仅振幅全息图、仅相位全息图或全复数全息图。

在一些实施例中，仅相位的全息图是使用基于Gerchberg-Saxton算法的算法来计算的，比如在英国专利2498170或2501112中描述的，其全部内容通过引用结合于此。然而，本文公开的实施例仅通过示例的方式描述计算仅相位全息图。在这些实施例中，Gerchberg-Saxton算法获取数据集的傅立叶变换的相位信息Ψ[u,v]，其产生已知的振幅信息T[x,y]，其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中是固有组合的，因此变换后的幅度和相位包含有关计算数据集的准确性的有用信息。因此，该算法可以与振幅和相位信息的反馈一起迭代地使用。然而，在这些实施例中，仅相位信息Ψ[u,v]用作全息图，以在图像平面上形成目标图像的全息表示。全息图是相位值的数据集(例如2D阵列)。

在其他实施例中，基于Gerchberg-Saxton算法的算法用于计算全复数全息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复数数据值阵列的数据集(例如2D阵列)，其中每个复数数据值包括幅度分量和相位分量。

在一些实施例中，算法处理复数数据，并且傅立叶变换是复数傅立叶变换。可以将复数数据视为包括(i)实数分量和虚数分量，或(ii)幅度分量和相位分量。在一些实施例中，复数数据的两个分量在算法的各个阶段被不同地处理。

图2A示出了根据一些实施例的用于计算仅相位全息图的算法的第一迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。即，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可被视为仅幅度或仅振幅或仅强度分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。算法的第一迭代从数据形成步骤202A开始，该步骤包括使用随机相位分布(或随机相位种子(seed))230将随机相位值分配给输入图像的每个像素，以形成起始复数数据集，其中数据集的每个数据元素包括幅度和相位。可以说，起始复数数据集代表了空间域中的输入图像。

第一处理框250接收起始复数数据集并执行复数傅立叶变换以形成傅立叶变换的复数数据集。第二处理框253接收傅立叶变换的复数数据集并输出全息图280A。在一些实施例中，全息图280A是仅相位全息图。在这些实施例中，第二处理框253量化每个相位值并将每个振幅值设置为单位值，以便形成全息图280A。根据可以在空间光调制器的像素上表示的相位水平来量化每个相位值，该空间光调制器的像素将用于“显示”仅相位全息图。例如，如果空间光调制器的每个像素提供256个不同的相位水平，则将全息图的每个相位值量化为256个可能相位水平中的一个相位水平。全息图280A是代表输入图像的仅相位傅立叶全息图。在其他实施例中，全息图280A是全复数全息图，其包括从接收的傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量)阵列。在一些实施例中，第二处理框253将每个复数数据值约束到多个可允许复数调制水平之一以形成全息图280A。约束步骤可以包括将每个复数数据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280A代表频谱或傅立叶或频域中的输入图像。在一些实施例中，算法在该点处停止。

然而，在其他实施例中，算法继续，如图2A中的虚线箭头所示。换句话说，遵循图2A中的虚线箭头的步骤是可选的(即并非对所有实施例都是必不可少的)。

第三处理框256从第二处理框253接收修改的复数数据集，并执行逆傅立叶变换以形成逆傅立叶变换的复数据集。可以说逆傅立叶变换的复数数据集代表空间域中的输入图像。

第四处理框259接收逆傅立叶逆变换的复数数据集，并提取幅度值211A的分布和相位值213A的分布。可选地，第四处理框259评估幅度值211A的分布。具体地，第四处理框259可以将逆傅立叶变换的复数数据集的幅度值211A的分布与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理框259可以确定全息图280A是可接受的。即，如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理框259可以确定全息图280A是输入图像210的足够准确表示。在一些实施例中，为了比较的目的，忽略了逆傅立叶变换的复数数据集的相位值213A的分布。将理解的是，可以采用任何数量的不同方法来比较幅度值211A的分布和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，则认为全息图280A是可接受的。如果第四处理框259确定全息图280A是不可接受的，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，执行的算法的迭代次数是预定的或预设的或用户定义的。

图2B表示算法的第二迭代以及算法的任何进一步迭代。通过算法的处理框来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，而采用输入图像210的幅度值的分布。在第一迭代中，数据形成步骤202A通过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复数数据集。然而，在第二和后续迭代中，数据形成步骤202B包括通过将(i)来自算法的先前迭代的相位值213A的分布与(ii)输入图像210的幅度值的分布相结合来形成复数数据集。

然后，以参照图2A描述的相同方式处理由图2B的数据形成步骤202B形成的复数数据集，以形成第二迭代全息图280B。因此，此处不再重复对该过程的说明。当已经计算了第二迭代全息图280B时，算法可以停止。然而，可以执行该算法的任何数量的进一步迭代。将理解的是，仅在需要第四处理框259或需要进一步的迭代时才需要第三处理框256。输出全息图280B通常随着每次迭代而变得更好。然而，实际上，通常会达到一个无法观察到可测量的改进的点，或者执行进一步迭代的正面好处被额外的处理时间所带来的负面影响抵消。因此，该算法被描述为迭代和收敛的。

图2C表示第二和后续迭代的替代实施例。通过算法的处理框来反馈先前迭代的相位值213A的分布。幅度值211A的分布被拒绝，而采用幅度值的替代分布。在该替代实施例中，幅度值的替代分布是从先前迭代的幅度值211的分布中得出的。具体地，处理框258从先前迭代的幅度值211的分布中减去输入图像210的幅度值的分布，通过增益因子α缩放该差，并从输入图像210中减去经缩放的差。通过以下等式在数学上来表达此，其中下标文本和数字表示迭代次数：

R_n+1[x,y]＝F'{exp(iψ_n[u,v])}

ψ_n[u,v]＝∠F{η·exp(i∠R_n[x,y])}

η＝T[x,y]-α(R_n[x,y]|-T[x,y])

其中：

F'是逆傅立叶变换；

F是正向傅立叶变换；

R[x,y]是第三处理框256输出的复数数据集；

T[x,y]是输入或目标图像；

∠是相位分量；

Ψ是仅相位全息图280B；

η是幅度值211B的新分布；以及

α是增益因子。

增益因子α可以是固定的或可变的。在一些实施例中，基于输入目标图像数据的尺寸和速率来确定增益因子α。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。

在所有其他方面，图2C的实施例与图2A和图2B的实施例相同。可以说，仅相位全息图Ψ(u,v)包括频域或傅立叶域中的相位分布。

在一些实施例中，使用空间光调制器执行傅立叶变换。具体地，全息图数据与提供光焦度(optical power)的第二数据组合。即，写入空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据会模拟物理透镜，即，它以与相应物理光学元件相同的方式将光聚焦。因此，透镜数据提供了光或聚焦焦度。在这些实施例中，可以省略图1的物理傅立叶变换透镜120。在计算机生成的全息术领域中已知如何计算代表透镜的数据。代表透镜的数据可以称为软件透镜。例如，仅相位透镜可以通过计算由透镜的每个点由于其折射率和空间变化的光路长度而引起的相位延迟来形成。例如，在凸透镜的中心的光路长度大于在透镜的边缘的光路长度。仅振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中，还已知如何将代表透镜的数据与全息图相结合，从而可以在不需要物理傅立叶透镜的情况下执行全息图的傅立叶变换。在一些实施例中，通过简单的加法比如简单的矢量加法将透镜化数据与全息图组合。在一些实施例中，物理透镜与软件透镜结合使用以执行傅立叶变换。可替代地，在其他实施例中，完全省略傅立叶变换透镜，使得全息重建在远场中发生。在进一步的实施例中，全息图可以以相同的方式与光栅数据组合，即布置成执行光栅函数(比如光束转向)的数据。同样，在计算机生成的全息术领域中已知如何计算这样的数据。例如，可以通过对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成仅相位光栅。仅振幅光栅可以简单地与仅振幅全息图叠加以提供全息重建的角度转向。

在一些实施例中，傅立叶变换由物理傅立叶变换透镜和软件透镜联合执行。即，由软件透镜提供有助于傅立叶变换的一些光焦度，而由一个或多个物理光学器件提供有助于傅立叶变换的其余光焦度。

在一些实施例中，提供了一种实时引擎，其布置为接收图像数据并使用算法实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图被预先计算，存储在计算机存储器中并且根据需要被调出以显示在SLM上。即，在一些实施例中，提供了预定全息图的储存库。

实施例仅通过示例的方式涉及傅立叶全息术和Gerchberg-Saxton类型算法。本公开同样适用于菲涅耳全息术和通过其他技术比如基于点云方法的技术计算的全息图。

光调制

可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如果全息图是仅相位全息图，则需要调制相位的空间光调制器。如果全息图是全复数全息图，则可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。

在一些实施例中，空间光调制器的光调制元件(即像素)是包含液晶的单元。即，在一些实施例中，空间光调制器是其中光学活性成分是液晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。即，每个液晶单元在任何时候配置为以从多个可能光调制水平中选择的一个光调制水平操作。每个液晶单元可动态地重新配置为多个光调制水平中的不同光调制水平。在一些实施例中，空间光调制器是反射型硅上液晶(LCOS)空间光调制器，但本公开不限于这种类型的空间光调制器。

LCOS装置在小孔径(例如几厘米宽)内提供密集的光调制元件或像素阵列。像素通常约为10微米或更小，这导致几度的衍射角，意味着光学系统可以紧凑。充分照射LCOS SLM的小孔径比其他液晶装置的大孔径要容易得多。LCOS装置通常是反射型的，这意味着驱动LCOS SLM像素的电路可以埋在反射表面下。结果导致更高的孔径比。换句话说，像素紧密堆积，这意味着像素之间几乎没有死角。这是有利的，因为它减少了回放场中的光学噪声。LCOS SLM使用硅底板，其优点是像素在光学上是平坦的。这对于相位调制装置特别重要。

下面仅以举例的方式，参考图3来描述合适的LCOS SLM。使用单晶硅基板302形成LCOS器件。其具有方形的平面铝电极301的2D阵列，其由间隙301a间隔开，布置在基板的上表面上。可以通过掩埋在基板302中的电路302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如由玻璃制成的平面透明层306上。例如由ITO制成的单个透明电极307设置在透明层306和第二取向层305之间。

每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控的相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透明电极307施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射在其上的光提供可变延迟。效果是向波前提供仅相位调制，即不发生振幅效果。

所描述的LCOS SLM以反射方式输出空间调制的光。反射型LCOS SLM具有的优势在于，信号线、光栅线和晶体管位于镜面之下，这导致了高填充因子(通常大于90％)和高分辨率。使用反射型LCOS空间光调制器的另一优势在于，液晶层的厚度可以是使用透射型装置时所需厚度的一半。这大大提高了液晶的切换速度(投影运动视频图像的关键优势)。然而，可以使用透射型LCOS SLM同样地实现本公开的教导。

单色通道

本公开涉及一种包括多个单色通道的系统。每个单色通道包括单色全息投影仪，其形成单色全息重建(即图像或图片)。在公共回放平面上形成多个单色图像。本公开描述了一种在显示(例如回放)平面上对准多个独立形成的单色全息重建的方法。可以使用重合的红色、绿色和蓝色图片来形成全彩色图片。在一些实施例中，全息图是傅立叶全息图。在其他实施例中，全息图是菲涅耳全息图。

图4示出了红色、绿色和蓝色通道。红色通道包括第一空间光调制器401r、第一透镜420r和第一反射镜427r。绿色通道包括第二空间光调制器401g、第二透镜420g和第二反射镜417g。蓝色通道包括第三空间光调制器401b、第三透镜420b和第三反射镜407b。每个单色通道在回放平面450上形成单色全息重建(或图片)。本公开描述了一种在回放平面450上对准多个单色图片的方法。第一透镜420r、第二透镜420g和第三透镜420b是可选的。如果每个显示的全息图是傅立叶全息图，则第一透镜420r、第二透镜420g和第三透镜420b可有助于每个相应全息图的傅立叶变换。

第一空间光调制器401r显示与红色图像相对应的全息图。第一空间光调制器401r被红光照射。第一透镜420r从第一空间光调制器401r接收空间调制光，并且在回放平面450上形成红色图像。第一反射镜427r设置在第一透镜420r和回放平面450之间。

第二空间光调制器401g显示与绿色图像相对应的全息图。第二空间光调制器401g被绿光照射。第二透镜420g从第二空间光调制器401g接收空间调制光，并在回放平面450上形成绿色图像。第二反射镜417g设置在第二透镜420g和回放平面450之间。

第三空间光调制器401b显示与蓝色图像相对应的全息图。第三空间光调制器401b被蓝光照射。第三透镜420b从第三空间光调制器401b接收空间调制光，并且在回放平面450上形成蓝色图像。第三反射镜407b设置在第三透镜420b和回放平面450之间。

第一反射镜427r是布置为反射红光并且透射绿光和蓝光的第一分色镜。第二反射镜417g是布置为反射绿光并透射蓝光的第二分色镜。第三反射镜407b可反射蓝光。

每个单色光路包括从空间光调制器到反射镜的第一部分和从反射镜到回放平面的第二部分。在多个实施例中，单个通道的第一部分是空间偏移的，但基本是平行的。在多个实施例中，单个通道的第二部分是基本共线的。

从第一空间光调制器401r到回放平面450的红光路径包括第一反射镜427r的反射。从第二空间光调制器401g到回放平面450的绿光路径包括第二反射镜417g的反射，随后是通过第一反射镜427r的透射。从第三空间光调制器401b到回放平面的蓝光路径包括第三反射镜407b的反射，随后是通过第二反射镜417g的透射，然后是通过第一反射镜427r的透射。回放平面450、第一反射镜427r、第二反射镜417g和第三反射镜407b基本共线。蓝色路径长度大于绿色路径长度，绿色路径长度大于红色路径长度。具体地，在多个实施例中，蓝色光路的第二部分比绿色光路的第二部分长，绿色光路的第二部分又比红色光路的第二部分长。在这些实施例中，第一部分的长度可以基本相等。

每个单色通道可用于在回放场区域内形成全息重建。红色回放场可以包含图片的红色图片内容。绿色回放场可以包含图片的绿色图片内容。蓝色回放场可以包含图像的蓝色图片内容。本领域技术人员将熟悉通过使用红色、绿色和蓝色通道叠加红色、绿色和蓝色图片内容来形成图片的想法。红色、绿色和蓝色回放场的对准对于图像质量至关重要。每个单色图片可以包括图像像素。在全息投影的情况下，图像像素可被称为光斑。

在一些实施例中，形成彩色图片的放大图像。在一些实施例中，形成的图像是虚像。在一些实施例中，彩色图片是车辆中平视显示器的图片生成单元的图片。彩色图片的虚像可以由平视显示器的放大光学器件(例如镜子)和诸如车辆的挡风玻璃的光学组合器形成。

图5A示出了全息回放场500中的第一颜色(例如绿色)的多个单色光斑，例如图像斑502G。根据本公开，形成多个单色光斑作为对准或校准过程的一部分。多个光斑可以以规则或不规则阵列布置。即，光斑可以在x和y方向上均匀或不均匀地间隔开。在图5A中，仅以示例的方式示出了十六个光斑。本文描述的概念可应用于任何数量的光斑。回放场的尺寸远大于光斑的尺寸。每个光斑可以是图像像素。即，每个光斑可以是系统可以在回放场上形成的最小特征。可替代地，每个光斑可以全部或部分地包括一个以上的图像像素。

可以使用单个全息图同时形成光斑，或者可以使用多个全息图形成光斑。每个全息图可以在帧顺序方案中形成一个光斑或多个光斑的子集。例如，可以使用第一全息图在第一时间形成第一光斑，并且可以使用第二全息图在与第一时间不同的第二时间形成第二光斑。在实施例中，光检测器比如空间光检测器(例如相机，比如CCD相机)用于捕获全息再现场500G的图像。相机可以没有失真或失真校正。

使用软件光栅的对准方法

实施例描述了一种监视第一全息重建的图像斑点和第二全息重建的对应图像斑点的方法。该方法可以通过监视全息回放平面(即在其上形成第一和第二全息重建的空间中的平面)来执行。该方法还可以通过监视第一和第二全息重建的图像(诸如放大的图像或放大的虚像)来执行。在一些实施例中，通过从车辆中的平视显示器的观看平面(例如眼睛盒(eye-box)或眼睛运动盒(eye-motion-box))监视图像来执行该方法。可以使用机器视觉来执行监视。

由第一全息通道和第二全息通道中的每个全息地重建包括光斑的相同校准图片。在理想的系统中，由相应的第一和第二全息通道全息重建的两组光斑将是重合的。即，第一全息重建的每个光斑将与第二全息重建的相应光斑重合。然而，技术人员将理解，在实践中，第一全息重建的光斑可能不会与第二全息重建的光斑完全对准。

图5B示出了包括由第一(绿色)全息通道形成的第一绿色光斑502G和第二绿色光斑502G′的第一光斑阵列以及包括由第二(蓝色)全息通道形成的第一蓝色光斑502B和第二蓝色光斑502B′的第二光斑阵列。第一全息通道的光斑相对于第二全息通道的光斑未对准。明显地，未对准是在回放场500上的位置的函数。即，未对准的程度可在回放场上变化。图5B示出了包括第一绿色光斑502G和第一蓝色光斑502B的第一对相应的光斑。图5B示出了包括第二绿光斑502G′和第二蓝光斑502B′的第二对相应的光斑。在该示例中，第一光斑502G和502B在x和y方向上的未对准的幅度小于第二光斑502G′和502B′在x和y方向上的未对准的幅度。

图像捕获装置(例如相机)布置为捕获光斑的图像。再次，在一些实施例中，从平视显示器的眼睛运动盒捕获图像。图像捕获装置可以放大图像。图6A示出了由图像捕获装置捕获的第一绿色光斑602G和第一蓝色光斑602B。在一些实施例中，利用平视显示器的眼睛移动盒针对多个不同位置重复本文描述的方法。

如上所述，可以通过向全息图添加光栅或相位斜坡函数来在回放平面上线性移动/平移全息回放场。这相当于叠加全息图和光栅函数。因此，光栅函数可在回放平面上平移全息重建的图像点。在一些实施例中，x方向光栅和y方向光栅都与全息图重叠(例如添加至其)以便在通过照射它们所叠加的全息图而形成的全息重建的一个或多个点与另一全息重建的一个或多个对应点之间在x-y显示平面上提供对准。光栅提供的平移量取决于光栅的光栅角。光栅角由软件控制。总之，发明人已经认识到，通过测量在x和y方向上对准一对相应的光斑所需的光栅角，可以在回放场上的多个点中的每个点处测量x和y方向上的未对准量。在一些实施例中，针对回放场区域分别确定x校正图和y校正图。一旦确定，x和y校正图就可以随后在全息投影之前用于处理图像，以改善对准。该方法在下面更详细地描述。

图6B示出了如何使用x方向上的光栅(或相位斜坡)将第一蓝色光斑602B在x方向上与第一绿色光斑602G对准。可以更改光栅的角度(在软件中)，直到实现x方向上的对准。多个不同的周期光栅(即不同的光栅角)产生相应的多个不同位置612B、622B、632B、642B和652B。可以改变x方向光栅的光栅角(例如增加幅度)，直到图像捕获装置示出实现了x方向上的对准。将理解的是，光栅可以提供第一蓝色光斑602B的正平移(在图6B中的右侧)或负平移(在图6B中的左侧)。为了避免疑问，图6B示出了当使用五个不同光栅角以在x方向上提供五个不同的各自负平移时的第一蓝色光斑602B的位置。第一光栅角产生位置612B。具有大于第一光栅角的幅度的第二光栅角产生位置622B等。在对准过程中，不需要重新计算产生光斑的全息图。而是，改变光栅函数，并重新计算全息图和光栅函数的叠加(例如和)。此过程可以实时执行。可以将多个不同的光栅函数存储在存储器中，并在自动化过程中根据需要重新调用，例如使用图像处理来确定光斑位置。全息图和光栅函数可以由系统的显示驱动器(例如现场可编程门阵列或专用集成电路)叠加/添加。在一些实施例中，使用光栅方程实时计算光栅函数。显示驱动器可以驱动第一和第二全息投影通道。全息图引擎确定提供给显示驱动器的全息图。全息图引擎可以从存储器中选择性地获取全息图，或者在一些示例中，计算全息图(例如实时地)。

将光栅函数添加到全息图中，以形成显示在空间光调制器上的衍射图案。衍射图案是引起衍射的灰度值(例如相位延迟值)的分布。由于光的干涉，衍射光在显示平面上形成全息重建。光栅函数是灰度值的分布，这些灰度值定义了满足光栅方程的光栅。光和空间光调制器的定义参数根据众所周知的光栅方程确定光栅的角度θx：

nλ＝dsinθ

总之，该方法包括确定实现在x方向上的对准所需的x方向光栅的角度θx。

图6C示出了可以如何使用y方向光栅重复该过程以在y方向上在第一绿色光斑602G和第一蓝色光斑602B之间建立对准。图6C示出了对于具有光栅角θy的多个不同光栅的第一蓝色光斑(614B、624B、634B、644B、654B)的示例位置。

通过使用图像捕获装置监视光斑来确定对准。技术人员将理解，可以使用图像分析软件来自动进行对准过程，并且与关于施加到全息图的光栅有关的显示驱动器进行协调。

在本领域技术人员的能力范围内，可以使用简单的几何形状从空间光调制器的衍射角和分辨率计算出每个像素的角度。因此，该方法还包括分别将角度θx和θy转换成△x和△y的像素数量。值得注意的是，使用这种方法可以实现子像素精度。在一些实施例中，△x和△y的单位是像素。在一些实施例中，基于显示装置的像素尺寸将△x和△y转换为距离(例如微米)。

值得注意的是，通过使用在此公开的光栅方法在每个位置分别计算△x和△y，重复该方法以在图5B所示的蓝光斑的十六个不同位置的每个处给出△x和△y的量度。也就是说，针对十六个蓝色光斑中的每个蓝色光斑测量△x和△y，其中△x和△y的每个测量值表示蓝色光斑阵列的蓝色光斑与其对应的绿色光斑之间的x和y位移。同样，仅以示例的方式示出和描述了十六个位置。该方法包括分别将第二颜色的每个光斑与第一颜色的相应光斑对准。使用第一颜色通道和第二光通道，将包括光斑阵列的相同光图案全息投影到回放平面上。第二颜色的光斑的阵列可以使用一个全息图同时形成，或者在帧序列方案中使用多个全息图一次形成一个，如下所述。第二颜色的每个光斑又与第一颜色的相应光斑对准。即，光斑一次对准一个。在一些实施例中，这是通过向全息图添加可变光栅函数并改变光栅的光栅角直到对准成对的光斑来实现的。在其他实施例中，通过改变用于计算全息图的输入图像来实现对准，从而相对于第一绿色光斑重新定位第一蓝色图像点。

确定第一位移值的第一阵列，其中每个第一位移值表示第二颜色光斑与对应的第一颜色光斑在第一(例如x)方向上的位置偏移。确定第二位移值的第二阵列，其中每个第二位移值代表第二颜色光斑与对应的第一颜色光斑在第二(例如y)方向上的位置偏移。第一和第二方向可以是正交的。第一位移值的第一阵列可以由x-y平面上的矢量表示，并且可以执行包括内插和/或外推的表面拟合。第二位移值的第二阵列也可以由x-y平面上的矢量表示，并且可以执行包括内插和外推的第二表面拟合。

图7A示出了图5B的示例位移值的图形表示(即在每个回放平面位置处的x方向位移)。

图7A所示的平面700对应于图5B的平面500。包括第一蓝色光斑602B和第二蓝色光斑602B'的十六个蓝色光斑以规则阵列布置在平面700上。矢量与每个蓝色光斑相关联。该矢量垂直于平面700并且表示△x。矢量的幅度是△x的幅度，矢量的方向(如图7A所示上或下)表示位移△x的方向。例如，图7A中的指向上的矢量可以表示正△x，而图7B中的指向下的矢量可以表示负△x。矢量的第二阵列(未示出)用于表示在蓝色光斑的十六个位置处的△y的测量值。

在图7B所示的方法的另一步骤中，可选地通过插值将表面拟合到测量数据。该表面在本文中可以被称为位移图。相对于附图描述的位移图是蓝色的x方向上的总体/整个回放场的位移图。即，位移图表示蓝色全息图像相对于绿色全息图像的变形。可以将最佳拟合表面外推到全息回放场的边缘。因此，即使仅通过光栅方法评估了回放场中位置的子集，该表面仍包括内插(以及可选地外推)，从而可以使用位移图来调整全息回放场中的所有点。

为了避免疑问，使用垂直方向上的光栅在y方向上重复该方法以形成第二位移图。因此，可以使用第一和第二位移图在二维上校正回放平面上的每个光斑的位置。可以针对第三种颜色(例如红色)重复该方法。

如上所述，图5A至7B所示的图像点的布置仅仅是一种可能的示例。本文所述的方法可以应用于点或光特征的任何布置，以对准图像(诸如校准图像)的第一和第二分别不同颜色的全息重建。根据实施例，点或光特征对准的图像(例如校准图像)不包括分别对应于单个图像像素的点或斑。相反，图像包括较大的光特征，每个光特征包含多个图像像素(或在尺寸上可与多之相当)。图像区域可以以规则图案或不规则图案布置。每个图像区域可以具有与每个相应其他图像区域基本相同的尺寸和/或形状。

例如，校准图像可以包括多个光特征，每个光特征基本是圆。每个圆的大小可以类似于约5到10个图像像素。每个圆的大小可以例如由相机或其他光检测器配置为检测的光特征的大小来确定。每个圆可能不完全包含完整数量的图像像素，但其大小和/或位置可能与一个或多个单独的图像像素相交。可以提供校准图像的单独全息图，以分别用两种或两种以上颜色的光进行照射，例如红光、绿光和蓝光，并且使用与以上关于图5A至7B所描述的技术类似的技术，通过将每种颜色的对应图像区域定位为彼此重合，可以将所得到的全息重建彼此对准。

如本领域读者将意识到，包括不同颜色的图像的相应全息重建的回放场可以具有不同的相应大小。例如，当彩色光通道包括在波导光瞳扩展器内(本领域读者将熟悉)时，可能就是这种情况。因此，尽管可以在几何空间中(例如在漫射器或显示全息重建的其他光接收构件的面上)将图像区域对准为所有三种颜色都具有相同的中心和半径，但这种对准实际上将对应于图像区域在它们各自的像素空间中占据每种颜色的不同各自坐标。因此，本发明人已经发现，利用每个图像区域都大于单个图像像素的图像区域，而不是尝试对准像素，这是有益的，因为要记住对于全息重建图像的每种相应颜色将在回放场中存在不同的像素坐标系。使用大于单个图像像素的图像区域还可以使机器视觉更成功地被使用，以检测和对准回放平面上的光特征的位置。

尽管图像区域本身可能大于单个图像像素，但它们的中心可能具有子像素坐标。因此，使用图像区域仍可以在子像素范围内提供测量和/或定位，并且可以与需要高子像素精度的其他方法兼容，例如使用抗锯齿算法来减少图像中锯齿状边缘的出现。

使用拟合表面的图像失真

当已经如上关于图7A和7B所述推导了拟合表面时，它们可以用于在全息图计算之前处理图像(例如蓝色和红色图像)。结果，由各个全息图的照射产生的图像的不同颜色的全息重建应当彼此对准，而不需要向其中一个全息图添加光栅函数。

本领域技术人员将熟悉使图像失真以精确补偿由例如光学器件引起的任何失真(例如彩色失真)的想法。根据本公开，在全息图计算之前使图像失真。该过程的输入是用于投影的未失真目标/输入图像，而输出是失真/修改的图像。失真的图像被输入到全息图引擎。即，计算出失真图像的全息图。包括输入图像的每个图像包括图像像素的阵列，其中每个图像像素具有灰度级。根据目标输入的像素值计算失真图像的像素值。下面公开两个示例方法。

在第一示例中，根据两个拟合表面，将输入图像的每个像素在显示装置的像素阵列上有效地移位。即，有效地移动目标图像的像素值以形成失真图像。如果此过程导致一个以上的像素值与目标的同一像素相关联，则可以使用平均灰度级或可以使用加权灰度级，例如其中，加权取决于像素位移的幅度。该过程可能导致未分配灰度值的一些像素。第一示例提供了对最近像素的准确性。

在第二示例中，提供了子像素精度。在第二示例中，通过将△x和△y添加到相应的x和y坐标来确定每个像素的新x坐标和y坐标。目标图像的每个像素具有x坐标值和y坐标值。最佳拟合表面为目标图像的像素提供△x和△y值。通过在像素位置添加相应的△x和△y值，可以为每个目标图像像素定义新的坐标对(即x和y)—参见下面的示例表。因此，不会丢失△x和△y的子像素精度(按照第一示例)。

P像素	x坐标	y坐标	灰度级	△x	△y	新x坐标	新y坐标
								P1	1	1	50	0.512	0.123	1.512	1.123
P2	2	1	60	-0.534	-0.555	1.466	0.445
								…	…	…	…	…	…	…	…
P16	16	16	100	.620	-0.101	16.620	15.899

从新坐标值的阵列确定用于全息图计算的失真图像。例如，可以通过对像素位置周围的窗口内的灰度级求平均来确定失真图像的像素值。失真图像的每个像素值可以从目标图像的多个像素值中得出。在图8A至8C中以示例的方式示出了该过程。

图8A示出了包括十六个像素P1至P16的规则阵列的目标图像。根据本公开，像素P1至P16被分配了新的x坐标值和y坐标值，如图8B中的新像素位置所示。图8C示出了如何通过有效地采样至少部分地落在限定像素位置的采样窗口内的位移像素来确定失真图像的像素值。例如，可以对至少部分地落在每个采样窗口内的像素的灰度级求平均以确定对应于采样窗口的新的/平均的灰度级。因此，目标图像的像素值可被用作失真图像的多于一个像素的计算的一部分。在一些实施例中，针对每个采样窗口使用加权平均方法，其中，落入采样窗口内的像素的值根据它们与采样窗口的中心的各自距离来加权。采样窗口可以重叠。采样窗口的数量等于失真图像的像素数量。

在一些实施例中，失真图像的像素数量(以及因此采样窗口的数量)小于目标图像的像素数量。在一些实施例中，使用以第一棋盘图案布置的第一采样窗口形成第一失真图像，并且使用以第二棋盘图案布置的第二采样窗口形成第二失真图像。第一棋盘图案可以与第二棋盘图案相反。图8D示出了以第一棋盘图案布置的采样窗口的第一阵列。图8E示出了以第二棋盘图案布置的采样窗口的第二阵列。从第一失真图像计算出的第一全息图和从第二失真图像计算出的第二全息图可以在人眼的整合时间内依次重建，以提供图像交错，其被发现由于降低了图像像素串扰而被提高了图像质量。

平视显示器领域的技术人员(参见下文)将熟悉翘曲图的概念，以补偿车辆挡风玻璃的复杂曲率。在一些其他实施例中，每个像素的新坐标被进一步修改以便包括由翘曲图定义的校正。在一些实施例中，翘曲图为目标图像的每个像素提供加法△x’和△y’。因此，翘曲图在x和y方向上为每个像素提供了附加平移校正。在一些实施例中，在执行本文描述的对准方法之前，根据翘曲图修改绿色图像。在这些实施例中，红色和蓝色全息重建与翘曲的绿色图像对准。在这些实施例中，不需要在全息图计算之前使用翘曲图对红色和蓝色目标图像进行翘曲。

尽管以上关于图8A至8E的描述提到了通过位移像素使图像翘曲，但根据一个或多个相应的拟合表面，应当理解，相同的原理可以应用于位移图像区域，每个的尺寸可以大于单个图像像素。

尽管以上描述讨论了在全息图计算之前对图像进行翘曲以提供第一和第二全息重建的对准，但本公开不限于这种翘曲。根据替代实施例，可以针对每种颜色形成未翘曲(或未失真)的输入图像的各个全息图，并且可以将适当的光栅函数(或多个函数)添加到这些全息图的一个(或多个)中以进行照射，以便使第一个和第二全息重建相对准。在这样的实施例中使用的光栅函数的梯度可以基于先前被确定为适合在整个回放场中提供与其他图像(例如校准图像)有关的对准的光栅函数来选择。

平视显示器

在一些实施例中，全息投影系统是平视显示器或平视显示器的一部分，所公开的对准方法在容纳该平视显示器的车辆中原位进行。更具体地，图像捕获装置可以位于平视显示器的眼睛运动盒内。可以为眼睛运动盒内的多个不同的眼睛位置确定蓝色和红色位移图。

图9示出了诸如汽车之类的车辆中的HUD。车辆的挡风玻璃830和发动机罩(或引擎盖)835在图9中示出。HUD包括图片生成单元“PGU”810和光学系统820。

PGU810包括光源、光接收表面和处理器(或计算机)，其布置为计算机控制图片的图像内容。PGU 810布置为在光接收表面上生成图片或图片序列。光接收表面可以是屏幕或漫射器。在一些实施例中，光接收表面是塑料(即由塑料制成)。光接收表面配置在主回放平面上。即，首先在其上形成图像的全息回放平面。图像斑点可以在主图像平面上对准。然而，在一些实施例中，本文公开的对准方法是通过观察第二回放平面来进行的。

光学系统820包括输入端口、输出端口、第一反射镜821和第二反射镜822。第一反射镜821和第二反射镜822布置成将光从光学系统的输入端口引导至光学系统的输出端口。更具体地，第二反射镜822布置为从PGU810接收图片的光，并且第一反射镜821布置为从第二反射镜822接收图片的光。第一反射镜821还布置为将所接收的图片的光反射到输出端口。因此，从输入端口到输出端口的光路包括从输入到第二反射镜822的第一光路823(或第一光路分量)和从第二反射镜822到第一反射镜821的第二光路824(或第二光路分量)。当然，存在从第一反射镜到输出端口的第三光路(或光路分量)，但其在图9中未指定附图标记。图9中所示的光学配置由于光路的形状而可被称为“z折叠”构造。

HUD配置和定位在车辆内，使得来自光学系统820的输出端口的图片的光入射到挡风玻璃830上，并且至少部分地被挡风玻璃830反射到HUD的用户840。因此，在一些实施例中，光学系统布置为通过从挡风玻璃反射空间调制光来形成挡风玻璃中的每个图片的虚像。HUD的用户840(例如汽车的驾驶员)在挡风玻璃830中看到图片的虚像850。因此，在实施例中，光学系统布置为在车辆的挡风玻璃上形成每个图片的虚像。虚像850形成在汽车的发动机罩835下方一定距离处。例如，虚像可以距用户840为1至2.5米。光学系统820的输出端口与汽车仪表板中的孔对准，使得图片的光由光学系统820和挡风玻璃830引导给用户840。在该配置中，挡风玻璃830用作光学组合器。在一些实施例中，光学系统布置为在系统中包括的附加光学组合器上形成每个图片的虚像。挡风玻璃830或附加光学组合器(如果包括的话)将来自真实世界场景的光与图片的光组合。因此，可以理解，HUD可以提供包括图片的虚像的增强现实。例如，增强现实信息可以包括导航信息或与机动车辆的速度有关的信息。在一些实施例中，通过以布鲁斯特角(Brewster’angle)(也称为偏振角)或在布鲁斯特角的5度以内(例如布鲁斯特角的2度以内)入射到挡风玻璃上来输出形成图片的光。

在一些实施例中，第一反射镜和第二反射镜布置成折叠从输入到输出的光路，以便在不过度增加HUD的物理尺寸的情况下增加光路长度。

在PGU810的光接收表面上形成的图片的宽度和高度可能只有几厘米。PGU810的光接收表面可以是对准方法的显示平面。第一反射镜821和第二反射镜822共同或单独地提供放大。即，第一反射镜和/或第二反射镜可以具有光焦度(即屈光度或聚焦度)。因此，用户840看到由PGU形成的图片的放大的虚像850。第一反射镜821和第二反射镜822还可校正诸如由挡风玻璃830引起的光学失真，挡风玻璃830通常具有复杂的弯曲形状。反射镜中的折叠光路和光焦度一起可以适当放大图片的虚像。

本公开的PGU810包括全息投影仪和光接收表面，例如屏幕或漫射器。根据以上公开，全息投影仪包括光源、空间光调制器和全息图处理器。空间光调制器布置为根据空间光调制器上表示的全息图对光进行空间调制。全息图处理器布置为提供计算机生成的全息图。在一些实施例中，全息图处理器选择计算机生成的全息图以从包括多个计算机生成的全息图的存储库(例如存储器)输出。在其他实施例中，全息图处理器实时计算并输出计算机生成的全息图。在一些实施例中，由PGU410形成的每个图片是在光接收表面上的全息重建。即，在一些实施例中，通过在光接收表面处的空间调制光的干涉来形成每个图片。

根据对准方法，虚像所在的平面也可以是显示平面。即，贯穿本公开描述的显示平面可以是平视显示器的虚像平面，其使用车辆的挡风玻璃甚至仪表板弹出组合器形成虚像。显示平面也可以是图9中所示PGU的光接收表面。

实施例仅通过示例的方式描述了包括十六个光斑的校准图像。在一些实施例中，光斑的阵列是规则的。在其他实施例中，多个光斑布置在全息回放场的一个或两个子区域内。校准图像本身可以不包括斑点，但可以包括较大的光特征，例如圆形、椭圆形或卵形。图10示出了一实施例，其中第一多个光斑布置在回放场900的第一子区域950中，第二多个光斑布置在回放场900的第二子区域960中。第一和/或第二子区域可以是非矩形的。在图10中，第一子区域950具有梯形形状，而第二子区域960具有矩形形状。第一子区域950的图片内容可以被中继至平视显示器的第一虚拟平面，第二子区域960的图片内容可以被中继至平视显示器的第二虚拟平面。第一虚拟平面可以是远场平面(例如车辆前方5-25米)，并且第一子区域950的梯形形状可以对应于高速公路的透视图(即驾驶员的视图)。

上述实施例涉及将第二颜色(例如蓝色)的光斑与第一颜色(例如绿色)的光斑对准。在一些实施例中，该方法可以进一步包括在将第二颜色的光斑与第一颜色的光斑对准之前，使用光栅方法重新定位第一颜色的光斑。可以使用在此描述的x和y光栅方法为第一颜色确定第一对(x和y)位移图。在这种情况下，将第一光斑重新定位到回放场中的选定兴趣点。在一些实施例中，第一光斑被重新定位以便在回放场内均匀分布第一光斑或在第一和第二子区域内均匀分布光斑。在一些实施例中，第一光斑被重新定位以便在第一虚像平面的显示/活动区域和第二虚像平面的显示/活动区域内均匀分布第一光斑。在一些实施例中，在对准期间将屏幕放置在虚拟平面上，并且通过从眼睛运动盒观察，将第一颜色和第二颜色的光斑对准屏幕的特定点。可替代地，可以基于重新定位的第一光斑来确定用于第二颜色的第二对(x和y)位移图。

系统图

图11是示出根据实施例的全息系统的一个单色通道的示意图。空间光调制器(SLM)1190布置为显示从控制器1100接收到的全息图。在操作中，光源1170照射在SLM1190上显示的全息图，并且在回放平面1175上的回放场中形成全息重建。回放平面1175可以是对准方法的显示平面。在实施例中，图像处理引擎1120从图像源1110接收图像。在一些实施例中，图像源1110可以向图像处理引擎1120提供校准图像，每个包括至少一个光特征，如本文所述。

控制器1100包括图像处理引擎1120、全息图引擎1130、数据帧生成器1140和显示引擎1150。图像处理引擎1120从图像源1110接收至少一个源图像。图像处理引擎1120可以在全息图计算之前提供图像的可选处理。根据本公开，图像的处理不是必须的，并且图像处理引擎950可以将接收到的图像直接传递给全息图引擎1130，以计算相应的全息图。可替代地，图像处理引擎1120可以根据表征例如平视显示器的光学系统(例如图9的光学系统820)的翘曲图来翘曲一个或多个单色图像。

全息图引擎1130布置为确定与从图像处理引擎1120接收的每个图像相对应的全息图。例如，全息图引擎1130可以实现上述的全息图计算方法。全息图引擎1130将全息图传递给数据帧生成器1140。数据帧生成器1140布置为生成包括全息图的数据帧(例如HDMI帧)。数据帧生成器1140将数据帧传递给显示引擎1150。显示引擎1150布置为形成包括用于显示的全息图的衍射图案。显示引擎1150包括提取器1151、平铺引擎1152和软件光学器件1153。如下所述，显示引擎1150使用提取器1151从数据帧提取每个全息图，并根据平铺引擎1152生成的平铺方案平铺全息图。特别地，平铺引擎1152可以从子控制器1160接收控制信号以确定平铺方案，或者可以另外基于全息图或一些其他控制信号确定用于平铺的平铺方案。软件光学器件包括具有软件控制的焦距的透镜功能和具有软件控制的光栅角的至少一个1D光栅函数(例如x方向光栅函数和y方向光栅函数)。根据本公开，显示引擎1150可以向全息图添加至少一个可变光栅函数以平移回放场在回放平面上的位置，如本文所述。例如，这可能在系统相对于校准图像执行对准方法时发生，如以上关于较早的附图所详细描述。因此，如本文所述，对于每个全息图，显示引擎1150布置为将驱动信号输出到SLM1190，以同步方案显示包括全息图并且可选地还包括光栅函数的每个衍射图案。

该系统还包括图像捕获装置1181(例如相机)，其布置为捕获包括至少一个光特征的回放平面1175上的回放场的图像。图像捕获和处理引擎1182根据本公开的对准方法来处理从图像捕获装置1181接收的输出信号以确定回放场的至少一个光特征的位置。图像捕获和处理引擎1182向显示引擎1150的子控制器1160提供反馈，该反馈可以形成确定新的光栅角或改变光栅角的自动化过程的基础。如本领域技术人员将理解的，控制器1100的上述特征可以以软件、固件或硬件及其任意组合来实现。

在实施例中，显示引擎1150布置为接收图像的红色分量、绿色分量和蓝色分量，以在显示平面1175上显示。用于显示的图像的每个单色分量由图11中所示的管线处理以为每种颜色生成驱动信号。显示引擎1150因此向未在图11中示出的附加SLM提供驱动信号。每个附加SLM由附加光源照射以在回放平面1175上形成附加全息重建。

附加特征

在一些实施例中，全息图的尺寸(每个方向上的像素数)等于空间光调制器的尺寸，以使得全息图填充空间光调制器。即，全息图使用空间光调制器的所有像素。在其他实施例中，全息图小于空间光调制器。更具体地，全息图像素的数量小于空间光调制器上可用的光调制像素的数量。在这些其他实施例的一些中，在未使用的像素中重复全息图的一部分(即全息图的像素的连续子集)。该技术可被称为“平铺”，其中空间光调制器的表面区域被划分为多个“平铺块”，每个代表全息图的至少一个子集。因此，每个平铺块的尺寸小于空间光调制器的尺寸。在一些实施例中，实施“平铺”技术以提高图像质量。具体地，一些实施例实施平铺技术以最小化图像像素的尺寸，同时最大化进入全息重建的信号内容的量。在一些实施例中，写入空间光调制器的全息图案包括至少一个完整平铺(即完整的全息图)和平铺的至少一小部分(即全息图的像素的连续子集)。

实施例仅通过示例的方式涉及电激活的LCOS空间光调制器。本公开的教导可以等同地在能够显示根据本公开的计算机生成的全息图的任何空间光调制器上实现，例如任何电激活的SLM、光学激活的SLM、数字微镜设备或微机电设备。

在一些实施例中，光源是诸如激光二极管的激光器。在一些实施例中，图像捕获装置是相机，例如CCD相机。在一些实施例中，全息重建体形成在光接收表面上。光接收表面可以是漫射表面或屏幕，例如漫射器。本公开的全息投影系统可以用于提供改进的平视显示器(HUD)或头戴式显示器。在一些实施例中，提供了一种车辆，其包括安装在车辆中以提供HUD的全息投影系统。车辆可以是机动车辆，比如汽车、卡车、厢式货车、运货卡车、摩托车、火车、飞机、船或轮船。

本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为临时或永久地存储数据的介质，比如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。

术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。

对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims (12)

1.一种将第一全息重建和第二全息重建相对准的方法，该方法包括：

使用第一全息投影通道在显示平面上形成多个离散光特征的第一全息重建，其中第一全息投影通道包括布置为显示全息图的第一空间光调制器，第一空间光调制器布置为用于被第一波长的光照射；

使用第二全息投影通道在显示平面上形成多个离散光特征的第二全息重建，其中第二全息投影通道包括第二空间光调制器，第二空间光调制器布置为显示与至少一个光栅函数组合的全息图，其中每个光栅函数具有各自的位移方向，第二空间光调制器布置为用于被第二波长的光照射。

捕获显示平面的图像；

对于每个离散光特征，确定在相应的位移方向上将离散光特征的第一全息重建与相应离散光特征的第二全息重建相对准所需的每个光栅函数的光栅角，以对于每个位移方向获得在显示平面上的相应多个不同位置处的多个光栅角。

2.如权利要求1所述的方法，其中确定对准所需的每个光栅函数的光栅角包括改变所述光栅角，直到所述显示平面的捕获图像显示离散光特征的第一全息重建在光栅函数的位移方向上与离散光特征的第二次全息重建相对准。

3.如权利要求1所述的方法，还包括计算与每个确定的光栅角相对应的距离，以在所述显示平面上的多个不同位置中的每个位置处在每个位移方向上形成位移值。

4.如权利要求1所述的方法，还包括：通过插值在每个位移方向上形成第二全息投影通道的回放场区域的位移图。

5.如权利要求4所述的方法，还包括：根据每个位移图，处理由第二全息投影通道进行全息重建的目标图像，以形成修改的目标图像；计算修改的目标图像的全息图；在第二空间光调制器上显示修改的目标图像的全息图；以及照射第二空间光调制器，以形成目标图像的第二全息重建。

6.如权利要求5所述的方法，其中处理所述目标图像包括根据每个位移图来移动所述目标图像的图像像素。

7.如从属于权利要求3时的权利要求5所述的方法，其中处理所述目标图像包括确定所述目标图像的每个像素的位移位置，以及在所述修改的目标图像的像素位置周围的采样窗口内对像素值进行采样。

8.如权利要求7所述的方法，还包括：通过利用在所述修改的目标图像的像素位置周围的第二采样窗口对像素值进行采样来形成第二修改的目标图像，可选地，其中，所述采样窗口以第一棋盘图案布置，并且所述第二采样窗口以与第一棋盘图案相反的第二棋盘图案布置。

9.如权利要求5所述的方法，还包括：计算所述目标图像的全息图；在第一空间光调制器上显示目标图像的全息图；以及照射第一空间光调制器，以形成目标图像的第一全息重建。

10.如权利要求1所述的方法，其中，所述第一全息重建和第二全息重建在设置在所述显示平面上的屏幕上形成，并且可选地，还包括在每个位移方向上形成第一全息投影通道的回放场区域的位移图，以及在全息图计算之前，通过第一全息投影通道处理用于投影的目标图像，以补偿由光学组合器引起的任何图像失真。

11.如权利要求1所述的方法，其中，所述至少一个光栅函数包括在第一位移方向上的第一光栅函数和在第二位移方向上的第二光栅函数，其中，所述第一位移方向垂直于所述第二位移方向。

12.一种显示系统，包括：

第一全息投影通道，包括布置为显示全息图的第一空间光调制器和布置为通过第一波长的光照射第一空间光调制器的光源；

第二全息投影通道，包括第二空间光调制器，第二空间光调制器布置为显示与至少一个光栅函数组合的全息图，其中每个光栅函数具有各自的位移方向；以及光源，其布置为通过第二波长的光照射第二空间光调制器；

图像捕获装置；以及

处理器；

所述显示系统配置为通过以下方式使第一全息重建和第二全息重建相对准：

使用第一全息投影通道在显示平面上形成多个离散光特征的第一全息重建；

使用第二全息投影通道在显示平面上形成多个离散光特征的第二全息重建；

捕获显示平面的图像；以及

对于每个离散光特征，确定在相应的位移方向上使离散光特征的第一全息重建与相应离散光特征的第二全息重建相对准所需的每个光栅函数的光栅角，以对于每个位移方向获得在显示平面上的相应多个不同位置处的多个光栅角。

Images