CN112154379A

CN112154379A - 平视显示器

Info

Publication number: CN112154379A
Application number: CN201980034047.0A
Authority: CN
Inventors: J.克里斯马斯
Original assignee: Envisics Ltd
Current assignee: Envisics Ltd
Priority date: 2018-07-18
Filing date: 2019-06-12
Publication date: 2020-12-29
Anticipated expiration: 2039-06-12
Also published as: US20210191319A1; CN112154379B; EP3717971B1; EP3717971A1; GB2575658A; WO2020015933A1; CN115309021A; EP4083716A1; GB201811738D0; GB2575658B

Abstract

提供了一种具有眼盒的平视显示器，该眼盒包括驾驶员监视系统、图片生成单元和光学系统。驾驶员监视系统布置成照射并监视驾驶员。驾驶员监视系统包括第一显示通道。图片生成单元布置为在回放平面上显示图片。图片生成单元包括第二显示通道。每个显示通道包括光源、空间光调制器和控制器。每个光源布置成发射光。每个空间光调制器布置成接收来自相应光源的光并根据在空间光调制器上显示的计算机生成的全息图输出空间调制光，以在回放平面上形成相应的光图案。每个控制器布置为将计算机生成的全息图输出到空间光调制器。光学系统布置成中继来自回放平面的每个光图案。光学系统包括输入、输出和至少一个镜子。输入布置成接收每个光图案的光。输出布置为输出每个光图案的光。至少一个镜子布置成沿光路将来自输入的光引导至输出。第一显示通道形成的光图案为红外光图案。每个光图案都是全息重建。

Description

平视显示器

技术领域

本公开涉及一种全息投影仪。更具体地，本公开涉及一种包括至少一个全息投影通道的平视显示器。一些实施例涉及用于平视显示器的驾驶员监视系统。更具体地，一些实施例涉及用于平视显示器的驾驶员监视系统的红外全息投影仪。一些实施例涉及增强现实平视显示器“AR-HUD”，其包括眼睛追踪或头部追踪。其他实施例涉及用于头部跟踪或眼睛跟踪的图片生成单元和集成的红外全息照射器。

背景技术

从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或回放图像。

计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。例如，还可以通过相干射线追踪或点云技术来计算计算机生成的全息图。

可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。

空间光调制器通常包括多个单独可寻址像素，其也可以称为单元或元素。光调制方案可以是二进制、多级或连续的。可替代地，设备可以是连续的(即不包括像素)，因此光调制可以在整个设备上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性的，这意味着调制光以透射输出。

可以使用本文描述的系统来提供全息投影仪。例如，这种投影仪已经应用于平视显示器“HUD”和头戴式显示器“HMD”，其包括近眼设备。

AR-HUD通常包括具有眼睛跟踪的驾驶员监视系统。这样的系统需要红外“IR”发射器以用红外光照射驾驶员。然而，IR发射器难以容纳在车辆内并且在美学上令人不快。本文公开了一种平视显示器，其包括用于驾驶员监视的集成IR光源。

发明内容

本公开的各方面在所附独立权利要求中定义。

提供了一种具有眼盒的平视显示器。平视显示器包括驾驶员监视系统、图片生成单元和光学系统。驾驶员监视系统布置成照射并监视驾驶员。驾驶员监视系统包括红外显示通道。红外显示通道包括红外光源和全息图。红外光源布置成发射红外光。全息图布置为接收来自红外光源的红外光，并根据全息图输出空间调制光，以在回放平面上形成红外光图案。图片生成单元布置为在回放平面上显示图片。图片生成单元包括可见光显示通道。可见光显示通道包括可见光源、空间光调制器和控制器。可见光源布置成发射可见光。空间光调制器布置成接收来自可见光源的可见光，并根据在空间光调制器上显示的计算机生成的全息图输出空间调制光，以在回放平面上形成可见光图案。控制器布置为将包括计算机生成的全息图的光调制分布输出到空间光调制器。光学系统包括输入、输出和至少一个镜子。输入布置成接收红外光图案和可见光图案。输出布置为输出红外光图案的光和可见光图案的光。至少一个镜子布置成沿光路将来自输入的光引导至输出。

光学系统输出的红外光图案的光和可见光图案的光可能发散。该光可以由光学组合器接收并且被引导到眼盒。可见光图案的虚拟图像可以从眼盒区域或体积中看到。在正常操作中，观看者(例如驾驶员)定位在他们的眼盒区域内的眼睛内。眼盒允许观看者进行一些头部移动，同时确保虚拟图像仍然可见。光学组合器可以是容纳平视显示器的车辆的挡风玻璃。可以说，平视显示器的光学系统和车辆的光学组合器共同形成可见光图案的虚拟图像。光学系统和光学组合器还将红外光共同引导到眼盒。眼盒区域或体积在车辆内部，虚拟图像出现在车辆外部的一定距离中。到虚拟图像的距离主要由光学系统和/或光学组合器的光功率确定。因此，提供了一种平视显示系统，其包括平视显示器和光学组合器，其布置为接收由光学系统输出的光并形成每个光图案的虚拟图像。观看者当然看不到红外光图案的虚拟图像，但是由光学组合器反射到眼盒的红外光照射观看者。

光调制分布包括[m×n]个光调制值阵列。光调制分布可以包括多个分量，其中每个分量包括[m×n]个光调制值阵列。可以将计算机生成的全息图视为光调制分布的第一分量。附加分量可以通过添加而与计算机生成的全息图组合以形成光调制分布。即，可以添加一个或多个另外的[m×n]个光调制值阵列的对应元素以形成光调制分布。光调制分布的第二分量可以对应于透镜功能，其至少部分地确定从空间光调制器到光图案的焦平面(即全息回放平面)的距离(例如笛卡尔坐标中的z位置，其中z方向是光轴的方向)。透镜功能可以是菲涅耳函数，其包括[m×n]个相位调制值阵列。光调制分布的第三分量可以对应于光栅功能或光束转向功能，其控制光图案在焦平面上的位置(例如x-y位置)。光栅功能还可以包括[m×n]个相位调制值阵列。光栅功能可以是相位斜坡，例如模2π相位斜坡。即，光栅功能的相位调制值阵列可以沿一个方向(例如x方向)或两个正交方向(例如x方向和y方向)在整个阵列上线性增加。

根据输入图像或图案计算计算机生成的全息图。全息重建的目的是忠实复制输入图像。在本文描述的一些实施例中，计算机生成的全息图是相全息图。在本文所述的一些实施例中，使用基于Gerchberg-Saxton算法的迭代相位检索算法来计算相位全息图。在一些实施例中，计算机生成的全息图是实时计算的。在其他实施例中，从包括多个计算机生成的全息图的储存库或存储器中检索计算机生成的全息图。根据输入图像计算计算机生成的全息图。计算机生成的全息图是图像的全息图，其中全息图是由计算机实现的算法生成的。该图像是全息图计算引擎的输入。

车辆的光学系统和光学组合器(例如挡风玻璃或弹出式仪表板组合器)中继在回放平面处形成的光图案的光。可选地，光学系统和/或光学组合器提供光图案的放大。具体地，光学系统和光学组合器可以形成光图案的放大的虚拟图像。然而，中继可能并不完美。也就是说，从眼盒观察到的虚拟图像可能不是光图案的完美复制。例如，虚拟图像可能被光学系统和/或光学组合器失真或扭曲。在一些实施例中，在计算计算机生成的全息图以补偿光学系统和/或光学组合器之前，处理输入图像。该处理在本文中称为“预处理”以指示其发生在计算全息图之前。图像的预处理可以包括改变(例如反失真或反扭曲)图像以补偿光学系统和/或光学组合器的光学响应。

本文公开了一种平视显示器，其包括多个单波长(或单色)显示(或光)通道，每个包括各自的光源和显示部件(例如全息图或空间光调制器)。每个显示通道形成各自的光图案。红外光图案和可见光图案形成在同一回放平面上。红外光图案和可见光图案可以基本重合或叠加。可见光图案可以将有用信息(例如导航信息)传达给观看者(例如驾驶员)。可见光图案是图片或图片的单色成分。提供红外光图案以照射观看者。图片只能在主要由光学系统定义的眼盒区域内查看。红外光和可见光由同一光学系统和光学组合器中继到用于观看者的眼盒区域或体积。发明人认识到，这方便地将红外光限制到眼盒区域。这是有利的，因为这意味着红外光能量不会浪费在无法看到图片的照射区域。

平视显示器布置为用红外光照射眼盒。红外光用于增加由图像捕获设备捕获的观看者(例如驾驶员)的图像的信噪比。根据本公开，来自红外显示通道的所有红外光可被引导到眼盒。这提供了能量效率。

由红外显示通道形成的红外光图案可以是结构化光图案。结构化光图案是具有受控形状的光图案。结构化光图案可以包括布置为提供眼盒的选择性红外照射的明暗区域。红外光图案可以任何可能的方式构造或成形。例如，将红外光从眼盒的某些区域引走和/或将红外光聚集到眼盒的其他区域可能是有利的。

眼盒中的光区域的红外强度可以基本均匀。这可以通过在回放平面上形成基本不均匀强度的红外光图案来实现。回放平面上的光区域的红外强度的不均匀性可以补偿光学系统和/或光学组合器中的空间变化的光学损耗。在红外通道的全息图是显示在空间光调制器上的计算机生成的全息图的实施例中，全息图可响应于观看者的运动而动态地改变以维持光区域的均匀照射。

红外显示通道可以与可见光通道至少部分地集成在一起以提供紧凑的设计。例如，红外显示通道的至少一部分可以与可见光显示通道的相应部分基本共线。

驾驶员监视系统可以包括布置为捕获观看者(例如驾驶员)的图像(即红外图像)的图像捕获设备(例如相机，比如红外相机)。图像捕获设备可以布置或定位在光学系统的至少一个镜子中的镜子后面。例如，光学系统的镜子之一对于从观看者反射并传回光学系统的红外光来说可能是透明的。镜子可在从回放平面到观看者的第一遍上反射为红外光，并在从观看者到回放平面的第二遍上透射。这可以使用例如偏振以及第一遍和第二遍之间的偏振旋转以多种方式来实现。

全息图可以是计算机生成的全息图。红外显示通道可以进一步包括空间光调制器和控制器。空间光调制器布置为显示计算机生成的全息图。控制器布置为将包括计算机生成的全息图的光调制分布输出到空间光调制器。因此，红外光图案是动态可重新配置的。例如，可以根据观看者在眼盒内的移动或环境光条件的变化来重新配置红外光图案。

因此，提供了一种具有眼盒的平视显示器，该眼盒包括驾驶员监视系统、图片生成单元和光学系统。驾驶员监视系统布置成照射并监视驾驶员。驾驶员监视系统包括第一显示通道。图片生成单元布置为在回放平面上显示图片。图片生成单元包括第二显示通道。每个显示通道包括光源、空间光调制器和控制器。每个光源布置成发射光。每个空间光调制器布置成接收来自相应光源的光并根据在空间光调制器上显示的计算机生成的全息图输出空间调制光，以在回放平面上形成相应的光图案。每个控制器布置为将计算机生成的全息图输出到空间光调制器。光学系统布置成中继来自回放平面的每个光图案。光学系统包括输入、输出和至少一个镜子。输入布置成接收每个光图案的光。输出布置为输出每个光图案的光。至少一个镜子布置成沿光路将来自输入的光引导至输出。第一显示通道形成的光图案为红外光图案。每个光图案都是全息重建。

驾驶员监视系统可以进一步包括图像处理器。图像处理器布置为从图像捕获设备接收观看者的捕获图像。图像处理器还布置为向控制器提供输入。控制器使用输入来确定显示在相应空间光调制器上的光调制分布。因此，提供了一种反馈系统，其中响应于从观看者的图像提取的数据来分析观看者的图像并且改变投影的光图案。例如，可以响应于观看者的头部或眼睛移动来改变光图案。该反馈系统可以与包括可见和红外显示通道在内的任何数量的显示通道一起使用。

在一些实施例中，为每个显示通道提供校正数据(例如校正图或校正矩阵)。即，为红外显示通道提供红外校正数据，为可见光通道提供可见光校正数据。校正数据补偿光学系统和/或光学组合器的光学响应。校正数据是用于预处理图像的数据。为每个显示通道以及在眼盒内的多个眼睛位置中的每个提供校正数据。可以为驾驶员监视系统检测的眼睛位置提供最近的校正数据。

因此，红外显示通道的控制器还布置为接收第一输入和第二输入。控制器还布置为基于第一输入和第二输入来确定光调制分布。第一输入包括用于使用红外光投影的输入红外图像。第二输入包括红外校正数据。

可见光显示通道的控制器同样还布置为接收第一输入和第二输入。控制器还布置为基于第一输入和第二输入来确定光调制分布。第一输入包括用于使用可见光投影的输入可见光图像。第二输入包括可见光校正数据。

第一输入可以是用于投影的图像。第二输入可以是包括校正值阵列的校正图或校正矩阵。控制器可以布置为将图像乘以校正矩阵以形成用于全息图计算的预处理图像。可以基于测量的眼睛位置从存储器中检索校正矩阵。用于每个眼睛位置和每个波长的校正矩阵可以通过原位校准过程或通过计算机仿真来确定。每个校正矩阵可以提供平移、旋转和/或放大。另外或可替代地，每个校正矩阵可以改变图像像素的亮度值。在一些实施例中，每个校正矩阵是布置为补偿系统范围光损耗的亮度增益矩阵。

红外显示通道的全息图可以是在记录介质中的固定全息记录。即，全息图本质上不是在空间光调制器上显示的计算机生成的全息图。全息重建可以是固定的结构化光图案。固定的结构化光图案可以包括规则间隔的水平和竖直网格线。

每个显示通道的光源可以是配置为发射偏振光的激光二极管。来自激光二极管的光的偏振可被定向成使得从光学组合器的反射是有效的。例如，从光学组合器的反射角可近似等于布鲁斯特角。

术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建是真实图像并且与全息图在空间上分离。术语“回放场”用于指代在其内形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上，则回放场将以多个衍射级的形式重复，其中每个衍射级是零级回放场的副本。零级回放场通常对应于优选或主要回放场，因为它是最亮的回放场。除非另有明确说明，否则术语“回放场”应被认为是指零级回放场。术语“回放平面”用于指代包含所有回放场的空间中的平面。术语“回放图像”和“图像区域”指的是通过全息重建的光照射的回放场的区域。在一些实施例中，“回放图像”可包括离散光斑，其可被称为“图像光斑”，或仅出于方便起见，被称为“图像像素”。

术语“编码”、“写入”或“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”全息图，并且全息图可被认为是光调制值或水平的阵列。

已经发现，可以从仅包含与原始物体的傅立叶变换有关的相位信息的“全息图”形成可接受质量的全息重建。这样的全息记录可被称为纯相位全息图。实施例涉及纯相位全息图，但本公开同样适用于纯振幅全息图。

本公开也同样适用于使用与原始物体的傅立叶变换有关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。

可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代纯相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。

因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在回放平面上平移回放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的回放平面上。

在整个本公开中，参考了平视显示器的“眼盒”。眼盒是用于平视显示图像内容的查看窗口。观看者只有通过该窗口才能观看平视显示图像内容。观看者定位成在真实世界场景中通过眼盒观看。平视显示图像内容为观看者提供增强现实信息。

还参考单色或单波长显示通道。然而，如本领域技术人员将理解，所描述的光源可能不是完美的，并且每个显示通道实际上可以包括在窄带波长(例如中心波长的+/-20nm)内的光。这里所指的单波长是窄带波长的中心波长。

尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征组合相结合。即，设想了本公开中公开的特征的所有可能的组合和置换。

附图说明

仅参考以下附图以示例的方式描述特定实施例：

图1是示出在屏幕上产生全息重建的反射型SLM的示意图；

图2A示出了示例Gerchberg-Saxton类型算法的第一次迭代；

图2B示出了示例Gerchberg-Saxton类型算法的第二次及后续迭代；

图2C示出了示例Gerchberg-Saxton类型算法的替代第二次及后续迭代；

图3是反射型LCOS SLM的示意图；

图4示出了平视显示器；

图5示出了根据实施例的多个显示通道；

图6示出了根据实施例的图片生成单元和驾驶员监视系统的部件；以及

图7A和7B示出了包括集成的IR发射器的另一示例平视显示器。

在整个附图中将使用相同的附图标记指代相同或相似的部件。

具体实施方式

本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以以不同的形式实施，并且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。

被描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况以及在其之间设置有第三结构的情况。

在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有规定。例如，描述应被认为包括除非使用诸如“仅”、“紧邻”或“直接”之类的措词否则不连续的情况。

尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。

不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。一些实施例可以彼此独立地执行，或者可以以相互依存的关系一起执行。

光学配置

图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅基液晶“LCOS”器件。全息图在空间光调制器上编码，并且在回放场例如光接收表面比如屏幕或漫射器处形成全息重建。

设置光源110，例如激光或激光二极管，以经由准直透镜111照射SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中，波前的方向是偏离法线的(例如，与真正垂直于透明层的平面相距两或三度)。然而，在其他实施例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入和输出光路。在图1所示的实施例中，布置使得来自光源的光从SLM的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，其焦点位于屏幕125上。更具体地，傅立叶变换透镜120接收来自SLM140的调制光束，并执行频率-空间变换以在屏幕125上产生全息重建。

值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。回放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个回放场上。

在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且傅立叶变换是光学进行的。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。

全息计算

在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将回放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。

可以使用算法比如Gerchberg-Saxton算法来计算傅立叶变换全息图。此外，Gerchberg-Saxton算法可用于根据空间域(比如照片)中的纯振幅信息来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的纯振幅信息中有效地“检索”与物体有关的相位信息。在一些实施例中，使用Gerchberg-Saxton算法或其变型从纯振幅信息计算计算机生成的全息图。

Gerchberg-Saxton算法考虑了当已知分别在平面A和B中的光束的强度截面I_A(x,y)和I_B(x,y)并且I_A(x,y)和I_B(x,y)通过单个傅立叶变换关联时的情况。对于给定的强度横截面，求出了平面A和B中的相位分布的近似值，分别为Ψ_A(x,y)和Ψ_B(x,y)。Gerchberg-Saxton算法通过遵循迭代过程来找到该问题的解决方案。更具体地，Gerchberg-Saxton算法迭代地应用空间和频谱约束，同时在空间域和傅立叶(频谱或频率)域之间重复传输代表I_A(x,y)和I_B(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中的相应计算机生成的全息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以是纯振幅全息图、纯相位全息图或全复数全息图。

在一些实施例中，仅基于相位的全息图是使用基于Gerchberg-Saxton算法的算法来计算的，比如在英国专利2498170或2501112中描述的，其全部内容通过引用结合于此。然而，本文公开的实施例仅通过示例的方式描述计算纯相位全息图。在这些实施例中，Gerchberg-Saxton算法检索数据集的傅立叶变换的相位信息Ψ[u,v]，其产生已知的振幅信息T[x,y]，其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中是固有组合的，因此变换后的幅度和相位包含有关计算数据集的准确性的有用信息。因此，该算法可以与振幅和相位信息的反馈一起迭代地使用。然而，在这些实施例中，纯相位信息Ψ[u,v]用作全息图，以在图像平面上形成目标图像的全息表示。全息图是相位值的数据集(例如2D阵列)。

在其他实施例中，基于Gerchberg-Saxton算法的算法用于计算全复数全息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复数数据值阵列的数据集(例如2D阵列)，其中每个复数数据值包括幅度分量和相位分量。

在一些实施例中，算法处理复数数据，并且傅立叶变换是复数傅立叶变换。可以将复数数据视为包括(i)实数分量和虚数分量，或(ii)幅度分量和相位分量。在一些实施例中，复数数据的两个分量在算法的各个阶段被不同地处理。

图2A示出了根据一些实施例的用于计算纯相位全息图的算法的第一次迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。即，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可被视为仅幅度或纯振幅或仅强度分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。算法的第一次迭代从数据形成步骤202A开始，该步骤包括使用随机相位分布(或随机相位种子(seed))230将随机相位值分配给输入图像的每个像素，以形成起始复数数据集，其中数据集的每个数据元素包括幅度和相位。可以说，起始复数数据集代表了空间域中的输入图像。

第一处理块250接收起始复数数据集并执行复数傅立叶变换以形成傅立叶变换的复数数据集。第二处理块253接收傅立叶变换的复数数据集并输出全息图280A。在一些实施例中，全息图280A是纯相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280A。根据可以在空间光调制器的像素上表示的相位水平来量化每个相位值，该空间光调制器的像素将用于“显示”纯相位全息图。例如，如果空间光调制器的每个像素提供256个不同的相位水平，则将全息图的每个相位值量化为256个可能相位水平中的一个相位水平。全息图280A是代表输入图像的纯相位傅立叶全息图。在其他实施例中，全息图280A是全复数全息图，其包括从接收的傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量)阵列。在一些实施例中，第二处理块253将每个复数数据值约束到多个可允许复数调制水平之一以形成全息图280A。约束步骤可以包括将每个复数数据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280A代表频谱或傅立叶或频域中的输入图像。在一些实施例中，算法在该点处停止。

然而，在其他实施例中，算法继续，如图2A中的虚线箭头所示。换句话说，遵循图2A中的虚线箭头的步骤是可选的(即并非对所有实施例都是必不可少的)。

第三处理块256从第二处理块253接收修改的复数数据集，并执行傅立叶逆变换以形成傅立叶逆变换的复数据集。可以说傅立叶逆变换的复数数据集代表空间域中的输入图像。

第四处理块259接收傅立叶逆变换的复数数据集，并提取幅度值211A的分布和相位值213A的分布。可选地，第四处理块259评估幅度值211A的分布。具体地，第四处理块259可以将傅立叶逆变换的复数数据集的幅度值211A的分布与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是可接受的。即，如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是输入图像210的足够准确表示。在一些实施例中，为了比较的目的，忽略了傅立叶逆变换的复数数据集的相位值213A的分布。将理解的是，可以采用任何数量的不同方法来比较幅度值211A的分布和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，则认为全息图280A是可接受的。如果第四处理块259确定全息图280A是不可接受的，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，执行的算法的迭代次数是预定的或预设的或用户定义的。

图2B表示算法的第二次迭代以及算法的任何进一步迭代。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，有利于输入图像210的幅度值的分布。在第一次迭代中，数据形成步骤202A通过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复数数据集。然而，在第二次和后续迭代中，数据形成步骤202B包括通过将(i)来自算法的先前迭代的相位值213A的分布与(ii)输入图像210的幅度值的分布相结合来形成复数数据集。

然后，以参照图2A描述的相同方式处理由图2B的数据形成步骤202B形成的复数数据集，以形成第二次迭代全息图280B。因此，此处不再重复对该过程的说明。当已经计算了第二次迭代全息图280B时，算法可以停止。然而，可以执行该算法的任何数量的进一步迭代。将理解的是，仅在需要第四处理块259或需要进一步的迭代时才需要第三处理块256。输出全息图280B通常随着每次迭代而变得更好。然而，实际上，通常会达到一个无法观察到的可测量的改进的点，或者执行进一步迭代的正面好处被额外的处理时间所带来的负面影响抵消。因此，该算法被描述为迭代和收敛的。

图2C表示第二次和后续迭代的替代实施例。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，有利于幅度值的替代分布。在该替代实施例中，幅度值的替代分布是从先前迭代的幅度值211的分布中得出的。具体地，处理块258从先前迭代的幅度值211的分布中减去输入图像210的幅度值的分布，通过增益因子α缩放该差，并从输入图像210中减去经缩放的差。通过以下等式在数学上来表达此，其中下标文本和数字表示迭代次数：

R_n+1[x,y]＝F'{exp(iψ_n[u,v])}

ψ_n[u,v]＝∠F{η·exp(i∠R_n[x,y])}

η＝T[x,y]-α(|R_n[x,y]|-T[x,y])

其中：

F'是傅立叶逆变换；

F是正向傅立叶变换；

R[x,y]是第三处理块256输出的复数数据集；

T[x,y]是输入或目标图像；

∠是相位分量；

Ψ是纯相位全息图280B；

η是幅度值211B的新分布；以及

α是增益因子。

增益因子α可以是固定的或可变的。在一些实施例中，基于输入目标图像数据的大小和速率来确定增益因子α。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。

在所有其他方面，图2C的实施例与图2A和图2B的实施例相同。可以说，纯相位全息图Ψ(u,v)包括频域或傅立叶域中的相位分布。

在一些实施例中，使用空间光调制器执行傅立叶变换。具体地，全息图数据与提供光功率的第二数据组合。即，写入空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据会模拟物理透镜，即，它以与相应物理光学元件相同的方式将光聚焦。因此，透镜数据提供了光或聚焦功率。在这些实施例中，可以省略图1的物理傅立叶变换透镜120。在计算机生成的全息术领域中已知如何计算代表透镜的数据。透镜的数据表示可以称为软件透镜。例如，纯相位透镜可以通过计算由透镜的每个点由于其折射率和空间变化的光路长度而引起的相位延迟来形成。例如，在凸透镜的中心的光路长度大于在透镜的边缘的光路长度。纯振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中，还已知如何将代表透镜的数据与全息图相结合，从而可以在不需要物理傅立叶透镜的情况下执行全息图的傅立叶变换。在一些实施例中，通过简单的加法比如简单的矢量加法将透镜化数据与全息图组合。在一些实施例中，物理透镜与软件透镜结合使用以执行傅立叶变换。可替代地，在其他实施例中，完全省略傅立叶变换透镜，使得全息重建在远场中发生。在进一步的实施例中，全息图可以以相同的方式与光栅数据组合，即布置成执行光栅功能(比如光束转向)的数据。同样，在计算机生成的全息术领域中已知如何计算这样的数据。例如，可以通过对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成纯相位光栅。纯振幅光栅可以简单地与纯振幅全息图叠加以提供全息重建的角度转向。

在一些实施例中，傅立叶变换由物理傅立叶变换透镜和软件透镜联合执行。即，由软件透镜提供有助于傅立叶变换的一些光功率，而由一个或多个物理光学器件提供有助于傅立叶变换的其余光功率。

在一些实施例中，提供了一种实时引擎，其布置为使用算法接收图像数据并实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图被预先计算，存储在计算机存储器中并且根据需要被调出以显示在SLM上。即，在一些实施例中，提供了预定全息图的储存库。

实施例仅通过示例的方式涉及傅立叶全息术和Gerchberg-Saxton类型算法。本公开同样适用于通过其他技术比如基于点云方法的技术计算的菲涅耳全息术和全息图。

光调制

可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如果全息图是纯相位全息图，则需要调制相位的空间光调制器。如果全息图是全复数全息图，则可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。

在一些实施例中，空间光调制器的光调制元件(即像素)是包含液晶的单元。即，在一些实施例中，空间光调制器是其中光学活性成分是液晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。即，每个液晶单元在任一时候配置为以从多个可能的光调制水平中选择的一个光调制水平操作。每个液晶单元可动态地重新配置为与多个光调制水平不同的光调制水平。在一些实施例中，空间光调制器是反射型硅基液晶(LCOS)空间光调制器，但本公开不限于这种类型的空间光调制器。

LCOS装置在小孔径(例如几厘米宽)内提供密集的光调制元件或像素阵列。像素通常约为10微米或更小，这导致几度的衍射角，意味着光学系统可以紧凑。充分照射LCOS SLM的小孔径比其他液晶装置的大孔径要容易得多。LCOS装置通常是反射型的，这意味着驱动LCOS SLM像素的电路可以埋在反射表面下。结果导致更高的孔径比。换句话说，像素紧密堆积，这意味着像素之间几乎没有死角。这是有利的，因为它减少了回放场中的光学噪声。LCOS SLM使用硅底板，其优点是像素在光学上是平坦的。这对于相位调制装置特别重要。

下面仅以举例的方式，参考图3来描述合适的LCOS SLM。使用单晶硅基板302形成LCOS器件。其具有方形的平面铝电极301的2D阵列，其间隔开间隙301a，布置在基板的上表面上。可以通过掩埋在基板302中的电路302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如由玻璃制成的平面透明层306上。例如由ITO制成的单个透明电极307设置在透明层306和第二取向层305之间。

每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控的相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透明电极307施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射在其上的光提供可变延迟。效果是向波前提供纯相位调制，即不发生振幅效果。

所描述的LCOS SLM以反射方式输出空间调制光。反射型LCOS SLM具有的优势在于，信号线、光栅线和晶体管位于镜面之下，这导致了高填充因子(通常大于90％)和高分辨率。使用反射型LCOS空间光调制器的另一优势在于，液晶层的厚度可以是使用透射型装置时所需厚度的一半。这大大提高了液晶的切换速度(投影运动视频图像的关键优势)。然而，可以使用透射型LCOS SLM同样地实现本公开的教导。

平视显示器

图4示出了车辆比如汽车中的HUD。在图4中示出了车辆的挡风玻璃430和发动机罩(或引擎盖)435。HUD包括图片生成单元“PGU”410和光学系统420。

PGU 410包括光源、光接收表面460和布置成计算机控制图片的图像内容的处理器(或计算机)。PGU 410布置成在光接收表面460上生成图片或图片序列。光接收表面460可以是屏幕或漫射器。在一些实施例中，光接收表面是塑料(即由塑料制成)。光接收表面设置在回放平面上。然而，光接收表面是可选的，并且全息重建可以在自由空间中形成。根据本公开形成的全息重建都形成在共同的回放平面上。在一些实施例中，多个全息重建叠加在回放平面上。

光学系统420包括输入端口、输出端口、第一镜子421和第二镜子422。第一镜子421和第二镜子422布置成将光从光学系统的输入端口引导至光学系统的输出端口。更具体地，第二镜子422布置成从PGU 410接收图片的光，第一镜子421布置成从第二镜子422接收图片的光。第一镜子421进一步布置为将所接收的图片的光反射到输出端口。因此，从输入端口到输出端口的光路包括从输入到第二镜子422的第一光路423(或第一光路分量)和从第二镜子422到第一镜子421的第二光路424(或第二光路分量)。当然，存在从第一镜子到输出端口的第三光路(或光路分量)，但在图4中未分配附图标记。图4中所示的光学配置由于光路的形状而可被称为“z折叠”配置。

HUD配置和定位在车辆内，使得来自光学系统420的输出端口的图片的光入射到挡风玻璃430上，并且至少部分地被挡风玻璃430反射到HUD的用户440。因此，在一些实施例中，光学系统布置成通过从挡风玻璃反射空间调制光来在挡风玻璃中形成每个图片的虚拟图像。HUD的用户440(例如汽车的驾驶员)看到挡风玻璃430中的图片的虚拟图像450。因此，在实施例中，光学系统布置成在车辆的挡风玻璃上形成每个图片的虚拟图像。虚拟图像450形成在汽车的发动机罩435的下方一定距离处。例如，虚拟图像可以与用户440相距1至2.5米。光学系统420的输出端口与汽车仪表板中的孔对准，从而图片的光由光学系统420和挡风玻璃430引导至用户440。在该配置中，挡风玻璃430用作光学组合器。在一些实施例中，光学系统布置成在系统中包括的附加光学组合器上形成每个图片的虚拟图像。挡风玻璃430或附加光学组合器(如果包括的话)将来自真实世界场景的光与图片的光组合。因此，可以理解，HUD可以提供包括图片的虚拟图像的增强现实。在一些实施例中，图片包括多个叠加的光图案。例如，增强现实信息可以包括导航信息或与机动车辆的速度有关的信息。在一些实施例中，通过以布鲁斯特角(也称为偏振角)或在5度以内的布鲁斯特角(例如2度以内布鲁斯特角)入射到挡风玻璃上来输出形成图片的光。

在一些实施例中，第一镜子和第二镜子布置成折叠从输入到输出的光路，以在不过度增加HUD的物理尺寸的情况下增加光路长度。

在PGU 410的光接收表面460上形成的图片的宽度和高度可能只有几厘米。因此，第一镜子421和第二镜子422共同地或单独地提供放大。即，第一镜子和/或第二镜子可以具有光功率(即屈光度或聚焦力)。因此，用户440看到由PGU形成的图片的放大的虚拟图像450。在一些实施例中，第一镜子421和第二镜子422还可至少部分地校正通常具有复杂弯曲形状的光学畸变，诸如是由挡风玻璃430引起的。镜子中的折叠光路和光功率一起可以适当放大图片的虚拟图像。

本发明的PGU 410包括至少一个全息投影通道。图片生成单元的每个全息投影通道在本文中称为显示通道。根据以上公开，每个全息投影通道包括光源、空间光调制器和控制器。空间光调制器布置为根据在空间光调制器上显示的全息图对光进行空间调制。控制器提供包括计算机生成的全息图的光调制数据(即光调制分布或光调制值阵列，比如相位延迟值阵列)。光调制数据还可以包括其他功能，比如本公开中其他地方描述的光束转向功能。在一些实施例中，控制器选择计算机生成的全息图以从包括多个计算机生成的全息图的储存库(例如存储器)输出。在其他实施例中，控制器实时计算并输出计算机生成的全息图。由PGU 410形成的每个图片是全息重建。即，每个图片是由空间调制光在回放平面上的干涉形成的。

显示通道

本公开涉及一种包括多个单波长显示通道的系统。在一些实施例中，每个单波长显示通道包括形成单波长全息重建(即光图案或图片)的单波长全息投影仪。在共同回放平面上形成多个单波长光图案。可以使用一致的红色、绿色和蓝色全息重建来形成全色可见图像。在一些实施例中，全息图是傅立叶全息图。在其他实施例中，全息图是菲涅耳全息图。

图5示出了红色、绿色和蓝色显示通道。红色显示通道包括第一空间光调制器511、第一透镜521和第一镜子531。绿色显示通道包括第二空间光调制器512、第二透镜522和第二镜子532。蓝色显示通道包括第三空间光调制器513、第三透镜523和第三镜子533。每个单色显示通道在回放平面560上形成单色全息重建(或图片)。可以叠加多个单色全息重建。

第一空间光调制器511显示与红色图像相对应的全息图。第一空间光调制器511用红光照射。第一透镜521从第一空间光调制器511接收空间调制光，并且在回放平面560上形成红色图像。第一镜子531设置在第一透镜521和回放平面560之间。

第二空间光调制器512显示与绿色图像相对应的全息图。第二空间光调制器512用绿光照射。第二透镜522从第二空间光调制器512接收空间调制光，并且在回放平面560上形成绿色图像。第二镜子532设置在第二透镜522和回放平面560之间。

第三空间光调制器513显示与蓝色图像相对应的全息图。第三空间光调制器513用蓝光照射。第三透镜523从第三空间光调制器513接收空间调制光，并且在回放平面560上形成蓝色图像。第三镜子533设置在第三透镜523与回放平面560之间。

第一镜子531是布置为反射红光并且透射绿光和蓝光的第一分色镜。第二镜子532是第二分色镜，其布置为反射绿光并透射蓝光。第三镜子533反射蓝光。

每个单色光路包括从空间光调制器到镜子的第一部分和从镜子到回放平面的第二部分。在实施例中，各个单色显示通道的第一部分在空间上偏移但基本平行。在实施例中，单色显示通道的各个第二部分是基本共线的。

从第一空间光调制器511到回放平面560的红光路径包括从第一镜子531的反射。从第二空间光调制器512到回放平面560的绿光路径包括从第二镜子532的反射，其后是通过第一镜子531的透射。从第三空间光调制器513到回放平面560的蓝光路径包括从第三镜子533的反射，其后是通过第二镜子532的透射，然后是通过第一镜子531的透射。回放平面560、第一镜子531、第二镜子532和第三镜子533基本共线。蓝色路径长度大于绿色路径长度，绿色路径长度大于红色路径长度。具体地，在实施例中，蓝色光路的第二部分比绿色光路的第二部分长，绿色光路的第二部分又比红色光路的第二部分长。在这些实施例中，第一部分的长度可以基本相等。

红色、绿色和蓝色显示通道是平视显示器的图片生成单元的一部分。仅通过示例描述了红色、绿色和蓝色显示通道。图片生成单元可以包括任意数量的单波长可见光显示通道。

图5还示出了包括第四空间光调制器514、第四透镜524和第四镜子534的红外显示通道。红外显示通道还在回放平面560上形成全息重建。由红外显示通道形成的全息重建是红外光图案。红外光图案可能会叠加图片。即，红外光图案可以与由可见光显示通道形成的单色光图案至少部分地重叠。

第四空间光调制器514显示与红外光图案相对应的全息图。第四空间光调制器514用红外光照射。第四透镜524从第四空间光调制器514接收空间调制光，并在回放平面560上形成红外光图案。第四镜子534设置在第一透镜524和回放平面560之间。

从第四空间光调制器514到回放平面560的红外光路径包括从第四镜子524的反射，其后通过第三镜子533透射，然后通过第二镜子532透射，最后通过第一镜子531透射。因此，第三镜子533也是透射红外光的分色镜。第四镜子534与回放平面560、第一镜子531、第二镜子532和第三镜子533基本共线。对于本领域技术人员显而易见的是，可以以任何方式对多个显示通道中的显示通道进行排序。本领域技术人员将能够为显示通道的任何顺序选择合适的分色镜。红外显示通道仅通过示例在图5中示出为最长的光路。例如，红外光通道具有最短的光路长度可能是有益的。在结构和光学上，红外显示通道与可见光显示通道集成在一起。然而，从功能上讲，红外显示通道不是图片生成单元的一部分，如从下面将更好地理解。

图6示出了根据本公开的平视显示器的关键部件。值得注意的是，红外显示通道的部件是驾驶员监视系统650的一部分。

具体地，图6示出了包括多个单色可见光通道的图片生成单元600。图片生成单元600布置为接收用于投影的输入图像605。每个可见光通道包括单独的控制器610、620、630，其布置成确保接收到的用于投影的图像被忠实地投影。在图6的实施例中，提供了红色控制器610、绿色控制器620和蓝色控制器630。

红色控制器610控制布置成通过全息投影在回放平面上形成红色光图案的红色光显示通道。红光的波长可以是640nm+/-25nm。绿色控制器620控制布置为通过全息投影在回放平面上形成绿色光图案的绿色光显示通道。绿光的波长可以是530nm+/-25nm。蓝色控制器630控制布置为通过全息投影在回放平面上形成蓝色光图案的蓝色光显示通道。蓝光的波长可以是450nm+/-25nm。可以将三个单色光图案叠加在回放平面上，以形成每个输入图像的全色重建。

图片生成单元600接收用于确保忠实地再现输入图像的多个不同输入。每个控制器610、620、630协调相应的激光二极管驱动器612、622、632和空间光调制器驱动器614、624、634。每个激光二极管驱动器612、622、632驱动相应的激光二极管616、626、636。每个空间光调制器驱动器614、624、634驱动相应的空间光调制器618、628、638。每个控制器协调空间光调制器和激光二极管对，以便显示和照射所需的光调制图案。特别地，每个控制器610、620、630确保相应的空间光调制器618、628、638与对应的激光二极管616、626、636同步。

红色控制器610确定计算机生成的全息图，当其显示并用红光照射时，全息图将重建输入图像605的红色图像内容。红色控制器610可以基于红色图像内容来计算计算机生成的全息图，或者可以从存储器中检索预先计算的计算机生成的全息图。红色控制器610可以将计算机生成的全息图与其他功能比如光束转向功能或透镜功能组合，如本公开中的其他地方所述，以使得包括计算机生成的全息图的光调制图案适当地显示在各个空间光调制器上。红色控制器610可以在计算全息图之前使每个输入图像的红色图像内容失真，以便补偿诸如光学组合器之类的光学器件中测量的不均匀性。

绿色控制器620确定计算机生成的全息图，当其显示并用红光照射时，全息图将重建输入图像605的绿色图像内容。绿色控制器620可以基于绿色图像内容来计算计算机生成的全息图，或者可以从存储器中检索预先计算的计算机生成的全息图。绿色控制器620可以将计算机生成的全息图与其他功能诸如光束转向功能或透镜功能组合，如本公开中的其他地方所述，以使得包括计算机生成的全息图的光调制图案适当地显示在各个空间光调制器上。绿色控制器620可以在计算全息图之前使每个输入图像的绿色图像内容失真，以补偿诸如光学组合器之类的光学器件中测量的不均匀性。

蓝色控制器630确定计算机生成的全息图，当其显示并用红光照射时，全息图重建输入图像605的蓝色图像内容。蓝色控制器630可以基于蓝色图像内容来计算计算机生成的全息图，或者可以从存储器中检索预先计算的计算机生成的全息图。蓝色控制器630可以将计算机生成的全息图与其他功能比如光束转向功能或透镜功能组合，如本公开中的其他地方所述，以使得包括计算机生成的全息图的光调制图案适当地显示在各个空间光调制器上。蓝色控制器630可以在计算全息图之前使每个输入图像的蓝色图像内容失真，以补偿诸如光学组合器之类的光学器件中测量的不均匀性。

图6还示出了驾驶员监视系统650，其包括相机660和IR控制器670。相机660布置为捕获驾驶员的红外图像。驾驶员监视系统650还包括图像处理器662，其布置成处理捕获的驾驶员的图像并确定驾驶员的绝对位置或驾驶员的位置变化。例如，图像处理器662可以眼睛跟踪或头部跟踪。驾驶员监视系统650输出代表驾驶员位置的数据。IR控制器670包括激光二极管驱动器672、激光二极管676、空间光调制器驱动器674和空间光调制器678，其布置成用红外光照射驾驶员以改善图像捕获。IR波长可以是1200至1800nm，例如1500至1600nm。IR控制器670确定将形成红外光图案的计算机生成的全息图。可以通过动态地改变显示的光调制图案来动态地改变红外光图案。例如，可以通过改变与计算机生成的全息图相结合的光束转向(例如光栅)功能来响应驾驶员头部移动来线性地移位红外光图案。可以改变红外光图案以便在低反射率区域中增加红外光的强度。IR控制器可以从图像处理器662接收关于驾驶员的位置信息，并基于该位置信息确定红外光图案。例如，IR控制器可以配置为确保用IR光均匀照射驾驶员的面部。可以形成任何期望的红外光图案，并且技术人员将理解，所描述的反馈系统可以如何与红外显示通道配合，以便为驾驶员监视系统650提供可动态改变的IR照射系统。

在一些实施例中，平视显示器还包括存储器。存储器可以包含预先计算的全息图的储存库。存储器可以包含校正数据，比如红外校正图和/或可见光校正图。在一些实施例中，校正图被提供给一个或多个显示通道控制器。可以将红外校正图提供给红外显示通道的控制器。可以将可见光校正图提供给可见光显示通道的控制器。每个校正图代表平视显示器的系统范围光学响应。每个校正图都是特定于波长的。红外校正图代表平视显示器对红外显示通道的红外光的系统范围光学响应。可见光校正图代表平视显示器对可见光显示通道的可见光的系统范围光学响应。在回放平面处形成的光图案可能无法完美地中继到眼盒。即，光图案可能会发生一些不需要的改变。例如，该改变可以是光图案的空间变化的畸变或光图案的亮度的空间变化的改变。同样，该改变可以是波长依赖性的。

在一些实施例中，光学组合器是车辆的挡风玻璃。在一些实施例中，光图案在回放平面处形成在屏幕(例如漫射器)上。光图案的变化可能是由平视显示器的光学部件比如光学组合器或屏幕引起的。在一些实施例中，校正图补偿挡风玻璃的空间变化的光功率。在一些实施例中，校正图补偿屏幕的不均匀扩散率。校正图提供了系统范围校正，其确保眼盒内的光分布忠实地重建输入图像。根据本公开，通过从像素化显示设备(即空间光调制器)全息投影形成光图案。像素化结构形成亮度可能不均匀的全息回放场。使用本文所述的校正图可以校正这种不均匀性。

在一些实施例中，为眼盒内观看者的多个不同的头部或眼睛位置提供校正图。更具体地，为每个通道以及眼盒内观看者的多个头部或眼睛位置中的每个提供唯一的校正图。这是因为在每个视点处形成的图像是由特定的光线束形成的，该束中的每个光线都遵循通过系统的特定光线路径。光线可以穿过部件(例如透镜)的不同部分，并且可以从其他部件(例如光学组合器)的不同部分反射。因此，头部或眼睛跟踪信息用于确定输出到红外显示通道的控制器的红外校正图和输出到可见光显示通道的控制器的可见光校正图。每个校正图补偿平视显示器的系统范围光学响应，从而使中继到眼盒的每个光分布忠实于输入(或源)光图案，而与眼盒内的眼睛位置无关。

可以使用光线跟踪从眼盒内的不同位置确定每个校正图。可替代地，可以在校准过程中确定每个校正图。校准过程可以包括使用相机从眼盒捕获图像。即，校准过程包括将相机定位在眼盒中的不同位置并捕获中继的光图案的图像。可以将捕获图像与输入(或源)图像进行比较。可以在眼盒内的多个点处测量每个捕获图像和输入图像之间的差异。例如，可以将光斑阵列投影到眼盒中。每个光斑的相对亮度可用于形成每个波长的亮度校正图。本领域技术人员将理解如何可以使用这种测量来形成亮度校正图。亮度校正图可被认为是亮度增益值阵列。在确定相应的全息图之前，可以使用亮度校正图对用于投影的每个输入图像或图案进行预处理。

在一些实施例中，图片生成单元接收彩色图像以进行投影。图片生成单元将彩色图像分成红色、绿色和蓝色图像分量，并将每个发送到相应的单色显示通道。每个单色显示通道的控制器使用对应的单色校正图对接收的单色图像进行预处理(例如乘以亮度校正图的倒数)，然后计算与单色图像相对应的全息图。在一些实施例中，使用上述傅立叶全息图计算方法实时地计算每个全息图。同样，驾驶员监视系统可以在使用红外校正图比如红外亮度校正图对图像数据进行预处理之后实时地确定(例如计算)与期望的红外光图案相对应的全息图。

将理解的是，在一些实施例中，图片生成单元和/或驾驶员监视系统基于头部或眼睛跟踪系统使用反馈来改变全息图(或光调制图案)并因此改变投影的光图案。如上所述，红外光图案可被移动或成形以补偿头部移动。此外，在一些实施例中，来自头部或眼睛跟踪的反馈用于从多个校正图确定(例如选择)校正图。这是因为对于每个波长而言校正图取决于眼盒内的视点。因此，如果观看者移动，则应为每个显示通道使用不同的校正图。所描述的反馈系统用于识别红外显示通道的校正图和/或可见光显示通道的校正图。将理解的是，针对多个眼盒位置获得校正图，并且识别适当的校正图可以包括针对最近的测量视点识别校正图。

值得注意的是，使用计算机生成的全息图可以动态地重新配置照射眼盒区域内的观看者的红外光图案的总体形状。因此，没有必要用红外光广泛地泛滥在车辆内部来确保可以获得头部或眼睛跟踪数据。此外，红外显示通道由与图片生成单元的图片相同的光学系统中继。因此，红外光场有利地被限制在眼盒区域。即，不需要用红外光照射眼盒外部的区域。在一些实施例中，光学组合器包括光学涂层，其配置为增加在红外波长下的反射率。在一些实施例中，驾驶员监视系统的相机设置在光学系统的镜子之一的后面，并且该镜子适于在红外波长下透射。在其他实施例中，相机位于可见光显示通道之一(例如红光显示通道)的分色镜(例如第一镜子531)的后面。

其他示例

图7A和7B示出了示例平视显示系统，其包括驾驶员监视系统，驾驶员监视系统包括红外照射系统和图像捕获设备。

图7A示出了平视显示系统的横截面。平视显示器包括自由曲面镜706，其布置成将来自图片生成单元(未示出)的图片的光中继到眼盒中的观看者710。平视显示器包括眩光捕获器704。图7A示出了从观看者710到红外图像捕获设备712的红外光路径714。观看者710用红外光照射，这将在下面参考图7B进行说明。红外光路径714包括从车辆挡风玻璃702的内表面的反射和分束器708的反射。分束器708对红外光反射并且对可见光透射。因此，分束器708不会破坏一个或多个可见光图案的光。值得注意的是，红外图像捕获设备712位于平视显示器的体积内。红外相机位于防护玻璃下方。眩光捕获器704可透射红外光。

图7B示出了眩光捕获器704的俯视图。在眩光捕获器旁边封装有红外光源阵列，例如红外光源718。可选地，利用对可见光不透射并且对红外光透明的迷彩膜来包装红外光源。红外光源布置成发射红外光。所有发射的红外光被引导至眼盒。

因此，提供了一种平视显示器，包括：图片生成单元、包括至少一个镜子的光学系统、防护玻璃和对红外光反射并且对可见光透射的分束器，其中，该平视显示器的特征在于还包括设置在光学系统的体积内的红外图像捕获设备和封装在眩光捕获器的顶部的多个红外光源，其中红外光源布置成仅照射眼盒区域。

附加特征

实施例仅通过示例的方式涉及电激活的LCOS空间光调制器。本公开的教导可以等同地在能够显示根据本公开的计算机生成的全息图的任何空间光调制器上实现，例如任何电激活的SLM、光学激活的SLM、数字微镜设备或微机电设备。

在实施例中，全息重建是彩色的。在一些实施例中，被称为空间分离的颜色“SSC”的方法用于提供彩色全息重建。SSC方法对三个单色全息图使用三个空间分离的空间光调制器。SSC方法的优点是图像可以非常明亮，因为所有三个全息重建都可以同时形成。

本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为临时或永久地存储数据的介质，比如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。

术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。

对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims

1.一种具有眼盒的平视显示器，该平视显示器包括：

驾驶员监视系统，其布置成照射并监视驾驶员，其中，所述驾驶员监视系统包括红外显示通道，该红外显示通道包括：

布置成发射红外光的红外光源；以及

全息图，其布置成接收来自红外光源的红外光，并根据全息图输出空间调制光以在回放平面上形成红外光图案，其中，所述平视显示器还包括：

图片生成单元，其布置成在回放平面上显示图片，其中，所述图片生成单元包括可见光显示通道，其中，所述可见光显示通道包括：

可见光源，其布置成发射可见光；

空间光调制器，其布置成接收来自可见光源的可见光并根据在空间光调制器上显示的计算机生成的全息图输出空间调制光，以在回放平面上形成可见光图案；以及

控制器，其布置成将包括计算机生成的全息图的光调制分布输出到空间光调制器，其中，所述平视显示器还包括：

光学系统，其布置成将红外光图案和可见光图案从回放平面中继到眼盒，其中，所述光学系统包括：

输入，其布置成接收红外光图案和可见光图案；

输出，其布置成输出红外光图案的光和可见光图案的光；以及

至少一个镜子，其布置成沿光路将来自输入的光引导至输出。

2.如权利要求1所述的平视显示器，其还布置成用红外光照射所述眼盒。

3.如前述权利要求中任一项所述的平视显示器，还布置成使得来自所述红外显示通道的所有红外光被引导到所述眼盒。

4.如前述权利要求中任一项所述的平视显示器，其中，由所述红外显示通道形成的光图案是结构化或成形的红外光图案。

5.如前述权利要求中任一项所述的平视显示器，其中，照射所述眼盒的红外光的强度是基本均匀的。

6.如前述权利要求中任一项所述的平视显示器，其中，所述红外显示通道与所述可见光通道至少部分地集成在一起。

7.如前述权利要求中任一项所述的平视显示器，其中，所述红外显示通道的至少一部分与所述可见光显示通道的相应部分基本共线。

8.如前述权利要求中任一项所述的平视显示器，其中，所述驾驶员监视系统还包括图像捕获设备，其布置成捕获观看者的图像。

9.如前述权利要求中任一项所述的平视显示器，其中，所述红外显示通道的全息图是计算机生成的全息图，并且所述红外显示通道还包括：

空间光调制器，其布置成显示计算机生成的全息图；以及

控制器，其布置成将包括计算机生成的全息图的光调制分布输出到空间光调制器。

10.如权利要求9所述的平视显示器，其中，所述驾驶员监视系统还包括图像处理器，其布置成接收所捕获的观看者的图像并提供输入，该输入确定由至少一个控制器输出的光调制分布且因此确定在回放平面上形成的相应光图案。

11.如权利要求9或10所述的平视显示器，其中，所述红外显示通道的控制器还布置成：

接收第一输入，其包括用于使用红外光投影的光图案；

接收第二输入，其包括红外校正数据；以及

基于所述第一输入和第二输入来确定光调制分布。

12.如权利要求9至11中任一项所述的平视显示器，其中，所述可见光显示通道的控制器还布置成：

接收第一输入，其包括用于使用可见光投影的图像；

接收第二输入，其包括可见光校正数据；以及

基于所述第一输入和第二输入来确定光调制分布。

13.如权利要求1至8中任一项所述的平视显示器，其中，所述红外显示通道的全息图是在记录介质中的固定全息记录。

14.如前述权利要求中任一项所述的平视显示器，其中，从光学组合器的反射角近似等于布鲁斯特角，和/或其中每个光源发射的光是偏振的，并且可选地其中，每个光源是激光二极管。

15.一种平视显示系统，包括：前述权利要求中任一项所述的平视显示器；以及光学组合器，其布置成接收来自光学系统的输出的光并且将光引导至所述眼盒，可选地，其中，所述光学组合器是车辆的部件，比如挡风玻璃。