CN111164968B - 用于在双重调制投影系统中显示高质量图像的系统和方法 - Google Patents

Abstract

一种新颖的高效率图像投影系统包含光束转向调制器、振幅调制器和控制器。在特定实施例中，所述控制器从图像数据生成光束转向驱动值，且使用所述光束转向驱动值驱动所述光束转向调制器。另外，所述控制器利用所述光束转向驱动值以生成由所述光束转向调制器投影到所述振幅调制器上的光场的光场模拟。所述控制器利用所述光场模拟以生成用于驱动所述振幅调制器的振幅驱动值，以便投影由所述图像数据描述的图像的高质量版本。

Description

用于在双重调制投影系统中显示高质量图像的系统和方法

相关申请的交叉引用

本申请要求2017年9月25日提交的第62/562,937号美国专利申请和2017年9月25日提交的第17192946.6号欧洲专利申请的优先权，以上申请的全文特此以引用的方式并入。

技术领域

本发明大体上涉及双重调制投影系统，且更具体地说，涉及用于生成高对比度、高亮度和高质量图像的系统和方法。

背景技术

一些双重调制投影系统利用预调制器和主调制器来投影高质量图像(即，具有高对比度、高动态范围等的图像)，所述预调制器和主调制器都是空间光调制器(SLM)。预调制器向主调制器提供中间图像，所述中间图像可为由对应图像数据限定的所要图像的粗略近似。通常，预调制器是将光重定向于相对于预调制器的表面的各种角度的光束转向装置，或者在空间上更改入射光场的振幅分布的振幅调制装置。例如数字微镜装置(DMD)等一些SLM是技术上的光束转向调制器，但可用以产生感知振幅调制且经常称为振幅调制器。

主调制器在空间上调制中间图像以形成最终图像，最终图像是由图像数据限定的所要图像的较精细表示。通常，主调制器是振幅调制器。振幅调制器的实例包含但不限于硅上液晶(LCOS)装置、DMD等等。为了驱动主调制器以产生具有足够质量的最终图像，必须以高细节水平了解中间图像。因此，存在与驱动预调制器和主调制器以生成最终图像的可接受质量相关联的若干问题。

与驱动预调制器相关联的主要问题是确定所需的预调制器驱动值以生成具有足够质量的中间图像，同时维持计算效率。另一问题是确定高效利用入射于预调制器上的光场的驱动值。这些问题在利用光束转向装置作为预调制器的系统中特别难以解决。

与驱动主调制器相关联的主要问题是模拟具有足够细节的中间图像以确定所需的主调制器驱动值，同时维持计算效率。

发明内容

本发明的实施例通过提供一种双重调制显示系统和驱动方法来克服与现有技术相关联的问题，所述系统和方法使用光束转向空间光调制器作为预调制器以在主调制器上提供入射光场来产生高效率、高质量图像。本发明促进了在光束转向预调制器生成光场时改善的效率和控制以及在对生成的光场建模时增加的准确性。

本发明的实施例涉及一种方法和控制器。本文揭示的方法中的任一个可用其中实施有代码的非暂时性电子可读媒体来实施，所述代码当执行时将致使电子装置执行所揭示的方法。非暂时性电子可读媒体的实例包含但不限于易失性存储器、非易失性存储器、硬件、软件、固件和/或前述实例的任何组合。

附图说明

参考以下附图描述本发明，其中相同附图标记表示大体上相同的元件：

图1是实例双重调制投影系统的框图；

图2是图1的控制器的框图；

图3是说明用以驱动图1的投影系统的其它组件的图1的控制器的模块之间的实例数据流的框图；

图4是概述用于从图像数据生成光束转向驱动值的实例方法的流程图；

图5是图1的光束转向调制器和振幅调制器的表面的几何表示；

图6A是其上投影实例所要光场图像的图1的振幅调制器的前视图；

图6B是当用以生成用于驱动图1的光束转向调制器的光束转向驱动值时生成图6A的所要图像的实例相位函数的图式；

图7A是说明图1的光束转向调制器相对于步骤数目的效率的曲线图；

图7B是说明每转向元件具有无限步数(例如，像素)的光束转向相位调制器的一阶衍射效率的曲线图；

图7C是说明每转向元件具有3个步骤(例如，像素)的光束转向相位调制器的一阶衍射效率的曲线图；

图8A是说明包含图1的振幅调制器的整个区域的实例边界条件的图式；

图8B是说明另一实例边界条件的图式，其为所要图像的至少部分的简单几何轮廓；

图8C是说明又一实例边界条件的图式，其为所要图像中的一组对象的轮廓；

图8D是说明另一实例边界条件的图式，其为所要图像的至少部分的分段线性近似；

图8E是说明又一边界条件的图式，其涵盖图1的振幅调制器以及额外光学元件；

图9是概述用于从图像数据生成光束转向驱动值的另一实例方法的流程图；

图10A是说明图1的投影系统将显示的实例图像的图式；

图10B是说明使用对应于图10A的图像的图像数据的图9的方法的结果的图式；

图11是概述用于从图像数据生成光束转向驱动值的又一实例方法的流程图；

图12A是图1的光束转向调制器和振幅调制器的部分的截面图，示出实例相位元件；

图12B示出图1的振幅调制器的一部分，其上聚焦所要图像；

图12C是图1的光束转向调制器和振幅调制器的部分的截面图，示出多个实例相位元件；

图12D是图1的光束转向调制器的一部分的俯视图，示出布置于其中的图12C的相位元件；

图12E是图1的光束转向调制器的图12D的部分的俯视图，示出较大数目的图12C的相位元件；

图12F是图1的光束转向调制器的图12E的部分的俯视图，示出甚至更大数目的图12C的相位元件；

图12G是图1的光束转向调制器的图12F的部分的俯视图，示出从无限数目的图12C的相位元件得到的复合相位元件；

图12H是图1的振幅调制器的俯视图，由图12G的复合相位元件形成的图像形成于其上；

图12I是概述用于执行图11的方法的第五步骤(生成光束转向驱动值)的实例方法的流程图；

图13是概述用于从图像数据生成光束转向驱动值的又一实例方法的流程图；

图14A是说明图1的振幅调制器与光束转向调制器之间的波场的向后传播的图式；

图14B是说明图1的光束转向调制器与振幅调制器之间的波场的向前传播的图式；

图15是概述用于从图像数据生成光束转向驱动值的另一实例方法的流程图；

图16是说明图15的方法的一个实例的图式；

图17是概述用于基于光束转向驱动值集合生成光场模拟的实例方法的流程图；

图18是图1的光束转向调制器和振幅调制器的截面图，说明图17的方法的一个实例；

图19A是说明图17的方法的变化(线元素的平移)的图式；

图19B是说明图17的方法的另一变化(区域元素的平移)的图式；

图20是概述用于基于光束转向驱动值集合生成光场模拟的另一实例方法的流程图；

图21是图1的光束转向调制器和振幅调制器的截面图，说明图20的方法的概念；

图22是概述用于基于光束转向驱动值集合生成光场模拟的又一实例方法的流程图；

图23A是利用光学传感器实施图22的方法的实例投影系统的框图；

图23B是利用光学传感器实施图22的方法的另一实例投影系统的框图；

图23C是利用光学传感器实施图22的方法的又一实例投影系统的框图；

图24是概述用于在从光束转向驱动值和图像数据生成光场模拟的同时改进时延的实例方法的流程图；

图25是概述用于基于光束转向驱动值集合生成光场模拟的又一实例方法的流程图；以及

图26是在校准程序期间图1的投影系统的一部分的截面图。

具体实施方式

本发明通过提供用于显示高对比度、高亮度和高质量图像的多个系统和方法来克服与现有技术相关联的问题。在以下描述中，阐述许多具体细节(例如，特定调制器类型、调制器数目等)以便提供对本发明的彻底理解。然而，本领域的技术人员将认识到，可以在无这些具体细节的情况下实践本发明。在其它实例中，已经省略众所周知的图像投影实践(例如，数据传送、驱动方案、例程优化等)和组件的细节，以免不必要地混淆本发明。

图1是根据本发明的双重调制投影系统100的框图。投影系统100从图像数据生成高质量图像，且包含光源102、光束转向调制器104、振幅调制器106、投影光学器件108和控制器110。光源102将平坦光场照射到光束转向调制器104上。光束转向调制器104选择性地转向包括平坦光场的光的部分通过一组中间光学器件112且到振幅调制器106上，以在振幅调制器106的表面上形成中间图像。振幅调制器106在空间上调制中间图像以形成被导向投影光学器件108的最终图像。投影光学器件108是一组透镜、棱镜和/或镜，其朝向观众将观看的屏幕或其它表面引导最终图像。

控制器110基于从数据源(未图示)接收的图像数据控制且协调投影系统100的其它元件。控制器110至少部分地基于接收的图像数据将控制指令提供到光源102、光束转向调制器104和振幅调制器106。控制指令至少包含分别发送到光束转向调制器104和振幅调制器106的光束转向驱动值和振幅驱动值。这些控制指令驱动光束转向调制器104和振幅调制器106以便生成中间和最终图像。控制器110利用在下文详细论述的许多方法和算法以基于接收的图像数据生成驱动值，并且还基于光场模拟生成振幅驱动值。

在实例实施例中，光源102是可调谐激光器的阵列。在替代实施例中，光源102可被发光二极管(LED)阵列、可调光的灯泡和适当光学器件或任何其它合适的光源代替，包含那些现在已知的或有待发明的光源。另外，光束转向调制器104和振幅调制器106可分别为液晶相位和振幅空间光调制器(SLM)。在替代实施例中，光束转向调制器104可为顶端倾斜镜装置、微机电系统(MEMS)装置或任何其它光转向装置，包含那些现在已知或有待发明的装置。振幅调制器106可为数字微镜装置(DMD)或任何其它合适的振幅调制装置，包含那些现在已知或有待发明的装置。

在实例实施例的描述中，光束转向调制器104和振幅调制器106如此命名以区分用以转向光以在主调制器上产生光场的SLM(光束转向调制器104)和调制光场的选定部分以产生用于查看的图像的SLM(振幅调制器106)。然而，这些术语不是以限制性意义使用。举例来说，DMD沿着光学路径或在光学路径外选择性地转向光，但通过时分多路复用被转向到图像中或图像外的光的量以产生中间灰阶(感知振幅调制)而用作振幅调制器。作为另一实例，液晶SLM选择性地更改光的相位，且因此可被视为相位调制或光束转向装置。然而，液晶的双折射性质也导致偏振旋转，并且因此液晶SLM可与内部或外部偏振器一起使用以提供振幅调制。因此，称为“振幅调制器”、“相位调制器”或“光束转向调制器”的装置应理解为包含能够单独或与其它装置组合地执行标题功能的任何装置。

图2示出控制器110，其包含数据传送接口202、非易失性数据存储装置204、一个或多个处理单元206，和工作存储器208。控制器110的组件经由互连于控制器110的组件之间的系统总线210彼此通信。数据传送接口202控制进出控制器110的数据传送，所述数据包含图像数据和控制指令。非易失性数据存储装置204存储数据和代码且即使当控制器110掉电时也保持所述数据和代码。处理单元206通过执行存储于非易失性数据存储装置204和/或工作存储器208中的代码来对控制器110赋予功能性。

工作存储器208提供数据和代码的临时存储。控制器110的一些功能性由工作存储器208内示出的数据和代码模块表示。数据和代码模块从非易失性数据存储装置204(完全或部分地)传送进出工作存储器208，如处理单元206对代码的执行所确定。可例如以硬件、软件和/或固件的任何组合实施数据和代码模块。

工作存储器208包含控制/协调模块212、数据缓冲器214、通信模块216、系统配置设定218、校准模块220、光学数据库222、光束转向模块224、光场模拟模块226和振幅模块228。控制/协调模块212是提供控制器110的其它功能方面的总体协调和控制的较高级程序。数据缓冲器214临时存储将由控制器110的其它组件利用的数据。通信模块216促进与外部装置的通信以便发送/接收代码/控制指令。系统配置设定218包含部分地控制控制器110的其它组件的操作的用户定义的设定。校准模块220包含用以校准投影系统100的数据和算法。光学数据库222是包含可由控制器110的其它组件参考的多种光学元件的定义和/或特性的数据库。光束转向模块224包含用于从图像数据生成光束转向驱动值的数据和算法。光场模拟模块226包含用于从光束转向驱动值生成由光束转向调制器104生成的光场的模拟的数据和算法。振幅模块228包含用于从图像数据和光场模拟生成振幅驱动值的数据和算法。

图3是说明用以驱动图1的投影系统的其它组件的图1的控制器的模块之间的实例数据流的框图。图3所示的模块在控制器110的工作存储器208(图2)内存储和执行。首先，光束转向模块224从数据传送接口202接收图像数据。使用下文将更详细地描述的多种方法和/或算法中的一个(或多个)，光束转向模块224从图像数据生成用于驱动光束转向调制器104(图1)的驱动值集合。光束转向驱动值经提供以驱动光束转向调制器104，并且还提供到光场模拟模块226，以用于生成振幅调制器106上的所得光场的模拟。使用多种方法和/或算法中的一个(或多个)，光场模拟模块226生成光场模拟，其将用于生成用于驱动振幅调制器106的驱动值集合。光场模拟直接提供到振幅模块228。振幅调制器使用一个(或多个)方法和/或算法以从光场模拟和图像数据生成用于驱动振幅调制器106的驱动值集合，且将振幅驱动值提供到振幅调制器106。

在实例实施例中，光束转向模块224、光场模拟模块226和振幅模块228各自利用来自系统配置设定218、校准模块220和光学数据库222的相关数据。举例来说，光束转向模块224和光场模拟模块226利用来自光学数据库222的描述光学器件112的特性的数据，以便预测光学器件112将如何影响由光束转向调制器104生成的光场。光束转向模块224和光场模拟模块226也可利用来自系统配置设定218或校准模块220的数据以确定光学器件112放置于何处、在校准期间光学器件112如何影响光场等。利用来自系统配置设定218、校准模块220和光学数据库222的数据，光束转向模块224、光场模拟模块226和振幅模块228一起能够生成经由投影系统100产生高质量图像所需的光束转向和振幅驱动值。

图4是概述用于从图像数据生成光束转向驱动值的实例方法400的流程图。在实例实施例中，光束转向驱动模块224利用来自控制器110的其它元件的数据执行方法400。在替代实施例中，方法400的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤402中，定义描述光束转向调制器104与振幅调制器106之间的光映射的微分方程。微分方程鉴于光束转向调制器104和振幅调制器106的表面上的点而在数学上描述光束转向调制器104与振幅调制器106之间的光传播。随后在第二步骤404中，使用振幅调制器106上的所要光场(从图像数据导出)作为微分方程中的参数。接下来，在第三步骤406中，利用多个边界条件中的一个来求解微分方程。微分方程的解描述了在振幅调制器106的表面上生成所要光场所需的在光束转向调制器104的表面处的光场。基于所要光场的特性选择适当的边界条件。最终，在第四步骤408中，至少部分地基于微分方程的解来生成光束转向驱动值。下文将参考图5-8E更详细论述方法400。

图5是描绘包含光束转向调制器104和振幅调制器106的投影系统100的一部分的几何图式。光束转向调制器104与第一坐标系502共面，所述第一坐标系包含x-轴504和y-轴506。坐标系502将光束转向调制器104的表面上的每一位置定义为点508，经标记为P(x,y)。在实例实施例中，具有整数值x和y坐标的每一点P指代光束转向调制器104的像素的位置。标记为

的向量510表示将形成入射于光束转向调制器104上的光场的一部分的光束。入射光场由光束转向调制器104根据相位函数512更改，所述相位函数经标记为

其在数学上表示用以驱动光束转向调制器104的光束转向驱动值。相位函数512描述由光束转向调制器104在入射光场中引发的改变，这导致图像投影到振幅调制器106上。

振幅调制器106与第二坐标系514共面，所述第二坐标系包含t_x-轴516和t_y-轴518。第二坐标系514平行于第一坐标系502且与第一坐标系502分离一个距离t_z，其在实例实施例中等于光束转向调制器104与振幅调制器106之间的距离。坐标系514将振幅调制器106的表面上的每一位置定义为点520，经标记为T(t_x,t_y)。在实例实施例中，具有整数值t_x和t_y坐标的每一点T指代振幅调制器106的像素的位置。标记为

的向量522表示在光束转向调制器104与振幅调制器106之间行进的光束。此光束的方向由相位函数

512确定，且光束形成所要图像524的一部分，经标记为E(t_x,t_y)。因此，所要图像524由相位函数512确定。

图6A是其上投影有实例所要图像602的振幅调制器106的前视图。所要图像602简单地为定位于振幅调制器106的中心的明亮的圆。如图5所示，所要图像602可在数学上由函数E(t_x,t_y)表达，其基于t_x和t_y的位置输入而输出强度值。

图6B是实例相位函数604的表示，其当用以生成用于驱动光束转向调制器104的光束转向驱动值时生成所要图像602。如图5所示，相位函数604可在数学上由函数

表达，其基于x和y的位置输入而输出角度(解译为相位改变)。

-轴606示出赋予入射于所述区上的光束的相位改变的量值，以弧度计。

大体上，相位函数512(具体地，相位函数604)用以朝向振幅调制器106转向光，以便形成所要图像524(所要图像602)。在x方向和y方向上经转向光的角度分别与

相对于x和y的偏导数成比例。因此，相位函数512根据以下映射函数将光束转向调制器104上的点508有效地映射到振幅调制器106上的对应点520上：

其中M(x,y)针对给定相位函数

将有序对(x,y)映射到对应的有序对(t_x,t_y)。

为了确定相位函数512且因此映射函数，定义微分方程。所述微分方程在数学上描述系统的方面，包含光束转向调制器104和振幅调制器106的相对位置、光束转向调制器104上的入射光场、所要图像524等。另外，定义微分方程以使得其体现最小偏转问题/解，以便最大化投影系统100中的效率。

图7A是说明光束转向调制器104相对于步骤数目的效率的曲线图，所述效率与转向角度成反比。图7B是说明每转向元件具有无限步数(例如，像素)的光束转向相位调制器的一阶衍射效率的曲线图。图7C是说明每转向元件具有3个步骤(例如，像素)的光束转向相位调制器的一阶衍射效率的曲线图。

在实例实施例中，光束转向调制器104是液晶空间光调制器(SLM)，其通过在所得光场中产生相长和相消干涉而充当离散化光栅以转向入射光。由轴线702所示的光栅中的步数决定了入射光经转向的角度。对于具有给定固定像素间距的SLM，较高步数对应于较平直的转向角度。曲线图示出效率随着步数增加，这意味着效率随着转向角度增加而减小。因此，最小偏转问题适合于确定相位函数512，同时最大化投影系统100的光学效率。

在实例实施例中，用于确定相位函数512的微分方程是Monge-Ampère类型二阶微分方程，如下所示：

其中I(x,y)描述入射于光束转向调制器104上的光场且E(t_x(x,y),t_y(x,y))描述以第一坐标系502的x和y坐标表达的所要图像524。此方程可使用多种计算方法来接近，包含但不限于牛顿方法。当求解时，微分方程提供使用最小可能的转向角度将入射光场映射到所要图像上的相位函数。然而，在替代实施例中，可以使用不同方程。举例来说，MEMS装置和/或顶端倾斜镜装置可提供在倾斜转向角度处不经受效率损失的光束转向装置。在利用这些装置的系统中，最小偏转问题对于优化效率不是必要的，并且因此，可使用不同微分方程。

求解上方的方程生成多个不同解。所述多个解的仅特定子集适合于生成可有效地用以生成光束转向驱动值的相位函数。为了确定特定子集中包含哪些解且子集中的哪一个解是最佳的，仅利用具有特定边界条件的解。边界条件基于所要图像524的内容描述所要图像524的优选边界，且将E(t_x(x,y),t_y(x,y))的值设定为在边界之外为零，从而有效地将来自光束转向调制器104的经转向光引导到边界和仅边界内的区域。

图8A-8E说明可用于求解微分方程的各种类型的边界条件。图8A说明边界条件802，经标记为

其涵盖振幅调制器106的整个区域。在此实例中，边界条件802基本上与振幅调制器106的作用区域共同延伸。当所要图像524涵盖振幅调制器106的大部分区域时和/或当所要图像524的强度大部分均质时，边界条件802可用于求解微分方程。图8B说明边界条件804，其为所要图像806的至少部分的简单几何轮廓。图8C说明边界条件808，其为所要图像中的一组对象810的轮廓。图8D说明边界条件812，其为所要图像814的至少部分的分段线性近似。图8E说明边界条件816，其涵盖振幅调制器106以及额外光学元件818。当期望转向一些光远离振幅调制器106时边界条件816可用于求解微分方程。在实例实施例中，光学元件818是光转储器，其用以捕获经转向远离振幅调制器106的过量光。

应注意边界条件

也适用于光场I(x,y)。然而，此边界条件通常仅为包围光束转向调制器104的矩形边界。在一些特定应用中可有用的是界定不同边界

来求解微分方程，例如涵盖多个光束转向装置的边界、光束转向调制器104的仅一部分等。边界条件如下相关：

其中边界

经由映射函数M(x,y)映射到边界

上。

图9是概述用于从图像数据生成光束转向驱动值的另一实例方法900的流程图。在实例实施例中，光束转向驱动模块224利用来自控制器110的其它元件的数据执行方法900。在替代实施例中，方法900的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤902中，将光束转向调制器的若干区段处理为可转向元件。所述区段可为个别像素、像素群组、个别可倾斜镜等。随后，在第二步骤904中，将对应于可转向元件的光点分配给所要图像的低分辨率版本上的区域。从图像数据确定所要图像。接下来，在第三步骤906中，基于所要图像的较高分辨率版本精炼光点的分配。在第四步骤908中，基于所要图像最优地分布光点。可使用例如沃格尔(Vogel)近似方法来执行分布。最终，在第五步骤910中，至少部分地基于光点的分布生成光束转向驱动值。光点的分布可直接用以生成用于多元件镜装置的光束转向驱动值。否则，光点的分布可间接用以生成平滑解以用于生成用于例如液晶SLM等较高分辨率相位调制器的光束转向驱动值。下文将参考图10A-10B更详细论述方法900。

图10A是说明投影系统100将显示的实例图像1000的图式。图像1000通过由控制器110接收的图像数据以数字方式实施，且包含若干关注区(ROI)1002。ROI 1002是图像1000的包含非零亮度的区。在所述实例中，图像1000描绘若干小火，其火焰包括ROI 1002。为了投影系统100显示具有可接受质量的图像1000，必须使用方法900的结果将光引导到对应于ROI 1002的振幅调制器106的区。

图10B是说明图像1000的方法900的结果的图式。图像1000示出为在顶部叠加有多个向量1004。向量1004中的每一个对应于光束转向调制器104的区，所述区被光束转向模块224处理为可转向元件。换句话说，光束转向模块224假定入射于光束转向调制器104的对应于向量1004的任何区上的所有光可在任何方向上转向而无任何效率损失。向量1004中的每一个包含方向元素和长度元素。向量1004的方向元素说明相对于光束转向调制器104和/或振幅调制器106应当使入射于光束转向调制器104的对应区上的光转向的方向。举例来说，在图像1000的右上角的向量1004中的一个朝向振幅调制器106的左下角转向，ROI 1002中的最亮者位于所述左下角。(出于说明性目的，在实例实施例中，亮度与ROI 1002内的面积成比例。)向量1004的长度元素说明入射于光束转向调制器104的对应区上的光相对于光束转向调制器104和/或光束转向调制器106应当经历多少水平位移(例如，转向角度的量值)。举例来说，图像1000的右上角的向量1004中的所述一个说明入射于光束转向调制器104的对应区上的光的大水平位移，因为光朝向其转向的ROI 1002中的所述一个位于相距大水平距离处。

向量1004说明根据方法900的实例由光束转向模块224做出的光的分配。根据方法900的步骤904，基于对应于图像1000的低分辨率版本的图像数据，光束转向模块224将对应于向量1004中的一个的光点分配到ROI 1002上。光点中的每一个具有对应于入射于光束转向调制器104的对应区上的光量的亮度。在实例实施例中，对应于向量1004中的一个的光束转向调制器104的所有区是面积相等的，并且因此，光点中的每一个具有相等亮度。因此，较多光点被分配给ROI 1002的较亮部分。在方法900中的此点，没有光点对应于向量1004中的特定一个。而是，光束转向模块224已简单地分配等于向量1004的数目(并且因此，等于光束转向调制器104的对应区的数目)的数目的光点。接下来，根据方法900的步骤906，通过使光点朝向图像1000的较高分辨率版本的较亮部分移动短距离，光束转向模块224基于对应于图像1000的较高分辨率版本的图像数据精炼光点的分配。基于光的最终分配，等值线1006示出图像1000上的区域的相对亮度。等值线1006中在ROI 1002的中心附近的等值线比等值线1006中较远离ROI1002的中心的等值线更亮。

为了以可能的最高效方式驱动光束转向调制器104，光束转向模块224必须根据方法900的步骤908在光束转向调制器104的区当中最优地分布光点。为了这样做，光束转向模块224有效地解决由光点的分配限定的最佳传输问题。举例来说，光束转向模块224基于光点相对于光束转向调制器104的对应区的水平位移对光点中的每一个指派效率罚分。随后，光束转向模块224利用例如沃格尔近似方法来确定在光束转向调制器104的区当中如何分布光点。换句话说，光束转向模块224将光点中的每一个匹配于将转向光到振幅调制器106上的对应区的光束转向调制器104的区。使用沃格尔近似，将光点匹配于光束转向调制器104的对应区的此过程导致最大高效分布。结果由所述多个向量1004说明，且由光束转向模块224利用以生成用于光束转向调制器104的光束转向驱动值。

利用例如方法900的步骤910的过程，光束转向模块224可生成用于广泛范围的光束转向装置的光束转向驱动值。作为一个实例，光束转向模块224可直接利用由向量1004表示的分布以生成用于多元件镜装置的驱动值。在此实例中，向量1004中的每一个的x分量对应于对应可倾斜镜在x方向上的倾斜角。同样，向量1004中的每一个的y分量对应于对应可倾斜镜在y方向上的倾斜角。替代地，光束转向模块224可在由步骤908生成的分布上执行平滑操作，以便生成用于例如液晶SLM等较高分辨率相位调制器的光束转向驱动值。基于存储于系统配置设定218中的用户定义的设定，平滑函数可为线性或非线性的。

图11是概述用于从图像数据生成光束转向驱动值的另一实例方法1100的流程图。在实例实施例中，光束转向驱动模块224利用来自控制器110的其它元件的数据执行方法1100。在替代实施例中，方法1100的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤1102中，基于图像数据，将各种光学元件的相位表示定位于光束转向调制器上。随后，在第二步骤1104中，基于图像数据更改与各种光学元件相关联的参数。所述参数包含但不限于例如焦距、大小、放大率等特性，并且可按需要减小或增加。接下来，在第三步骤1106中，在光束转向调制器的其中光学元件重叠的区上执行掺合函数。掺合函数可为线性或非线性的。随后，在第四步骤1108中，将基线相位驱动施加于光束转向调制器的其中在第一步骤1102期间未放置光学元件的区域。最终，在第五步骤1110中，至少部分地基于光束转向调制器上的光学元件的分布和参数值而生成光束转向驱动值。下文将参考图12A-12H更详细论述方法1100。

图12A是光束转向调制器104和振幅调制器106的部分的截面图，示出实例相位元件1202。相位元件1202是凸透镜的相位表示，所述凸透镜将入射光场1204聚焦到振幅调制器106上的点1206。相位元件1202具有各种可调整参数，例如大小和焦距，其决定用以生成相位元件1202的确切相位驱动。举例来说，一个实例相位元件将具有相对较短焦距，前提是由所述相位元件驱动的相邻像素具有它们赋予入射光场1204的相位延迟量的相对较大差异。相反，另一实例相位元件将具有相对较长焦距，前提是相邻像素具有它们赋予入射光场1204的相位延迟量的相对较小差异。图12B是其上示出点1206的振幅调制器106的一部分的俯视图。点1206是以对应于相位元件1202的相位驱动来驱动光束转向调制器104所得的图像。

图12C是光束转向调制器104和振幅调制器106的部分的截面图，示出多个实例相位元件1208。相位元件1208各自基本上类似于相位元件1202且在光束转向调制器104上重叠。在相位元件1208重叠的地方，以对应于相位元件1208中具有最接近于重叠点的中心的一个相位元件的相位驱动来驱动光束转向调制器104。也可以对应于相位元件1208中的一个或通过线性或非线性方式选择的相位元件1208的组合的相位驱动来驱动光束转向调制器104。相位元件1208一起驱动光束转向调制器以形成线的图像，而不是点。

图12D是光束转向调制器104的一部分的俯视图，示出相位元件1208。相位元件1208布置成线，各自具有焦点1210。焦点1210一起大致形成线。图12E是图12D的光束转向调制器104的部分的俯视图，示出更多相位元件1208。由于更多相位元件1208添加到光束转向调制器104的相位驱动，因此形成于振幅调制器104上的线的图像开始填充。图12F是图12E的光束转向调制器104的部分的俯视图，示出再更多的相位元件1208。因此，形成于振幅调制器104上的线再进一步填充。图12G是图12F的光束转向调制器104的部分的俯视图，示出由无限数目的相位元件1208的组合产生的复合相位元件1212。复合相位元件1212中间的线1214表示当以复合相位元件1212驱动光束转向调制器104时产生的光的线。线1214还对应于构成复合相位元件1212的无限数目的相位元件1208中的每一个的中心。图12H是其上示出图像1216的振幅调制器106的俯视图。图像1216对应于线1214。

图12I是概述用于执行图11的方法1100的第五步骤1110(生成光束转向驱动值)的实例方法的流程图。在第一步骤1222中，针对所要图像的多个区评估光要求。取决于应用，所述多个区可以包含粗略阵列或精细阵列，可变大小的区，或甚至像素大小的区。在本发明的一个具体实例中，将高斯函数(例如，对应于通用点扩散函数的函数)与图像数据进行卷积，以生成所要图像的各个区中所需的亮度的粗略总集。在给定点的所述总集的值(即，高度)是所述点以及周围点的亮度的指示。接下来，在第二步骤1224中，基于所评估光要求在所要图像的第一区上方定位虚拟透镜(例如相位元件1202)。举例来说，凸透镜的相位表示可放置于所要图像的亮度的总集的局部最大值上方，因为所述局部最大值对应于相对明亮的区。随后，在第三步骤1226中，确定与第一区相邻的区的光要求，且基于相邻区的光要求更改虚拟透镜的参数。举例来说，如果第一区由相对亮的区包围，那么所述方法预期虚拟透镜的区域中的至少一些用于实际上朝向那些区引导光而增加虚拟透镜的大小。接下来，在第四步骤1228中，基于所评估光要求在所要图像的下一区上方定位下一虚拟透镜。随后，在第五步骤1230中，确定与下一区相邻的区的光要求，且基于与下一区相邻的区的光要求更改下一虚拟透镜的参数。接下来，在决策框1232中，确定是否存在需要虚拟透镜的更多区。如果存在更多区需要虚拟透镜，那么方法返回到步骤1228。如果没有更多区需要虚拟透镜，那么方法继续到最终步骤1234。在步骤1234中，至少部分地基于所评估光要求而组合虚拟透镜。举例来说，在其中两个或更多个虚拟透镜重叠的区中，将用于最终相位驱动的透镜是焦点最接近于重叠区的透镜。

另外，方法1220可与用于特定应用的预定义相位驱动结合使用。举例来说，重要的是当投影相对暗淡的图像时能够转向光远离振幅调制器106，以便提供可接受的黑色水平。引导所有光远离振幅调制器106的预定义相位驱动可在这些情形中使用。随后执行方法1220，且未由虚拟透镜驱动的光束转向调制器106的任何区域继续根据预定义相位驱动引导光，在此实例中远离振幅调制器106。

图13是概述用于从图像数据生成光束转向驱动值的又一实例方法1300的流程图。在实例实施例中，光束转向驱动模块224利用来自控制器110的其它元件的数据执行方法1300。在替代实施例中，方法1300的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤1302中，生成对应于振幅调制器处的所要图像(光场)的波场的数学描述。所述波场包含从所要图像导出(经由描述所要图像的图像数据)且假定零相位(即，到达振幅调制器的所有光波是同相的)的振幅分布。接下来，在第二步骤1304中，将振幅调制器处的波场的数学描述乘以传播算子以生成光束转向调制器处的波场的数学描述(返回传播)。随后，在第三步骤1306中，对光束转向调制器处的波场的数学描述进行滤波。对波场的数学描述进行滤波包含使用低通滤波器对数学描述进行滤波且移除振幅信息。低通滤波通过将解的转向角度约束于相对小转向角度而增加/控制所生成相位驱动解的衍射效率。可将转向角度约束于任何合意的预定角度。移除振幅信息，因为光束转向SLM仅能够进行相位调制。接下来，在第四步骤1308中，将光束转向调制器处的波场的经滤波数学描述乘以传播算子以生成振幅调制器处的波场的数学描述(向前传播)。随后，在决策框1310，决定是终止方法1300还是继续。当振幅调制器处的波场的数学描述充分类似于所要图像时终止方法1300。如果未满足终止条件，那么方法1300返回到步骤1304。如果满足终止条件，那么方法1300继续到第五步骤1312，其中至少部分地基于光束转向调制器处的波场的经滤波数学描述(如步骤1306的最新迭代中生成)生成光束转向驱动值。下文将参考图14A-14B更详细论述方法1300。

图14A是说明振幅调制器106与光束转向调制器104之间的波场的向后传播的图式。光束转向调制器104的发射表面与第一坐标系1402共面，所述第一坐标系包含x轴1404和y轴1406。振幅调制器106的光场表面与第二坐标系1408共面，所述第二坐标系与第一坐标系1402分离距离d且包含x'轴1410和y'轴1412。光束转向模块224生成函数Γ(x′,y′)，其为振幅调制器106处的所要光场的数学描述，如方法1300的步骤1302中所描述。函数Γ(x′,y′)包含振幅分布，其等效于振幅调制器106处的所要图像的强度分布I(x′,y′)。函数Γ(x′,y′)在此实例实施例中也是零相位，因为生成随机相位大大降低液晶光束转向装置的效率。另外，算法是确定性的，因为其针对给定同一输入图像始终产生同一结果。在替代实施例中，利用多元件镜装置，有可能使用随机相位来生成函数Γ(x′,y′)，因为不存在与以倾斜角度转向光相关联的效率成本。

接下来，光束转向模块224返回传播函数Γ(x′,y′)以生成函数H(x,y)，其为光束转向调制器104处的所要光场的数学描述，如方法1300的步骤1304中所描述。光束转向模块224生成函数H(x,y)：

其中

是f(x)的傅立叶变换，

是f(x)的逆傅立叶变换，且G_-d(∈,γ)是在角度频率方面且位于距离-d的瑞利-索末菲(Rayleigh-Sommerfeld)传播算子。通常，瑞利-索末菲传播算子在导致/得自输入波场的空间中的任何地方生成波场。在实例实施例中，传播算子生成光束转向调制器104处的波场，其将导致振幅调制器106处的所要图像。

应注意，基于方法1300的特定应用可使用其它传播算子。瑞利-索末菲衍射模型可用于需要高精度的应用，因为所述模型不做出简化假设且计算衍射方程的每个项。例如菲涅耳(Fresnel)衍射模型和夫朗和斐(Fraunhofer)衍射模型等其它模型做出简化假设以消除并不显著贡献于特定系统中的衍射方程的较高阶项。举例来说，菲涅耳衍射模型仅计算第一和第二阶项，且可用于其中光束转向调制器104和振幅调制器106相对靠近在一起的情形。相反，夫朗和斐衍射模型仅计算一阶项，且可用于其中光束转向调制器104和振幅调制器106相对远离的情形。

光束转向模块224对函数H(x,y)进行滤波，如方法1300的步骤1306中所描述。因为光束转向调制器104仅可调节相位而无振幅，所以光束转向调制器104处的波场必须具有恒定振幅。因此，光束转向模块224将振幅分布设定为恒定值(实例实施例中为1)以生成光束转向调制器处的相位函数：

其中i是虚数单位且

是相位分布。所述相位分布包含光束转向调制器104处的波场的角度谱，其为光束转向调制器104在波场中引入的各种相移(以角度单位表达，例如弧度)的分布。

图14B是说明相位函数

从光束转向调制器104到振幅调制器106的向前传播的图式。首先，将相位量化到光束转向调制器104的位深度以考虑因不能够将相位复制到任意精度而发生的误差。另外，将角度谱滤波为仅含有小于指定阈值

的角频率，其中N为相位阶跃计数(图7)且Δ是光束转向调制器104的像素间距。光束转向调制器104处的波场受以下低通滤波器约束：

其中∈,γ∈[-f_-max,f_max]分别是x和y方向上的角频率，且f_max是光束转向调制器104可实现的最大角频率。光束转向模块224通过将低通滤波器相乘到光束转向调制器104处的波场的角度谱中而生成经滤波的谱

随后，光束转向模块224如方法1300的步骤1308中所描述生成振幅调制器106处的新波场，如下：

波场

是所要图像的近似，其对由量化引入的噪声和光束转向调制器104的仅相位性质两者进行模型化。接下来，光束转向模块224用原始强度分布I(x′,y′)代替波场

的振幅，且利用

来开始方法1300的下一迭代。

也可提供对光束转向调制器与振幅调制器之间的相对倾斜的补偿。举例来说，角度谱中的旋转可提供此类补偿。参见例如S·德·尼古拉(S.De Nicola)、A·菲尼佐(A.Finizio)、G·皮拉提尼(G.Pierattini)、D·阿尔弗利(D.Alfieri)、P·非拉诺(P.Ferraro)的“倾斜平面上的数字全息图的重构(Reconstruction of digitalholograms on tilted planes)”，国际光学工程学会期刊6311，光学信息系统IV，63110K(2006/08/30)；doi:10.1117/12.683859；http://dx.doi.org/10.1117/12.683859，其以引用的方式并入本文中。随后，传播操作、滤波和角度旋转可全部在同一角度谱中执行。因此，可执行倾斜补偿而无额外复杂性成本。

当满足特定预定终止条件时光束转向模块224终止方法1300。在实例实施例中，当光束转向调制器104处的波场的总功率未增加超过连续迭代之间的预定义阈值时终止方法1300。在每个迭代j，计算图像的ROI(经重构波场中的每个像素，其中原始图像中的对应像素不是黑色)上的总功率。如下计算功率：

当满足以下条件时光束转向模块224终止方法1300：

其中P_t是迭代之间的相对功率增加且是在经验上选择的。在满足终止条件之后，可能需要继续执行迭代而无滤波，如下：

此时，每一连续迭代将对经重构图像的质量增加改进，代价是效率罚分。一旦未经滤波的迭代终止，光束转向模块224就提取

的最终版本的相位且将其量化到光束转向调制器104的位深度。光束转向模块224随后利用所得相位分布以生成用于驱动光束转向调制器104的光束转向驱动值，如方法1300的步骤1312中所描述。

也可使用方法1300的若干变化来基于特定效率需要、图像质量要求等生成光束转向驱动值。举例来说，低通滤波器L(∈,γ)可经细微调整以生成不以指定角度转向光的解，如下：

其中0≤f₁<…<f_N≤f_t且f₁…f_N是基于应用的特定需要而选择。此变化可有用于其中期望阻挡DC频率光的系统，例如来自光束转向调制器104的表面的反射。另外，其它类型的滤波器包含但不限于高斯滤波器、sinc滤波器等等。

另一变化包含在连续迭代之后更改滤波器L_M(∈,γ)。举例来说，初始滤波器L₀(∈,γ)可如下设定：

其中f₀经选择以最大化光束转向调制器104的衍射效率。在每一迭代之后，效率约束逐渐放松。这允许光束转向模块224在每一迭代之后测试经重构图像的视觉质量度量，且当认为图像质量与预定义质量要求相比可接受时终止方法1300。作为另一变化，可通过(在运行迭代算法之前)针对给定输入图像计算F(效率)＝质量估计器曲线且选择效率与质量之间的最佳折中来导出滤波器截止阈值。

又一变化包含利用预先计算的相位驱动而不是零相位用于函数Γ(x′,y′)的初始相位分布。举例来说，根据方法1300的步骤1308，本发明中描述的方法中的另一个可用以生成低分辨率相位驱动，其随后向前传播。所得传播场可随后用作方法1300的步骤1304的函数Γ(x′,y′)。另外，滤波器阈值f_t可经选择以使得所得解的衍射效率不会比初始低分辨率相位驱动更差。

图15是概述用于从图像数据生成光束转向驱动值的另一实例方法1500的流程图。在实例实施例中，光束转向驱动模块224利用来自控制器110的其它元件的数据执行方法1500。在替代实施例中，方法1500的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤1502中，(基于图像数据)将所要图像划分成多个区。接下来，在第二步骤1504中，识别具有非零亮度的所述多个区的子集。随后，在第三步骤1506中，生成各自将光引导到所述区的子集中的对应一个的全平面元件的集合。最终，在第四步骤1508中，通过至少部分地基于包括所述区的子集的区的相对亮度组合所述全平面元件的集合而生成光束转向驱动值。下文将参考图16更详细论述方法1500。

图16是说明方法1500的图式。所要图像1602划分成多个区1604。经标记为1604A、1604B和1604C的三个区1604含有非零亮度的区域(由椭球1606的图像指示)。光束转向模块224通过检查对应于所要图像1602的图像数据将区1604A、1604B和1604C识别为具有非零亮度，如方法1500的步骤1504中所描述。对于区1604A、1604B和1604C，光束转向模块224分别生成全平面驱动值1608A、1608B和1608C，如方法1500的步骤1506中所描述。可利用如本发明中论述的用于生成光束转向驱动值的任何其它实例方法来预先计算或实时生成全平面驱动值1608。

全平面驱动值1608中的每一个将在用以驱动整个(全平面)光束转向调制器104时仅生成振幅调制器106上的对应区1604。举例来说，如果全平面驱动值1608A用以驱动光束转向调制器104，那么区1604A内的椭球1606的部分将是振幅调制器106上显示的仅有事物。区1604A内的椭球的部分还将与所要图像1602在同一位置且以同一比例显示。如方法1500的步骤1508中所描述，光束转向模块224组合全平面驱动值1608以生成光束转向驱动值，所述光束转向驱动值将驱动光束转向调制器104以生成振幅调制器106上的重新产生的图像1610。给定光束转向调制器104的能力，重新产生的图像1610尽可能类似于所要图像1602。

当组合全平面驱动值1608时，光束转向模块224必须基于区1604的相对亮度分配光束转向调制器104的部分。区1604中的较亮区需要恰当地照射更多光，因此它们需要光束转向调制器104的更多区域朝向其引导光。在实例实施例中，椭球1606跨越其区域具有均匀亮度，因此区1604A、1604B和1604C的相对亮度取决于其内的椭球1606的相对面积。区1604A和1604C中的每一个内包含椭球1606的近似五分之一，而区1604B内包含另外五分之三。因此，最终光束转向驱动值将包括全平面驱动值1608A和1608C中的每一个的五分之一和全平面驱动值1608B的五分之三，如重新产生的图像1610上所示。为了确定应当驱动光束转向调制器104的哪些区域以照射区1604A、1604B或1604C中的特定一个，光束转向模块224解决最佳传输问题(例如方法900中所使用)。最佳传输问题的解生成以最大效率重新产生图像1602的光束转向驱动值的集合。

图16说明的实例实施例经简化以提供方法1500的清楚理解。在实际实施例中，区1604的分辨率将高得多，且在一些情况下，高达所要图像1602的分辨率。在此类实施例中，光束转向模块224分析对应于所要图像1602的图像数据以确定哪些像素具有非零亮度。对于这些像素中的每一个，生成全平面驱动值，全平面驱动值中的每一个是将整个入射光场引导到对应像素上的透镜的相位表示。当组合全平面驱动值时，光束转向模块224利用对应于所要图像1602的图像数据以确定像素的相对亮度，并且因此，专用于将光引导到像素上的光束转向调制器104的相对区域，因此自动生成具有适当强度分布的重新产生的图像1610。再次，生成最佳传输解以分配光束转向调制器104的区域以得到最大效率。

如上文所指出，沃格尔近似方法是有利的，因为其在方法900和1500中提供运输问题(光分配)的近似最佳解。方法确保在2D空间中被分配给光场中的相同(或近似相同)PSF位置的光束转向SLM分区的接近。这限制了由转向到不同位置的分区之间的太多切换潜在造成的衍射损失，其可看似为“块假象”。方法还确保光束转向SLM分区相对于目标位置的局部性，这限制偏转角度且因此限制衍射损耗。

任选地，在方法900和/或方法1500中可使用多分辨率沃格尔近似方法(MRVAM)。MRVAM使用多个分辨率水平解决运输(光学)问题。首先，在粗略网格(例如，30x 18个分区)上求解问题而生成第一近似解。随后，使用第一近似的结果在较精细网格(例如，120x 72)上精炼解且允许精细解横跨3x 3“粗略区”的等效物。此方法有助于解决更加复杂的系统，同时保持计算复杂性较低。

图17是概述用于基于光束转向驱动值集合生成光场模拟的实例方法1700的流程图。在实例实施例中，光场模拟模块226利用来自控制器110的其它元件的数据执行方法1700。在替代实施例中，方法1700的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤1702中，界定多个光线。所述光线中的每一光线从光束转向调制器上的特定点/区发出。随后，在第二步骤1704中，至少部分地基于光束转向驱动值从光束转向调制器到振幅调制器追踪所述多个光线中的每一光线的路径。最终，在第三步骤1706中，至少部分地基于在光束转向调制器与振幅调制器之间追踪的所述多个路径生成光场模拟。下文将参考图18-19B更详细论述方法1700。

图18是说明方法1700的光束转向调制器104和振幅调制器106的截面图。多个光线1802从光束转向调制器104发出且入射于振幅调制器106上。光线1802中的每一个从多个像素群组1804中的一个发出。在实例实施例中，像素群组1804中的每一个包含像素的3x3正方形(仅仅像素可见，因为图18仅示出一个维度)，且光线1802中的对应一个从中心像素发出。基于用以驱动光束转向调制器104的光束转向驱动值，光场模拟模块226能够确定光线1802中的每一个与光束转向调制器104的法线之间的角度θ。光线1802中的每一个在一个方向上的水平位移可从θ确定如下：

Δx＝d sinθ_x

其中Δx是在x方向上的水平位移，θ_x是在x方向上光线1802中的相关一个与光束转向调制器104的法线之间的角度，且d是光束转向调制器104与振幅调制器106之间的距离。同样，在y方向上的水平位移可确定如下：

Δy＝d sinθ_y

其中Δy是在y方向上的水平位移且θ_y是在y方向上光线1802中的相关一个与光束转向调制器104的法线之间的角度。定义离散化向量场

其描述从光束转向调制器104上的点(x,y)发出的光线1802中的每一个的三维位移，如下：

其中θ_x和θ_y各自是对应光线1802的起源位置的函数且由光束转向驱动值限定，且

和

分别是在x、y和z方向上的单位向量。向量场

将来自光束转向调制器104的光线1802映射到振幅调制器106，并且因此由光场模拟模块226利用以生成光场模拟，如方法1700的步骤1706中所描述。向量场

也可表达为从坐标(x,y)到坐标(x′,y′)的映射，如下：

这可用于确定对应于在下文参考图19A-19B进一步详细论述的系统的雅可比矩阵。

图19A是说明方法1700的变化的图式。光束转向调制器104包含四个像素1902，其为入射于振幅调制器106上的四个光线1904的起源点。光场模拟模块226通过追踪由像素1902限定的线元素1906的改变而追踪光线1904。线元素1906映射到振幅调制器106上的对应线元素1908，其由光线1904的目的地点限定。光场模拟模块226利用对应于系统100的雅可比矩阵以确定将长度元素1906拉伸、压缩、旋转、移位等的程度。

在系统100中将雅可比定义为以下矩阵：

其中光线1904中的给定一个的目的地点由(x′,y′)给定，且x′和y′各自随着x和y而变(因为θ_x和θ_y各自随着x和y而变)。雅可比的行列式提供关于对应于(x,y)的坐标系如何在给定点(x,y)映射到对应于(x′,y′)的坐标系的信息。在实例实施例中，雅可比的行列式提供关于光线如何在光束转向调制器104与振幅调制器106之间行进的信息。举例来说，如果雅可比的行列式在给定点为正，那么在所述点的线元素1908的长度被拉伸，且拉伸因子等于雅可比的行列式在所述点的绝对值。利用雅可比的行列式，光场模拟模块226可取样各种点(x,y)且确定在对应点(x′,y′)处的光场看上去将是什么样(例如，较暗淡或较明亮)。利用雅可比的行列式允许光场模拟模块226使用较少计算来模拟振幅调制器106上的光场。

图19B是说明方法1700的另一变化的图式。光束转向调制器104包含四个像素1910，其为四个光线1912的起源点。光场模拟模块226通过追踪由像素1910限定的区域元素1914的改变而追踪光线1912。区域元素1914映射到振幅调制器106上的对应区域元素1916，其由光线1912的目的地点限定。光场模拟模块226利用对应于系统100的雅可比矩阵以确定将区域元素1906拉伸、压缩、旋转、移位等的程度。

在替代实施例中，利用较高阶差分的其它矩阵(例如，海森矩阵)可用以更精确地追踪线元素1906和/或区域元素1914的改变。另外，更多或更少的点(x,y)可由光场模拟模块226基于特定应用的需要进行取样。

图20是概述用于基于光束转向驱动值集合生成光场模拟的另一实例方法2000的流程图。在实例实施例中，光场模拟模块226利用来自控制器110的其它元件的数据执行方法2000。在替代实施例中，方法2000的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤2002中，将光束转向调制器的每一像素建模为球面波的源。每一球面波具有由光束转向驱动值集合限定的相位。随后，在第二步骤2004中，利用光传播模型以确定由球面波的传播产生的振幅调制器处的干涉图案。最终，在第三步骤2006中，至少部分地基于干涉图案生成光场模拟。下文将参考图21更详细论述方法2000。

图21是说明方法2000的光束转向调制器104和振幅调制器106的截面图。光束转向调制器104是相位调制器，其通过在空间上调制入射光的相位以产生干涉图案而有效地转向光。光场模拟模块226通过基于光束转向驱动值计算生成的干涉图案而模拟光场。光场模拟模块226将光束转向调制器104上的点处理为球面波的源2102，如方法2000的步骤2002中所描述。源2102之间的相位差示出为波的起源点的稍微差异。实际上，源2102定位于光束转向调制器104的表面2104上且生成具有不同相位的球面波。球面波组合以生成振幅调制器106的表面2106上的干涉图案。

光场模拟模块226利用基于波的光传播模型，例如瑞利-索末菲模型来计算干涉图案。可使用例如菲涅耳-基尔霍夫模型等其它模型。各种光传播模型基于源2102的相位和位置做出各种简化假设(或完全无假设)来近似光场。光场模拟模块226利用最佳适合特定情形/应用的模型来计算干涉图案且基于干涉图案的计算生成光场模拟，如方法2000的步骤2006中所描述。

图22是概述用于基于光束转向驱动值集合生成光场模拟的又一实例方法2200的流程图。在实例实施例中，光场模拟模块226利用来自控制器110的其它元件的数据执行方法2200。在替代实施例中，方法2200的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤2202中，使用光学传感器捕获与振幅调制器上的光场有关的信息。随后，在第二步骤2204中，至少部分地基于所捕获信息估计振幅调制器上的光场。最终，在第三步骤2206中，至少部分地基于光场的估计生成振幅调制器上的光场的光场模拟。下文将参考图23A-24更详细论述方法2200。

图23A是利用传感器2302A实施方法2200的一个实例的实例投影系统2300A的框图。基于光束转向驱动值集合的光束转向调制器2304A调制入射光以生成将投影到振幅调制器2306A上的光场。光场入射于一或多个反射/透射元件2308A上，所述元件使光场分裂。光场的第一部分透射且入射于振幅调制器2306A上。光场的第二部分反射且入射于传感器2302A上且由其捕获，如方法2200的步骤2202中所描述。来自传感器2302A的信息(指示入射于振幅调制器2306A上的光场)提供到控制器(未图示)以用于生成入射于振幅调制器2306A上的光场的光场模拟，如方法2200的步骤2206中所描述。在实例实施例中，出于取样光场的目的有意放置反射/透射元件2308A。在替代实施例中，反射/透射元件2308A可以是现有光学元件，例如透镜、全内反射(TIR)棱镜、SLM盖片等。

图23B是利用传感器2302B实施方法2200的另一实例投影系统2300B的框图。光束转向调制器2304B基于光束转向驱动值集合调制入射光以生成将投影到数字微镜装置(DMD)2306B上的光场。DMD 2306B将光场的至少一部分引导到传感器2302B上作为断开状态光且将光场的另一部分引导到投影光学器件(未图示)。来自传感器2302B的信息(指示入射于DMD 2306B上的光场)提供到控制器(未图示)以用于生成入射于DMD2306B上的光场的光场模拟，如方法2200的步骤2206中所描述。

图23C是利用传感器2302C实施方法2200的又一实例投影系统2300C的框图。光束转向调制器2304C基于光束转向驱动值集合调制入射光以生成光场且将光场投影到振幅调制器2306C上。传感器2302C经定位以从来自振幅调制器2306C的至少一个折射阶取样光。根据方法2200的步骤2206，来自传感器2302C的信息(指示入射于振幅调制器2306C上的光场)提供到控制器(未图示)以用于生成入射于振幅调制器2306C上的光场的光场模拟。

应注意，系统2300A、2300B和2300C的控制器各自基本上类似于系统100的控制器110。控制器各自包含基本上类似于光场模拟模块226的光场模拟模块(未图示)以用于基于分别从传感器2302A、2302B和2302C接收的信息生成光场模拟。

因为方法2200中模拟的光场也用以生成模拟，所以在一些系统中可能需要使生成光场模拟中的时延最小化。图24是概述用于在从光束转向驱动值和图像数据生成光场模拟的同时改进时延的实例方法2400的流程图。在第一步骤2402中，生成预定光场模拟。可使用本发明中所述的任何其它方法或其变化以各种水平的准确性估计预定光场模拟。如果图像数据是视频数据，那么预定光场模拟也可为来自前一帧的最终解。随后，在第二步骤2404中，使用光学传感器取样现有光场以生成经取样光场数据。可通过先前论述的任何方法或其它方法，甚至是有待发明的那些方法来取样现有光场。随后，在第三步骤2406中，以来自步骤2404的经取样光场数据增强预定光场模拟以生成最终光场模拟。接下来，在决策框2408中，确定是否存在更多图像待显示。如果存在更多图像待显示，那么方法2400返回到步骤2402，其中可使用来自步骤2406的最终光场模拟生成预定光场模拟。如果不存在更多图像待显示，那么终止方法2400。在任何体现中，可以高于待显示内容的刷新率的刷新率应用方法2400。

例如在消隐周期期间可例如与DMD组合利用方法2400以生成最终光场模拟。预定光场模拟是空白图像或零强度分布。在消隐周期期间以零驱动来驱动DMD，这致使整个现有光场朝向光学传感器转向作为断开状态光。光学传感器取样现有光场且从经取样光场数据直接生成最终光场模拟。此实例方法确切模拟光场(其有效地拍摄光场的图片)并且可在大多数投影系统的最大时延周期内容易地实行。另外，此实例方法特别有用于其中作为默认驱动方案的部分对DMD提供零驱动的系统。

图25是概述用于基于光束转向驱动值集合生成光场模拟的又一方法2500的流程图。在实例实施例中，光场模拟模块226利用来自控制器110的其它元件的数据执行方法2500。在替代实施例中，方法2500的一些步骤可由其它元件和/或系统设计者/用户执行。在第一步骤2502中，定义用于驱动光束转向调制器的预定义光学元件的集合。预定义光学元件集合的每一元件具有可变化的相关联参数。在第二步骤2504中，以预定义光学元件集合的每一元件驱动光束转向调制器。以用于所述相关联参数中的每一个的不同值驱动每一元件。接下来，在第三步骤2506中，针对预定义光学元件集合的每一元件记录改变相关联参数中的每一个对振幅调制器上的所得光场的影响。最终，在第四步骤1508中，至少部分地基于记录的改变相关联参数中的每一个的影响和光束转向驱动值而生成光场模拟。下文将参考图26更详细论述方法2500。

用于模拟入射于振幅调制器上的光场的一个实例方法包含组合由驱动光束转向调制器引起的光扩展函数与预定光学元件的相位表示。图26是在校准程序期间投影系统100的一部分的截面图。以校准相位驱动2602来驱动光束转向调制器104，所述校准相位驱动包含具有各种参数的光学元件的多个相位表示2604。相位表示2604中的每一个生成入射于振幅调制器106上的对应光场2606。

光场2606的特性取决于对应相位表示2604的参数。举例来说，相位表示2604中的三个对应于凸透镜且用以聚焦光。对应光场2606的焦距且因此大小、锐度等取决于透镜的深度，或更准确地说相位表示2604的特性。另外，对应光场2606的亮度取决于相位表示2604的大小，或更准确地说明它们占据的光束转向调制器104的区域。相位表示2604中的另三个对应于凹透镜且用以使光散焦。类似于对应于凸透镜的那些相位表示2604，对应于凹透镜的那些相位表示2604生成取决于对应相位表示2604的特性的对应光场2606。

在校准程序期间，改变相位表示2604的参数对对应光场2606的影响是由光场模拟模块226(未图示)编译。为此目的可通过系统中的现有光学传感器或通过例如单独用于校准目的的可装卸式光学传感器来取样光场2606。因为仅可测试有限的参数组合，所以光场模拟模块226必须在可用数据点之间内插以生成每一光学元件的完整简档。利用完整简档，光场模拟模块226叠加对应于用以生成特定图像的光束转向驱动值的每一相位表示2604的光场2606。光场模拟模块226可线性地或非线性地叠加来自光场2606中的每一个的贡献以生成最终光场模拟。

本发明的具体实施例的说明现在完整。在不脱离本发明的范围的情况下可以取代、更改或省略许多所描述特征。举例来说，替代调制器(例如，MEMS装置、DMD、液晶振幅调制器等)可取代光束转向调制器104和/或振幅调制器106。作为另一实例，替代光传播/衍射模型，包含利用任意或可变数目的项的那些模型可用以在生成光束转向驱动值和/或光场模拟中计算光场。本领域的技术人员特别鉴于前述公开内容将显而易见从示出的具体实施例的这些和其它偏差。

本发明的各个方面可从下面列举的实例实施例(EEE)了解：

21.一种方法，其包括：

接收指示待显示的至少一个图像的图像数据；

至少部分地基于所述图像数据生成用于驱动光束转向空间光调制器(SLM)的光束转向驱动值；

至少部分地基于所述光束转向驱动值生成由所述光束转向SLM产生且入射于第二SLM上的光场的模拟；以及

至少部分地基于所述光场的所述模拟生成用于驱动所述第二SLM的振幅驱动值(或调制驱动值)，

且任选地包括：

以所述光束转向驱动值驱动所述光束转向SLM；以及

以所述振幅驱动值驱动所述第二SLM。

22.根据列举的实例实施例21所述的方法，其中：

所述生成光束转向驱动值的步骤包含利用第一算法以生成所述光束转向驱动值；

所述生成由所述光束转向SLM产生的光场的模拟的步骤包含利用第二算法以生成所述光场的所述模拟；以及

所述生成振幅驱动值的步骤包含利用第三算法以生成所述振幅驱动值。

23.根据列举的实例实施例22所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤包含：

定义与所述光束转向驱动值、所述光束转向SLM上的位置和所述第二SLM上的位置相关的变量；

定义包含所述变量的微分方程，所述微分方程的一或多个解与所述光束转向SLM上的特定位置、所述第二SLM上的特定位置和所述光束转向驱动值相关；

基于一或多个预定义边界条件生成所述微分方程的解；以及

使用所述解以生成用以使来自所述光束转向SLM上的特定位置的光转向到所述第二SLM上的所需位置的特定光束转向驱动值。

24.根据列举的实例实施例23所述的方法，其中所述生成所述微分方程的解的步骤包含利用数值方法以便生成所述微分方程的解。

25.根据列举的实例实施例23或列举的实例实施例24所述的方法，其中所述生成所述微分方程的解的步骤包含生成二阶偏微分方程的解。

26.根据列举的实例实施例25所述的方法，其中所述生成二阶偏微分方程的解的步骤包含生成Monge-Ampère类型微分方程的解。

27.根据列举的实例实施例23-26中任一项所述的方法，其中所述基于一或多个预定义边界条件生成所述微分方程的解的步骤包含定义所述边界条件以使得所述第二SLM上的所有所述位置都在所述第二SLM的周缘内。

28.根据列举的实例实施例23-27中任一项所述的方法，其中所述基于一或多个预定义边界条件生成所述微分方程的解的步骤包含定义所述边界条件以使得所述第二SLM上的所有所述位置都在含有所述光场的至少部分的基本几何形状内。

29.根据列举的实例实施例23-28中任一项所述的方法，其中所述基于一或多个预定义边界条件生成所述微分方程的解的步骤包含定义所述边界条件以使得所述第二SLM上的所有所述位置都在由所述图像数据限定且在所述光场内实施的至少一个对象的轮廓内。

30.根据列举的实例实施例23-29中任一项所述的方法，其中所述基于一或多个预定义边界条件生成所述微分方程的解的步骤包含定义所述边界条件以使得所述第二SLM上的所有所述位置都在由所述图像数据限定且在所述光场内实施的至少一个对象的轮廓的分段线性近似内。

31.根据列举的实例实施例23-30中任一项所述的方法，其中所述基于一或多个预定义边界条件生成所述微分方程的解的步骤包含定义所述边界条件以使得所述光束转向SLM上的所有所述位置映射到所述第二SLM上的所述位置和至少一个额外对象上的位置。

32.根据列举的实例实施例22所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤包含：

定义多个虚拟光束转向元件；

使所述光束转向SLM的区段与所述虚拟光束转向元件中的相应者关联；

至少部分地基于所述图像数据确定从所述光束转向SLM到所述第二SLM的区可用的光的分配，以生成所述第二SLM上的所要光场；

至少部分地基于所述确定的光分配以及所述第二SLM的所述区和所述虚拟光束转向元件的相对位置使每一所述虚拟光束转向元件与所述第二SLM的所述区中的一个关联；以及

生成用以致使所述光束转向SLM的每一所述区段将光转向到所述第二SLM的所述相关联区的所述光束转向驱动值。

33.根据列举的实例实施例32所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤包含以比所述光分配更高的分辨率确定从所述光束转向SLM到所述第二SLM的区可用的所述光的第二分配。

34.根据列举的实例实施例32或列举的实例实施例33所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤包含平滑所述光束转向驱动值以生成用于驱动所述光束转向SLM的高分辨率驱动值。

35.根据列举的实例实施例32-34中任一项所述的方法，其中所述以所述光束转向驱动值驱动所述光束转向SLM的步骤包含驱动顶端倾斜镜装置。

36.根据列举的实例实施例32-35中任一项所述的方法，其中所述使每一所述虚拟光束转向元件与所述第二SLM的所述区中的一个关联的步骤包含生成最小传输解以使所述虚拟光束转向元件与所述第二SLM的所述区关联，以便维持所述光束转向SLM的最大衍射效率。

37.根据列举的实例实施例36所述的方法，其中所述生成最小传输解的步骤包含利用沃格尔近似。

38.根据列举的实例实施例22所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤包含：

定义多个不同虚拟光学元件；

生成所述虚拟光学元件中的每一个的相位表示；

至少部分地基于所述图像数据确定所述虚拟光学元件的组合以实现所要光场；

组合所述组合的所述虚拟光学元件的所述相位表示以确定相位调制分布；以及

至少部分地基于所述相位调制分布生成所述光束转向驱动值。

39.根据列举的实例实施例38所述的方法，其中所述生成所述虚拟光学元件中的每一个的相位表示的步骤包含生成具有可调整参数的所述相位表示。

40.根据列举的实例实施例39所述的方法，其中所述参数包含所述各种光学元件的大小。

41.根据列举的实例实施例39或列举的实例实施例40所述的方法，其中所述参数包含所述各种光学元件的焦距。

42.根据列举的实例实施例38-41中任一项所述的方法，其中所述组合所述虚拟光学元件的所述相位表示的步骤包含执行线性掺合函数。

43.根据列举的实例实施例38-41中任一项所述的方法，其中所述组合所述虚拟光学元件的所述相位表示的步骤包含执行非线性掺合函数。

44.根据列举的实例实施例22所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤包含：

至少部分地基于所述图像数据生成由所述光束转向SLM产生且入射于所述第二SLM上的所述光场的初始表示；

利用衍射模型来返回传播所述光场的所述初始表示以在所述光束转向SLM处形成所述光场的向后传播表示；以及

至少部分地基于所述光场的所述向后传播表示生成所述光束转向驱动值。

45.根据列举的实例实施例44所述的方法，其中所述生成所述光场的初始表示的步骤包含：

生成具有零相位的所述初始表示；以及

至少部分地基于所述图像数据对所述表示指派振幅分布。

46.根据列举的实例实施例44或列举的实例实施例45所述的方法，其中所述利用衍射模型来返回传播所述光场的所述初始表示的步骤包含：

对所述初始表示执行傅立叶变换以形成所述初始表示的角度谱；

至少部分地基于所述衍射模型在所述初始表示的所述角度谱中乘以传播算子以生成向后传播角度谱；以及

对所述向后传播角度谱执行逆傅立叶变换以生成所述光场的所述向后传播表示。

47.根据列举的实例实施例46所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤进一步包含：

从所述光场的所述向后传播表示提取所述光场的相位表示；以及

对所述光场的所述相位表示进行滤波以形成所述光场的经滤波表示。

48.根据列举的实例实施例47所述的方法，其中所述对所述光场的所述相位表示进行滤波的步骤包含使用低通滤波器对所述光场的所述相位表示进行滤波。

49.根据列举的实例实施例46-48中任一项所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤进一步包含：

利用所述衍射模型来向前传播所述光场的所述向后传播表示以在所述第二SLM处形成所述光场的向前传播表示；

对所述光场的所述向前传播表示指派所述振幅分布；

利用所述衍射模型来返回传播所述光场的所述向前传播表示以在所述光束转向SLM处形成所述光场的迭代表示；

将所述光场的所述向后传播表示设定为等于所述光场的所述迭代表示；以及

重复利用所述衍射模型来向前传播所述光场的所述向后传播表示、对所述向前传播表示指派所述振幅分布、利用所述衍射模型来返回传播所述光场的所述向前传播表示以及将所述光场的所述向后传播表示设定为等于所述光场的所述迭代表示的所述步骤，直到所述光场的所述向后传播表示满足预定终止条件为止。

50.根据列举的实例实施例49所述的方法，其中当所述光场的所述迭代表示的第一计算亮度与所述光场的所述向后传播表示的第二计算亮度之间的差在预定范围内时满足所述预定终止条件。

51.根据列举的实例实施例22所述的方法，其中所述利用第一算法以生成所述光束转向驱动值的步骤包含：

将所述至少一个图像划分为多个区；

至少部分地基于所述图像数据确定所述多个区中的哪些区含有具有大于预定亮度的亮度的至少一个位置；

生成区域性驱动值的多个集合，所述区域性驱动值的每一集合对应于用于所述光束转向SLM的驱动值的全平面，且具有在用以个别地驱动所述光束转向SLM的情况下用以生成对应于含有具有大于所述预定亮度的所述亮度的至少一个位置的所述图像的所述区中的一个的所述光场的区的值；

确定所述光场的每一区所需的光量；以及

至少部分地基于所述确定的光量组合所述区域性驱动值集合以生成所述光束转向驱动值。

52.根据列举的实例实施例51所述的方法，其中所述组合所述区域性驱动值集合的步骤包含组合所述区域性驱动值集合以使得对应于所述区域性驱动值集合中的一个的所述光束转向驱动值的一部分与含有具有大于所述预定亮度的所述亮度的至少一个位置的所述图像的所述区中的所述对应一个的总亮度成比例。

53.根据列举的实例实施例51或列举的实例实施例52所述的方法，其中所述预定亮度是零。

54.根据列举的实例实施例51-53中任一项所述的方法，其中所述多个区的数目等于所述图像数据中的像素的数目。

55.根据列举的实例实施例22-54中任一项所述的方法，其中所述利用第二算法以生成所述光场的所述模拟的步骤包含：

针对贡献于所述光场的至少一个光线在所述光束转向SLM上定义起源点；

至少部分地基于所述光线相对于所述光束转向SLM的表面的转向角度确定所述至少一个光线行进的路径，所述光线的所述转向角度是基于与在所述起源点处所述光束转向SLM的一部分相关联的所述光束转向驱动值而确定；以及

至少部分地基于所述路径生成所述光场的所述模拟。

56.根据列举的实例实施例55所述的方法，其中所述确定所述至少一个光线行进的路径的步骤包含确定在所述第二SLM的表面处所述光线在所述光场的平面中的位移。

57.根据列举的实例实施例55或列举的实例实施例56所述的方法，其中所述确定所述至少一个光线行进的路径的步骤包含确定包括至少两个光线的起源点的线元素的变换。

58.根据列举的实例实施例57所述的方法，其中所述确定线元素的变换的步骤包含：

确定所述线元素的位移；

确定所述线元素的旋转；以及

确定所述线元素的长度的改变。

59.根据列举的实例实施例55-58中任一项所述的方法，其中所述确定所述至少一个光线行进的路径的步骤包含确定包括至少三个光线的所述起源点的区域元素的变换。

60.根据列举的实例实施例59所述的方法，其中所述确定包括至少三个光线的所述起源点的区域元素的变换的步骤包含：

确定所述区域元素的位移；

确定所述区域元素的旋转；以及

确定所述区域元素的面积改变。

61.根据列举的实例实施例55-60中任一项所述的方法，其中所述确定所述至少一个光线行进的路径的步骤包含：

生成将所述光束转向SLM上的所述至少一个光线的起源点映射到所述第二SLM上的所述至少一个光线的目的地点的映射函数，所述映射函数将所述目的地点的第一坐标定义为所述起源点的两个坐标的第一函数，且将所述目的地点的第二坐标定义为所述起源点的所述两个坐标的第二函数；

定义包含所述第一函数相对于所述起源点的所述两个坐标中的每一个的一阶偏导数的雅可比矩阵，所述雅可比矩阵另外包含所述第二函数相对于所述起源点的所述两个坐标中的每一个的一阶偏导数；

计算所述雅可比矩阵的行列式；以及

在所述第二SLM上的多个点处取样所述雅可比矩阵的所述行列式。

62.根据列举的实例实施例22-54中任一项所述的方法，其中所述利用第二算法以生成所述光场的所述模拟的步骤包含：

将所述光束转向SLM上的多个点中的每一个定义为朝向所述第二SLM传播的球面波的源，每一所述球面波具有由所述光束转向驱动值中的相关联一个限定的相位；

利用波光学器件模型以生成从所述球面波得到的干涉图案；以及

至少部分地基于所述干涉图案生成所述光场的所述模拟。

63.根据列举的实例实施例62所述的方法，其中所述利用波光学器件模型以生成干涉图案的步骤包含利用瑞利-索末菲模型以生成所述干涉图案。

64.根据列举的实例实施例62所述的方法，其中所述利用波光学器件模型以生成干涉图案的步骤包含利用菲涅耳-基尔霍夫模型以生成所述干涉图案。

65.根据列举的实例实施例22-54中任一项所述的方法，其中所述利用第二算法以生成所述光场的所述模拟的步骤包含：

朝向光学传感器引导来自所述光束转向SLM的光的至少一部分；

使用所述光学传感器捕获对应于所述光的部分的信息；以及

至少部分地基于对应于所述光的部分的所述信息生成所述光场的所述模拟。

66.根据列举的实例实施例65所述的方法，其中：

所述生成由所述光束转向SLM产生且入射于第二SLM上的光场的模拟的步骤包含生成入射于数字微镜装置(DMD)上的所述光场的模拟；以及

所述使用所述光学传感器捕获对应于所述光的部分的信息的步骤包含从所述DMD捕获断开状态光。

67.根据列举的实例实施例66或列举的实例实施例65所述的方法，其中所述从所述DMD捕获断开状态光的步骤包含：

在一时间周期内驱动所述DMD的每个像素以朝向所述光学传感器引导断开状态光；以及

使用所述光学传感器捕获所述光场。

68.根据列举的实例实施例65-67中任一项所述的方法，其中所述朝向光学传感器引导来自所述光束转向SLM的光的至少一部分的步骤包含将所述光场分裂为朝向所述光学传感器引导的所述部分和入射于所述第二SLM上的第二部分。

69.根据列举的实例实施例65-68中任一项所述的方法，其中所述使用所述光学传感器捕获对应于所述光的部分的信息的步骤包含从所述第二SLM捕获包括至少一个衍射级的光。

70.根据列举的实例实施例65-69中任一项所述的方法，其中所述使用所述光学传感器捕获对应于所述光的部分的信息的步骤包含从所述投影系统内的现有反射捕获光。

71.根据列举的实例实施例65-69中任一项所述的方法，其中所述至少部分地基于对应于所述光的部分的所述信息生成所述光场的所述模拟的步骤包含：

生成所述光场的预定模拟；以及

以对应于所述光的部分的所述信息增强所述光场的所述预定模拟。

72.根据列举的实例实施例71所述的方法，其中所述生成所述光场的预定模拟的步骤包含至少部分地基于所述光束转向驱动值生成所述光场的所述预定模拟。

73.根据列举的实例实施例71或列举的实例实施例72所述的方法，其中：

所述接收指示待显示的至少一个图像的图像数据的步骤包含接收视频数据；以及

所述生成所述光场的预定模拟的步骤包含利用对应于所述视频数据的先验图像的光场的先验模拟作为所述预定模拟。

74.根据列举的实例实施例22-54中任一项所述的方法，其中所述利用第二算法以生成所述光场的所述模拟的步骤包含：

提供多个预定光场模拟，其各自对应于相位驱动值的预定集合；

基于所述光束转向驱动值识别所述相位驱动值的所述集合中的特定集合；

检索对应于相位驱动值的所述集合中的所述所识别集合的所述预定光场模拟；以及

通过组合所述检索的预定光场模拟生成所述光场的所述模拟。

75.根据列举的实例实施例74所述的方法，其中所述提供多个预定光场模拟的步骤包含：

提供有限数目的预定光场模拟，其各自对应于具有特定参数集合的相位驱动值的预定集合；以及

在所述有限数目的预定光场模拟之间进行内插以生成对应于具有不同参数集合的相位驱动值的较大数目集合的较大数目的预定光场模拟。

76.根据列举的实例实施例74或列举的实例实施例75所述的方法，其中所述组合所述检索的预定光场模拟的步骤包含线性地叠加所述检索的预定光场模拟。

77.根据列举的实例实施例74或列举的实例实施例75所述的方法，其中所述组合所述检索的预定光场模拟的步骤包含非线性地叠加所述检索的预定光场模拟。

133.一种用于投影系统的控制器，其包括：

处理单元，其经配置以执行代码；

接口，其经耦合以接收指示待显示的至少一个图像的图像数据；以及

存储器，其经电耦合以存储数据和所述代码，所述数据和所述代码包含：

光束转向驱动模块，其经配置以至少部分地基于所述图像数据生成用于驱动光束转向空间光调制器(SLM)的光束转向驱动值；和/或

光场模拟模块，其经配置以至少部分地基于所述光束转向驱动值生成由所述光束转向SLM产生且入射于第二SLM上的光场的模拟；和/或

振幅驱动模块，其经配置以至少部分地基于所述光场的所述模拟生成用于驱动所述第二SLM的振幅驱动值。

134.根据列举的实例实施例133所述的控制器，其中所述光束转向驱动模块：

定义与所述光束转向驱动值、所述光束转向SLM上的位置和所述第二SLM上的位置相关的变量；

定义包含所述变量的微分方程，所述微分方程的一或多个解与所述光束转向SLM上的特定位置、所述第二SLM上的特定位置和所述光束转向驱动值相关；

基于一或多个预定义边界条件生成所述微分方程的解；以及

使用所述解以生成用以使来自所述光束转向SLM上的特定位置的光转向到所述第二SLM上的所需位置的特定光束转向驱动值。

143.根据列举的实例实施例133所述的控制器，其中所述光束转向驱动模块：

定义多个虚拟光束转向元件；

使所述光束转向SLM的区段与所述虚拟光束转向元件中的相应者关联；

至少部分地基于所述图像数据确定从所述光束转向SLM到所述第二SLM的区可用的光的分配，以生成所述第二SLM上的所要光场；

至少部分地基于所述确定的光分配以及所述第二SLM的所述区和所述虚拟光束转向元件的相对位置使每一所述虚拟光束转向元件与所述第二SLM的所述区中的一个关联；以及

生成用以致使所述光束转向SLM的每一所述区段将光转向到所述第二SLM的所述相关联区的所述光束转向驱动值。

149.根据列举的实例实施例133所述的控制器，其中所述光束转向驱动模块：

定义多个不同虚拟光学元件；

生成所述虚拟光学元件中的每一个的相位表示；

至少部分地基于所述图像数据确定所述虚拟光学元件的组合以实现所要光场；

组合所述组合的所述虚拟光学元件的所述相位表示以确定相位调制分布；以及

至少部分地基于所述相位调制分布生成所述光束转向驱动值。

155.根据列举的实例实施例133所述的控制器，其中所述光束转向驱动模块：

至少部分地基于所述图像数据生成由所述光束转向SLM产生且入射于所述第二SLM上的所述光场的初始表示；

利用衍射模型来返回传播所述光场的所述初始表示以在所述光束转向SLM处形成所述光场的向后传播表示；以及

至少部分地基于所述光场的所述向后传播表示生成所述光束转向驱动值。

162.根据列举的实例实施例133所述的控制器，其中所述光束转向驱动模块：

将所述至少一个图像划分为多个区；

至少部分地基于所述图像数据确定所述多个区中的哪些区含有具有大于预定亮度的亮度的至少一个位置；

生成区域性驱动值的多个集合，所述区域性驱动值的每一集合对应于用于所述光束转向SLM的驱动值的全平面，且具有在用以个别地驱动所述光束转向SLM的情况下用以生成对应于含有具有大于所述预定亮度的所述亮度的至少一个位置的所述图像的所述区中的一个的所述光场的区的值；

确定所述光场的每一区所需的光的量；以及

至少部分地基于所述确定的光量组合所述区域性驱动值集合以生成所述光束转向驱动值。

166.根据列举的实例实施例133、134、143、149、155和162中任一项所述的控制器，其中所述光场模拟模块：

针对贡献于所述光场的至少一个光线在所述光束转向SLM上定义起源点；

至少部分地基于所述光线相对于所述光束转向SLM的表面的转向角度确定所述至少一个光线行进的路径，所述光线的所述转向角度是基于与在所述起源点处所述光束转向SLM的一部分相关联的所述光束转向驱动值而确定；以及

至少部分地基于所述路径生成所述光场的所述模拟。

173.根据列举的实例实施例133、134、143、149、155和162中任一项所述的控制器，其中所述光场模拟模块：

将所述光束转向SLM上的多个点中的每一个定义为朝向所述第二SLM传播的球面波的源，每一所述球面波具有由所述光束转向驱动值中的相关联一个限定的相位；

利用波光学器件模型以生成从所述球面波得到的干涉图案；以及

至少部分地基于所述干涉图案生成所述光场的所述模拟。

176.根据列举的实例实施例133、134、143、149、155和162中任一项所述的控制器，其中所述光场模拟模块：

朝向光学传感器引导来自所述光束转向SLM的光的至少一部分；

使用所述光学传感器捕获对应于所述光的部分的信息；以及

至少部分地基于对应于所述光的部分的所述信息生成所述光场的所述模拟。

183.根据列举的实例实施例133、134、143、149、155和162中任一项所述的控制器，其中所述光场模拟模块：

存取多个预定光场模拟，其各自对应于相位驱动值的预定集合；

基于所述光束转向驱动值识别所述相位驱动值的所述集合中的特定集合；

检索对应于相位驱动值的所述集合中的所述所识别集合的所述预定光场模拟；以及

通过组合所述检索的预定光场模拟生成所述光场的所述模拟。

Claims (15)

1.一种用于通过投影系统显示图像的方法，所述投影系统包括光束转向空间光调制器和振幅调制器，所述光束转向空间光调制器经配置以选择性地转向光以在所述振幅调制器上形成中间图像，所述振幅调制器经配置以在空间上调制所述中间图像以形成最终图像，所述方法包括：

接收指示待显示的至少一个图像的图像数据；

至少部分地基于所述图像数据生成用于驱动光束转向空间光调制器SLM的光束转向驱动值，其中生成所述光束转向驱动值包含：

生成对应于所述振幅调制器处的所要中间图像的波场的数学描述，

(a)通过将所述数学描述乘以传播算子来返回传播所述波场，以生成所述光束转向空间光调制器SLM处的所述波场的数学描述，

(b)在所述光束转向空间光调制器处对所述波场的所述数学描述进行低通滤波以移除振幅信息，

(c)通过乘以传播算子来向前传播所述波场的经低通滤波数学描述，以生成所述振幅调制器处的新波场的数学描述，所述新波场的所述新数学描述是所述所要中间图像的近似，

如果未满足预定终止条件，则迭代步骤(a)到(c)，每次在下一次迭代的步骤(a)中使用上次迭代的步骤(c)中生成的所述新波场，以及

如果满足所述预定终止条件，则至少部分地基于在步骤(b)的最新迭代中提供的所述波场的所述经低通滤波数学描述来生成所述光束转向驱动值；

至少部分地基于所述光束转向驱动值生成由所述光束转向空间光调制器产生且入射于所述振幅调制器上的光场的模拟；

至少部分地基于所述光场的所述模拟生成用于驱动所述振幅调制器的调制驱动值；

以所述光束转向驱动值驱动所述光束转向空间光调制器；以及

以所述调制驱动值驱动所述振幅调制器。

2.根据权利要求1所述的方法，其中所述生成光束转向驱动值的步骤包含：

定义与所述光束转向驱动值、所述光束转向空间光调制器上的位置和所述振幅调制器上的位置相关的变量；

定义包含所述变量的微分方程，所述微分方程的一或多个解与所述光束转向空间光调制器上的特定位置、所述振幅调制器上的特定位置和所述光束转向驱动值相关；

基于一或多个预定义边界条件生成所述微分方程的所述一或多个解；以及

使用所述解中的所述一或多个以生成用以将光从所述光束转向空间光调制器上的特定位置转向到所述振幅调制器上的所需位置的特定光束转向驱动值。

3.根据权利要求1所述的方法，其中所述生成光束转向驱动值的步骤包含：

定义多个虚拟光束转向元件；

使所述光束转向空间光调制器的区段与所述虚拟光束转向元件中的相应者关联；至少部分地基于所述图像数据确定从所述光束转向空间光调制器到所述振幅调制器的区可用的光的分配，以生成所述振幅调制器上的所要光场；

至少部分地基于所述确定的光分配以及所述振幅调制器的所述区和所述虚拟光束转向元件的相对位置使每一所述虚拟光束转向元件与所述振幅调制器的所述区中的一个关联；以及

生成用以致使所述光束转向空间光调制器的每一所述区段将光转向到所述振幅调制器的所述相关联区的所述光束转向驱动值。

4.根据权利要求1所述的方法，其中所述生成光束转向驱动值的步骤包含：

定义多个不同虚拟光学元件；

生成所述虚拟光学元件中的每一个的相位表示；

至少部分地基于所述图像数据确定所述虚拟光学元件的组合以实现所要光场；

组合所述组合的所述虚拟光学元件的所述相位表示以确定相位调制分布；以及

至少部分地基于所述相位调制分布生成所述光束转向驱动值。

5.根据权利要求1所述的方法，其中所述生成光束转向驱动值的步骤包含：

至少部分地基于所述图像数据生成由所述光束转向空间光调制器产生且入射于所述振幅调制器上的所述光场的初始表示；

利用衍射模型来返回传播所述光场的所述初始表示以在所述光束转向空间光调制器处形成所述光场的向后传播表示；以及

至少部分地基于所述光场的所述向后传播表示生成所述光束转向驱动值。

6.一种用于控制双重调制投影系统的控制器，所述投影系统包括光束转向空间光调制器和振幅调制器，所述光束转向空间光调制器经配置以选择性地转向光以在所述振幅调制器上形成中间图像，所述振幅调制器经配置以在空间上调制所述中间图像以形成最终图像，所述控制器包括：

处理单元，其经配置以执行代码；

接口，其经耦合以接收指示待显示的至少一个图像的图像数据；以及

存储器，其经电耦合以存储数据和所述代码，所述数据和所述代码包含

光束转向驱动生成模块，其经配置以至少部分地基于所述图像数据生成用于驱动光束转向空间光调制器SLM的光束转向驱动值，其中生成所述光束转向驱动值包含：

生成对应于所述振幅调制器处的所要中间图像的波场的数学描述，

(a)通过将所述数学描述乘以传播算子来返回传播所述波场，以生成所述光束转向空间光调制器SLM处的所述波场的数学描述，

(b)在所述光束转向空间光调制器处对所述波场的所述数学描述进行低通滤波以移除振幅信息，

(c)通过乘以传播算子来向前传播所述波场的经低通滤波数学描述，以生成所述振幅调制器处的新波场的数学描述，所述新波场的所述新数学描述是所述所要中间图像的近似，

如果未满足预定终止条件，则迭代步骤(a)到(c)，每次在下一次迭代的步骤(a)中使用上次迭代的步骤(c)中生成的所述新波场，以及

如果满足所述预定终止条件，则至少部分地基于在步骤(b)的最新迭代中提供的所述波场的所述经低通滤波数学描述来生成所述光束转向驱动值，

光场模拟模块，其经配置以至少部分地基于所述光束转向驱动值生成由所述光束转向空间光调制器产生且入射于所述振幅调制器上的光场的模拟，以及

调制驱动生成模块，其经配置以至少部分地基于所述光场的所述模拟生成用于驱动所述振幅调制器的调制驱动值。

7.根据权利要求6所述的控制器，其中所述光场模拟模块：

提供多个预定光场模拟，所述多个预定光场模拟各自对应于相位驱动值的预定集合；

基于所述光束转向驱动值识别所述相位驱动值的所述集合中的特定集合；

检索对应于相位驱动值的所述集合中的所述所识别集合的所述预定光场；以及

通过组合所述检索的预定光场生成所述光场的所述模拟。

8.根据权利要求7所述的控制器，其中所述光束转向驱动生成模块：

定义多个不同虚拟光学元件；

生成所述虚拟光学元件中的每一个的相位表示；

至少部分地基于所述图像数据确定所述虚拟光学元件的组合以实现所要光场；

组合所述组合的所述虚拟光学元件的所述相位表示以确定相位调制分布；以及

至少部分地基于所述相位调制分布生成所述光束转向驱动值。

9.根据权利要求6所述的控制器，其中所述光束转向驱动生成模块：

定义与所述光束转向驱动值、所述光束转向空间光调制器上的位置和所述振幅调制器上的位置相关的变量；

定义包含所述变量的微分方程，所述微分方程的一或多个解与所述光束转向空间光调制器上的特定位置、所述振幅调制器上的特定位置和所述光束转向驱动值相关；

基于一或多个预定义边界条件生成所述微分方程的解；以及

使用所述解中的所述一或多个以生成用以将光从所述光束转向空间光调制器上的特定位置转向到所述振幅调制器上的所需位置的特定光束转向驱动值。

10.根据权利要求6所述的控制器，其中所述光束转向驱动生成模块：

定义多个虚拟光束转向元件；

使所述光束转向空间光调制器的区段与所述虚拟光束转向元件中的相应者关联；至少部分地基于所述图像数据确定从所述光束转向空间光调制器到所述振幅调制器的区可用的光的分配，以生成所述振幅调制器上的所要光场；

至少部分地基于所述确定的光分配以及所述振幅调制器的所述区和所述虚拟光束转向元件的相对位置使每一所述虚拟光束转向元件与所述振幅调制器的所述区中的一个关联；以及

生成用以致使所述光束转向空间光调制器的每一所述区段将光转向到所述振幅调制器的所述相关联区的所述光束转向驱动值。

11.根据权利要求6所述的控制器，其中所述光束转向驱动生成模块：

至少部分地基于所述图像数据生成由所述光束转向空间光调制器产生且入射于所述振幅调制器上的所述光场的初始表示；

利用衍射模型来返回传播所述光场的所述初始表示以在所述光束转向空间光调制器处形成所述光场的向后传播表示；以及

至少部分地基于所述光场的所述向后传播表示生成所述光束转向驱动值。

12.根据权利要求6所述的控制器，其中所述光束转向驱动生成模块：

将所述至少一个图像划分为多个区；

至少部分地基于所述图像数据确定所述多个区中的哪些区含有具有亮度大于预定亮度的至少一个位置；

生成区域性驱动值的多个集合，所述区域性驱动值的每一集合对应于用于所述光束转向空间光调制器的驱动值的全平面，且具有在用以个别地驱动所述光束转向空间光调制器的情况下用以生成对应于具有大于所述预定亮度的所述亮度的所述图像的所述区中的一个的所述光场的区的值；

确定所述光场的每一区所需的光的量；以及

至少部分地基于所述确定的光量组合所述区域性驱动值集合以生成所述光束转向驱动值。

13.根据权利要求6所述的控制器，其中所述光场模拟模块：

针对贡献于所述光场的至少一个光线在所述光束转向空间光调制器上定义起源点；

至少部分地基于所述光线相对于所述光束转向空间光调制器的表面的转向角度确定所述至少一个光线行进的路径，所述光线的所述转向角度是基于与在所述起源点处所述光束转向空间光调制器的一部分相关联的所述光束转向驱动值而确定；以及

至少部分地基于所述路径生成所述光场的所述模拟。

14.根据权利要求6所述的控制器，其中所述光场模拟模块：

将所述光束转向空间光调制器上的多个点中的每一个定义为朝向所述振幅调制器传播的球面波的源，每一所述球面波具有由所述光束转向驱动值中的相关联一个限定的相位；

利用波光学器件模型以生成从所述球面波得到的干涉图案；以及

至少部分地基于所述干涉图案生成所述光场的所述模拟。

15.根据权利要求6所述的控制器，其中所述光场模拟模块：

朝向光学传感器引导来自所述光束转向空间光调制器的光的至少一部分；

使用所述光学传感器捕获对应于所述光的部分的信息；以及

至少部分地基于对应于所述光的部分的所述信息生成所述光场的所述模拟。

Images