CN106796355B - 用于自由曲面透镜构造的数值方法：面积参数化自由曲面透镜构造 - Google Patents

Abstract

可以制作自由曲面透镜(例如，相位调制器、透镜或可变形镜)以再现由图像数据指定的光图案。自由曲面透镜上的源区被映射到图像上的目标区面积。调整源区的面积以改变传送到每个目标区的光量。源面积的调整可以使用优选地并入平滑性和旋度正则化项的L‑BFGS优化来实现。实施方式应用并行处理以实时或接近实时地获得自由曲面透镜的控制值。设备可以处理图像数据并通过使用处理的图像数据控制动态可变自由曲面透镜来显示图像。

Description

用于自由曲面透镜构造的数值方法：面积参数化自由曲面透 镜构造

相关申请的交叉引用

本申请要求于2014年7月31日提交的美国申请第62/031250号和于2015年7月20日提交的美国申请第62/194728号的优先权。为了美国的目的，本申请根据35 U.S.C.§119要求于2014年7月31日提交且题为“METHODS AND APPARATUS LIGHT STEERING USING PHASE-MODULATED IMAGING”的美国申请第62/031250号以及于2015年7月20日提交且题为“NUMERICAL APPROACHES FOR FREE-FORM LENSING:AREA PARAMETERIZATION FREE-FORMLENSING”的美国申请第62/194728号的权益，其两者通过引用并入本文以用于所有目的。

技术领域

本发明涉及使用自由曲面透镜来投射光。在一些实施方式中，自由曲面透镜包括空间相位调制器。实施方式提供了光投影仪、用于投射光的方法、用于光投影仪的组件以及包含用于实现所述方法的机器可读指令的有形介质。

背景技术

存在其中期望投影光图案的许多应用。这些应用包括显示器(例如，电影放映机、计算机显示器、电视、广告显示器-例如广告牌、虚拟现实显示器等)、以及建筑照明、汽车照明(例如，车头灯、驾驶灯)和特效照明(例如，剧院舞台照明、音乐会照明)。

一个技术问题是提供能够实现高亮度水平的显示器。例如，高亮度水平可以用于投影具有高动态范围的光图案和/或投影在各种环境照明条件下可见的光图案。利用许多当前显示技术实现高亮度水平伴随有不期望的高功率消耗。

在成像系统中使用光转向的主要动机是可以实现远高于全屏白色(FSW)的峰值亮度水平。由于从暗区获取的光可以被重新分布(转向)到需要更高亮度的区域而使这成为可能。使光转向的另一个结果是也可以达到更深的黑色水平。通过扩展图像中的高光和黑色水平，可以同时显示更宽范围的光水平(“增加的对比度”)。

光可以被自由曲面透镜转向。确定将使光转向以提供期望的光图案的自由曲面透镜的配置对于除了非常简单的光图案之外的所有光图案在计算上都是困难的。计算焦散是涉及折射和/或反射光学层如何影响光分布的研究领域。

计算焦散的一些方法涉及确定预先指定的离散基元例如平面斑块、二次斑块或高斯斑块的布置。基于预先指定的基元的方法在基元不以兼容的方式接触时通常经受边缘效应。

一些替代方法应用最优传输。最优传输寻求从源到目标分布的映射，使得用户指定的成本函数最小化。最优传输已经应用于诸如操作研究和网格处理之类的领域：最优传输公式用于确定透镜平面处的源强度分布到图像平面处的目标分布的映射。这种方法可以实现高对比度和非常好的图像质量，但是具有高计算成本。典型的图像可能需要几小时的计算。此外，计算难以并行化。

仍然需要能够生成期望的光场的光投影仪。特别需要产生在计算上高效的期望光场并且还提供期望光场的质量再现的方法。还期望用于再现能量高效的光场的方法和设备。

发明内容

本发明具有许多方面。一些方面提供光投影仪。一些方面提供用于生成对应于期望光场(其可以包括图像——在一些实施方式中所述图像可以为视频帧)的自由曲面光学器件(其可以包括空间相位调制器)的方法。一些方面提供用于处理指定光场的数据以得到用于相应的自由曲面透镜的配置的方法。

本发明还涉及自由曲面透镜构造。自由曲面透镜构造包括通过使用定制光学层使来自源的光重新分布来生成期望的光场。本发明的实施方式提供了包括自由曲面透镜的光投影仪、用于投影指定光场的方法、以及用于处理限定期望光图案的数据以产生用于自由曲面透镜的配置的方法和设备。在示例性实施方式中，光学层包括定制的折射和/或反射元件或相位调制器。“计算焦散”是相关领域。

一个示例性方面提供了用于控制相位调制器以显示由图像数据限定的图像的方法。该方法包括在二维相位调制器上限定多个非交叠源区以及在显示平面处限定多个显示区，每个源区具有边界和源面积，并且每个源区与显示区中的相应的一个显示区相关联；每个显示区具有相应的显示面积；基于图像数据，向多个显示区中的每一个分配目标光强度值；调整用于源区的配置、或者用于显示区的配置或者用于源区和显示区两者的配置，使得显示区的显示面积与相应源区的源面积的比率与源区的源光强度值与分配给相应显示区的目标光强度值的比率成比例；为每个源面积生成相位曲面，所述相位曲面被配置成将入射到源面积上的光重新定向至相应的显示面积上；以及控制相位调制器以向源区提供相位曲面，并且用入射光根据源光强度值照射源区。

另一示例性方面提供了一种用于生成用于显示由图像数据限定的图像的自由曲面透镜配置的方法。该方法包括：提供包括多个非交叠源区的二维光源的模型。每个源区具有边界、相应的源光强度值和源面积。每个源区与显示器的相应的显示区相关联。每个显示区具有目标面积。该方法进而基于图像数据给每个显示区分配光强度值。该方法对于每个源区设置目标源面积，使得源区的目标源面积与相应的显示区的显示面积的比率与分配给相应的显示区的光强度值与源区的源光强度值的比率成比例。该方法执行优化以确定源区的边界的最优地满足量化源区的源面积与对应于源区的目标源面积的综合离差的目标函数的配置。基于源区边界在优化之后的配置，该方法确定每个源区的法向量，并且对法向量进行积分以得到使相位与二维位置相关的解相位函数。在使用相位调制器来提供自由曲面透镜的情况下，可以应用解相位函数来驱动相位调制器。

在一些实施方式中，源区包括由在多个源顶点之间延伸的线限定的非交叠源图块。每个源顶点都有一定位置。在一些实施方式中，由在多个显示顶点之间延伸的线限定显示图块。

在一些实施方式中，源图块和显示图块是三角形的。优化可以确定源顶点的经优化的位置。

在一些实施方式中，确定源顶点的法向量是基于源顶点相对于显示顶点中的对应显示顶点的平面内位移。

在一些实施方式中，优化包括应用内存受限的Broyden-Fletcher-Goldfarb-Shanno算法。一些实施方式包括以逐步更精细的尺度(scales)在一系列迭代中执行优化，使得在每次迭代中，源顶点和显示顶点的数目增加，并且紧邻的前一次迭代的顶点位置被用作当前迭代的起始配置。

其他方面和示例性实施方式在附图中示出和/或在下面的描述中描述。

附图说明

附图示出了本发明的非限制示例性实施方式。

图1是示例性光投影仪的示意图。输入的已知光分布(其可以但不一定是均匀的)首先被转向，然后被幅度调制。幅度调制可以由空间光调制器提供。图1的实施方式示出了使用透射元件的投影仪。应用其他(例如反射式)光转向元件和/或幅度调制器的实现方式是可行的。

图2A和图2B示意性示出了自由空间实现方式。光以已知分布(其可以是均匀的)落在空间相位调制器(例如，在一些实施方式中使用HOLOEYE^TM LETO系列唯相位调制器)上。在相位调制之后，光继续至空间光调制器(SLM)。在一个实现方式中，空间相位调制器上的不同区域可以具有不同的尺寸，而SLM上的区域可以具有相同的尺寸。这使得能够改变SLM的每个相应区域中的光强度。光路中每个步骤的强度分布在图中指示。空间相位调制器和SLM在该图中呈现为相同的尺寸，但这不是必要条件。

图3A和图3B示出了其中使用积分柱的示例性实现方式。来自空间相位调制器的每个区域的经转向的光被聚焦到积分柱阵列中的积分柱的中心。在图中指示出光路中每个步骤的示例性强度分布。该光被传递到用于最终净化的SLM上。因子α是将来自空间相位调制器的光聚焦到每个积分柱上的结果，并且应该大致考虑功率节省。

图4是示出示例性偏移和缩放SNS算法及其与物理系统的结合的流程的图。目标图像被二等分，并且在该示例中，两个半部中的所需强度为15(左)和5(右)(任意亮度单位)。这使我们将空间相位调制器分成两个区域，其中左手侧的面积是右手侧的面积的3倍。然后将入射在空间相位调制器上的光转向至SLM上的两个等尺寸的区域上。

图5示出了倾斜的抛物面透镜的示例。空间相位调制器的区域可以被配置成提供这样的透镜。可以根据透镜光应当被转向至的SLM上的相应区域的位置和尺寸来控制透镜的配置。

图6A是表明可以在用于自由空间实现方式的空间相位调制器上实现的透镜的形状的图(未按比例)。空间相位调制器区域的尺寸可以由SNS算法确定。在图中指示出了空间相位调制器的每个区域的焦点，在区域1的LETO-SLM组件的右侧，以及区域2的LETO-SLM组件的左侧。

图6B是表明可以在用于积分柱实现方式的空间相位调制器(例如LETO)上实现的透镜的形状的图(不按比例)。空间光调制器上的区域的尺寸可以由SNS算法确定。图不按比例。

图7A、图7B和图7C示出处理图像数据以确定不同显示区的期望亮度水平。玛丽莲的8×16分块图像(图7A)示出了叠加有8×16区域的完整图像。图7B示出了沿x方向的得到平均亮度水平的第一次二等分。图7C示出了图7B中计算和示出的两个半部中的每一个的沿y方向的第二次二等分。

图8示出了为图7A中所示的玛丽莲的图像计算的透镜的8×16区域组。右手侧的单位为mm。

图9示出了在图8中计算的透镜，缠绕为光的波长——λ(在该特定示例中为638nm)的倍数。右手侧(RHS)的单位是λ的倍数。这种数学运算mod操作——mod(相位图案,λ)——也被称为相位缠绕。

图10是SNS衍生透镜的计算(理想)输出。

图11示出了来自调制器平面中的不同区域或区块(这些可以称为源区)的光如何通过将其缩放和偏移朝向目标平面中的相应区域或区块(这些可以称为显示区)来重新分布。

图12是示出调制器平面和目标图像平面(每个上具有相应的区域)以及在数学推导中使用的点阵列的图。在一些实施方式中，点阵列被构造为使得每个点对应于调制器平面中的空间相位调制器的像素。

图13是示出调制器平面点阵列和相应的目标图像平面点阵列之间的光路长度的图。

图14是示出根据如下实施方式的调制器平面点阵列和相应的目标图像平面点阵列之间的光路长度的图：其中路径长度轮廓由将源区中的点和与相应的显示区相关联的虚拟抛物线中的点相距的距离组成。

图15是示例性物理透镜的图。光沿着光轴进入，在进入后透镜表面之后没有偏转地透射，并且然后在前透镜表面处折射，其形成相对于光轴的角度θ₁。相对于光轴的透射角θ_t然后由斯涅耳定律给出。

图16A至图16C是示出填补的效果的一组图像。没有适当填补的图像通常由于傅立叶变换中的周期性假设而具有边界失真。目标周围的镜像填补导致周期性图像。这减少了边界失真，但降低了对比度。

图17A至图17D示出了改变平滑性参数对图像质量的影响。降低平滑性参数可以导致显著增加的对比度，但也可以导致可察觉的焦散伪影。

图18A至图18D示出了正则化的效果。图18A和图18B是具有和没有旋度正则化(具有权重1.0)的基于面积的参数化的计算的点位置。图18C和图18D是所得到的输出图像。结合旋度正则化有助于减少剪切变形并导致位移。

图19A示出了玛丽莲图像的点位置的示例性映射。玛丽莲的脸和头发映射到几乎整个透镜表面，大大压缩了低强度区域。尽管高压缩，但是绝大多数映射四边形是凸的，这指示双射参数化。所得图像中的局部对比度由相邻四边形的面积的比率确定。图19B是图19A的对应于玛丽莲的眼睛的放大部分。

图20A至图20C是对于自由形成透镜将傅里叶近轴(图20A)和面积参数化方法(图20B)进行比较的爱因斯坦的图像。面积参数化图像使用3.0的伽马指数。图20C是目标图像。

图21A至图21C是在“fram-ref”图像上比较傅里叶近轴(图21A)和面积参数化(图21B)方法的图像。图21C是目标。

图22A至图22C是在莉娜图像上比较傅里叶近轴(图22A)和面积参数化(图22B)方法的图像。图22C是目标。

图23A至图23C是在玛丽莲图像上比较傅里叶近轴(图23A)和面积参数化(图23B)方法的图像。图23C是目标。

图24A至图24C是在“骑兵(trooper)”图像上比较傅里叶近轴(图24A)和面积参数化(图24B)方法的图像。图24C是目标。

图25A至图25D示出了面积参数化的缩放对图25E所示的玛丽莲图像的影响。增加分辨率降低了在高度拉伸区域的伪影，这指示空间自适应离散化可能是有益的。

图26A至图26D示出旋度正则化对图26E所示的爱因斯坦图像的面积参数化结果的影响。增加旋度正则化项的权重导致更多的可积分位移，这减少了拉伸和剪切伪影，但是降低了对比度。典型值为10.0。

图27A至图27D示出了改变平滑性参数对图27E所示的玛丽莲图像的面积参数化结果的影响。平滑性参数的低值导致较高对比度，但更明显的伪影。平滑性参数的高值降低了对比度，但有助于抑制伪影。典型值为0.05。

图28A至图28D示出了改变最小面积对图28E所示的爱因斯坦图像的面积参数化结果的影响。此参数作为优化所针对的最小面积的硬底(hard floor)。当设置太低时，会导致低质量的图像，但是具有优异的对比度。当设置太高时，阻止有效的光重分布。典型值为0.05。

图29B和图29C分别是图29A的莉娜图像面积参数化图像：场景对比度106:1、峰值亮度2.8X FSW，以及近轴去模糊图像：场景对比度：67:1、峰值亮度：2:9X FSW。

图30B和图30C分别是图30A的玛丽莲图像的面积参数化图像：场景对比度582:1、峰值亮度11.92X FSW，以及近轴去模糊图像：场景对比度：173:1、峰值亮度10.0X FSW。

图31B和图31C分别是图31A所示的“fram-ref”图像的面积参数化图像：场景对比度377:1、峰值亮度6.2X FSW，以及近轴去模糊图像：场景对比度101:1、峰值亮度4X FSW。

图32B和图32C分别是图32A所示的爱因斯坦图像的面积参数化图像：场景对比度759:1、峰值亮度13.15X FSW，以及近轴去模糊图像：场景对比度104:1、峰值亮度8.1X FSW。

图33A至图33H是在宽带照明下比较具有相同相机设置的面积参数化和近轴去模糊方法的来自原型投影仪(LETO)的投影的照片。

图34A至图34D是在宽带照明下来自原型投影仪(LETO)的投影的照片。

图35B是图35A的“复仇者”图像的试验捕获：场景对比度1025:1、峰值亮度8.84XFSW。

图36B是图36A的“蜡烛”图像的试验捕获：场景对比度697:1、峰值亮度9.85X FSW。

图37B是图37A的“F1”图像的试验捕获：场景对比度301:1、峰值亮度6.18X FSW。

图38B是图38A的“云”图像的试验捕获：场景对比度697:1、峰值亮度7.42X FSW。

图39B是图39A的“空间”图像的试验捕获：场景对比度935:1、峰值亮度16.2X FSW。

图40示意性示出了源区和目标区之间的映射。

图41是示出根据示例性实施方式的设备的框图。

图42是示出根据示例性实施方式的投影仪的框图。

图43A和图43B是示出根据示例性实施方式的方法的流程图。

具体实施方式

在下面的描述中，阐述了具体细节以便提供对本发明的更透彻的理解。然而，本发明可以在没有这些细节的情况下实施。在其他情况下，没有详细示出或描述公知的元件，以避免不必要地模糊本发明。因此，说明书和附图被认为是说明性的，而不是限制性的。

本文描述了光投影仪的各种实施方式以及用于配置自由曲面透镜以投射期望的光图案的方法。一些实施方式将包括自由曲面透镜(在一些实施方式中由空间相位调制器提供)的光转向阶段与空间幅度调制相位相结合。

在一些实施方式中，通过包括将自由曲面透镜处的源区与投影光图案的显示区相关联的方法来实现用于光转向阶段的配置。通过改变显示区及其相应的源区的相对面积来调整显示区中的期望的光强度。可以通过改变源区的面积，改变显示区的面积或者改变源区的面积和显示区的面积来改变源区与显示区的相对面积。自由曲面透镜可以被配置为使得每个源区将光引导到相应的显示区上。在一些实施方式中，由每个源区投射到目标像平面上的光的90％或95％或更多落在相应的显示区内。在一些实施方式中，基于期望的光图案的平均或代表性亮度来控制自由曲面透镜的照明强度。在一些实施方式中，在自由曲面透镜的上游和下游中的一者或两者处提供空间幅度调制阶段。上游SLM可以改变源区处的亮度。下游SLM可以进一步调制照射目标像平面的光。在一些实施方式中，下游SLM可以具有比显示区的分辨率更精细的空间分辨率。

以下描述阐述响应于定义期望的光图案的图像数据来配置自由曲面透镜的各种方式。“Shift'n'scale”(SNS)是一种程序上只向前的算法，在一些实施方式中当与相位延迟成像芯片结合使用该算法时能够实现光转向。在一些实施方式中，SNS可以有利地避免或减少边缘效应。一些实施方式使用计算焦散方法，其涉及确定可用于配置自由曲面透镜的预定离散基元(例如平面斑块、二次斑块或高斯斑块)的布置。

图1是示出将入射光分布的光转向与幅度调制相结合以便更有效地形成图像的光投影仪的基本图。

本文描述了光投影仪的非限制性示例实施方式，其中光通过诸如基于LCoS的相位调制微显示器的相位调制成像芯片转向。这种显示器的示例由HoloEye Photonics AG制造，称为LETO(1080×1920个像素和约6.4微米的像素间距)。从LETO反射的光入射在幅度调制器上，在我们的情况下是Sony ^TM硅上液晶调制器(LCoS)，其是空间光调制器(SLM)的非限制性示例。来自SLM的图像然后被中继到投影屏幕上。

可替选的实现是可以的，例如通过颠倒两个调制器的顺序：首先对光进行幅度调制，然后使光转向。其他可行的实现包括仅调制高达光的一个波长的1/2的相位调制器(所谓的“π调制器”)。其他可行的幅度调制器包括数字光投影仪(DLP)或数字微镜器件(DMD)，其示例可从德州仪器获得。

系统的一种实现看到由LETO直接转向到SLM上的入射光分布，如图2A和图2B所示。在其他实施方式中，可以在空间相位调制器与SLM之间设置合适种类的光学系统。这种光学系统可以包括例如透镜、反射镜、漫射器、自由空间、滤光器等中的一个或多个的布置。

如图2A和图2B所示，转向被用于预调制入射在SLM上的光。这可以通过将来自空间相位调制器的几个区域的光经透镜作用至SLM上的相应区域上来完成。在我们的情况下实现的透镜是简单的抛物面透镜，所述抛物面透镜具有根据在这两个方向上需要多大的放大率得出的x和y方向的焦距。类似地，为了移动平面中的分布，对每个区域中的透镜作用方案施加斜度，一个沿着x方向，一个沿着y方向。这些基本操作得到所谓的“Shift'n'scale”(SNS)。

该系统的可替选实现在LETO上采用等大小的区域，照射SLM上不同大小的区域。物理模型的衍生类似于优选实现的衍生。

通过图3A和图3B示出了另一个可替选实现，图3A和图3B示出了使用空间相位调制器和SLM之间的积分柱阵列来均匀化光的投影仪。例如，均匀化可以有利于平滑激光束分布中的不规则。

来自不同积分柱的输出可以具有不同的幅度，但是它们的空间分布应当是已知的或近似已知的。每个区域的焦距近似相同，并且在图3A和图3B中示出。不同区域的焦距的小变化可以确保类似的数值孔径或来自每个积分柱的光的传播。每个区域的偏移将变化。

移动和缩放算法

可以使用许多方法来计算空间相位调制器上的适当的相位调制图像。在一种方法中，空间相位调制器被划分为若干区域，其中限定不同的透镜以便为那些区域提供期望的放大和转向量。在某种意义上，这类似于具有抛物面透镜的可编程阵列，每个透镜在逐帧的基础上将来自空间相位调制器的光的区域移动和缩放到SLM上的相应区域上。SNS算法的目标是提供目标图像的快速、低分辨率变型。如果得到的快速低分辨率图像对于特定应用不具有足够的分辨率，则可以使用幅度调制器在屏幕上生成期望的高分辨率目标图像，但是由于可以避免过度的幅度调制而具有最小的光损失。

以下两个部分描述了用于将空间相位调制器和目标像平面(在一些实施方式中其可以在SLM上)中的每一个分割成多个区域的两个示例情况。在空间相位调制器和SLM上使用不同大小的区域的可替选衍生方案也是可以的。

方法1：不同大小的空间相位调制器区域；相同大小的SLM区域

SNS算法分析要显示的图像，并且有效地将目标图像的强度需求转换为面积分布(这在某种意义上类似于中间切割算法[参考：http://en.wikipedia.org/wiki/Median_cut]。SNS是一种递归的多尺度算法。示例实施方式通过比较图像的右侧和左侧开始，并且在相位调制器上设置相应的区域以能够匹配每侧的照明要求。然后SNS重复地平分已经处理的图像区域，并再次将强度要求转换为面积。这个过程可以递归地重复。图4示出了在一个二等分步骤之后在空间相位调制器(或其他自由曲面透镜)上的源区与SLM(或其他目标平面)上的显示区之间的区域到区域映射的分布图。

在每个二等分步骤期间确定“照明要求”可以以不同的方式进行。例如，最严格的要求是目标图像的每个部分的最大亮度水平是可实现的；这留下可用于重新定向的最少量的光，并且因此是最保守的方法。仅要求每个区域的平均亮度将导致损失每个区域中的光水平，并且必定会降低图像质量，尽管该方法对于一些应用可能是可接受的。可替选地，可以旨在例如通过软剪辑高亮和/或超出各个区域的可用动态范围的黑电平(black level)为每个区域再现一些预定百分比的光，这将仅需要少量的逐区域色调映射。

总之，SNS方法使用诸如相位调制器的自由曲面透镜，其可以根据需要多少光被传递至SLM上的相应的一组区域而被分成面积可以全部不同的许多区域。相对区域的大小确定每个区域的转向和放大量的大小。

在一个实现中，我们通过计算每个区域所需的焦平面内距离以及面内偏移来确定每个透镜的形状。简单的抛物面透镜可以定义如下：

其中，(f_x,i,f_y,i)是沿着第i个区域中的x方向和y方向的焦距，并且(m_x,i,m_y,i)是在该区域中的透镜的倾斜度。其他实现是可以的。例如，将入射光分布处理为以镜面角从相位调制器反射(bouncing off)，梯度表面可以从已知的光应当被发送到下一个调制器(例如SLM)或其他目标平面的地方获得。该梯度图可以被积分以形成用于空间相位调制器的相位图。

上面描述了将光从自由曲面透镜中继到SLM的两种示例方式。在“自由空间方法”中，每个区域的焦距将由所讨论的源区和相应的显示区之间需要多少放大率来确定。以下式将确保正确的放大率：

f_x，i＝D/(1-a_x，i/b_x，i) [2A]

其中，D是自由曲面透镜(例如，空间相位调制器)和SLM之间的距离，a_x,i是空间相位调制器上的源区的x尺寸并且b_x,i是相应显示区(例如，在SLM上)的x尺寸。在图6A和图6B中示出了这些参数。

在可替选实现中，来自相位调制器的光被聚焦到积分柱阵列上。在这种情况下，焦距的精确值不太重要。可以选择将来自每个源区的所有光聚焦到积分柱阵列的输入面上，换言之f＝D。如该部分中所述，可以确定每个区域的焦距的小变化，以便确保类似的光在积分柱阵列的输出处传播。

所得到的每个区域透镜可以类似于图5所示。

图6A和图6B示出了将光聚焦到SLM上的具有不同尺寸的两个透镜的横截面。

SNS的示例原型实现将目标图像分解成8个y区域乘16个x区域(“x”是图像的水平宽度，“y”是图像的垂直高度)。图像被重复二等分(沿x，然后y，然后x...的方向交替)，直到获得期望数目的区域。

图7A至7C示出了玛丽莲·梦露的输入图像的重复二分法。目标图像是1080×1920(高清分辨率)，因此每个8×16单元是135×120像素大。

在图7B中，我们看到在图像的左手侧的亮度要求为51，在右侧的亮度要求为48。因此，左手侧(LHS)的面积将是总空间相位调制器面积的51/(51+48)，并且右手侧(RHS)将是总空间相位调制器面积的48/(51+48)。对于这种偏斜需要很少的重新定向：只有少量的附加光应该入射到LHS上。由于左侧偏斜，我们在RHS上形成的透镜应该具有一个朝向左的轻微的倾斜度或斜度。

在图7C中，图像的LHS和RHS被进一步二等分。LHS的二等分结果为顶部55和底部48。因此，该图像的左上象限将需要比左下象限更多的光。底部透镜的倾斜度在向上方向上将是轻微的。对于RHS等重复该过程以及进一步的二等分，直到图像被分割成8×16子区域。

我们现在计算这些区域中的每一个的透镜形状。根据式2A确定空间相位调制器的8×16区域中的每一个的面内焦距(x和y)。每个透镜的倾斜度由SLM上的空间相位调制器区和相应的显示区的中心坐标确定；将这些点(x₁，y₁)_i称为在空间相位调制器上的第i个区域并且将这些点(x₂，y₂)_i称为在SLM上的第i个显示区。沿着x方向的偏移m_x,i通过下式计算：

mx_i＝-(x_2，i-x_1，i)/2f_x，i [3A]

并且类似的式可以用于y方向的斜度。使用导出的焦距和插入在式1A中的倾斜度来计算8×16区域中的每一个的透镜形状。

在图8和图9中示出了用于完全二等分8×16区域SNS过程的示例性的得到的透镜阵列。

图10示出了从图9所示的透镜图像反射(bouncing off)光的计算结果。在该示例中，空间相位调制器与SLM之间的距离为170mm。

来自图10所示的空间相位调制器的转向光现在可以被中继到SLM上。注意图10的右手侧的单元。我们看到，通过使用仅8×16区域对光进行重新定向，可以达到超过均匀照明成像装置可以提供的亮度水平的45倍的峰值亮度水平。在一些实施方式中，峰值亮度水平超过投影仪的全屏白电平(white level)的30倍或40倍。

完全可行的是，使光转向使得能够实现高于所讨论的图像所需的光水平。在这种情况下，可以实现光源功率的全局减小(例如通过对其进行脉冲宽度调制)，或者一些光可以被转向到光回收器(light-dump)中，或者可以通过可变孔对光进行聚焦来移除一些光。

可以对各个透镜相接(例如，沿着源区的边缘)的区域进行平滑化以便消除锐利边缘和可能的不想要的伪影。简单的低通滤波器便足够，或者可以最小化相邻区域之间的偏移以获得足够的效果。

方法2：相同大小的LETO区域；不同大小的SLM区域。

对于该讨论，我们假设均匀的光分布入射在空间相位调制器平面上并且被重新定向到距离调制器平面一定距离处的目标像平面上。可以使用和考虑其他入射光分布。SLM可以可选地放置在目标平面中，但是对于紧接着的下面的讨论无关紧要。

入射在调制器平面上的均匀光被重新定向到距调制器平面一定距离处的目标像平面上。调制器平面被划分成等面积的区块(源区)，每个区域负责将光重新定向到目标像平面的特定区块(显示区)上(参见图11)。

这种方法意图在于，使相对于整个目标图像限制在每个显示区中的光功率的部分与相对于整个调制器的限制在每个源区中的部分相同。

显示区的几何形状受制于期望的像平面照明分布，并且可以使用诸如中值剪切算法的算法来计算。在中值剪切示例中，具有整个图像的光焦度的四分之一的目标像平面区块(segment)可以通过对来自具有整个调制器的四分之一面积的调制器平面区块的光进行重新定向来实现。

相位调制器

在调制器上建立的相位分布用于将光重新定向到目标像平面，以便实现期望的照明分布。可以在逐个源区的基础上计算相位分布，其中入射在源区上的光通过该源区上的相位分布朝向相应的显示区被重新定向。

通过将调制器平面中的源区和目标平面中的显示区二者都定义为表示每个区域的相应位置和取向的点网，可以使得对于每个源区的相位分布的计算更容易。

对源区或调制器区块中的点的数目的典型选择是该区块中的可用于相位调制的像素的数目。每对对应的源区和显示区应当具有跨越各个区域均匀分布的相同数目的点，使得可以关于每对源区和显示区一对一点映射。

重新定向

给定与特定对的源区和相应的显示区相关的点映射，可以通过多种不同的方法获得将实现期望的光重新定向的相位分布。相位分布和表面分布之间的关系由Hyugens-Fresnel原理给出。相位分布的梯度确定相位分布对光的转向效应。相位分布通过介质的折射率(对于物理透镜)和波动光学的控制等式与物理透镜的表面轮廓相关。

由于众所周知的是，相位分布可以与光路长度的表面分布相关，因此根据路径长度而不是相位来描述以下方法。

在一种方法中，调制器区块的路径长度分布由区块对中的对应点相距的物理距离组成，参见图12。

参照图12，我们看到调制器平面点映射和相应的目标像平面点映射之间的光路长度可以表示为：

其中，M_i是调制器平面中特定点i的坐标，T_i包含目标像平面中的相应点的坐标，并且L_i是两个点之间的矢量的长度。

在其他方法中，利用区域对中的源区和相应的显示区两者的中心点。在这些方法之一中，路径长度分布由将源区(调制器区块)中的点与位于显示区(目标平面区块)的中心上的虚拟平面中的点分开的距离构成并且与连接区块中心的矢量正交。用于距离的虚拟平面中的点对应于虚拟平面与连接区块对的线相交的位置(见图13)。

参照图13，调制器平面点映射和相应的目标像平面点映射之间的光路长度可以表示为：

其中，

是连接区块对中心的矢量，并且

是连接在调制器平面区块上的点M_i与相应的目标平面区块的中心点T_c的矢量。矢量之间的点●表示用于矢量点积的通常使用的符号。

在另一种方法中，路径长度分布由将源区(调制器区块)中的点与以相应显示区(目标平面区块)的中心为中心的虚拟抛物面中的点分开的距离组成。用于距离的虚拟抛物面中的点可以位于连接区块对的线与将虚拟抛物面点连接到目标平面区块的中心的线成90度角的位置(参见图14)。

参照图14，调制器平面点映射和相应的目标像平面点映射之间的光路长度可以表示为：

本发明的另一方面提供了用于确定可配置光学元件(例如折射或相位调制元件)的配置的其他示例方法，当来自光源的光与可配置光学元件相互作用时，可配置光学元件引起生成期望的光场。在一些实施方式中，可配置光学元件是动态可重配置的。这样的方法可以用于产生对应于用于高动态范围投影的图像数据的光场。在一些实施方式中，图像数据包括视频数据，并且显示视频数据的帧包括对可配置的光学元件进行配置。在一些可替选实施方式中，应用该方法以限定用于固定式物理透镜的配置(例如，可以应用于通过模制、机加工等来制造透镜的配置)，以便提供通过与来自光源的光相互作用将产生期望图像的透镜。

图15示出了与来自光源16的光14相互作用的广义折射光学元件12的示例布置。该布置表示一般的投影仪。布置被简化，因为元件12具有平坦的后表面12A，并且来自光源16的光被准直并且垂直于后表面12A到达。这些条件不是绝对必要的，但是它们简化计算了并且有助于提供对可以应用于确定元件12的配置的算法的清楚说明。对于其中元件12更复杂的光学系统的情况，可以以对于本领域技术人员显而易见的方式修改适于生成元件12的配置的算法。

在布置中，光到达平行于光轴13行进的后表面12A，在垂直于光轴13的后表面12A处进入元件12，并且在到达元件12的远表面12B之后被折射，之后光行进到图像表面。在假设元件12的厚度对于大多数目的可忽略(“薄透镜假设”)且远表面12B具有相对浅的梯度的假设下，元件12的透射系数接近恒定。

当期望物理透镜表面时，菲涅尔等式用作成像模型。这些式使入射角(θ₁&θ₂)和透射角与两种材料的折射率(n₁&n₂)相关联。入射角θ₁&θ₂关于从元件12的材料指向元件12周围材料的表面法线矢量测量。入射角与透射角通过以下式相关联：

其中，光14平行于光轴13，法线N因此相对于光轴13定向在θ₁处。然后，透射光线相对于光轴13的角度θ_t为θ_t＝θ₂-θ₁。这导致在下面关于所需要的角度θ₁的式产生给定角度θ_t。

对于与光轴对准的薄透镜，可以使用近轴近似，其假设sinθ≈θ和cosθ≈1。利用该假设，前述式被简化为：

其中，元件12被相位调制器代替，式被简化为以下：

θ₁＝θ_t

这些关系确定入射光线如何通过透镜表面处的物理折射或通过相位调制器而偏转。自由曲面透镜的目的是使用这些关系来确定将光聚焦在目标图像的明亮区域中并且使暗区中的光散焦的透镜或相位曲面。下面的部分讨论三种可用于生成在照射时将生成期望的光场的折射和/或反射和/或相移元件的配置的方法。

方法3：近轴模糊修正公式

近轴模糊修正公式通过将近轴假设引入到图像形成模型来将从光源到目标的光的映射耦合到透镜表面计算，这大大简化了待解决的问题。

该方法的益处在于，保证光的重分布以产生不依赖于适当选择的离散元件的有效物理透镜。挑战在于要解决的问题是调节不良的双调和系统，其倾向于使用迭代方法缓慢收敛，同时太密集以至于特别是在诸如GPU或FPGA的高度并行硬件上不能有效地考虑和解决。

本节介绍基于去卷积的替代解算器。通过将问题解决为傅里叶空间中的反卷积问题而减少了系统的调节问题，导致几个数量级的加速。以下部分介绍基本近轴模型，然后提出在傅立叶空间中求解的可替选公式。

图像形成模型

在位于焦距f处的像平面上的透镜平面上的点的图像分别由关于物理透镜相位曲面的以下式给出。

v^*＝v+ftan(θ₁)

这些式可以使用sinθ≈θ和cosθ≈1的近轴假设用以下线性式近似：

v^*＝v+fθ₁

使用近轴近似，角度θ₁还可以与透镜表面或相位曲面p(v)的梯度相关，给出：

通过将标称焦距f^限定为关于相位曲面的f或关于物理透镜的

这两个式可以被整合为单个式。然后从v→v^*的映射的雅克比行列式J的决定因素确定在像平面上的任意点的放大率。

放大率与像平面上的亮度成反比。使用映射v→v^*和上述式关联点v的图像的强度，即：

这可以随后经由一阶泰勒级数线性化以获得式1中的非线性图像形成模型。

该图像形成模型可以表示为逆问题，其中寻求尽可能近地再现目标图像的相位/透镜表面。所得到的优化问题在式2中示出。

在式(2)中，

是图像数据(图像中的每个点的强度)；p(v)是根据所述光学元件上的位置v变化的相位；Ω是图像的面积；f^是标称焦距(如上定义)并且p(v)^*是光学元件的解配置。

最小化式(2)的函数(v)^*限定最接近目标图像的透镜或相位曲面。

求解算法

由于项

由式(2)提供的该目标函数是非线性的，其可以被理解为目标图像I的弯曲。为了获得线性模型，可以引入该弯曲的线性化。然后可以以如算法1所示的迭代方式使式2最小化。

算法1:式(2)的线性最优化

在算法1的每次迭代中，在离散化为像素之后，求解线性化最小二乘问题以最小化残差平方的和

可以使用市售的求解器和本领域中当前已知的其他求解器来求解这个问题。算法1已经在仿真和物理原型设置中验证，并产生良好的结果。然而，由于拉普拉斯算子的平方

该问题的调节较差。为此，使用迭代求解器的收敛可能很慢，而系统密度使得直接求解器存储器密集。

方法4：傅立叶域中的解

对于周期边界条件，式(2)所示例的问题可以在傅里叶空间中更有效地求解。一种方法是应用近端运算符。对于任意凸函数F(x)，近端算子prox_γF(在式3中定义)像信赖域优化的单个步骤一样起作用，其中寻找减小F但不偏离输入自变量q太远的x的值。

对于最小二乘目标

所得到的近端算子如下所示。

prox_γF(q)＝(γ+A^TA)^-1(γq+A^Tb)

利用周期边界条件并且A是循环矩阵，这可以是在傅里叶空间中非常有效地赋值，如式4所示。

符号

指示正向和反向傅立叶变换，*指示凸向共轭，并且逐点执行乘法/除法。参数α＞0用作透镜曲率上的L₂正则化参数。也尝试了L₂梯度罚分，但发现对解质量有不利影响。

通过定义

和

和q＝p^k(v)，该问题可以在傅里叶空间中迭代求解，产生算法2。

通过高速缓存p^k(v)的傅立叶变换，算法2可以用一次图像扭曲、一些矢量操作和每次迭代一次正向/反向傅里叶变换来实现。所有这些操作都可高度并行化，无论是逐像素还是逐扫描线操作。

如图所示，算法2是公共近端算法-近端点方法-的非线性变体，近端点方法是用于通过赋值x^k+1←prox_γF(x^k)来最小化由递归调用prox_γF组成的任意凸F的固定点算法。

去模糊式的困难在于给产生的透镜/相表面分配边界条件。期望将矩形透镜映射到矩形图像区域，然而，当使用傅里叶时的周期性假设可能导致边界附近的严重失真。图16A是其中特别是沿着顶部和底部图像边界的中心部分可以看到这种失真的示例图像。

结果

在图20A、21A、22A、23A和24A中示出了根据使用算法2获得的解决方案制成的物理透镜的选择结果。所有透镜使用镜像填补用γ＝1000和α＝2.0以像素间距为0.5mm的256×128的分辨率、100mm的焦距计算。由于非功率二输入尺寸，非均匀重新缩放导致焦距稍微错误。所有渲染使用具有正常平滑和循环细分的Blender+LuxRender在130mm焦距处计算。所有图像被伽马校正以用于具有2.2的伽马的显示。每个图像周围的边框显示标称全屏白色值。每个图像的计算时间大约为1秒，但是通过并行化、流水线和移植到GPU，有大量的代码优化空间。

算法2能够再现相对精细的细节。光的重分布被限制为大约屏幕尺寸的1/4，这可以限制一些非常高对比度图像的对比度。降低平滑度参数α可以改善这一点，但是如通过比较图17B、17C和17D看出的可能引入假象。

方法5：基于面积的参数化式

确定从源到目标的映射的另一种方法是基于面积的参数化。基于面积的参数化方法基于将透镜或相位曲面细分为斑块或区域，然后将其映射到像平面上。该方法的一些示例针对US61/893270(Light Field Projectors and Methods)和US62/031250(Methodsand Apparatus for Light Steering Using Phase Modulated Imaging)中的光场投影仪描述，其二者通过引用并入本文用于所有目的。

从源到目标的映射可以体现在物理透镜的情况下的菲涅尔映射中或者在相位调制的情况下作为相位函数的梯度。不管使用哪种图像形成模型，必须提供一种方法以确定透镜平面上的什么区域应映射到像平面中的特定对应区域，以用于期望的光图案的最佳再现。

可以通过改变透镜平面中的相应区域的尺寸来控制像平面中的区域内的光强度。增加透镜平面中的相应区域的尺寸将增加像平面的相应区域中的光强度。

建立透镜平面和像平面之间的映射的一种方式是将透镜平面和像平面都划分为具有边界的区域，并且建立透镜平面的区域和像平面的相应区域之间的对应关系。例如，图40示意性地示出了通过边界42B划分为区域42A的透镜平面42和通过边界44B划分为区域44A的像平面44。如箭头45所示，像平面44的每个区域44A对应于透镜平面42的相应区域42A。

在这一点上，值得注意的是，像平面和透镜平面是平面的，这是为了方便起见但不是强制的。通常，这些表面中的任一者或两者可以是弯曲的。此外，尽管在一些实施方式中是这种情况，但是并不强制在区域42A和区域44A之间存在1：1对应关系。例如，在一些实施方式中，两个或更多个区域42A可以对应于一个区域44A。此外，区域42A完全覆盖透镜平面42不是强制性的(尽管通常是期望的)。

方便地，区域42A平铺透镜平面42并且区域44A平铺像平面44。区域42A可以称为“源区”，区域44A可以称为“目标区域”，因为区域42A用作照亮相应的区域44A的光的源以复制目标光图案。

方便地，边界42B被参数化，使得可以通过改变限定边界42B的参数来改变区域42A的尺寸。在一些实施方式中，边界42B和44B包括直线。在其他实施方式中，边界42B和/或44B是弯曲的。

限定区域42A和44A的一种方式是通过具有限定三角形区域的分段线性边界的三角测量。在这样的实施方式中，可以通过三角形顶点的位置方便地定义(参数化)三角形的边界。然后三角形顶点位移对应于相位函数的梯度，而三角形内部的区域对应于恒定曲率的区域。利用该面积参数化，映射将透镜平面上的分段恒定区映射到像平面中的分段恒定区。

可以应用算法来找到边界42B的边界构造，其将导致像平面中的区域44A中的目标光强度的再现。例如，为了确定将在像平面中的每个三角形内再现目标强度的透镜平面中的三角形顶点位置。在透镜平面被光源均匀照射的情况下，像平面的区域内的光强度由像平面的区域与透镜平面中的相应区域的面积的比给出。在下面的示例中，假定透镜平面的均匀照明。然而，可以容易地修改算法以解决透镜平面的照明中的非均匀性。

示例性实施方式

算法的输入是三角形网格M＝{T，V}。在此V＝{v₁，...,v_n}为顶点的集合，其中

以及T＝{t₁,…,t_m}，其中

为到V中限定定向三角形的整数指数。三角形的集合限定了分段线性离散空间

那么t_j的有符号面积为

光重分布的参数化公式在源表面上寻求一组顶点位置

使得

其中I_j为相对于源强度的目标强度。该源强度假定为常数。可以容易地适应来自光源的已知的非恒定光强度。在一些实施方式中，可以控制源以提供促进特定图像的显示的非恒定光强度。例如，可以控制源以提供在对应于图像中较大强度的区域中较强强度以及对应于图像中较暗区域的区域中较弱强度的强度分布。

由于目标强度可以具有宽的变化，所以该条件可以由以下目标函数表示：

通过目标强度的标准化确保误差被均等地加权，而不管它们是否对应于目标图像的亮区域或暗区域。常数0<ε<<1用于在目标强度正好为零的情况下规则化问题。

能量守恒要求

(假设在任何光学系统中从透镜平面提取到图像平面的光没有损失)。因此，期望调整到达图像平面的光的总量以与经积分的目标强度匹配。这可以通过预缩放源强度来实现，例如，通过调制光源的输出，使来自光源的光通过包括可变孔和/或包括在透镜平面和图像平面之间的光路中的光调制器的光学系统。

另一物理约束是不能减少光。因此，负面积源区不具有物理意义。算法可以包括约束条件

这还要求得到的参数化是双射的。

导致等式5的最小化的顶点位置V*产生对应于高目标强度水平扩大的三角形以及对应于低目标强度水平收缩的三角形。几乎不需要对顶点位置的附加约束条件，除了所得到的三角形保持正面积之外。

尝试直接优化等式5可能导致不良分布的顶点。图18A和图18C中示出了示例。通过引入旋度正则化可以显著提高目标光场(例如，图像)的再现精度，其将解空间限制为具有低旋度的解空间。例如，将图18B和图18D与图18A和图18C进行比较。

方法6：添加旋度和平滑性正则化至方法5

示例性旋度正则化项由等式6限定，其由计算网格的每个三角形表示。

如果输入是镶嵌规则网的形式，则正则化项可以等效地以网上的有限差分的形式而不是其分量三角形来表示。

结合旋度正则化导致点映射中的较低失真。在点映射中减少旋度还有利地导致可以通过平滑和连续的透镜表面的梯度更好地近似的顶点位移。这是因为顶点的位置最终被应用以在相位的情况下明确地或在物理透镜的情况下隐含地通过菲涅耳映射来限定所得透镜或相位场的梯度。

除了旋度正则化之外，一些实施方式还应用平滑性正则化项。等式7提供了平滑性正则化项的一个示例。

在等式8中示出了结合旋度和平滑性正则化项两者的示例性优化。

等式8是满足二次约束条件的顶点位置V*的非凸四次函数，并且因此是非平凡优化的。以下部分描述可用于找到等式8的最优解的方法。

数值解

在一些实施方式中，使用内存受限的Broyden-Fletcher-Goldfarb-Shanno方法(L-BFGS)来求解等式8中的旋度正则化目标。L-BFGS的各种实现方式是公开可用的。这些实现方式包括用于C编程语言的libBFGS。

L-BFGS使用目标函数梯度评估的历史来建立对逆Hessian矩阵的近似以计算搜索方向。一旦找到，就沿着该搜索方向执行第二1D优化，寻找近似最小值。有利地是，L-BFGS不要求对于V*的每个值重新评估Hessian。

非负性约束条件A(V^*，t_j)≥0阻止预先计算系统矩阵或预调节器。这些约束条件可以使用对每个三角形引入惩罚项的对数障碍方法来实现。等式9中示出了示例性惩罚项，其可以被添加到等式8。

最初，将障碍参数μ设置为逐渐减小的大值。例如，障碍参数可以通过因子τ∈(0，1)缩放。该因子可以是常数。所得到的惩罚迅速变为对初始约束条件A(V^*，t_j)≥0更准确的近似。

在许多情况下，可以完全省略惩罚(例如，通过设置δ＝0)，因为通过目标强度的逆缩放使得翻转的三角形仅出现在图像的黑暗区域中。这显著地改进了该方法的性能，因为在不同δ值下的多个优化可以由单个优化替代。

尺度空间求解

虽然旋度正则化项有助于将解限制为可积分的解，但由于目标函数是点映射的四次函数，因此优化可能变成滞留在等式8中的目标函数的局部最小值中。为了帮助改进这一点，可以在尺度空间中从粗到细执行优化。

为了帮助避免陷入局部最小值，等式8在尺度空间中从粗到细被求解。用于此的伪代码在算法4中示出。

假设β≠0，算法4确保所得到的参数化是双射的。这是有保证的，因为三角形以2倍的因子被上采样，因此每个细分的三角形完全包含在单个源三角形内。

多尺度过程允许该方法恢复具有大位移和低旋度的点映射。这导致几乎可积分的点位移场。这可以在积分点位移以计算最终透镜表面或相位函数时由代码来解决。

相位和透镜表面生成

一旦参数化完成，可以从点位移V-V^*产生物理透镜表面，其中V表示目标图像平面上的点，并且V^*表示透镜表面上的点。这些位移确定从透镜表面上的点到图像平面的平面内偏移，并且因此确定从透镜表面到映射点相对于光轴的角度。

这些公式假定入射光平行于光轴并且在平行于包含光轴和出射光线方向的平面的平面内相对于光轴被测量。

因此，相位/透镜表面的法线被限制到平行于包含光轴和出射光线方向的平面的平面，从而相对于光轴形成θ₁的角度。积分这些法线，在无旋度位移的理想情况下，生成期望的相位/透镜表面。然而，这些向量仅在网格顶点处被限定。为了适应这一点，可以使用非结构化网格(例如，使用有限元法)来执行积分，或者可以将法线重新采样到相位/透镜表面的像素。以下示例性实现方式采用后一种方法。这允许所选择的积分方法的灵活性。

为了执行重新采样，可以将三角划分法线光栅化到表示相位/透镜表面的图像上。可以在该光栅化中使用Phong插值，其产生可以用分段二次斑块精确表示的法线场。

如果重新采样的法线场是无旋度的，则透镜/相位曲面可以通过求解泊松等式直接积分。在实践中，重新采样的法线场通常不是无旋度的。这不一定意味着物理透镜不能再现目标法线场，仅连续和平滑的物理透镜不能再现。不平滑并且可能甚至不连续的透镜可以再现更宽范围的法线场，可能以在不连续附近的视觉伪影为代价。

这自然地得到使用稀疏优化方法来执行积分的想法，寻求除了在扭结或不连续的稀疏集合之外满足法线场的透镜表面。这些方法是有吸引力的，因为它们自动确定任何非平滑区域的拓扑。这不同于使用指定的斑块。

一些合适的稀疏优化方法是最小绝对偏差(LAD)问题的变型，其限定如下：

p＝argmin_p||Gp-N||₁ (10)

在等式10中，矩阵G表示离散梯度算子，p是要被恢复的透镜或相位曲面，并且N是目标法线场。LAD问题的变型包括使用稀疏范数，例如，零范数或非凸的但仍然是连续的范数。在对几个选项进行试验之后，选择等式11所示的加权LAD公式用于原型实施方式。

p＝argmin_p||WGp-WN||₁ (11)

W是对角加权矩阵，其用于偏爱相对于其他位置的某些不连续位置。在所得的法线场中的每个像素的梯度矩阵中有两行的情况下，对于W_2i,2i和W_2i+1,2i+1的权重可以设置为：

其中a_i为像素i的映射面积。该加权函数放大暗区中的法向误差，这促进了L₁优化以在暗区设置不连续。替选加权可以考虑参数化的平滑性。等式11可以使用用于稀疏重建的任何数目的数值方法来求解，包括ADMM、Primal-Dual方法或线性规划公式。

本文描述的面积参数化方法可以在GPU或FPGA或其他合适的硬件上并行化，因为这些方法可以使用仅依赖于梯度评估和简单向量操作作为到L-BFGS的输入的无矩阵算法来执行。可以对每个像素并行地分析地执行梯度计算。

可以以各种方式优化本文所述的方法以更快地处理和/或更精确地再现目标光图案。例如，L-BFGS可以跨点和外部产品并行。此外，与用于生成图20B、21B、22B、23B、24B、25B、26B、27B、28B和29B所示的示例性图像的原型系统相比，调整L-BFGS算法中的线搜索参数、并行化梯度计算和/或避免临时存储单元以及优化高速缓存读取并去除临时存储单元可以导致显著的速度增加。

通过利用多尺度结构，可以通过使用在独立的顶点集合上并行化的方法的变型执行面积优化来实现具有更好的可并行性的更快的方法。

可以通过改变法线积分过程以在三角形网格上工作，而不是如上所述的重新采样的像素网来减少暗区中的不期望的伪影。可以通过优化每个透镜/调制器像素到目标图像上而不是每个目标图像像素到透镜/调制器上的投影来实现进一步的改进。这将颠倒在所得优化中的光和暗的作用，可能导致亮区域中的伪影，但是将避免重新采样。缺点是所得到的优化可能不太稳定：当优化到目标图像上的投影时，调制器/透镜像素的定位的微小变化可能导致目标图像内的非常快速变化的强度。

图43A和图43B示出了非限制示例性方法100。方法100结合了由循环101A执行的多尺度处理和由循环101B实现的可变障碍参数两者，循环101A重复以增加分辨率水平，循环101B重复以减小障碍参数的值。替选方法仅执行循环101A和循环101B中的一个或不执行循环101A和循环101B。

在框102处，源区被初始化以提供初始映射103。框102可以例如包括将位置分配给限定三角形或其他形状的源区的顶点。源区的数目(以及相应显示区的数目)可以随当前尺度/分辨率而变化。

图像数据105用于构造目标函数109。在所示实施方式中，在框106处设置图像数据105的分辨率，在框106处也为障碍参数设置当前值。框106可以例如包括下采样或下采样和过滤图像数据105以产生定尺寸的图像数据107。框108使用定尺寸的图像数据来生成目标函数109。目标函数109被提供给框110，框110求解更新的映射115。例如，框110可以实现L-BFGS求解器算法。框110可以调用如上所述的旋度正则化项112A、平滑性正则化项112B和面积惩罚112C中的一个或更多个。

在框116中，更新障碍参数(例如，通过缩放障碍参数的当前值或选择多个减小的障碍参数中的下一个)。框118检查以查看更新的障碍参数是否低于待使用的最小障碍参数值。如果更新的障碍参数值不低于待使用的最小障碍参数值(框18中的“否”结果)，则处理经由循环101B循环回以重复下一个障碍参数值。框116和框118可以按照对框118的测试的适当改变的顺序颠倒。

在框118处的“是”结果(指示当前尺度的所有障碍参数值已经完成)的情况下，框120检查以查看是否所有尺度已经完成(例如，以查看当前分辨率是否是全分辨率或最大分辨率)。如果是这样，则处理在图43B中继续。否则框122增加映射115的分辨率，并且目标函数和处理通过循环101A循环回以获得在新分辨率处的更新的映射。

图43B示出了方法100的继续，其中处理映射115以驱动光投影仪。在框124中，对由映射115限定的源区的法线进行重新采样以产生重新采样的法线117。在框136中，对重新采样的法线进行积分以产生目标相位曲面119。在框128中，相位曲面119中的相移值以2π为模被调整以产生相位调制器配置数据129，使得它们在相位调制器的范围内。在框130中，根据相位调制器配置数据129驱动相位调制器。在框132中，显示图像。

方法7：分配问题公式

上述方法的变型使用替代由等式8示例的公式或除了由等式8示例的公式之外的分配问题公式产生了从照明源到目标图像的映射。分配问题和用于求解它们的技术在操作研究领域内是常见的。等式12中对于一组源点s_i和等基数的目标点t_j示出了分配问题的示例性限定。

矩阵C(i，j)是指示源点i到目标点j的映射w_i,j单元的成本的成本函数。而约束条件确保源和目标被完全映射。在标准线性分配问题中，权重w_i,j允许为分数。变型可能需要二进制w_i,j。

如果s_i是源位置并且t_j是目标位置，则常见成本函数C(i，j)是曼哈顿和欧几里德距离。在许多情况下，成本函数是稀疏的，意味着仅可能的分配(i,j)的子集被允许，其中不可行的匹配隐式分配无限成本。

该问题可以通过对源亮度和目标亮度成比例地产生源点和目标点分布，并且然后通过求解等式12来计算源和目标之间的最优分配，来应用于焦散生成。然后，这些分配确定来自源的出射角，然后可以使用上面讨论的斯涅耳映射和法线积分方法来获得光学元件在透镜平面处的配置。为了求解等式12，可以使用几种方法，包括线性规划、或者在寻找1:1映射的离散情况下的拍卖算法或匈牙利算法。

通过等式12的焦散形成可以是有利的，例如，以最小化在所得法线场中引起旋度的剪切。这些优点可以相对于在所讨论的点集上求解等式12的计算代价来折衷。等式12可能需要相当多的计算来求解特别是对于具有非稀疏成本函数的大点集。在距离(曼哈顿或欧几里得)中引入稀疏性成本函数限制透镜的转向效应，从而有效地限制对局部区域的修改。

在示例性方法中，应用分配问题公式以改进由上述面积参数化方法计算的点映射，以减少所得法线图中的旋度。这也将避免必须解决密集分配问题，其在计算上是昂贵的，而是用更快解决的稀疏问题来替代。

结果比较

本部分呈现了近轴去模糊和面积参数化方法的比较。对于近轴去模糊，使用镜像填补以256×128的分辨率计算所有透镜，其中像素间距为0.5mm、焦距为100mm、并且γ＝1000和a＝2.0。由于非功率二输入尺寸，非均匀重新缩放导致焦距轻微的错误。所有渲染在130mm焦距下计算。每个图像的计算时间约为1秒，但是通过并行化、流水线和移植到GPU，存在大量的代码优化空间。

对于面积参数化，在ε＝0.05、a＝0.05和β＝10.0和δ＝0下计算所有透镜。参数的这种选择禁止所有源区(例如，三角形)被限制为具有正面积的要求。然而，产生的参数化通常是双射的或接近双射的。这可以在图19A和图19B中看出，其中即使图像的暗区被严重压缩(指示非常少的光被映射到它们)，它们仍保持为凸的。算法产生双射映射的趋势至少部分地由目标强度的标准化导致，这导致在实现目标放大因子中优化惩罚相对误差而不是绝对误差。计算时间约为每帧5秒至10秒，但是可以通过以与近轴去模糊结果相同的分辨率工作来加快4倍，使得两个计算时间更接近。

在图20A至图24C中呈现了近轴去模糊和面积参数化方法的比较。每个图像具有指示标称入射照明的灰色边界和指示无照明的细黑色边界。除了使用伽马3.0的图20B的爱因斯坦面积参数化图像之外，所有图像都用伽马2.2进行伽马校正。使用能够法线平滑和循环细分的Blender+LuxRender从网格文件渲染图像。每个图像的计算时间约为1秒，但是通过并行化、流水线和移植到GPU，存在大量的代码优化空间。

总体上，可以看出，与面积参数化方法相比，近轴去模糊公式更好地再现精细细节：相比于面积参数化的1/4分辨率，近轴去模糊方法以约1/8尺度计算了结果，并且仍然显示比面积参数化结果中存在的细节更精细的细节。这种差异可以主要归因于面积参数化方法可以提供比近轴去模糊方法更强的转向的事实。

两种方法在一定程度上使输入图像失真。这部分地由于改变伪影的尺寸以及部分由于透镜变得足够厚使得薄透镜假设不能很好地应用。一些透镜具有其焦距的约10％的厚度。可以通过稍微调整透镜距图像平面的距离来校正大部分失真。

试验结果

计算若干相位图案以在原型投影仪上使用。原型投影仪使用相干532nm绿色激光源，其被扩展和传递到2π“LETO”相位调制器。相位调制器的输出然后被传递到投影透镜并到达屏幕上。大多数图案使用上一部分中的默认参数。然而，“蜡烛”图像使用ε＝0.1。“蜡烛”(图36A)、“爱因斯坦”(图32A)和“复仇者”(图35A)图像使用L₂积分。

使用相同的相机设置(ISO800、0.01s、F20)捕获的近轴去模糊和面积参数化结果之间的比较图像显示在图29B至图32C中。近轴去模糊结果具有相对低的对比度，这使得难以看到图像的结构。面积参数化结果具有更好的对比度，但是对于投影仪光学器件内的对准以及LETO的照明的均匀性敏感。投影仪中的轻微失准可能会导致所产生的图像严重局部失真；几个结果显示了这些失真。

图33A至图33H示出了对于来自低功率白光LED的LETO的宽带照明的类似比较，其中输出图像聚焦在使用与图29B至图29C中相同的相位图案的白色名片上。通过在相位图案中的缠绕而引入的伪影，以提高的黑色水平和色差为代价，失真减少了一些。在这种情况下，面积参数化仍然超越近轴去模糊方法。

来自使用突出对比度的相机设置的面积参数化方法的一组结果在图34A至图34D中示出。这些图像显示面积参数化方法将光的大部分从暗区转移到亮区。

可以以各种方式来实现本文所述的技术。图41示出了根据本发明的一个实施方式的设备50。设备50包括处理器54，处理器54接收指定期望光场(其可以是图片、光图案、视频帧等)的图像数据52，并产生指定透镜或相位调制器配置的数据。数据56可以用于控制3D打印机57A以产生印刷的物理透镜或铣床或其他加工中心57B，以产生物理透镜或用于物理透镜的模具或用于以后使用的数据存储器57C。数据56可以提供给包括可控透镜、镜/相位调制器等的光投影仪57D。

图42示出了光投影仪60，其包括被连接以接收数据56的控制器62。注意，设备50的控制器62和处理器54的功能可以被组合，使得光投影仪60接收和处理图像数据。在其他实施方式中，光投影仪60可以与部分地执行设备50的功能的预处理器设备一起工作。然后，光投影仪60可以执行进一步的步骤来处理数据。

光投影仪60包括光源64和相位调制器66。在一些实施方式中，相位调制器66由动态可变镜或动态可变透镜替代。相位调制器66由显示控制器62控制，以逐个像素来调整从光源64入射的光的相位，从而在图像68处显示期望的图像。图像68可以包括光例如从前面或后面投影到其上的表面。

光投影仪60可以包括一个或更多个机构以调整投影图像的平均亮度以匹配图像数据。所示实施方式包括可选的控制信号64A，其改变光源64的光输出。所示实施方式还包括可选的全局调制器65，例如在光源64和相位调制器66之间的光路中的可变孔。全局调制器65可操作以可控地衰减在相位调制器66处入射的光。在另一示例性实施方式中，相位调制器66被配置为在将从光源64接收到的所有光引导到图像68将导致比期望平均图像亮度更高的情况下引导一些光远离图像68。

光投影仪60还包括可选的净化台67。净化台67可以包括能够基于像素调整光至图像66的传输的空间光调制器，例如，LCD面板或数字镜装置等。净化台67可以用于调整投影图像的平均亮度，并且还可以用于校正投影图像中的伪影。

术语解释

除非上下文另有明确要求，在整个说明书和权利要求书中：

“包括”、“包含”等应被解释为包括的意思，而不是排他的或穷尽的意思；也就是说，在含义上“包括但不限于”；

“连接”、“耦接”或其任何变型是指两个或更多个元件之间的直接或间接的任意连接或耦接；元件之间的耦接或连接可以是物理的、逻辑的或其组合；

“本文”、“上方”、“下方”和类似含义的词语在用于描述本说明书时，应当参考作为整体的本说明书，而不是本说明书的任何特定部分；

参考两个或更多个项的列表，“或”涵盖词语的以下所有解释：列表中的任何项、列表中的所有项、以及列表中的项的任何组合；

单数形式“一”、“一个”和“该”还包括任何适当的复数形式的含义。

在本说明书中和任何所附权利要求(其存在)中使用的指示诸如“垂直”、“横向”、“水平”、“向上”、“向下”、“向前”、“向后”、“向内”、“向外”、“垂直”、“横向”、“左”、“右”、“前”、“后”、“顶部”、“底部”、“上方”、“下方”等的词语取决于所描述和示出的设备的具体取向。本文描述的主题可以采取各种替选取向。因此，这些方向性术语不是严格限定的，并且不应狭义地解释。

本发明的实施方式可以使用专门设计的硬件、可配置硬件、通过提供能够在数据处理器上执行的软件(其可以可选地包括“固件”)的可编程数据处理器、被特别地编程、配置或构造以执行本文中详细说明的方法中的一个或更多个步骤和/或这些步骤中的两个或更多个的组合的专用计算机或数据处理器来实现。软件可以包括用于配置诸如FPGA的可配置逻辑器件以实现用于执行方法的逻辑的指令或由所述指令组成。具体设计的硬件的示例是：逻辑电路、专用集成电路(“ASIC”)、大规模集成电路(“LSI”)、超大规模集成电路(“VLSI”)等。可配置硬件的示例是：诸如可编程阵列逻辑(“PAL”)、可编程逻辑阵列(“PLA”)和现场可编程门阵列(“FPGA”)的一个或更多个可编程逻辑器件。可编程数据处理器的示例是：微处理器、数字信号处理器(“DSP”)、嵌入式处理器、图形处理器、数学协处理器、通用计算机、服务器计算机、云计算机、大型计算机、计算机工作站等。例如，用于设备的控制电路中的一个或更多个数据处理器可以通过在处理器可访问的程序存储器中执行软件指令来实现如本文所描述的方法。

处理可以是集中式的或分布式的。在分布处理的情况下，可以集中或分布地保存包括软件和/或数据的信息。这样的信息可以通过诸如局域网(LAN)、广域网(WAN)或因特网的通信网络、有线或无线数据链路、电磁信号或其他数据通信信道在不同的功能单元之间交换。

例如，虽然以给定顺序呈现过程或框，但是替选示例可以以不同的顺序执行具有步骤的例程或采用具有框的系统，并且一些过程或框可以被删除、移动、添加、细分、组合和/或修改以提供替选或子组合。这些过程或框中的每一个可以以各种不同的方式来实现。此外，尽管过程或框有时被示为是串行执行，但是这些过程或框可以代替地并行执行，或者可以在不同时间执行。

此外，虽然元素有时被示为顺序执行，但是它们可以同时执行或以不同的顺序执行。因此，旨在将所附权利要求解释为包括在其预期范围内的所有这样的变型。

软件和其他模块可以驻留在服务器、工作站、个人计算机、平板计算机、图像数据编码器、图像数据解码器、视频投影仪、视频处理器、视频编辑器、视听接收器、显示器(例如电视)、数字电影放映机、媒体播放器、多处理器系统、基于微处理器或可编程消费电子产品、网络PC、微型计算机、大型计算机等以及适合于本文所述目的的其他设备上。相关领域的技术人员将理解，系统的各方面可以利用其他通信、数据处理或计算机系统配置来实现。

本发明还可以以程序产品的形式提供。程序产品可以包括携带一组计算机可读指令的任何非暂时性介质，当由数据处理器执行所述计算机可读指令时，所述计算机可读指令使得数据处理器执行本发明的方法。根据本发明的程序产品可以是各种形式中的任一种。程序产品可以包括例如非暂时性介质，例如包括软盘的磁性数据存储介质、硬盘驱动器、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速RAM、EPROM的电子数据存储介质、硬连线或预编程芯片(例如，EEPROM半导体芯片)、纳米技术存储器等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在一些实施方式中，本发明可以在软件中实现。为了更清楚，“软件”包括在处理器上执行的任何指令，并且可以包括(但不限于)固件、常驻软件、微代码等。如本领域技术人员已知的，处理硬件和软件两者可以是整体或部分地集中式或分布式(或其组合)。例如，软件和其他模块可以经由本地存储器、经由网络、经由浏览器或分布式计算环境中的其他应用或者经由适合于上述目的的其他手段来访问。

在上文中提及组件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有说明，对该组件的引用(包括对“装置”的引用)应当解释为包括作为该组件的等同物、执行所描述组件的功能(即，功能等同)的任何组件、包括在结构上不等同于所公开的结构但执行本发明的示例性实施方式中的功能的组件。

以下是所公开的本发明的非限制性的列举的示例性实施方式。

1.一种用于控制相位调制器以显示由图像数据限定的图像的方法，所述方法包括：

在二维相位调制器上限定多个非交叠源区以及在显示平面处限定多个显示区，每个所述源区具有边界和源面积，并且每个所述源区与所述显示区中的相应一个相关联；每个所述显示区具有相应的显示面积；

基于所述图像数据，向多个所述显示区中的每一个分配目标光强度值；

调整：用于所述源区的配置；或者用于所述显示区的配置；或者用于所述源区和所述显示区两者的配置，使得所述显示区的显示面积与相应源区的源面积的比率与所述源区的源光强度值与分配给相应显示区的目标光强度值的比率成比例；

为所述源面积中的每一个生成相位曲面，所述相位曲面被配置为将入射到所述源面积上的光重新定向到相应显示面积上；以及

控制所述相位调制器以向所述源区提供所述相位曲面，并且用入射光根据所述源光强度值照射所述源区。

2.根据示例性方面1(或本文任何其他示例性方面)所述的方法，包括基于所述图像数据来确定目标源面积，并且通过执行优化以确定所述源区的边界的最优地满足量化所述源区的源面积与对应于所述源区的目标源面积的综合离差的目标函数的配置来调整所述源区的配置。

3.根据示例性方面2(或本文任何其他示例性方面)所述的方法，其中，生成所述相位曲面包括：基于所述源区边界在所述优化之后的配置，确定每个所述源区的法向量，并且对所述法向量进行积分以得到使所述相位调制器的相位与二维位置相关的解相位函数。

4.根据示例性方面2(或本文任何其他示例性方面)所述的方法，其中，所述源区包括由在多个源顶点之间延伸的线限定的非交叠源图块，所述源顶点中的每一个具有一定位置，并且其中，所述显示区包括由在多个显示顶点之间延伸的线限定的非交叠显示图块。

5.根据示例性方面4(或本文任何其他示例性方面)所述的方法，其中，所述源图块和所述显示图块是三角形的。

6.根据示例性方面4或5(或本文任何其他示例性方面)所述的方法，其中，所述优化确定所述源顶点的经优化的位置。

7.根据示例性方面1(或本文任何其他示例性方面)所述的方法，包括通过执行中位切分算法来调整所述源区的配置。

8.根据示例性方面1(或本文任何其他示例性方面)或示例性方面7所述的方法，其中，为所述源面积中的每一个生成所述相位曲面包括生成对应于抛物面透镜的相位曲面。

9.根据示例性方面8(或本文任何其他示例性方面)所述的方法，包括基于所述源面积和相应的显示面积沿正交方向的尺寸差异，通过在所述正交方向上的成对焦距来限定所述抛物面透镜。

10.根据示例性方面9(或本文任何其他示例性方面)所述的方法，其中，限定所述抛物面透镜包括指定所述两个正交方向上的斜度，所述斜度基于所述源区在所述正交方向上相对于目标区的位移。

11.根据示例性方面1至10中任一项(或本文任何其他示例性方面)所述的方法，其中，生成所述相位曲面包括低通滤波。

12.根据示例性方面1至11中任一项(或本文任何其他示例性方面)所述的方法，其中，生成所述相位曲面包括相位缠绕。

13.根据示例性方面1至12中任一项(或本文任何其他示例性方面)所述的方法，其中，照射所述源区包括基于所述图像数据来控制光源的输出。

14.根据示例性方面13(或本文任何其他示例性方面)所述的方法，包括基于所述图像的平均亮度来控制所述光源的输出。

15.根据示例性方面13或14(或本文任何其他示例性方面)所述的方法，其中，控制所述光源的输出包括使所述光源的输出通过可变孔并且控制所述可变孔的尺寸。

16.根据示例性方面13至15中任一项(或本文任何其他示例性方面)所述的方法，其中，控制所述光源的输出包括改变所述光源的强度。

17.根据示例性方面1至16中任一项(或本文任何其他示例性方面)所述的方法，其中，由每个所述源区重新定向的光的至少95％落入相应的显示区内。

18.根据示例性方面1至16中任一项(或本文任何其他示例性方面)所述的方法，其中，由每个所述源区重新定向的光基本上填充相应的显示区。

19.根据示例性方面1至18中任一项(或本文任何其他示例性方面)所述的方法，包括通过积分柱阵列的方式将光从所述相位调制器传递到所述显示区。

20.根据示例性方面1至19中任一项(或本文任何其他示例性方面)所述的方法，包括对来自所述显示区的光进行幅度调制。

21.一种用于控制相位调制器以显示由图像数据限定的图像的方法，所述方法包括：

提供包括多个非交叠源区的二维光源的模型，每个所述源区具有边界、相应的源光强度值和源面积，并且每个所述源区与显示器的相应的显示区相关联，每个所述显示区具有相应的显示面积；

基于所述图像数据，向每个所述显示区分配光强度值；

对于每个所述源区设置目标源面积，使得所述源区的所述目标源面积与相应的显示区的显示面积的比率与分配给所述相应的显示区的光强度值与所述源区的源光强度值的比率成比例；

执行优化以确定所述源区的边界的最优地满足量化所述源区的源面积与对应于所述源区的目标源面积的综合离差的目标函数的配置；

基于所述源区边界在所述优化之后的配置，确定每个所述源区的法向量；

对所述法向量进行积分以得到使所述相位调制器的相位与二维位置相关的解相位函数。

22.根据示例性方面21(或本文任何其他示例性方面)所述的方法，其中，所述源区包括由在多个源顶点之间延伸的线限定的非交叠源图块，所述源顶点中的每一个具有一定位置，并且其中，所述显示区包括由在多个显示顶点之间延伸的线限定的非交叠显示图块。

23.根据示例性方面22(或本文任何其他示例性方面)所述的方法，其中，所述源图块和所述显示图块是三角形的。

24.根据示例性方面22或23(或本文任何其他示例性方面)所述的方法，其中，所述优化确定所述源顶点的经优化的位置。

25.根据示例性方面22或23(或本文任何其他示例性方面)所述的方法，其中，所述法向量位于所述源顶点处。

26.根据示例性方面21至25中任一项(或本文任何其他示例性方面)所述的方法，其中，确定所述源顶点的所述法向量是基于所述源顶点相对于所述显示顶点中的相应显示顶点的平面内位移。

27.根据示例性方面22(或本文任何其他示例性方面)所述的方法，其中，确定所述法向量包括确定所述位移与所述光源和所述显示器之间的光学距离的商的反正切。

28.根据示例性方面21至27中任一项(或本文任何其他示例性方面)所述的方法，包括基于所述图像数据的平均强度来确定所述源光强度值。

29.根据示例性方面28(或本文任何其他示例性方面)所述的方法，包括根据所述源光强度值来控制照射相位调制器的照明源。

30.根据示例性方面21至29中任一项(或本文任何其他示例性方面)所述的方法，其中，所述源光强度值相等。

31.根据示例性方面21至30中任一项(或本文任何其他示例性方面)所述的方法，其中，所述优化包括计入用于所述解相位函数的旋度的成本。

32.根据示例性方面31(或本文任何其他示例性方面)所述的方法，其中，所述用于旋度的成本根据如下确定：

33.根据示例性方面21至32中任一项(或本文任何其他示例性方面)所述的方法，其中，所述优化包括计入用于所述解相位函数的非平滑性的成本。

34.根据示例性方面33(或本文任何其他示例性方面)所述的方法，其中，用于所述解相位函数的非平滑性的成本根据如下确定：

35.根据示例性方面21至34中任一项(或本文任何其他示例性方面)所述的方法，其中，所述源区是三角形的。

36.根据示例性方面21至35中任一项(或本文任何其他示例性方面)所述的方法，其中，所述显示区是三角形的。

37.根据示例性方面21至36中任一项(或本文任何其他示例性方面)所述的方法，其中，所述优化包括应用内存受限的Broyden-Fletcher-Goldfarb-Shanno算法。

38.根据示例性方面21至37中任一项(或本文任何其他示例性方面)所述的方法，包括以逐步更精细的尺度在一系列迭代中执行所述优化，使得在每次迭代中，源顶点和显示顶点的数目增加，并且紧邻的前一次迭代的顶点位置被用作当前迭代的起始配置。

39.根据示例性方面21至38中任一项(或本文任何其他示例性方面)所述的方法，其中，所述积分包括对所述法向量进行重新采样以向所述相位调制器的每个像素提供经重新采样的法向量。

40.根据示例性方面39(或本文任何其他示例性方面)所述的方法，其中，所述重新采样包括对所述法向量执行Phong插值。

41.根据示例性方面21至40中任一项(或本文任何其他示例性方面)所述的方法，其中，所述积分包括应用稀疏优化方法。

42.根据示例性方面41(或本文任何其他示例性方面)所述的方法，其中，所述稀疏优化方法包括找到使所述解相位函数的梯度与所述法向量场之间的差最小化的解相位函数。

43.根据示例性方面42(或本文任何其他示例性方面)所述的方法，其中，所述差是放大所述图像的暗区中的法向误差的加权差。

44.根据示例性方面21至43中任一项(或本文任何其他示例性方面)所述的方法，包括将所述源区和所述显示区初始化为均匀的三角划分。

45.根据示例性方面21至44中任一项(或本文任何其他示例性方面)所述的方法，包括约束所述优化以要求全部所述源区具有正的面积。

46.根据示例性方面45(或本文任何其他示例性方面)所述的方法，其中，约束所述优化包括在所述目标函数中包括每个所述源区的惩罚项，其中，所述惩罚项与所述源区的源面积成比例，并且所述惩罚项具有与所述目标函数的项相反的符号，所述目标函数量化所述源区的源面积与所述目标源面积的综合离差，并且所述方法包括在多个迭代中的每一个中连续减小所述惩罚项中的比例参数，其中，在所述多个迭代中的一个中确定的所述顶点的位置被用作所述多个迭代中的下一个迭代的初始条件。

47.根据示例性方面21中任一项(或本文任何其他示例性方面)所述的方法，其中，所述显示区中的至少一个内的亮度超过全屏白色水平。

48.根据示例性方面47(或本文任何其他示例性方面)所述的方法，其中，峰值亮度超过全屏白色水平的30倍。

49.根据示例性方面21至48中任一项(或本文任何其他示例性方面)所述的方法，包括对入射到所述相位调制器上的光进行幅度调制，使得所述源区中不同的源区由不同强度的光照射。

50.根据示例性方面21至48中任一项(或本文任何其他示例性方面)所述的方法，包括均匀地照射所述相位调制器。

51.一种用于生成期望的光图案的方法，所述方法包括：

建立相位延迟调制器上的源区与图像平面中的相应显示区之间的对应关系；

从图像数据确定所述显示区的期望光功率密度；

使用所述图像数据调整所述源区和所述显示区中的一者或两者，以在所述显示区中实现与所述图像数据对应的功率密度分布；以及

控制所述相位调制器以通过缩放和/或偏移入射到所述相位调制器的源区上的光来提供可操作地将来自成像芯片的每个源区的光重新分配到所述显示区中相应的一个显示区的相移图案。

52.根据示例性方面51(或本文任何其他示例性方面)所述的方法，包括配置所述源区以提供具有被配置为提供所述缩放的焦距的透镜。

53.根据示例性方面52(或本文任何其他示例性方面)所述的方法，其中，所述透镜在x方向和y方向上具有不同的焦距。

54.根据示例性方面52(或本文任何其他示例性方面)所述的方法，包括将所述透镜配置为包括被配置为提供所述偏移的斜度。

55.根据示例性方面54(或本文任何其他示例性方面)所述的方法，包括分别控制x方向和y方向上的斜度。

56.根据示例性方面51至55中任一项(或本文任何其他示例性方面)所述的方法，其中，控制所述相位调制器包括对所述相移图案进行相位缠绕。

57.根据示例性方面51至55中任一项(或本文任何其他示例性方面)所述的方法，包括改变所述源区的面积。

58.根据示例性方面51至57中任一项(或本文任何其他示例性方面)所述的方法，包括改变所述显示区的面积。

59.根据示例性方面51至58中任一项(或本文任何其他示例性方面)所述的方法，其中，所述源区是矩形的。

60.根据示例性方面51至59中任一项(或本文任何其他示例性方面)所述的方法，其中，所述显示区是矩形的。

61.根据示例性方面51至60中任一项(或本文任何其他示例性方面)所述的方法，其中，所述源区是三角形的。

62.根据示例性方面51至60中任一项(或本文任何其他示例性方面)所述的方法，其中，所述显示区是三角形的。

63.根据示例性方面51至62中任一项(或本文任何其他示例性方面)所述的方法，其中，所述源区与相应显示区的面积的比率至少等于所述源区处的光功率密度与相应显示区的图像数据中指定的最大光功率密度的比率。

64.根据示例性方面51至62中任一项(或本文任何其他示例性方面)所述的方法，包括剪切所述图像数据以产生经剪切的图像数据，其中，所述源区与相应显示区的面积的比率至少等于所述源区处的光功率密度与相应显示区的所述经剪切的图像数据中指定的最大光功率密度的比率。

65.根据示例性方面51至62中任一项(或本文任何其他示例性方面)所述的方法，其中，所述源区与相应显示区的面积的比率至少等于所述源区处的光功率密度与相应显示区的图像数据中指定的平均光功率密度的比率。

66.根据示例性方面51至65中任一项(或本文任何其他示例性方面)所述的方法，其中，所述显示区中至少一个显示区内的光功率密度超过全屏白色水平。

67.根据示例性方面66(或本文任何其他示例性方面)所述的方法，其中，所述显示区中至少一个显示区的亮度超过所述全屏白色水平的40倍。

68.根据示例性方面66(或本文任何其他示例性方面)所述的方法，其中，所述显示区中至少一个显示区的亮度超过所述全屏白色水平的30倍。

69.根据示例性方面51至69中任一项(或本文任何其他示例性方面)所述的方法，包括对入射到所述相位调制器上的光进行空间幅度调制，使得所述源区中不同的源区由不同强度的光照射。

70.根据示例性方面51至69中任一项(或本文任何其他示例性方面)所述的方法，包括均匀地照射所述相位调制器。

71.根据示例性方面51至70中任一项(或本文任何其他示例性方面)所述的方法，包括使已经被所述相位调制器重新定向的光均匀化。

72.根据示例性方面71(或本文任何其他示例性方面)所述的方法，其中，使所述光均匀化包括使光通过积分柱阵列。

73.根据示例性方面51至73中任一项(或本文任何其他示例性方面)所述的方法，包括逐个源区来计算所述相位调制器的相移图案。

74.根据示例性方面51至73中任一项(或本文任何其他示例性方面)所述的方法，包括在所述源区中的一个源区中建立第一点网以及在对应于所述源区的显示区中建立第二点网，使得所述第一点网与所述第二点网的点之间为1对1对应关系，确定与所述第一点网和所述第二点网中的点中的成对的相应点对应的路径长度，以及根据所述路径长度在所述源区中设置相移图案。

75.根据示例性方面74(或本文任何其他示例性方面)所述的方法，其中，所述路径长度垂直于与所述显示区相关联的平面延伸。

76.根据示例性方面74(或本文任何其他示例性方面)所述的方法，其中，所述路径长度垂直于与所述显示区相关联的抛物表面延伸。

77.根据示例性方面74至76中任一项(或本文任何其他示例性方面)所述的方法，其中，所述第一点网对所述源区内的相位调制器的每个像素包括一个点。

78.根据示例性方面51(或本文任何其他示例性方面)所述的方法，其中，调整所述源区和所述显示区中的一者或两者包括执行优化算法以找到所述源区和/或相应显示区的边界，使得所述源区与相应显示区的面积的比率提供与所述源区的目标光功率密度的最佳匹配。

79.根据示例性方面78(或本文任何其他示例性方面)所述的方法，其中，所述优化算法包括惩罚限定所述源区的点的场中的旋度的成本函数项。

80.根据示例性方面78或79(或本文任何其他示例性方面)所述的方法，其中，所述优化算法包括惩罚所述相移图案的平滑性的缺乏的成本函数项。

81.一种用于生成由图像数据限定的光图案的方法，所述方法包括：

对于多个光源区中的每一个确定相应显示区的尺寸和位置；

控制相位调制器以模拟透镜阵列，每个所述透镜对应于所述光源区中的一个，并且将所述多个透镜配置成具有一定的焦距和斜度，使得入射在所述多个透镜中的每一个上的光被重新定向到相应显示区上。

82.根据示例性方面81(或本文任何其他示例性方面)所述的方法，包括设置所述显示区的尺寸，使得所述源区的源面积与相应显示区的面积的比率与所述源区的亮度与由相应显示区的图像数据指定的亮度成比例。

83.根据示例性方面82(或本文任何其他示例性方面)所述的方法，其中，确定所述显示区的尺寸和位置包括处理所述图像数据以迭代地：

将所述图像的一部分划分为多个部分，使得所述多个部分的面积随着由所述多个部分的图像数据指定的平均亮度的增加而减小。

84.根据示例性方面83(或本文任何其他示例性方面)所述的方法，其中，将所述图像的一部分划分为多个部分包括将所述图像的一部分划分为两个部分。

85.根据示例性方面83或84(或本文任何其他示例性方面)所述的方法，其中，所述部分的轮廓为矩形。

86.根据示例性方面81(或本文任何其他示例性方面)所述的方法，其中，确定所述显示区的尺寸和位置包括执行中位切分算法的多次迭代。

87.根据示例性方面81至86中任一项(或本文任何其他示例性方面)所述的方法，其中，控制所述相位调制器包括产生对应于所述透镜阵列的相位曲面以及对所述相位曲面的低通滤波。

88.根据示例性方面81至87中任一项(或本文任何其他示例性方面)所述的方法，其中，配置所述透镜包括相位缠绕。

89.根据示例性方面81至87中任一项(或本文任何其他示例性方面)所述的方法，包括基于所述图像数据控制所述光源的输出。

90.根据示例性方面88(或本文任何其他示例性方面)所述的方法，包括基于所述光图案的平均亮度来控制所述光源的输出。

91.根据示例性方面88或89(或本文任何其他示例性方面)所述的方法，其中，控制所述光源的输出包括使所述光源的输出通过可变孔以及控制所述可变孔的尺寸。

92.根据示例性方面89至91中任一项(或本文任何其他示例性方面)所述的方法，其中，控制所述光源的输出包括改变所述光源的强度。

93.根据示例性方面81至92中任一项(或本文任何其他示例性方面)所述的方法，其中，所述显示区是非交叠的。

94.根据示例性方面81至93中任一项(或本文任何其他示例性方面)所述的方法，其中，由每个所述透镜重新定向的光的至少95％落入相应显示区内。

95.根据示例性方面81至94中任一项(或本文任何其他示例性方面)所述的方法，其中，由每个所述透镜重新定向的光基本上填充相应显示区。

96.根据示例性方面81至94中任一项(或本文任何其他示例性方面)所述的方法，包括通过积分柱阵列的方式将光重新定向到相应显示区上。

97.根据示例性方面81至96中任一项(或本文任何其他示例性方面)所述的方法，包括对来自所述显示区的光进行幅度调制。

98.根据示例性方面97(或本文任何其他示例性方面)所述的方法，其中，对所述光进行幅度调制包括控制定位成与所述光相互作用的空间光调制器的像素。

99.一种包括非暂时性数据存储介质的程序产品，所述非暂时性数据存储介质具有记录在其上的计算机可读指令，当由数据处理器执行所述计算机可读指令时，所述计算机可读指令使所述数据处理器执行根据示例性方面1至98中任一项(或本文任何其他示例性方面)所述的方法。

100.一种包括非暂时性数据存储介质的程序产品，所述非暂时性数据存储介质具有记录在其上的计算机可读指令，当由数据处理器执行所述计算机可读指令时，所述计算机可读指令使所述数据处理器配置可编程逻辑器件以执行根据示例性方面1至98中任一项(或本文任何其他示例性方面)所述的方法。

101.一种光投影仪，包括：

由光源照射的自由曲面透镜；以及

控制器，其被连接以控制所述自由曲面透镜的配置，所述控制器被配置为：

将所述自由曲面透镜的像素与多个源区相关联，所述源区中的每一个对应有显示区；

基于图像数据，调整所述源区和相应显示区的相对尺寸；以及

控制每个源区内的像素以使入射到所述源区上的光照射所述相应显示区。

102.根据示例性方面101(或本文任何其他示例性方面)所述的投影仪，其中，所述自由曲面透镜包括空间相位调制器，并且所述控制器被连接以控制由所述空间相位调制器的像素提供的相位延迟。

103.根据示例性方面101或102(或本文任何其他示例性方面)所述的投影仪，其中，所述控制器被配置为响应于所述图像数据来控制来自所述光源的入射到所述自由曲面透镜上的光的光功率。

104.根据示例性方面103(或本文任何其他示例性方面)所述的投影仪，其中，所述控制器可操作地控制供应到所述光源的功率的幅度和/或宽度和/或占空比。

105.根据示例性方面103或104(或本文任何其他示例性方面)所述的投影仪，其中，所述控制器被连接以控制光学元件，所述光学元件能够操作以选择性地将由所述光源发射的光的一部分引导至光回收器。

106.根据示例性方面103至105中任一项(或本文任何其他示例性方面)所述的投影仪，包括在所述光源与所述自由曲面透镜之间的光路中的可变孔，其中，所述控制器能够操作以控制所述孔的开口。

107.根据示例性方面101至106中任一项(或本文任何其他示例性方面)所述的投影仪，包括在所述光源与所述自由曲面透镜之间的光路中的上游空间光调制器，其中，所述控制器被连接以控制所述上游空间光调制器以不同地照射所述源区中的不同源区。

108.根据示例性方面101至107中任一项(或本文任何其他示例性方面)所述的投影仪，包括位于所述自由曲面透镜下游的光路中的下游空间光调制器，所述控制器被连接以控制所述下游空间光调制器的像素，以改变在目标平面处由所述投影仪产生的光图案中的光的幅度。

109.根据示例性方面108(或本文任何其他示例性方面)所述的投影仪，其中，所述下游空间光调制器具有足以提供能够操作以对来自每个所述显示区的光进行调制的多个像素的分辨率。

110.根据示例性方面101至109中任一项(或本文任何其他示例性方面)所述的投影仪，包括在所述自由曲面透镜与所述显示区之间的光路中的积分柱阵列，其中，所述控制器能够操作以控制所述自由曲面透镜选择性地使不同量的光转向至所述积分柱中的不同积分柱中。

111.根据示例性方面101至110中任一项(或本文任何其他示例性方面)所述的投影仪，其中，所述控制器包括经编程的数据处理器。

112.根据示例性方面101至111中任一项(或本文任何其他示例性方面)所述的投影仪，其中，所述控制器包括：可配置逻辑单元；以及包括用于配置所述可配置逻辑单元的指令的数据存储器。

113.根据示例性方面112(或本文任何其他示例性方面)所述的投影仪，其中，所述可配置逻辑单元包括FPGA。

114.一种用于控制自由曲面透镜以显示由图像数据限定的图像的设备，所述设备包括处理器，所述处理器被软件指令配置为：

在二维相位调制器上限定多个非交叠源区以及在显示平面处限定多个显示区，每个所述源区具有边界和源面积，并且每个所述源区与所述显示区中的相应一个相关联；每个所述显示区具有相应的显示面积；

基于所述图像数据，向多个所述显示区中的每一个分配目标光强度值；以及

确定：用于所述源区的配置；或者用于所述显示区的配置；或者用于所述源区和所述显示区两者的配置，使得所述显示区的显示面积与相应源区的源面积的比率与所述源区的源光强度值与分配给相应显示区的目标光强度值的比率成比例，并且所述配置使得入射到源面积上的光被重新定向到相应显示面积上。

115.根据示例性方面114(或本文任何其他示例性方面)所述的设备，包括能够连接以驱动自由曲面透镜的驱动电路。

116.根据示例性方面114或115(或本文任何其他示例性方面)所述的设备，其中，所述自由曲面透镜包括空间相位调制器，并且所述设备被配置为对于每个所述源面积生成相位曲面。

117.根据示例性方面114至116中任一项(或本文任何其他示例性方面)所述的设备，包括优化器，所述优化器被配置为执行优化以确定所述源区的边界的最优地满足量化所述源区的源面积与对应于所述源区的目标源面积的综合离差的目标函数的配置。

118.根据示例性方面117(或本文任何其他示例性方面)所述的设备，其中，所述优化器包括旋度正则化项。

119.根据示例性方面117或118(或本文任何其他示例性方面)所述的设备，其中，所述优化器包括平滑性正则化项。

120.一种用于控制相位调制器以显示由图像数据限定的图像的设备，所述设备包括：

控制器，其配置有包括多个非交叠源区的二维光源的模型，每个所述源区具有边界、相应的源光强度值和源面积，并且每个所述源区与显示器的相应的显示区相关联，每个所述显示区具有相应的显示面积；

所述控制器被软件指令配置以使所述控制器：

基于所述图像数据，向每个所述显示区分配光强度值；

对于每个所述源区设置目标源面积，使得所述源区的所述目标源面积与相应的显示区的显示面积的比率与分配给所述相应的显示区的光强度值与所述源区的源光强度值的比率成比例；

执行优化以确定所述源区的边界的最优地满足量化所述源区的源面积与对应于所述源区的目标源面积的综合离差的目标函数的配置；

基于所述源区边界在所述优化之后的配置，确定每个所述源区的法向量；以及

对所述法向量进行积分以得到使所述相位调制器的相位与二维位置相关的解相位函数。

121.一种用于生成期望的光图案的设备，所述设备包括：

光源；

由所述光源照射的相位延迟调制器；

控制器，其被配置为：

建立所述相位延迟调制器上的源区与图像平面中的相应显示区之间的对应关系；

从图像数据确定所述显示区的期望光功率密度；

使用所述图像数据调整所述源区和所述显示区中的一者或两者，以在所述显示区中实现与所述图像数据对应的功率密度分布；以及

控制所述相位调制器以通过缩放和/或偏移入射到所述相位调制器的源区上的光来提供可操作地将来自成像芯片的每个源区的光重新分配到所述显示区中相应的一个显示区的相移图案。

122.一种用于生成由图像数据限定的光图案的设备，所述设备包括：

光源；

由所述光源照射的相位调制器；

控制器，其被配置为对于多个光源区中的每一个：

确定相应显示区的尺寸和位置；和

控制所述相位调制器以模拟透镜阵列，每个所述透镜对应于所述光源区中的一个，并且将多个透镜配置成具有一定的焦距和斜度，使得入射在所述多个透镜中的每一个上的光被重新定向到相应显示区上。

123.一种用于光投影仪的控制器，所述控制器包括数据处理器和数据存储器，所述数据存储器包括由所述数据处理器执行的计算机可读指令，所述指令被配置为使所述数据处理器执行根据示例性方面1至99中任一项所述的方法。

124.一种用于控制自由曲面透镜以显示由图像数据限定的图像的方法，所述方法包括：

在所述自由曲面透镜上限定多个非交叠源区以及在显示平面处限定多个显示区，每个所述源区具有边界和源面积以及一个源光强度值，并且每个所述源区与所述显示区中的相应一个相关联；每个所述显示区具有相应的显示面积；

基于所述图像数据，向多个所述显示区中的每一个分配目标光强度值；

调整：用于所述源区的配置；或者用于所述显示区的配置；或者用于所述源区和所述显示区两者的配置，使得所述显示区的显示面积与相应源区的源面积的比率与所述源区的源光强度值与分配给相应显示区的目标光强度值的比率成比例；

生成每个所述源面积中的用于所述自由曲面透镜的配置，所述配置被布置为将入射到所述源面积上的光重新定向到相应显示面积上；以及

根据所述配置控制所述自由曲面透镜，并且用入射光根据所述源光强度值照射所述源区。

125.具有本文所描述的任何新颖的和有创造性的特征、特征组合或特征的子组合的设备。

126.具有本文所描述的任何新颖的和有创造性的步骤、动作、步骤和

/或动作的组合或步骤和/或动作的子组合的方法。

为了说明的目的，本文描述了系统、方法和设备的具体示例。这些仅是示例。本文提供的技术可以应用于除了上述示例性系统之外的系统。在本发明的实践中，许多改变、修改、添加、省略和置换是可行的。本发明包括对于本领域技术人员明显的所描述的实施方式的变化，包括通过以下方式获得的变化：用等同特征、元件和/或动作替换特征、元件和/或动作；混合和匹配来自不同实施方式的特征、元件和/或动作；将来自本文描述的实施方式的特征、元件和/或动作与其他技术的特征、元件和/或动作组合；和/或省略来自所描述的实施方式的特征、元件和/或动作的组合。

因此，旨在将所附权利要求和随后所引入的权利要求解释为包括可合理推断的所有这样的修改、置换、添加、省略和子组合。权利要求的范围不应当受到在示例中阐述的优选实施方式的限制，而应当给予与作为整体的描述一致的最宽泛的解释。

Claims (61)

1.一种用于控制二维动态可重配置的相位调制器以显示由图像数据限定的图像的方法，所述方法包括：

在二维动态可重配置的相位调制器上限定多个非交叠源区以及在显示平面处限定多个显示区，每个所述源区具有边界和源面积，并且每个所述源区与所述显示区中的相应一个以及一个源光强度值相关联；每个所述显示区具有相应的显示面积；

基于所述图像数据，向多个所述显示区中的每一个分配目标光强度值；

调整：用于所述源区的配置；或者用于所述显示区的配置；或者用于所述源区和所述显示区两者的配置，使得所述显示区的显示面积与相应源区的源面积的比率与所述源区的源光强度值与分配给相应显示区的目标光强度值的比率成比例；

为所述源面积中的每一个生成相位曲面，所述相位曲面被配置为将入射到所述源面积上的光重新定向到相应显示面积上；以及

控制所述相位调制器以向所述源区提供所述相位曲面，并且用入射光根据所述源光强度值照射所述源区。

2.根据权利要求1所述的方法，包括基于所述图像数据来确定目标源面积，并且通过执行优化以确定所述源区的边界的最优地满足目标函数的配置来调整所述源区的配置，所述目标函数量化所述源区的源面积与对应于所述源区的目标源面积的综合离差。

3.根据权利要求2所述的方法，其中，生成所述相位曲面包括：基于所述源区边界在所述优化之后的配置，确定每个所述源区的法向量，并且对所述法向量进行积分以得到使所述相位调制器的相位与二维位置相关的解相位函数。

4.根据权利要求2所述的方法，其中，所述源区包括由在多个源顶点之间延伸的线限定的非交叠源图块，所述源顶点中的每一个具有一定位置，并且其中，所述显示区包括由在多个显示顶点之间延伸的线限定的非交叠显示图块。

5.根据权利要求4所述的方法，其中，所述源图块和所述显示图块是三角形的。

6.根据权利要求4或5所述的方法，其中，所述优化确定所述源顶点的经优化的位置。

7.根据权利要求1所述的方法，包括通过执行中位切分算法来调整所述源区的配置。

8.根据权利要求1或权利要求7所述的方法，其中，为所述源面积中的每一个生成所述相位曲面包括生成对应于抛物面透镜的相位曲面。

9.根据权利要求8所述的方法，包括基于所述源面积和相应的显示面积沿两个正交方向的尺寸差异，通过在所述两个正交方向上的成对焦距来限定所述抛物面透镜。

10.根据权利要求9所述的方法，其中，限定所述抛物面透镜包括指定所述两个正交方向上的斜度，所述斜度基于所述源区在所述两个正交方向上相对于相应的显示区的位移。

11.根据权利要求1至5和7中任一项所述的方法，其中，生成所述相位曲面包括低通滤波。

12.根据权利要求1至5和7中任一项所述的方法，其中，生成所述相位曲面包括相位缠绕。

13.根据权利要求1至5和7中任一项所述的方法，其中，照射所述源区包括基于所述图像数据来控制光源的输出。

14.根据权利要求13所述的方法，包括基于所述图像的平均亮度来控制所述光源的输出。

15.根据权利要求13所述的方法，其中，控制所述光源的输出包括使所述光源的输出通过可变孔并且控制所述可变孔的尺寸。

16.根据权利要求13所述的方法，其中，控制所述光源的输出包括改变所述光源的强度。

17.根据权利要求1至5和7中任一项所述的方法，其中，由每个所述源区重新定向的光的至少95％落入相应的显示区内。

18.根据权利要求1至5和7中任一项所述的方法，其中，由每个所述源区重新定向的光基本上填充相应的显示区。

19.根据权利要求1至5和7中任一项所述的方法，包括通过积分柱阵列的方式将光从所述相位调制器传递到所述显示区。

20.根据权利要求1至5和7中任一项所述的方法，包括对来自所述显示区的光进行幅度调制。

21.一种用于控制动态可重配置的相位调制器以显示由图像数据限定的图像的方法，所述方法包括：

提供包括多个非交叠源区的二维光源的模型，每个所述源区具有边界、相应的源光强度值和源面积，并且每个所述源区与显示器的相应的显示区相关联，每个所述显示区具有相应的显示面积；

基于所述图像数据，向每个所述显示区分配光强度值；

对于每个所述源区设置目标源面积，使得所述源区的所述目标源面积与相应的显示区的显示面积的比率与分配给所述相应的显示区的光强度值与所述源区的源光强度值的比率成比例；

执行优化以确定所述源区的边界的最优地满足目标函数的配置，所述目标函数量化所述源区的源面积与对应于所述源区的目标源面积的综合离差；

基于所述源区边界在所述优化之后的配置，确定每个所述源区的法向量；

对所述法向量进行积分以得到使所述相位调制器的相位与二维位置相关的解相位函数。

22.根据权利要求21所述的方法，其中，所述源区包括由在多个源顶点之间延伸的线限定的非交叠源图块，所述源顶点中的每一个具有一定位置，并且其中，所述显示区包括由在多个显示顶点之间延伸的线限定的非交叠显示图块。

23.根据权利要求22所述的方法，其中，所述源图块和所述显示图块是三角形的。

24.根据权利要求22或23所述的方法，其中，所述优化确定所述源顶点的经优化的位置。

25.根据权利要求22或23所述的方法，其中，所述法向量位于所述源顶点处。

26.根据权利要求22或23所述的方法，其中，确定所述源顶点的所述法向量是基于所述源顶点相对于所述显示顶点中的相应显示顶点的平面内位移。

27.根据权利要求26所述的方法，其中，确定所述法向量包括确定所述平面内位移与所述光源和所述显示器之间的光学距离的商的反正切。

28.根据权利要求21至23中任一项所述的方法，包括基于所述图像数据的平均强度来确定所述源光强度值。

29.根据权利要求28所述的方法，包括根据所述源光强度值来控制照射相位调制器的照明源。

30.根据权利要求21至23中任一项所述的方法，其中，所述源光强度值相等。

31.根据权利要求21至23中任一项所述的方法，其中，所述优化包括计入用于所述解相位函数的旋度的成本。

32.根据权利要求31所述的方法，其中，所述用于旋度的成本根据如下确定：

其中，V*是源区上的顶点位置的集合，V是显示区上的顶点位置的集合，m是定向三角形的数量，t_j为到V中限定定向三角形的整数指数，x是图像的水平宽度。

33.根据权利要求21至23中任一项所述的方法，其中，所述优化包括计入用于所述解相位函数的非平滑性的成本。

34.根据权利要求33所述的方法，其中，用于所述解相位函数的非平滑性的成本根据如下确定：

其中，V*是源区上的顶点位置的集合，m是定向三角形的数量，t_j为到显示区上的顶点位置的集合中限定定向三角形的整数指数，x是图像的水平宽度。

35.根据权利要求21至23中任一项所述的方法，其中，所述源区是三角形的。

36.根据权利要求21至23中任一项所述的方法，其中，所述显示区是三角形的。

37.根据权利要求21至23中任一项所述的方法，其中，所述优化包括应用内存受限的Broyden-Fletcher-Goldfarb-Shanno算法。

38.根据权利要求21至23中任一项所述的方法，包括以逐步更精细的尺度在一系列迭代中执行所述优化，使得在每次迭代中，源顶点和显示顶点的数目增加，并且紧邻的前一次迭代的顶点位置被用作当前迭代的起始配置。

39.根据权利要求21至23中任一项所述的方法，其中，所述积分包括对所述法向量进行重新采样以向所述相位调制器的每个像素提供经重新采样的法向量。

40.根据权利要求39所述的方法，其中，所述重新采样包括对所述法向量执行Phong插值。

41.根据权利要求21至23中任一项所述的方法，其中，所述积分包括应用稀疏优化方法。

42.根据权利要求41所述的方法，其中，所述稀疏优化方法包括找到使所述解相位函数的梯度与所述法向量的场之间的差最小化的解相位函数。

43.根据权利要求42所述的方法，其中，所述差是放大所述图像的暗区中的法向误差的加权差。

44.根据权利要求21至23中任一项所述的方法，包括将所述源区和所述显示区初始化为均匀的三角划分。

45.根据权利要求22或23所述的方法，包括约束所述优化以要求全部所述源区具有正的面积。

46.根据权利要求45所述的方法，其中，约束所述优化包括在所述目标函数中包括每个所述源区的惩罚项，其中，所述惩罚项与所述源区的源面积成比例，并且所述惩罚项具有与所述目标函数的项相反的符号，所述目标函数量化所述源区的源面积与所述目标源面积的综合离差，并且所述方法包括在多个迭代中的每一个中连续减小所述惩罚项中的比例参数，其中，在所述多个迭代中的一个中确定的所述顶点的位置被用作所述多个迭代中的下一个迭代的初始条件。

47.根据权利要求21所述的方法，其中，所述显示区中的至少一个内的亮度超过全屏白色水平。

48.根据权利要求47所述的方法，其中，所述显示区中的至少一个内的峰值亮度超过全屏白色水平的30倍。

49.根据权利要求21至23中任一项所述的方法，包括对入射到所述相位调制器上的光进行幅度调制，使得所述源区中不同的源区由不同强度的光照射。

50.根据权利要求21至23中任一项所述的方法，包括均匀地照射所述相位调制器。

51.一种非暂时性数据存储介质，所述非暂时性数据存储介质具有记录在其上的计算机可读指令，当由数据处理器执行所述计算机可读指令时，所述计算机可读指令使所述数据处理器执行根据权利要求1至50中任一项所述的方法。

52.一种非暂时性数据存储介质，所述非暂时性数据存储介质具有记录在其上的计算机可读指令，当由数据处理器执行所述计算机可读指令时，所述计算机可读指令使所述数据处理器配置可编程逻辑器件以执行根据权利要求1至50中任一项所述的方法。

53.一种用于控制二维动态可重配置的相位调制器以显示由图像数据限定的图像的设备，所述设备包括处理器，所述处理器被软件指令配置为：

在所述二维动态可重配置的相位调制器上限定多个非交叠源区以及在显示平面处限定多个显示区，每个所述源区具有边界和源面积，并且每个所述源区与所述显示区中的相应一个相关联；每个所述显示区具有相应的显示面积；

基于所述图像数据，向多个所述显示区中的每一个分配目标光强度值；以及

确定：用于所述源区的配置；或者用于所述显示区的配置；或者用于所述源区和所述显示区两者的配置，使得所述显示区的显示面积与相应源区的源面积的比率与所述源区的源光强度值与分配给相应显示区的目标光强度值的比率成比例，并且所述配置使得入射到源面积上的光被重新定向到相应显示面积上。

54.根据权利要求53所述的设备，包括能够连接以驱动所述二维动态可重配置的相位调制器的驱动电路。

55.根据权利要求53或54所述的设备，其中，所述二维动态可重配置的相位调制器是空间相位调制器，并且所述设备被配置为对于每个所述源面积生成相位曲面。

56.根据权利要求53至54中任一项所述的设备，包括优化器，所述优化器被配置为执行优化以确定所述源区的边界的最优地满足目标函数的配置，所述目标函数量化所述源区的源面积与对应于所述源区的目标源面积的综合离差。

57.根据权利要求56所述的设备，其中，所述优化器包括旋度正则化项。

58.根据权利要求56所述的设备，其中，所述优化器包括平滑性正则化项。

59.一种用于控制动态可重配置的相位调制器以显示由图像数据限定的图像的设备，所述设备包括：

控制器，其配置有包括多个非交叠源区的二维光源的模型，每个所述源区具有边界、相应的源光强度值和源面积，并且每个所述源区与显示器的相应的显示区相关联，每个所述显示区具有相应的显示面积；

所述控制器被软件指令配置以使所述控制器：

基于所述图像数据，向每个所述显示区分配光强度值；

对于每个所述源区设置目标源面积，使得所述源区的所述目标源面积与相应的显示区的显示面积的比率与分配给所述相应的显示区的光强度值与所述源区的源光强度值的比率成比例；

执行优化以确定所述源区的边界的最优地满足目标函数的配置，所述目标函数量化所述源区的源面积与对应于所述源区的目标源面积的综合离差；

基于所述源区边界在所述优化之后的配置，确定每个所述源区的法向量；以及

对所述法向量进行积分以得到使所述相位调制器的相位与二维位置相关的解相位函数。

60.一种用于光投影仪的控制器，所述控制器包括数据处理器和数据存储器，所述数据存储器包括由所述数据处理器执行的计算机可读指令，所述指令被配置为使所述数据处理器执行根据权利要求1至50中任一项所述的方法。

61.一种用于控制动态可重配置的自由曲面透镜以显示由图像数据限定的图像的方法，所述方法包括：

在所述自由曲面透镜上限定多个非交叠源区以及在显示平面处限定多个显示区，每个所述源区具有边界和源面积以及一个源光强度值，并且每个所述源区与所述显示区中的相应一个相关联；每个所述显示区具有相应的显示面积；

基于所述图像数据，向多个所述显示区中的每一个分配目标光强度值；

调整：用于所述源区的配置；或者用于所述显示区的配置；或者用于所述源区和所述显示区两者的配置，使得所述显示区的显示面积与相应源区的源面积的比率与所述源区的源光强度值与分配给相应显示区的目标光强度值的比率成比例；

生成每个所述源面积中的用于所述自由曲面透镜的配置，所述配置被布置为将入射到所述源面积上的光重新定向到相应显示面积上；以及

根据所述配置控制所述自由曲面透镜，并且用入射光根据所述源光强度值照射所述源区。

Images