CN112335234B

CN112335234B - 用于驱动投影系统的方法及投影系统

Info

Publication number: CN112335234B
Application number: CN201980041447.4A
Authority: CN
Inventors: P·格雷茨; D·麦斯; G·丹伯格
Original assignee: Barco NV
Current assignee: Barco NV
Priority date: 2018-05-08
Filing date: 2019-05-07
Publication date: 2023-11-07
Anticipated expiration: 2039-05-07
Also published as: US11463665B2; GB201807461D0; EP3791574A1; CN117376536A; WO2019215202A1; CN112335234A; CA3099611A1; US20210281807A1

Abstract

描述了一种用于驱动投影系统的方法以及投影系统，所述投影系统包括相位调制器和至少一个振幅调制器。该相位调制器被配置成：生成入射在振幅调制器上的高光图像，投影仪系统进一步包括至少一个图像传感器，该至少一个图像传感器被配置成：接收与入射在振幅调制器上的光照图案基本上等效的光照图案的至少一部分，并且图像传感器被用于向投影系统的控制器提供反馈以改进由该投影系统投影的高光。

Description

用于驱动投影系统的方法及投影系统

技术领域

本发明涉及光转向投影仪的领域，涉及用于控制此类投影仪的方法以及用于实现此类方法的投影系统。

背景技术

当前的投影仪通常基于所谓的“光阀技术”。光阀是一种振幅空间调制器。整个光阀被均匀光照，并且光阀(LCD、DLP或LCOS)阻挡光(例如，将光重定向到泄放部)，即，阻挡不需要的光。这具有两个主要缺点：

1、对于普通的视频信号，大量的光能由于被泄放而浪费。

2、阻挡光的能力不理想，并且在图像应为黑色的情况下仍有少量光泄漏。这降低了对比度，即，动态范围。

当前，期望显示器(包括投影显示器)能够产生较高动态范围(HDR)。这意味着较暗的黑色水平和较高的峰值亮度水平。这将实现更多的黑色细节以及对图像高光(highlight)的更适当表示。然而，并非意在大大增加平均图片亮度，因为这将主要迫使眼睛适应不同的水平，甚至可能会痛苦，但不会使所感知的动态范围受益。

通常，当增加峰值亮度时，黑色水平也会提高，并且由于在黑色附近更多信息被编码，因此这是非常不期望的。在US5978142A中提出了2个光阀的级联。虽然这种办法对于减少黑色中的光泄漏是有效的，但也显著影响光通量效率，这是因为第一光阀、成像光学器件、反射镜等等中的损耗容易地使峰值亮度降低50％。

此外，在典型的高动态范围信号中，峰值亮度与平均亮度之间的比率变得甚至更大，因此甚至更大量的光能将被阻挡。

针对HDR投影仪的一种高效得多的办法是如下办法：其中仅第二调制器是光阀类型，并且其中第一调制器将光分布到所需的位置。由第一调制器分布或重定向的光是经转向光。对于相同量的光照光输入，该解决方案递送较好的黑色和较高的峰值白色两者。

在WO2015054797A1中已经提出了其中第一调制器基于相位调制LCOS器件的这种办法。

在Hoskinson和Stoeber的如下论文中描述了一种将模拟MEM器件用作为第一调制器的办法：High-dynamic range image projection using an auxiliary MEMS mirrorarray，2008年发表于美国光学学会。

MTT Innovation在Gerwin Damberg和James Gregson的如下论文中提出了一种从第一调制器上的相位图案开始经由仿真来预测在第二调制器上产生的亮度图案的办法：High Brightness HDR Projection Using Dynamic Freeform Lensing，2016年6月发表于美国计算机学会图形学汇刊(ACM Transactions on Graphics)。该模型使用模糊核进一步引入了平滑度，以考虑到由于激光源的光束质量的限制引起的有限图像清晰度以及在中间图像平面处由漫射器引入的附加模糊。由于贯穿本描述中将对该论文作出附加引用，因此将其称为Damberg和Gregson(ACM，2016)。

由相位调制器和振幅调制器之间的设置和光学器件引入的几何失真可以通过引入扭曲函数以将图像平面向后扭曲到透镜平面上来补偿。

在LCOS相位调制器的情形中以及在MEM的光转向设备的情形中都使用模拟第一调制器，其中对特定驱动信号的响应取决于许多影响因素，诸如设备自身的制造公差、设备的工作温度、老化等等。可变形反射镜和MEM附加地示出某种程度的滞后。所应用的新驱动信号的影响在某种程度上取决于其先前状况。对于具有连续膜的反射镜，毗邻元件的位置也有影响。

光转向的应用需要非常高的偏转角精度，这是因为小的角度偏差会在某个像素的屏幕上亮度中引入显著误差。此外，如果每种色彩使用三个单独的通道，则这将导致甚至更加显眼的色彩误差。

此外，光转向的最终结果不仅取决于第一调制器的转向量，而且还取决于入射到第一调制器上的(激光)光的空间分布以及角度分布。如果这些光照特性有任何变化，则转向光图案将改变。在将相位调制器用作为光转向设备的情形中，激光波长的变化也会影响最终结果。

如果多个离散的激光源被组合以对光转向进行光照，则这些光源之间的差异老化也可能影响光转向图案。

此外，第一和第二调制器之间的光路中的任何漂移都将产生关于光转向图案在第二调制器上成像的确切位置的错误假设。

如在论文Damberg和Gregson(ACM，2016)中进一步描述的，利用前向图像形成模型通过仿真来预测在第二、仅振幅调制器处存在的光照廓线。给定自由透镜算法的相位函数，使用该论文中所描述的简单模型来预测图像平面上的光分布。在中间图像平面在漫射器处引入的平滑度可以使用模糊核(例如，可以直接测量或经由针对已知目标的反卷积来计算的系统点扩散函数)来进行建模，并且随后获得振幅调制器所需的调制图案以引入任何缺失的空间信息以及在需要的情况下引入附加对比度。

上述论文进一步描述了使用对整个光学系统的一次性校准和表征，这是最佳地控制空间光调制器所需要的。

对于补偿上述所有影响一次性校准不太可能将是足够且适当的。对于关键应用预期需要频繁的重新校准。可能需要在不同温度点和不同激光功率电平下的进一步校准。

即使尝试将所有光转向到有源区域之外但最终仍处于有源区域中的那部分光并不是完全静态的。已发现，一些此类“未转向光”取决于所使用的相位图案。可以在LCOS器件中已知的边缘场现象中找到对这种行为的部分解释。即使每个像素的中心被驱动成递送期望的相位延迟，但在该像素与毗邻像素之间的过渡处，所产生的电场受到这两个像素的影响。入射在这些过渡区域的光将无法被正确地转向。然而很难预测光最终将处于的确切位置。

当像素必须从第一帧中的相位A过渡到第二帧中的相位B时，出现类似的问题。一次性校准可能在相位A处的静态情况下以及相位B处的静态情况下产生期望的光转向图案。在过渡时段中，光可能最终处于不期望的位置。并且精确的过渡时间以及其间发生的情况几乎是不可能预测的。一种解决方案可以是在过渡时段期间消隐激光源，然而这会影响可用于光转向的光输出。

已在高端望远镜中使用自适应光学器件，其中可变形反射镜或MEM器件被动态地驱动以补偿由大气施加的像差。反射镜动态地校正波前以递送更好的图像。此类设备通常还装备有波前传感器(感测振幅和相位两者)，并以闭环驱动以补偿诸如MEM像素的滞后和交叉耦合之类的影响。通过迭代过程在振幅和相位两方面调整波前。然而，这种迭代解决方案非常缓慢，并且对于视频应用似乎不实用。再一次，将需要消隐激光器直至可获得期望的结果。

发明内容

本发明的目的是提供一种驱动投影仪系统的方法，该投影仪系统可以包括相位调制器和至少一个振幅调制器。相位调制器可以被配置成生成入射在振幅调制器上的高光图像。该投影仪系统可以包括至少一个图像传感器，该至少一个图像传感器被配置成：接收与入射在振幅调制器上的光照图案基本上等效的光照图案的至少一部分。该方法可包括以下步骤：

S1)接收输入图像，

S2)从输入图像生成目标高光图像、目标图像和功率控制信号，包括：

S2a)从目标高光图像生成用于驱动相位调制器的相位图案，

S2b)从目标高光图像生成经预测光照廓线图像，

S2c)从经预测光照廓线图像和目标图像生成用于驱动振幅调制器的振幅图案，以及

S3)从图像传感器接收图像以向用于驱动该投影仪系统的方法步骤S2a)、2b)、2c)中的至少一个方法步骤提供反馈。

这具有改进图像或输出信号的优点。图像传感器被用于向投影系统的控制器提供反馈，从而改进由投影系统投影的高光。这具有如下优点：目标高光图像中未考虑的所有伪像(诸如固定纹理，衍射伪像，以及未转向光照的DC分量，光机械、相位调制器和/或激光源中的任何漂移)现在借助于实时或近实时获取的图像被纳入反馈回路中。

标准电影具有约8％的平均亮度水平(由Real-D收集的信息)。激光光源的约92％的光能由此被阻挡。

对于HDR，期望显著增加峰值亮度水平，以提供对阳光反射和光源的真实印象，但是不增加平均亮度水平。在该情形中，激光源必须变得显著地更加强大，而光阀阻挡甚至更高百分比的光。这是昂贵且低效的。

光转向办法有望有效得多，并且光转向调制器级的附加成本可以容易地通过激光成本和电力消耗的节省被抵消，特别是对于高亮度影院投影仪而言。

然而，由于光转向级本质上是模拟级，因此非常容易出错。具有闭环驱动的系统可以补偿这些误差，并实现可靠且精确的图像再现。

光转向投影仪具有扩展黑色和白色两者的动态范围的潜力，而不需要太多附加激光功率，并且因此不会显著增加成本。然而，光转向调制器是模拟组件(对于MEM以及相位调制器而言)，并且高光照图案的稳定性是主要问题。高光图案的位置或振幅的失真将产生显著的图像伪像。本发明能够减轻那些伪像。

附加地或替换地，至少一个图像传感器可以按输入图像的帧频的倍数来运行以提供子帧分辨率。

优点在于：由图像传感器在输入图像的帧n期间获取的帧在帧n的显示期间对任何框图可用，并且由此，从帧n的传感器图像计算或测得的反馈可以在帧n期间、或者在帧结束之前或在下一帧n+1内应用。

附加地或替换地，该投影仪可以包括第二振幅调制器，并且生成目标高光图像的步骤可以包括从输入图像生成目标图像和功率控制信号，该输入图像可以生成目标基础图像。

附加地或替换地，该至少一个图像传感器中的一者可以包括可寻址区域且该至少一个图像传感器中的一者可以包括有源区域，并且可寻址区域可以被配置成提供实时校准图案且有源区域可以被配置成提供周期性校准图案，并且从目标高光图像生成经预测背光图像的步骤可以进一步包括实时校准图案和周期性校准图案作为输入。

这具有系统提供更详细的图像或输出信号的优点，其中预测是基于实际实现的。

有利地，可寻址区域被配置成生成提供关于背景水平的信息的校准图案。

使用背景水平具有如下优点：提供关于光束的转向分量的信息，而且还补偿光机械、相位调制器和/或激光源中的任何漂移。

附加地或替换地，该至少一个图像传感器中的一者可以包括有源区域，并且图像传感器可以被配置成获取有源区域内的实时背光图像，所述实时光照廓线图像包括在帧n与n+1之间缓慢变化的内容，并且针对帧n+1从输入图像生成目标高光图像、目标图像和功率控制信号的步骤可以进一步使用来自在输入图像的帧n期间获取的实时背光图像中缓慢变化的内容的输入。

这具有使用先前帧的实际图像的优点。

有利地，运动检测装置被配置成：确定输入图像帧的哪一部分在两个连续帧之间是静态的、以及哪一部分是动态的。

有利地，提供了一种用于在像素或区域基础上决定图像的哪一部分是静态或缓慢变化的、以及图像的哪一部分是动态的装置。

有利地，在输入图像中内容为静态的区域或像素中，将经预测光照廓线与实际光照廓线进行比较：

当实际光照廓线高于经预测光照廓线时，目标图像按实际光照廓线与经预测光照廓线的比率衰减，

当实际光照廓线低于经预测光照廓线但仍然足够时，目标图像乘以实际光照廓线与经预测光照廓线的相同比率，

当实际光照廓线低于经预测光照廓线并且太微弱时，增加目标高光以递送足够的亮度，而同时目标图像乘以实际光照廓线与经预测光照廓线的相同比率。

这允许仅向图像中静态或具有缓慢变化内容的区域应用校正。

附加地或替换地，在针对帧n从输入图像生成目标高光图像、目标图像、和功率控制信号的步骤中可以使用来自经预测背光图像的输入。

附加地或替换地，在按振幅调制器的倍频来驱动的情况下，针对帧n+1从经预测背光图像和目标图像生成用于驱动振幅调制器的振幅图案的步骤可以使用先前帧n或子帧的实际背光图像作为输入。另外，当接收目标基础图像时，可以生成基础图案。

这具有使用真实信号来改进最终输出的优点。

附加地或替换地，一部分光可以由相位调制器处理以在振幅调制器上生成高光图像，并且另一部分光均匀地分布在振幅调制器上以提供基础图像。

这具有从相同光源的光生成两种类型的光照的优点。

附加地或替换地，与入射在振幅调制器上的光照图案基本上等效的光照图案的该至少一部分是按比例缩小的版本，可任选地小于1:1。

优选地，图像传感器被置于生成高光的那些光学元件的路径中。

振幅调制器图像与相机图像之间的任何差异优选地通过图像处理来减轻。

图像传感器可以被布置成例如接收来自插入玻璃板的反射光的光，而不是将图像传感器置于折叠反射镜的后面。

当相机被用于监控激光安全性时，相机可以按较高帧率来运行并且采样处于较低分辨率。

开关可以被布置成提供至较高分辨率的切换以执行校准。

在本发明的另一实施例中，提供了一种用于监控由投影仪系统中的至少一个激光源提供的光水平的方法，所述至少一个激光源由功率控制信号驱动，该投影仪系统可以包括相位调制器和至少一个振幅调制器，该相位调制器可以被配置成生成入射在振幅调制器上的高光图像，该投影仪系统可以包括至少一个图像传感器，该至少一个图像传感器被配置成接收与入射在振幅调制器上的光照图案基本上等效的光照图案的至少一部分，图像传感器可以包括有源区域和可寻址区域中的至少一者，该方法可以包括以下步骤：

将有源区域和可寻址区域中至少一者内的光强度与阈值进行比较，

当测得的光强度高于阈值时，使用功率控制信号来降低功率或关闭激光源。

这具有向系统提供安全性装置的优点，该安全性装置被实现以避免使观众暴露于不安全的激光水平。

在本发明的另一实施例中，提供了一种投影仪，包括：相位调制器和至少一个振幅调制器，该相位调制器可以被配置成生成入射在振幅调制器上的高光图像，该投影仪可以包括至少一个图像传感器，该至少一个图像传感器被配置成接收与入射在振幅调制器上的光照图案基本上等效的光照图案的至少一部分，相位调制器、振幅调制器和图像传感器由驱动器控制，藉此该投影仪可以进一步包括用于向驱动器提供图像传感器的输出的反馈回路。

附加地或替换地，相位调制器和振幅调制器可以被布置在光路上；相位调制器将光束转向到中间图像，所述图像传感器和振幅调制器可以接收来自所述中间图像的光，以使得所述图像传感器与中间图像之间的光路可以(例如，基本上)在光学上等效于空间光振幅调制器与中间图像之间的光路。另外，经转向光束可以被转向到图像传感器的有源区域和非有源区域。另外，经转向光束可以向非有源区域提供校准图案。另外，中间图像可以在漫射器上或在移动漫射器上。

附加地或替换地，一部分光可以由相位调制器处理以在振幅调制器上生成高光图像，而另一部分光均匀地分布在振幅调制器上以提供基础图像。

附加地或替换地，该投影仪可以包括第二振幅调制器，其被配置成生成该第二振幅调制器的基础图案。

附加地或替换地，所述空间光振幅调制器可以包括反射式空间光振幅调制器和透射式空间光振幅调制器中的至少一者。另外，所述空间光振幅调制器可以包括以下一者：液晶设备、多个微镜。

附加地或替换地，相位调制器可以包括以下一者：可变形反射镜、MEMS、LCoS器件。

有利地，图像传感器是CMOS传感器或CCD传感器。

此类传感器可以在振幅调制器或图像传感器的子帧处被驱动。

另外，光照亮度水平可以比目标图像亮度水平高0-50％。

与入射在振幅调制器上的光照图案基本上等效的光照图案的该至少一部分是按比例缩小的版本，例如，按比例缩小的版本可以小于1:1。这具有使用更小和更便宜传感器的优点。

图像传感器可以被置于生成高光的那些光学元件的路径中。

振幅调制器图像与相机图像之间的任何差异可以借助于图像处理来减轻。

图像传感器可以被布置成接收从插入玻璃板反射的光，而不是将图像传感器置于折叠反射镜的后面。

当相机被用于监控激光安全性时，相机可以按较高帧率来操作并且采样处于较低分辨率。

开关可以被布置成在较低帧率下提供至较高分辨率的切换以执行校准。

在本发明的另一实施例中，提供了一种包括软件的计算机程序产品，该软件在一个或多个处理引擎上被执行时能够执行任何上述方法。另外，该计算机程序产品可以存储在非瞬态信号存储介质上。另外，提供了根据本发明的用于投影仪系统的控制器。

根据本发明的实施例的技术效果和优点在细节上作必要修改后对应于根据本发明的方法的那些相应实施例。

附图说明

本发明的实施例的这些以及其他技术方面和优点现在将参考附图更详细地描述，其中：

图1解说了用于从输入图像生成相位图案、振幅和功率控制信号的流程图。

图2示出了校准图像。

图3示出了用于使用校准图像来生成经预测光照廓线的流程图。

图4示出了根据本发明的实施例的投影仪的光学布局。

图5示出了根据本发明的实施例的在投影仪的操作期间获取的传感器图像。

图6示出了根据本发明的实施例的具有带有实时校准的反馈回路的流程图。

图7示出了根据本发明的实施例的具有带有实时校准的反馈回路的流程图。

图8示出了根据本发明的实施例的在经预测光照廓线中和目标图像中跨图像行的光照廓线的示例。

图9与图8相同，但是图9进一步示出了实际光照廓线中的光照廓线。

图10是解说在根据本发明的实施例中应用的方法的示图。

图11示出了根据本发明的实施例的具有反馈回路的流程图。

图12示出了根据本发明的实施例的具有两个反馈回路的流程图。

具体实施方式

将就具体实施例并且参考特定附图来描述本发明，但是本发明不限于此而仅由权利要求书来限定。所描述的附图仅是示意性的而非限制性的。在附图中，出于解说性目的，可将要素中的一些要素的尺寸放大且不按比例绘制。在本说明书和权利要求书中使用术语“包括”时，该术语不排除其他元件或步骤。此外，说明书和权利要求书中的术语第一、第二、第三等被用于在类似元素之间进行区分，而不一定用于描述顺序或时间次序。应理解，如此使用的术语在适当的情况下是可互换的，并且本文中所描述的本发明的实施例能够以与本文中所描述或解说的不同的顺序来进行操作。

术语“约”或“近似”等等是同义词，并且用于指示由该术语修饰的值具有与其相关联的可理解范围，其中该范围可以是+20％、+15％、+10％、+5％或+1％或者替换地±20％、±15％、±10％、±5％或±1％。术语“基本上”用于指示结果(例如，测量值)接近目标值，其中接近可以意指例如结果在值的80％内、值的90％内、值的95％内、或值的99％内。

定义

目标基础图像：在系统使用双投影仪设置的情形中，目标基础图像是应由基础投影仪再现的图像。该信号并非仅在加亮(Highlighter)投影仪或混合投影仪设置中使用。

目标图像：这是要由加亮投影仪或混合投影仪再现的最终图像。在双投影仪设置的情形中，目标图像被视为没有目标基础图像的图像部分。

高光图像：高光图像是由相位调制器产生的入射在振幅调制器上的图像。高光图像可以被视为详细焦散图像，这增加最终图像的亮度。

光照廓线图像：光照廓线图像与高光图像等效，并且在混合投影仪的情形中可任选地添加基础光照。

经预测光照廓线或经预测高光：经预测光照廓线对应于在第二、振幅调制器处存在的经仿真光照廓线。

目标高光或目标光照廓线：在假设相位调制器被完全准直的激光束照射、相位调制器不存在光学失真和寄生反射、并且漫射器完全置于中间图像平面中的情况下，由相位调制器产生的入射在振幅调制器上的理想光照图案。

相位调制器：相位调制器是在入射波前上引入相位变化的设备。在本发明的上下文中，它在振幅调制器上产生平滑且低细节的图像。可以使用不同的技术来提供相位调制器。这些技术包括微机电(MEMS)显示器，该MEMS显示器提供非常快的时间响应，但空间分辨率较低。也可以使用例如在自适应光学领域中使用的可变形反射镜。还可以使用LCD显示器，该LCD显示器包括硅上液晶(LCoS)器件，其具有提供高空间分辨率、高速度和高像素填充因子的优点。也可以使用在透射中使用的液晶显示器。

基础投影仪：基础投影仪是具有均匀光照的常规投影仪，其包括每种色彩一个振幅调制器。单个振幅调制器可以与图像的色彩部分的序列联用。替换地，并行使用三个振幅调制器，每种色彩一个振幅调制器。

加亮投影仪：加亮投影仪是一种包括双调制设计的投影仪，该投影仪组合了每种色彩的一个相位调制器和一个振幅调制器。

混合投影仪：混合投影仪是一种组合了加亮投影仪和基础投影仪的功能性的投影仪，同时每种色彩仅使用一个振幅调制器。一部分光由相位调制器处理以在振幅调制器上产生高光光照，另一部分光均匀地分布在振幅调制器上。

双投影仪设置：组合了基础投影仪和加亮投影仪以产生经组合图像的设置。可以将图像组合到屏幕上，或者可以将光路组合到单个投影透镜中。当基础图像和高光图像均由单独的振幅调制器处理时，将使用术语双投影仪设置。

色调映射：一种用于压缩或扩展输入信号的动态范围以使得其适合于投影仪的动态范围的方法。

附图标记和功能块：图1、6、7、11和12示出了作为链接功能块公开的工作流。下表1中公开了与这些块相关联的附图标记，以及提供关于每个附图标记的附加信息的文字描述部分：

表1

解说性实施例的描述

本发明的一个方面是一种提供高光图像的双调制投影系统。该双调制投影系统可以进一步与基础投影仪组合以形成双投影仪。替换地，在混合投影仪中，高光图像和基础图像在振幅调制器级别被组合。由于在流程图中以虚线解说了双投影仪，因此首先针对加亮投影仪以及与基础投影仪的组合来描述本发明的实施例。由相位调制器接收准直的激光。离开给定通道的相位调制器的光可以与来自其余通道的光组合，并通过漫射器中继到棱镜结构，诸如菲利普斯(Phillips)棱镜。菲利普斯棱镜将光拆分成其组成色彩，每种色彩均由安装到棱镜上的空间振幅调制器(诸如DMD或LCOS)进行调制、在棱镜内重新组合并定向到投影透镜。相位调制器将相位变化引入入射波前。相位调制器的目的是将光从输入光照重新分布、重新分配到目标光照廓线(或目标高光)，以产生比常规投影仪高的动态范围以及比常规投影仪改进的局部峰值照度。这将光从黑暗区域重新分布到明亮区域，从而产生高光。这导致经济地使用可用光。目标高光被理想地选择成近似目标图像的强度的上包络。

尽管相位调制器将入射波前转向以将光重新分布到振幅调制器上，但即使所有光被转向到有源区域之外，始终有一部分光保持未转向并最终以背景图像的形式处于投影图像中。在第一近似中，这可以被建模为添加到光的转向部分的DC分量。未转向光的该DC分量是一个问题，因为它降低了投影仪的对比度。

相位调制器进一步引入数个伪像，诸如固定纹理、衍射伪像、以及未转向光照的DC分量。

建议在加亮投影仪的设计中纳入被置于中间图像中的漫射器。优选地，该漫射器是移动漫射器。

漫射器的主要目的是引入角度分集以用于去斑目的，以及加宽从投影透镜发出的光束以获得激光安全性。

通过将中间图像平面中的该(可任选地移动)漫射器放置成使得从漫射器中继到空间振幅调制器(诸如DMD)上的图像不是清晰图像，该漫射器还可以被用于通过对图像进行空间平均来提供平滑效果。

本发明的各方面可以与包括光转向能力的任何类型的投影仪或投影仪系统联用。由此，本发明的各方面包括由基础投影仪和加亮投影仪组成的双投影仪系统，或具有集成在一个投影仪中的基础投影仪和加亮投影仪的混合投影仪。加亮投影仪可以是双相位/振幅调制投影仪。

图1示出了流程图以解说控制加亮型投影仪(以及双投影仪或混合投影仪系统)并从以RGB激光原色表达的输入图像生成相位图案、(诸)振幅图案和光源的功率控制信号所需要的步骤。每个矩形块对应于操作集，平行四边形指示输入和输出操作。每个框内的操作集可以由计算机程序产品执行。这些操作或算法集可以在例如具有处理引擎(诸如微控制器或ASIC或FPGA等等)的投影仪控制器上运行。实线箭头指示块之间所需要的交互，而虚线箭头指示块之间的可任选交互。实线块对于每种配置都是需要的，而虚线块仅对于双投影仪设置是需要的。

该方法的输入是以线性RGB激光原色100表达的输入图像，该线性RGB激光原色100已从色彩变换和线性化后的输入图像中推导出。然而，本发明不限于此，并且例如在使用不同类型的光源情况下可以提供其他类型的输入图像。

该图像100是内容映射块110的输入，该内容映射块110负责确定在目标高光115、目标图像120、和可任选地对于双投影仪而言的目标基础图像160以及功率控制信号125之间的拆分。目标高光115表示应当由相位调制器在振幅调制器的表面上产生的光照图案，并且目标图像120表示在由振幅调制器对光照图案进行调制之后的最终图像。目标基础图像160表示对于双型投影仪设置由基础投影仪产生的图像。

内容映射块110还负责重新映射在给定系统功率预算和成像参数的情况下不可行的内容。该算法可以例如可以首先验证在给定系统功率预算的情况下输入图像100是否可行。内容映射块110由此生成目标高光115、目标图像120以及可任选地目标基础图像160。

由此，在内容映射块中，对输入图像100进行处理以确定以下各项：

1、目标图像120。当输入图像100在系统能力之内时，目标图像将与输入图像100相同。如果输入图像100超过系统能力(例如，由于峰值亮度超过其能力或平均亮度超过其能力)，则图像100将被色调映射到落入系统能力之内的经调整目标图像。

2、(诸)功率控制信号125。所需要的总激光功率，其导致可以被用于对RGB激光光源进行实时功率调制的信号。这种信号的使用是可任选的，也可以始终在全功率下运行激光，并且要么将所有光分布在图像上，要么将一些多余光发送到有源图像区域之外(例如，发送到光束泄放部中)。在双投影仪设置或混合投影仪的情形中，将存在也可以实时调制的单独基础光源。使用这两个信号，可以实时控制基础光照强度和分布在高光上的光照强度两者，以与图像的要求相匹配。这不仅可以降低整体功耗，还可以用于优化对比度。

3、目标高光115。该激光功率在低分辨率光照图案中的分布。该目标高光图像的一个条件是，它为每种色彩中的每个像素提供超过目标图像120的亮度水平。目标高光图像对于三种色彩可以相同(白色图像)，或者对于三种色彩不同。

4、目标基础图像160。

为了形成目标图像120(即，由相位调制器在振幅调制器级别生成的图像)，目标高光115被用作相位图案生成算法块的输入。可以使用诸如在Damberg和Gregson(ACM，2016)中所描述的算法之类的算法来计算相位图案。然而，本发明不限于此，并且本领域技术人员将领会，其他方法也适用于本发明。相位图案生成算法块130的输出是相位图案135，其对应于由相位调制器实现光重新分布所需的驱动参数。在理想情况下，在将该相位图案应用于相位调制器时，它会产生与目标高光115完全相同的光照廓线光照图案。然而，由于上面列出的所有原因，将不是这种情况。

目标高光115还被用作前向模型处理块140的输入。

如在Damberg和Gregson(ACM，2016)中所描述的，该算法还利用前向图像形成模型通过仿真来预测第二、仅振幅调制器处存在的光照廓线。前向图像形成模型对应于图1的流程图中的前向模型块。

由此，前向模型处理块140生成经预测光照廓线图像，其进一步被用于计算振幅图案和基础图案。

经预测光照廓线图像可以使用系统校准数据来生成，以具有对实际光照廓线光照图案的更好预测。经预测光照廓线图像也可以使用仿真来生成，但许多效果将不会考虑，因为必须对它们进行建模。

系统校准数据可以由外部相机在一次性校准规程中捕捉，并表征小光点如何因激光器的不理想光束质量和光学系统参数而被模糊。可以针对不同的色彩(激光)并在不同位置表征所谓的点扩散函数(PSF)。图2示出了在不同位置针对不同色彩捕捉的PSF的示例。校准的第二部分是捕捉所谓的未转向光的图像，在第一近似中该未转向光的图像是固定的光照图案。经预测光照廓线图像(图3中的145)基于目标高光图像(305)的模糊版本加上未转向光的固定图案(310)的总和，如图3的框图中所解说的。

前向模型块还接收功率控制信号。经预测光照廓线图像与高光激光源的功率控制信号相乘。在混合投影仪的情形中，也可以对基础光照作出预测，因为这是固定的、几乎均匀的光照，因此在校准期间可以容易地捕捉该图案，并将与基础光源的功率控制信号相乘的该图案添加到经预测光照廓线图像。

经预测光照廓线图像145(经预测光照廓线类似于由LCD背光使用具有局部调暗能力的LED矩阵所生成的亮度廓线)与目标图像120相结合被用作振幅图案生成块150的输入，以确定驱动第二调制器(加亮投影仪或混合投影仪的振幅调制器)所必需的振幅信号，即，振幅图案155。在还存在基础投影仪的情形中，振幅图案生成还产生基础图案。如果基础光照将是完全均匀的，则基础图案可以与目标基础图像相同。但是当基础光照均匀性不理想时，可以应用色彩和亮度均匀性校正以从目标基础图像中推导出基础图案。

可任选地，来自前向模型块140的经预测光照廓线145被用作至内容映射块110的反馈信号，在流程图中以箭头146解说。这使得能够验证经预测光照廓线亮度是否有效地超过目标图像亮度，以使得利用针对第二调制器的适当振幅信号，可以有效地实现该目标图像亮度。在并非这种情况的情形中，内容映射块随后可以增加目标高光图像和/或激光功率控制信号。

本发明的一个方面是使用反馈(例如，投影仪的间歇或连续反馈机制)对一次性校准的精化。为了实现这种间歇或连续反馈机制，提供了例如集成在投影仪的光路中或可以置于光路中的图像传感器。图像传感器接收具有与入射在振幅调制器上的光照图案等效的光照图案的图像(或图像的一部分)。光照图案可以关于或适于要被投影的图像(诸如视频)。此类图像或视频被投影为帧。

可以按与振幅调制器或输入图像相同的频率或者按振幅调制器或输入图像的频率的倍数来驱动图像传感器。按较高的速度来驱动图像传感器具有提高反馈回路速度的优点。

图像传感器、相位调制器和该至少一个振幅调制器可以由投影仪控制器驱动。投影仪控制器还可以进一步驱动光源，即，激光源。

借助于本领域已知的图像分析软件或数字图像处理技术来分析图像传感器的图像，以从图像中检索所需要的信息，并将所述信息作为反馈提供给被配置成执行根据本发明的反馈回路的控制器。

可以在图1的流程图的任何级别实现间歇或连续反馈，其中由图像传感器获取的光照图案的图像可以由此在不同级别改进投影仪的驱动方案，如进一步解释的，例如以下任何一者：

1、用于细调前向预测模型的参数的反馈机制，即，作为对前向模型140的一次性校准的精化。

2、用于针对半静态内容来校正下一帧中的目标亮度的近实时反馈机制。

3、用于调整振幅调制器的驱动信号的实时反馈机制。

4、先前方法的混合组合。例如，这些方法1至3中的两种或多种方法，

或方法1至3中的所有三种方法的组合。

图像传感器可以例如被集成在高度反射式二向色折叠反射镜后面的投影仪光学器件中。该二向色折叠反射镜可以被指定成反射99％直至99.5％的光。泄漏穿过反射镜的1％或0.5％的光将足以被转发到图像传感器并由图像传感器接收。图像传感器的光路具有优选地与朝向第二空间振幅调制器的光路特性尽可能接近地类似的特性，或者换言之，图像传感器的光路在光学上基本上等效于(以使得该光路具有与其相同(或几乎相同)的光学特性)第二空间振幅调制器的光路。例如，如果第二空间振幅调制器是反射式空间振幅调制器(诸如DMD器件)，则该反射式空间振幅调制器(诸如DMD器件)通常相对于入射光束的光轴成某一角度。在该情形中，优选地图像传感器也相对于光轴成相似的角度。空间振幅调制器(诸如DMD光学系统)通常使用TIR棱镜，其中棱镜的形状被优化以使由于将空间振幅调制器(诸如DMD)置于相对于光轴成某一角度而引发的路径长度差异最小化。可以在朝向图像传感器的光路中引入虚设棱镜，以产生类似的情况。如果图像传感器具有与反射式空间调制器(诸如DMD器件)不同的尺寸，则朝向传感器的成像光学器件的放大率优选地不同于朝向空间振幅调制器(诸如DMD)的成像光学器件的放大率。

替换地，为了光学地尝试复制从中间图像到第二空间振幅调制器(诸如DMD)的光路特性，可以将图像感测光学器件设计成仅捕捉中间图像并应用电子校正以考虑到第二空间振幅调制器相对于光轴的旋转引起的几何失真和模糊。

替换地或附加地，空间振幅调制器(诸如DMD)的图像可以是按比例缩小的版本。这可以小于1:1，因为这提供了降低图像传感器成本的优点。

替换地或附加地，图像传感器可以被置于生成高光的那些光学元件的路径中。这可以提供更好地利用可用空间的优点。在向高光光照添加基础光照的情形中，该基础光照在校准步骤中表征并被视为随时间恒定。

替换地或附加地，振幅调制器图像(例如，DMD图像)与相机图像之间的任何差异可以借助于图像处理(诸如举例而言，图像扭曲、平坦场校正和/或位置相关模糊)来减轻。在该情形中，这种图像处理可能增加延迟，并且真正的闭环驱动也许不再可能。即使如此，图像传感器以及图像处理仍然可以用于校准、静态图像反馈或用于激光安全性检测。

替换地或附加地，图像传感器可以接收来自插入玻璃板的反射光的光，而不是将图像传感器置于折叠反射镜的后面。这可以提供更好地利用可用空间的优点。

替换地或附加地，相机可以处于高帧率(例如，1400Hz)。例如相机被用于监控激光安全性时，采样可以处于低分辨率(例如，40×21)。例如，每当允许不使用投影仪并且振幅调制器可以被设置为黑色时(诸如在一部电影结束至另一部电影开始之间的时间)时间允许的情况下，可以在较低帧率下提供至较高分辨率的切换以执行校准。

重要的是要注意，提供光学上基本等效特性的特征既可以用光学方式提供也可以用电子方式提供。可以使不理想的光学等效性以电子方式进行校正。所需要的是将中间图像中继到第二调制器和传感器两者上，藉此大部分光最终处于第二调制器上，并且仅很小一部分处于传感器上。

在中间图像平面中(在相位调制器的平面中)图像的分辨率非常有限。点扩散函数将跨越第二调制器(振幅调制器)上的几百至数百像素。图像传感器因此可以用远低于第二调制器的原始分辨率的分辨率来捕捉图像，这是因为来自传感器的低分辨率图像可以以良好精度进行上采样。

图4是根据本发明的实施例的加亮投影仪的一部分光路的示意表示。光源(诸如激光光源(未示出))提供入射在相位调制器2上的光束1。在本实施例中，相位调制器2是反射式相位调制器，但它可以是透射式相位调制器。沿光路在漫射器3之后提供光照和感测成像光学器件4。反射镜5将中间图像反射到光照成像光学装置11之后的棱镜结构10上。从振幅调制器9经由棱镜结构10，最终图像通过投影透镜(未示出)被投影。少量的光也穿过反射镜5，并落在感测和成像光学器件6、虚设棱镜8和图像传感器7上。例如可以由半镀银的反射镜5来提供该少量的光。

对于包括双型投影仪(即，加亮和基础投影仪)的实施例，由两个投影仪生成的图像被叠加在投影屏幕上。对于包括混合型投影仪的实施例，对于每种色彩，加亮和基础光束被叠加在振幅调制器9的上游。

由此描述本发明的各方面的各种实施例。

1、用于细调前向模型140的参数的反馈机制。

来自相位调制器2(或实际上来自任何此类MEM器件)的最大转向角通常在水平和垂直方向上将是相同的。当最终图像的宽度大于其高度时(如在现代16:9宽高比显示器或影院格式中通常是这种情形)，并且如果系统被设计成使得光可以由相位调制器跨中间图像3的整个宽度、但在表示中间图像3的供显示部分的有源区域之外进行转向，则有可能将光转向到有源区域的顶部和底部边缘之外，例如，在中间图像3上表示待显示图像的高度的有源区域的边缘之外。

在有源区域18之外的可寻址区域17可以被用于在工厂中或在投影仪的正常操作期间生成校准图案(如图5中分别被示为上部和/或下部校准图案15、16)。这将允许对前向模型140的间歇或连续精化，从而补偿光机械、相位调制器和/或激光源中的任何漂移。

校准图案的背景中的水平可以被用作对未转向光量的指示符。该信息随后还可以耦合回前向模型140，并在内容主要为静态的情形中用于计算下一经预测光照廓线。

在有源区域之外产生那些校准图案将需要附加的激光能量，但是当且仅当图像内容不需要所有可用激光能量时才可以激活校准。在该情形中，如果激光源无法容适快速调暗，则转向到有源区域之外可能是泄放多余光的仅有解决方案。

在该实施例中，光路和机械必须被设计成将相位调制器的与整个可寻址区域相对应的部分成像到图像传感器上，成像到移动漫射器上，以及从移动漫射器成像到图像传感器上。然而，在朝向振幅调制器的成像路径中，在光到达振幅调制器的位置并可能引起不期望的发热和杂散光之前将光阻挡在有源区域之外(例如，使用冷却的孔)将是优选的。

图像传感器可以是全色传感器(例如，具有拜耳滤光器)或单色传感器。在后一情形中，可以每种原色依次呈现用于校准的测试图案。

在本实施例中，可以在投影仪的启动或关闭期间或者更一般而言在不需要在投影屏幕上形成图像时执行使用有源区域18的校准规程。该校准称为每日校准(但也可以仅在系统需要时或在周期性基础上执行校准)。

可以在投影期间或实时地执行使用可寻址区域15和16的校准数据。

图6中的流程图具有功能块-参见表1。如图6的流程图中所解说的，前向模型块140现在可以考虑多个校准输入：

在设置之际使用外部相机从投影屏幕捕捉的一次性校准数据，该一次性校准数据给出来自多个位置的多种色彩的实际屏幕上PSF数据以及来自未转向光的亮度廓线，如先前所描述的。可任选地在双投影仪设置或混合投影仪的情形中，该一次性校准数据还给出基础光照的光照廓线。

在投影仪启动或关闭时使用内部图像传感器7捕捉的相同信息。在一次性校准时，建立该信号与来自外部传感器的信号之间的关系，以表征第二调制器级的光学系统如何通过光学渐晕引入PSF的某种附加模糊和隅角强度的某种衰减。每日自动校准循环允许补偿PSF大小或位置或者RGB激光源之间的强度平衡中的任何漂移。在使用图3的流程图的情况下，将现在包含对第二调制器光学行为的适当补偿的每日校准数据用于递送经预测光照廓线图案145会是有利的。由此，在图3的流程图中，所应用的PSF 300和固定图案310现在配备有使用图像传感器7获取的周期性校准图像。

在操作期间使用图像传感器7在有源区域之外(即，在可寻址区域16、17中)捕捉的信息(有源区域之外的传感器图像220)可以被用于验证PSF在尺寸和位置方面的稳定性以及未转向光分量的稳定性。有源区域之外的未转向光分量的强度变化被用作每日捕捉的未转向光分量的乘法因子。PSF宽度或位置的系统性变化(例如，一种色彩示出PSF图案相对于其他色彩的系统右移，或系统性更宽的PSF)将导致对有源区域中每日捕捉的PSF信息进行校正(例如，通过对捕捉的每日PSF数据应用恰适的偏移和恰适的附加模糊)。由此，使用图像传感器获取的实时校准数据被用于更新使用图像传感器7获取的每日校准数据230。

功率控制信号，如上面已经描述的。

由此，前向模型现在进一步从内部图像传感器7接收(近)实时校准数据，并且可以生成更精确的经预测光照廓线145，其中可以减轻系统参数的缓慢和中等速度漂移。

在根据本发明的另一实施例中，传感器还可以用于保护高光中的最大光水平，以保证投影透镜前面的光水平保持在所需极限内，以避免使观众暴露于不安全的激光水平。可以容忍何种高光水平将取决于安装(诸如所使用的投影透镜的类型、观众会干扰投影光束的位置等等)。因此需要在安装投影仪之际校准最大光水平。由此，例如在安装投影仪之际，可以在校准期间建立阈值。内容映射块将已经对内容进行色调映射以使其保持低于所设置极限。然而，在算法出现问题以使得太多光集中在某个位置的情形中，传感器可以提供第二保护系统。

如果传感器检测到亮度水平超过所设置的极限或阈值，则它将经由功率控制信号来关闭或完全关断(诸)激光源。

在根据本发明的第二实施例中，由图像传感器7在有源区域中捕捉的图像(有源区域之内的传感器图像240)(实际光照廓线图像250)被作为内容映射块110的输入。

对于静态和缓慢变化的内容，图像的亮度水平将缓慢变化，并且由此可以假定两个连续帧中的亮度水平将基本上相同。由此，通过适配用于帧n+1(后续帧)的目标高光的亮度水平来校正帧n(例如当前帧)的目标高光中产生的亮度误差会是有益的。得出经预测光照廓线亮度水平与实际测得的光照廓线亮度水平(来自实际光照廓线图像，其可被处理成进行线性化和归一化)之间的比率，并在光照廓线的下一帧n+1中用作静态内容的乘法因子。随后将计算用于第一调制器的新驱动信号，以尝试在光照廓线中实现经校正的目标亮度水平。内容映射块110的该新输入还可以被用于计算下一帧中的目标图像以及下一帧的功率控制信号。

运动检测机制可以进一步被用于确定图像帧的哪一部分是静态的、以及哪一部分是动态的，并在每像素基础上或区域基础上决定将使用原始图像还是经校正的图像。这两个输入之间的加权平均可以被用于获得毗邻像素之间的软过渡而非硬过渡。

由图像传感器7在有源区域(实际光照廓线)中捕捉的图像(有源区域内的传感器图像240)和来自先前图像帧的经预测光照廓线也可以连同当前帧的输入图像作为内容映射块的输入，如图7的框图中所示。图7中的流程图具有功能块–参见表1。

在内容为静态(当前图像帧的输入图像与先前图像帧基本上相同或相同)的图像部分中，将经预测光照廓线与实际光照廓线进行比较：

当实际光照廓线高于经预测光照廓线时，目标图像按相同因子(实际/经预测)衰减。

当实际光照廓线低于经预测光照廓线但仍然足够时，目标图像乘以相同因子(实际/经预测)。

当实际光照廓线低于经预测光照廓线并且不再足够时，增加目标高光以递送足够的亮度，而同时目标图像倍增(乘以因子实际/经预测)以补偿新近经预测光照廓线与实际光照廓线之间的预期差异。

在内容正在移动的情况下，可以推导出运动矢量以从先前帧的实际光照廓线图像和经预测光照廓线图像中选择对应的图像部分，并针对静态内容应用上述相同的校正机制。

在内容与先前帧没有关系的情况下，内容映射块110执行标准算法，而忽略来自先前帧的经预测和实际光照廓线信息两者。

传感器的主要问题在于它太晚提供关于帧的信息。在图像传感器可以开始感测之前，光照廓线图案需要首先存在。仅在图像传感器帧的结尾处信息才可用。由此，实际光照廓线信息在一帧之后才可用。图像传感器可以比投影仪运行得更快(如稍后在说明书中参照图10所解释的)，其中图像传感器以子帧速度运行，并且第一反馈在帧结束之前可用。也可以使用先前帧的信息，但仅在内容是静态的条件下。

3、用于调整振幅调制器的驱动信号的实时反馈

对于根据本发明的该第三实施例，使用以下办法：

在该实施例中，假定目标不是达到精确的亮度水平，而是达到高于目标图像亮度水平(例如，高0-50％)的光照亮度水平。该假设提供了针对误差的一定容忍度。重要的是要注意，由光转向递送的光照图案会在一定程度上散射；这部分是因为光照光束与理想的准直光束的偏差，并且这可以(故意)通过相对于振幅调制器之前的中继光学器件的焦平面略有偏移的移动漫射器(4和11)进行加强。经预测光照廓线亮度水平应当始终超过目标图像亮度水平(以及精细峰值)，如图8中所示。经预测光照廓线已经可以考虑到漫射器的模糊以及效率。然而，振幅调制器只能衰减或降低亮度。如果即使振幅调制器以其最大程度被驱动光照廓线也无法提供足够的光，则不能够重现目标图像。

如先前所描述的，图像传感器7接收一小部分光，这些光与第二调制器上的光照图案(即，实际光照廓线图像(例如，借助于高速CMOS或CCD相机传感器))在光学上基本上等效。在该配置中，优选地按振幅调制器的帧频的倍数来驱动图像传感器7。如上所述，图像传感器7可以在光路上被置于半透明折叠反射镜后面与第二调制器的位置在光学上等效的位置处。

使用图像传感器7获取的实际光照廓线图像的实际测得的光照亮度图案在线性化和归一化之后被用于确定/适配第二调制器(振幅调制器)的驱动信号。这并不一定意味着仅在知道亮度图案后才能寻址第二调制器。例如，在PWM寻址的第二调制器(例如，诸如DMD之类的空间振幅调制器)的情形中，PWM方案可以开始于遵循从前向模型140估计的亮度(经预测光照廓线145)或假定目标光照亮度水平(目标高光)将完全匹配。当在该帧的稍后部分知道实际测得的光照亮度图案(实际光照廓线)

时，可以校正残留PWM方案以补偿差异。在实际测得的光照亮度高于目标光照亮度的情况下，可以减小残留PWM占空比，以补偿下一子帧中增加的光照以及在(诸)第一子帧期间已递送的多余亮度。在实际测得的光照亮度低于目标光照亮度的情况下，可以增加残余PWM占空比，以补偿下一子帧中减小的光照以及在(诸)第一子帧期间缺失的亮度。

图9示出了跨像素行的像素亮度廓线，其中x轴是像素的水平位置。

实线8000指示在第二调制器之后最终递送的目标图像亮度。虚线8100指示经预测光照廓线信号，而点划线9000指示如使用图像传感器7推导出的实际光照廓线信号。

在具有历时ti的(诸)第一子帧期间，来自图像传感器7的信息尚不可用。用于第二调制器的驱动信号(振幅图案)现在计算如下：

在帧的具有历时t frame–ti的剩余时间期间，可以使用如由图像传感器测得的实际光照廓线(在归一化至最大白色水平之后)，并应用用于调整在(诸)初始子帧期间产生的误差的校正项。

所有这些计算都应当在线性光空间中执行(例如，使用伽马校正或任何其他已知的传递函数)。

图10解说了其中相机(即，图像传感器7)按视频信号的帧周期的三倍来运行的示例。相机输出信号被延迟达视频帧周期的1/3。仅当相机的输出可用时，才可以计算经校正的PWM方案，以使得该方案可以应用于下一子帧。在前两个子帧期间，将按初始PWM方案来驱动空间振幅调制器(诸如DMD)。仅在第三个子帧中，才可以应用考虑到相机在子帧1.1中获取的实际亮度水平的经校正PWM方案。

在实践中，并且特别是当使用慢调制器(如LCOS相位调制器)来产生光束转向时，亮度可能会在帧的历时内发生变化。如果内容是动态的，则最后子帧1.3的信息是没有用的。然而，对于静态内容，使用由相机在所有子帧中获取的实际亮度水平因此将是有益的。在帧1过程期间可能发生的亮度偏差可以在帧2过程期间进行补偿。

在静态内容的情形中，用于(诸)初始子帧的驱动信号可以被计算为：

在该情形中，帧的剩余时间的振幅信号将被计算为：

其中后缀cf和pf分别代表当前帧和先前帧。

朝向空间振幅调制器(诸如DMD)的驱动信号的生成由此考虑到如由前向模型140或按目标亮度水平所预测的光照亮度水平(进一步被称为经预测亮度水平)、如由高速图像传感器测得的实际光照亮度水平、当前目标图像和来自先前帧的目标图像。如果当前目标图像与来自先前帧的目标图像相同，则它将通过考虑测得的亮度水平与目标图像之间的比率来开始帧。如果目标图像与先前帧不同，则它将通过考虑经预测亮度水平与目标图像之间的比率来开始帧。一旦新帧的测得的亮度水平可用，就将使用该测得的亮度水平数据，并对由于经预测亮度水平与测得的亮度水平之间的差异而导致的帧的先前部分中产生的任何误差进行校正。

图像传感器应当独立地测量三种原色的强度，并且在该情形中，应当为全色传感器(例如，具有拜耳滤光器)。

如图11的流程图中所解说的，在该算法中，由图像传感器捕捉的实际光照廓线图像现在继经预测光照廓线信号之后被用作振幅图案生成块的附加输入。图11中的流程图具有功能块-参见表1。

为了计算初始PWM帧，当实际光照廓线信号尚不可用(可用信息仍来自先前帧)时，从经预测光照廓线信号和目标图像确定振幅信号。

为了计算经校正的PWM帧，将实际光照廓线信号用作基础，对其应用校正以补偿初始PWM帧中的实际光照廓线和经预测光照廓线之间的差异。后一补偿根据初始帧和(诸)经校正帧之间的相对时间历时来进行加权。

只要实际测得的光照亮度足够高，以递送目标图像亮度并补偿由于(诸)先前子帧中使用的错误预测而导致的任何图像亮度不足，最终结果就应当是目标图像的完美再现。然而，条件是传感器所测得的是在空间振幅调制器(诸如DMD)处的亮度水平的精确表示。此外，此处将需要对均匀性、几何形状和色彩灵敏度进行一次性校准。然而，预期这种校准将比高光光束生成本身稳定得多。

利用该方法，光机械系统、相位调制器或激光源随时间和温度的有限漂移可以减轻。另外，可以考虑由于相位调制器的响应速度而引起的未转向分量和时间影响在逐帧基础上的变化。

在高光照和基础光照两者在相同振幅调制器上被组合的混合式投影仪的情形中，传感器7接收该相同组合(作为总光照的朝向振幅调制器的固定部分)。在该情形中，将目标图像定义为完整图像，即，目标高光和目标基础的组合。随后，用于推导出振幅图案生成的方法与用于加亮投影仪的方法相同。

4、两种先前方法的混合组合

虽然先前的方法可以解决各种类型的漂移、处理未转向光分量的小变量以及帧之间的过渡影响，但它无法容适转向位置或强度中的大漂移。

可以使用混合模型来组合先前方法的优点，如图12的流程图中所解说的。图12中的流程图具有功能块–参见表1。

此处，缓慢但潜在较大的漂移可以通过对前向模型参数的近实时反馈来解决。并且在投影仪关闭期间，可以使用有源区域中的一组校准图案来进一步更新(例如，在每日基础上)前向模型的那些参数。对于静态内容，可以在下一图像帧中补偿任何残留误差。此外，可以使用对振幅调制器的驱动信号的实时反馈来实现最终校正(包括对动态影响的校正)。

可以使用捕捉有源区域和在有源区域之外生成的测试图案两者的单个图像传感器。在其他实施例中，单独的图像传感器可以获取入射在相位调制器上的光束的不同部分，例如，对有源区域中的信息(或投影透镜的光瞳)进行成像的图像传感器以及对在漫射器平面上在有源区域之外的信息进行成像的图像传感器。

在其他实施例中，图像传感器还可以被实现成在光束由振幅调制器反射或透射之后对该光束成像。

在本发明的实施例中，投影仪或投影系统可以在每个色彩通道中包括一个相位调制器和振幅调制器。本发明的实施例也可以使用包括具有一个相位调制器和一个振幅调制器的色彩顺序操作的投影仪或投影系统来实现，然而当前的LCOS相位调制器不够快。在根据本发明的其他实施例中，投影仪或投影系统可以包括每个通道的相位调制器以及以色彩顺序模式操作的单个空间振幅调制器，诸如DMD振幅调制器。在两种色彩顺序模式中，随后将需要顺序地对红色、绿色和蓝色激光进行脉冲调制，这在光效率方面可能具有缺点。

根据本发明的方法可以由控制单元执行，诸如控制单元或处理设备，或与本发明的实施例联用的任何控制单元(包括微控制器)，这些控制单元可以作为自立设备或嵌入在投影仪中或作为投影仪的光学子系统的一部分。本发明可以使用被适配成执行各功能的处理引擎。处理引擎优选地具有诸如由一个或多个微处理器、FPGA或中央处理单元(CPU)和/或图形处理单元(GPU)提供的处理能力，并且被适配成通过用软件(即，一个或多个计算机程序)来编程来执行相应的功能。对软件的引用可涵盖以能由处理器直接或间接执行的任何语言(经由经编译或解释性语言)编写的任何类型的程序。本发明的任何方法的实现可以由逻辑电路、电子硬件、处理器或电路执行，其可以涵盖任何种类的逻辑或模拟电路，集成到任何程度，并且不限于通用处理器、数字信号处理器、ASIC、FPGA、分立组件或晶体管逻辑门等。

此类控制单元或处理设备可以具有存储器(诸如非瞬态计算机可读介质、RAM和/或ROM)、操作系统、可任选地显示器(诸如固定格式显示器)、数据输入设备(诸如键盘)的端口、指针设备(诸如“鼠标”)、用于与其他设备通信的串行或并行端口、连接到任何网络的网卡和连接。

软件可以被体现在计算机程序产品中，该计算机程序产品被适配成在软件被加载到控制器上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上被执行时执行例如以下列出的本发明的任一方法的功能。因此，与本发明的实施例中的任一者联用的处理设备控制单元可以纳入能够运行计算机软件形式的一个或多个计算机应用的计算机系统。

以上参考本发明的实施例所描述的方法可以通过在计算机系统上运行的一个或多个计算机应用程序来执行，计算机应用程序通过被加载到存储器中并在诸如由美国微软公司提供的Windows^TM、Linux、Android之类的操作系统上或与之相关联地运行来在计算机系统上运行。计算机系统可以包括主存储器，优选为随机存取存储器(RAM)，并且还可以包括非瞬态硬盘驱动器和/或可移除非瞬态存储器和/或非瞬态固态存储器。非瞬态可移动存储器可以是由合适的读取器读取并写入的诸如压缩碟(CD-ROM或DVD-ROM)之类的光盘、磁带。可移动非瞬态存储器可以是将计算机软件和/或数据存储在其中的计算机可读介质。非易失性储存存储器可以用于存储在计算机系统断电的情况下也不应丢失的持久信息。应用程序可使用信息并将其存储在非易失性存储器中。

体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：

S1)接收输入图像，

S2a)从目标高光图像生成用于驱动相位调制器的相位图案，

S2b)从目标高光图像生成经预测光照廓线图像，

S3)从图像传感器接收图像以向用于驱动投影仪系统的方法步骤S2a)、S2b)、S2c)中的至少一个方法步骤提供反馈。

从输入图像生成目标高光图像、目标图像、功率控制信号和目标基础图像，

进一步通过作为输入的、来自图像传感器的可寻址区域的实时校准图案和来自图像传感器的有源区域的周期性校准图案来从目标高光图像生成经预测光照廓线图像。

在可寻址区域中生成校准图案。

通过在输入图像的帧n期间获取的实时光照廓线图像中缓慢变化的内容来针对帧n+1从输入图像生成目标高光图像、目标图像和功率控制信号。

使用运动检测装置，其中该运动检测装置被配置成确定输入图像帧的哪一部分在两个连续帧之间是静态的、以及哪一部分是动态的。

使用以像素或区域为基础来决定图像的哪一部分是静态或缓慢变化的、以及图像的哪一部分是动态的装置。

在输入图像中内容为静态的区域或像素中比较经预测光照廓线与实际光照廓线：

当实际光照廓线高于经预测光照廓线时，目标图像按照实际光照廓线与经预测光照廓线的比率衰减，

当实际光照廓线低于经预测光照廓线但仍足够时，目标图像乘以实际光照廓线与经预测光照廓线的相同比率，

针对帧n从输入图像生成目标高光图像、目标图像和功率控制信号进一步使用来自经预测光照廓线图像的输入。

当按振幅调制器的倍频来驱动时，通过先前帧n或子帧的实际光照廓线图像来针对帧n+1从经预测光照廓线图像和目标图像生成用于驱动振幅调制器的振幅图案。

当接收目标基础图像作为附加输入时，生成基础图案。

使用由相位调制器在振幅调制器上处理的一部分光来生成高光图像，并使用均匀地分布在振幅调制器上的另一部分光来生成基础图像。

监控由投影仪系统中至少一个激光源提供的光水平，

与入射在振幅调制器上的光照图案基本上等效的光照图案的该至少一部分可以是按比例缩小的版本，例如，该按比例缩小的版本可以小于1:1。

利用被置于生成高光的那些光学元件的路径中的图像传感器。

振幅调制器图像与相机图像之间的任何差异可以通过图像处理来减轻。

图像传感器可以被布置成接收来自插入玻璃板的反射光的光，而不是将图像传感器置于折叠反射镜的后面。

当相机被用于监控激光安全性时，以较高的帧率来操作相机并且采样处于较低的分辨率。

将开关布置成提供至较高分辨率的切换以执行校准。

上述软件中的任何软件可被实现为计算机程序产品，该计算机程序产品已被编译用于服务器或网络节点中的任何一者中的处理引擎。计算机程序产品可被存储在非瞬态信号存储介质上，诸如光盘(CD-ROM或DVD-ROM)、数字磁带、磁盘、固态存储器(诸如USB闪存存储器)、ROM等。

出于解说的目的，本文已描述了系统、方法和装置的特定示例。这些仅是示例。本文所提供的技术可以应用于除了上述示例系统之外的系统。在本发明的实践内，许多改动、修改、添加、省略和置换是可能的。本发明包括对所描述实施例的变化，这些变化对本领域技术人员来说是显而易见的，包括通过以下方式获得的变化：使用等效的特征、要素和/或动作来替换特征、要素和/或动作；对来自不同实施例的特征、要素和/或动作进行混合和匹配；将来自本文所描述的实施例的特征、要素和/或动作与其他技术的特征、要素和/或动作进行组合；和/或省略对来自所描述实施例的特征、要素和/或动作进行组合。因此，旨在将所附权利要求书和此后引入的权利要求书解释为包括所有可合理推断的修改、置换、添加、省略和子组合。权利要求的范围不应由示例中所阐述的优选实施例来限制，而应被给予与整个说明书相一致的最宽泛解释。

尽管以上已经参考特定实施例描述了本发明，但是这样做是为了阐明而不是限制本发明。技术人员将理解，在不脱离本发明的范围的情况下，可以对所公开的特征进行各种修改和不同的组合。

Claims

1.一种驱动投影仪系统的方法，所述投影仪系统包括光源、相位调制器和至少一个振幅调制器，所述相位调制器被配置成生成高光图像，所述投影仪系统进一步包括至少一个图像传感器，所述至少一个图像传感器被配置成接收与入射在所述振幅调制器上的光照图案等效的光照图案的至少一部分，所述方法包括以下步骤：

S1：接收输入图像，

S2：从所述输入图像生成目标高光图像、目标图像，包括：

S2a：从所述目标高光图像生成用于驱动所述相位调制器的相位图案，

S2b：生成经预测光照廓线图像，

S2c：从所述经预测光照廓线图像和所述目标图像生成用于驱动所述振幅调制器的振幅图案，以及

S3：从所述图像传感器接收图像以向用于驱动所述投影仪系统的所述步骤S2a、S2b、S2c中的至少一个步骤提供反馈，

其中，所述至少一个图像传感器中的一者包括可寻址区域并且所述至少一个图像传感器中的一者包括有源区域，并且其中，所述可寻址区域被配置成提供实时校准数据，并且所述有源区域被配置成提供周期性校准数据，其中，从所述目标高光图像生成所述经预测光照廓线图像的步骤S2b进一步包括所述实时校准数据和所述周期性校准数据作为输入。

2.如权利要求1所述的方法，其特征在于，所述至少一个图像传感器按所述输入图像的帧频的倍数来运行。

3.如权利要求1所述的方法，其特征在于，所述投影仪系统进一步包括第二振幅调制器，并且其中，从所述输入图像生成目标高光图像、目标图像的步骤S2进一步包括所述至少一个振幅调制器生成目标基础图像。

4.如权利要求1所述的方法，其特征在于，所述实时校准数据是在所述可寻址区域中生成的。

5.如权利要求1所述的方法，其特征在于：所述输入图像包括帧，并且其中，所述至少一个图像传感器中的一者包括有源区域，并且其中，所述图像传感器被配置成获取所述有源区域内的实时光照廓线图像，所述实时光照廓线图像包括在所述输入图像的帧n与帧n+1之间缓慢变化的内容，并且其中，针对帧n+1实施从所述输入图像生成目标高光图像、目标图像的步骤S2进一步使用来自在所述输入图像的帧n期间获取的所述实时光照廓线图像中所述缓慢变化的内容的输入。

6.如权利要求1所述的方法，其特征在于，所述投影仪系统进一步包括运动检测装置，其中所述运动检测装置被配置成：确定所述输入图像的哪一部分在两个连续帧之间是静态的、以及哪一部分是动态的。

7.如权利要求6所述的方法，其特征在于，所述投影仪系统进一步包括：用于在像素或区域基础上决定所述输入图像的哪一部分是静态的或缓慢变化的、以及所述输入图像的哪一部分是动态的装置。

8.如权利要求7所述的方法，其特征在于，在所述输入图像中内容是静态的区域或像素中，所述经预测光照廓线与实际光照廓线进行比较：

当所述实际光照廓线高于所述经预测光照廓线时，所述目标图像按照所述实际光照廓线与所述经预测光照廓线的比率衰减，

当所述实际光照廓线低于所述经预测光照廓线但仍然足够时，所述目标图像乘以所述实际光照廓线与所述经预测光照廓线的相同比率，

当所述实际光照廓线低于所述经预测光照廓线并且不再足够时，目标高光被增加以递送足够亮度，而同时所述目标图像乘以所述实际光照廓线与所述经预测光照廓线的所述相同比率，所述目标高光是指在假设相位调制器被完全准直的激光束照射、相位调制器不存在光学失真和寄生反射、并且漫射器完全置于中间图像平面中的情况下，由相位调制器产生的入射在振幅调制器上的理想光照图案。

9.如权利要求1所述的方法，其特征在于，所述输入图像包括帧，并且其中，针对帧n实施从所述输入图像生成目标高光图像、目标图像的步骤S2进一步使用来自所述经预测光照廓线图像的输入。

10.如权利要求1所述的方法，其特征在于，所述输入图像包括帧，并且其中，当所述图像传感器是按所述振幅调制器的倍频来驱动时，针对帧n+1实施从所述经预测光照廓线图像和所述目标图像生成用于驱动所述振幅调制器的振幅图案的步骤S2c进一步使用先前帧n或子帧的实际光照廓线图像作为输入。

11.如权利要求3所述的方法，其特征在于，在接收所述目标基础图像作为附加输入时进一步生成基础图案，其中，如果基础光照是均匀的，则所述基础图案与所述目标基础图像相同，或者应用色彩和亮度均匀性校正以从所述目标基础图像中推导出基础图案。

12.如权利要求1所述的方法，其特征在于，来自所述光源的一部分光由所述相位调制器处理以生成高光图像，并且另一部分光均匀地分布在所述振幅调制器上以提供基础图像。

13.如权利要求1所述的方法，其特征在于，由所述图像传感器接收的光照图案是入射在所述振幅调制器上的所述光照图案的按比例缩小的版本。

14.如权利要求13所述的方法，其特征在于，所述按比例缩小的版本小于1:1。

15.如权利要求1所述的方法，其特征在于，所述图像传感器被置于生成高光图像的光学元件的路径中。

16.如权利要求1所述的方法，其特征在于，所述图像传感器是相机，并且振幅调制器图像与来自所述相机的图像之间的任何差异通过图像处理来减轻。

17.如权利要求1所述的方法，其特征在于，所述图像传感器被布置成接收来自插入玻璃板的反射的光。

18.如权利要求1所述的方法，其特征在于，所述图像传感器是相机，所述方法包括：当所述相机被用于监控激光安全性时，提高所述相机操作的帧率并降低采样分辨率。

19.如权利要求18所述的方法，其特征在于，开关被布置成向所述图像传感器提供至较高分辨率的切换以执行校准。

20.一种用于监控由投影仪系统中的至少一个激光源提供的光水平的方法，所述至少一个激光源由功率控制信号驱动，所述投影仪系统包括相位调制器和至少一个振幅调制器，所述相位调制器被配置成生成高光图像，所述投影仪系统进一步包括至少一个图像传感器，所述至少一个图像传感器被配置成：接收与入射在所述振幅调制器上的光照图案等效的光照图案的至少一部分，所述图像传感器包括有源区域和可寻址区域中的至少一者，所述方法包括以下步骤：

将所述有源区域和所述可寻址区域中的至少一者内的光强度与阈值进行比较，

当所测得的光强度高于所述阈值时，使用所述功率控制信号来降低功率或关闭所述激光源。

21.一种投影仪系统，包括：

相位调制器和至少一个振幅调制器，

所述相位调制器被配置成生成高光图像，

所述投影仪系统进一步包括至少一个图像传感器，所述至少一个图像传感器被配置成：接收与入射在所述振幅调制器上的光照图案等效的光照图案的至少一部分，所述相位调制器、振幅调制器和图像传感器由驱动器控制，并且所述投影仪系统进一步包括用于向所述驱动器提供所述图像传感器的输出的反馈回路，

其中，所述至少一个图像传感器中的一者包括可寻址区域并且所述至少一个图像传感器中的一者包括有源区域，并且其中，所述可寻址区域被配置成提供实时校准数据，并且所述有源区域被配置成提供周期性校准数据，其中，所述实时校准数据和所述周期性校准数据作为生成经预测光照廓线图像的输入。

22.如权利要求21所述的投影仪系统，其特征在于，所述相位调制器和所述振幅调制器被布置在光路上；所述相位调制器将光束转向到中间图像平面，并且其中所述图像传感器与所述中间图像之间的光路在光学上等效于振幅调制器与所述中间图像平面之间的光路，所述图像传感器和所述振幅调制器接收来自所述中间图像平面的光。

23.如权利要求22所述的投影仪系统，其特征在于，经转向光束被转向到所述图像传感器的有源区域和非有源区域。

24.如权利要求23所述的投影仪系统，其特征在于，所述经转向光束向所述非有源区域提供校准数据。

25.如权利要求21所述的投影仪系统，其特征在于，中间图像在漫射器上。

26.如权利要求25所述的投影仪系统，其特征在于，所述漫射器是移动漫射器。

27.如权利要求21所述的投影仪系统，其特征在于，来自光源的一部分光由所述相位调制器处理以生成所述高光图像，并且另一部分光均匀地分布在所述振幅调制器上以提供基础图像。

28.如权利要求21所述的投影仪系统，其特征在于，所述投影仪进一步包括第二振幅调制器，所述第二振幅调制器被配置成生成基础图案，其中，如果基础光照是均匀的，则所述基础图案与目标基础图像相同，或者应用色彩和亮度均匀性校正以从目标基础图像中推导出基础图案。

29.如权利要求22所述的投影仪系统，其特征在于，所述振幅调制器包括反射式振幅调制器和透射式振幅调制器中的至少一者。

30.如权利要求29所述的投影仪系统，其特征在于，所述振幅调制器包括以下一者：液晶设备、多个微镜。

31.如权利要求21所述的投影仪系统，其特征在于，所述相位调制器包括以下一者：可变形反射镜、MEMS、LCoS器件。

32.如权利要求21所述的投影仪系统，其特征在于，所述光照廓线图像的亮度水平比目标图像的亮度水平高0-50%。

33.如权利要求21所述的投影仪系统，其特征在于，所述图像传感器是CMOS传感器或CCD传感器。

34.如权利要求21所述的投影仪系统，其特征在于，由所述图像传感器接收的光照图案是入射在所述振幅调制器上的光照图案的按比例缩小的版本。

35.如权利要求34所述的投影仪系统，其特征在于，所述按比例缩小的版本小于1:1。

36.如权利要求21所述的投影仪系统，其特征在于，所述图像传感器被置于生成高光图像的光学元件的路径中。

37.如权利要求21所述的投影仪系统，其特征在于，所述图像传感器是相机，并且由所述振幅调制器输出的图像与来自所述相机的图像之间的任何差异借助于图像处理来减轻，所述图像处理可任选地为图像扭曲、平坦场校正和/或位置相关模糊。

38.如权利要求21所述的投影仪系统，其特征在于，所述图像传感器被布置成接收从插入玻璃板反射的光。

39.如权利要求21所述的投影仪系统，其特征在于，当所述图像传感器被用于监控激光安全性时，所述图像传感器在较高帧率下操作并且采样处于较低分辨率。

40.如权利要求39所述的投影仪系统，其特征在于，开关被布置成在较低帧率下向所述图像传感器提供至较高分辨率的切换以执行校准。

41.一种计算机可读介质，其中存储有计算机可执行指令，在一个或多个处理引擎执行所述指令时实现如权利要求1的方法。

42.一种投影仪系统的控制器，所述控制器执行所述投影仪系统的存储器中存储的计算机可执行指令时实现如权利要求1所述的方法。

43.一种包括存储在存储器中的软件的投影仪系统，所述软件在一个或多个处理引擎上被执行时执行权利要求1的方法。