CN1918519B

CN1918519B - 用于显示全息视频图像序列的设备及方法

Info

Publication number: CN1918519B
Application number: CN2004800417442A
Authority: CN
Inventors: 威廉·克罗斯兰; 尼尔·科林斯; 爱德华·巴克利; 阿德里安·凯布尔; 尼古拉斯·劳伦斯; 彼得·马什; 蒂莫西·威尔金森
Original assignee: Cambridge Enterprise Ltd
Current assignee: Cambridge University Technical Services Ltd CUTS; Cambridge Enterprise Ltd
Priority date: 2003-12-15
Filing date: 2004-12-15
Publication date: 2011-05-11
Anticipated expiration: 2024-12-15
Also published as: CN101034279A; JP4795249B2; US8072488B2; CN100595698C; WO2005059660A3; US20140118806A1; GB0329012D0; JP4932490B2; US20070113012A1; WO2005059660A2; WO2005059881A3; EP3067754B1; US8878759B2; EP1702243A2; US20070024999A1; CN1918519A; EP1700172A2; US8654048B2; KR20060130609A; KR101204968B1

Abstract

一种显示视频图像的方法，该方法包括接收连续图像帧至处理器的步骤。处理各图像帧以获得相息图。诸如SLM(206)之类的可编程衍射元件再现相息图序列，以允许使用合适的照明光束(200，202)进行图像再现(208)。

Description

用于显示全息视频图像序列的设备及方法

技术领域

本发明涉及一种用于例如使用全息技术来显示视频图像的设备及方法。

背景技术

公知有多种用于使用全息术、例如使用计算机全息图像生成技术(CGH)来显示图像的装置。这些公知装置中的一种装置在US6437919中描述，其中对电寻址空间光调制器(SLM)寻址以提供图像的3D全息再现(representation)。因此，当由适当的照明光源照射SLM时，图像在重放区(RPF)中重构。

诸如全息显示器之类的现有投影显示器的问题在于光效率较低，并且3D显示器需要大量像素。

而且，全息生成的2D视频图像公知具有明显优于传统投影视频图像的优点，尤其在清晰度和效率方面。但是，当前的全息生成算法的计算复杂性使它们不能用于实时应用中。另外，即使现有的算法足够快，但由它们产生的图像的质量不足以用于显示应用中。

发明内容

本发明在权利要求书中陈述。

根据本发明，提供一种将2D视频图像投影到屏幕上的方法，该方法包括以下步骤：接收连续图像帧至处理器，处理各图像帧以获得一个或更多各自的相息图，以及对可编程衍射元件进行编程以顺序再现各所述相息图。

根据本发明，提供一种将2D视频图像投影到屏幕上的视频显示组件，包括：图像处理器以及可编程衍射元件，其中该图像处理器设置为接收并处理连续图像帧以获得各自的相息图，并对该可编程衍射元件编程以连续重现所述相息图。

根据本发明，提供一种将2D视频图像投影到屏幕上的视频显示器，包括如上述权利要求所述的显示组件以及部分相干照明光源。

根据本发明，提供一种将2D视频图像投影到屏幕上的方法，该方法包括以下步骤：接收连续图像帧至处理器，处理各图像帧以获得各自的相位再现，以及将所述相位再现施加至空间光调制器。

根据本发明，提供一种将2D视频图像投影到屏幕上的视频显示组件，包括：图像处理器以及可编程衍射元件，其中，该图像处理器设置为接收并处理连续图像帧以获得各自的相位再现，并对该可编程衍射元件编程以连续再现所述相位再现。

根据本发明，还提供一种显示图像的方法，该方法包括以下步骤：接收图像帧至处理器，根据迭代算法产生相息图，以及显示该相息图的各迭代。

由于使用了可编程到诸如为纯相位调制构造的LCOS(硅基液晶)装置之类的可编程衍射元件上的相息图(kinoform)，因此，与依靠照明光束的调幅的现有系统相比，显示效率明显提高。因此，可以获得具有最小光损失的实时视频。另外，本发明可以通过对优化算法期间产生的相息图的多个迭代进行时分多路复用，来提供改进的噪声减轻技术。

根据本发明所述的方法，将该图像帧和该相息图进行像素化，并且其中该相息图包含与该图像帧相关的多余像素。

而且，与以视频帧频动态地显示相息图的装置以及用于实时计算必要的相位分布的硬件相结合，重构的相息图图像具有明显优于传统投影图像的优点，尤其在效率和像素损失的鲁棒性方面。

在相息图电写入到LCOS装置上的情况下，应当理解，术语“相息图”包含代表相位全息图的任何相位分布，其中仅计算对象波前的调相。为了便于说明，在本说明书中术语“相息图”和“全息图”可以交换使用。参考的视频不限于表示任何特殊类型图像内容的数据，其包括代表一个或更多静止图像的数据，其中所述数据是周期性或定期刷新的。

附图说明

现将参考附图描述本发明的实施例，其中：

图1是示出根据本发明的显示器构造的方块图；

图2示意性地示出本发明第一实施例的部件；

图3示意性地示出本发明第二实施例的部件；

图4示意性地示出本发明第三实施例的部件；

图5示意性地示出本发明第四实施例的部件；

图6示意性地示出本发明第五实施例的部件；

图7示意性地示出本发明第六实施例的部件；

图8示出了通过SLM的部分横截面图；

图9a和图9b是示出可选的二进制(binary)调相方案的SLM各自的视图；

图10示出了根据本发明的处理器部件的方块示意图；以及

图11是示出本发明第七实施例的部件的示意图。

具体实施方式

在以下的说明中，在各附图中使用相同的附图标记表示相同的部件。

总的来说，本申请涉及一种用于由计算机生成的纯相位全息图(通常公知为相息图)投影视频图像的设备。所述相息图必须能够快速地重建，以使它们能在像素化的硅基液晶(LCOS)空间光调制器上显示，所述空间光调制器已构造成作为纯相位调制器有效地运行。LCOS纯相位SLM由来自部分相干光源(例如激光器或超辐射发光二极管、LED)的适当扩展的光束照射，并且纯相位相息图在远场(far field)中转化为实灰度图像(real intensityimage)。可使用投影透镜使该远场变得较近，以进行傅立叶变换。通过使用基于硬件的快速处理器(例如FFT、FPGA以及DS处理器)，并通过(例如)使用与用于相位恢复的乔思贝格-萨克斯通(Gerchberg-Saxton)算法相关的方法(参考J.R.Fienup的“相位恢复算法：比较法(Phase retrievalalgorithms：a comparison)”，应用光学(Applied Optics)，第21(15)卷，第2758-2765页(1982)；以及R.W.Gerchberg和W.O.Saxton的“用于从图像和衍射平面图确定相位的实用算法(A practical algorithm for thedetermination of phase from image and diffraction plane figures)”，Optik 35，第237-246页(1971)，其内容通过援引合并在此)，以高速计算构成视频图像的视频帧或子帧的傅立叶变换，从而将它们转化为相息图。

参考图1，视频显示器包括总体上由附图标记10表示的全息视频投影仪。处理器14接收并处理包括待投影的视频图像的对象12，以在诸如空间光调制器之类的可编程衍射元件16上形成相息图。相息图16由照明光源18照射以形成图像20。在相息图16与图像20之间设有光学器件22，用于在屏幕上投影重放，并且例如用于消除零阶效应或减轻图像中的噪声。

待在处理器14中产生并编程以通过SLM 16再现的相息图包括相位全息图的再现，其类型例如为在L.B.Lesem、P.M.Hirsch、J.A.Jordan的“相息图：一种新的波前重构装置(The kinoform：a new wavefront reconstructiondevice)”，IBM J.Res.Devel.第150-5页(1969年3月)中描述的类型。由于这种技术依靠纯相位调制，因此没有通过调幅形成的光损失。而且，SLM是衍射的而非成像的器件。处理步骤包括将在下面更详细描述的产生相息图、将相息图编码进SLM中、以及减轻噪声的步骤。因此，提供了复时变图像或快速刷新图像的高质量、高空间和时间分辨率投影。

图2至图5示出了根据本发明第一至第四实施例的单级结构。图2更详细地示出了图1的方块图中的各种部件。例如，照明光学器件包括激光器200和扩束器202。可编程衍射元件包括在屏幕208上投影的SLM 206。包括偏振光束分光器204的中间光学元件以反射/透射模式设置，将照明光束反射在SLM 206上，接着该SLM 206经由其反射镜将调制的光束反射在屏幕208上。应当理解，单独的元件可以为任何合适的元件，例如，激光器、扩束器以及偏振光束分光器可以根据系统的光学需求进行选择。传统的LCOS装置在被改动用于纯相位调制时适用于SLM，例如由Holoeye和CRLO显示器公司提供的装置。这种改动可以包括使用用于调相的铁电液晶LCoS装置的二进制相位，并且理想的开关角(switching angle)从45度增加至90度用于调相。在这种情况下，不需要起偏器或检偏器。可选地，利用液晶电光效应(其中光轴在液晶层的平面内旋转)，例如向列液晶中的电诊断效应(electrocliniceffect)、V形开关或挠曲电效应(flexoelectric effect)，可以引入高速模拟LCoS装置。在所有这些情况中，理想的开关角均为45度，通过将四分之一波片(QWP)集成在LCoS装置的反射镜(未示出)上而接近该角度。反射镜与QWP的结合使有效开关角加倍，并使开关角接近45度的电光效应可以使用。可选的设备有具有使用向列液晶响应像素电压的模拟装置的LCoS装置。这些与仅用于灰度投影的这种类型的传统向列LCoS装置不同。可以改变液晶的结构以提供更好的模拟相位响应，并改变与引入(incoming)装置的偏振状态相关的LCoS装置的设置。在这种情况下，不需要检偏器来进行纯相位投影。LCoS装置的制造在以下文献中进一步描述，该文献为H.C.Stauss的“LCOS显示器的复兴(The resurgence of LCOS displays)”，信息显示(Information Display)，2004年11月，第20(11)卷，第16-20页。

参考图8，其示出了通过二进制SLM(100)的一个实施例的一部分的横截面图。在该图中，SLM(100)具有多个像素(120-123)，尽管应理解的是，像素实际上排列在二维矩阵中。各像素(120-123)均能够被电控，以提供0或π相移。SLM的各像素(120-123)均具有位于其上并与其相对应设置的各自的相位掩膜像素(phase-mask pixel)(130-133)。如从图中可以看出，第一、第三和第四相位掩膜像素(130，132，133)具有相对较薄的厚度，而第二相位掩膜像素(131)具有相对较厚的厚度。这种厚度差基于相位掩膜的材料、并基于所用光的波长进行选择。这种选择使得通过较厚像素(131)的光比通过较薄像素(130，132，133)的光多相移π。

在SLM等装置反射的位置，光将两次通过相位掩膜，从而需要相应的厚度改变。

在本实施例中，相位掩膜作为包覆层形成在SLM(100)上。当然也可以使用其它设置，例如使用两个大致相同的SLM，其中一个提供数据显示，另一个形成相位掩膜。

图2示出的设置的特别的优点在于，由于使用了相息图形式的相位分布，因此可将一些或所有的投影光学器件结合到LCOS装置上的相息图，作为用于低成本系统的二次相位项(quadratic phase term)，该低成本系统例如为提供菲涅耳同轴全息图的显微投影仪。

参考图3，其示出了使用夫琅和费(或傅立叶)全息图的可选实施例，其中结合有额外的透镜210以提供投影光学器件。

为了消除全息图中作为投影中的主要噪声源的零阶点，如果将线性相位项加入全息图，那么分别如图4和图5所示采用菲涅耳或夫琅和费离轴设置(其中屏幕208及合适的投影光学器件210设置为离轴)，则可去掉零阶点。

参考图6和图7，其示出了第五和第六实施例中的两级结构。根据这些结构，额外的中间光学器件包括光寻址空间光调制器(OASLM)以额外减轻噪声。

首先参考图6，相息图在SLM 600上显示，并通过复制光学器件602多路复用到OASLM 604上。因此，多种样式的相同或不同的相位全息图在OASLM上空间多路复用，并且它们根据用于振幅全息图的方案(如美国专利号6437919中所述，其内容通过援引全部合并在此)，经由变换投影光学器件投影在屏幕608上。

投影图像的光点大小与照明光束的口径成反比，与傅立叶投影系统的有效焦距成正比。由诸如LCOS(对角线为12-32mm)之类的传统SLM提供的小口径通过在较大的OASLM上空间多路复用该图像而变大。因此，由于高质量调制的图像对于实时光写入OASLM光传感器是理想的，所以可以在不进行改动的情况下使用现有的SLM。来自SLM上大量像素的衍射损失通过在OASLM上的邻接平铺显示(contiguous tile)上多路复用该图像而减小，从而有效放大由SLM衍射的第一阶(first order)。投影图像的光点大小通过所得到的系统的较大光学口径而变小，另外，由于不存在精细像素化(finepixellation)(否则将产生更高阶的衍射损失)，并且由于OASLM的结构适于驱动如以下文献所述的提供强调相(robust phase modulation)的铁电液晶，因此该OASLM的结构可以很好地适用于这种设备，所述文献为S.Mias、I.G.Manolis、N.Collings、T.D.Wilkinson以及W.A.Crossland的“使用宽开关角铁电液晶层的调相双稳态光寻址空间光调制器(Phase-modulating bistableoptically addressed spatial light modulators using wide-switching-angleferroelectric liquid crystal layer)”，光学工程(Optical Engineering)，第44(1)卷(2005)，其内容通过援引合并在此。因此，可以提供高对比度图像。

图7示出了可选的两级结构，其中SLM 610的多位帧提供用于OASLM上的空间多路复用的多级全息图，例如在下面更详细描述的通过色彩、灰度等对相息图进行的各个分解，然后它们结合以提供最终图像。

对相息图进行编码：二进制和多级相息图

应当理解，复制和变换投影光学器件可以为任何合适的类型，例如变换投影光学器件可以为傅立叶变换透镜。类似地，OASLM可以为任何合适的类型，例如在S.Mias等在光学工程(2005年1月)中所描述的类型，其内容通过援引合并在此。

应当理解，可以采用任何合适的编码方案，例如二进制或多级量化。根据图9a所示的二进制方案，SLM 900包括多个像素或全开关角θ＝90°的开关元件902。由于LCOS装置的厚度为四分之一波长，因此远场906中没有形成零阶点。

图9b中示出了包括LCOS装置的可选SLM，其中SLM 900包括全转换角小于90°的开关元件902。从而，如从示出E_out904的对称分布的图中可以看出，远场906中形成零阶点，由此例如可以执行参考图4和图5所述的离轴技术。

在可选的编码/量化方案中，可以比二进制相位装置获得更多的优点(见下)。根据该可选实施例，采用了多级量化，在这种情况下，可将更多的光引向期望的图像。提供多级量化的装置包括具有正介电各向异性的零扭曲向列LCOS装置(E Hallstig、T Martin、L Sjoqvist、M Lindgren的“用于调相的向列液晶空间光调制器的偏振特性”(Polarisation properties of nematicliquid crystal spatial light modulators for phase modulation)，Jnl.Opt.Soc.Am.A.，2004年8月)。由于可以使向列液晶装置和双频向列装置(K.Bauchert、S.Serati、A.Furman的“用于调相的双频向列SLM”(Dual frequency nematicSLMs for phase modulation)，Proc SPIE 4734 35-43(2002))垂直对齐，因此也可以使用聚亚酰胺单元(Pi-cell)向列液晶装置。可以使用的可具有更快开关速度的近晶型液晶装置包括电诊断LCOS、变形螺旋(deformed helix)LCOS、串联二进制(tandem binary)LCOS以及V形开关LCOS，见M.O’Callaghan的“无阈值V形开关铁电液晶中的开关动力学和表面力”(Switching dynamics and surface forces in thresholdless V-shaped switchingferroelectric liquid crystals)，Phys Rev.E67，011710(2003)。

使用多级相位的主要优点在于，与二进制相息图的情况中灰度均等分布在正和负对称级中相反，多级相位的相息图能够将所有的光引导至一个衍射级。而且，相息图可以以减少的量化误差再现，从而使重放场(replay field)中的噪声降低。相息图中的信息容量更高，使得重构保真度更高。

相息图的实时计算

现将描述上述设备可被用于产生实时视频全息投影的方式。参考图10，在第一方法实施例中，直接由视频信号产生的、表示m×m像素输入灰度场(intensity field)T_xy的信号(802)输入具有第一处理块(801)的处理器(820)。本实施例中的处理装置(20)包括现场可编程门阵列(FPGA)，该现场可编程门阵列运行代码以能够执行所需的函数。在其它实施例中使用ASIC，在另外的实施例中使用编程通用计算机。用于所述多个像素化全息图中的每一个全息图的第一处理块(801)在输出(803)处通过公式

T_{xy}^{(n)} = \sqrt{T_{xy}} \exp ({jΦ}_{xy}^{(n)})

形成第一数据集T_xv ⁽ⁿ⁾，以使第一数据集T_xv ⁽ⁿ⁾的幅度与期望像素的幅度相等，并具有同分布(i.i.d.)的均匀随机相位。

第一数据集(803)施加至第二处理块(804)，该第二处理块(804)形成第二数据集G_xy ⁽ⁿ⁾，以使输出(5)处

G_{xy}^{(n)} = F^{- 1} [T_{xy}^{(n)}],

其中F^-1表示2D反傅立叶变换。

然后，第二数据集由第三处理块(806)在复平面内沿实轴方向(realdirection)充分移动，以形成第三数据集(807)，该第三数据集(807)中各数据点的相位较小。第三处理块(806)形成R作为最小正实数，以使

| G_{xy}^{(n)} | \leq R &ForAll; x, y, n,

并将实数α加入第二数据集的各数据项，以在输出(807)处形成第三数据集α+G_xy ⁽ⁿ⁾，其中α＞＞R。

输出(807)处的第三数据集施加至形成量值(magnitude-forming)的第五处理块(808)，该第五处理块(808)执行函数

M_{xy}^{(n)} = | α + G_{xy}^{(n)} |,

以使M_xy ⁽ⁿ⁾输出为第四数据集(809)。

然后，第四数据提供至二进制化级(binarisation stage)(810)，该二进制化级(810)执行函数以形成用于作为所述全息图显示的第五数据集(811)，其中

Q^{(n)} = median (M_{xy}^{(n)}) .

第五数据集(11)提供至铁电液晶SLM(12)以用于显示和观看。尽管在本实施例中使用铁电液晶空间光调制器，但可以替换为除了诸如MEMS装置(例如DMD)之类的非液晶技术以外的其它装置，例如包括向列SLM、OASLM(光寻址空间光调制器)，以及更多特异(exotic)类型的液晶显示器，例如电诊断、聚亚酰胺单元、挠曲电、反铁电、亚铁电、V形开关单元以及客主染料单元(guest-host dye cell)。该装置可以是透射的或反射的。

仅有一个计算灰度的步骤、即反傅立叶变换的存在允许目前的硬件为每个视频帧实时产生多个(例如40个)全息图。

在第二方法实施例中，改进的处理产生2N组不同的m×m二进制相位全息图H_xy ⁽ⁿ⁾，各全息图H_xy ⁽ⁿ⁾均产生接近同一目标图像的重放场。该处理的关键特征在于，由各全息图产生的噪声场为i.i.d.，满足了上述条件。

该处理以目标灰度图像T_xy的规范开始，并进行如下：

1.使

T_{xy}^{(n)} = \sqrt{T_{xy}} \exp ({jΦ}_{xy}^{(n)}),

其中Φ_xy ⁽ⁿ⁾在0与2π之间均匀分布，且1≤n≤N，1≤x，y≤m

2.使

G_{xy}^{(n)} = F^{- 1} [T_{xy}^{(n)}],

其中F^-1表示2D反傅立叶变换算子，且1≤n≤N

3.使

其中1≤n≤N

4.使其中1≤n≤N

5.使

其中

Q^{(n)} = median (M_{xy}^{(n)}),

且1≤n≤ 2N

本处理的步骤3和5与第一实施例的步骤3、4和5完全等同，但加入了额外的步骤(本处理中的第4步骤)。从而，在此产生的全息图M_xy ⁽ⁿ⁾与由原算法产生的全息图M_xy ⁽ⁿ⁾完全一样，只是此处还“免费”(即不需要另外的傅立叶变换步骤)提供了全息图M_xy ^(n+N)。

步骤1形成N个目标T_xy ⁽ⁿ⁾，其幅度与提供的灰度目标T_xy的幅度相等，但具有i.i.d.均匀随机相位。步骤2计算N个相应的全复数傅立叶变换全息图G_xy ⁽ⁿ⁾。步骤3和4分别计算全息图的实部和虚部。然后，全息图的实部和虚部中的每一个的二进制化在步骤5中执行如下：将阈值设定在M_xy ⁽ⁿ⁾的中值附近以确保全息图中出现的-1和1点的数量相等，从而(通过清晰度)获得DC平衡以及最小重构误差。因此，与使用第一实施例的处理获得一个全息图不同，T_xy上执行的一个傅立叶变换操作提供了两个二进制相位全息图H_xy。

任何纯实数全息图(例如二进制相位全息图)在重放场中产生共轭图像，这减少了可用区，从而只有一半的效率。

共轭图像可以通过产生四相位全息图(其中各像素均取[1，j，-1，-j]中的一个值)而去除，尽管这种全息图不能在诸如铁电SLM之类的固有二进制装置上显示。如由上述算法所提供的，在向列液晶装置上能显示两个以上相位级(phase level)，但这些相位级目前的数量级太低而不能用于高帧频的应用。

但是，通过在二进制相位SLM的上表面上蚀刻像素值为1和j的像素化相位掩膜(从而分别强制相移0和π/2)，可以去除共轭图像。这是通过随机设定掩膜的像素值、以使通过结合SLM和相位掩膜而强加的净调制(netmodulation)位于集合[1，j，-1，-j]中而获得的，其不管SLM自身是二进制的事实，提供去除共轭图像所需的额外自由度(以额外的RPF噪声为代价)。这种技术已用于相关器的设计，并且在此应用于显示应用。尽管掩膜的像素值是随机的，并从而具有“dc平衡”(其中各相移值的数量统计上相等)，但掩膜自身固定，并且各相移值的像素位置已知。

在其它实施例中，使用不完全随机的相移分布。

为了改进上述算法以使用相位掩膜，对第二块(4)进行改动以提供G_xy ⁽ⁿ⁾，从而使：

G_{xy}^{(n)} = \frac{F^{- 1} [T_{xy}^{(n)}]}{P_{xy}}

其中P_xy定义相位掩膜，其已随机地产生为使得各像素均具有取1或j值的相等概率。

为了在仿真中评估这种技术的功效，产生用于两种测试模式的全息图，并且各全息图均复制两次，复制步骤在算法中的步骤2与步骤3之间执行。形成的重放场证实了共轭图像被有效地去除，并且仿真还显示出相位掩膜的使用没有明显降低RPF产生的信噪比。

上述讨论涉及使用傅立叶全息图在远场中产生期望的2D结构。可将这种方法扩展以在近场中产生用于结构产品的菲涅耳全息图，这对于无透镜光学构造特别有用。如上所述，菲涅耳全息术提供了能够无透镜投影的额外优点，这是由于全息图自身对调焦元件进行编码，因此与传统投影显示系统相比可以明显地节约重量、成本和尺寸。

离散菲涅耳变换与傅立叶变换紧密相关，并描述了在以波长为λ的相干光照射时，由全息图G_xy(尺寸为X×Y，相应的像素大小为Δ_x和Δ_y)在距离f处产生的近场T_xy。当成像不是太靠近全息图时，该变换表示为：

T_{xy} = \frac{j}{λf} \exp (- jπλf [\frac{x^{2}}{X^{2} Δ_{x}^{2}} + \frac{y^{2}}{Y^{2} Δ_{y}^{2}}]) \times F [G_{xy} \exp (\frac{- jπ}{λf} (x^{2} Δ_{x}^{2} + y^{2} Δ_{y}^{2}))]

相应的反变换为：

G_{xy} = \exp (\frac{jπ}{λf} (x^{2} Δ_{x}^{2} + y^{2} Δ_{y}^{2})) \times F^{- 1} [T_{xy} \frac{λf}{j} \exp (jπλf [\frac{x^{2}}{X^{2} Δ_{x}^{2}} + \frac{y^{2}}{Y^{2} Δ_{y}^{2}}])]

因而，如果处理块(4)提供G_xy ⁽ⁿ⁾以使

G_{xy} = \exp (\frac{jπ}{λf} {[x}^{2} Δ_{x}^{2} + y^{2} Δ_{y}^{2}]) \times F^{- 1} [T_{xy} \frac{λf}{j} \exp (jπλf [\frac{x^{2}}{X^{2} Δ_{x}^{2}} + \frac{y^{2}}{Y^{2} Δ_{y}^{2}}])]

则产生菲涅耳全息图，其在与全息图相隔指定距离f处形成目标图像。

可以改动上述技术以产生用于3D全息视频显示的3D全息图。对象的3D全息图仅是在对象前面的平面处的复合电磁场(由通过对象散射的光产生)的记录。依据惠更斯原理，如果已知平面P上的EM场分布，则惠更斯小波可以经由空间传播以估算3D空间中任意点处的场。这样，平面全息图对在平面的前方以任意位置和角度观看对象所需的所有信息进行编码，从而在理论上，不能光学地辨别对象。实际上，记录介质的像素分辨率的局限限制了视角θ，该视角θ在2D的情况下与像素大小Δ相反地变化。

假定一个平面，其垂直于z轴，与原点相交，并且在该平面后面的位置(X，Y，Z)处具有波长为λ、振幅为A的一个点光源发射器。该平面上的位置(x，y)处出现的场F、即全息图表示为：

F (x, y) = \frac{ZA}{jλ r^{2}} \exp (\frac{2 πj}{λ} r),

其中

r = \sqrt{{(x - X)}^{2} + {(y - Y)}^{2} + Z^{2}}

如果将3D场景当作(X_i，Y_i，Z_i)处幅度为A_i的M个光源，则EM传播的线性特性使全场全息图F为：

F (x, y) = Σ_{i = 1}^{M} \frac{Z_{i} A_{i}}{jλ r_{i}^{2}} \exp (\frac{2 πj}{λ} r_{i}),

其中

r_{i} = \sqrt{{(x - X_{i})}^{2} + {(y - Y_{i})}^{2} + Z_{i}^{2}}

如果F(x，y)在区域x_min≤x≤x_man，y_min≤y≤y_max上取样以形成m×m全息图F_xy，则可得到：

F_{xy} = Σ_{i = 1}^{M} \frac{Z_{i} A_{i}}{jλ r_{i}^{2}} \exp (\frac{2 πj}{λ} r_{i}),

其中

r_{i} = \sqrt{{(x_{\min} + x \frac{x_{\max} - x_{\min}}{m} - X_{i})}^{2} + {(y_{\min} + y \frac{y_{\max} - y_{\min}}{m} - Y_{i})}^{2} + Z_{i}^{2}}

从而，在此出现如上所述的算法(具有SLM相位掩膜)，其产生用于点光源的给定阵列的N个全视差(full-parallax)3D全息图H_xy ⁽ⁿ⁾。使

F_{xy}^{(n)} = Σ_{i = 1}^{M} \frac{Z_{i} A_{i}}{jλ r_{i}^{2}} \exp (Φ_{i}^{(n)} j + \frac{2 πj}{λ} r_{i}),

其中r_i如上述，Φ_i ⁽ⁿ⁾在0与2π之间均匀分布，

且1≤n≤N，1≤i≤M。

使

G_{xy}^{(n)} = \frac{F_{xy}^{(n)}}{P_{xy}},

其中P_xy是在前面部分中描述的预先计算的[1，j]相位掩膜。

使R为最小正实数，以使

| G_{xy}^{(n)} | \leq R &ForAll; x, y, n .

由于由G_xy ⁽ⁿ⁾取的各值均为有穷，因此R存在，从而G_xy ⁽ⁿ⁾具有紧凑支撑(compact support)。

使

M_{xy}^{(n)} = | α + G_{xy}^{(n)} |,

其中α是实数且远远大于R。

使

其中

Q^{(n)} = median (M_{xy}^{(n)}) .

为了验证该算法，假定计算以平面P的原点为中心、分辨率为512×512、大小为2mm×2mm的N＝8的全息图，给出像素大小为Δ＝4μm，从而在相干红光照射(λ＝632nm)的情况下，视角为大约9度。使用的3D场景是一组944个点光源，其形成尺寸为12cm×12cm×18cm的金属框立方体(wireframecuboid)，并位于距离平面1.91m的位置处。

通过经由孔隙(pinhole aperture)K依次从N个全息图传播惠更斯小波至虚拟屏幕(virtual screen)(垂直于从立方体的中心至该孔的直线的平面)上、并在屏幕上记录时均灰度分布来计算产生的模拟RPF。

遗憾的是，与所述用于2D的算法相比，上述3D算法中的步骤一的计算对于不具有极小数量点光源的场景，利用当前的硬件消费品可能不能实时地实现。但是，可以计算并存储由该算法产生的所需全息图，以实时调用。尽管已发现可以以表明不需要这种计算的方式优化计算，但可能需要更有效的计算以产生实时三维全息图。

上面详细描述的全息投影方法可实现在硬件中。在写入时，可使用商业上可得到的代码对商业上可得到的FPGA(现场可编程门阵列)进行编程，以足够用于全彩色视频(25帧/秒，3色平面，N＝32)的至少2400帧/秒的速度计算512×512傅立叶变换。对于显示装置，商业上可得到的SLM可以以至少512×512的分辨率显示足够的帧频。可以使用分立的多个照明装置，其中需要多种色彩，例如用于全色显示。可选地，也可以代替地使用能够输出多种色彩的单个装置。

已确定两个重要的设计问题。

首先，由于相位全息元件中的光学损失很小并且保存了全部能量，因此几乎所有入射的光学能量均进入RPF。从而，假定全部能量在RPF中的各“点亮(on)”像素之间近似均匀分布，则具有较少“点亮”点的目标RPF看起来比具有较多“点亮”点的目标RPF更亮。因此，控制器根据各帧中“点亮”点的数量相应地调制光源的强度，以在多个帧之间获得均匀的总亮度。激光的直接调幅由于非线性特性而不理想，因而在实施例中，这种调幅由脉宽调制代替，该脉宽调制在每400μs脉冲间隔内的占空比与理想亮度成正比，以获得所需的平均灰度。

其次，一个设计问题由RPF的大小与照明波长之间的关系产生。在一个实施例中，通过透镜系统来校正光源的三个波长的色差来克服这个问题；在另一个实施例中，通过使用菲涅耳全息术将对这种效应的补偿直接建入全息图中来克服。

本发明的方法的结果显示出，在仿真中RPF显示出的噪声能量比DBS的噪声能量低两个数量级，并且计算时间比DBS的计算时间快六个数量级。试验结果与理论一致，并且即使利用非常古老的铁电SLM设计的测试装置，对于全息产生的图像也能显示出以前未证实的对比度和精确度的水平。

使用硬接线快速傅立叶变换处理器的算法的可选种类是诸如乔思贝格-萨克斯通算法之类的直接迭代优化算法。这些算法将在下面更详细地讨论，并全部属于公知的乒乓算法(ping-pong algorithm)种类，乒乓算法还包括本领域技术人员公知的例如IFTA、输入/输出算法类型。在这些算法中，起点是随机相位分布或其它确定的相位分布，例如某种二进制化的预定相位分布及其上进行的快速傅立叶变换(FFT)，以提供改进的相位分布来代替最初的相位分布。循环迭代直到FFT二进制化的相位分布接近期望的目标分布。可选地，通常假定处于GS算法开始时的随机相位分布可由从前一个帧继承的相位分布代替。

当尝试最小化获得良好相息图所需的迭代次数时，这一点特别有益。当视频帧包括连续的一系列子帧时，对于这些子帧也具有同样的效果。

可选地，可以使用诸如单向迭代优化算法(单像素改变和成本函数测试)之类的算法，例如直接二进制查找和模拟退火，这些技术对于本领域的技术人员也是公知的，在此不详加描述。

相息图能以一系列方式以及可选的改进方式(将在下面描述)实时产生。如上所述，期望以M×实时来产生全息图，其中M表示用于噪声减小、并用于将在下面更详细描述的灰度(grey-scale)/色彩再现的时间多路复用因子。算法的执行可以以一系列方式加速。

在包括全息图分割的第一方法中，初始的未优化全息图被细分为相等的多个区域，这些区域根据在此描述的算法独立地并行优化。由于在很多例子中，处理时间与像素数量的平方成正比，因此这样可以相应地减少并行处理器中分配的处理时间。除了空间分割以外，全息图能够以任意适当的方式进行分解。

另外，本领域的技术人员还公知的是，可以在已定义了复全息图之后，应用诸如误差扩散和约束集上投影(POCS)之类的量化过程。在所有情况下，应当理解，在对全息图进行分割或其它分解以优化并行处理之后，将分解的部分加起来以提供完全的重构图像。

可以通过在处理器中使用用于进行优化的专用硬件来执行并加速所有这些算法，所述专用硬件例如为任意适当的公知类型的FFT处理器、FPGA(现场可编程门阵列)板、DCT(离散余弦变换)处理器或DSP(数字信号处理)板。

调制方案和相息图的产生

还应理解，可以执行各种可能的调制方案，以使用如上所述的二进制或多级量化在SLM上再现相息图。特别地，可以采用调制方案以在连续红、绿、蓝照射的情况下使重构的全息图给出彩色的灰度图像。

根据直接调制方案，直接调制SLM以提供色彩和/或灰度。特别地，使用快速SLM装置以提供二进制或多级全息图的帧连续多路复用，从而提供增强的灰度和帧连续色彩以及如将在下面详细描述的减小噪声的能力。可选地，可以调制照明光源，并且SLM可以使用全息图，该全息图在二进制位平面上重放，以使光调制停留时间或光强度根据位平面的重要性、例如按照帧连续灰度级(FSGS)方案而变化。另外可选地，根据帧连续色彩(FSC)方案，显示可以采用应用红、绿、蓝(RGB)连续照射或发光二极管(LED)而不是白色光源的其它色彩方案的调制方案，在这种情况下，它们与专用于一给定色彩的全息图同步。诸如这些方案对于本领域的技术人员是公知的，并且在此不加以详述。

另外，期望减小投影或显示图像中的噪声。噪声源可以分类为系统的和非系统的。系统源包括SLM中的相位再现误差和不均匀性。非系统源包括由执行优化算法产生的噪声以及二进制化误差。如上所述，在SLM上使用多级量化明显减小了二进制化噪声，并且，由于对算法的约束减少从而提供很大的查找空间，因此还减小了由优化算法引入的噪声。进一步的多级量化减小了来自相位再现误差的噪声。另外，应用了噪声平均或噪声消除技术，其中噪声平均以降低对比度为代价传播噪声效果，而噪声消除在不降低对比度、但增加处理负担的情况下减小噪声。

第一噪声平均方法包括上面详细描述的算法，在该算法中具有独立噪声场的一连串子帧可减小噪声。可选的方法是执行诸如上述乔思贝格-萨克斯通算法之类的、将一些或所有迭代作为子帧的迭代优化算法。各子帧均显示统计噪声独立，以使连续显示子帧可减小噪声。本领域的技术人员更熟悉乔思贝格-萨克斯通算法的执行。特别地，可以看出各子帧是单次迭代的结果或基于由先前通过(pass)而产生的相位分布的算法的“通过”。可以看出，可以使用算法产生具有在子帧之间显示的各迭代的子帧，以提供子帧级噪声减小，或者可以使用迭代产生帧，并以类似方式在帧之间显示。可以将连续位平面和色彩子帧用于继承相位分布的目的，以提供比假设用于各子帧的随机相位分布更好的结果。如果将子帧用于其它目的(例如由于它们有利于全息图的计算)，从而也可以将该原理应用于这种情况。

另外可选地，可以通过对整个重放图像的连续分解进行平均来获得噪声平均。例如，如上所述，可以通过色彩分解图像，并且多路复用或相加以提供完整的图像，在这种情况下，噪声将减小。可以执行可选的子帧连续位平面，或者实际上可以使用像素的整个集合的任意一组子集以提供整个图像，但连续再现以提供噪声平均。

通常，当投影这种连续帧以产生视频图像时，会产生噪声平均。这减小了对单个帧中存在的任何噪声的可见影响。不管帧是否由相息图产生，上述情况均成立，但当帧是由相息图产生时尤其有效(由于在这种情况下噪声级通常存在于各帧内)。如果帧由连续存在的子帧构成，则上述情况也成立，因为现在噪声在帧与子帧上都被平均并被优化，从而通过在投影时最小化图像帧或子帧中的噪声量并最大化它们的效率，获得最佳质量的计算机生成相息图，其中产生了多级量化帧或子帧。

可以对第一帧或子帧执行该方法的实例包括以下步骤：

1)假定实像中所有实像素上均为随机相位分布。

2)进行全离散快速傅立叶变换(FFT)。

3)去除实部，并对虚部进行FFT。

4)这给出了实像的第一次迭代(将被去除)，以及与其相关的称为P1的改进相位分布。

5)对加上新虚部的实像进行FFT。

6)去除实部。现在虚部被当作用于帧1的相位全息图。

对于下一个帧或子帧，很可能与第一个帧或子帧非常类似。因此，现在相位分布P1与下一个帧相关，并使用实数的下一个帧和P1进行FFT。

假设帧与帧很可能都类似，则可以对大量帧继续上述处理。

间或地，整个处理通过返回步骤1(但由于任意继承的相位分布可能较好，因此通常在重新起动序列时可能不必须使用随机相位分布)连续地重复。

用于重复该序列的一个原因可能是因为最终所述场景将改变，并且继承的相位分布不再适用，因此其需要在步骤2和3中重新产生。

可选地，该处理可以比上述更频繁地重复返回步骤1，以在即使没有实质上改变场景的情况下，也能持续改进继承的相位分布。因而，通常使处理尽可能多次地重复返回步骤1，限定特征(limiting feature)是执行快速傅立叶变换所需的时间。

当尝试最小化获得较好相息图所需的迭代次数时，这一点尤其有益。可以将相同的原理应用于某些类型的子帧，所述子帧可以依次被投影以构成各完整的视频帧。在帧连续色彩投影系统中，这些子帧的实例可以包括红、绿、蓝子帧(其与眼睛配合以提供完整的色彩图像)。它们还可以包括(二进制)位平面，所述位平面可以依次被投影以获得灰度级图像(例如对每个色彩)。在这种情况下，通过改变投影光源的强度，对进行投影的各位平面提供适当的二进制加权。

如果全息图的多周期复制品而不是仅仅一个复制品由投影仪激光光源照射，则以上述或其它方式计算的相息图将被改进。

在噪声消除的情况下，产生的全息图的分辨率可以比目标图像的分辨率更高。这导致因为相息图优化算法而引入了准周期模式，各模式与其邻近模式均具有微小的区别特征，从而可以进一步减小噪声。

另一个可选的噪声消除技术包括将全息图或一组全息图在SLM上空间多路复用，或将单个全息图在OASLM上空间多路复用。这进一步使全息图中的像素增多，从而提高了重放质量。一种这样的方法在以下文献中描述，该文献为L.B.Lesem、P.M.Hirsch、J.A.Jordan的“用于3-D显示的全息图的计算机合成(Computer synthesis of holograms for 3-D display)”，Commun.ACM，11，661-674(1968)。例如，可以理解，如上所述产生的子帧可以空间多路复用，即各子帧可以并置在OASLM上，然后重新组合为单个帧，从而进一步减小噪声并提高图像质量。

特别适用于系统噪声源的另一个方法包括适当形成来自照明光源的光束波前，以补偿公知的系统误差。可将这些误差识别为校准级(calibrationstage)，从而执行适当的波形形成光学器件。

应当理解，上述实施例的各个元件可以为任意合适的光学元件或其它元件。例如，处理装置包括运行代码以能够执行所需函数的现场可编程门阵列(FPGA)。在其它实施例中使用ASIC，在另外的实施例中使用编程通用计算机。LCOS可以包括由单独的处理器驱动的可调制像素阵列。在可选的结构中，处理硬件可以结合在LCOS的底面(back plane)，以提供完全一体化的装置，其仅需要视频输入。

通过上述实施例，可以提供具有增强亮度功效和图像质量的快速、噪声减小的实时视频全息投影仪。

根据本发明的另一个实施例，可以使用如图11所示的纯相位图像获得无损光投影。准直光束1102照射纯相位SLM 1104，该纯相位SLM 1104显示调相的、直接(非全息)再现的图像。调相的输出光束通过光学器件1106聚焦在位于傅立叶平面的相衬滤波器(phase contrast filter)1108上，接着经由另一个光学器件1110将光束聚焦在成像平面1112上。因此，如果对象的相位图像在SLM上出现，那么经由示出的4f成像系统投影，则可以提供具有高通过效率的调幅图像。可以提供任意合适的、光谱陡峭的窄带照射，并且由于不需要相干性，因此可以使用可选的激光光源，其能减小由光斑产生的噪声。在优选实施例中，执行多级调制以提供灰度图像。

应当理解，上述实施例可以使用于任意显示器或包括背面和正面投影的投影仪应用，并且涉及任意定期刷新的图像，特别是期望实时处理相息图的相应序列的图像。

应当理解，在上述说明中，术语“像素”的使用涵盖了任意形状或分布的任意适当的可调制和可寻址元件。在此，当使用术语“像素”时，并不是任意直接可以观看到的图片内容均能够在相关的元件上可见。

应当理解，本发明可以扩展到执行处理步骤的计算机程序产品，执行这些步骤的任意计算机或处理器，以及存储或能够提供计算机程序的任意计算机可读介质，例如诸如CD-ROM之类的介质存储装置，或者从远端服务器计算机可有线或无线下载的形式。

Claims

1.一种将2D视频图像投影到屏幕上的方法，该方法包括以下步骤：接收连续图像帧至处理器，处理各图像帧以获得一个或更多各自的相息图，以及实时地对可编程衍射元件进行编程以顺序再现各所述相息图。

2.如权利要求1所述的方法，其中，该视频图像是时变图像或静止图像中的一种图像。

3.如权利要求1或2所述的方法，其中，该图像是投影的图像或直接观看的图像中的至少一种图像。

4.如权利要求1或2所述的方法，其中，所述图像帧被实时处理。

5.如权利要求1所述的方法，其中，该方法还包括以下步骤：并行处理原始相息图的各子集以获得优化的子集，以及重新组合所述优化的子集。

6.如权利要求5所述的方法，其中，该原始相息图的子集包括原始相息图分割。

7.如权利要求5或6所述的方法，其中，该原始相息图是随机产生的或预先确定的，或是原始FFT的结果、或是循环的相位分布。

8.如权利要求1或2所述的方法，其中，使用双向迭代优化算法、单向迭代优化算法、或双向迭代量化过程、或单向非迭代过程中的任意一种，来处理图像帧以获得各自的相息图。

9.如权利要求1或2所述的方法，其中，该方法还包括以下步骤：控制操作的参数以提供灰度和色彩中的至少一种。

10.如权利要求9所述的方法，其中，直接调制该可编程衍射元件以提供色彩和/或灰度。

11.如权利要求10所述的方法，其中，该可编程衍射元件提供二进制量化配置，并被帧连续地多路复用以提供色彩和/或灰度。

12.如权利要求10所述的方法，其中，该可编程衍射元件提供多级量化配置以提供色彩和/或灰度。

13.如权利要求9所述的方法，其中，在时域内调制相息图照明光源以提供色彩和/或灰度。

14.如权利要求9所述的方法，其中，在色域内调制相息图照明光源以提供色彩和/或灰度。

15.如权利要求1或2所述的方法，其中，得到的相息图包括分别重构该图像帧的空间或灰度分解的多个相息图中的一个相息图。

16.如权利要求15所述的方法，其中，所述多个相息图加起来以给出实像。

17.如权利要求1或2所述的方法，其中，该方法还包括噪声减小步骤。

18.如权利要求17所述的方法，其中，通过根据多级量化配置对该可编程衍射元件编程以再现该相息图来减小噪声。

19.如权利要求17所述的方法，其中，通过对多个图像帧进行噪声平均来减小噪声。

20.如权利要求17所述的方法，其中，通过对各图像帧的多个子帧进行噪声平均来减小噪声。

21.如权利要求20所述的方法，其中，在优化算法中产生各子帧。

22.如权利要求21所述的方法，其中，该优化算法为乔思贝格-萨克斯通算法。

23.如权利要求17所述的方法，其中，将该图像帧和该相息图进行像素化，并且其中该相息图包含与该图像帧相关的多余像素。

24.如权利要求17所述的方法，其中，通过空间多路复用各相位全息图来减小噪声。

25.如权利要求24所述的方法，其中，所述相位全息图在该可编程衍射元件上空间多路复用。

26.如权利要求25所述的方法，其中，该可编程衍射元件包括光寻址空间光调制器。

27.如权利要求24至26中任一项所述的方法，其中，各图像帧均包括多个连续图像子帧，并且空间多路复用的相位全息图包括并置的连续子帧。

28.如权利要求17所述的方法，其中，通过形成照明光源波前以减轻系统噪声来减小噪声。

29.如权利要求1或2所述的方法，其中，该方法还包括步骤：在所述可编程衍射元件上，空间多路复用该相息图。

30.一种将2D视频图像投影到屏幕上的视频显示组件，包括：图像处理器以及可编程衍射元件，其中该图像处理器设置为接收并处理连续图像帧以获得各自的相息图，并实时地对该可编程衍射元件编程以连续重现所述相息图。

31.如权利要求30所述的显示组件，其中，该视频图像包括时变图像和静止图像中的至少一种图像。

32.如权利要求30或31所述的显示组件，其中，该可编程衍射元件包括空间光调制器。

33.如权利要求30或31所述的显示组件，其中，该可编程衍射元件提供二进制量化。

34.如权利要求33所述的显示组件，其中，该可编程衍射元件包括一个或更多调制元件。

35.如权利要求30或31所述的显示组件，其中，该可编程衍射元件提供多级量化。

36.如权利要求30或31所述的显示组件，其中，该可编程衍射元件包括向列硅基液晶LCOS、电诊断LCOS、变形螺旋LCOS和V形开关LCOS中的任意一种作为可编程部件。

37.如权利要求30或31所述的显示组件，其中，该显示组件还包括与该可编程衍射元件相关的成像光学器件。

38.如权利要求37所述的显示组件，其中，所述成像光学器件编程至该相息图中。

39.如权利要求30或31所述的显示组件，其中，该处理器包括FFT处理器、现场可编程门阵列处理器或数字信号处理器中的至少一种。

40.一种将2D视频图像投影到屏幕上的视频显示器，包括如权利要求30至39中任一项所述的显示组件以及部分相干照明光源。

41.如权利要求40所述的显示器，其中，该照明光源设置为被调制以提供色彩和/或灰度。

42.如权利要求40或41所述的显示器，其中，该显示器还包括照明光源波前形成光学器件，所述照明光源波前形成光学器件设置为形成照明光束以减轻该显示器中的系统噪声。

43.如权利要求40或41所述的显示器，其中，该可编程衍射元件还包括光寻址空间光调制器。

44.如权利要求43所述的显示器，其中，该显示器还包括空间多路复用光学器件，所述空间多路复用光学器件设置为将该相息图空间多路复用到该光寻址空间光调制器上。

45.如权利要求43所述的显示器，其中，所述光寻址空间光调制器还设置为空间多路复用暂变相息图。

46.如权利要求40或41所述的显示器，其中，该显示器还包括显示屏。

47.如权利要求46所述的显示器，其中，该显示屏设置为光学离轴。

48.一种将2D视频图像投影到屏幕上的方法，该方法包括以下步骤：接收连续图像帧至处理器，处理各图像帧以获得各自的相位再现，以及将所述相位再现施加至空间光调制器。

49.如权利要求48所述的方法，其中，该相位再现包括相息图。

50.如权利要求48所述的方法，其中，该相位再现包括图像再现，该方法还包括使再现的图像通过相衬滤波器的步骤。

51.一种将2D视频图像投影到屏幕上的视频显示组件，包括：图像处理器以及可编程衍射元件，其中，该图像处理器设置为接收并处理连续图像帧以获得各自的相位再现，并实时地对该可编程衍射元件编程以连续再现所述相位再现。

52.如权利要求51所述的显示组件，其中，该显示组件还包括相衬滤波器。

53.一种显示图像的方法，该方法包括以下步骤：接收图像帧至处理器，根据迭代算法产生相息图，以及显示该相息图的各迭代。

54.如权利要求53所述的方法，其中，该算法为乔思贝格-萨克斯通算法。

55.如权利要求53或54所述的方法，其中，该图像为视频图像。