CN101689036A - 一种用于实时渲染和生成彩色视频全息图的方法 - Google Patents

Abstract

本发明涉及一种用于为具有至少一个光调制装置(SLM)的全息重建装置(HAE)渲染和生成视频全息图的方法，其中被分为物点(OP)的场景编码为整个全息图(H∑_SLM)，并且作为重建从位于重建的视频全息图的一个周期性区间内的可见区(VR)看到。可见区(VR)，连同将要重建的场景(3D－S)的每个物点(OP)确定亚全息图(SH)，并且从亚全息图(SH)的叠加中生成整个全息图(H∑_SLM)，其中3D渲染图形管道(RGP)构成了场景(3D－S)，其通过具有深度信息的图像数据显示成物点(OP)，并为物点(OP)至少确定和提供颜色和深度信息，其中全息彩色管道(HGP)针对每个基色，通过针对每个可见物点(OP)，以优选的分析方式，在光调制装置(SLM)的调制区(MR)确定来自各个物点(OP)的波阵面的亚全息图(SH)的复全息值。

Description

一种用于实时渲染和生成彩色视频全息图的方法

本发明涉及一种用于从具有深度信息的三维图像数据实时渲染和生成彩色视频全息图的方法，用于扩展3D渲染图形管道。

关于渲染过程，本发明涉及3D渲染管道或图形管道，其描述了从三维场景的矢量、数学描述到监控器屏幕上的像素化图像的运算法则。三维图像数据包含深度信息，且通常还包含关于材料和表面性质的附加信息。例如，在3D渲染图形管道中执行屏幕坐标到装置坐标的转换、材质贴图(texturing)、裁切(clipping)和图形保真(anti-aliasing)。表示三维场景的二维投射、并且存储在图形适配器的帧缓冲器中的像素化图像包含监视器屏幕，例如LC显示器的可控像素的像素值。

本发明还涉及用于计算用于在全息显示装置上彩色呈现场景的全息值的分析方法。

这样的全息显示装置实质上基于以下原理：亚全息图由要重建的场景的每个物点一起形成，并且整个全息图借助于至少一个光调制器装置由亚全息图叠加形成，在光调制器装置上将被分成物点的场景编码成整个全息图，并且场景可以作为重建从位于视频全息图的重建的一个周期性区间内的可见区看到。大体上，此原理是主要重建将由物体发射到一个或多个可见区的波阵面。具体地，这样的装置基于这样的原理：重建单个物点仅需要亚全息图作为在光调制器装置上编码的整个全息图的子集。

全息显示装置包含至少一个屏幕装置(screen means)。屏幕装置是编码场景的全息图的光调制器本身，或者是在光调制器上编码的场景的全息图或波阵面投射到其上的光学元件，如透镜或反射镜。申请人提出的其他文件中已说明了可见区中屏幕装置的定义和相应的场景再现的原理。第WO 2004/044659号和第WO 2006/027228号专利文件中，光调制器本身形成了屏幕装置。在名称为“用于场景的全息重建的投射装置和方法”的WO2006/119760号专利文件中，屏幕装置是光调制器上编码的全息图投射到其上的光学元件。在名称为“用于场景的全息重建的投射装置”的DE102006004300号德国专利文件中，屏幕装置是在光调制器上编码的场景的波阵面投射到其上的光学元件。在申请人提交的WO 2006/066919号专利文件中，公开了用于计算视频全息图的方法。

“可见区域”是限定的区域，观察者通过可见区域可以足够清晰地看到场景的整个重建。在可见区域内，波场干涉使得重建的场景对观察者变得可见。可见区域位于或靠近观察者的眼睛。可见区域可以在x，y和z方向上移动，在公知的位置检测和追踪系统的帮助下，将可见区域跟踪到实际的观察者位置。可以应用两个可见区域，每个可见区域用于一只眼睛。总体上，可见区域的更复杂的设置也是可能的。也可以编码视频全息图，使得单个对象或整个场景对于观察者来说看起来处于光调制器之后。

在本申请文件中，术语“光调制装置”或“SLM指通过转换(switching)、选通(gating)或调制由一个或多个独立光源发出的光束的方式来控制光的强度、色彩和/或相位的装置。全息显示装置典型地包含通过调节穿过显示面板的光的振幅和/或相位重建物点的可控像素矩阵。光调制器装置包含这样的矩阵。光调制器装置可以例如是声光调制器(acousto-optic modulator)AOM或连续型调制器。通过振幅调制的方式进行全息图重建的一个实施例可以利用液晶显示器(LCD)。本发明还涉及用于将充分相干光调制成波阵面或调制成光波轮廓的另外的可控装置。

术语“像素”指光调制器的可控全息像素，其表示全息点的离散值并且被离散地寻址和控制。每个像素表示全息图的全息点。就LC显示器来说，像素是可离散控制的显示器像素。就DMD(数字微镜装置(DigitalMicro-mirror Device))来说，例如DLP(数字光处理器(Digital LightProcessor))，像素是可离散控制的微镜或这种微镜的小组群。就连续的空间光调制器装置来说，像素是表示全息点的虚构区。就彩色显示来说，典型地将像素再分为多个表示基色(primary colours)的子像素。

术语“变换(transformation)”应理解为包括任何与变换相同或近似的数学或者计算技术。数学意义上的变换仅仅是物理过程的逼近，其可以通过麦克斯韦(Maxwellian)波动方程更加精确地描述。像菲涅耳(Fresnel)变换或者以傅立叶(Fourier)变换著称的变换的特殊群的变换描述二阶逼近。变换通常用代数或者非微分方程表示，因此可以应用公知的计算工具进行有效且高性能地处理。此外，可以利用光学系统对它们进行精密地模仿。

申请人提交的WO 2006/066919号专利文件，公开了一种用于计算视频全息图的方法。其总体上包括以下步骤：将场景分割成平行于光调制器的平面的剖面，将这些剖面变换到可见区域，并在可见区域将其相加。然后，将相加后的结果变换回设置有光调制器的全息图平面中，从而确定视频全息图的复全息值。

DE1 0 2006 025 096号德国专利文件公开了一种由具有深度信息的图像数据渲染和实时生成视频全息图的方法，其中有3D渲染图形管道，其描述了将三维场景转换为作为三维场景的二维投影的像素化的图像数据，并在第一模式生成用于监控器的可控像素的像素值。其特征是，管道以可转换的方式扩展，使得在第二模式中，复全息值在至少一个全息管道生成，作为用于空间光调制器的像素值，以便对于通常的图形呈现同时地或选择地用全息值控制空间光调制器，以便调制入射波场，从而通过空间干涉重建三维场景。

DE1 0 2006 042 324号德国专利文件公开了一种用于实时生成视频全息图的方法。该方法应用的原理是：单个物点的重建仅需作为在SLM上编码的整个全息图的子集的亚全息图。其特征在于，对于每个物点，亚全息图的贡献可以从查找表中找回，所述亚全息图如此累加，从而形成整个全息图，用于重建整个场景。

上述公开的方法能使得全息值快速生成。但是，需要将3D渲染图形管道纳入进一步的考虑。描述了以三维场景的二维投影的形式将三维场景向像素化的图像数据转化的3D渲染图形管道的结果在两个存储器部分提供，即帧缓冲和Z缓冲：

-帧缓冲包含颜色值或颜色信息，即观察者看到的场景的颜色图。

-Z缓冲包含从观察者位置看到的正常呈现的场景的深度图或深度信息。

这些数据成行排列，且以像素值的方式生成用于光调制器的复全息值，作为用于全息管道的输入信息。

前述的用于生成交互式实时显示的视频全息图的方法只能付出大量努力并投入大量资源才可以实现。因为长的计算时间，视频序列和交互式三维实时应用软件不能提供需要的刷新频率。在传统的视频技术中，在显示计算机生成的视频全息图时，高图像刷新率是需要的而且是必不可少的。

本发明的目的是提供一种显著减少用于与颜色相关的全息值的计算所需要的计算时间的方法。该方法的实时能力将得以实现。为了实施该方法，用于计算的成本和技术努力也将减少。进一步地，为了进一步支持实时生成的彩色视频全息图，要对当前可商购的图形卡的结构或3D管道通过附加的硬件和软件模块进行扩展。

根据本发明的用于生成视频全息图的方法，适合用于具有至少一个光调制装置的全息显示装置，在该光调制器装置上，被分为物点的场景编码成整个全息图，并且场景可以作为重建从位于重建的视频全息图的一个周期性区间内的可见区看到，亚全息图由可见区连同将要重建的场景的每个物点确定，并且整个全息图由亚全息图的叠加而形成，其中3D渲染图形管道构成了场景，其通过具有深度信息的图像数据表示成物点，然后进行计算，并为物点提供最低限度的颜色和深度信息。为了生成彩色视频全息图，扩展描述将三维场景转换为用于三维场景的二维投影的像素化的图像数据的3D渲染图形管道。

进一步地，用于全息显示装置的光调制器的像素值形式的复全息值在全息管道中从3D渲染图像管道的结果数据生成。

这样的其中具有相应的光调制装置的全息显示装置还基于以下原理：主要重建对象朝观察者眼睛或可见区发射的波阵面。在上述已经给出可见区的定义。

进一步，该原理的优点是场景的单个物点的重建仅需要作为在光调制器装置上编码的整个全息图的子集的亚全息图。每个单一物点由一个亚全息图创造，其位置依赖于物点的位置，其大小依赖于观察者位置。下面将光调制器装置上的亚全息图区称为调制区。调制区是重建物点所需要的光调制器装置的子区域(sub-region)。同时，为了重建物点，调制区确定光调制器上的哪些像素必须寻址。如果物点是固定在空间中的物点，则调制区将保持在固定位置。这意味着将要重建的物点依赖于观察者位置而改变位置。依赖于观察者位置的调制区的改变允许物点在固定位置编码，即，其在空间中的位置不依赖于观察者位置而改变。就本发明而言，可以类似地利用这些原理。本发明进一步基于的原理是，最后重建整个场景的整个全息图可以通过亚全息图的重叠来计算。

本发明基于的思想是，全息彩色管道为每种原色生成用于光调制装置的全息值，其中全息彩色管道平行确定原色的各个亚全息图。全息彩色管道呈现通过特征波长呈现的原色。在最简单的情况中，原色是一种公知的RGB原色，所有的其它颜色可以通过多路技术从RGB原色混合或生成。然后同时提供物点的各个彩色全息图。然后，如期望地一样，同时提供与颜色相关的整个场景的整个全息图。此外，与原色相应的整个全息图可以计算为与颜色相关的亚全息图的总和。

下面将结合全息彩色管道的例子说明本发明的方法步骤。原理可以相似地应用于使用的每种原色。

确定物点的调制区后，计算相应的亚全息图，并相加，作为整个全息图的贡献。在一优选的实施例中，物点的亚全息图可以从已经提前生成的查找表中找回。

必须提供3D渲染图形管道的扩展，用于平行执行全息彩色管道。如上所述，3D渲染图形管道的结果在两个存储器部分提供，即帧缓冲和Z缓冲。

在本发明的第一具体实施例中，3D渲染图像管道的结果为每种原色储存在独立的存储器部分中。相应地复制储存内容，使得每个全息管道具有有相应颜色的各自的帧缓冲及各自的Z缓冲。这保证了在访问输入数据时，全息管道不彼此削弱，从而容许对这些数据的高性能的访问。

在本发明的另一优选的实施例中，3D渲染图形管道针对每个物点在单个的帧缓冲和单个的Z缓冲分别储存确定的颜色值和确定的深度值。为了向全息彩色管道提供数据，提供复用器，将其作为控制装置，用于将数据分配和传输给平行的全息彩色管道。

生成的与颜色相关的整个全息图储存在储存装置或传输到全息显示装置。基于颜色特定的整个全息图，应用时间或空间分割多路技术方法，将彩色全息图呈现于显示装置。

由于应用所述的用于计算亚全息图的方法，显著地满足了实时生成与颜色相关的全息值的要求。如在传统的视频处理技术中，可以提供高的刷新率，用于计算机生成的视频全息图的显示，其中实时生成在廉价的和简单的计算单元的帮助下也是可能的。

下面进一步说明用于计算复全息值的更佳的方法。该方法基于的思想是：亚全息图的复全息值在光调制器装置的调制区中从将要重建的物点的波阵面中计算，其中对投射元件的透射函数或调制函数进行计算和分析，其在调制区中模型化并且将要重建的物点位于其焦点上。此处的投射元件位于全息显示装置的全息图平面中。全息图平面由屏幕装置的位置确定，为了简化，下述的说明中，屏幕装置将是光调制器本身。

根据本方法的优选实施例，投射元件包括处在全息平面内具有焦距f并且倾斜放置的透镜。倾斜透镜由相对于全息平面来说没有倾斜的透镜以及在水平方向和垂直方向都有效的棱镜组成。严格来说，棱镜不确定亚全息图，因为由于无焦点棱镜功能，没有物点被重建。然而，为了保持本发明思想的清晰，将这样描述，因为棱镜还将其部分贡献给调制范围内的复全息值。以下以透镜和棱镜的例子详细说明本方法。当然，本方法还可以独立地应用于透镜或棱镜；在这种情况下，处理步骤或对应的术语不再实施或者可以忽略。

为了计算亚全息图的复值，对于场景的每个可见物点来说，本方法的详细设计包含以下步骤：

A：如上所述确定调制区的大小和位置，但是，然后对该调制区给定局部坐标系，其中原点处在其中心位置，x轴表示横坐标，y轴表示纵坐标。“a”是调制区的半宽，“b”是调制区的半高，这些区间边界包括在以下术语中。

B：确定全息平面内透镜的亚全息图：

B1：确定透镜的焦距f：

透镜的焦距f最好是将要重建的物点距全息平面的垂线距离(normal distance)。

B2：透镜对应的亚全息图的复值：

利用等式Z_L＝exp{+/-i*[(π/λf)*(x²+y²)]}确定对应的亚全息图的复值，其中λ是参比波长，f是焦距，(x，y)是对应的坐标对。这里的负号是由于凹透镜的特征。凸透镜由正号标识。

B3：由于x轴和y轴的对称性，足以在一个象限内确定复值并且通过利用符号规则将该复值应用到其它象限。

C：确定全息平面内棱镜(P)的亚全息图：

所选择的棱镜贯穿横坐标或纵坐标，如附图所示。

C1：确定具有水平有效方向的棱镜(PH)的线性因子C_x，线性因子C_x在区间x∈[-a，a]内由以下等式描述

C_x＝M*(2π/λ)

其中M是棱镜的倾角。

C2：确定具有垂直有效方向的棱镜(PV)的线性因子C_y，线性因子C_y在区间y∈[-b，b]内由以下等式描述

C_y＝N*(2π/λ)

其中N是棱镜的倾角。

C3：确定组合棱镜的对应的亚全息图的复值：

对应的亚全息图的复值通过叠加两个棱镜项确定：

Z_P＝exp{i*[Cx*(x-a)+Cy*(y-b)]}

叠加的棱镜贯穿局部坐标系的原点。

C4：如果全息显示装置显示出将光源投射进入可见区的特征，棱镜项可以去掉。

D：调制透镜和棱镜的亚全息图：

为了确定组合的亚全息图，将透镜和棱镜的复值复合相乘：

Z_SH＝Z_L*Z_P

或者，象征性地，

SH＝SH_L*SH_P

E：随机相位的应用：

为了确保可见区内均匀的亮度分布，向从步骤D得到的每个经调制的亚全息图分配随机相位。通过复乘将随机相位增加到亚全息图：

Z_SH：＝Z_SH exp(iФ₀)

或者，象征性地，

SH：＝SH exp(iФ₀)

将随机相位单独地分配到每个亚全息图。概括地，所有亚全息图的随机相位最好是均匀分布的。

F：强度调制：

向复值给出附加倍增因子，其表示强度或亮度：

Z_SH＝C*Z_SH

或者，象征性地，

SH：＝C*SH；

G：如果计算整个全息图，将对亚全息图进行叠加以形成整个全息图。在简单的实施例中，考虑到亚全息图的位置，将亚全息图复合地增加到整个全息图中。

整个全息图＝所有的亚全息图的复合总和，并且

H∑_SLM＝∑Sh_i

或者，象征性地，

Z_SLM＝∑Z_SHi(就整个坐标系而言)。

该方法最好仅用于可见物点。物点的可见度作为3D渲染图形管道对场景渲染处理的结果确定，并且其依赖于观察者的位置，即眼睛瞳孔的位置，因此，来自追踪到瞳孔位置的可见区的位置。

详细的说明涉及最可能的解决方案的计算。如果降低的重建品质可以接受或者甚至是所需要的，当然可以用更加简单的函数项代替上述函数项。然而，可以看出：为了改善重建品质，应用了更新的处理步骤。例如可以选择透镜或者棱镜以校正光调制器装置等的像差、公差。同样还可以应用于示例性提到的用于确定调制区的方法。

根据该方法的延续，特定的全息显示装置的像素值基于整个全息图(或亚全息图)的复全息值求得。例如，将复合全息图值变换成Burckhardt分量、两相分量或其它合适的编码。

该方法具有的优点是，要重建的物点可以位于重建空间(平截头体)内的任意位置，且其位置不是通过离散靠近的，例如应用剖平面时。在步骤(B 1)中，准确地确定透镜的焦距f。进一步地，在步骤(C)中准确地确定棱镜的参数。

除了用于为了在全息显示装置上显示而生成全息值外，根据本发明的方法最好还用于用生成的亚全息图填充查找表。这意味着根据上述的方法确定用于物点的亚全息图，然后储存在查找表中。这样的查找表使得根据物点的颜色和深度信息找回初步计算的物点的亚全息图、且将其应用于生成全息图数据的过程中成为可能。查找表最好用投射元件(组合的透镜和棱镜功能)的亚全息图填充。但是，还可以理解到的是，分离的查找表分别用透镜或棱镜相关的亚全息图填充。一般地，这样的查找表实质上地加速任何其它方法，其中亚全息图的原理最好根据本发明的方法的说明应用。这样的查找表使得后续的方法或例如需要大量计算负担的方法加速。

借助于该方法，用于交互式实时全息重建的物点可以应用当前可商购的标准的硬件组件在重建空间的任何位置生成。如果实施该方法的处理单元具有更高的性能，可以更精细地构建场景，并且重建的质量可以显著提高。根据本发明的方法省略了本来应用的复杂的变换，其特征在于，可以分解地执行简单的构建步骤。这也实现了根据本发明的方法的实时性能。

现借助实施例结合附图对本发明进行详尽的说明，其中：

图1表示全息显示装置所基于的原理，及表示物点的调制区，

图2a是具有包含透镜和棱镜的投射元件的显示装置的侧视图，

图2b表示调制区和垂直有效的棱镜，

图2c表示调制区和水平有效的棱镜，

图3表示根据本发明的方法的流程图，及

图4表示用于在全息图平面后重建物点的可选方法，

图5是本发明的方法和具有全息管道的3D渲染图形管道与颜色相关的扩展的优选实施例的流程图。

图1表示用于一个观察者的全息显示装置(HAE)所基于的一般原理。该原理因而适用于多个观察者。观察者的位置由其眼睛或其瞳孔(VP)的位置来表征。该装置包含光调制器装置(SLM)，为了简化起见，本实施例中该光调制器装置与屏幕装置(B)相同；并且该装置叠加在至少一个可见区(VR)内用场景(3D-S)的物点信息调制的波阵面。将可见区追踪到眼睛。场景(3D-S)的单一物点(OP)的重建仅需要一个亚全息图(SH)作为在光调制器装置(SLM)上编码的整个全息图(H∑_SLM)的子集。调制区(MR)是光调制器(SLM)上的亚全息图区。从该图中可以看出，调制区(MR)仅包含光调制器装置(SLM)的小部分。根据最简单的实施例，调制区(MR)的中心位于穿过将要重现的物点(OP)并穿过可见区(VR)中心的直线上。在最简单的实施例中，基于交线定理确定调制区(MR)的大小，通过要被重建到光调制器装置(SLM)的物点(OP)追溯可见区(VR)。此外，重建该物点所需的光调制器装置(SLM)上的这些像素的索引因此可以确定。从图中可以看出，对调制区(MR)给出一坐标系统，坐标系统的原点在其中心，x轴表示横坐标，y轴表示纵坐标。调制区(MR)具有半宽“a”和半高“b”。

图2a是表示本发明方法的基本原理的全息显示装置(HAE)的侧视图。调制区(MR)的来源与图1中所述的相似。该区处在全息平面(HE)内，全息平面内设置有光调制器(SLM)。在这里由聚焦透镜(L)和棱镜(P)组成的投射元件(OS)位于调制区(MR)内。该图仅表示垂直有效的棱镜楔(prism wedge)，并且所示的投射元件(OS)在全息平面(HE)的前方以使物体更加清楚。

图2b表示在调制区(MR)前方的垂直有效的棱镜楔(PH)，连同所用的坐标和尺寸。因此这里的棱镜楔贯穿纵坐标。

图2c类似地表示垂直有效的棱镜楔(PV)，其贯穿横坐标。两个棱镜楔如下所述叠加。

图3表示根据本发明的方法的流程图。该方法的开始点是由多个物点(OP)组成的三维场景(3D-S)。色彩和深度信息对物点(OP)来说是可以利用的。基于物点的深度信息、根据观察者的位置，即观察者眼睛瞳孔的位置确定物点的可见度。步骤(A)中，为每个可见物点确定全息平面(HE)内或者光调制器装置上各个调制区(MR)的大小和位置。根据本发明的思想，将要重建的物点(OP)理解为位于全息平面内的投射元件的焦点。这里的投射元件理解为聚焦透镜(L)以及如图2b和2c所示的垂直或水平有效的棱镜(PH，PV)的组合。亚全息图(SH)的复全息值在光调制器装置的调制区(MR)中从将要重建的物点(OP)的波阵面中计算，其中对投射元件(OS)的透射函数或调制函数进行计算和分析，其在调制区(MR)中模型化并且将要重建的物点(OP)位于其焦点上。步骤(B1)中，为每个可见物点确定的透镜(L)的焦距因此作为物点(OP)作为距全息平面(HE)的垂线距离。

在步骤(B2)，利用以下等式确定对应的亚全息图(SH_L)的复值：

Z_L＝exp{-i*[(π/λf)*(x²+y²)]}

其中λ是参比波长，f是焦距，(x，y)是对应的局部坐标对。对坐标系的定义如前所述。

C_x＝M*(2π/λ)，

步骤(C)中，确定全息平面内棱镜(P)的亚全息图(SH_P)。利用等式C_x＝M*(2π/λ)确定具有水平有效方向的棱镜(PH)的线性因子C_x，

其中M是棱镜的倾角。以类似的等式求得垂直有效棱镜的线性因子C_y，但是倾角为N。通过叠加两个棱镜项确定对应的亚全息图(SH_P)的复值：

SH_P：＝Z_P＝exp{i*[Cx*(x-a)+Cy*(y-b)]}。

如果全息显示装置显示出将光源投射进入可见区(VR)的特征，一个棱镜项可以去掉。

既然透镜(L)的亚全息图(SH_L)和棱镜的亚全息图(SH_P)是可以得到的，它们在步骤(D)中叠加，以通过透镜的复值和棱镜的复值的复合相乘而形成组合的亚全息图(SH)：

Z_SH＝Z_L*Z_P

或者，象征性地，

SH＝SH_L*SH_P。

步骤(E)中，对亚全息图(SH)给出均匀分布的随机相位。

步骤(F)中，执行强度调制，亚全息图(SH)与强度因子相乘：

Z_SH＝C*Z_SH

或者，象征性地，

SH：＝C*SH

物点(OP)的已组合的亚全息图(SH)现在完全可以得到。

在进一步的可以分开执行的方法步骤(G)中，增加物点的亚全息图以形成整个全息图(H∑_SLM)。物点的单个亚全息图(SH_i)是可叠加的并且复合地增加，以形成整个全息图(H∑_SLM)。

整个全息图＝物点的所有亚全息图的复合总和

H∑_SLM＝∑SH_i

或者

Z_SLM＝∑Z_Shi(就整个坐标系而言)。

整个全息图(H∑_SLM)表示所有物点的全息图。因此其表示并且重建了整个场景(3D-S)。

在最后的步骤(H)中，如上所述，整个全息图可以通过编码变换成用于全息显示装置的像素值，全息显示装置最好也采用亚全息图原理。如上所述，这些装置具体公开于WO 2004/044659，WO 2006/027228，WO20061 1 9760和DE 1 0 2006 004 300号专利文件中。

图4表示通过应用本发明的方法，总体上可以类似地重建位于全息图平面(HE)之后的物点(OP)。在该情况下，投射元件(OS)类似地包含提到的棱镜(P)，但是投射元件中的透镜是凹透镜(L)，用相同的方法在调制区可以确定波阵面。

图5表示用于生成整个全息图(H∑_SLM)的方法，并示出了为了从具有深度信息的图像数据生成用于全息显示装置(HAE)的光调制器(SLM)的复全息值，3D渲染图形管道(RGP)如何通过全息管道(HGP)进行扩展。

例如，在3D渲染图形管道(RGP)中执行屏幕坐标到装置坐标的、材质贴图(texturing)、裁切(clipping)和图形保真(anti-aliasing)。3D渲染图形管道描述了以场景(3D-S)的二维投影的形式将三维场景转化为像素化的图像数据。3D渲染图形管道的结果在两个存储器部分提供：

-帧缓冲(FB)包含颜色值或颜色信息，即观察者看到的场景的颜色图。

Z缓冲(ZB)包含从观察者位置看到的正常呈现的场景的深度图或深度信息。

为了便于理解，单独示出了图形管道的这些存储器部分，其示意性示于图5中。这些数据作为用于随后的全息彩色管道(HGP)的输入信息，其以颜色特定的方式，生成了用于整个场景(3D-S)的复全息值。从图中可以看出，为一个原色，此处为RGB，提供一个全息彩色管道(HGP)。这些全息彩色管道中的每一个因此与一个特征波长相应。在图中用附加的箭头标明的针对原色的这些与颜色相关的图像管道(HGP)平行运转。这保证了物点的单个彩色全息图，和最终的与颜色相关的整个场景的整个全息图同时提供。为了向数据的单个全息管道提供帧缓冲(FB)和Z缓冲(ZB)，提供向单个的与颜色相关的全息管道分配数据的复用器(MX)，作为控制装置。如上所述，最后重建整个场景(3D-S)的与颜色相关的整个全息图(H∑_SLM)可以用等式H∑_SLM＝∑SH_i确定为各个与颜色相关的亚全息图的总和。颜色呈现通过与颜色相关的整个全息图的时间或空间分割多路技术在全息显示装置上执行。

图中顶部的全息管道表示用于确定物点的亚全息图的不同方法。在第一选择中，物点的亚全息图可以从已经提前生成的查找表(LUT)中找回。另一选择通过图1-4所示的方法形成。

参照本图，为了保证清楚地理解基本原理，单独地示出了3D渲染图形管道和全息管道。但是，不一定意味着执行的计算装置在空间上是分离的。该方法最好在相同的处理器或图形芯片上实施，其中3D渲染图形管道操作在处理器或图形芯片上运行。3D渲染图形管道最好针对硬件和软件扩展。但是，在附加的芯片上实施全息管道形成了可能的优选的选择。

在本发明的一个优选的实施例中，全息显示装置将它的构造数据提供给用于实施本发明的方法的装置。例如这些数据详细说明光调制器的大小，它的分辨率，如果需要，还包括关于编码方法的描述性数据，例如Burckhardt编码方法，两相编码方法或其它合适的编码方法。

然后，可以设置全息值的生成，并应用于指定的或检测到的全息显示装置。因此用于实施该方法的装置并不限于特定的全息显示装置，而可以普遍地应用于较好地利用亚全息图的基本原理的装置。

附图标记列表

3D-S   由物点组成的场景

RGP    渲染图形管道

FB     3D渲染图形管道的帧缓冲

ZB     3D渲染图形管道的Z缓冲

HGP    全息管道

MX     复用器

HAE    全息显示装置

B      屏幕装置

SLM    光调制装置

HE     全息平面

VP     观察者眼睛/观察者位置

VR     可见区

OP     一般的物点

0Pn    具有参考索引的物点

SH     一般的亚全息图

SHI    透镜的亚全息图

SHp    棱镜的亚全息图

MR     调制区

SH_i    一般的索引的亚全息图

H∑_SLM 整个全息图

OS     投射元件

L      透镜

P     棱镜

PH    具有水平有效的方向的棱镜

PV    具有垂直有效的方向的棱镜

Claims (18)

1.用于具有至少一个光调制装置(SLM)的全息显示装置(HAE)实时计算视频全息图的分析方法，被分成物点(OP)的场景(3D-S)在光调制装置(SLM)上编码为整个全息图(H∑_SLM)，其中场景(3D-S)可以看作来自位于视频全息图的一个重建周期间隔内的可见区(VR)的重建，其中亚全息图(SH)通过可见区(VR)和重建的场景(3D-S)的每个物点(OP)形成，整个全息图(H∑_SLM)通过亚全息图(SH)的叠加形成，其中3D渲染图形管道(RGP)构成了场景(3D-S)，其通过具有深度信息的图像数据显示成物点(OP)，并为物点(OP)至少确定和提供颜色和深度信息，其中用于每个原色的一个全息彩色管道(HGP)生成与颜色相关的全息值，使得对于每个可见物点(OP)，亚全息图(SH)的复全息值可以从至少一个查找表中找回，或在光调制装置(SLM)的调制区(MR)中从要重建的物点(OP)的波阵面分析地确定，其中全息彩色管道(HGP)平行地执行各自的、叠加的整个全息图(H∑_SLM)的计算。

2.根据权利要求1所述的方法，其特征在于，3D渲染图形管道(RGP)在单独用于每个原色的储存装置中针对每个物点将确定的颜色值写入帧缓冲(FB)，将确定的深度值写入Z缓冲(ZB)，其中全息彩色管道(HGP)访问各自的存储装置。

3.根据权利要求1所述的方法，其特征在于，3D渲染图形管道(RGP)在储存装置中针对每个物点将确定的颜色值写入帧缓冲(FB)，针对每种原色将确定的深度值写入Z缓冲(ZB)，其中至少一个作为控制装置的复用器将这些数据分配和传输到各个平行的颜色管道(HGP)。

4.根据权利要求3所述的方法，其特征在于，每个全息彩色管道(HGP)都具有帧缓冲(FB)和Z缓冲(ZB)，其中至少一个作为控制装置的复用器将3D渲染图形管道(RGP)的结果分配和传输到颜色管道的这些存储器部分。

5.根据权利要求1-4任一项所述的方法，其特征在于，亚全息图(SH)的复全息值在光调制器装置的调制区(MR)中从将要重建的物点(OP)的波阵面中确定，其中对投射元件(OS)的透射函数或调制函数进行计算和分析，其在调制区(MR)中模型化并且将要重建的物点(OP)位于其焦点上。

6.根据权利要求5所述的方法，其特征在于，投射元件(OS)包含至少一个透镜(L)。

7.根据权利要求6所述的方法，其特征在于，投射元件(OS)附加地包含至少一个棱镜(P)。

8.根据权利要求7所述的方法，其特征在于，对于场景的每个物点，包含下述步骤：

A：确定亚全息图(SH)的位置和大小，作为调制区(MR)，给出调制区(MR)半宽度‘a’和半高度‘b’，并给出局部坐标；

B：确定调制区(MR)的透镜(L)的亚全息图，包含以下步骤：

B1：确定透镜(L)的焦距，最好为要重建的物点(OP)距离调制区(MR)的垂线距离；

B2：借助等式z_L＝exp{+/-i*[(π/λ·f)*(x²+y²)]}，确定透镜(L)的相应的亚全息图(SH_L)的复值，其中λ是参比波长，f是焦距，(x，y)是相应的坐标对，其中符号表示凸透镜/凹透镜；

C：确定调制区(MR)的棱镜(P)的亚全息图，包含以下步骤：

C1：确定具有水平有效方向的棱镜(PH)的线性因子C_x，其在区间x∈[-a，a]用下述等式表示

C_x＝M*(2π/λ)，其中M是棱镜的倾角；

C2：确定具有垂直有效方向的棱镜(PV)的线性因子C_y，其在区间y∈[-b，b]用下述等式表示

C_y＝N*(2π/λ)，其中N是棱镜的倾角；

C3：通过叠加两个棱镜项z_P＝exp{i*[C_x*(x-a)+C_y*(y-b)]}确定组合的棱镜的相应亚全息图(SH_P)的复值；

D：透镜(L)的亚全息图(SHL)和棱镜(P)的亚全息图(SH_P)的调制，其中透镜和棱镜的复值相乘，

z_SH＝z_L*z_P，或象征性地，SH＝SH_L*SH_P

E：随机相位的应用，其中每个调制的亚全息图分配有随机相位Φ_z，复合相乘用下式执行：

z_SH：＝z_SH*exp(iΦ_z)，或SH：＝SH*exp(iΦ_z)；

F：强度调制，其中通过z_SH：＝C*z_SH或SH：＝C*SH对调制的亚全息图的值设定真实的强度因子C。

9.根据权利要求1或8所述的方法，其特征在于，确定调制区(MR)的位置，使得调制区(MR)的中心位于穿过要重建的物点(OP)和可见区(VR)的中心的直线上。

10.根据权利要求1或8所述的方法，其特征在于，通过物点(OP)穿过可见区(VR)反向跟踪到光调制装置(SLM)，确定调制区(MR)的大小。

11.根据权利要求8所述的方法，其特征在于，考虑亚全息图(SH)的位置，形成整个全息图(H∑_SLM)的亚全息图(SH)的叠加用H∑_SLM＝∑SH_i计算成亚全息图(SH)的复值和。

12.根据权利要求8所述的方法，其特征在于，为物点的每个调制的亚全息图(SH)设定随机相位，所有亚全息图的随机相位均匀分配。

13根据权利要求1-12中的一项或多项所述的方法，其特征在于，将复全息值附加地颜色特定地转换成光调制装置(SLM)的像素值。

14.根据权利要求13所述的方法，其特征在于，复全息值转换成Burckhardt分量或两相分量或任何其它合适的编码。

15.根据权利要求1-12中的一项或多项所述的方法，其特征在于，限定的空间构建成物点，其中用于每个物点的亚全息图储存在查找表中。

16.根据权利要求1-12中的一项或多项所述的方法，其特征在于，限定的空间构建成物点，颜色特定地确定与投射元件(OS)的至少一个组件关联的用于每个物点的亚全息图，并储存在相应的查找表中。

17.具有屏幕装置(B)的全息显示装置，所述装置实现根据权利要求1-10中的一项或多项所述的方法，其中屏幕装置(B)是在其上编码场景(3D-S)的全息图的光调制装置(SLM)本身，或者是在光调制器上编码的全息图或者在光调制器上编码的场景的波阵面投射到其上的光学元件。

18.根据权利要求17所述的全息显示装置，其特征在于，光学元件是透镜或镜子。

Images