CN101689037A - 为扩展3d渲染图形管道实时生成视频全息图的方法 - Google Patents

Abstract

本发明涉及一种生成视频全息图的方法，该方法主要用于对全息显示装置(HAE)起作用，该全息显示装置具有至少一个光调制器装置(SLM)，在光调制器装置中，将解构为物点(OP)的场景(3D－S)编码成完整的全息图(H∑_SLM)并且场景可以作为重建从可见区(VR)看到。3D渲染图形管道(RGP)为场景(3D－S)的物点确定色彩和深度信息，全息管道(HGP)通过以下描述从中为深度信息和色彩信息已经存在或者当前更新的每个可见物点(OPN)确定复全息值，A)立即确定与该可见物点(OPN)关联的亚全息图(SHN)和关联的差分亚全息图(SD)，其中差分亚全息图确定为(SD＝SHN－SHX)，是可见物点(OPN)的对应的亚全息图(SHN)和现在废弃的，即，不再可见的物点(OPX)的亚全息图(SHX)的差值，B)将差分亚全息图(SD)加到整个全息图(H∑_SLM)，以及，C)使物点(OPN)和该物点(OPN)的亚全息图(SHN)的信息链在至少一个亚全息图存储器(SH－MEM)中可以得到。

Description

为扩展3D渲染图形管道实时生成视频全息图的方法

本发明涉及一种为扩展3D渲染图形管道由具有深度信息的三维图像数据实时生成视频全息图的方法。

对于渲染过程，本发明涉及3D渲染管道或图形管道，其包含从场景的矢量、数学描述到监视器屏幕上像素化图像的算法。三维图像数据包含深度信息，通常还包含关于材料和表面性质的附加信息。例如，在3D渲染图形管道中完成屏幕坐标向装置坐标的转换、材质贴图、裁切和图形保真。表示三维场景的二维投射、并且存储在图形适配器的帧缓冲器中的像素化图像包含用于监视器屏幕、例如LC显示器的可控像素的像素值。

就全息数据的生成而言，本发明涉及在全息显示装置的光调制器装置上为由物点组成的三维场景的显示生成全息值的方法和装置。

对于视频全息图，本发明还涉及全息管道。复全息值以用于全息显示装置的光调制器的像素值的形式在该管道中生成。

这样的全息显示装置实质上基于这样的原理：借助于至少一个光调制器装置，亚全息图由将要重建的场景的每个物点确定，并且整个全息图由亚全息图的叠加而形成，其中，在该光调制器装置上，被分为物点的场景编码成整个全息图，并且场景可以作为重建从位于视频全息图重建的一个周期性区间内的可见区看到。通常，该原理主要用于重建将由物体发出的进入一个或多个可见区的波阵面。

具体地，这样的装置基于这样的原理：重建单个物点仅需要作为在光调制器装置上编码的整个全息图的子集的亚全息图。全息显示装置包含至少一个屏幕装置(screen means)。屏幕装置是编码场景的全息图的光调制器本身，或者是在光调制器上编码的场景的全息图或波阵面在其上成像的光学元件，如透镜或反射镜。

在可见区中进行场景重建的屏幕装置和相应原理的定义在由申请人提交的其它专利文件中进行了描述。在WO 2004/044659和WO2006/027228号专利文件中，光调制器本身形成屏幕装置。在WO2006/119760号，名称为“用于场景的全息重建的投射装置和方法(Projection device and method for holographic reconstruction of scenes)”的专利文件中，屏幕装置是在光调制器上编码的全息图在其上成像的光学元件。

在DE 10 2006 004 300.6号“用于场景的全息重建的投射装置(Projection device for the holographic reconstruction of scenes)”的专利文件中，屏幕装置是在光调制器上编码的场景的波阵面在其上成像的光学元件。

由申请人提交的WO 2006/066919号专利文件描述了用于计算视频全息图的方法。

“可见区”是观察者通过其可以以足够可见度观看到整个场景的重建的有限区域。在可见区内，波场干涉使得已重建的场景对于观察者可见。可见区位于或靠近观察者的眼睛。可见区可以在X、Y和Z方向移动，借助公知的位置探测和追踪系统将可见区追踪到实际的观察者位置。可以使用两个可见区，每只眼睛一个。一般说来也可以有更多复杂排列的可见区。还可以将视频全息图编码成使得对观察者而言，单个物体或整个场景看起来位于光调制器的后方。

在本申请文件中，术语“光调制器装置”或者“SLM”指通过转换(switching)、选通(gating)或调制由一个或多个独立光源发出的光束的方式来控制光的强度、色彩和/或相位的装置。全息显示装置典型地包含通过调节穿过显示面板的光的振幅和/或相位重建物点的可控像素矩阵。光调制器装置包含这样的矩阵。光调制器装置可以例如是声光调制器(acousto-optic modulator)AOM或连续型调制器。通过振幅调制的方式进行全息图重建的一个实施例可以利用液晶显示器(LCD)。本发明还涉及用于将充分相干光调制成光波阵面或调制成光波轮廓的另外的可控装置。

术语“像素”指光调制器的可控全息像素，其表示全息点的离散值并且被离散地寻址和控制。每个像素表示全息图的全息点。就LC显示器来说，像素是可离散控制的显示器像素。就DMD(数字微镜装置(DigitalMicro-mirror Device))来说，例如DLP(数字光处理器(Digital LightProcessor))，像素是可离散控制的微镜或这种微镜的小组群。就连续的空间光调制器装置来说，像素是表示全息点的虚构区。就彩色显示来说，典型地将像素再分为多个表示基色(primary colours)的子像素。

术语“变换”应理解为包括任何与变换相同或近似的数学或者计算技术。数学意义上的变换仅仅是物理过程的逼近，其可以通过麦克斯韦(Maxwellian)波动方程更加精确地描述。像菲涅耳(Fresnel)变换或者以傅立叶(Fourier)变换著称的变换的特殊群的变换描述二阶逼近。变换通常用代数或者非微分方程表示，因此可以应用公知的计算工具进行有效且高性能地处理。此外，可以利用光学系统对它们进行精密地模仿。

由申请人提交的WO 2006/066919号专利文件描述了一种用于计算视频全息图的方法。总体上包括以下步骤：将场景切分为平行于光调制器平面的剖面，将观察者平面内的所有剖面变换到可见区，并将其相加。而后，将相加的结果逆变换到光调制器所在的全息平面，从而确定视频全息图的复全息值。

DE 10 2006 025 096号专利文件描述了一种用于从具有深度信息的图像数据实时渲染并生成视频全息图的方法，其中，3D渲染图形管道在第一模式中为监视器的可控像素生成像素值。其特征在于，以可变换的方式扩展管道，使得在第二模式中，复全息值作为用于至少一个全息管道中的空间光调制器SLM的像素值生成，从而同时或交替扩展到普通的图形显示，为了调制入射波场使得通过空间中的干涉重建三维场景，用全息值控制空间光调制器。

DE 10 2006 042 324号专利文件描述了一种实时生成视频全息图的方法。该方法利用这样的原理：单一物点的重建仅需要亚全息图作为在SLM上编码的整个全息图的子集。其特征在于，对于每个物点，亚全息图的贡献可以从查找表中寻回，并且为了重建整个场景，累积所述的亚全息图以形成整个全息图。

所描述的方法允许在第一步生成全息值。然而，必须包括对3D渲染图形管道的进一步考虑。在两个存储器部分中，即在帧缓冲器(frame buffer)和Z缓冲器中提供描述三维场景转换成三维场景的二维投射形式的像素化图像数据的3D渲染图形管道的结果：帧缓冲器包含色彩值或色彩信息，即观察者所看到的场景的色彩图(colour map)。Z缓冲器包含从观察者位置看到的正常化显示的场景的深度图或深度信息。这些数据作为全息管道的输入数据，依次排列，并且生成光调制器的像素值形式的复全息值。仅当3D渲染图形管道的结果完全有效时，即当将所有像素化图像数据写入帧缓冲器和Z缓冲器中时，才能执行全息变换。整个三维场景必须由3D渲染图形管道渲染并且像素化图像数据必须在全息变换成为可能之前完全生成。所述管道相继地、即一个接一个地执行，导致不利的长计算时间。长计算时间的结果是，视频序列例如不会具有所需要的刷新频率。

然而，在传统的视频技术中，当显示视频全息图时，高刷新率是所需要的并且是必不可少的。此外，由于大量所需的计算步骤，视频全息图的生成导致非常大的计算负荷，并且需要高性能和高价格的计算单元。

本发明的目的是克服公知技术领域的缺点并且提供一种避免3D渲染图形管道和全息管道一个接一个执行的方法。所需要的计算时间将大幅减少。因此，用于计算的成本和技术努力也将减少。此外，为了实现该方法并且因此使实时生成视频全息图成为可能，如今市面上销售的图形卡或3D管道的构架将通过附加的硬件和软件模块扩展。

该方法用来为扩展3D渲染图形管道实时生成视频全息图，描述了三维场景向三维场景的二维投射的形式的像素化图像数据的转换。

此后，全息管道用于生成以具有至少一个光调制器装置的全息显示装置的光调制器的像素值为形式的复全息值，在该光调制器装置上，被分成物点的场景编码成整个全息图并且场景可以作为重建从位于视频全息图的重建的一个周期性区间内的可见区看到，其中可见区连同将要重建的场景的每个物点一起确定亚全息图，并且整个全息图通过亚全息图的叠加而形成，3D渲染图形管道将由具有深度信息的图像数据表示的场景配构成物点(OP)，然后为物点确定并且至少提供色彩和深度信息。这样的具有光调制器装置的全息显示装置基于这样的原理：用场景的物点信息调制的波阵面在至少一个可见区中叠加。可见区的定义已经由上述内容给出。

这样的全息显示装置以及本发明基于这样的原理：场景的单个物点的重建仅需要作为在光调制器装置上编码的整个全息图的子集的亚全息图。

每个单一物点由一个亚全息图创造，其位置依赖于物点的位置，其大小依赖于观察者位置。下面将光调制器装置上的亚全息图区称为调制区。调制区是重建物点所需要的光调制器装置的子区域(sub-region)。同时，为了重建物点，调制区确定光调制器上的哪些像素必须寻址。如果物点是固定在空间中的物点，则调制区将保持在固定位置。这意味着将要重建的物点依赖于观察者位置而改变位置。依赖于观察者位置的调制区的改变允许物点在固定位置编码，即，其在空间中的位置不依赖于观察者位置而改变。就本发明而言，可以类似地利用这些原理。根据最简单的实施例，调制区的中心位于贯穿将要重建的物点和可见区的中心的直线上。在最简单的实施例中，基于交线定理确定调制区的大小，其中，可见区通过将要重建到光调制器装置的物点追溯。

同样，如果较好地利用了亚全息图，则表示光调制器的最小可控单元的像素不仅包含单一亚全息图的信息，而且，由于叠加的结果，还包含多个亚全息图的信息。

在两个存储器部分中，即在帧缓冲器(frame buffer)和Z缓冲器中提供描述三维场景转换成三维场景的二维投射形式的像素化图像数据的3D渲染图形管道的结果。

本发明基于这样的思想：对于从观察者位置可见以及3D渲染图形管道的像素化处理为其完成从而至少提供各自的色彩和深度信息的每个物点来说，立即确定用于该物点的亚全息图并将其增加到整个全息图。因此全息值立即在全息管道中用亚全息图或者整个全息图为3D渲染图形管道已经完全渲染的每个物点生成。按照本发明的思想，必须注意，场景将处在未被3D渲染图形管道完全处理的点上。物点随后的改变，尤其关于可见度、色彩和亮度的改变因此依然是可能的。物点可见度可以例如作为整个场景的渲染处理的后果而改变，从而到目前为止已经可见的物点现在被更靠近观察者的物点覆盖。

本发明进一步基于这样的原理：还用在渲染过程中性质已经改变的物点的贡献矫正整个全息图。

在体现本发明的总思想的一个实施例中，本方法包含在全息管道中对从观察者位置可见以及对深度和色彩信息最初已经提供或更新的每个物点

-(A)将对应于当前或可见物点的亚全息图以及对应的差分亚全息图(SD)(SD＝SHN-SHX)立即作为对应的当前物点亚全息图以及现在是废弃的或者不再可见的物点的亚全息图的差值进行计算，

-(B)将差分亚全息图加到整个全息图(H∑_SLM)中，

-(C)使当前物点到对应的亚全息图的信息链可以在至少一个亚全息图存储器中读取。可以将亚全息图物理地写入亚全息图存储器。还可以通过参考、索引和存储器部分等使该信息链可以读取。

根据需要补偿整个全息图。与之前的处理步骤类似，使当前物点到其亚全息图的信息链可以在亚全息图存储器中读取。

借助等式(SD＝SHN-SHX)可以找到当前物点和废弃物点的差分亚全息图作为对应的当前亚全息图和废弃的亚全息图的差值。根据更新的深度信息由以下确定物点的差分亚全息图：

a)(SD＝SHN-SHX)通过更靠近观察者的物点的亚全息图与现在被其它物点覆盖因此不再可见的物点的亚全息图的差值，或者，反之亦然

b)(SD＝SHN-SHX)通过更远离观察者的物点的亚全息图与到目前为止已经可见的物点的亚全息图的差值。

为了计算当前物点和废弃物点的差分亚全息图，废弃物点的亚全息图最好从亚全息图存储器中读取并且用来计算。当计算差分亚全息图时，假设亚全息图存储器中所有亚全息图在计算步骤之前用值“0”初始化。这确保具有SD＝SHN-SHX的差分亚全息图还适用于第一次提供深度信息的物点。在这种情况下，废弃物点的亚全息图SHX为“0”并且因此对差值计算无影响。

因此可以看出对于所有物点来说，无论是否是第一次确定或者更新它们的深度信息，运算法则都是相同的。对于物点相对于观察者等的位置的情况的区分是没有必要的。最好能在专用的计算单元中实施这些运算法则，从而确保高性能计算。

最后，处理步骤基于这样的原理：快速生成用于亚全息图的全息值。就此而言特别优选的方法将在实施例中指出。

现在将对亚全息图存储器进行详细说明。作为在3D渲染图形管道中处理的结果，三维场景以像素化的方式写入帧缓冲器和Z缓冲器中，其中m排和n列的像素化(pixelation)总体上对应于显示面板的分辨率。该像素化最好为亚全息图存储器所采用，从而使对应于帧缓冲器和Z缓冲器中的各个入口的格子中的元件入口还对应于亚全息图。通常可以利用任何其它的存储器构架；然而，关于物点的信息之后可能不得不写入亚全息图存储器。物点到其亚全息图的这样的信息链例如包含对数据、对各个存储器部分等的引用。此外，可以利用辅助的、描述性数据例如大小、位置、不同的引用帧中的索引表(index lists)或者索引部分(index sections)，其允许或有利于快速数据存取以及较佳的运算法则技术。

根据DE 10 2006 042 324号专利文件描述的原理，最好从查找表中寻回或读取物点的亚全息图，或者根据WO 2006 066919号专利文件描述的已引用的方法，分析地生成物点的亚全息图。最好还根据后者的方法的原理生成用于亚全息图的查找表，或者提前创建。通过在允许的观察者移动范围内提前对每个可能的物点生成亚全息图的各个入口创建查找表，从而使得这些入口可以用于读取。实施例中将说明另一种特别优选的方法。为了实施本方法，由实施上述处理步骤的全息管道扩展3D渲染图形管道。这里所描述的方法的过程总的来说并不表示全息计算所需要的计算单元(硬件)必须是物理上独立的并且在用于3D计算的计算单元之后成直线设置。也可以想象为，全息计算利用新一代可编程图形卡片在用于3D计算的计算单元(硬件)中执行。该解决方案最好在同样的图形系统或图形芯片上实现，在该图形系统或图形芯片上也运行3D渲染图形管道操作。然而，在附加芯片上实施形成可能的选择。处理单元都可以访问图形卡的同样的物理内存，从而——除了Z缓冲器、3D渲染图形管道的色彩图和其它数据以外——还有全息管道所需的其它数据也可以存储在那里。

由于应用了用于亚全息图的查找表，尤其满足了对实时生成全息值的要求。如果通过3D渲染图形管道计算物点所需的时间大于或等于全息变换和编码物点所需的计算时间，将证实全息值的生成。正如在传统的视频处理技术中，可以为计算机生成视频全息图的显示提供高刷新率，还可以借助便宜且简单的计算单元实时生成。

本发明允许3D渲染图形管道以可选择的、非按次序的顺序处理物点。类似地，对最终必须为各个物点提供的管道的结果的顺序没有限制。因此大量物点可以在平行处理中同时被渲染并且提供到全息管道。关注于对于物点——以及最终对于整个场景——是如何并且以哪种顺序被渲染的方法基于公知的方法和优化。

现借助优选实施例并结合附图详细说明本发明的物理形态，其中

图1a表示全息显示装置所基于的原理，

图1b表示用于呈现的点的差分亚全息图，

图1c表示用于消失的点的差分亚全息图，以及

图2表示根据本发明的方法的流程图，并且包括根据本发明的装置的原理图。

现借助附图详细说明从亚全息图中生成复全息值的特别优选的方法，其中

图B1表示全息显示装置所基于的原理，以及表示物点的调制区，

图B2a是具有包含透镜和棱镜的成像元件的显示装置的侧视图，

图B2b表示调制区和垂直有效的棱镜，

图B2c表示调制区和水平有效的棱镜，

图B3表示根据本发明的方法的流程图，以及

图B4表示在全息平面后面重建物点的可选择的方法。

图1a表示用于一个观察者的全息显示装置(HAE)所基于的一般原理。该原理因而适用于多个观察者。观察者的位置由其眼睛或其瞳孔(VP)的位置来表征。该装置包含光调制器装置(SLM)，为了简化起见，本实施例中该光调制器装置与屏幕装置(B)相同；并且该装置叠加在至少一个可见区(VR)内用场景(3D-S)的物点信息调制的波阵面。将可见区追踪到眼睛。场景(3D-S)的单一物点(OP)的重建仅需要一个作为在光调制器装置(SLM)上编码的整个全息图(H∑_SLM)的子集的亚全息图(SH)。调制区(MR)是光调制器(SLM)上的亚全息图区。从该图中可以看出，调制区(MR)仅包含光调制器装置(SLM)的小部分。在最简单的实施例中，基于交线定理确定调制区(MR)的大小，通过要被重建到光调制器装置(SLM)的物点(OP)追溯可见区(VR)。此外，重建该物点所需的光调制器装置(SLM)上的这些像素的索引因此可以确定。

图1b和图1c表示作为本方法以下说明的总基本原理的亚全息图的原理。基于根据本发明的方法，对于从观察者位置(VP)可见以及3D渲染图形管道的像素化处理为其完成从而至少提供各自的色彩和深度信息的每个物点来说，立即为该物点确定亚全息图，即，没有进一步的延迟，并将其增加到整个全息图(H∑_SLM)。然而，对应的亚全息图(SH)的即时处理意味着例如物点(OP)的可见度可以在场景的渲染处理过程中改变。物点例如可以被更靠近观察者的物点覆盖，或者由于许多图像影响中的一个影响再次变得不可见，例如阴影、反射(reflections)、模糊等。

参考图1b，为物点(OPX)创建3D渲染图形管道，新物点(OPN)更靠近观察者。一般而言，因此出现在当前已渲染场景中的新物点(OPN)与由3D渲染图形管道提供的之前的中间结果相比，然而，如图所示，所述新物点(OPN)根据观察者的可见度覆盖在中间结果中已经可见的物点(OPX)，结果最初可见的物点现在变得不可见。正如以下章节将要作的深入说明，有必要从形成物点亚全息图的叠加的整个全息图(H∑_SLM)中减去不可见物点(OPX)的废弃亚全息图(SHX)，并增加最新可见物点(OPN)的新亚全息图(SHN)。在这种情况下，将差分亚全息图(SD＝SHN-SHX)确定为废弃物点(OPX)的亚全息图(SHX)与新物点(OPN)的亚全息图(SHN)之差，并且因此可以对其进行计算。

参考图1c，与之前由3D渲染图形管道提供的中间结果相比，物点(OPX)在当前已渲染的场景中消失，结果，如图所示，到目前为止隐藏的物点(OPN)现在根据观察者的可见度变得可见。在这种情况下，将差分亚全息图(SD＝SHN-SHX)确定为消失物点(OPX)的亚全息图(SHX)与最新可见的物点(OPN)的亚全息图(SHN)之差，并且因此可以对其进行计算。与图1b所描述的内容类似，相应地增加整个全息图(H∑_SLM)。下面在不参考某一附图的情况下对不同色彩和/或强度的固定物点的第三种情况进行说明。这里的差分亚全息图描述对应的色彩或强度信息。然而，借助描述性数据，而不是亚全息图，通常足以具体说明这些改变。

图2表示生成整个全息图(H∑_SLM)的方法，并且表示为了由具有深度信息的图像数据为全息显示装置(HAE)的光调制器(SLM)生成复全息值，如何通过全息管道(HGP)扩展3D渲染图形管道(RGP)。因此同时概述实现该方法的装置。例如，在3D渲染图形管道(RGP)中完成屏幕坐标到装置坐标的转换、材质贴图、裁切和图形保真。在两种存储器部分中提供描述三维场景(3D-S)转换成场景的二维投射形式的像素化图像数据的3D渲染图形管道(RGP)的结果：

-帧缓冲器(FB)包含色彩值，即，由观察者看到的场景的色彩图。

-Z缓冲器(ZB)包含从观察者位置看到的正常化显示的场景的深度图。

为了便于理解，单独地示出图形管道的这些存储器部分并且在图2中示例性表示。这些存储器部分的数据作为全息管道(HGP)的输入信息，依次排列，并且为整个三维场景生成复全息值。

根据本发明，不用等到使整个场景的全部Z图和色彩图可用，但至少使由3D管道处理的物点的深度和色彩信息可用时就立即执行物点的全息计算。

基于根据本发明的方法，对于从观察者位置(VP)可见以及3D渲染图形管道的像素化(pixelation)处理为其完成从而至少提供各自的色彩和深度信息的每个物点来说，立即确定该物点(OPN)的亚全息图(SHN)，即，没有进一步的延迟，并将其加到整个全息图(H∑_SLM)。3D渲染图形管道(RGP)的“像素化(pixelation)”进程组和用于全息管道(HGP)的全息值的生成的进程组同时执行。

在本实施例中，如图1所示，用于使光波传播进入可见区(VR)的亚全息图(SH)从查找表(LUT)中寻回。下面将详细说明生成亚全息图的另一个特别优选的方法。对于已经由3D渲染图形管道完全渲染并且为其第一次提供或者当前更新深度信息和色彩信息的每个物点(OP)来说，立即计算该当前物点(OPN)的亚全息图(SHN)和对应的差分亚全息图(SD)。正如结合图1b和图1c已经说明的那样，具有(SD＝SHN-SHX)的差分亚全息图(SD)确定为当前物点(OPN)对应的亚全息图(SHN)与已经废弃的物点(OPX)的亚全息图(SHX)的差值。计算差值所需要的废弃物点(OPX)的亚全息图(SHX)从亚全息图存储器(SH-MEM)中读取。物点的各个亚全息图是可叠加的并且可以复合加和以形成整个全息图。

整个全息图＝亚全息图的复合总和，并且

H∑_SLM＝∑SH_i

同样地，差分亚全息图是可叠加的。

最后，将当前物点(OPN)的经计算的亚全息图(SHN)写入亚全息图存储器(SH-MEM)中并且使其可以用于读取。如果由于由3D渲染图形管道输出的已更新数据该物点(OPN)又变成废弃的，或者如果需要整个全息图(H∑_SLM)被矫正的其它性质改变，将再次提供亚全息图存储器(SH-MEM)中对应的亚全息图(SH)。

已经以物点的可见度为例子描述了整个全息图(H∑_SLM)的矫正。本方法还类似地涉及物点的其它性质，即，色彩、亮度、发光强度。此外，为了改善全息显示的总体质量，可以对整个全息图(H∑_SLM)进行矫正。

在另一实施例中，还可以在已经为所有或者几乎所有物点计算对应的亚全息图并且已经存储对应的信息链之后，增加整个全息图(H∑_SLM)。然而，由于随后整个全息图的生成，超出了理论所需要的计算时间。

由于对亚全息图利用了查找表，所以尤其满足实时生成全息值的要求。如果由3D渲染图形管道渲染物点所需的时间大于或等于根据本发明的全息变换和编码物点所需要的计算时间，将证实全息值的生成。

参考图2，为了确保对基本原理的较好理解，3D渲染图形管道(RGP)和全息管道(HGP)分开表示；然而，这并不一定意味着计算装置是空间分隔的。本方法最好在也运行3D渲染图形管道操作的同一处理器或图形芯片上实施。就硬件和软件而言，最好扩展3D渲染图形管道。然而，附加的芯片上的全息管道的实施方式形成较佳的可能选择。处理单元，即3D渲染图形管道和全息管道，可以访问图形卡的相同物理内存，从而——除了Z缓冲器、3D管道的色彩图和其它数据以外——还有其它数据也可以存储在那里或者在那里交换。例如，最好将用于亚全息图的查找表存储在这些存储器部分中。

在本发明的较佳实施例中，全息显示装置将它的配置数据(configuration data)提供到实施本方法的装置。这些数据例如具体说明光调制器的大小、它的分辨率、像素以及，如有必要的话，还有有关编码方法的描述性数据，例如，布克哈特(Burckhardt)编码、两相编码或其它适合的编码方法。因此可以设置全息值的生成并且使之适应于给定的或检测到的全息显示装置。因此实施本方法的装置不仅限于特定的全息显示装置，而且可以普遍地用于较好应用亚全息图的基本原理的装置。

以下借助图B1到B4说明生成亚全息图的特定较佳方法。该方法基于具有色彩和深度信息的三维场景(3D-S)，其由多个物点组成。同样，如果较好地利用亚全息图，表示光调制器的最小可控单元的像素不仅包含单一亚全息图的信息，而且，由于叠加的结果，还包含多个亚全息图的信息。

较佳的方法基于这样的思想：亚全息图的复全息值在光调制器装置的调制区中从将要重建的物点的波阵面中计算，其中对成像元件的透射函数或调制函数进行计算和分析，其在调制区中模型化并且将要重建的物点位于其焦点上。全息平面由屏幕装置的位置确定，为了简化，以下描述中屏幕装置将是光调制器本身。

根据本方法的较佳实施例，成像元件包括处在全息平面内具有焦距f并且倾斜放置的透镜。倾斜透镜由相对于全息平面来说没有倾斜的透镜以及在水平方向和垂直方向都有效的棱镜组成。严格来说，棱镜不确定亚全息图，因为由于无焦点棱镜功能，没有物点被重建。然而，为了保持本发明思想的清晰，将这样描述，因为棱镜还将其部分贡献给调制区内的复全息值。以下以透镜和棱镜的例子详细说明本方法。当然，本方法还可以独立地应用于透镜或棱镜；在这种情况下，处理步骤或对应的术语不再实施或者可以忽略。为了计算亚全息图的复值，对于场景的每个可见物点来说，本方法的详细设计包含以下步骤：

A：如上所述确定调制区的大小和位置，但是，然后对该调制区给定局部坐标系，其中原点处在其中心位置，x轴表示横坐标，y轴表示纵坐标。“a”是调制区的半宽，“b”是调制区的半高，这些区间边界包括在以下术语中。

B：确定全息平面内透镜的亚全息图：

B1：确定透镜的焦距f：

透镜的焦距f最好是将要重建的物点距全息平面的垂线距离(normal distance)。

B2：透镜对应的亚全息图的复值：

利用等式

Z_L＝exp{+/-i*[(π/λf)*(x²+y²)]}

确定对应的亚全息图的复值，其中λ是参比波长，f是焦距，(x，y)是对应的坐标对。这里的负号是由于凹透镜的特征。凸透镜由正号标识。

B3：由于x轴和y轴的对称性，足以在一个象限内确定复值并且通过利用符号规则将该复值应用到其它象限。

C：确定全息平面内棱镜(P)的亚全息图：

所选择的棱镜贯穿横坐标或纵坐标，如附图所示。

C1：确定具有水平有效方向的棱镜(PH)的线性因子C_x，线性因子C_x在区间x∈[-a，a]内由以下等式描述

C_x＝M*(2π/λ)

其中M是棱镜的倾角。

C2：确定具有垂直有效方向的棱镜(PV)的线性因子C_y，线性因子C_y在区间y∈[-b，b]内由以下等式描述

C_y＝N*(2π/λ)

其中N是棱镜的倾角。

C3：确定组合棱镜的对应的亚全息图的复值：

对应的亚全息图的复值由叠加两个棱镜项确定：

Z_P＝exp{i*[C_x*(x-a)+C_y*(y-b)]}

叠加的棱镜贯穿局部坐标系的原点。

C4：如果全息显示装置显示出将光源进入可见区成像的特征，棱镜项可以去掉。

D：调制透镜和棱镜的亚全息图：

为了确定组合的全息图，将透镜和棱镜的复值复合相乘：

Z_SH＝Z_L*Z_P

或者，象征性地，

SH＝SH_L*SH_P

E：随机相位的应用：

为了确保可见区内均匀的亮度分布，向从步骤D得到的每个经调制的亚全息图分配随机相位。通过复乘将随机相位增加到亚全息图：

Z_SH：＝Z_SH exp(iΦ₀)

或者，象征性地，

SH：＝SH exp(iΦ₀)

将随机相位单独地分配到每个亚全息图。概括地，所有亚全息图的随机相位最好是均匀分布的。

F：强度调制：

向复值给出附加倍增因子，其表示强度或亮度：

Z_SH＝C*Z_SH

或者，象征性地，

SH：＝C*SH；

G：如果计算整个全息图，将对亚全息图进行叠加以形成整个全息图。在简单的实施例中，考虑到亚全息图的位置，将亚全息图复合地增加到整个全息图中。

整个全息图＝所有的亚全息图的复合总和，并且

H∑_SLM＝∑SHi

或者，象征性地，

Z_SLM＝∑Z_SHi(就整个坐标系而言)。

本方法最好仅用于可见物点。物点的可见度作为3D渲染图形管道对场景渲染处理的结果确定，并且其依赖于观察者的位置，即眼睛瞳孔的位置，因此，来自追踪到瞳孔位置的可见区的位置。

详细的说明涉及最可能的解决方案的计算。如果降低的重建品质可以接受或者甚至是所需要的，当然可以用更加简单的函数项代替上述函数项。然而，可以看出：为了改善重建品质，应用了更新的处理步骤。例如可以选择透镜或者棱镜以矫正光调制器装置等的像差、公差。同样还可以应用于示例性提到的用于确定调制区的方法。

从基于图1的图B1可以看出，对调制区(MR)给出一坐标系统，坐标系统的原点在其中心，x轴表示横坐标，y轴表示纵坐标。调制区(MR)具有半宽“a”和半高“b”。

图B2a是全息显示装置(HAE)的侧视图，表示本方法的一般原理。与图B1类似，调制区(MR)来源于可见区(VR)。该区处在全息平面(HE)内，全息平面内设置有光调制器(SLM)。向调制区给出上述的坐标系。在这里由聚焦透镜(L)和棱镜(P)组成的成像元件(OS)位于调制区(MR)内。该图仅表示垂直有效的棱镜楔(prism wedge)，并且所示的成像元件(OS)在全息平面(HE)的前方以使物体更加清楚。

图B2b表示在调制区(MR)前方的垂直有效的棱镜楔(PH)，连同所用的坐标和尺寸。因此这里的棱镜楔贯穿纵坐标。

图B2c类似地表示垂直有效的棱镜楔(PV)，其贯穿横轴。两个棱镜楔如下所述叠加。

图B3表示较佳方法的流程图。该方法的起点是由多个物点(OP)组成的三维场景(3D-S)。色彩和深度信息对物点(OP)来说是可以利用的。基于物点的深度信息、根据观察者的位置，即观察者眼睛瞳孔的位置确定物点的可见度。

步骤(A)中，为每个可见物点确定全息平面(HE)内或者光调制器装置上各个调制区(MR)的大小和位置。根据本发明的思想，将要重建的物点(OP)理解为位于全息平面内的成像元件的焦点。这里的成像元件理解为聚焦透镜(L)以及如图2b和2c所示的垂直或水平有效的棱镜(PH，PV)的组合。步骤(B1)中，为每个可见物点确定的透镜(L)的焦距因此作为物点(OP)作为距全息平面(HE)的垂线距离。步骤(B2)中，利用以下等式确定对应的亚全息图(SHL)的复值：

Z_L＝exp{-i*[(π/λf)*(x²+y²)]}

其中λ是参比波长，f是焦距，(x，y)是对应的局部坐标对。对坐标系的定义如前所述。

步骤(C)中，确定全息平面内棱镜(P)的亚全息图(SH_P)。利用等式C_x＝M*(2π/λ)确定具有水平有效方向的棱镜(PH)的线性因子C_x，其中M是棱镜的倾角。以类似的等式求得垂直有效棱镜的线性因子C_y，但是倾角为N。通过叠加两个棱镜项确定对应的亚全息图(SH_P)的复值：

SH_P：＝Z_P＝exp{i*[C_x*(x-a)+C_y*(y-b)]}

如果全息显示装置显示出将光源进入可见区(VR)成像的特征，一个棱镜项可以去掉。

既然透镜(L)的亚全息图(SH_L)和棱镜(P)的亚全息图(SH_P)是可以得到的，它们在步骤(D)中叠加，以通过透镜的复值和棱镜的复值的复合相乘而形成组合的亚全息图(SH)：

Z_SH＝Z_L*Z_P

或者，象征性地，SH＝SH_L*SH_P。

步骤(E)中，对亚全息图(SH)给出均匀分布的随机相位。步骤(F)中，执行强度调制，亚全息图(SH)与强度因子相乘：

Z_SH＝C*Z_SH

或者，象征性地，TH：＝C*TH。

正如所需，物点(OP)的已组合的亚全息图(SH)现在完全可以得到。附加的处理步骤(G)中，可以增加物点的亚全息图以形成整个全息图(H∑_SLM)。物点的单个亚全息图(SH_i)是可叠加的并且复合地增加，以形成整个全息图(H∑_SLM)。

整个全息图＝物点的所有亚全息图的复合总和

H∑_SLM＝∑SH_i

或者Z_SLM＝∑Z_SHi(就整个坐标系而言)。

整个全息图(H∑_SLM)表示所有物点的全息图。因此其表示并且重建了整个场景(3D-S)。

借助于本方法，可以利用目前商业化的标准硬件组件对在重建体积中任意位置的物点生成用于交互式实时全息重建的亚全息图。较佳的方法最好用于确定亚全息图并且用这些亚全息图填充查找表。与根据本发明的方法和装置类似，较佳的方法适用于还较好利用亚全息图的原理的优点的全息显示装置。其具体地包括，正如前述那样，在WO 2004/044659、WO2006/027228、WO 2006119760和DE 10 2006 004 300中说明的装置。

附图标记说明

HAE               全息显示装置

RGP               3D渲染图形管道

FB                3D渲染图形管道的帧缓冲器

ZB                3D渲染图形管道的Z缓冲器

HGP               全息管道

3D-S              场景，由物点(OP)构建

SLM               HAE的光调制器装置

B                 HAE的屏幕装置

VR                可见区

OP                物点，一般的

OP_n，OP_n+1，...   物点，尤其具有标记索引的

OPN               新近可见的物点

OPX               废弃的物点

SHN               新物点的亚全息图

SHX               废弃物点的亚全息图

SH                亚全息图，一般的

SHi               亚全息图，一般的，有索引的

MR                调制区

SH_n，SH_n+1，...   亚全息图，具有标记索引

SD                差分亚全息图

SH-IND            亚全息图(SH)的附加信息

H∑_SLM            整个全息图

LUT               查找表

SH-MEM    亚全息图存储器

OS        成像元件

L         透镜

P         棱镜

PH        具有水平有效方向的棱镜

PV        具有垂直有效方向的棱镜

Claims (25)

1.为具有至少一个光调制器装置(SLM)的全息显示装置(HAE)实时生成视频全息图的方法，场景(3D-S)在所述光调制器装置(SLM)上编码成总全息图(H∑_SLM)，其中场景被分为物点(OP)并且可以作为重建从位于视频全息图的重建的一个周期性区间内的可见区(VR)看到，可见区(VR)连同将要重建的场景(3D-S)的每个物点(OP)一起确定亚全息图(SH)，并且整个全息图(H∑_SLM)通过亚全息图(SH)的叠加而形成，3D渲染图形管道(RGP)将由具有深度信息的图像数据表示的场景(3D-S)配构成物点(OP)，然后为物点(OP)确定并且至少提供色彩和深度信息，全息管道(HGP)为每个物点(OPN)计算复全息值，该物点(OPN)从实际的观察者位置(VP)可见并且为其第一次提供或者当前更新深度信息和色彩信息，其中

-(A)立即计算亚全息图(SHN)和对应于可见物点(OPN)的对应的差分亚全息图(SD)，将具有(SD＝SHN-SHX)的差分亚全息图(SD)定义为可见物点(OPN)的对应的亚全息图(SHN)和现在是废弃的，即，不再可见的物点(OPX)的亚全息图(SHX)的差值，

-(B)将差分亚全息图(SD)加到整个全息图(H∑_SLM)，以及

-(C)物点(OPN)以及对应的亚全息图(SHN)的信息链在至少一个亚全息图存储器(SH-MEM)中可以寻回。

2.根据权利要求1所述的方法，其特征在于，根据以下已更新的深度信息确定物点(OPN，OPX)的差分亚全息图(SD)

a)通过更靠近观察者位置的物点(OPN)的亚全息图(SHN)与现在被前者覆盖因此不再可见的物点(OPX)的亚全息图(SHX)的差值(SD＝SHN-SHX)，或者，反之亦然，

b)通过更远离观察者位置的物点(OPN)的亚全息图(SHN)与到目前为止已经可见的物点(OPX)的亚全息图(SHX)的差值(SD＝SHN-SHX)。

3.根据权利要求2所述的方法，其特征在于，为了计算可见物点(OPN)和废弃物点(OPX)的差分亚全息图(SD)(SD＝SHN-SHX)，废弃物点(OPX)的亚全息图从亚全息图存储器(SH-MEM)中寻回并且用来计算。

4.根据权利要求1所述的方法，其特征在于，物点(OP)和它的亚全息图(SH)的信息链通过相应参考亚全息图的至少一个查找表(LUT)中的入口或者通过参考亚全息图存储器(SH-MEM)是可寻回的。

5.根据权利要求1所述的方法，其特征在于，对于每个物点(OP)，对应的亚全息图(SH)的贡献从查找表(LUT)中寻回。

6.根据权利要求1所述的方法，其特征在于，确定物点的亚全息图的全息值，或者为已确定的体积中的每个可能的物点提前生成一个或多个查找表中的亚全息图的对应入口，其中在计算机的辅助下执行以下步骤：

-从每个断层场景剖面的每个目标数据集中，为观察者平面计算分离的二维波场分布形式的衍射图像，该观察者平面位于距剖面有限距离并平行于剖面，其中为至少一个共用可见区计算所有剖面的波场，

-将所有剖面层的计算的分布相加，以确定相对于观察者平面参考的数据集中的可见区的总波场，以及

-将为了为场景的共用计算机生成的全息图生成全息数据集的参考数据集变换到位于距参考平面有限距离并平行于参考平面的全息平面内，其中光调制器装置位于全息平面内。

7.根据权利要求1所述的方法，其特征在于，确定物点的亚全息图的全息值，或者为已确定的空间中的每个可能的物点提前生成一个或多个查找表中的亚全息图的对应入口，其中亚全息图(SH)的复全息值在光调制器装置的调制区(MR)中从将要重建的物点(OP)的波阵面中确定，其中对成像元件(OS)的透射函数或调制函数进行计算和分析，该成像元件(OS)在调制区(MR)中模型化并且将要重建的物点(OP)位于其焦点上。

8.根据权利要求7所述的方法，其特征在于，成像元件(OS)包含至少一个透镜(L)。

9.根据权利要求8所述的方法，其特征在于，成像元件(OS)还包含至少一个棱镜(P)。

10.根据权利要求7所述的方法，其特征在于，确定调制区(MR)的位置，其中调制区(MR)的中心位于通过将要重建的物点(OP)和可见区(VR)的中心的直线上。

11.根据权利要求7所述的方法，其特征在于，调制区(MR)的大小由追溯通过物点(OP)到全息平面(HE)的可见区(VR)确定。

12.根据权利要求7所述的方法，其特征在于，给予物点的每个已调制亚全息图(SH)一个随机相位，并且所有亚全息图的随机相位是平均分布的。

13.根据权利要求7所述的方法，其特征在于，考虑到亚全息图(SH)的位置，它们成为整个全息图(H∑_SLM)的叠加计算为具有H∑_SLM＝∑SHi的亚全息图(SH)的复合总和。

14.根据权利要求1到13中的一项或多项权利要求所述的方法，其特征在于，将复全息值转换为光调制器装置(SLM)的像素值。

15.根据权利要求14所述的方法，其特征在于，将复全息值转换成伯克哈特分量或两相分量或其它任意编码。

16.实施根据权利要求1到13中的一项或多项权利要求所述方法生成视频全息图的计算装置，为了扩展3D渲染图形管道(RGP)，该3D渲染图形管道将由具有深度信息的图像数据表示的场景(3D-S)配构成物点(OP)，然后为这些物点(OP)计算并且至少提供色彩和深度信息，为在全息显示装置(HAE)的光调制器装置(SLM)上显示场景(3D-S)生成复全息值的全息管道(HGP)，至少包含

-读取物点(OP)的已确定的色彩值和已确定的深度值的装置，

-提供关于物点(OP)的色彩信息和深度信息的亚全息图(SH)的装置，

-计算并存储整个全息图(H∑_SLM)的装置，

-计算物点(OP)的差分亚全息图(SD)的装置，

-用作亚全息图存储器(SH-MEM)的存储装置，其中物点(OP)和对应的亚全息图(SH)的信息链可存储并且可寻回。

17.根据权利要求16所述的计算装置，其特征在于，至少包含从帧缓冲器(FB)中读取物点(OP)的已确定色彩值并且从3D渲染图形管道(RGP)的Z缓冲器(ZB)中读取已确定的深度值的装置。

18.根据权利要求16所述的计算装置，其特征在于，至少包含存储装置，其中根据权利要求5对应的亚全息图(SH)的贡献可以从至少一个查找表(LUT)中为每个物点(OP)寻回。

19.根据权利要求16所述的计算装置，其特征在于，至少包含根据权利要求7到11中的一项权利要求为每个物点(OP)分析地确定复全息值的专用计算装置。

20.根据权利要求12到16中一个或多个权利要求所述的计算装置，其特征在于，包含用于检测全息显示装置(HAE)的配置数据的装置。

21.根据权利要求20所述的计算装置，其特征在于，包含检测全息显示装置(HAE)的配置数据的装置，至少包含光调制器装置(SLM)的大小和分辨率以及编码类型的装置。

22.根据权利要求18到21中的一项或多项权利要求所述的计算装置，其特征在于，将复全息值转换为光调制器装置(SLM)的像素值。

23.根据权利要求22所述的计算装置，其特征在于，将复全息值转换为布克哈特分量或两相分量或任何其它任意合适的编码。

24.具有屏幕装置(B)的全息显示装置，所述装置实现根据权利要求1到10中一个或多个权利要求所述的方法，其特征在于，屏幕装置(B)是在其上编码场景(3D-S)的全息图的光调制器(SLM)本身，或者是在光调制器上编码的场景的全息图或波阵面到其上成像的光学元件。

25.根据权利要求24所述的全息显示装置，其特征在于，光学元件是透镜或者反射镜。

Images