CN103718116B - 三维显示计算系统 - Google Patents

Abstract

用于视频全息显示的系统和方法接收关于一个2D全息元阵列的信息，该全息元阵列包括多个全息元孔径，该信息限定这些全息元孔径的数量、尺寸、和/或间隔。接收关于一个3D场景的信息，该信息包括将这个3D场景映射到一个3D显示体积上的一个比例因数。由于逐全息元辐射图的逐渐变化，可以从这些全息元的一个稀疏子集对颜色辐射强度图进行插值，从而生成整个全息元数列的一个完整的颜色辐射强度图集合，而不必计算所有的图。于是即可使用该完整的颜色辐射强度图集合来全息显示这个3D场景。

Description

三维显示计算系统

优先权信息

本申请要求2011年8月19日提交的美国临时专利申请61/525,579，题为“三维显示计算系统（Three Dimensional Display Compute System）”的优先权，发明人是MichaelB.Doerr，Jan D.Garmany，Michael B.Solka，和Martin A.Hunt，该申请通过引用以其全文结合于此，就如同在此做了充分和完整的阐述一样。

发明领域

本发明总体上涉及三维（3D）图像显示，并更具体地涉及动态3D场景的视频全息显示。

相关技术说明

在视频全息系统中，已渲染的图形物体的视图呈现的方式为使得：观察者通过一个完全三维（3D）的物体的全视差视角感知到该物体，例如当该观察者移动其头部时，呈现到他眼中的图像随之变化，即使该已渲染的物体并没有发生变化。实现此目的一种方法是通过一个全息元素网格或者阵列，简称为“全息元”，这些全息元作为已渲染物体的与视角相关的针孔视图。从屏幕中投射出来的全部光称为4D波场，也称为光场。这个“4D”方面是由该2D全息元阵列、以及来自每个全息元的光的2D角色散或相关性产生的结果。每个全息元以一个立体角——也称为视角——发射光，而从全息元发射出来的辐射被描述为通过立体角均匀分布的离散光束。每个组成光束所对着的小立体角被称为“光束角（anglet）”，并可通过将整个立体角与这个辐射图中的光束角的数量相除计算而得。在一种非正式的使用中，光束角也可以被用于指光束方向。

为从每一个全息元得到规范整个4D波场所必需的辐射图，从已渲染的场景获得辐射图或者从场景中的这些单独切面的贡献值直接计算波场是必要的。在一种4D渲染的蛮力方法中，透视图的2D渲染是每一个全息元所需要的，其界定了渲染的POV。

表1：采用蛮力方法以30帧每秒进行全息元渲染——硬件架构按显示尺寸进行比较

根据表1中的观察，使用蛮力计算法来实现此系统是不现实的。为得到一种可实现的解决方案，要求Nvidia大约20,000倍的性能改善，要求AMD10,000倍的性能改善，而要求Coherent Logix则是1,400倍的性能改善。

我们需要能够改进三维图形显示的方法和机制。

发明概述

提出了一种用于动态3D场景的视频全息显示的系统和方法的多个实施例。

可以接收关于一个二维（2D）全息元阵列（例如：一个全息元阵列）的信息，其中该全息元阵列包括多个全息元孔径。关于2D全息元阵列的信息可限定这些全息元孔径的数量、尺寸、和/或间隔。也可以接收关于一个有待渲染的3D场景的信息，该信息包括将这个3D场景映射到一个3D显示体积上的一个比例因数。针对2D全息元阵列中的全息元的一个稀疏子集中的每一个全息元，从该稀疏子集中的全息元的视点（POV）对这个3D场景进行2D透视渲染，且基于这个2D透视渲染可以生成一个辐射强度图。针对关于这个稀疏子集的这些全息元一个补子集中的每一个全息元，可以生成该稀疏子集的三个或更多全息元在该全息元的一个邻域中的颜色辐射强度图，从而生成补子集中的全息元的一个插值颜色辐射强度图。

基于全息元稀疏子集的颜色辐射强度图与全息元补子集的插值颜色辐射强度图，可以生成这个2D全息元阵列的一个完整的颜色辐射强度图集合。可以存储这个2D全息元阵列的该完整的颜色辐射强度图集合。这个2D全息元阵列的该完整的颜色辐射强度图集合可用于渲染3D场景的一个全息视图。此外，上述方法元素可以通过迭代的方式重复一次或多次来动态地渲染一系列此类场景（例如，呈现一个全息视频，如实时的）。

在一些实施例中，这个2D全息元阵列可以定义在一个表面上（例如，一个可能比较复杂的曲面），而关于这个2D全息元阵列的信息可以进一步限定该表面。因此本方法在实施在此所披露的多项技术时，可以考虑该2D全息元阵列的形状。

对于本领域的普通技术人员来说，通过阅读在此提出的多种方法的以下详细说明可以清楚地了解这些和其他的特征与优点。

附图简要说明

当下面详细说明连同下列附图一起考虑的时候，可以获得对本发明更好的理解，其中：

图1展示了一个计算机系统，该计算机系统被配置成用于实现本发明的实施例；

图2展示了逐全息元的辐射图的角变量的速度与到3D场景中物体上一点的深度的相关性；以及

图3为一种用于动态3D场景的视频全息渲染的方法的流程图。

虽然本发明具有各种修改和替代性的形式，但在附图中通过示例示出了本发明的特定实施例，并在此进行了详细描述。然而，应理解到这些附图和详细描述并不旨在将本发明限制在所描述的具体实施例上，而相反，本发明旨在覆盖落入如所附权利要求书定义的本发明的精神与范围之内的所有改进、等效物、以及替代方案。

发明详述

通过援引并入：

下列参考文献通过引用以其全部内容在此结合，就如同在此做了充分和完整的阐述一样：

美国临时专利申请61/525,579，题为“三维显示计算系统”，2011年8月19日提交。

图1A-计算机系统

图1展示了一个计算机系统82，该系统被配置成用于实现多个实施例。如图1中所示，计算机系统82可包括一个显示装置和至少一个存储介质，根据本发明的一个实施例，该存储介质可以存储一个或多个计算机程序或者软件组件。例如：存储介质可以存储一个或多个程序，这个或这些程序可运行用来实现在此描述的这些方法。存储介质也可以存储操作系统软件，以及计算机系统运行所需的其他软件。不同的实施例进一步包括：在一个载体介质上接收或存储根据上述说明实现的指令和/或数据。

降低渲染视频全息动态3D场景的计算要求

以下描述了用于动态3D场景的视频全息渲染的系统和方法的不同实施例。如上所述，利用现有技术，随着全息元阵列规模变大，合成视频全息的数据量和计算要求将迅速变的令人担忧；由于原理上，通常必须从每一个全息元的视点进行3D渲染，且每一次渲染必须生成每一个全息元的颜色辐射强度图，并存储以传输到全息显示器。然而，由于邻近全息元之间全息辐射图的一般变化缓慢，我们可以大幅度减少计算量。

对于来自邻近全息元的相对应的光束来说，强度的变化是逐渐的。这种关系在此称为“光束角相关性”。要看一个256x256光束角阵列的预期光束角相关性的程度，我们可以从估计光束角之间的角间距开始。一个半角圆锥θ对着的立体角由下面的公式给出：

给定一个90度的全视点，则立体角为：

将立体角分布在2¹⁶光束角(256²)，并使用半角θ₀的多个小圆锥的近似值ΔΩ～πθ₀ ²，可得到θ₀–3毫弧度，或11分弧。那么辐射图的采样的中心到中心间距是20分弧，这个值比已渲染的物体上的典型点的全息元间隔所对着的角要大。由于邻近的（或附近的）全息元之间光束角的重叠，我们可以欠采样视点位置（例如，在这个具体的示例性实例中，全息元在每个方向上以15或更大值为因数采样，将使得以225为因数采样的3D渲染计算负担按比例降低）。一般而言，对于通过全息元位置的一个步幅α，渲染的计算可以减少因数1/α²。因此，可以对介入全息元的波场进行插值，这需要远少于对每一个全息元视点进行渲染需要的计算工作量。

逐全息元的高度相关行为（即，角变量渐变），使得我们能够更 容易地在这些全息元上使用大的步幅，以将计算要求降低到实用水平。全息元辐射图的采样相关性可插值到被略过的全息元。在一些实施例中，这种插值实际上可能比对非常稀疏的初始采样进行渲染需要更多的计算量。

因此，在实践中，我们可以利用逐全息元辐射图之间的高度相关性来将所需资源降低到可实现的水平。

图2：辐射图的角变量速度在物深上的相关性

图2展示了逐全息元辐射图角变量速度与到3D场景中物体上一点的深度的相关性。在此示例性实施例中，一个3D场景中的两个物点，具体为物点1和物点2，在不同的深度（到这个全息元阵列（平面）的距离）上，如图h1和h2分别所示。可以看出，一个物点到全息元阵列（平面）的邻近决定了穿过邻近全息元的发射光的角变量，称为逐全息元辐射图角变量速度，因此，对于距离此全息元阵列平面h1的物点1，邻近全息元之间的发射光角度的差别用角a代表，而距离此全息元阵列平面h2的物点2的发射光角度的差别用角b代表，这里角a小于角b。

因此，对于距离此全息元平面非常近的物体部分，以上辐射图的相关度不再成立。全息元平面的采样可以更加精细，甚至高达全分辨率。然而，对于这样的全息元，有限视场的视景体可将除最近的顶点之外的其他部分剪除，如此可大大降低3D渲染问题。预期此复杂性的降低—在此称为基于相关性的插值—因数（大约）从1至225变化，可以在某种程度上使视频合成全息显示的发展切实可行。从这组已渲染的场景（其数目远少于全息元的总数），我们可以得到在椭圆或四边形区域上合适的场景强度平均值。区域的形状可通过所选择的角采样的几何结构来决定。例如，全息元的一个圆锥光束角视角可以与场景的平面相交于一个椭圆中。由平均量形成的强度可以与由光束角视野的轴线和视平面的法线形成的夹角的余弦相乘。作为替代方案，可以就从每个切面到每个二次取样的全息元的贡献值来直接进行角辐射采样，其中对不规则采样取平均值以得到所期望的分辨率。

图3：一种用于动态3D场景的视频全息渲染的方法的流程图

图3为一种用于动态3D场景的视频全息渲染的方法的流程图。图3所示的方法可在其他装置中与以上附图所示的计算机系统或装置中的任何一个联合起来使用。在不同的实施例中，所示的一些方法元素可以被同时执行、可以用一种与所示不同的顺序执行、或者可以被忽略。附加的方法元素也可以如所期望的执行。正如所示，此方法可操作如下。

在302中，可接收关于一个二维（2D）全息元阵列（例如，多个全息元的一个阵列）的信息，该全息元阵列包括多个全息元孔径。关于该2D全息元阵列的信息可限定这些全息元孔径的数量、尺寸、和/或间隔。

在304中，也可接收关于一个有待渲染的3D场景的信息，该信息包括将该3D场景映射到一个3D显示体积的一个比例因数。换言之，此3D场景的尺寸可被映射为3D显示体积的尺寸。

如在306中所指出，每一个320，对于2D全息元阵列中的全息元的一个稀疏子集中的每一个全息元，从该稀疏子集的全息元的视点（POV）出发产生3D场景的一个2D透视渲染；而每一个330，在2D透视渲染的基础上可以生成一个颜色辐射强度图。

在308中，针对关于这个稀疏子集的这些全息元的一个补子集中的每一个全息元，可以生成该稀疏子集的三个或更多全息元在该全息元的一个邻域中的颜色辐射强度图，从而生成补子集中的全息元的一个插值颜色辐射强度图。

在310中，基于这些全息元稀疏子集的颜色辐射强度图与这些全息元补子集的插值颜色辐射强度图，可生成这个2D全息元阵列的一个完整的颜色辐射强度图集合。

在312中，可存储这个2D全息元阵列的该完整的颜色辐射强度图集合，例如存储在一个存储介质中。这个2D全息元阵列的该完整的颜色辐射强度图集合可用于渲染3D场景的一个全息视图。此外，上述方法元素可以通过迭代的方式重复一次或多次来动态渲染一系列此类场景（例如，呈现一个全息视频，如实时的）。

在一些实施例中，这个2D全息元阵列可以定义在一个表面上（例如，一个可能比较复杂的曲面），而关于这个2D全息元阵列的信息可以进一步限定该表面。因此本方法在实施在此所披露的多项技术时，可以考虑该2D全息元阵列的形状。

表2：以30帧每秒从相关性方法到全息元渲染的插值——通过里程碑进行硬件架构比较

表2展示了用来实现从相关性渲染方法进行插值的计算量（每秒运行次数），以及基于当前最先进处理器的硬件。这些结果是基于在所有全息元上的一个大约200x因数的计算减少。然而，在实践中，可以预期这个因数将随场景以及如上所讨论的从屏幕分辨出来的距离的变化而变化。可以看出，在此说明的这些技术的实施例可很大程度上减少动态3D场景的（合成）全息渲染所要求的计算负荷。

尽管已经相当详细的描述了以上实施例，一旦充分地理解以上披露，对本领域普通技术人员来说各种变动和修改都将变得显而易见。还应当强调的是：以上所描述的实施例仅仅是这些实现的非限制性实例。下列权利要求旨在涵盖所有这样的变动和修改。

Claims (4)

1.一种用于视频全息显示的方法，包括：

接收关于一个2D全息元阵列的信息，该2D全息元阵列包括多个全息元孔径，其中关于该2D全息元阵列的该信息限定这些全息元孔径的数量、尺寸、以及间隔，其中，每个全息元以一个立体角发射光，其中由每个全息元发射的光被划分为光的组成光束；

接收关于一个有待渲染的3D场景的信息，该信息包括将该3D场景映射到一个3D显示体积的一个比例因数；

针对该2D全息元阵列中这些全息元的一个稀疏子集中的每一个全息元：

从该稀疏子集中的全息元的视点(POV)，生成该3D场景的一个2D透视渲染；以及

基于该2D透视渲染，生成一个颜色辐射强度图；

针对关于该稀疏子集的这些全息元的一个补子集中的每一个全息元：

对该稀疏子集的三个或更多个全息元在该补子集中的全息元的一个邻域中的颜色辐射强度图进行插值，从而生成该补子集中的全息元的一个插值颜色辐射强度图；

基于该全息元稀疏子集的该颜色辐射强度图与这些全息元的补子集的该插值颜色辐射强度图，生成该2D全息元阵列的一个完整的颜色辐射强度图集合；以及

存储该2D全息元阵列的该完整的颜色辐射强度图集合，其中该2D全息元阵列的该完整的颜色辐射强度图集合可用于渲染该3D场景的一个全息视图。

2.如权利要求1所述的方法，其中该2D全息元阵列定义在一个表面上，并且其中关于该2D全息元阵列的该信息进一步限定该表面。

3.一种用于视频全息显示的系统，该系统包括：

用于接收关于一个2D全息元阵列的信息的装置，该全息元阵列包括多个全息元孔径，其中关于该2D全息元阵列的该信息指定该全息元孔径的数量、尺寸、以及间隔，其中，每个全息元以一个立体角发射光，其中由每个全息元发射的光被划分为光的组成光束；

用于接收关于一个有待渲染的3D场景的信息的装置，该信息包括将该3D场景映射到一个3D显示体积的一个比例因数；

针对该2D全息元阵列中这些全息元的一个稀疏子集中的每一个全息元：

用于从该稀疏子集中的全息元的视点(POV)，生成该3D场景的一个2D透视渲染的装置；以及

用于基于该2D透视渲染，生成一个颜色辐射强度图的装置；

针对关于该稀疏子集的这些全息元的一个补子集中的每一个全息元：

用于对该稀疏子集的三个或更多全息元在该补子集中的全息元的一个邻域中的颜色辐射强度图进行插值，从而生成该补子集中的全息元的一个插值颜色辐射强度图的装置；

用于基于该全息元稀疏子集的颜色辐射强度图与这些全息元的补子集的插值颜色辐射强度图，生成该2D全息元阵列的一个完整的颜色辐射强度图集合的装置；以及

用于存储该2D全息元阵列的该完整的颜色辐射强度图集合的装置，其中该2D全息元阵列的该完整的颜色辐射强度图集合可用于渲染该3D场景的一个全息视图。

4.如权利要求3所述的系统，其中该2D全息元阵列定义在一个表面上，并且其中关于该2D全息元阵列的该信息进一步限定该表面。