CN104427325A - 快速集成图像生成方法及与用户交互的裸眼三维显示系统 - Google Patents

Abstract

本发明公开了一种快速集成图像生成方法及与用户交互的裸眼三维显示系统。所述生成方法包括：输入包括深度摄像机测得的观看距离的外部参数；根据观看距离来计算观看宽度和单元图像宽度，然后确定各个视点的位置，进而得到优化的光场光线；计算绘制参数，将光场光线打包聚类，生成多个光线簇，保证一个光线簇中的所有光线构成视锥体；并行处理多视点图像；采用像素重排方法绘制生成单元图像阵列，将显示面板的像素宽度调制为透镜阵列的节距与多光线簇的数目的商。本发明可以实时的针对大尺度的三维数据进行EIA的快速绘制，并且本发明可实现交互型的三维显示系统，使最佳的观看视区的面积最大化。

Description

快速集成图像生成方法及与用户交互的裸眼三维显示系统

技术领域

本发明涉及一种快速集成图像生成方法及与用户交互的裸眼三维显示系统。

背景技术

集成成像显示（Integral imaging display:IID）是一项可以让用户裸眼观看自然的三维影像的技术，这种三维影像具有在水平和垂直方向上的连续视差变化。集成成像技术最初由法国科学家Lippmann提出，近些年来随着电子科技技术的进步，集成成像技术开始向实用化迈进。基本上，集成成像系统中包括一块高分辨率的LCD面板和一个透镜阵列。在LCD上显示二维图像，这种二维图像被称为单元图像阵列（Elemental image array:EIA）。通过透镜阵列的折射，EIA中的不同部分被折射到三维空间中的不同方向从而形成三维图像。

生成EIA的方式可以通过光场相机进行捕获，也可以利用计算机图形学的技术进行仿真生成，即，仿真穿过一个指定的观察区域中的光线，经过一个虚拟透镜阵列（透镜阵列的数学计算模型）与三维物体的数字模型的交汇过程而产生的。当这个仿真使用的虚拟透镜阵列和真实使用的透镜阵列一致时，用户可以看到正确的三维图像。由于计算机图形学技术是成熟技术，加之生成EIA的易操作性。目前为止，采用计算机图形学技术生成EIA的方法被研究人员及开发人员认可并普遍使用。

EIA中包含了大量的三维信息，其图像中每一个像素对应于一条光线，因此计算EIA，需要精确求取每一条光线所携带的颜色值（shading value），即计算出EIA对应的光场（light field）光线，这其中通常包含非常耗时的光线跟踪（ray tracing）及光线求交（ray intersection）运算。传统的生成EIA的方法，采用光线跟踪（ray tracing）的绘制（rendering，渲染）方式，因此运算速度很慢，进而导致集成成像显示技术无法得到普遍应用。一个显著的例子是，人机交互技术无法开展，用户通常需要经过长时间的等待，才能得到交互的三维图像的响应，有时候，甚至无法获得响应。很多实际应用希望开发出交互型的三维显示系统（interactive 3D display），这就要求生成EIA的过程达到一定的速度。为此，开发高效的以及实时（real-time）的EIA绘制系统，是至关重要的。

传统的集成成像系统具有固定的观看区域（viewing zone）和最佳观看距离（viewing distance），在实际观看中，用户需要处于该固定的观看区域中观看，这限制了集成成像系统的现场应用。因此，如何在实际应用中开发出最大化并适应于观众位置的观看区域，也是一个急需研究的问题。

麻省理工学院提出了一种生成EIA的有效方法，叫做多视点绘制方法（Multiple Viewpoint Rendering，MVR）。该方法通过多遍绘制，逐个得到EIA中的每个单元，即子图（elemental image）。在每遍绘制中，采用透视投影的方式绘制得到透视图，这样做的原因是将每个单元透镜（lens element）看作一个相机，来模拟EIA的捕获过程，这里的相机模型假设为小孔模型（pinholemodel）。绘制过程中的绘制参数设置通过透镜阵列（lens array）的光学参数得到。该方法可利用OpenGL（Open Graphics Library）等图形库实现。该论文存在的问题是，通过多遍绘制的方式完成EIA的计算，当透镜阵列中的透镜单元数目过多的时候，绘制速度会显著下降，不能够满足实时应用的需求。另外，该方法只能针对透镜阵列后方的三维物体生成相应的EIA，而不能绘制其他位置，如透镜阵列前方以及横跨透镜阵列的三维物体。

三星公司针对MVR方法仅能绘制透镜阵列后方的三维物体这一局限性，提出了采用绘制逆透视投影图（inverse perspective view）的方法，绘制每一个子图单元。之后，针对每一个子图，采用深度翻转（depth inverse）的策略，即将每一个子图按照其中心旋转180度，得到最终的结果。通过这样的方式，该专利方法可以成功模拟三维物体所有可能位置的情况。但是，该专利方法和MVR一样，其绘制速度和透镜的个数成反比，效率低下，难以用于具体实时应用中。

肯塔基大学提出了平行光线组绘制（Parallel Group Rendering,PGR）的方法，来高效的生成EIA。该论文方法通过绘制一组方向性视图（directionalscenes）来重组成为最终的EIA。这里的方向性视图通过设置不同虚拟摄像机来绘制多个正交视图得到。方向性视图的大小取决于透镜节距（lens pitch）的大小，其绘制的方向取决于集成成像系统的配置，例如透镜阵列与LCD面板的间距值（gap）、透镜焦距（focal length）以及透镜节距等参数。PGR方法的速度与子图的大小成正比关系，其对于小尺度的三维物体，可取得实时的绘制速度。但是对于大尺度的三维物体，仍然不能达到实时的绘制速度。

东芝公司提出了一种扩大传统集成成像系统的观看区域的方法。该方法可根据设定的观看距离，来调制光场光线的具体方向，生成最优化的光场光线，从而形成具备最大观看视区的集成成像系统。该方法提升了传统集成成像系统的观看性能，但是其需要逐个判断每条光线的具体方向，导致绘制EIA的速度非常之低下。

现有的技术的问题在于，绘制EIA的方法效率低，或由于方法本身的瓶颈，或由于未有效利用硬件加速手段。

发明内容

本发明的目的在于提供一种采用计算机图形学技术来快速生成EIA的方法，并应用于交互型的集成成像显示系统中，实现用户的交互，以及获得最佳的三维观看性能。

本发明可应用于供多人裸眼观看的实时的三维物体可视化系统中（图1.a）、具备三维交互功能的三维显示系统中（图1.b）以及现阶段的二维交互设备（图1.c）等等。

根据本发明的一方面，提供一种3D显示设备，包括：显示面板，用于显示单元图像阵列；透镜阵列，位于显示面板前方；深度摄像机，位于透镜阵列附近，用来测量用户到3D显示设备的观看距离；单元图像阵列计算单元，根据测得的观看距离来计算观看宽度和单元图像宽度，得到优化的光场，将光场中的光线打包聚类为多个光线簇，对所述多个光线簇进行并行绘制以得到多视点图像，对像素进行重排，以绘制生成单元图像阵列；像素宽度调整模块，当显示面板的像素宽度与单元图像阵列的宽度不匹配时，像素宽度调整模块将显示面板的像素宽度调制为透镜阵列的节距与所述多个光线簇的数目的商，将单元图像阵列显示在经调制后的显示面板上。

单元图像阵列计算单元包括图形处理器，用于对所述多个光线簇进行并行绘制，以增加绘制速度。

图形处理器具有片元着色器，在片元着色器上进行相应的图像处理以及裁剪，以获得正确的多光线聚类结果。

图形处理器进行几何复制，采用并行加速，以通过仅仅一遍绘制来获得具有多个视点图像的一幅纹理。

通过图形处理器对像素重排进行加速。

所述深度摄像机实时捕获观测者的深度信息，并计算得到观看距离，单元图像阵列计算单元根据当前时刻的观看距离来调制每根光线的方向，获得优化的光场光线。

所述深度摄像机能够捕获用户的交互动作。

根据本发明的另一方面，提供一种单元图像阵列的生成方法，包括：测量用户的观看距离；根据观看距离来计算观看宽度和单元图像宽度，进而得到优化的光场；计算绘制参数，将光场中的光线打包聚类，生成多个光线簇，保证一个光线簇中的所有光线构成视锥体；对所述多个光线簇进行并行绘制，以得到多视点图像；采用像素重排方法绘制单元图像阵列；当绘制的单元图像阵列宽度与显示面板的像素宽度不一致时，将显示面板的像素宽度调制为透镜阵列的节距与所述多个光线簇的数目的商。

输入的外部参数还包括：3D显示设备的硬件参数、用户交互数据以及要显示的三维数据。

3D显示设备的硬件参数包括透镜阵列的透镜单元数目、透镜单元的焦距和节距。

3D显示设备的硬件参数还包括透镜阵列中的单元透镜的光心到显示面板的距离和显示面板的物理像素尺寸。

用户交互数据包括三维交互数据以及二维交互数据，其中，三维交互数据包括由深度摄像机提供的动作捕捉数据，而二维交互数据由附加外设提供。

用户交互数据包括操作三维图像的信息，所述信息包括旋转、缩放和移动操作。

所述三维数据包括几何、材质以及纹理信息。

保证一个光线簇中的所有光线构成一个斜透视视锥体，通过绘制这个视锥体，完成多光线聚类的计算。

在将光场中的光线打包聚类时，利用几何复制的方法，在平移光线簇的同时，复制要绘制的三维物体，以保证视锥体的一遍并行绘制能够完成多光线打包聚类的计算。

所述并行绘制采用片元着色器上的多采样反走样的方法，去除走样错误，提升输出图像的画质。

对视锥体的并行绘制结果进行像素平移和裁剪，获得正确的多光线聚类结果并存储为纹理图像数据。

对纹理图像数据进行像素重排列，生成最终用于3D显示设备的单元图像阵列。

所述像素重排列采用并行的方式。

深度摄像机实时捕获观测者的深度信息，根据当前时刻的观看距离来实时调制光线的方向，获得优化的光场。

所述计算绘制参数包括计算每个视点图像的宽度和高度、视点位置和视角。

所述单元图像阵列的生成方法还包括：捕获用户交互数据的步骤。

用户交互数据包括三维交互数据以及二维交互数据，其中，三维交互数据包括用户动作捕捉数据，而二维交互数据由附加外设提供。

光线重排方法应用于GPU上的片元器，采用并行计算的方式计算。

本发明是关于集成成像技术中的高效EIA绘制的具体方法。一方面，本发明通过将光场光线打包聚类（clustering）的方法，使光场光线的计算过程简化为多个光线簇的绘制过程。并采用图形处理器（GPU）对多个光线簇的绘制进行加速，利用几何复制（geometry duplication）功能，通过一遍并行绘制（single-pass rendering）即可得到多个透视图，该透视图即为光线簇的绘制结果。另一方面，本发明改进了传统集成成像系统，加入深度摄像机（depthcamera），实时捕获观测者的深度信息，并计算得到观看距离。以当前帧（frame）的观看距离为指导，调制每根光线的方向，获得最优化（optimized）的光场，使得该光场具有最大化的观看区域。

本发明能够提供高效的EIA绘制方法。不仅可以快速的获得EIA，并且能够精确的计算EIA，从而获得高质量的三维图像，具体来说，本发明采用多采样的绘制方法，来精确求取每一个像素的颜色值。在此基础上，本发明提出了交互性的三维集成成像系统，不仅可以让用户和三维图像进行交互，而且还可实时的根据用户所处的具体位置改变光场光线，提供给集成成像系统最优化的观测视区。

本发明提出了一种快速集成图像（integral image）生成方法，并可用于实现与用户交互的（interactive）裸眼三维显示系统。本发明提出的用户交互三维显示系统，其可交互性指两方面，一是用户可以操作显示的三维物体的空间位置和朝向，达到交互观看的目的，二是三维显示系统可根据当前多个观测者所处的具体位置，生成最优化的集成图像，从而显示正确的三维物体。本发明提出的快速集成图像生成方法，是针对多个用户所在位置的最优化集成图像生成方法，其采用调制光场（light field）光线的具体排布，来实现最大化（maximized）的观测区域（viewing zone）。为了能够快速绘制得到集成图像，本发明采用将光场光线聚类（ray clustering）的方法，将光线分布到不同的透视视锥体（perspective frustum）中，从而将绘制整个光场光线转换为绘制多个透视图。对于多个透视图的绘制，本发明采用图形处理器（GPU）之上的几何复制（geometry duplication），采用并行加速方法，可通过仅仅一遍绘制，获得多个透视图的结果于一副纹理（texture）中。本发明采用像素重排（pixel re-arrangement）的方法，通过GPU加速像素重排，最终获得集成图像结果。另外，本发明所绘制的集成图像，均采用多采样（multi-sampling）的方法，去除走样（aliasing）错误，提升集成图像的画质。本发明可以实时（real-time）的绘制大规模三维数据，为用户交互性提供基础，并用于用户交互的裸眼三维显示系统中。

本发明可以实时的针对大尺度的三维数据进行EIA的快速绘制，并且本发明可实现交互型的三维显示系统，使最佳的观看视区的面积最大化。

附图说明

通过下面结合示例性地示出一例的附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1示意性示出了根据本发明的实施例的交互型集成成像系统可应用的场所；

图2示意性示出了根据本发明的实施例的交互型集成成像系统；

图3示意性示出了根据本发明的实施例的处理单元的具体流程；

图4示意性示出了本发明的主要系统流程；

图5A示意性示出了最传统的光场设定，图5B示意性示出了现有技术中对于光场设定的一种改进的方法；

图6示意性示出了根据本发明的实施例的光场设定过程；

图7A和图7B示意性示出了根据本发明的实施例的多光线聚类过程；

图8示意性示出了根据本发明的实施例的几何复制过程；

图9示意性示出了根据本发明的实施例的具体的裁剪和图像处理过程；

图10示意性示出了根据本发明的实施例的多采样技术；

图11示意性示出了根据本发明的实施例的多光线簇的GPU并行绘制流程图；

图12示意性示出了根据本发明的实施例的像素重排布过程；

图13示意性示出了根据本发明的实施例的目标集成图像的输出过程；

图14是EIA绘制软件的界面；

图15A-15C示意性示出了根据本发明的实施例的原始三维数据、绘制的EIA以及重建的三维图像；

图16示意性示出了不同绘制方法的绘制速度的测定结果。

图17A-17C示意性示出了在根据本发明的实施例的速度测试实验中的原始三维数据、绘制的EIA以及重建的三维图像；

图18示意性示出了根据本发明的实施例的集成成像硬件系统。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

图2示意性示出了根据本发明的实施例的交互型集成成像系统。

如图2所示，根据本发明的实施例的可与用户交互的裸眼三维显示系统包括：交互型集成成像显示硬件系统1，具有传统的集成成像显示系统（包括显示面板3和透镜阵列4）以及深度摄像机5，深度摄像机5设置在集成成像显示系统的显示屏幕上，具体地说，深度摄像机5可位于透镜阵列4附近，例如，位于透镜阵列4的上方，用于拍摄观看者的深度图像，可实时检测观看者到屏幕的距离；处理单元2，用以交互生成最优化光场光线，该单元可根据输入的集成成像系统硬件参数和深度摄像机捕获的深度数据、并根据需要显示的图形模型（多边形网格+纹理）来生成光场光线，达到最大的观看区域。并根据输入的最优化光场光线，计算相应的绘制参数，以及输入三维图形数据，在GPU上绘制得到EIA。

图3示意性示出了根据本发明的实施例的处理单元的具体流程。

参照图3，首先，进行显示面板3和透镜阵列4的参数以及用户的位置的输入。参数包括单元透镜的数量、焦距、透镜阵列中的单元透镜的光心与LCD面板之间的间距、透镜阵列的节距（相邻单元透镜的光心之间的距离）、显示面板的像素尺寸等。用户的位置主要指观看距离。接下来，根据输入的参数和用户的位置计算光场，包括计算观看宽度W，从而最终得到优化的光场。

根据上一步计算的光场，将光场中的光线打包聚类，计算多视点图像的绘制（rendering）参数。计算绘制参数可包括计算每个视点图像的宽度和高度（可由用户指定）、视点、视角、孔径比、向上矢量（up vector）以及用于每个视点图像的视点矩阵，视点矩阵用于将三维图像转化为显示在LCD面板上的二维图像。最终得到多个视锥体的绘制参数。其中，视点矩阵为绘制多视点图像时，将绘制每一幅视点图像所采用的参数记录为一个矩阵，该矩阵叫做视点矩阵，参数主要包括视点的三维坐标、视线的朝向矩阵等信息。

另一方面，还要输入的是用户交互和3D数据。用户交互包括3D运动捕获，2D键盘/鼠标事件（旋转、平移、缩放、…）。3D数据包括将要显示的3D物体的几何特性、材料、纹理等。根据输入的用户交互和3D数据，计算相应的设置信息，得到用于操控3D数据的变换矩阵。其中，变换矩阵指的是对于三维物体的位置变换信息的记录，例如，将三维物体进行旋转、平移等。对于本发明而言，变换矩阵为一个物体的平移矩阵,需要将复制的物体进行平移操作，以满足算法流程的需要。

在得到多个视锥体的绘制参数、3D数据和变换矩阵之后，进行第一遍并行绘制，用于生成多视点图像（多个视点位置下看到的或者绘制的图像）。具体地说，计算各光线簇中的各条光线的明暗度，并行绘制多视点图像，创建纹理，以记录所述多视点图像，从而得到具有多视点图像的一个纹理。进行第二遍绘制，生成单元图像阵列EIA，在具有多视点图像的一个纹理中重新排布像素。其中，EIA图像是显示在LCD面板上的数据。

最后，在LCD面板上显示单元图像阵列，并通过透镜阵列重构单元图像阵列。

综上所述，参见图4，根据本发明的实施例的主要系统流程包括：模块1：输入三维显示器硬件参数、用户数据和三维物体数据；模块2：通过分析并计算与深度摄像机测量的观看距离对应的最大观看区域，输出最优化光场，即光线排布；模块3：输入最优化光场，输出多个视椎体的绘制参数；模块4：在如前所述输入用户的交互数据、三维物体数据以及输入多个视锥体的绘制参数后，输出绘制完成的多视点图像；模块5：输入多视点图像，输出子图（Elemental image）；模块6：输出目标集成图像。

下面结合图5-图7来解释图4中的模块2，即，最优光场的计算。本发明利用最优光场来实现最大面积的观看视区。先介绍现有技术中的光场设定。首先，参见图5A，图5A是最传统的光场设定，具有较小的观看角度（viewingangle）和固定的观看距离（viewing distance），从而导致观看宽度（viewingwidth）很小。图5B示出了现有技术中对于光场设定的一种改进的方法，参见图5B，其提出最优光场的思路，通过调制光线的方向，达到最大的观看宽度，而且可以设定不同的观看距离，在这种情况下，观看角度也增大了。

本发明不同于图5B中示出的方法，本发明不需要显式的计算出最优光场中每一条光线的方向，而只需要计算出来EI的尺寸（即，单元图像宽度）E以及观看宽度W，通过尺寸E和观看宽度W就可以直接计算出光线簇的绘制参数，也就是说，最优光场中的每条光线方向不用直接计算，而是通过计算绘制参数间接计算得到的（视锥体确定了，其中的每条光线的方向也自然确定了）。图6示意性示出了根据本发明的实施例的光场设定过程，参见图6，其计算流程如下：输入观看距离；计算在给定的观看距离处的观看宽度；计算EI的尺寸，输出参数值。

具体计算公式如下：

W=p×(D+g)/g,

E=W×g/D,

其中，W代表观看宽度，E代表EI的尺寸，D为当前的观看距离（严格地说，为观察者到透镜阵列的各个光心所在平面的距离），p为透镜阵列的透镜节距，g为透镜阵列的透镜的光心与LCD显示面板之间的间距。

图7A和图7B示意性示出了根据本发明的实施例的多光线聚类过程。参见图7A，光线簇的数量n等于在一个EI中包括的像素的最近的整数（四舍五入取整）。让n_x表示沿水平方向的光线簇的数量（下标x表示沿水平方向），n_x由式(3)来确定：

$n_x\≅\frac{E}{p_d},n_x\∈N,---\left(3\right)$

其中，p_d是显示面板的像素节距。这里，n_x的值应该是非零整数。而表示沿竖直方向中的光线簇序号的n_y由相同的方法来计算（此时，E代表单元图像高度）。如图7B所示，图中有三个光线簇，对应有三个视锥体。

针对沿水平方向中的每个SPVF（带有倾斜的透视视锥体），包括视点V_i（V_i是视点的x坐标，原点在观看宽度的中心）和视角θ_i（整个视锥体沿水平方向的夹角，即，视锥体边缘的两根光线的夹角）的绘制参数通过下面的式子来给出：

$V_i=-\frac{W}{2}+\frac{W}{E-1}\×i,---\left(4\right)$

${\mathrm{\θ}}_i=\arctan \left(\frac{L/2-p/2-V_i}{D}\right)-\arctan \left(\frac{-L/2+p/2-V_i}{D}\right),---\left(5\right)$

i∈(0,n_x],    （6）

其中，L表示整个透镜阵列的宽度值，p为透镜阵列的透镜节距，i是沿水平方向的光线簇的序号。通过上面计算的绘制参数，利用L/p的图像分辨率来生成每个剪切透视图。

下面描述图4中的模块3。根据最优光场的光线排布，本发明提出光线聚类的方法，将汇聚于观看宽度平面的一簇光线进行打包成组，如图7A所示。该簇光线可通过图7B的多个透视投影视锥体的绘制得到。因此本发明方法能够将绘制整个光场光线，简化为绘制多个透视图。每个光线簇的汇聚点即对应于透视图绘制过程中的视点，透镜阵列平面对应绘制过程中的聚焦平面。

图8示意性示出了根据本发明的实施例的几何复制过程。本发明利用GPU对多光线簇进行一遍并行绘制，可快速得到多个透视图的计算结果。这种方法将原有的多个光线簇分别进行平移，保证其视点重合于最中间的视点之上，如图8所示，这样所有的光线簇可构成一个大的透视视锥（perspectivefrustum）。通过绘制该透视视锥体，就能得到所有光场光线的颜色值。本发明采用几何复制功能，将待绘制三维物体进行几何复制，并做下列变换，移动到平移后的光线簇中。

具体来说，在水平方向上，通过如下限定的变换矩阵T对复制的3D内容进行变换：

$T_{i,j}=\left[\begin{array}{cccc}1/n_x& 0& 0& 0\\ 0& 1/n_y& 0& 0\\ 0& 0& 1& 0\\ -\frac{W}{2}+\left(\frac{W}{n_x-1}\right)\·i& -\frac{W}{2}+\left(\frac{W}{n_y-1}\right)\·j& 0& 1\end{array}\right]$

其中，i，j分别表示复制的3D内容的横向序号和纵向序号，采用复制内容来绘制，以获得对应的光线簇。假定显示的3D内容是M（M不是指EIA图像），其可以被表示为：

M={v₁,v₂,…,v_m},v_k∈M,    （11）

其中，ν_k是M中的3D点，ν_k由下面的式（12）给出：

v_k=[x_k y_k z_k 1].    （12）

其中，x_k、y_k、z_k分别是ν_k的x、y、z坐标。1是齐次坐标，仅仅为了计算方便而引入。

具体地说，属于克隆的3D内容M_i,j={v_i,j,1,v_i,j,2,…,v_i,j,m}的每个3D点v_i,j,k由下面的式子产生：

v_i,j,k=v_k×T_i,j.    （13）

这里，几何复制功能在GPU上实现，可解决CPU和GPU之间的传输开销巨大的问题，本发明可通过一遍并行的绘制来生成多视点图像，与现有技术的通过多遍绘制来生成多视点图像的方法相比，大大节约了绘制时间。具体来讲，几何复制实现于几何着色器（geometry shader）中，其可针对每一个输入的顶点（vertex）数据进行复制，生成新的顶点。实际应用中，以NvidiaCg（C for graphics）编程语言为例，可采用EmitVertex语句进行复制，并以EndPrimitive语句作为结束。

由于平移光线簇，会产生一定的重叠，如图8所示。因此在GPU的片元着色器（fragment shader）上，需要进行相应的图像处理以及裁剪，以获得正确的多光线聚类结果，具体的裁剪和图像处理过程如图9所示。

另外，为了获得更为准确的绘制结果，本发明采用片元着色器上的32xMSAA（Multi-Sampling Anti-Aliasing，多点采样反走样），即32倍的多采样反走样功能，即在离线缓冲中计算大尺度的绘制图，将大尺度的绘制结果加权平均得到小尺度的绘制结果，如图10所示，示出了没有采用多采样技术和采用多采样技术的两种不同的效果。

图11示意性示出了根据本发明的实施例的多光线簇的GPU并行绘制流程图。下面结合图11来对图4的模块4的主要流程进行描述。

在步骤4.1中，首先输入多个视图的绘制参数。然后，在步骤4.2中，对多视点图像进行并行绘制，得到多个视图的绘制结果，其中，通过采用几何着色器来使用原始复制；在步骤4.3中，输入多个视图的绘制结果，在GPU上利用32xMSAA来提高图像质量，输出反走样的多个视图的绘制结果；在步骤4.4中，输入反走样的多个视图的绘制结果，利用OpenGL的FBO（帧缓冲对象）将多个视图绘制为纹理并存储显存空间中，在步骤4.5中，输出利用FBO绘制的纹理。

图12示意性示出了根据本发明的实施例的像素重排布过程。参照图12，下面对图4的模块5的主要流程进行描述。上一模块输出了多光线簇的绘制效果。但要得到最终的EIA图像，仍然需要进行像素重排布。像素重排布算法的具体过程可参见图12。每个EI中的不同像素均来自于不同的多视点图像。

该模块实质为图像处理单元，将输入的图像进行像素重排列，从而得到EIA图像。像素重排列的算法如图12所示，多个视图中的同一位置的像素，构成一个子图（EI）。而多个视图中的所有像素，则构成多个子图，即EIA。

下面结合图13阐述图4的模块6，在生成EIA之后，需要将其放于集成成像系统上显示，如果遇到显示面板的像素宽度（该像素宽度是显示面板的最小物理像素尺寸的倍数）和EI的宽度不匹配的问题，可通过图4中的模块6进行调制，即利用例如一个像素宽度调整模块将显示面板像素宽度p_d调整为透镜节距p与多光线簇数目n的商。采用调整过的显示面板来显示EIA图，可观测到正确的三维显示效果。

本发明的原始三维数据、绘制的EIA以及重建的三维图像如图15A-C所示。图15A示出了原始的三维数据；图15B示出了EIA图；图15C示出了通过根据本发明的实施例的集成成像系统重建的三维图。

图16示意性示出了不同绘制方法的绘制速度的测定结果。本发明实验过程中测试了不同的三维物体，其速度测定结果如图16所示，其结果示意图如图17所示，图17A示出了原始的三维数据；图17B示出了EIA图；图17C示出了通过根据本发明的实施例的集成成像系统重建的三维图。如图16所示，本发明的三维物体绘制速度大大高于其他方法。

图18示意性示出了根据本发明的实施例的集成成像硬件系统。

本发明可以用来提高EIA的生成速度，实现实时的EIA绘制系统，实时的绘制速度将为集成成像技术带来更多更广泛的应用。本发明采用最优化的光场光线，指导生成EIA，可以提供给集成显示系统最大的观测区域。本发明在集成成像系统方面，加入深度摄像机技术，可以实时的根据多用户的位置，一直保持最佳的观测性能。本发明可用于实现用户交互型集成成像系统，能够提供用户操作物体的功能，提升用户对于三维数据的感知，并对于三维显示器的应用和进一步发展产生巨大的促进作用。

出于促进对本发明的原理的理解的目的，已经对附图中示出的优选实施例进行了说明，并已经使用了特定的语言来描述这些实施例。然而，该特定的语言并非意图限制本发明的范围，本发明应被解释成包括对于本领域普通技术人员而言通常会出现的所有实施例。此外，除非元件被特别地描述为“必不可少的”或“关键的”，否则没有元件或模块对本发明的实施是必不可少的。

虽然上面已经详细描述了本发明的示例性实施例，但本发明所属技术领域中具有公知常识者在不脱离本发明的精神和范围内，可对本发明的实施例做出各种的修改、润饰和变型。但是应当理解，在本领域技术人员看来，这些修改、润饰和变型仍将落入权利要求所限定的本发明的示例性实施例的精神和范围内。

最后，除非这里指出或者另外与上下文明显矛盾，否则这里描述的所有方法的步骤可以以任意合适的顺序执行。

Claims (15)

1.一种3D显示设备，包括：

显示面板，用于显示单元图像阵列；

透镜阵列，位于显示面板前方；

深度摄像机，位于透镜阵列附近，用来测量用户到3D显示设备的观看距离；

单元图像阵列计算单元，根据测得的观看距离来计算观看宽度和单元图像宽度，得到优化的光场，将光场中的光线打包聚类为多个光线簇，对所述多个光线簇进行并行绘制以得到多视点图像，对像素进行重排，以绘制生成单元图像阵列；

像素宽度调整模块，当显示面板的像素宽度与单元图像阵列的宽度不匹配时，像素宽度调整模块将显示面板的像素宽度调制为透镜阵列的节距与所述多个光线簇的数目的商，将单元图像阵列显示在经调制后的显示面板上。

2.根据权利要求1所述的3D显示设备，单元图像阵列计算单元包括：

图形处理器，用于对所述多个光线簇进行并行绘制，以增加绘制速度。

3.根据权利要求2所述的3D显示设备，其中，

图形处理器具有片元着色器，在片元着色器上进行相应的图像处理以及裁剪，以获得正确的多光线聚类结果。

4.根据权利要求2所述的3D显示设备，其中，

图形处理器进行几何复制，采用并行加速，以通过仅仅一遍绘制来获得具有多个视点图像的一幅纹理。

5.根据权利要求2所述的3D显示设备，其中，

通过图形处理器对像素重排进行加速。

6.根据权利要求1所述的3D显示设备，其中，

所述深度摄像机实时捕获观测者的深度信息，并计算得到观看距离，单元图像阵列计算单元根据当前时刻的观看距离来调制每根光线的方向，获得优化的光场光线。

7.根据权利要求1所述的3D显示设备，其中，

所述深度摄像机能够捕获用户的交互动作。

8.一种单元图像阵列的生成方法，包括：

测量用户的观看距离；

根据观看距离来计算观看宽度和单元图像宽度，进而得到优化的光场；

计算绘制参数，将光场中的光线打包聚类，生成多个光线簇，保证一个光线簇中的所有光线构成视锥体；

对所述多个光线簇进行并行绘制，以得到多视点图像；

采用像素重排方法绘制单元图像阵列；

当绘制的单元图像阵列宽度与显示面板的像素宽度不一致时，将显示面板的像素宽度调制为透镜阵列的节距与所述多个光线簇的数目的商。

9.根据权利要求8所述的单元图像阵列的生成方法，其中，

在将光场中的光线打包聚类时，利用几何复制的方法，在平移光线簇的同时，复制要绘制的三维物体，以保证视锥体的一遍并行绘制能够完成多光线打包聚类的计算。

10.根据权利要求9所述的单元图像阵列的生成方法，其中，

所述并行绘制采用片元着色器上的多采样反走样的方法，去除走样错误，提升输出图像的画质。

11.根据权利要求9所述的单元图像阵列的生成方法，其中，

对视锥体的并行绘制结果进行像素平移和裁剪，获得正确的多光线聚类结果并存储为纹理图像数据。

12.根据权利要求11所述的单元图像阵列的生成方法，其中，

对纹理图像数据进行像素重排列，生成最终用于3D显示设备的单元图像阵列。

13.根据权利要求12所述的单元图像阵列的生成方法，其中，

所述像素重排列采用并行的方式。

14.根据权利要求8所述的单元图像阵列的生成方法，还包括：

捕获用户交互数据的步骤。

15.根据权利要求14所述的单元图像阵列的生成方法，其中，

用户交互数据包括三维交互数据以及二维交互数据，其中，三维交互数据包括用户动作捕捉数据，而二维交互数据由附加外设提供。