CN105224288A - 双目三维图形渲染方法及相关系统 - Google Patents

Abstract

本发明涉及双目三维图形渲染方法及相关系统。方法包括投影变换步骤，所述投影变换步骤包括：在近平面和远平面之间增加中平面作为投影面，将近平面与远平面之间的图元投影到中平面上。本发明通过增加的中平面，将近平面与远平面之间的图元投影到中平面上，则近平面与中平面之间的图元会有出屏的立体效果，中平面与远平面之间的图元会有入屏的立体效果；从而，使得在3D显示设备中使用现有的渲染管线时不需要特别的硬件，就可以渲染“出屏”和“入屏”效果。

Description

双目三维图形渲染方法及相关系统

技术领域

本发明涉及立体视觉处理技术领域，具体涉及一种双目三维(3D)图形渲染方法及相关系统。

背景技术

众所周知现实世界是三维立体世界，人类的眼睛在观看三维世界时，由于双眼水平分开在两个不同的位置上，所看到的物体图像是不同的。左右眼看到的图像的视觉角度不同，分别称为左视图和右视。由于视差的存在，通过人类的大脑，可以使人感受到具有景深和层次感的3D世界，这就是双目视差原理。根据这一原理，如果能够让双眼分别看到两幅不同视觉角度的视图，就可以使人感受到一个具有景深和层次感的立体3D视图。

3D显示器就是基于双目视差原理而设计。当要产生实时的立体3D图像时，需要实时地产生左右眼的图像，使观看者持续感受到立体感。这一过程通常需要修改渲染管线(RenderingPipeline)来完成。3D图形渲染管线负责执行一系列必要的步骤从而把3D场景转换为可以在显示器上显示的2D图像。3D图形渲染管线通常大致包括以下步骤：从局部坐标系转换到世界坐标系；从世界坐标系转换到视图坐标系；投影变换；和视口(viewport)变换。目前比较流行的一种图形API(应用程序接口，ApplicationProgrammingInterface)OpenGL(开放性图形库，OpenGraphicLibrary)有自己的渲染管线。

OpenGL可以实现单目渲染，它是一种跨平台、跨编程语言的API，适合用于在传统的2D显示器上渲染具有立体感的3D图形。GPU硬件平台上通常可以支持OpenGL，GPU渲染管线是一种硬件加速、高效地将三维信息转化成二维图像的处理流程。OpenGL也提供了双目3D渲染的应用编程接口，但是要求GPU硬件上有相应的支持，否则无法使OpenGL在3D显示器上呈现出双目3D效果。

此外，基于现有的GPU(图形处理器，GraphicProcessingUnit)渲染管线，立体效果主要有入屏和出屏两种，入屏是指看到的物体好像在屏幕的后面，出屏是指看到的物体效果好像在屏幕的前面。例如在渲染火焰喷射效果时，出屏能给人一种火焰烧到人的感官效果。在常规的GPU渲染的投影变换阶段，例如采用OpenGL进行渲染，视点在原点，沿着-z方向观察，会形成一个金字塔形的平截头体，即由两个一远一近、相互平行的平面(称为远平面和近平面)截断而形成的一个锥体。任何在锥体外的图元都会被裁剪掉，留在锥体内的图元会经过透视变换，投影到近平面上，透视变换得到的伪深度作为像素是否可见的判断依据。若简单的利用视点位移和深度信息，只会将近平面后面的图元投影到近平面上，只能实现入屏的立体效果。

发明内容

根据本发明的第一方面，本发明提供一种双目三维图形渲染方法，包括投影变换步骤，所述投影变换步骤包括：在近平面和远平面之间增加中平面作为投影面，将近平面与远平面之间的图元投影到中平面上。

根据本发明的第二方面，本发明提供一种立体影像重现方法，包括：

创建步骤：创建用于分别存放不同视点的图像数据的至少两个视帧缓冲区；

渲染步骤：接收至少两种视点的包含三维图形的数据，对每个视点的数据进行渲染，所述渲染包括使用如上所述的双目三维图形渲染方法，将渲染结果存入对应的视帧缓冲区；

合成步骤：将所述至少两个视帧缓冲区中的渲染结果进行合成得到立体帧，输出所述立体帧。

根据本发明的第三方面，本发明提供一种立体影像重现系统，包括：

创建模块，用于创建用于分别存放不同视点的图像数据的至少两个视帧缓冲区；

渲染模块，用于接收至少两种视点的包含三维图形的数据，对每个视点的数据进行渲染，所述渲染包括使用如上所述的双目三维图形渲染方法，将渲染结果存入对应的视帧缓冲区；

合成模块，用于将所述至少两个视帧缓冲区中的渲染结果进行合成得到立体帧，输出所述立体帧。

根据本发明的第四方面，本发明提供一种双目三维图形渲染与显示系统，包括：

存储设备，用于保存包含三维图形的数据文件；

处理器，用于对所述存储设备中的数据文件进行解析处理；

处理器内存，用于提供分别存放不同视点的数据的至少两个视帧缓冲区；

图形处理器，用于对所述处理器处理后的数据文件实现三维图形渲染，所述渲染包括使用如上所述的双目三维图形渲染方法，生成不同视点的视帧；

所述处理器内存还用于存放所述图形处理器生成的不同视点的视帧；

所述处理器还用于对所述不同视点的视帧进行合成，得到立体帧；

三维显示器，用于显示所述立体帧。

本发明的有益效果是：通过增加的中平面，将近平面与远平面之间的图元投影到中平面上，则近平面与中平面之间的图元会有出屏的立体效果，中平面与远平面之间的图元会有入屏的立体效果；从而，使得在3D显示设备中使用现有的渲染管线时不需要特别的硬件，就可以渲染“出屏”和“入屏”效果。

附图说明

图1是GPU渲染管线中投影变换阶段扩展的三维示意图；

图2是双目视差原理的示意图；

图3是本发明一种实施例的双目三维图形渲染与显示系统的结构示意图；

图4是本发明一种实施例中GPU的图形处理管线；

图5是本发明一种实施例的立体影像重现方法的流程示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

首先对下面用到的一些术语或概念进行解释。左视帧，是指在三维影像显示中表示使观看者的左眼看到的二维视图；类似地，右视帧，是指在三维影像显示中表示使观看者的右眼看到的二维视图。立体帧，是指根据3D显示器的类型，将渲染后的左视帧和右视帧合成而得到的3D视帧。

已知OpenGL渲染管线，可以实时、高效地将三维信息转化为二维图像。但如前面背景技术的描述，现有的GPU采用的OpenGL渲染管线进行渲染时无法同时顾及入屏和出屏，也无法不需要GPU硬件支持就能实现基于双目视差的3D渲染。

[实施例1]

为了使现有的GPU渲染管线既能渲染出入屏效果，也能渲染出屏效果，而不需要GPU硬件上有相应的支持，本实施例的双目三维图形渲染方法中，增加了一个中平面(middleplane)，如图1所示，该中平面介于近平面和远平面之间，把中平面当作投影面，将近平面与远平面之间的图元投影到中平面上，则近平面与中平面之间的图元会有出屏的立体效果，中平面与远平面之间的图元会有入屏的立体效果。为了保证在裁剪阶段只保留近平面与远平面之间的图元，伪深度必须保持不变，即介于[-1,1]之间。

设近平面、中平面和远平面与原点的距离分别是N、M、F，近平面与远平面之间的伪深度是[-1,1]，则透视变换矩阵M₁如下所示：

$M_1=\left(\begin{array}{cccc}M& 0& 0& 0\\ 0& M& 0& 0\\ 0& 0& -\frac{F+N}{F-N}& -\frac{2\mathrm{FN}}{F-N}\\ 0& 0& -1& 0\end{array}\right)$

经过透视变换后，还需要将透视的结果进行位移和缩放操作，变换到[-1,1]之间的立方体内。设中平面的上、下、左、右的坐标分别是top、bottom、left和right，则位移和缩放操作的矩阵表示M₂如下所示：

$M_2=\left(\begin{array}{cccc}\frac{2}{\mathrm{right}-\mathrm{left}}& 0& 0& -\frac{\mathrm{right}+\mathrm{left}}{\mathrm{right}-\mathrm{left}}\\ 0& \frac{2}{\mathrm{top}-\mathrm{bottom}}& 0& -\frac{\mathrm{top}+\mathrm{bottom}}{\mathrm{top}-\mathrm{bottom}}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

可以用θ表示观察者视角的大小，投影面是中平面，则top、bottom、left和right可以通过下面的等式计算得到：

$\mathrm{top}=M\·\tan (\frac{\mathrm{\π}}{180}\·\frac{\mathrm{\θ}}{2})$

bottom＝-top

$\mathrm{right}=\mathrm{top}\·\frac{\mathrm{width}}{\mathrm{height}}$

left＝-right

由于模型视图变换阶段对视点由原点向水平方向上进行e/2和-e/2的位移，需要对投影变换做一定的修正。该修正与位移相关，设位移量用s表示，修正矩阵M₃如下所示：

$M_3=\left(\begin{array}{cccc}1& 0& 0& \frac{-s}{\mathrm{right}-\mathrm{left}}\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

综上，投影变换阶段的矩阵可以用矩阵M_PT表示如下：

$M_{\mathrm{PT}}=M_3\·M_2\·M_1=\left(\begin{array}{cccc}\frac{2M}{\mathrm{right}-\mathrm{left}}& 0& \frac{(\mathrm{right}+\mathrm{left})+s}{\mathrm{right}-\mathrm{left}}& 0\\ 0& \frac{2M}{\mathrm{top}-\mathrm{bottom}}& \frac{\mathrm{top}+\mathrm{bottom}}{\mathrm{top}-\mathrm{bottom}}& 0\\ 0& 0& -\frac{F+N}{F-N}& -\frac{2\mathrm{FN}}{F-N}\\ 0& 0& -1& 0\end{array}\right)---\left(1\right)$

在左眼的投影矩阵M_PT中，s＝-e/2；在右眼的投影矩阵M_PT中，s＝e/2。

[实施例2]

图2显示出由于双目视差而产生左右眼角度不同的视图，存储左右眼视图的缓冲区分别为左视帧和右视帧，左右视帧中的对象物体与景深有关。

本实施例基于双目视差原理和GPU渲染管线，提供了一种双目三维图形渲染与显示系统，如图3所示，为该系统的结构示意图，该系统包括五个模块：

(1)外部存储设备200：用于存储场景数据，如3D网格数据、图像数据、配置数据等；

(2)处理器(CPU)201：用于对文件的解析、场景数据的处理、以及立体帧的合成操作；

(3)GPU202：实现图形渲染管线的主要部件，生成左右视图；

(4)处理器内存204：存储左右视帧缓冲区以及程序数据；

(5)3D显示器203：用于显示立体视帧。

CPU将场景数据从外部存储器的文件中解析出来，存入处理器内存中，根据渲染命令，选择性地把场景数据通过CPU或者DMA(直接内存存取，DirectMemoryAccess)发送到GPU硬件中，通过GPU的渲染管线，完成场景的3D渲染。GPU需要对场景数据分别进行左右视帧渲染，每次渲染完成后，需要将帧缓冲区中的数据由GPU传输到处理器内存中。左右视帧场景渲染完成后，根据3D显示器的类型，将处理器内存中的左右视帧合成双目3D视帧，再把3D视帧传输到GPU的帧缓冲区中，最后在3D显示器上显示。

图4是GPU的渲染管线，存储在内存中的顶点数据300称为对象坐标，首先会经过模型视图矩阵301阶段的变换，把对象坐标变换成视点坐标，视点坐标的原点是摄像机的位置。视点坐标经过投影矩阵302阶段的变换，包括透视、位移和缩放变换三步，将坐标控件变换为[-1,1]之间的立方体，此时得到的坐标称为裁剪坐标，坐标的z分量称为伪深度。在投影矩阵阶段的变换，还会进行平面着色或者平滑着色处理，若增加了光照和纹理，还会实现顶点间像素值的计算。接着是裁剪303阶段，裁剪掉非[-1,1]立方体区域内的图元，只有在[-1,1]立体区域内的图元对用户是可见的。对可见片断的四元齐次坐标完成透视除法304操作，得到三元的归一化的设备坐标；再经过窗口变换305转换为屏幕上的坐标。为了提高对纹理数据的处理效率，例如纹理存储格式在内存与GPU之间的转换，GPU提供了专用的数据通道。通过GPU渲染管线，三维信息可以实时、高效地转化为二维图像，存储在GPU中的帧缓冲区中，用于显示器的显示。

本实施例所涉及的渲染中的投影变换过程可以采用实施例1的方法，渲染中涉及的其它过程如模型视图变换、以及后续的合成、显示等处理可以参考常用的相关技术实现，此处不作详述。

[实施例3]

依据本发明的一种实施方式，提供一种立体影像重现方法，包括：

创建步骤：创建用于分别存放不同视点的图像数据的至少两个视帧缓冲区；

渲染步骤：接收至少两种视点的包含三维图形的数据，对每个视点的数据进行渲染，该渲染为采用实施例1的双目三维图形渲染方法，将渲染结果存入对应的视帧缓冲区；

合成步骤：将至少两个视帧缓冲区中的渲染结果进行合成得到立体帧，输出立体帧。

以左视点和右视点两种视点为例，如图5所示，本实施例的立体影像重现方法。首先读取3D显示器的属性信息，包括显示器的长、宽、分辨率、类型(比如左右并列或者上下并列等)等信息；初始化处理器内存中左右视点的缓冲区，把两个缓冲区清空；设置GPU渲染管线中左视点，把两个缓冲区清空；设置GPU渲染管线中左视点的投影矩阵和模型视图矩阵；渲染整个场景，将结果存储进左缓冲区中；设置GPU渲染管线中右视点的投影矩阵和模型视图矩阵；渲染整个场景，将渲染结果存储进右缓冲区中；根据3D显示器类型，把左右视帧进行格式转换或合成，再拷贝到帧缓冲区中；最后，双目3D视帧会呈现到3D显示器上。

本实施例所涉及的渲染中的投影变换过程可以采用实施例1的方法，渲染中涉及的其它过程如模型视图变换、以及后续的合成、显示等处理可以参考常用的相关技术实现，此处不作详述。

基于上述方法实施例，本发明还提供一种立体影像重现系统，包括：

创建模块，用于创建用于分别存放不同视点的图像数据的至少两个视帧缓冲区；

渲染模块，用于接收至少两种视点的包含三维图形的数据，对每个视点的数据进行渲染，所述渲染为采用前述实施例的双目三维图形渲染方法，将渲染结果存入对应的视帧缓冲区；

合成模块，用于将至少两个视帧缓冲区中的渲染结果进行合成得到立体帧，输出立体帧。

各模块的实现参考前述实施例，此处不作重述。

综上，本发明涉及双目3D图形渲染方法及其系统，其基于GPU渲染管线和双目视差原理，提供一种兼容OpenGL的双目3D渲染方法和系统，能在快门、偏振、裸眼等方式的3D显示器上显示出立体3D效果，同时兼容传统图形学中的特效渲染算法，如：粒子系统、纹理着色、阴影等。采用本方法得到的双目3D图形和3D视频一样可呈现具有景深和层次感的立体3D世界。

本发明通过3D显示器呈现出立体3D效果，解决了GPU硬件不支持OpenGL双目3D渲染API的情况下如何渲染出立体3D效果的问题。所采用的方法是，基于现有的GPU渲染管线，充分地利用该管线硬件加速的特性，提高处理效率，兼容OpenGL的大部分应用编程接口，使用已有的OpenGL应用编程接口实时渲染立体3D场景。基于双目视差原理，根据左右眼的视差和物体的深度，产生不同的左右视帧，最后根据3D显示器的类型，合成一个双目3D视帧。

针对不支持双目3D渲染的GPU(即没提供立体渲染左右视帧缓冲区)硬件平台，本发明提供的双目3D渲染方法和系统中，需要左右两个视帧(多视点的情况下需要多个视帧)，可以在处理器内存中创建两个视帧缓冲区，一个用于存储左视图，另一个用于存储右视图；再根据3D显示器的立体3D视帧格式进行合成，本方法还兼容传统图形学中的大部分特效渲染算法。

由顶点、纹理等构造的场景只有一个，可以分两次渲染相同的场景数据，每次渲染时调整模型视图矩阵和投影矩阵，将两次渲染的结果分别保存进左右视帧缓冲区内，即把GPU帧缓冲区中的数据拷贝到处理器内存中的视帧缓冲区。在得到左右视帧的图像数据后，根据3D显示器的类型，将左右视帧合成双目3D视帧；最后，将3D视帧拷贝到GPU上的帧缓冲区中，并在3D显示器上呈现。所涉及的渲染过程包括：设置左视点的模型视图矩阵和投影矩阵，渲染场景数据，将帧缓冲区中的数据拷贝到处理器内存的左视帧缓冲区中；设置右视点的模型视图矩阵和投影矩阵，渲染场景数据，将帧缓冲区中的数据拷贝到处理器内存的右视帧缓冲区中；根据3D显示器的类型，将两帧数据合成双目3D视帧，发送到GPU上的帧缓冲区中；最后，渲染到3D显示器上。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (8)

1.一种双目三维图形渲染方法，包括投影变换步骤，其特征在于，所述投影变换步骤包括：在近平面和远平面之间增加中平面作为投影面，将近平面与远平面之间的图元投影到中平面上。

2.如权利要求1所述的双目三维图形渲染方法，其特征在于，所述投影变换步骤采用的投影矩阵为：

$M_{\mathrm{PT}}=\left(\begin{array}{cccc}\frac{2M}{\mathrm{right}-\mathrm{left}}& 0& \frac{(\mathrm{right}+\mathrm{left})+s}{\mathrm{right}-\mathrm{left}}& 0\\ 0& \frac{2M}{\mathrm{top}-\mathrm{bottom}}& \frac{\mathrm{top}+\mathrm{bottom}}{\mathrm{tob}-\mathrm{bottom}}& 0\\ 0& 0& -\frac{F+N}{F-N}& -\frac{2\mathrm{FN}}{F-N}\\ 0& 0& -1& 0\end{array}\right)$

其中，M_PT表示投影矩阵，M表示中平面与原点的距离，N表示近平面与原点的距离，F表示远平面与原点的距离，bottom＝-top，left＝-right，θ表示视角的大小，s表示视点由原点向水平方向上进行的位移量。

3.一种立体影像重现方法，其特征在于，包括：

创建步骤：创建用于分别存放不同视点的图像数据的至少两个视帧缓冲区；

渲染步骤：接收至少两种视点的包含三维图形的数据，对每个视点的数据进行渲染，所述渲染包括使用如权利要求1或2所述的双目三维图形渲染方法，将渲染结果存入对应的视帧缓冲区；

合成步骤：将所述至少两个视帧缓冲区中的渲染结果进行合成得到立体帧，输出所述立体帧。

4.如权利要求3所述的立体影像重现方法，其特征在于，

所述创建步骤包括：在内存中创建并初始化左视帧缓冲区和右视帧缓冲区；

所述渲染步骤包括：接收包含三维图形的左视帧的数据，对左视帧的数据进行渲染，将渲染结果存入所述左视帧缓冲区；接收包含三维图形的右视帧的数据，对右视帧的数据进行渲染，将渲染结果存入所述右视帧缓冲区；

所述合成步骤包括：将所述左视帧缓冲区中的渲染结果和所述右视帧缓冲区中的渲染结果进行拼接得到立体帧，将所述立体帧存入图形处理器的帧缓冲区。

5.如权利要求3所述的立体影像重现方法，其特征在于，还包括显示步骤，显示所述立体帧。

6.一种立体影像重现系统，其特征在于，包括：

创建模块，用于创建用于分别存放不同视点的图像数据的至少两个视帧缓冲区；

渲染模块，用于接收至少两种视点的包含三维图形的数据，对每个视点的数据进行渲染，所述渲染包括使用如权利要求1或2所述的双目三维图形渲染方法，将渲染结果存入对应的视帧缓冲区；

合成模块，用于将所述至少两个视帧缓冲区中的渲染结果进行合成得到立体帧，输出所述立体帧。

7.如权利要求6所述的立体影像重现系统，其特征在于，还包括显示模块，用于显示所述立体帧。

8.一种双目三维图形渲染与显示系统，其特征在于，包括：

存储设备，用于保存包含三维图形的数据文件；

处理器，用于对所述存储设备中的数据文件进行解析处理；

处理器内存，用于提供分别存放不同视点的数据的至少两个视帧缓冲区；

图形处理器，用于对所述处理器处理后的数据文件实现三维图形渲染，所述渲染包括使用如权利要求1或2所述的双目三维图形渲染方法，生成不同视点的视帧；

所述处理器内存还用于存放所述图形处理器生成的不同视点的视帧；

所述处理器还用于对所述不同视点的视帧进行合成，得到立体帧；

三维显示器，用于显示所述立体帧。