CN101329759B - 立体图形系统以及处理方法 - Google Patents

Abstract

本发明涉及一种立体图形系统，包含主管线，接收影像数据，自图形数据绘制第一影像，并取得与第一影像相关的深度影像；绘制单元，从主管线获得第一影像以及影像深度，并基于第一影像以及深度影像绘制第二影像；第一帧缓冲器，获得并储存该第一影像；第二帧缓冲器，获得并储存该第二影像；以及合成器，从第一帧缓冲器以及第二帧缓冲器获得第一影像以及第二影像，并将第一影像和第二影像合成以产生合成影像结果。因此，本发明的立体图形系统以及处理立体图形的方法，通过所绘制的影像以及获得的深度影像得到另一影像，将影像合成立体图形，可以降低系统的复杂度并且加速影像的合成。

Description

立体图形系统以及处理方法

技术领域

本发明有关于一种立体图形绘制技术，特别有关于基于深度影像绘制的立体图形系统以及其处理方法。

背景技术

一般来说，三维(three-dimensional，3D)图形绘制可通过硬件3D加速器进行绘制，也可不通过硬件3D加速器进行绘制。但是，在立体图形装置中，一个场景(scene)通常需要被绘制两次，一次用于左眼视线(view)，一次用于右眼视线。

图1为立体图形以及3D影像概念的示意图。底部左边的圆圈和底部右边的圆圈分别表示人的左眼位置以及右眼位置。E表示两眼之间的距离，P表示左眼以及右眼投射至屏幕平面的视线之间的距离，此距离为人脑中的视线深度(viewdepth)的立体视频的差异。Zi表示从人眼到屏幕平面之间的视线距离。最高点表示显示在屏幕平面上的影像点，Zm表示从屏幕平面至影像点在人脑形成3D景象的视线深度。

3D立体图形操作包括3D图形绘制立体视觉。立体图形加速器的设计中包括绘制3D影像以及显示立体图形。实时绘制3D图形可通过使用具有3D图形芯片的影像加速器而实现，例如3Dlabs提供的GLINT线。设计高分辨率立体图形加速器的关键则是在立体图形加速器中加入立体显示功能。

正如前所述，只有在左眼影像、右眼影像(即立体图形对，stereo pair)同时显示时才能看到立体图形。这样，则需要两个双缓冲存储器(double-bufferedmemory)来进行立体显示。也就是说，帧缓冲器必须被分成4个缓冲区，包含前左缓冲区，后左缓冲区，前右缓冲区以及后右缓冲区。每个双缓冲存储器储存左眼影像或右眼影像，这种帧缓冲器结构被称作是4路缓冲(quad buffering)。

为了在显示设备上正确观看立体图形，左眼只能观看从左缓冲器输出的影像，右眼只能观看从右缓冲器输出的影像。每只眼所观看的影像需经常更新以防止闪烁(flickering)。时分式立体设备(Time multiplexed stereo devices)，如液晶立体眼镜，一般用以观看立体图形。

请参考图2所示的NVIDIA 3D立体使用者向导，图形应用软件17决定一个观察点以及图形数据，图形管线(pipeline)23根据观察点以及影像数据绘制影像，帧缓冲器26储存所绘制的影像，显示设备29显示所绘制的影像。当开启立体模式时，两摄影机的观察点被绘制，这样会降低至少一半的帧率，帧率的降低常常会导致无法继续游戏或者是画面质量很差。

在现有技术中，请参见图3，为现有技术的立体图形系统的方块图。当启动立体模式时，利用多个图形管线绘制两摄影机的观察点。主管线55接收图形数据，并且绘制2D图形数据至帧缓冲器65，然后发送3D影像数据至从管线(slavepipeline)56-59，从管线56-59分别绘制3D影像数据至帧缓冲器66-69。合成器76将来自帧缓冲器65-69的数据流合成单一数据流并传送至显示设备83。由于在绘制左眼影像和右眼影像时采用多于一个的图形管线，以致其帧率与2D显示模式时的帧率相等，但是其硬件成本以及交换图形数据时的频宽均有所增加。

发明内容

本发明提供一种可降低系统的复杂度并且加速影像的合成的立体图形系统以及方法。

本发明实施例提供一种立体图形系统，包含主管线，接收图形数据，自图形数据绘制第一影像，并根据第一影像获得与第一影像相关的深度影像；绘制单元，自主管线获得第一影像以及深度影像并根据第一影像以及深度影像绘制第二影像；第一帧缓冲器，获得并暂存第一影像；第二帧缓冲器，获得并暂存第二影像；以及合成器，从第一帧缓冲器以及第二帧缓冲器获得第一影像以及第二影像，并将第一影像和第二影像合成以产生合成影像结果。

本发明实施例还提供一种处理立体图形的方法，包含接收图形数据；自图形数据绘制第一影像并获得与第一影像相关的深度影像；暂存第一影像；根据第一影像以及深度影像绘制第二影像；暂存第二影像；以及获取第一影像以及第二影像并将第一影像以及第二影像合并成影像结果。

本发明还提供一种用以处理立体图形的可读计算器储存媒体，包含：主管线模块，从图形数据绘制左眼的第一影像并获得与第一影像相关的深度影像；第一帧缓冲模块，暂存第一影像；绘制模块，根据第一影像以及深度影像绘制右眼的第二影像；第二帧缓冲模块，暂存第二影像；以及合成模块，获取第一影像以及第二影像并将第一影像以及第二影像合并成影像结果。

因此，本发明的立体图形系统以及处理立体图形的方法，通过所绘制的影像以及获得的深度影像得到另一影像，将影像合成立体图形，可以降低系统的复杂度并且加速影像的合成。

附图说明

图1为立体图形以及3D影像概念的示意图。

图2为现有技术的立体图形系统的方块图。

图3为现有技术的立体图形系统的方块图。

图4显示人的视觉神经所产生的左眼以及右眼所观察到物体的相对位置。

图5显示深度影像绘制的实施例的示意图。

图6为本发明实施例的基于深度的影像绘制的立体图形系统的示意图。

图7为本发明另一实施例的基于深度的利用至少两管线的影像绘制的立体图形系统的示意图。

图8为本发明另一实施例的基于深度的利用至少两绘制单元的影像绘制的立体图形系统的示意图。

图9为本发明实施例的立体图形系统的处理方法。

具体实施方式

图4显示人的视觉神经所产生的左眼以及右眼所观察到物体的相对位置。图5显示深度影像绘制的实施例的示意图，根据视觉神经产生的左眼所观察到的影像绘制右眼影像。请参考图4，左眼视线与右眼视线是相关的，深度是重要的关系。请参考图5，影像L代表左眼影像，影像R代表右眼影像，影像D代表深度影像，DV(display vector)为视差向量，左眼影像被首先绘制出来，然后计算出与左眼影像有关的深度影像，根据左眼影像以及深度影像绘制右眼影像。

图6为本发明实施例的基于深度的影像绘制的立体图形系统的示意图。立体图形系统400包含图形应用软件410，主管线(masterpipeline)420，绘制单元430，第一帧缓冲器440，第二帧缓冲器450，以及合成器(compositor)460。图形应用软件410提供图形数据至主管线420，主管线420绘制左眼影像并且获得与左眼影像有关的深度影像。左眼影像暂时储存于第一帧缓冲器440。主管线420将左眼影像以及深度影像传送至绘制单元430。绘制单元430根据左眼影像以及深度影像绘制右眼影像，并将右眼影像暂存于第二帧缓冲器450中。合成器460从第一帧缓冲器440以及第二帧缓冲器450中获得左眼影像和右眼影像，并将其左眼影像和右眼影像合成以产生显示于显示装置的影像结果。

如上所述，右眼影像可以从左眼影像以及深度影像信息中获得。但是，由图4所示，左眼与右眼的视线差异造成了遮蔽区域(occludedareas)。如果要求准确的影像结果，则绘制单元430对遮蔽区域绘制一个定界框(bounding box)并将此定界框传送至主管线420。主管线420再根据此定界框绘制遮蔽区域的右眼影像。遮蔽区域的右眼影像可通过内插法(interpolation)或是外插法(extrapolation)来提高画面质量。

图7为本发明另一实施例的基于深度的利用至少两管线的影像绘制的立体图形系统的示意图。立体图形系统500包含图形应用软件510，主管线520，从管线(slave pipeline)525，绘制单元530，第一帧缓冲器540，第二帧缓冲器550，第三帧缓冲器545，以及合成器560。主管线520从图形应用软件510获得图形数据，并且绘制左眼影像并根据左眼影像计算深度影像。然后左眼影像在第一帧缓冲器540进行缓冲，如果左眼影像中的物体也需要绘制，但其位置远于观察者的左眼深度影像，则从管线525绘制这个物体并将其影像传送至第三帧缓冲器545。主管线520将左眼影像以及深度影像传送至绘制单元530。绘制单元530根据左眼影像以及深度影像绘制右眼影像，并将右眼影像暂存于第二帧缓冲器550。合成器560从第一帧缓冲器540以及第二帧缓冲器550中获得左眼影像和右眼影像，并从第三帧缓冲器545中获得物体影像，然后将左眼影像和右眼影像以及物体影像进行合成以产生显示于显示装置的影像结果。

图8为本发明另一实施例的立体图形系统的示意图，基于深度信息并利用至少两绘制单元产生立体影像。立体图形系统600包含图形应用软件610，主管线620，绘制单元630以及635，第一帧缓冲器640，第二帧缓冲器650，第三帧缓冲器655，以及合成器660。主管线620从图形应用软件610获得图形数据，并从影像数据中绘制左眼影像，并根据左眼影像获得影像深度，然后将左眼影像传送至第一帧缓冲器640。如果左眼影像中的物体也需要绘制，但其位于左眼深度影像附近，则绘制单元635绘制此物体，并将物体影像传送至第三帧缓冲器655。主管线620将左眼影像以及深度影像传送至绘制单元630以绘制右眼影像，并且右眼影像暂时储存至第二帧缓冲器650。合成器660从第一帧缓冲器640以及第二帧缓冲器650中获得左眼影像和右眼影像，并从第三帧缓冲器655中获得物体影像，然后将左眼影像和右眼影像以及物体影像进行合成以产生显示于显示装置的影像结果。

在其它一些实施例中，立体图形系统根据两个以上视野产生最终影像，例如，包含左，右以及中央视野。中央视野的影像可由与图5结构相似的另外一个图形管线而获得，或由与图6结构相似的另外一个绘制单元而获得。

图9为本发明实施例的立体图形系统的处理方法。当图形应用软件开始工作时，绘制对应左眼的第一影像以及与与第一影像相关的深度影像(步骤71)。传送第一影像至第一帧缓冲器以及绘制单元，并传送深度影像至绘制单元(步骤72)。根据第一影像以及深度影像计算与右眼相关的第二影像(步骤73)。然后，传送第二影像至第二帧缓冲器(步骤74)。从第一帧缓冲器以及第二帧缓冲器获得第一影像和第二影像，然后将第一影像和第二影像合成以产生影像结果(步骤75)，并将影像结果显示于显示设备上。

因此，基于深度影像绘制的立体图形系统以及处理方法可应用至影像卡(graphics cards)或其它支持立体图形的产品。以上实施例所提出的立体图形系统以及方法通过利用深度信息加速影像合成。处理复杂场景的帧率也能保持与仅采用一个图形管线单元时的帧率相等。

以上所揭露的方法均可以程序的形式储存于媒体中，如，CD-ROM，硬盘，韧体，或其它机器可读储存媒体，其中，程序代码(例如计算机指令)由机器加载并执行。当程序代码由机器，例如计算机，加载并执行时，机器成为实施上述揭露的内容的装置。

本发明另一实施例提供一种用以处理立体图形的可读计算器储存媒体，包含：主管线模块，从图形数据绘制左眼的第一影像并获得与第一影像相关的深度影像；第一帧缓冲模块，暂存第一影像；绘制模块，根据第一影像以及深度影像绘制右眼的第二影像；第二帧缓冲模块，暂存第二影像；以及合成模块，获取第一影像以及第二影像并将第一影像以及第二影像合并成影像结果。如果侦测到第一影像以及该第二影像的遮蔽区域，绘制模块绘制定界框；以及绘制模块根据定界框绘制该遮蔽区域。绘制模块通过内插法绘制该遮蔽区域。

以上所揭露的方法还可被应用于在传输媒体上(例如，电线，电缆或光缆等)或通过任何其它传输方式传送的程序代码。其中，当程序代码由机器(例如计算机)接收并加载，机器成为实施上述揭露的内容的装置。当实施于一般概念的处理器时，程序代码与处理器结合以提供一特定装置来操作特定的电路。

Claims (13)

1.一种立体图形系统，包含：

主管线，接收图形数据，自图形数据绘制第一影像，并根据该第一影像获得与该第一影像相关的深度影像；

绘制单元，耦接至该主管线，从该主管线获得该第一影像以及该深度影像，并基于该第一影像以及该深度影像绘制第二影像；

第一帧缓冲器，耦接至该主管线，获得并储存该第一影像；

第二帧缓冲器，耦接至该绘制单元，获得并储存该第二影像；以及

合成器，耦接至该第一帧缓冲器以及该第二帧缓冲器，从该第一帧缓冲器以及该第二帧缓冲器获得该第一影像以及该第二影像，并将该第一影像和该第二影像合成以产生影像结果。

2.根据权利要求1所述的立体图形系统，其特征在于，如果侦测到该第一影像以及该第二影像的遮蔽区域，该绘制单元绘制定界框并将该定界框传送至该主管线，该主管线根据该定界框绘制该遮蔽区域。

3.根据权利要求2所述的立体图形系统，其特征在于，该遮蔽区域通过内插法绘制。

4.根据权利要求1所述的立体图形系统，其特征在于，该第一影像为左眼影像或右眼影像。

5.根据权利要求4所述的立体图形系统，其特征在于，如果该第一影像为左眼影像，该第二影像为右眼影像。

6.根据权利要求1所述的立体图形系统，其特征在于，更包含：

第二绘制单元，从该主管线获取该第一影像以及该深度影像，并绘制第三影像；以及

第三帧缓冲器，耦接至该第二绘制单元，获得并储存该第三影像；

其中该合成器通过合并该第一影像，该第二影像以及该第三影像产生该影像结果。

7.根据权利要求1所述的立体图形系统，其特征在于，更包含：

从管线，接收该图形数据并绘制第三影像；以及

第三帧缓冲器，获得并储存该第三影像；

其中该合成器通过合并该第一影像，该第二影像以及该第三影像产生该影像结果。

8.一种处理立体图形的方法，包含：

接收图形数据；

自图形数据绘制第一影像并获得与该第一影像相关的深度影像；

暂存该第一影像；

根据该第一影像以及该深度影像绘制第二影像；

暂存该第二影像；以及

获取该第一影像以及该第二影像并将该第一影像以及该第二影像合并成影像结果。

9.根据权利要求8所述的处理立体图形的方法，其特征在于，更包含：

如果侦测到该第一影像以及该第二影像的遮蔽区域，绘制定界框，根据该定界框绘制该遮蔽区域。

10.根据权利要求9所述的处理立体图形的方法，其特征在于，该遮蔽区域通过内插法绘制。

11.根据权利要求8所述的处理立体图形的方法，其特征在于，该第一影像为左眼影像或右眼影像。

12.根据权利要求8所述的处理立体图形的方法，其特征在于，更包含：

获取该第一影像以及该深度影像以绘制第三影像；以及

暂存该第三影像；

其中合并步骤为：合并该第一影像，该第二影像以及该第三影像以产生该影像结果。

13.根据权利要求8所述的处理立体图形的方法，其特征在于，更包含：

接收该图形数据并绘制第三影像；以及

暂存该第三影像；

其中合并步骤为：合并该第一影像，该第二影像以及该第三影像以产生该影像结果。

Images