CN101127124A - 在显示用图形对象绘制期间变换对象顶点的方法及设备 - Google Patents

Abstract

一种在显示用图形对象绘制期间变换对象顶点的方法，包括用乘积矩阵去乘要被变换的对象空间中的各对象顶点。乘积矩阵是模型－视图矩阵和投影矩阵的乘积。结果，各对象顶点可通过一次乘法运算从对象空间变换到剪裁空间。

Description

在显示用图形对象绘制期间变换对象顶点的方法及设备

技术领域

本发明一般涉及图形应用，尤其是涉及在显示用图形对象绘制期间变换对象顶点的方法和设备。

背景技术

OpenGL是二维(2D)和三维(3D)图形应用的一个工业标准图形应用设计界面(API)。一般来说，OpenGL应用编程接口处理表示将被绘制的对象的图形数据，该图形数据从一个主机应用程序获得，并在显示设备上绘制图形对象给用户看。各个对象的图形数据包括一个三维坐标数组和通常被称为顶点的关联数据。对象顶点用4元齐次向量[x，y，z，w]表示，其中，x、y和z是三维空间中的顶点坐标，w是一(1)。当接收到对象顶点时，OpenGL应用编程接口变换对象顶点并通过将对象顶点集合集中在一起而形成点、线、三角和多边形以构造图形处理原语。所构造的图形处理原语然后用于绘制显示设备上的图形对象。

关于处理对象顶点的方法已有很多文献记载。例如，Taylor等人的6552733号美国专利揭示了一个可配置顶点交融电路，该电路允许变形和蒙皮操作在专用硬件中得到支持。顶点交融电路包括矩阵序列，该矩阵序列用于存储与顶点交融操作的各部分相关联的矩阵。顶点数据存储在包括多位置缓冲区的输入顶点缓冲区，以使得与变形操作相关联的多位置能够被存储。与蒙皮操作典型相关联的单位置能够存储在位置缓冲区之一中。输入顶点缓冲区还存储与包含在全部顶点交融操作中的各种组件操作相关联的交融权重。一个由变换控制器配置和控制的运算器，执行包含在全部顶点交融操作中的多个组件操作中各自所需的计算。然后，各个这样的组件操作的结果组合而产生经交融的顶点。

Mang等人的6567084号美国专利揭示了一个光照效果计算块和方法。光照效果计算块将用于视频图形处理原语的光照效果计算分为一些较简单的计算，这些较简单的计算并行执行但以按序方式累加。各个单独的计算由一个单独的线程控制器控制。用于基元顶点的光照效果计算可以用一个一次父光线程控制器和一些子光线程控制器执行。各个线程控制器控制与特定顶点的光照参数确定相关的操作代码的一个线程。线程控制器将操作代码提交给基于各种操作代码之间的预期延迟和相互依存性的一个仲裁块。该仲裁块确定哪一个操作代码在特定周期执行并且将操作代码提供给计算引擎。该计算引擎执行基于操作代码的计算并将结果存入存储器，或者存入与特定顶点光照效果块相应的累加缓冲区。为了保证按序操作正确执行，各个子光线程控制器确定用于前面线程的累加操作在将自身的操作代码提交给仲裁块之前是否已被初始化。

Idaszak等人的6573894号美国专利揭示了使用一个平面图像图形计算机系统，例如一个OpenGL RTM系统，图像数据为了在非平面显示器上显示而被转换为非平面图像数据的方法。在该方法中，变换矩阵从平面图像图形计算机系统中获得。由所获得的变换矩阵去乘多个图像数据的顶点，以产生变换后的图像数据。变换后的图像数据经非平面失真纠正而产生非平面图像数据。一个通过(pass-through)变换矩阵，例如一个单位矩阵，被提供给平面图像图形计算机系统。然后非平面图像数据被输入到平面图像图形计算机系统中作进一步处理。然后，经平面图像图形计算机系统处理的非平面图像数据在非平面显示器上显示。

Demers等人的6700586号美国专利揭示了包括常规图形和音频处理器的图形系统，该系统产生二维(2D)和三维(3D)图形及环境声音。一个附加的矩阵乘法计算单元与模型-视图矩阵计算单元级连，并支持用于骨骼动画建模的蒙皮的分段线性版本。连接于级连的矩阵乘法计算单元之间的正规化器提供了正规化，以避免可视化失真。除了骨骼动画建模，附加矩阵乘法计算单元可用于其他应用中(如绘制环境映射)。

Marino等人的6731303号美国专利揭示了包括一个用于接收图形数据的输入部件的图形系统。图形数据包括对象的位置坐标和深度坐标。包括用以传输处理过的图形数据的输出。图形系统也包含产生经处理的图形数据的处理元。处理元中的一个连接输入，处理元中的另一个连接输出。一个被选处理元接收位置坐标和深度坐标，并将深度坐标反转，用反转的深度坐标去乘位置坐标。

Kilgard等人的6894687号美国专利揭示了在顶点处理期间用以混叠顶点属性的系统、方法和产品。最初，多个标识符被映射到与顶点数据相关联的多个参数中的一个。其后，该顶点数据通过调用参数来处理，其中利用能够用标识符引用参数的顶点程序。

Glanville等人U.S.2003/0009748号专利申请公布揭示了用以在图形处理期间改善性能的系统，其中涉及应用可编程(application-programmable)顶点处理。中央处理器(CPU)包括用来执行代码段的操作系统，这些代码段能够在CPU上执行图形处理。与CPU相关联的是一个图形专用集成电路(ASIC)，包括能够按照图形处理标准执行图形处理的硬件实现的图形流水线。按图形处理标准编写的软件适于指引图形ASIC来执行图形处理。软件的扩展名可识别将在图形ASIC中执行的图形处理的第一部分和将在CPU中执行的图形处理的第二部分。图形处理的第二部分包括不能被图形ASIC计算的应用可编程顶点处理。编译器按照扩展名编译用来执行图形处理第一部分和第二部分的软件。

Kaufman等人的U.S.2004/0125103号专利申请，公开了用于实时体处理和通用三维绘制的装置和方法。该装置包括：三维(3D)存储器单元；提供全局水平通信的像素总线；绘制流水线；几何总线；以及控制单元。带有环形光线综合流水线的块处理器，处理体素数据和光线数据。光线一般按图像顺序处理，因而允许灵活性(例如，透视投影，全局照明)。

Zuiderveld等人的U.S.2005/0143654号专利申请，公开了用以可视化包括使用不同分割区的体素的体数据的系统和方法。分割掩码向量与各个体素相关联并定义体素隶属的分割区。在可视化期间，分割掩码被内插来获取分割掩码权重向量。对于各个抽样点，由分割掩码权重向量乘以可视化值向量来产生复合片段值。片段值用复合方式结合进像素值中。商品可编程视频卡的计算效率被增强来确定多分割数据区的子抽样的部分贡献权重，以使如颜色和不透明等片段具体特征能够正确地按片段结合，这适合于体绘制。

虽然上述参考内容揭示了顶点处理技术，但它们不能解决在对象顶点变换过程中产生的计算问题。当为了显示而被绘制的对象产生后，定义对象的顶点通常在模型或对象坐标系统中，一般称为对象空间。为了绘制显示用图形对象，对象空间中的对象顶点必须投影或映射到一个窗口坐标系统，该系统一般称为屏幕空间。

从对象空间向屏幕空间投影对象顶点，通常需要一系列矩阵操作。图1表示在一个OpenGL图形管道中，将对象空间中的对象顶点变换到屏幕空间中的对象顶点需要执行的操作。正如所看到的，在顶点变换过程中，通过用模型-视图矩阵[M_mv]乘各个对象顶点{V₀}，对象空间110中各个对象顶点{V₀}被变换到眼空间(eye space)120中的一个对象顶点{V_e}，

所依据的是：

{V_e}＝[M_mv]*{V₀}   (1)

或者

$\left[\begin{array}{c}{e}_0\\ e_1\\ e_2\\ e_3\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{mv}}_{\text{00}}& {\mathrm{mv}}_{10}& {\mathrm{mv}}_{20}& {\mathrm{mv}}_{30}\\ {\mathrm{mv}}_{01}& {\mathrm{mv}}_{11}& {\mathrm{mv}}_{21}& {\mathrm{mv}}_{31}\\ {\mathrm{mv}}_{02}& {\mathrm{mv}}_{12}& {\mathrm{mv}}_{22}& {\mathrm{mv}}_{32}\\ {\mathrm{mv}}_{03}& {\mathrm{mv}}_{13}& {\mathrm{mv}}_{23}& {\mathrm{mv}}_{33}\end{array}\right]*\left[\begin{array}{c}{o}_0\\ o_1\\ o_2\\ o_3\end{array}\right]$

然后，通过用一个投影矩阵[M_p]去乘各个对象顶点{V_e}，眼空间120中各个对象顶点{V_e}被变换到剪裁空间(clip space)的一个对象顶点{V_c}，所依据的是：

{V_c}＝[M_p]*{V_e}   (2)

或者

$\left[\begin{array}{c}{c}_0\\ c_1\\ c_2\\ c_3\end{array}\right]=\left[\begin{array}{cccc}{p}_{00}& p_{10}& p_{20}& p_{30}\\ p_{01}& p_{11}& p_{21}& p_{31}\\ p_{02}& p_{12}& p_{22}& p_{32}\\ p_{03}& p_{13}& p_{23}& p_{33}\end{array}\right]*\left[\begin{array}{c}{e}_0\\ e_1\\ e_2\\ e_3\end{array}\right]$

一旦对象顶点在剪裁空间130中，对象顶点{V_c}被变换到归一化设备坐标(NDC)空间140，然后变换到屏幕空间150。

不难理解，将对象空间中的对象顶点变换到剪裁空间中的对象顶点的计算成本是非常高的，因为对于每个对象顶点需要至少两个矩阵-向量乘法运算。因而需要改进。

因此，本发明的目的是提供用来在显示用图形对象绘制期间变换对象顶点的新方法及设备。

发明内容

因此，一方面，本发明提供了在显示用图形对象绘制期间变换对象顶点的方法，其中包括：

在对象空间中用乘积矩阵去乘各个将被变换的对象空间中的对象顶点。所述乘积矩阵是模型-视图矩阵和投影矩阵的乘积。从而，各个对象矩阵通过一次乘法运算从对象空间变换到剪裁空间。

在一个实施例中，在乘法运算之前，查看状态信息以确定状态信息是否意味着乘积矩阵不被使用。根据查看结果，如果乘积矩阵被使用，则执行乘法运算。如果乘积矩阵不被使用，则用模型-视图矩阵去乘对象空间中的各个对象顶点以将各个对象顶点变换到眼空间，再用投影矩阵去乘眼空间中的各个对象顶点以将各个对象顶点变换到剪裁空间。如果乘积矩阵不被使用，则至少设置一个标志。当模型-视图矩阵和投影矩阵中至少一个改变了和/或如果至少一个被选的光栅化特征(rasterization feature)被启用时，至少设置一个标志。

另一方面，本发明提供了包括用来在显示用图形对象绘制期间变换对象顶点的计算机程序的计算机可读介质，所述计算机程序包括：

用乘积矩阵去乘对象空间中的各个将被变换的对象顶点，所述乘积矩阵是模型-视图矩阵和投影矩阵的乘积，从而通过一次乘法运算将各个对象顶点从对象空间变换到剪裁空间的计算机程序代码。

再一方面，本发明提供了在显示用图形对象绘制期间变换对象顶点的光栅化引擎，包括：

将模型-视图矩阵、投影矩阵和乘积矩阵存储的矩阵存储器，所述乘积矩阵是所述模型-视图矩阵和投影矩阵的乘积；

状态信息存储器；以及

用所述乘积矩阵去乘各个对象顶点以用一次乘法运算将各个对象顶点从对象空间变换到剪裁空间的图形处理器。

通过在中间变化到模型-视图矩阵和投影矩阵的一次乘法运算将对象空间中的对象顶点变换到剪裁空间中的对象顶点，当光栅化引擎的被选特征未被启用时，对象顶点变换能够快速和稳定地执行，从而显著减少计算负担。

附图说明

现在参照附图，更充分的描述一个实施例，其中：

图1表示将对象空间中的对象顶点变换到屏幕空间中的对象顶点的一个常规的OpenGL图形流水线；

图2表示在显示用图形对象绘制期间变换对象顶点的OpenGL光栅化引擎的框图；

图3表示在对象顶点变换期间由图2所示的由光栅化引擎执行的步骤的流程图。

具体实施方式

在下面描述中，提供了用于在显示用图形对象绘制期间变换对象顶点的方法和光栅化引擎。在该方法中，用一个乘积矩阵去乘对象空间中各个将被变换的对象顶点。乘积矩阵是模型-视图矩阵和投影矩阵的乘积。结果，通过一次乘法运算，各个对象顶点从对象空间变换到剪裁空间。如果在不使用乘积矩阵的情况下，则以常规的方式将对象空间中的对象顶点变换到剪裁空间的对象顶点。即用模型-视图矩阵去乘对象空间中的对象顶点以将对象顶点变换到眼空间，用投影矩阵去乘眼空间中的对象顶点以将对象顶点变换到剪裁空间。

现在看图2，该图表示从对象空间向剪裁空间变换对象顶点的光栅化引擎，整体用附图标记200标示。如图所示，光栅化引擎200包括一个用来执行对象顶点变换应用的图形处理器202，一个随机存取存储器204和一个非易失存储器阵列205，该非易失存储器阵列205包括矩阵存储器206、208、210和状态信息存储器212。矩阵存储器206存储用于将对象空间的对象顶点变换到眼空间的对象顶点的模型-视图矩阵[M_mv]。矩阵存储器208存储用来将眼空间中的对象顶点变换到剪裁空间中的对象顶点的投影矩阵[M_p]。矩阵存储器210存储乘积矩阵，该乘积矩阵是模型-视图矩阵[M_mv]和投影矩阵[M_p]的乘积。状态信息存储器212存储标志，该标志由图形处理器202查看以确定对象顶点从对象空间向剪裁空间变换的过程中使用哪个或哪些矩阵。

在图形数据处理期间，数以百计或千计的对象顶点需要从对象空间变换到剪裁空间，在这之间变化到模型-视图矩阵[M_mv]或投影矩阵[M_p]。如前所述，根据上面的等式(1)和(2)处理对象顶点，将对象顶点从对象空间变换到剪裁空间，结合等式(1)和(2)可得：

{V_c}＝[M_p]*([M_mv]*{V₀})     (3)

等式(3)可改写为：

{V_c}＝([M_p]*{M_mv])*{V₀}

或者

{V_c}＝[M_x]*{V₀}       (4)

其中：

{V₀}是对象空间中的对象顶点；

{V_c}是剪裁空间中的对象顶点；

[M_x]是投影矩阵[M_p]和模型-视图矩阵[M_mv]的乘积矩阵。

从而，有了乘积矩阵可供使用，只需通过执行一次矩阵乘法运算，即用乘积矩阵[M_x]去乘对象空间中的对象顶点，对象空间中的对象顶点就能变换为剪裁空间中的对象顶点。由于光栅化引擎200将乘积矩阵[M_x]存储在矩阵存储器210中，从对象空间到剪裁空间的对象顶点变换能够快速且简易地产生。

现在看图3，图中显示了在对象顶点从对象空间向剪裁空间变换期间由光栅化引擎执行的步骤。为便于讨论，这里假设乘积矩阵[M_x]已经存储在矩阵存储器210中，并且已经通过图形处理器202载入RAM 204中。当图形处理器202接收到代表将被绘制的图形对象的对象空间中的对象顶点时，查看状态信息存储器212以确定其中是否已设置一个或多个标志，表示乘积矩阵[M_x]不应被用于将对象空间中的对象顶点变换为剪裁空间的对象顶点(步骤300和302)。如果未设这样的标志，图形处理器202就选择一个对象顶点(步骤304)并用乘积矩阵[M_x]去乘该被选的对象顶点，从而用一个矩阵乘法运算将被选择的对象顶点变换到剪裁空间(步骤306)。然后将对象顶点计数加一(步骤308)，并且查看是否存在更多供选择的对象顶点(步骤310)。如果没有另外的供选择的对象顶点存在，对象顶点变换过程就可认为已经完成(步骤312)。在步骤310中，如果另有一个或多个供选择的对象顶点存在，处理过程返回到步骤300。不难理解，如果状态信息存储器212中未设置标志，则可用单个的乘法运算将对象空间中各对象顶点变换到剪裁空间中的对象顶点。

因为可能发生乘积矩阵失效的情况和/或眼空间中需要对象顶点的情况，在乘积矩阵[M_x]使用前查看状态信息存储器212。在后一情况，当光栅化引擎200的某些特征(例如OpenGL用户剪裁面、OpenGL光照效果或OpenGL雾化效果)被启用时，需要眼空间中的对象顶点。图形处理器202监测这些OpenGL特征的状态，并且当其一个或多个特征被启用时，图形处理器202在状态信息存储器212中为每个被启用的特征设置一个相应的标志。当一个这样的标志被设置时，所设标志在步骤300中被检测出，导致乘积矩阵[M_x]在对象顶点变换期间不起作用。

此例中，以常规方式将对象顶点从对象空间变换到剪裁空间(步骤314)。于是，图形处理器202将模型-视图矩阵[M_mv]和投影矩阵[M_p]存放到RAM 204中。对于对象空间中的各对象顶点，图形处理器202用模型-视图矩阵[M_mv]去乘对象顶点，将对象顶点变换到眼空间。然后，图形处理器202用投影矩阵[M_p]去乘眼空间中的各对象顶点，将对象顶点变换到剪裁空间。

图形处理器202也监测模型-视图矩阵[M_mv]和投影矩阵[M_p]的状态，以确定这两个矩阵中是改变了其中一个还是两个。这两个矩阵的改变可能作为如下操作的结果而发生：将经更新的模型-视图和/或投影矩阵人工装入到光栅化引擎200；缩放、平移或旋转变换操作；当前矩阵堆栈的弹出；和/或视点位置或平截头台的改变。如果模型-视图矩阵或投影矩阵已发生改变，则图形处理器202在状态信息存储器212中设置相应的标志。若这样的标志已被设置，在步骤300中所设标志被检出，导致乘积矩阵[M_x]在对象顶点变换期间不起作用。若模型-视图矩阵和/或投影矩阵的改变已发生，一旦当前的对象顶点变换任务完成，图形处理器202就将更新后的模型-视图矩阵[M_mv]和投影矩阵[M_p]装入RAM 204，重新计算乘积矩阵[M_x]，并将新的乘积矩阵[M_x]存入矩阵存储器210供将来使用。

一旦对象顶点已被变换到剪裁空间，对象顶点就能由图形处理器202以常规的方式变换到NDC空间，然后变换到屏幕空间，但以上未对此作出描述。

光栅化引擎200可在个人计算机(PC)或类似设备的中央处理器(CPU)中实现，或者可在装于个人计算机或类似设备中的单独的图形处理单元中实现。

对象顶点变换软件应用程序包括由图形处理器等处理单元执行的计算机可执行指令。软件应用程序可包含程序块，程序块可包含例行程序、程序、对象部件、数据结构等等，也可作为存储于计算机可读介质上的计算机可读程序代码来实现。计算机可读介质为任何可存储数据的数据存储设备，之后可由计算机系统读出。计算机可读介质例如可包括只读存储器、闪存、随机存取存储器、硬盘驱动器、磁带、光盘和其他光学数据存储设备。计算机可读程序代码也可分布在包含所连接的计算机系统的网络上，以使计算机可读程序代码被以分布式方式存储和执行。

以上描述了一个实施例，但本领域技术人员应当知道在不背离附加的权利要求确定的精神和范围的前提下，可以进行变化和更改。

Claims (19)

1.一种在显示用图形对象绘制期间变换对象顶点的方法，包括：

用乘积矩阵去乘对象空间中将被变换的各对象顶点，所述乘积矩阵是模型-视图矩阵和投影矩阵的乘积，从而，通过一次乘法运算将各对象顶点从对象空间变换到剪裁空间。

2.权利要求1所述的方法，还包括：

在所述乘法运算之前，查看状态信息以确定所述状态信息是否表示所述乘积矩阵不被使用；

若乘积矩阵被使用，就所述乘法运算；以及

若乘积矩阵不被使用，就用所述模型-视图矩阵去乘对象空间中的各对象顶点以将各对象顶点变换到眼空间，再用所述投影矩阵去乘眼空间中的各对象顶点以将各对象顶点变换到剪裁空间。

3.权利要求2所述的方法，其中：若所述乘积矩阵不被使用，则设置至少一个标志。

4.权利要求3所述的方法，其中：当所述模型-视图矩阵和投影矩阵中至少一个已改变时，设置所述至少一个标志。

5.权利要求4所述的方法，其中：当所述模型-视图矩阵和投影矩阵中至少一个已改变时，重新计算所述乘积矩阵。

6.权利要求3所述的方法，其中：当至少一个被选的光栅化特征被启用时，设置所述至少一个标志。

7.权利要求6所述的方法，其中：所述至少一个被选的光栅化特征从包含光照效果、雾化效果和剪裁平面的组中选出。

8.权利要求5所述的方法，其中：当至少一个被选的光栅化特征被启用时，设置所述至少一个标志。

9.权利要求6所述的方法，其中：所述至少一个被选的光栅化特征从包含光照效果、雾化效果和剪裁平面的组中选出。

10.一种存有在显示用图形对象绘制期间变换对象顶点的计算机程序的计算机可读介质，所述计算机程序包括：

执行用乘积矩阵去乘对象空间中将被变换的各对象顶点的操作的计算机程序代码，所述乘积矩阵是模型-视图矩阵和投影矩阵的乘积，从而通过一次乘法运算将各对象顶点从对象空间变换到剪裁空间。

11.权利要求10所述的计算机可读介质，其中所述计算机程序还包括：

在所述乘法运算之前查看状态信息，以确定所述状态信息是否表示所述乘积矩阵不被使用的计算机程序代码；以及

当所述乘积矩阵不被使用时，响应用于查看的所述计算机程序代码而作如下操作的计算机程序代码：当所述乘积矩阵不被使用时用所述模型-视图矩阵去乘对象空间中各对象顶点以将各对象顶点变换到眼空间，并以所述投影矩阵去乘眼空间中各对象顶点以将各对象顶点变换到剪裁空间。

12.一种在显示用图形对象绘制期间变换对象顶点的光栅化引擎，包括：

将模型-视图矩阵、投影矩阵和乘积矩阵存储的矩阵存储器，所述乘积矩阵是所述模型-视图矩阵和投影矩阵的乘积；

状态信息存储器；以及

图形处理器，用所述乘积矩阵去乘各对象顶点，以将各对象顶点在一次乘法运算中从对象空间变换到剪裁空间。

13.权利要求12所述的光栅化引擎，其中：所述状态信息存储器存储至少一个可设置标志，当所述状态信息存储器中的一个标志被设置时，所述图形处理器用所述模型-视图矩阵去乘各对象顶点以将各个对象顶点变换到眼空间，用所述投影矩阵去乘各对象顶点以将各对象顶点变换到剪裁空间。

14.权利要求13所述的光栅化引擎，其中：当所述模型-视图矩阵和投影矩阵中至少一个已被改变时，设置所述至少一个标志。

15.权利要求14所述的光栅化引擎，其中：当所述光栅化引擎的一个被选特征被启用时，设置所述至少一个标志。

16.权利要求15所述的光栅化引擎，其中：所述被选特征从包含光照效果、雾化效果和剪裁平面的组中选出。

17.权利要求14所述的光栅化引擎，其中：当模型-视图和投影矩阵中的一个或两个被改变时，所述图形处理器重新计算乘积矩阵。

18.权利要求13所述的光栅化引擎，其中：当所述光栅化引擎的一个被选特征被启用时，设置所述至少一个标志。

19.权利要求18所述的光栅化引擎，其中：所述被选特征从包含光照效果、雾化效果和剪裁平面的组中选出。

Images