CN101650822B - 交互信息生成方法及系统 - Google Patents

Abstract

本发明涉及一种图元场景渲染中生成交互信息的方法和系统，方法在图元场景渲染过程中包括：将预先根据上层应用需求确定的图元相关的交互信息数据设置到绘图引擎中；将根据上层应用需求确定的对交互信息数据的处理方式参数设置到绘图引擎中；对设置了交互信息数据和处理方式参数的图元场景执行渲染操作，将图元对应的交互信息数据写入显示缓存，以在显示缓存中生成图元场景的交互信息映射图。本发明在基于绘图引擎的图元场景渲染程序运行期间插入用于生成人机交互信息数据的逻辑代码，这些生成的交互信息被存入显存中，且与原场景画面的屏幕坐标相对应，从而在不修改应用程序的情况下生成附加的交互信息映射图，为扩展应用提供了基础数据。

Description

交互信息生成方法及系统

技术领域

本发明涉及计算机图像技术，尤其涉及一种在应用绘图引擎的程序的渲染过程中生成交互信息的方法及其系统。

背景技术

计算机图像技术已被广泛的应用在二维显示屏幕的图像表示，这种图像表示已经可以达到非常细致的程度。在显示屏幕上所要表示的显示对象是以图形图元为基本单位的，通过硬件或软件方式可以对这些图元进行图像渲染或绘图，进而得到显示屏幕中各个显示对象的视图。所谓图像渲染是指将基于对象的高级描述转换为在显示设备上显示的图形化图像的过程，以3D渲染为例，图像渲染指的是由提供绘图引擎的显卡将3D对象或场景的数学模型转换为在显示屏上显示的位图(Bitmap)图像的过程。

绘图引擎是显卡提供的应用编程接口(API)。只有通过调用绘图引擎，才可以使显卡执行渲染操作。在将绘图引擎和显卡看作是一体的时，不需要对其加以区分。

执行渲染还可以使用着色器(shader)。着色器应用于计算机图形学领域，指一组供计算机图形资源在执行渲染任务时使用的指令。程序员将着色器应用于图形处理器(GPU)的可编程流水线，来实现三维应用程序。这样的图形处理器有别于传统的固定流水线处理器，为GPU编程带来更高的灵活性和适应性。此外，着色器被用来在渲染的同时处理大量的数据，比如屏幕上的一整块像素群，或者一个模型结构的所有顶点。并行计算适用于这样的情况，而且当今的GPU也设计有多核结构来极大的提高处理效率。

目前，计算机应用程序中有很多在运行过程中动态生成绘制图元，并在显示屏上渲染出动态图像的基于绘图引擎的应用程序。由于这类应用程序极富表现力，因此被广泛应用在医疗、娱乐、科研以及互联网服务等方面。以互联网服务为例，包含这类应用程序的客户终端通常会吸引大量的用户使用。这类应用程序通常都比较复杂，开发成本很高，如果在封装之后的程序上扩展应用将是非常困难且高成本的，因而在不修改封装程序的情况下自由扩充原有程序的功能成为一种需求。

发明内容

本发明的目的是提出一种在图元场景渲染中生成交互信息的方法及系统，能够在基于绘图引擎的图元场景渲染程序运行期间生成人机交互信息，为开发扩展的人机交互程序提供基础信息数据。

为实现本发明的目的，本发明提供了一种在图元场景渲染中生成交互信息的方法，在图元场景渲染过程中，还包括以下步骤：

将预先根据上层应用需求确定的图元相关的交互信息数据设置到绘图引擎中；

将根据上层应用需求确定的绘图引擎支持的对所述交互信息数据的处理方式参数设置到绘图引擎中处理；

对设置了所述交互信息数据和处理方式参数的图元场景执行渲染操作，将所述图元对应的交互信息数据写入显示缓存，以在显示缓存中生成所述图元场景的交互信息映射图。

进一步的，所述根据上层应用需求确定图元相关的交互信息数据的操作包括：

由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理色的方式在绘图引擎中存储和设置交互信息数据，根据所述内容分量合成出单一纹理色。

进一步的，所述根据上层应用需求确定图元相关的交互信息数据的操作包括：

由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理图的方式在绘图引擎中存储和设置交互信息数据，按照预设精度的分辨率生成位图作为交互信息数据纹理图，并将所述内容分量中的交互信息数据保存到该位图中，使所述位图中的像素所确定的数据单元中保存与该像素对应的交互信息数据。

进一步的，所述根据上层应用需求确定图元相关的交互信息数据的操作包括：

由扩展的上层应用需求确定使用存储于绘图引擎中的、与图元相关的数据作为图元的交互信息数据的内容分量，并由扩展的上层应用需求确定所述交互信息数据的内容分量在绘图引擎中的使用和设置方式。

进一步的，设定所述处理方式参数的操作包括：

设定表示直接使用所述交互信息数据进行着色的处理方式参数到绘图引擎中。

先由扩展的上层应用需求确定所述交互信息数据的内容分量的数学运算合并方式，并根据所述数学运算合并方式将这些运算的操作、操作数和操作顺序设定到绘图引擎中。

进一步的，在对设置了所述交互信息数据的图元场景执行渲染操作之前，还可以包括去除渲染特效参数的操作。

为实现上述目的，本发明还提供了一种图元场景渲染中交互信息生成系统，包括：

交互信息数据设置模块，用于将预先根据上层应用需求确定的图元相关的交互信息数据设置到绘图引擎中；

处理方式参数设置模块，用于将根据上层应用需求确定的绘图引擎支持的对所述交互信息数据的处理方式参数设置到绘图引擎中；

渲染模块，用于对设置了所述交互信息数据和处理方式参数的图元场景执行渲染操作，将所述图元对应的交互信息数据写入显示缓存，以在显示缓存中生成所述图元场景的交互信息映射图。

进一步的，系统还包括交互信息数据生成模块，用于由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理色的方式在绘图引擎中存储和设置交互信息数据，根据所述内容分量合成出单一纹理色；或由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理图的方式在绘图引擎中存储和设置交互信息数据，按照预设精度的分辨率生成位图作为交互信息数据纹理图，并将所述内容分量中的交互信息数据保存到该位图中，使所述位图中的像素所确定的数据单元中保存与该像素对应的交互信息数据；或由扩展的上层应用需求确定使用存储于绘图引擎中的、与图元相关的数据作为图元的交互信息数据的内容分量，并由扩展的上层应用需求确定所述交互信息数据的内容分量在绘图引擎中的使用和设置方式。

进一步的，系统还可以包括：

状态重设模块，用于在对设置了所述交互信息数据的图元场景执行渲染操作之前，去除渲染特效参数的影响。

为实现本发明的目的，本发明提供了一种图元场景渲染中生成交互信息的方法，在图元场景渲染过程中，还包括以下步骤：

定义绘图引擎支持的着色器代码；

将定义好的着色器代码加载到绘图引擎中；以及

对绘图引擎执行渲染操作，使绘图引擎执行之前设定的着色器代码，从而生成交互信息映射图。

为实现上述目的，本发明还提供了一种图元场景渲染中交互信息生成系统，包括：

加载模块，用于接收定义好的着色器代码，并通过绘图引擎的接口将接收到的着色器代码加载到绘图引擎中；和

执行模块，用于对绘图引擎执行渲染操作，使绘图引擎执行之前设定的着色器代码，从而生成交互信息映射图。

基于上述技术方案，本发明在基于绘图引擎的图元场景渲染程序运行期间插入用于生成人机交互信息数据的逻辑代码，这些生成的交互信息被存入显示缓存，且与原场景画面的屏幕坐标相对应，从而在不修改应用程序的情况下生成附加的交互信息映射图，该图为交互信息驱动的扩展应用提供了基础数据。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为根据本发明第一实施例的图元场景渲染中生成交互信息的方法的流程示意图。

图2为根据本发明第一实施例的方法的一个应用实例的流程示意图。

图3为本发明交互信息映射图的示意图。

图4为本发明显示缓存与显示屏之间的关系示意图。

图5为本发明应用中读取交互信息的方法的一实例的流程示意图。

图6为根据本发明第一实施例的图元场景渲染中生成交互信息的系统的一实例的结构示意图。

图7为根据本发明第一实施例的图元场景渲染中生成交互信息的系统的另一实例的结构示意图。

图8为根据本发明第二实施例的图元场景渲染中生成交互信息的方法的流程示意图。

图9为根据本发明第二实施例的图元场景渲染中生成交互信息的系统的一实例的结构示意图。

具体实施方式

现在将以具体的、示例性实施例描述本发明。应该理解，本发明不限于所披露的示例性实施例。还应该理解，目前所披露的基于执行阶段信息来排列图形元素的方法和装置的每一个特征并非都是实现所附权利要求任一具体权项要求保护的发明必不可少的。描述设备的多个元件和特征是为了使本发明完全能够得以实施。还应该理解的是，在本说明书中，在表示或者描述处理或方法之处，方法的步骤可以按照任何顺序执行或者同时执行，除非从上下文中显然可以看出一个步骤依赖于先前执行的另一步骤。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

在描述本发明技术方案之前，先给出一些技术名词的解释，如下：

绘图引擎：控制计算机显卡运作的程序接口，本文将这些接口和显卡看作一个整体，并称之为绘图引擎；

图元场景：在二维或三维空间中以特定状态摆放的图元集合；

图元：构成图元场景的元素，如：圆，三角，楼房、车等；

材质：描述图元表面反光或发光特性的参数；

纹理：描述图元表面颜色特性或凹凸特性的参数；

纹理图：被绘图引擎应用到图元表面用以表现图元纹理的位图；

纹理色：纹理位图指定像素点的颜色值；

渲染：将图元场景变为一幅平面图片的工作一平面化，由绘图引擎操作显卡完成；

着色：在渲染过程中根据设定的参数确定图元在平面化后各像素点的颜色；

渲染状态：渲染图元时所用的控制参数值；

反射、漫射：使渲染后图元表面上的一点带有周围图元颜色的成分；

透明：使渲染后图元表面上的一点带有被其遮挡的图元相应点的颜色成分；

雾：使渲染后图元表面上的一点带有某种特定颜色成分；

渲染目标：存放渲染结果的缓冲区域；

分辨率：指定面积内的像素数。

着色器：用户自定义的渲染代码，用于可编程流水线的渲染环节。

显示缓存(显存)：用于存放显示处理过程中的临时数据的缓冲存储区。

如图1所示，图1为根据本发明第一实施例的图元场景渲染中生成交互信息的方法的流程示意图。本实施例是基于固定流水线处理器的实现。在绘图引擎实现的图元场景渲染流程中，还包括以下步骤：

步骤101、将预先根据上层应用需求确定的图元相关的交互信息数据设置到绘图引擎中；

步骤102、将根据上层应用需求确定的绘图引擎支持的对所述交互信息数据的处理方式参数设置到绘图引擎中；

步骤103、对设置了所述交互信息数据和处理方式参数的图元场景执行渲染操作，将所述图元对应的交互信息数据写入显示缓存，以在显示缓存中生成所述图元场景的交互信息映射图。

在本实施例的步骤101中，在将交互信息数据到绘图引擎之前，可以预先根据上层应用请求确定交互信息数据的内容，并且确定该交互信息数据在所用绘图引擎中的存储和设置方式。例如，由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理色的方式在绘图引擎中存储和设置交互信息数据，根据所述内容分量合成出单一纹理色。

这里的内容分量可以理解为该图元的属性，举例来说，根据上层需求确定某一图元在附加应用中有两个属性的需求，分别是“是否可被左键单击”和“是否可被右键单击”，这两个属性均为布尔型属性，因此可以确定该图元的交互信息数据的内容分量为这两个属性，在表示这两个属性时，可以采用16进制的通用表示法，例如用0x1表示第1位的值为1，即表示“可被左键单击”，0x2表示第2位为1，即表示“可被右键点击”。在得到上述内容分量后，可以通过位或的方式合成这两个内容分量，得到纹理色0x3，该数值可以被设置为图元的交互信息数据。

上述例子仅用来说明内容分量的含义以及纹理色的合成过程，不应被理解为对交互信息数据的设置操作的具体限制，采用其他表示属性的表示方法以及纹理色的合成方法均应在本发明的保护范围之内。

交互信息数据的设置并不局限于纹理色，还可以扩展到纹理图，包含更多颜色特征的纹理图可以表示更丰富的交互信息。在预先确定交互信息数据时，由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理图的方式在绘图引擎中存储和设置交互信息数据，按照预设精度的分辨率生成位图作为交互信息数据纹理图，并将所述内容分量中的交互信息数据保存到该位图中，使所述位图中的像素所确定的数据单元中保存与该像素对应的交互信息数据。

在一个图元中可以根据上层应用的需求设置更复杂的交互信息，例如在图元中增加操作区域的属性，即在一个图元中设置多个可操作区域，每个区域可以设置不同的属性。这些属性在本发明中同样被定义为内容分量，这些内容分量被存储到位图中的像素所确定的数据单元中。这些内容分量所表示的交互信息数据可以包括点对应的图元表面坐标、点所属图元表面区域号，点的交互类型信息以及图元的标识号、图元所属的类别、图元所关联的场景或其他图元等。

除了上述纹理色和纹理图的形式之外，还可以在图元的某个或某些相关的点(例如图元的某个或某些顶点)存储交互信息数据的多个内容变量的数据结构，例如包括世界坐标值、漫射颜色值、高光颜色值、贴图坐标值、自定义交互属性值(例如可被鼠标左键点击)等内容变量。即由扩展的上层应用需求确定使用存储于绘图引擎中的、与图元相关的数据作为图元的交互信息数据的内容分量，并由扩展的上层应用需求确定所述交互信息数据的内容分量在绘图引擎中的使用和设置方式。通过在渲染前对将例如以“世界坐标值”作为“漫射颜色值”进行渲染的交互信息数据和处理方式参数设置到渲染引擎中，从而在实现渲染目标上生成一张颜色等于世界坐标的交互信息映射图。

在设定处理方式参数时，可以直接采用交互信息数据进行着色，即“以直接使用纹理色或纹理图或交互信息数值进行着色”作为处理方式参数，也可以采用由扩展的上层应用需求确定的交互信息数据的内容分量的数学合并方式进行处理，即“以数学运算的操作、操作数和操作顺序”作为处理方式参数。

本发明实施例可以在不修改原应用程序的情况下嵌入到一般的图元场景渲染过程中，接下来通过图2的应用实例进一步进行说明。该应用实例包括以下的流程：

步骤201、对图元进行摆放，即对图元场景中各个图元的位置进行设置，并且设定各个图元的纹理。

步骤202、设定图元场景的渲染状态，这里的渲染状态为一些具体的特效参数，例如反射、漫射、透明或者雾等，这些渲染状态会在渲染后的场景画面中表现出来。

步骤203、调用绘图引擎对该图元执行渲染操作，将原场景该图元画面渲染到显示缓存中的渲染目标。

步骤204、对图元的渲染状态进行重新设定，以将所有的特效参数设置为不对渲染发生作用。

步骤205、将预先根据上层应用需求确定的图元场景中图元相关的交互信息数据设置到绘图引擎中，并设定渲染时填充交互信息数据的处理方式参数。

步骤206、调用绘图引擎对设置了交互信息数据和处理方式参数的图元场景执行渲染操作，将所述图元对应的交互信息数据写入显示缓存，以在显示缓存中生成所述图元场景的交互信息映射图。

与上一实施例相比，本实施例在步骤205-206之前还可以包括步骤204，即执行去除渲染特效参数的操作。在本实施例中，交互信息映射图1的构成如图3所示，其大小与显示屏幕一致，每一个数据单元2中都包括该数据单元对应的交互信息数据。图3中粗线框的范围表示某一图元，该图元采用纹理色或纹理图作为交互信息数据。

通过以上的渲染流程，在显示缓存中存入了画面的渲染目标4和交互信息映射图1，参见图4所示，这两种渲染目标通过显示屏幕坐标关联起来，如：渲染目标4所展现的景象中屏幕坐标为(x1，y1)位置上的点所对应的信息被保存在交互信息映射图1中对应位置的像素中。在对图元场景的渲染完成后，用户可以直接观看到渲染目标4所展示出的场景画面，而交互信息映射图1对用户不可见，且与该渲染目标4相关联。

下面再通过图5来说明本发明应用中读取交互信息的方法的一个实例，该实施例包括以下步骤：

步骤301、根据上层应用程序的请求获取相应的屏幕坐标，例如响应鼠标的移动动作，获取对应的屏幕坐标；

步骤302、读取显示缓存内存储的交互信息映射图中与屏幕坐标对应的交互信息数据。

通过图元场景渲染中生成交互信息，在显示缓存中就保存了图元场景的二维画面图，以及与其通过屏幕坐标相关联的图元的交互信息映射图。当获得了屏幕坐标时，上层应用就可以通过绘图引擎从交互信息映射图中该屏幕坐标所对应的一个或多个数据单元里提取出一个或多个交互信息数据。

如图6所示，为根据本发明第一实施例的图元场景渲染中生成交互信息的系统的一实例的结构示意图。在本实施例中，系统至少包括交互信息数据设置模块5、处理方式参数设置模块6和渲染模块7。其中交互信息数据设置模块5用于将预先根据上层应用需求确定的图元相关的交互信息数据设置到绘图引擎中。处理方式参数设置模块6用于将根据上层应用需求确定的绘图引擎支持的对所述交互信息数据的处理方式参数设置到绘图引擎中。渲染模块7用于对设置了所述交互信息数据和处理方式参数的图元场景执行渲染操作，将所述图元对应的交互信息数据写入显示缓存，以在显示缓存中生成所述图元场景的交互信息映射图。

如图7所示，为根据本发明第一实施例的图元场景渲染中生成交互信息的系统的另一实例的结构示意图。与上一实施例相比，本实施例还包括交互信息数据生成模块8，该模块用于由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理色的方式在绘图引擎中存储和设置交互信息数据，根据所述内容分量合成出单一纹理色；或由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理图的方式在绘图引擎中存储和设置交互信息数据，按照预设精度的分辨率生成位图作为交互信息数据纹理图，并将所述内容分量中的交互信息数据保存到该位图中，使所述位图中的像素所确定的数据单元中保存与该像素对应的交互信息数据；或由扩展的上层应用需求确定使用存储于绘图引擎中的、与图元相关的数据作为图元的交互信息数据的内容分量，并由扩展的上层应用需求确定所述交互信息数据的内容分量在绘图引擎中的使用和设置方式。

在另一个实施例中，系统中还可以状态重设模块，用于在对设置了所述交互信息数据的图元场景执行渲染操作之前，去除渲染特效参数的影响。

如图8所示，为根据本发明第二实施例的图元场景渲染中生成交互信息的方法的流程示意图。本实施例是基于着色器的实现。在绘图引擎实现的图元场景渲染流程中，还包括以下步骤：

步骤801、定义绘图引擎支持的着色器代码。

具体而言，定义绘图引擎支持的着色器代码的步骤包括：确定交互信息数据，并定义数据处理过程，其中在与图形处理器(GPU)有关的编程中，确定交互信息数据是指确定用于传递和存储交互信息数据的绘图引擎中的寄存器，该寄存器中的内容由上层应用需求确定。而所定义的数据处理过程规定了数据处理的实施方式，在运行期间被绘图引擎执行，以将设置到绘图引擎中的交互信息数据进行数学运算处理，生成图元表面一个数据单元的交互数据，作为着色器输出传递给绘图引擎。

在这里，交互信息数据是指绘图引擎在执行渲染操作期间生成并存储绘图引擎寄存器中的数据。这些数据可以由着色器代码直接从绘图引擎寄存器中读取。以贴图为例，当要将游戏场景中的一面墙贴上纹理时，这面墙的4个顶点的坐标是绘图引擎生成并存储在绘图引擎寄存器中，并可由着色器获得的。当然，绘图引擎生成的数据不限于坐标，还包括其它很多信息，这对本领域技术人员而言是公知的。

在这里，数据处理是指将绘图引擎中的图元相关信息与上层应用确定的交互信息数据合并在一起的方式。具体而言，例如，对于32位真彩色显示应用程序，图元表面的一个数据单元也是32位的，这时可以规定“数据处理过程”是“加”运算，即高16位存图元相关信息，而低16位存交互信息数据。当然，也可以是“或”、“异或”等运算的组合，只要能够将处理后的数据无误地分离成原样就行。

步骤802、将定义好的着色器代码通过绘图引擎接口加载到绘图引擎中。

在成功加载之后，绘图引擎会在显存中加载该着色器代码备渲染时用。

步骤803、对绘图引擎执行渲染操作，使绘图引擎执行之前设定的着色器代码，从而生成交互信息映射图。

具体而言，渲染操作可以通过调用绘图引擎的渲染操作接口，使绘图引擎按照定义的数据处理过程所规定的方式，对绘图引擎中的寄存器中存储的交互信息数据进行数学处理，并将处理结果传递给绘图引擎写入交互信息映射图。

在调用绘图引擎的渲染操作接口的同时，还可以通过调用绘图引擎相应接口将上层应用需求确定交互信息数据动态设置到所述绘图引擎中的寄存器中，从而使绘图引擎执行着色器数据处理过程时以动态设定的内容生成动态的交互信息数据。

以游戏场景举例，当用户在上层的游戏应用程序中用鼠标指针选择某个图元(例如树等)时，上层应用程序可以从操作系统中获取鼠标指针的屏幕坐标信息，并且在显示缓存中查找该屏幕坐标是否对应有交互信息映射图中的交互信息(例如图元平面上的坐标x，y和图元标识a)，如果有，则读取该交互信息，从而使上层应用程序能够了解到鼠标指针当前所指的位置是图元标识为a的图元的x，y位置，进而利用这些信息进行更复杂的处理。

在根据本实施例生成了交互信息映射图之后，可以使用参照图5所描述的方法来读取交互信息。

如图9所示，为根据本发明第二实施例的图元场景渲染中生成交互信息的系统的一实例的结构示意图。在本实施例中，系统至少包括加载模块901和执行模块902。

加载模块901接收定义好的着色器代码，并通过绘图引擎的接口将接收到的着色器代码加载到绘图引擎中。执行模块902对绘图引擎执行渲染操作，使绘图引擎执行之前设定的着色器代码，从而生成交互信息映射图。

在另一个系统实施例中，还可以包括着色器代码定义模块，用于确定交互信息数据，并定义数据处理过程；其中，确定交互信息数据指确定被绘图引擎支持的、用于传递和存储交互信息数据的寄存器，该寄存器中的内容由上层应用需求确定；并且所定义的数据处理过程规定了数据处理的实施方式，在运行期间被绘图引擎执行，以将设置到绘图引擎中的交互信息数据进行数学运算处理，生成图元表面一个数据单元的交互数据，作为着色器输出传递给绘图引擎。

执行模块902在渲染过程中，可以通过调用绘图引擎的渲染操作接口，使绘图引擎按照定义的数据处理过程所规定的方式，对绘图引擎中的寄存器中存储的交互信息数据进行数学处理，并将处理结果传递给绘图引擎写入交互信息映射图。

在另一个系统实施例中，执行模块902在调用绘图引擎的渲染操作接口的同时，还可以通过调用绘图引擎相应接口将上层应用需求确定交互信息数据动态设置到绘图引擎中的寄存器中，从而使绘图引擎执行着色器数据处理过程时以动态设定的内容生成动态的交互信息数据。

本发明实施例在基于绘图引擎的图元场景渲染程序运行期间插入用于生成人机交互信息数据的逻辑代码，这些生成的交互信息被存入显示缓存，且与原场景画面的屏幕坐标相对应，从而在不修改应用程序的情况下生成附加的交互信息映射图，该图为交互信息驱动程序提供了基础数据。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解，以上出于说明清楚的目的参照不同功能部件和处理器对本发明的实施例进行了描述。显然，在不偏离本发明的条件下，可在不同功能部件或处理器之间使用任何合适的功能分布。例如，所示出的由分立单元或处理器执行的功能可由同一单元或处理器执行。因此，仅将针对具体功能部件的描述视为是对用于提供所述功能的合适装置的描述，而不表示严格的逻辑或物理结构或组织。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (18)

1.一种图元场景渲染中生成交互信息的方法，在图元场景渲染过程中，还包括以下步骤：

将预先根据上层应用需求确定的图元相关的交互信息数据设置到绘图引擎中；

将根据上层应用需求确定的绘图引擎支持的对所述交互信息数据的处理方式参数设置到绘图引擎中；

对设置了所述交互信息数据和处理方式参数的图元场景执行渲染操作，将所述图元对应的交互信息数据写入显示缓存，以在显示缓存中生成所述图元场景的交互信息映射图，该交互信息映射图与由图元场景渲染出的画面的渲染目标通过显示屏幕坐标相关联。

2.根据权利要求1所述的图元场景渲染中生成交互信息的方法，其中所述根据上层应用需求确定图元相关的交互信息数据的操作包括：

由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理色的方式在绘图引擎中存储和设置交互信息数据，根据所述内容分量合成出单一纹理色。

3.根据权利要求1所述的图元场景渲染中生成交互信息的方法，其中所述根据上层应用需求确定图元相关的交互信息数据的操作包括：

由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理图的方式在绘图引擎中存储和设置交互信息数据，按照预设精度的分辨率生成位图作为交互信息数据纹理图，并将所述内容分量中的交互信息数据保存到该位图中，使所述位图中的像素所确定的数据单元中保存与该像素对应的交互信息数据。

4.根据权利要求1所述的图元场景渲染中生成交互信息的方法，其中所述根据上层应用需求确定图元相关的交互信息数据的操作包括：

由扩展的上层应用需求确定使用存储于绘图引擎中的、与图元相关的数据作为图元的交互信息数据的内容分量，并由扩展的上层应用需求确定所述交互信息数据的内容分量在绘图引擎中的使用和设置方式。

5.根据权利要求1所述的图元场景渲染中生成交互信息的方法，其中设定所述处理方式参数的操作包括：

设定表示直接使用所述交互信息数据进行着色的处理方式参数到绘图引擎中。

6.根据权利要求1所述的图元场景渲染中生成交互信息的方法，其中设定所述处理方式的操作还包括：

先由扩展的上层应用需求确定所述交互信息数据的内容分量的数学运算合并方式，并根据所述数学运算合并方式将这些运算的操作、操作数和操作顺序设定到绘图引擎中。

7.根据权利要求1所述的图元场景渲染中生成交互信息的方法，其中对设置了所述交互信息数据的图元场景执行渲染操作之前，还包括去除渲染特效参数的操作。

8.一种图元场景渲染中交互信息生成系统，包括：

交互信息数据设置模块，用于将预先根据上层应用需求确定的图元相关的交互信息数据设置到绘图引擎中；

处理方式参数设置模块，用于将根据上层应用需求确定的绘图引擎支持的对所述交互信息数据的处理方式参数设置到绘图引擎中；

渲染模块，用于对设置了所述交互信息数据和处理方式参数的图元场景执行渲染操作，将所述图元对应的交互信息数据写入显示缓存，以在显示缓存中生成所述图元场景的交互信息映射图，该交互信息映射图与由图元场景渲染出的画面的渲染目标通过显示屏幕坐标相关联。

9.根据权利要求8所述的图元场景渲染中交互信息生成系统，其中所述交互信息数据设置模块进一步包括交互信息数据生成模块，用于由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理色的方式在绘图引擎中存储和设置交互信息数据，根据所述内容分量合成出单一纹理色；或由扩展的上层应用需求确定图元的交互信息数据的内容分量，并由扩展的上层应用需求确定以纹理图的方式在绘图引擎中存储和设置交互信息数据，按照预设精度的分辨率生成位图作为交互信息数据纹理图，并将所述内容分量中的交互信息数据保存到该位图中，使所述位图中的像素所确定的数据单元中保存与该像素对应的交互信息数据；或由扩展的上层应用需求确定使用存储于绘图引擎中的、与图元相关的数据作为图元的交互信息数据的内容分量，并由扩展的上层应用需求确定所述交互信息数据的内容分量在绘图引擎中的使用和设置方式。

10.根据权利要求8所述的图元场景渲染中交互信息生成系统，其中还包括：

状态重设模块，用于在对设置了所述交互信息数据的图元场景执行渲染操作之前，去除渲染特效参数的影响。

11.一种图元场景渲染中生成交互信息的方法，在图元场景渲染过程中，还包括以下步骤：

定义绘图引擎支持的着色器代码，所述着色器为用户自定义的渲染代码，用于可编程流水线的渲染环节；

将定义好的着色器代码加载绘图引擎中；以及

对绘图引擎执行渲染操作，使绘图引擎执行之前设定的着色器代码，从而生成交互信息映射图，该交互信息映射图与由图元场景渲染出的画面的渲染目标通过显示屏幕坐标相关联。

12.根据权利要求11所述的图元场景渲染中生成交互信息的方法，其中所述定义绘图引擎支持的着色器代码的步骤包括：

确定交互信息数据，并定义数据处理过程；

其中，确定交互信息数据指确定用于传递和存储交互信息数据的绘图引擎中的寄存器，该寄存器中的内容由上层应用需求确定；并且

其中，所定义的数据处理过程规定了数据处理的实施方式，在运行期间被绘图引擎执行，以将设置到绘图引擎中的交互信息数据进行数学运算处理，生成图元表面一个数据单元的交互数据，作为着色器输出传递给绘图引擎。

13.根据权利要求12所述的图元场景渲染中生成交互信息的方法，其中所述对绘图引擎执行渲染操作的步骤包括：

通过调用绘图引擎的渲染操作接口，使绘图引擎按照定义的数据处理过程所规定的方式，对所述寄存器中存储的交互信息数据进行数学处理，并将处理结果传递给绘图引擎写入交互信息映射图。

14.根据权利要求13所述的图元场景渲染中生成交互信息的方法，其中所述对绘图引擎执行渲染操作的步骤还包括：

在调用绘图引擎的渲染操作接口的同时，通过调用绘图引擎相应接口将上层应用需求确定交互信息数据动态设置到所述寄存器中，从而使绘图引擎执行着色器数据处理过程时以动态设定的内容生成动态的交互信息数据。

15.一种图元场景渲染中交互信息生成系统，包括：

定义模块，用于定义绘图引擎支持的着色器代码，所述着色器为用户自定义的渲染代码，用于可编程流水线的渲染环节；

加载模块，用于将定义好的着色器代码加载绘图引擎中；和

执行模块，用于对绘图引擎执行渲染操作，使绘图引擎执行之前设定的着色器代码，从而生成交互信息映射图，该交互信息映射图与由图元场景渲染出的画面的渲染目标通过显示屏幕坐标相关联。

16.根据权利要求15所述的图元场景渲染中交互信息生成系统，其中所述定义模块进一步包括：

着色器代码定义模块，用于确定交互信息数据，并定义数据处理过程；

其中，确定交互信息数据指确定用于传递和存储交互信息数据的绘图引擎中的寄存器，该寄存器中的内容由上层应用需求确定；并且

其中，所定义的数据处理过程规定了数据处理的实施方式，在运行期间被绘图引擎执行，以将设置到绘图引擎中的交互信息数据进行数学运算处理，生成图元表面一个数据单元的交互数据，作为着色器输出传递给绘图引擎。

17.根据权利要求16所述的图元场景渲染中交互信息生成系统，其中所述执行模块通过调用绘图引擎的渲染操作接口，使绘图引擎按照定义的数据处理过程所规定的方式，对所述寄存器中存储的交互信息数据进行数学处理，并将处理结果传递给绘图引擎写入交互信息映射图。

18.根据权利要求17所述的图元场景渲染中交互信息生成系统，其中所述执行模块在调用绘图引擎的渲染操作接口的同时，通过调用绘图引擎相应接口将上层应用需求确定交互信息数据动态设置到所述寄存器中，从而使绘图引擎执行着色器数据处理过程时以动态设定的内容生成动态的交互信息数据。

Images