CN103164838A

CN103164838A - 图形数据处理方法

Info

Publication number: CN103164838A
Application number: CN2011104109353A
Authority: CN
Inventors: 陈亘志
Original assignee: Ali Corp
Current assignee: Ali Corp
Priority date: 2011-12-12
Filing date: 2011-12-12
Publication date: 2013-06-19
Anticipated expiration: 2031-12-12
Also published as: CN103164838B

Abstract

本发明公开了一种图形数据处理方法，此方法包括以下步骤：检查一图形加速器是否忙碌；检查一存储装置的存储空间是否足够；当检查结果为图形加速器忙碌并且存储装置仍有存储空间，则在存储装置累积新的绘图指令与数据；以及当检查结果为图形加速器闲置或者存储装置的存储空间已满，则执行储存装置内的指令，并且释放存储装置中已经被图形加速器执行过的绘图指令与数据。本发明在不变更硬件架构/条件的情形下，可以有效地增加软件与硬件的平行执行效率，并且可以减缓存储装置存储空间不足的状况。

Description

图形数据处理方法

技术领域

本发明涉及一种图形处理，且更具体地说，涉及一种平行处理软件与硬件的图形数据处理技术。

背景技术

传统的图形处理包括OpenVG规格与OpenGL规格。OpenVG规格是由Khronos组织主持下开发的一种应用程序编程接口(Application Programming Interface，API)的规格，用在硬件加速的二维(Two-dimension，2D)矢量和点阵图形。此外，OpenGL定义用于写入产生三维(Three-dimension，3D)和2D图形的应用程序编程接口。

图1是传统的图形处理数据示意图。传统的图形处理程序中包括软件准备指令期间110与硬件执行指令期间120，其中软件准备指令期间110主要的工作是将图形处理所需的控制流程编码(coding)成为硬件执行的指令(commands)，并且暂存在存储装置，而硬件执行指令期间120主要是将储存装置中的执行指令提取并交由图形加速器执行。传统作法会在所有绘图指令准备完成后才从应用程序下达指令提交操作，此方式可能造成指令提交操作(例如，vgFlush或glFlush，其中vgFlush、glFlush分别为OpenVG、OpenGL的指令提交操作)之前已经累积大量的指令，且在下达指令提交操作后，还必须透过指令操作等待图形加速器将控制指令执行完成(例如，vgFinish/glFinish，其中vgFinish、glFinish分别为OpenVG、OpenGL的指令结束操作)，如此序列处理(serial process)的程序，必然造成软件准备指令期间110与硬件执行指令期间120两个主要的工作相互等待，并且拖长图形处理的执行时间。

在储存装置的管理方面，计算机的操作系统(Operation System，OS)通常会有一套机制去分配存储装置的存储空间。然而，在存储资源不足的情况下，适逢操作系统正在进行绘图程序，操作系统势必会在特定条件下等待其他程序释放存储空间，但是会耗费许多时间；最糟状况时，操作系统可能始终无法分配存储空间，以致操作系统强制跳出绘图程序。另一方面，若进行绘图程序可执行在自行定义专用的存储区块，则图形处理程序较不受其他程序干扰；但是若遇多线程(multi-threads)或者多程序(multi-process)执行绘图程序时，还是有可能会遭遇资源严重不足的状况，导致存储资源不能成功地被分配，同样地，依然有可能会发生强制跳出绘图程序的情况。

如何在不变更硬件架构以及不变动内存(memory)的管理逻辑/条件的情形下提高软件与硬件的执行效率，这是一个有待克服的课题。

发明内容

有鉴于此，本发明提出一种新颖的图形数据处理方法，而且不需变更硬件架构/条件，藉以解决先前技术所述及的问题。

本发明提出图形数据处理方法，此方法包括：(a)检查一图形加速器是否忙碌；(b)检查一存储装置的存储空间是否足够；(c)当检查结果为忙碌并且存储装置仍有存储空间，则在存储装置中累积新的绘图指令与数据；以及(d)当检查结果为闲置或者存储装置的存储空间已满，则不等待来自应用程序编程接口(API)所下达的提交操作，由驱动程式端主动发出提交命令。如此便可以及时通知硬件执行后续指令，减少图形加速器闲置的状况，并且可以透过适当的释放操作减少储存装置溢满的机率。

在本发明的一实施例中，步骤(a)还包括下列步骤：在软件准备指令期间，一绘图控制软件在存储装置存储新的绘图指令与数据的边界时间点，以轮询操作来检查图形加速器是否忙碌，其中绘图控制软件的部份经由一独立处理器来执行。

在本发明的一实施例中，步骤(a)还包括下列步骤：在图形加速器执行指令期间，当图形加速器执行完前次绘图的部分工作，图形加速器以中断操作来通知一独立处理器，以使绘图控制软件得知图形加速器已经闲置，其中绘图控制软件的部份经由独立处理器来执行。

在本发明的一实施例中，当步骤(d)成立，则在步骤(d)之后还进行下列步骤：(e)将存储装置中尚未处理过的绘图指令与数据提交至图形加速器来执行。其中，此提交动作为软件端主动提交，并非透过应用程序编程接口下达提交API命令。

在本发明的一实施例中，将存储装置划分为多个存储单元。在累积存储新的绘图指令与数据时，依照先进先出的排队方式，而在释放所存储在该存储装置中已经被执行过的绘图指令与数据时，则无依照排队顺序的限制。

基于上述，本发明主要是采用增加软件与硬件之间的平行度架构，增加有限存储空间的使用效率。如此一来，可以使硬件避免闲置等待软件，也可以使软件避免等待硬件，而在硬件执行指令的同时，软件可以在同一时间备妥指令与资料。所以本发明可以有效地缩短绘图程序中的执行时间而能够提升整体的执行效率。另一方面，本发明还可以减缓存储装置的存储空间不足的情况。

附图说明

图1是传统的图形处理数据示意图。

图2是依照本发明第一实施例的图形数据处理方法流程图。

图3是依照本发明第二实施例的图形数据轮询处理示意图。

图4是依照本发明第三实施例的图形数据中断处理示意图。

附图标号：

110：软件准备指令期间

120：硬件执行指令期间

310：软件准备指令期间

320：硬件执行指令期间

410：软件准备指令期间

420：硬件执行指令期间

Auto1、Auto2、Auto3：指令提交操作

t0、t1、t2、t3、t4、t5、t6、t7：时间点

h1、h2、h3：时间点

SW1、SW2、SW3、SW4、SW5：绘图指令与数据

S210～S250：图形数据处理方法各步骤

具体实施方式

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

第一实施例：

图2是依照本发明第一实施例的图形数据处理方法流程图。本发明适用于具有存储装置以及具有二维(2D)或三维(3D)图形加速器的成像设备，例如成像设备可以包含于具有用户界面(user interface，UI)的个人数字助理(Personal Digital Assistant，PDA)、移动电话、智能手机(Smart Phone)、膝上型电脑，笔记本型电脑、平板电脑或无线通信装置、或类似物中的一者，但不以此为限。

本实施例针对绘图控制软件与图形加速器(硬件)之间的平行度，以及绘图控制软件与图形加速器如何动态使用存储装置来进行说明，其中绘图控制软件的部份经由独立微处理器来执行。请注意独立处理器泛指具有可程式化功能、内存读写、输入/输出控制、以及中断控制能力的控制器，在此对处理器的种类不加以限制。

如步骤S210所示，检查图形加速器是否忙碌。

如步骤S220所示，检查存储装置的存储空间是否足够。在上述步骤S210、S220中，此两步骤的执行顺序并无特别限制前后关系，可以先步骤S210再步骤S220，或是先步骤S220再步骤S210，或者是步骤S210与S220两者同时执行。

接下来，根据两个检查结果之间的关系来进行步骤S230或步骤S240。在步骤S230中，当检查结果为图形加速器忙碌并且存储装置仍有存储空间，则依照先进先出的排队方式，在存储装置中累积新的绘图指令与数据。此步骤的功效或目的之一是在图形加速器(硬件)执行指令的同时，软件可以准备新的绘图指令与数据，从而软件避免等待硬件的执行，而能够在同一时间(所指的是软件准备指令期间与硬件执行指令期间的重叠部分)备妥硬件往后欲执行的指令与资料。在步骤S240中，当检查结果为闲置或者存储装置的存储空间已满，则由控制软件主动发出提交需求，并可释放先前在存储装置中已经被图形加速器执行过的绘图指令与数据等暂存数据，释放的方式不一定是立即的，可根据控制软件的设计方式自行调整，且其中释放的方式并无排队顺序的限制(数据存入顺序)，主要的原则只有”释放已经被图形加速器执行过的绘图指令与数据”。主动提交可避免硬体闲置，释放指令空间可使后进的指令得以继续暂存。

再者，在步骤S240之后还可以进行步骤S250，将存储装置中尚未处理过的绘图指令与数据提交至给图形加速器来执行。

值得一提的是，指令主动提交以及内存的管理方式可让储存装置的使用效率上可大幅提升。其中指令的主动提交并释放机制，可让储存装置不会累积过多的绘图指令，可有效地减少缓冲器溢满(buffer full)的状况。内存管理上，如：Buddy算法，可以将成像设备中的存储装置在管理上可划分为多个较小的存储单元，以类似bank或者slab为单位进行内存分配和释放。如此一来，透过这些较小单元的内存管理可以增加存储装置的容积率。更进阶的内存管理如内存管理单元(Memory Management Unit，MMU)相关机制等，主要的目的都是可以有效地利用储存装置的有限空间。步骤S230可基于上述的方法得以持续的累积绘图指令，避免软件闲置。

上述的图形数据处理方法主要是采用增加软件与硬件之间的平行度架构，增加有限存储空间的使用效率，因此可以有效地缩短绘图程序中的执行时间而提升整体的执行效率。另一方面，还可以减缓存储装置的存储空间不足的情况。

第二实施例，以“轮询操作”(轮询就是固定时间点的检查方式)来检查硬件是否忙碌

图3是依照本发明第二实施例的图形数据轮询处理示意图。请参照图3。第二实施例为基于本发明所揭示的发明精神而教示的另一实施例。绘图控制软件在软件准备指令期间310可以在存储装置存储每一次新的绘图指令与数据的边界时间点，来检查图形加速器(硬件)是否忙碌。例如，绘图控制软件存储第一次绘图指令的结束时间点与存储第二次绘图指令的起始时间点之间的时间点t1，轮询操作来检查图形加速器(硬件)是否忙碌。类似地，在时间点t2、t3、t4、t5也以轮询操作来检查图形加速器是否忙碌。

假设有一绘图操作需要执行绘图指令与数据SW1～SW5，其中时间点t0至t5为软件准备指令期间310，而时间点t1至t6为硬件执行指令期间320。请注意，本实施例仅为示范性实施例，并不以此限制本发明。更详细的说明如下。

在时间点t0与t1之间，绘图控制软件在存储装置中累积新的绘图指令与数据SW1。

在时间点t1，绘图控制软件经第一次轮询操作而得知硬件为闲置，于是绘图控制软件主动送出指令提交操作Auto1(例如，vgFlush或glFlush，其中vgFlush、glFlush分别为OpenVG、OpenGL的指令提交操作)，将存储装置中尚未处理过的绘图指令与数据SW1分配给硬件来执行。

在时间点t1与t2之间，绘图控制软件在存储装置中累积新的绘图指令与数据SW2的同时，硬件执行绘图指令与数据SW1。

在时间点t2，绘图控制软件经第二次轮询操作而得知硬件为忙碌，于是在存储装置中累积新的绘图指令与数据SW3。

在时间点t3，绘图控制软件经第三次轮询操作而得知硬件为闲置，于是绘图控制软件送出指令提交操作Auto2，将存储装置中尚未处理过的绘图指令与数据SW2、SW3依序分配给硬件来执行。

在时间点t3与t4之间，绘图控制软件在存储装置中累积新的绘图指令与数据SW4的同时，硬件执行绘图指令与数据SW2、SW3。

在时间点t4，绘图控制软件经第四次轮询操作而得知硬件为忙碌，于是在存储装置中累积新的绘图指令与数据SW5。

在时间点t5，绘图控制软件经第五次轮询操作而得知硬件为闲置，于是绘图控制软件送出指令提交操作Auto3，将存储装置中尚未处理过的绘图指令与数据SW4、SW5依序提交给硬件来执行。

在时间点t6，硬件执行完绘图指令与数据SW4、SW5，并通知绘图控制软件已经执行完所有指令。

另外，在每一次硬件执行完绘图指令与数据之后，便可以释放存储装置中已经被硬件执行过的绘图指令与数据。

值得一提的是，若以现有技术进行绘图操作，硬件可能是一次执行所有绘图指令与数据(SW1～SW5)，这种可能性常发生在API层级的编程。倘若所使用应用程序(applicationprogram)的编写方式最佳化，也许可以达到类似的效率，但由于应用层的API编写方式变化万千，难免会发生这种一次性执行所有指令与数据的低效率控制方式，本发明就是在驱动端弥补应用层效率不足的问题。一般而言，现有技术的执行时间冗长，需一直执行到时间点t7才会结束操作。亦即软件的处理时间为|t5-t0|，而硬件的处理时间为|t7-t5|。

由此可见，第二实施例在软件准备指令期间310与硬件执行指令期间320在时间点t1～t5为重叠，因此可以增加软件与硬件之间的平行度，使硬件避免闲置等待软件，也使软件避免等待硬件，进而缩短绘图程序中的执行时间。其次，第二实施例经过五次的轮询操作来检查硬件是否忙碌。最后，第二实施例与现有技术相较，现有技术的执行时间为|t7-t0|，然而第二实施例可以减少的执行时间为|t7-t6|，故本发明确实有助于提升整体的执行效率。

第三实施例，以“中断操作”来检查硬件是否忙碌：

图4是依照本发明第三实施例的图形数据中断处理示意图。请参照图4。第三实施例是基于第一实施例所揭示教示的内容的另一实施例。在硬件执行指令期间420，当图形加速器执行完前次绘图的部分工作，图形加速器(硬件)以“中断操作”来通知绘图控制软件，以使绘图控制软件得知硬件已经闲置，并同时触发绘图控制软件的中断服务程序检视有无尚未执行的指令，若有则送出指令提交操作，以使硬件接续执行新绘图指令与数据。

假设有一绘图操作需要执行绘图指令与数据SW1～SW5，其中时间点t0至t5为软件准备指令期间410，而时间点t1至t6为硬件执行指令期间420。请注意，本实施例仅为示范性实施例，并不以此限制本发明。更详细的说明如下。

在时间点t1，绘图控制软件送出指令提交操作Auto1，将存储装置中的绘图指令与数据SW1提交给硬件来执行。

在时间点t2与h1之间，绘图控制软件在存储装置中累积新的绘图指令与数据SW3的同时，硬件同时在执行绘图指令与数据SW1。

在时间点h1，硬件完成SW1的指令执行，以第一次中断操作来通知绘图控制软件，以使绘图控制软件得知硬件已经闲置，同时绘图控制软件检视内存装置存有完整的绘图指令SW2，因此送出指令提交操作Auto2，以使硬件立即执行完整的绘图指令与数据SW2。

在时间点t3与t4，绘图控制软件在存储装置中分别累积完整且新的绘图指令与数据SW3、SW4。

在时间点t4与h2之间，绘图控制软件正在处理并存储新的绘图指令与数据SW5于储存装置中。

在时间点h2，硬件在第二次执行完指令，以第二次中断操作来通知绘图控制软件，以使绘图控制软件得知硬件已经完成SW2的执行并且闲置，同时绘图控制软件检视内存装置存有完整的绘图指令SW3以及SW4，因此送出指令提交操作Auto3，以使硬件立即执行完整的绘图指令与数据SW3和SW4。

在时间点t5，绘图控制软件在存储装置中累积完整且新的绘图指令与数据SW5。

在时间点h3，硬件在第三次执行完指令，以第三次中断操作来通知绘图控制软件，以使绘图控制软件得知硬件已经执行完SW3和SW4并且闲置，同时绘图控制软件检视内存装置存有完整的绘图指令SW，因此送出指令提交操作Auto4，以使硬件立即执行完整的绘图指令与数据SW5。

在时间点t6，硬件执行完绘图指令与数据SW5，并通知绘图控制软件已经执行完所有指令。

另外，在每一次硬件执行新的绘图指令与数据之前，可以释放前次在存储装置中已经被硬件执行过的绘图指令与数据，并且释放方式不需依照排队顺序来释放存储空间。

值得一提的是，若以现有技术进行绘图操作，硬件是一次执行所有绘图指令与数据(SW1～SW5)，现有技术的执行时间冗长，需一直执行到时间点t7才会结束操作。亦即软件的处理时间为|t5-t0|，而硬件的处理时间为|t7-t5|。

由此可见，第三实施例在软件准备指令期间410与硬件执行指令期间420在时间点t1～t5为重叠，因此可以增加软件与硬件之间的平行度，使硬件避免闲置等待软件，也使软件避免等待硬件，进而缩短绘图程序中的执行时间。其次，第三实施例经过三次的中断操作来检查硬件是否忙碌，而第二实施例需要经过五次的轮询操作来检查硬件是否忙碌，因此相较于第二实施例，检查次数可以减少，且还能在闲置事件发生时立即通知软件。最后，第三实施例与现有技术相较，现有技术的执行时间为|t7-t0|，然而第三实施例可以减少的执行时间为|t7-t6|，故本发明确实有助于提升整体的执行效率。

请注意，本发明第二、第三实施例分别以“轮询操作”、“中断操作”来当作示范，然而检查图形加速器(硬件)是否忙碌也可以合并“轮询操作”与“中断操作”一起实施，本发明并不以第二、第三实施例的态样为限。

综上所述，本发明主要是采用增加软件与硬件之间的平行度架构，增加有限存储空间的使用效率。如此一来，可以使硬件避免闲置等待软件，也可以使软件避免闲置等待硬件，而在硬件执行指令的同时，软件可以在同一时间备妥指令与资料。所以本发明可以有效地缩短绘图程序中的执行时间而能够提升整体的执行效率。另一方面，本发明还可以减缓存储装置的存储空间不足的情况。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的结构及技术内容作出些许的更动或修饰为等同变化的等效实施例，但是凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims

1.一种图形数据处理方法，其特征在于，所述图形数据处理方法包括：

(a)检查一图形加速器是否忙碌；

(b)检查一存储装置的存储空间是否足够；

(c)当检查结果为所述图形加速器忙碌并且所述存储装置仍有存储空间，则在所述存储装置中累积新的绘图指令与数据；以及

(d)当检查结果为所述图形加速器闲置或者所述存储装置的存储空间已满，则释放在所述存储装置中已经被所述图形加速器执行过的绘图指令与数据。

2.根据权利要求1所述的图形数据处理方法，其特征在于，步骤(a)还包括下列步骤：

在软件准备指令期间，一绘图控制软件在所述存储装置存储新的绘图指令与数据的边界时间点，以轮询操作来检查所述图形加速器是否忙碌，其中所述绘图控制软件的部份经由一独立处理器来执行。

3.根据权利要求1所述的图形数据处理方法，其特征在于，步骤(a)还包括下列步骤：

在所述图形加速器执行指令期间，当所述图形加速器执行完前次绘图的部分工作，以中断操作来通知一独立处理器，以使独立处理器中的一绘图控制软件得知所述图形加速器已经闲置。

4.根据权利要求1所述的图形数据处理方法，其特征在于，当步骤(d)成立，则在步骤(d)之后还进行下列步骤：

(e)将所述存储装置中尚未处理过的绘图指令与数据主动提交至所述图形加速器来执行。

5.根据权利要求4所述的图形数据处理方法，其特征在于，步骤(e)包括还下列步骤：

所述图形加速器反应于一指令提交操作，来执行新的绘图指令与数据。

6.根据权利要求1所述的图形数据处理方法，其特征在于，将所述存储装置划分为多个存储单元。

7.根据权利要求6所述的图形数据处理方法，其特征在于，在累积存储新的绘图指令与数据时，依照先进先出的排队方式，将所输入的绘图指令与数据分配至所述多个存储单元之中。

8.根据权利要求7所述的图形数据处理方法，其特征在于，在释放所存储在所述存储装置中已经被执行过的绘图指令与数据时不需依照排队顺序。