CN103593168A - 利用多重处理的渲染处理装置及方法 - Google Patents

Abstract

本发明涉及利用多重处理的渲染处理方法。上述利用多重处理的渲染处理方法包括：由预渲染管理部生成以帧为单位对应用程序运行窗口进行拆分并且按帧对图像执行渲染处理的渲染处理命令的步骤；根据所生成的上述渲染处理命令，由渲染管理部生成帧相关渲染图像的步骤；以及将生成的上述渲染图像保存到存储器的步骤，而用于执行上述渲染处理命令生成步骤的操作，拆分为至少一个操作，用于执行上述渲染图像生成步骤的操作，拆分为至少一个操作，上述拆分操作能够在多个线程得到同步处理。

Description

利用多重处理的渲染处理装置及方法

技术领域

本发明涉及渲染处理装置及方法，更具体地涉及在以帧为单位的图像的处理中拆分渲染处理命令生成部分和制图处理部分，并在多个线程中进行处理，由此实现渲染处理性能最大化的利用多重处理的渲染处理装置及方法。

背景技术

现有的渲染（rendering）方式为：中央处理器（CPU）不是以单核为准使用线程，而是在单一进程中利用双缓冲（double buffering）对图形进行处理或者在性能存在问题时制作一个左右的线程，以生成整个画面。

图1是表示以往的渲染方式的示例图。如上述图1所示，在以往的渲染方式中，由于在共享内存中仅处理一个线程（单一操作），因此导致渲染处理速度较慢。

根据以往的渲染方式，由于包含在多个帧的图像所需处理时间较长，因此，近年来安装于笔记本、电脑、平板电脑或智能手机等设备的中央处理器（CPU）沿着如四核以上等多核方向发展的情况下，需要能够快速处理图像的技术。

发明内容

本发明的目的在于，提供一种在对以帧为单位的图像进行处理时，通过拆分命令生成部分和制图处理部分并进行同步处理，从而能够提高图像处理性能的利用多重处理的渲染处理装置及方法。

本发明的目的包括但不限于上述内容，本发明所属技术领域的普通技术人员可通过以下记载内容来明确理解未记载的本发明的其他目的。

根据旨在解决上述课题的本发明的一个实施方式，利用多重处理的渲染处理方法可包括：由预渲染管理部（Pre-Rendering Manager）生成以帧为单位对应用程序运行窗口（window）进行拆分并且按帧对图像执行渲染处理的渲染处理命令的步骤；根据所生成的上述渲染处理命令，由渲染管理部（Rendering Manager）生成帧相关渲染图像的步骤；以及将生成的上述渲染图像保存到存储器的步骤，而用于执行上述渲染处理命令生成步骤的操作，可拆分为至少一个操作，用于执行上述渲染图像生成步骤的操作，可拆分为至少一个操作，上述拆分操作能够在多个线程得到同步处理。

并且，能够依次处理按上述帧执行的上述拆分操作。

并且，上述图像能够以位图格式生成。

并且，上述渲染处理命令生成步骤可包括：由场景图（Scene Graph）优化程序对输入有渲染处理请求的预渲染队列进行扫描，在帧上的相同坐标上连续输入有相同图像生成相关的多个处理请求的情况下进行控制，使得在上述多个处理请求中仅有一个处理请求得到处理的步骤。

根据本发明的另一个实施方式，利用多重处理的渲染处理装置可包括：预渲染管理部（Pre-Rendering Manager），以帧为单位对应用程序运行窗口（window）进行拆分，生成用于对至少一个帧的图像执行渲染处理的渲染处理命令；渲染管理部（Rendering Manager），根据上述渲染处理命令，生成帧相关渲染图像；以及存储器，用于保存生成的上述渲染图像，而在上述预渲染管理部中生成上述渲染处理命令的操作与在上述渲染管理部中生成上述渲染图像的操作，能够分别拆分为至少一个操作，上述拆分操作能够在多个线程得到同步处理。

并且，能够依次处理按上述帧执行的上述拆分操作。

并且，上述图像能够以位图格式生成。

并且，上述预渲染管理部可包括：预渲染队列，用于接收图像处理事件命令；以及场景图优化程序，其对上述预渲染队列进行扫描，在帧上的相同坐标上连续输入有相同图像生成相关的多个处理请求的情况下进行控制，使得在上述多个渲染处理请求中仅有一个处理请求得到处理。

根据本发明的实施例的利用多重处理的渲染处理装置及方法，利用多重处理，将以帧为单位的图像拆分为计算处理部分和制图处理部分，在多个线程进行同步处理，由此实现设备的图像处理性能的最大化。

本发明的效果包括但不限于上述内容，本发明所属技术领域的普通技术人员可通过以下记载内容来明确理解未记载的本发明的其他效果。

附图说明

图1是表示以往的渲染方式的示例图。

图2是本发明的实施例的利用多重处理的渲染处理装置的结构图。

图3是应用本发明的一实施例的利用多重处理的渲染处理方法的窗口的一例。

图4是表示本发明的实施例的利用多重处理的渲染处理方法的线程处理方法的第一示例图。

图5是表示本发明的实施例的利用多重处理的渲染处理方法的线程处理方法的第二示例图。

图6是本发明的一实施例的利用多重处理的渲染处理装置的预渲染管理部的详细结构图。

图7是本发明的一实施例的利用多重处理的渲染处理装置的渲染管理部的详细结构图。附图标记

100：渲染处理装置  110：渲染引擎

120：预渲染管理部  130：渲染管理部

140：存储器        W：窗口

F1～F3：帧

具体实施方式

以下参照附图详细说明的实施例会让本发明的目的和效果以及实现这些目的和效果的技术结构更加明确。在本发明的说明中，认为对共知的功能或结构的详细说明对本发明要旨的解释产生不必要的消极影响时，将对此省略详细说明。另外，后述的术语是根据各自在本发明中的结构、作用及功能来下定义的，因此根据不同的使用人和操作人的意图或惯例，术语可以有所不同。

但是，本发明不局限于以下所公开的实施例，能够以互不相同的各种方式实施。本实施例只用于使本发明的公开内容更加完整，有助于本发明所属技术领域的普通技术人员完整地理解本发明的范畴，本发明根据权利要求书的范围而定义，因此应基于说明书全文的内容来下定义。

在说明书全文中，当某一个部分“包括”某一个结构部件时，如无特别记载，就意味着还可包括其他结构部件，而不是排除其他结构部件。并且，说明书中所记载的“…组件”、“…部”等术语意味着处理至少一个功能或动作的单位，这能够以硬件、软件或硬件和软件的结合来体现。

一方面，在本发明的实施例中，各个结构部件、功能块或单元可由一个或一个以上的下级结构部件来组成，各个结构部件所执行的电气、电子、机械功能能够以电子电路、集成电路、专业集成电路（ASIC，Application Specific Integrated Circuit）等共知的各种元件或机械部件来体现，而且能够以单个体现或者以由两个以上整合的形态来体现。

并且，所附的块图的各块和流程图的各步骤的组合可通过计算机程序指令来执行。由于这些计算机程序指令可搭载于通用计算机、特殊计算机或可编程的数据处理装置的其他处理器中，因此通过计算机或能够运行程序的数据处理装置的其他处理器来执行的指令将生成单元，而该单元用于执行在块图的各块或流程图的各步骤说明的功能。这些计算机程序指令为了以特定方式实现其功能，可存储于指向计算机或其他可编程的数据处理装置的计算机可用存储器或计算机可读存储器中。因此，存储于上述计算机可用存储器或计算机可读存储器的指令，可生产出包括指令单元的制造类目，上述指令单元用于执行在块图的各块或流程图的各步骤中说明的功能。而且，由于计算机程序指令还可搭载于计算机或其他可编程数据处理装置，因此在计算机或其他可编程数据处理装置中执行一系列动作步骤，并生成由计算机运行的进程，执行计算机或其他可编程数据处理装置的指令还可提供用于执行在块图的各块及流程图的各步骤说明的功能的步骤。

并且，各块或各步骤可表示包括用于运行特定的（多个）逻辑功能的，一个以上的可运行的指令的模块、分段或代码的一部分。例如：接连图示的两个块或步骤可同步执行，而且上述块或步骤还可以按照相应的功能按倒序执行。

以下将参考附图，对本发明的实施例的利用多重处理的渲染处理装置及方法进行说明。

本发明中的渲染是指，运行应用程序，在画面标示的窗口（window）出现事件时，生成与事件相对应的新的图像，新建窗口的图像处理。

本发明中的线程是指，在任意程序，尤其是任意流程内运行的流的单位。

图2是本发明的实施例的利用多重处理的渲染处理装置的结构图。

如上述图2所示，上述利用多重处理的渲染处理装置100包括渲染引擎（rendering engine）110和存储器140。

上述存储器140可保存操作系统（operating system）、应用程序（application）和数据文件。

渲染引擎100包括预渲染管理部（pre-rendering manager）120和渲染管理部（renderingmanager）130。

预渲染管理部120执行在进行渲染之前保存和管理渲染所需的信息，以生成最终渲染命令的功能。

具体而言，预渲染管理部（Pre-Rendering Manager）120以帧为单位对应用程序的运行窗口（window）进行拆分，并生成用于对至少一个帧的图像执行渲染处理的渲染处理命令。

图3是应用本发明的一实施例的利用多重处理的渲染处理方法的窗口的一例。

如上述图3所示，运行应用程序，将会显示运行应用程序所需的窗口W，窗口可拆分为互不相同的多个帧F1～F3。

在此情况下，以窗口为单位执行渲染处理，在特定的帧出现事件时，虽然其他帧保持与当前图像相同的图像，但需要对整个窗口都进行渲染处理，因此有可能导致渲染处理速度下降。

因此在本发明中，以帧为单位对窗口进行拆分，以帧为单位执行图像处理，由此可加快图像处理速度。

一方面，渲染管理部130作为执行渲染的模块，依次对由预渲染管理部120生成的渲染处理命令进行处理，向所需的缓冲区（buffer）执行制图（drawing），以生成图像。

在此情况下，通过上述渲染管理部130来生成的图像能够以位图格式生成。

在上述预渲染管理部120生成上述渲染处理命令的操作和在上述渲染管理部130生成上述渲染图像的操作将分开进行处理，上述渲染处理命令生成操作和上述渲染图像生成操作能够在多个线程得到处理。

上述渲染处理命令生成操作包括通过确认渲染处理命令的区域的计算和渲染处理对象等，以生成渲染处理命令的操作等计算处理部分，上述渲染图像生成操作相当于根据渲染处理命令来生成渲染图像的操作。

图4是表示本发明的实施例的利用多重处理的渲染处理方法的线程处理方法的第一示例图。

上述图4属于利用多个线程来处理操作的情况，它是表示对三个帧相关图像进行处理的示例图。

如上述图4所示，渲染管理部130针对图像1、图像2和图像3，将渲染命令生成操作和渲染图像生成操作分别拆分为计算1、计算2和计算3以及制图1、制图2和制图3，使用两个线程进行处理。

使用一个线程来处理上述操作时，将有6个操作依次得到处理。

但是使用两个线程时，将依次执行第一处理（计算1）、第二处理（计算2和制图1）、第三处理（计算3和制图2）和第四处理（制图3），由于在特定时间点（例如：第二处理、第三处理和第四处理），渲染命令生成操作和渲染图像生成操作在两个线程得到同步处理，因此可加快操作处理速度。

一方面，为了进一步加快图像处理速度，将在上述预渲染管理部120生成上述渲染处理命令的操作拆分为多个操作，所拆分的多个操作能够在多个线程得到处理。

图5是表示本发明的实施例的利用多重处理的渲染处理方法的线程处理方法的第二示例图。

如上述图5所示，渲染管理部130将对图像1、图像2、图像3的渲染命令处理部分拆分为2个，分别拆分为计算1-1、计算1-2、计算2-1、计算2-2、计算3-1和计算3-2，将渲染图像生成部分拆分为制图1、制图2和制图3。

在此情况下，如果使用操作（线程1）、操作（线程2）和操作（线程3）对上述操作进行处理，就将依次执行第一处理（计算1-1）、第二处理（计算1-2和计算2-1）、第三处理（计算3-1、计算2-2、制图1）、第四处理（计算3-2、制图2）和第五处理（制图3）。

由于在特定的处理时间点上，被拆分的多个渲染处理命令部分和渲染图像生成部分可在多个线程得到同步处理，因此能够进一步加快渲染处理速度。

然后，所生成的上述渲染图像将保存于存储器140中。

以下，将进一步对组成渲染引擎110的预渲染管理部120和渲染管理部130的结构及功能进行详细说明。

图6是本发明的一实施例的利用多重处理的渲染处理装置的预渲染管理部的详细结构图。

如上述图6所示，预渲染管理部120包括预渲染队列（pre-rendering queue）121、位置调节器（location adjuster）122、多个场景图（scene graph，SG）123、场景图操纵器（SG manipulator）124、场景图优化程序（SG optimizer）125和场景图处理器（SG commander）126。

上述预渲染队列121执行接收渲染处理请求，并生成与之对应的渲染处理命令的功能。向上述预渲染队列121输入的渲染请求可大分为三种。第一是可通过元素交界面（elementinterface）输入命令。第二是在显示器的画面中显示有关特定坐标的请求时，可在渲染引擎110中包括的命中测试管理器（hittest manager）（未图示）输入对于该坐标的元素的命令。并且，第三是可在包括制图界面（drawing interface）和制图软件（Painter）的帆布模块输入命令。上述命令可包括渲染处理的对象相关信息。

上述位置调节器122作为处理位置相关信息的模块，执行考虑到渲染所需的坐标系校正处理及转换（transformation）的漏洞升级（Update Rect）处理。

对于在界面中因窗口重叠而位于后面的窗口的帧中被隐藏的部分，位置调节器122可将其从渲染处理区域排除在外，以使不对其执行渲染处理。

上述场景图123用于保存和管理为渲染而需要保持的信息，上述场景图123相当于深度优先向无环图（depth first acyclic graph）。并且，场景图123表示制图顺序和包含关系，以已更新区域为准，决定需要进行渲染的对象，从已决定的节点（node）生成渲染处理命令。

上述场景图操纵器124用于处理场景图123的节点的添加、删除、插入或移动等操作，执行变更场景图123的内容的功能。

上述场景图优化程序125基于场景图123的内容执行优化。

尤其是，上述场景图优化程序125对预渲染队列121进行扫描，能够在帧上的相同坐标上连续输入有相同图像生成相关的多个处理请求的情况下进行控制，使得在上述多个处理请求中仅有一个处理请求得到处理。

上述场景图处理器126以由位置调节器122生成的更新区域为准，生成渲染处理命令。

上述命中测试管理器用于处理命中测试相关信息，以请求的坐标为准，求出被命中的元素。并且，为了使用场景图123，通过预渲染队列121来执行请求，接收响应并进行处理。

图7是本发明的一实施例的利用多重处理的渲染处理装置的渲染管理部的详细结构图。

如上述图7所示，上述渲染管理部130包括执行渲染处理命令所需的渲染队列131、执行制图所需的制图软件（Painter）132和作为应用程序设计接口（API，Application ProgrammingInterface）库的VG库133。

上述制图软件（Painter）132具有用于使用VG库133的接口，相当于在制图缓冲区（drawing buffer）上制图所需的模块。通过上述帆布模块制图时，可利用制图软件（Painter）132，直接绘制图像。

一方面，利用如上所述的多重处理的渲染方法体现为可通过各种计算机手段来执行的程序命令形态，记录于具有计算机读写功能的媒体中。上述计算机和具有计算机读写功能的上述媒体可包含程序命令、数据文件、数据结构等的单体或其组合。记录于上述媒体的程序命令可以是为了本发明而特别设计和组成的程序命令或者是计算机软件领域的普通技术人员共知的可使用的程序命令。具有计算机读写功能的记录媒体包括为了能够保存和执行程序命令而特别组成的硬件装置，例如：硬盘、软盘以及磁带等磁性媒体（magnetic media）、光盘只读存储器（CD-ROM）、数字化视频光盘（DVD）等光学媒体（optical media）、光磁软盘（flopticaldisk）等磁光介质（magneto-optical media）以及只读内存（ROM）、随机存储器（RAM）、闪存等。程序命令不仅包含由编译器制作的机械语言代码，而且还包含利用解释程序等，能够在计算机中运行的高级语言代码。

如上所述，参照附图对本发明的实施例进行了说明，但本发明在未超出本发明的精神及必需特征的前提下，能够以不同的特定形态来实现。因此，如上所述的详细说明仅用于例示，不得在所有方面解释为有限制。本发明的真正要求保护的技术范围应该由所附的权利要求书进行定义，本发明的等价范围内的所有变更应包含于本发明的范围内。

Claims (8)

1.一种利用多重处理的渲染处理方法，其特征在于，

包括：

由预渲染管理部生成以帧为单位对应用程序运行窗口进行拆分并且按帧对图像执行渲染处理的渲染处理命令的步骤；

根据所生成的上述渲染处理命令，由渲染管理部生成帧相关渲染图像的步骤；

将生成的上述渲染图像保存到存储器的步骤，

用于执行上述渲染处理命令生成步骤的操作，拆分为至少一个操作，用于执行上述渲染图像生成步骤的操作，拆分为至少一个操作，上述拆分操作能够在多个线程得到同步处理。

2.根据权利要求1所述的利用多重处理的渲染处理方法，其特征在于，依次处理按上述帧执行的上述拆分操作。

3.根据权利要求1所述的利用多重处理的渲染处理方法，其特征在于，上述图像以位图格式生成。

4.根据权利要求1所述的利用多重处理的渲染处理方法，其特征在于，上述渲染处理命令生成步骤包括：由场景图优化程序对输入有渲染处理请求的预渲染队列进行扫描，在帧上的相同坐标上连续输入有相同图像生成相关的多个处理请求的情况下进行控制，使得在上述多个处理请求中仅有一个处理请求得到处理的步骤。

5.一种利用多重处理的渲染处理装置，其特征在于，

包括：

预渲染管理部，以帧为单位对应用程序运行窗口进行拆分，生成用于对至少一个帧的图像执行渲染处理的渲染处理命令；

渲染管理部，根据上述渲染处理命令，生成帧相关渲染图像；以及

存储器，用于保存生成的上述渲染图像，

在上述预渲染管理部中生成上述渲染处理命令的操作与在上述渲染管理部中生成上述渲染图像的操作，分别拆分为至少一个操作，上述拆分操作能够在多个线程得到同步处理。

6.根据权利要求5所述的利用多重处理的渲染处理装置，其特征在于，依次处理按上述帧执行的上述拆分操作。

7.根据权利要求5所述的利用多重处理的渲染处理装置，其特征在于，上述图像以位图格式生成。

8.根据权利要求5所述的利用多重处理的渲染处理装置，其特征在于，上述预渲染管理部包括：

预渲染队列，用于接收图像处理事件命令；以及

场景图优化程序，其对上述预渲染队列进行扫描，在帧上的相同坐标上连续输入有相同图像生成相关的多个处理请求的情况下进行控制，使得在上述多个渲染处理请求中仅有一个处理请求得到处理。

Images