CN104424620A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置及图像处理方法，提供一种能够有效地对重叠图层而形成的图像进行描绘的技术。将作为图像显示对象的对象物分配到多个图层中的任一图层并且重叠多个图层以进行1帧图像的描绘处理时，参照对象物数据库，所述对象物数据库包含每个图层的对象物描绘命令的列表，根据列表中包含的描绘命令数，动态地变更在1帧的图像描绘中的各图层所对应的对象物的描绘处理数。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及用于重叠多个图层以进行图像显示的图像处理装置及图像处理方法。

背景技术

在设于计算机、智能手机、平板等的显示器上显示图像时，重叠多个图层以构成一个图像进行显示的方法为人所知。即，各图层是如透明胶片的图像区域，以如下方式进行图像合成：在各图层中，透过不透明对象物(Object)的图像区域以外的透明图像区域可看到被重叠的下层的图层。另外，可以改变各图层对于其它图层的相对位置进行重叠，通过以滑动的方式移动各图层，从而能够将描绘在各图层上的对象物的图像配置到期望的位置。另外，也能够变更图片的不透明度，使得描绘的对象物的图像有部分透明。

例如，在电子游戏中，将描绘有背景图像的图层、描绘有在游戏中登场的人物图像的人物图层、描绘有显示我方或敌方人物状态等图像的HUD图层等重叠，构成一个图像并将其显示在显示器上。

在进行这种图像的渲染(rendering)时，为减轻带给CPU的负担，公开了如下技术(专利文献1)，即：相比于其它的第二区域，以更高的帧速率渲染作为操作输入时机指标的第一区域。

在先技术文献

专利文献

专利文献1：日本特许4948217号公报

发明内容

发明所要解决的技术问题

但是，如果以较高的帧速率进行渲染的区域是固定的，那么其使用场合会受限制。

另外，调用用于在每个图层描绘对象物的API以进行处理的情况下，如果因计算机的性能等而限定了每个单位时间可处理的API调用数，那么当在各层均等地调用API时，有可能无法流畅地显示帧。

由此，期望一种技术，其可适用于各种场合，并且能够在有限的API调用数的处理中，进行流畅的影像显示。

用于解决技术问题的方案

本发明的一个实施方式是一种图像处理装置，通过将多个图层重叠来执行1帧图像的描绘处理，作为图像显示对象的对象物被分配在多个图层中的任一图层，其特征在于，所述图像处理装置参照包含每个图层的对象物描绘命令列表的对象物数据库，并根据所述列表中包含的描绘命令数，动态地变更在1帧的图像描绘中各图层所对应的对象物的描绘处理数。

另外，本发明的另一实施方式是一种图像处理方法，将多个图层重叠从而执行1帧图像的描绘处理，作为图像显示对象的对象物被分配在多个图层中的任一图层，其特征在于，将具备用于存储对象物数据库的存储部的计算机作为如下单元而发挥功能：参照包含每个图层的对象物描绘命令列表的对象物数据库，根据所述列表中包含的描绘命令数，动态地变更在1帧的图像描绘中的各图层所对应的对象物的描绘处理数。

在此优选的是，对图层设定优先度，相比于所述优先度低的图层，优先对所述优先度高的图层进行对象物的描绘处理。

另外，优选的是，对多个图层分配1帧的图像描绘中可执行的描绘命令数，并且根据被分配的描绘命令数对分配到多个图层的对象物进行描绘处理。

另外，对于作为描绘处理对象的图层，用对象物数据库的列表中登记的描绘命令数除以1帧的描绘处理中剩余的可执行的描绘命令数得到数值A，用1帧的描绘处理中可执行的描绘命令数除以数值A得到数值B，对作为所述描述处理对象的图层仅执行数值B的描绘命令。

另外，当向已登记在所述对象物数据库的列表中的作为描绘命令对象的对象物发出追加的描绘命令时，优选将描绘命令改写成，合并所述已登记的描绘命令与所述追加的描绘命令而形成的描绘命令。

另外，实际测量在1帧的图像描绘中可执行的描绘命令数，并根据该实测值向多个图层分配1帧的图像描绘中可执行的描绘命令数。

发明效果

根据本发明，在向图层分配多个对象物并且重合多个图层进行显示的图像处理中，能够实现流畅的图像显示。

附图说明

图1是示出本发明的实施方式中的图像处理装置的结构的图。

图2是示出本发明的实施方式中的图像的结构的图。

图3是示出本发明的实施方式中的对象物数据库的登记例的图。

图4是本发明的实施方式中的图像处理的流程图。

图5是示出本发明的实施方式中的对象物数据库的登记例的图。

符号说明

10：处理部          12：存储部

14：输入部          16：输出部

20：图层            22：图像

100：图像处理装置   102：外部服务器

104：通信单元

具体实施方式

如图1所示，本发明的实施方式中的图像处理装置100构成为包含处理部10、存储部12、输入部14以及输出部16。即，图像处理装置100具备计算机的基本结构，能够用作普通的PC、智能手机、平板、便携式电话等。另外，图像处理装置100可以通过由互联网等通信单元104连接的外部服务器102来实现其部分功能。

处理部10包含CPU等用于执行运算处理的单元。处理部10通过执行存储在存储部12中的图像处理程序，实现本实施方式中的图像处理。存储部12包含半导体存储器、硬盘等存储单元。存储部12可存取地与处理部10连接，用于存储图像处理程序、提供给图像处理的各对象物的图像数据、含有对象物的描绘命令列表的对象物数据库等。输入部14包含向图像处理装置100输入信息的单元。输入部14例如具备用于接收来自用户的输入信息的触摸板或键盘。另外，输入部14包含从图像处理装置100的外部接收信息的网络接口等，用于接收图像处理程序、提供给图像处理的各对象物的图像数据。输出部16包含用于输出由图像处理装置100处理的信息的单元。输出部16例如具备向用户呈现图像的显示器。另外，包含向图像处理装置100的外部发送信息的网络接口，用于向外部服务器12等发送信息。

在本实施方式中，说明通过图像处理装置100对分配在三个图层上的多个对象物所进行的描绘(渲染)处理。但是，图层的数量和对象物的数量并不限定于此。

图2是示出图像处理装置100中的图像22的构成例的图。在图像处理装置100中，显示在输出部16上的图像22是重叠多个图层20(在本实施方式中为三个图层A(20a)、图层B(20b)、图层C(20c))进行合成的合成图像。

各图层20上分配有单个或多个对象物。对象物是表示作为显示对象的图像的属性的概念。以电子游戏为例，对象物例如具有背景、人物(character)、HUD等的属性值。进一步，附有HUD属性的对象物作为生命值显示部、魔法值显示部等的HUD被分配到一个图层A(20a)。另外，附有人物属性值的对象物作为我方人物、敌方人物等在游戏中登场的人物被分配到一个图层B(20b)。另外，附有背景属性值的对象物作为山、树木、道路、房屋等背景被分配到一个图层C(20c)。

各图层20分别是一个图像，描绘分配到每一个图层20的对象物的图像数据。

例如，在图2的例子中，图层A(20a)上分配有对象物A1～A6，对象物A1～A6的图像被描绘(渲染)到图层A(20a)。另外，图层B(20b)上分配有对象物B1～B3，对象物B1～B3的图像被描绘(渲染)到图层B(20b)。另外，图层C(20c)上分配有对象物C1～C4，对象物C1～C4的图像被描绘(渲染)到图层C(20c)。

此外，在图2的例子中，为了使说明易于理解，分配到各图层20的对象物数量较少，而实际上各图层20上分配有更多的对象物。

各图层20上设定了重叠图层20时的优先度。重叠多个图层20以构成合成图像时，将优先度高的图层20重叠到优先度低的图层20上。即，描绘在重叠后的多个图层20上的对象物的图像彼此重合时，使优先度高的图层20的图像优先构成合成图像。另外，将各图层20上未描绘有对象物的图像数据的区域设为透明区域。由此，描绘在重叠后的多个图层20上的图像彼此不重合时，合成图像构成为：可透过上图层20看到描绘在下图层20上的图像。

在图2的例子中，按照图层A(20a)、图层B(20b)、图层C(20c)的顺序设定优先度。重叠这三个图层A(20a)、图层B(20b)、图层C(20c)，形成合成图像22。即，图层B(20b)、C(20c)上描绘的图像重合到图层A(20a)上描绘的图像的区域时，以优先显示图层A(20a)上描绘的图像的方式进行合成。另外，图层C(20c)上描绘的图像重合到图层B(20b)上描绘的图像的区域时，以优先显示图层B(20b)上描绘的图像的方式进行合成。

图3是示出存储在存储部12中的对象物数据库的登记例的图。对象物数据库可登记用于构成图像的多个图层的每个图层。每个图层上分配并登记有作为显示对象的物体。例如，在图2的例子中，图层A(20a)上分配并登记有对象物A1～A5。另外，图层B(20b)上分配并登记有对象物B1～B3，图层C(20c)上分配并登记有对象物C1～C4。

处理部10执行电子游戏等的程序中包含的图像处理程序，伴随着游戏的进行等，对分配到各图层的物体执行描绘处理。此时，用于指示在每个图层描绘各对象物的描绘处理的描绘命令，例如调用执行描绘处理的API(Application Programming Interface：应用程序编程接口)的描绘命令被登记到对象物数据库的列表中。

图3的例子中，对于图层A(20a)，给出了对分配到图层A的对象物A1中包含的数值进行改写处理的描绘命令，该描绘命令登记在列表中。另外，对于图层B(20b)，登记有用于执行使分配到图层B的对象物B1向右移动2点以及向上移动3点的处理的描绘命令1。对于图层B，还同样登记有描绘命令2～10。进一步，对于图层C(20c)，登记有用于执行使分配到图层C的对象物C1向右移动3点以及向上移动3点的处理的描绘命令1。对于图层C，也同样登记有描绘命令2～100。

在此，对通过每秒可进行600个描绘处理(API调用)的计算机来执行每秒60帧的描绘的情况下的处理进行说明。这种情况下，每帧可以对10个描绘命令进行处理。

然而，在图3的例子中，对象物数据库中对于图层A(20a)登记有1个描绘命令、对于图层B(20b)登记有10个描绘命令、对于图层C(20c)登记有100个描绘命令，共计111个。这样，在总描绘命令数超过每一帧可处理的描绘命令数(在此为10)的情况下，无法在1帧内处理全部描绘命令。

在本实施方式中，根据图层的优先度使各图层中的描绘处理量不同，以可显示流畅影像的方式执行描绘处理。具体地说是按照图4示出的流程图执行处理。

在步骤S10中，对优先度最高的图层执行已登记的描绘命令的处理。在图3的对象物数据库的列表的例子中，由于优先度最高的图层A(20a)中登记有1个描绘命令，因此处理部10执行该描绘命令的描绘处理。由此，对象物数据库中与图层A相关联并登记于其中的剩余描绘命令数变为0。

在步骤12中，对优先度低于优先度最高的图层的图层执行已登记的描绘命令的处理。首先，确定对优先度仅次于优先度最高的图层的图层、即优先度第二高的图层进行处理的描绘命令数。

首先，用作为处理对象的图层所对应的登记在对象物数据库中的描绘命令数除以当前处理的帧中剩余的描绘命令数，算出数值A。图3的对象物数据库的情况下，登记有与优先度第二高的图层B(20b)相关的10个描绘命令，当前处理的帧中剩余9个描绘命令。因此，A＝10/9＝2(小数点以下向上取整)。然后，用每帧可处理的描绘命令数(此处为10)除以已算出的数值A得到数值B，将该数值B作为在该图层B进行处理的描绘命令数。因此，B＝10/2＝5是对图层B进行处理的描绘命令数。由此，对于图层B，处理部10执行对象物数据库的列表中登记的描绘命令中优先顺序高的5个描绘命令。例如，描绘命令中的优先顺序可以定义为，将越早登记到对象物数据库的列表中的描绘命令设为优先顺序越高的描绘命令。由此，与对象物数据库的图层A相关联并登记于其中的剩余描绘命令数变为5。

由于剩余的可处理的描绘命令数为4，因而将其全部分配给优先度最低的图层C的处理。对于图层C，处理部10执行对象物数据库的列表中登记的描绘命令中优先顺序高的4个描绘命令。由此，与对象物数据库的图层C相关联并登记于其中的剩余描绘命令数变为96。

此外，当存在优先顺序低于图层C的图层时，图层C也执行与图层B同样的处理。即，通过图层A和B的描绘处理，对于当前处理的帧，可处理的剩余描绘命令数为4，因而数值A＝100/4＝25以及数值B＝10/25＝1(小数点以下向上取整)。因此，对于图层C，处理部10执行对象物数据库的列表中登记的描绘命令中优先顺序高的1个命令。直到优先度最低的图层为止重复这样的处理。

通过到目前为止的处理，一秒钟将被改写60次的帧中完成第一次帧改写。而且，对于图层A的剩余描绘命令数变为0，对于图层B的剩余描绘命令数变为5，对于图层C的剩余描绘命令数变为96。

接下来，进入第二次以后的帧的描绘处理。此外，可以在一个帧的描绘处理过程中或者多个帧的描绘处理之间进行描绘处理以外的处理。在此，对下述情况进行说明，即，在进入第二次以后的帧的描绘处理之前，对图层A新添加一个描绘命令，这样，对于图层A的剩余描绘命令数变为1，对于图层B的剩余描绘命令数变为5，对于图层C的剩余描绘命令数变为96。

在步骤S14中，使用到前一帧为止的图像的描绘处理中对各层执行的描绘命令的平均值(移动平均)来执行对各图层的描绘处理。在第二次的帧描绘中，继续使用在第一次的帧描绘处理中对各图层的描绘处理数。即，对图层A执行1个描绘命令，对图层B执行5个描绘命令，对图层C执行4个描绘命令。通过到目前为止的处理，一秒钟将被改写60次的帧中完成第二次帧改写。而且，对于图层A的剩余描绘命令数变为0，对于图层B的剩余描绘命令数变为0，对于图层C的剩余描绘命令数变为92。

接着，返回步骤S14的处理，进入第三次以后的帧描绘处理。在此，对下述情况进行说明，即，进入第二次以后的帧描绘处理之前，对图层A新添加1个描绘命令，这样，对于图层A的剩余描绘命令数为1，对于图层B的剩余描绘命令数为0，对于图层C的剩余描绘命令数为92。

在第三次的帧描绘中，使用在第一次以及第二次的帧描绘处理中对应于各图层的描绘处理数的平均值。即，对于图层A执行1个描绘命令。对于图层B可执行5个描绘命令。但是，由于对象物数据库中已不存在对于图层B的描绘命令，这种情况下，将该剩余的描绘命令转给下一个优先度的图层。因此，对于图层C执行9个描绘命令。通过到目前为止的处理，一秒钟将被改写60次的帧中完成第三次帧改写。而且，对于图层A的剩余描绘命令数变为0，对于图层B的剩余描绘命令数变为0，对于图层C的剩余描绘命令数变为83。

此外，例如对图层B追加了3个描绘命令的情况下，在执行了图层B的3个描绘命令之后，加上剩下的2个描绘命令，对图层C执行6个描绘命令。

在第四次以后的帧描绘中也同样使用到此为止的帧描绘处理中对各图层的描绘处理数的平均值来进行处理。此时，在对各图层追加了描绘命令的情况下，对于优先度高的图层仅根据过去的描绘处理数的平均值来执行描绘命令，在可执行的描绘命令数有剩余的情况下，将其分配到下一优先度的图层进行处理。

根据本实施方式，在向图层分配多个对象物并且重叠多个图层来进行显示的图像处理中，根据各图层的描绘优先度使各图层的处理量有所侧重，由此进行对象物的描绘处理。另一方面，在每一帧，对列表中登记有描绘命令的所有(或尽可能多的)图层执行描绘命令。由此，即使在限定了单位时间可处理的API调用数的情况下，也能够显示流畅的影像。

这是由于，通过将包含更多想要向用户展示的对象物的图层设定为较高的优先度，从而能够对用户更流畅地显示影像。在1帧的描绘处理中，通过使得优先度高的图层中包含的对象物的描绘数多于优先度低的图层中包含的对象物的描绘数，由此，用户能够流畅地观看影像。

也就是，向优先度高的图层分配用户关注度高的对象物，通过优先执行这种对象物的描绘，能够给用户留下流畅显示影像的印象。另一方面，在1帧的描绘处理中，不仅是优先度高的图层，也对分配到优先度低的图层上的对象物进行描绘处理。因此，由于能够给用户带来帧全体在一点点地运动的印象，因而描绘处理的延迟不易引人注意。此时，不是所有优先度低的图层的对象物都在一次帧描绘处理中被更新，但是，由于优先度低的图层包含的是背景图像等对于用户来说关注度低的对象物，因此，即使不是一次更新所有对象物，也能够使用户感到是在流畅地显示影像。

由此，即使在处理能力不够充分的计算机(手机终端等)中，也能够显示作为全体自然地运动、且对象的描绘延迟不明显的影像。

(变形例1)

在对象物数据库中将各图层所对应的对象物的描绘命令形成列表进行管理。在新追加描绘命令的情况下，原则上是在列表的最后追加该描绘命令。

在本变形例中，当向已登记在对象物数据库的列表中的描绘命令的对象物进一步追加描绘命令时，合并该对象物所对应的描绘命令的内容。

例如，如图5所示，在已登记有用于使分配到图层B的对象物B1向右移动3点以及向上移动3点的描绘命令时，在该描绘命令被执行前，作为追加的描绘命令而进一步向对象物B1追加使其向右移动2点以及向下移动1点的描绘命令，在这种情况下，将已登记的描绘命令的内容改写为使其向右移动5点以及向上移动2点的处理。

通过进行这样的改写描绘处理的处理，能够减少登记在对象物数据库的列表中的描绘命令数，从而能够进一步抑制描绘处理的延迟。

(变形例2)

在上述实施方式中，预先设定每秒可处理的描绘处理数(API调用数)或每秒可描绘的帧数。但是，也可以根据计算机处理负荷的变动等来实际测量每秒可处理的描绘处理数(API调用数)或每秒可描绘的帧数，并按照该实测值进行处理。

例如，在上述实施方式中，每秒可描绘的帧数为10而实测值为8的情况下，可以用前一帧为止的图像的描绘处理中对各图层执行的描绘命令的平均值(移动平均)乘以每秒可描绘的帧数的基准值与变动值之比(8/10)，得到乘积，并将上述乘积用作各图层的描绘命令的执行数。对图层B执行的描绘命令的平均值(移动平均)为5的情况下，由于5×8/10＝4，所以可以对图层B执行4个描绘命令。

另外，每秒可处理的描绘处理数(API调用数)发生变动的情况下，每秒可描绘的帧数也会基于该变动而发生变动，因此，也可以根据变动后的每秒可描绘的帧数同样地进行处理。

这样，根据每秒可描绘的帧数的变动，补正各图层所对应的描绘命令的执行数而进行处理，由此能够根据描绘处理能力的变动显示对应的影像。特别是，根据每秒可描绘的帧数的基准值与变动值之比(8/10)进行补正，从而能够按照图层的优先度对各图层的对象物合理地进行描绘处理。

此外，每秒可处理的描绘处理数(API调用数)或每秒可描绘的帧数可以每隔规定时间进行测定，也可以每当结束规定帧数的帧描绘处理时进行测定。另外，为了设定每秒可处理的描绘处理数(API调用数)或每秒可描绘的帧数的初始值，也可以在游戏开始时进行测定。

Claims (7)

1.一种图像处理装置，通过将多个图层重叠来执行1帧图像的描绘处理，作为图像显示对象的对象物被分配在多个图层中的任一图层，

其特征在于，

所述图像处理装置参照包含每个图层的对象物描绘命令列表的对象物数据库，并根据所述列表中包含的描绘命令数，动态地变更在1帧的图像描绘中各图层所对应的对象物的描绘处理数。

2.根据权利要求1所述的图像处理装置，其特征在于，

对图层设定优先度，相比于所述优先度低的图层，优先对所述优先度高的图层进行对象物的描绘处理。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

向多个图层分配1帧的图像描绘中可执行的描绘命令数，并根据被分配的描绘命令数对分配在多个图层的对象物进行描绘处理。

4.根据权利要求1～3中的任一项所述的图像处理装置，其特征在于，

将对象物数据库的列表中登记的关于描绘处理对象的图层的描绘命令数除以1帧的描绘处理中剩余的可执行的描绘命令数得到数值A，将1帧的描绘处理中可执行的描绘命令数除以数值A得到数值B，然后对所述描述处理对象的图层仅执行相当于数值B的描绘命令。

5.根据权利要求1～4中的任一项所述的图像处理装置，其特征在于，

当向已登记在所述对象物数据库的列表中的作为描绘命令对象的对象物发出追加的描绘命令时，将描绘命令改写成，将所述已登记的描绘命令和所述追加的描绘命令合并而形成的描绘命令。

6.根据权利要求1～5中的任一项所述的图形处理装置，其特征在于，

实际测量在1帧的图像描绘中可执行的描绘命令数，并根据该实测值向多个图层分配1帧的图像描绘中可执行的描绘命令数。

7.一种图像处理方法，通过将多个图层重叠来执行1帧图像的描绘处理，作为图像显示对象的对象物被分配在多个图层中的任一图层，

其特征在于，包括如下步骤：

在对象物数据库存储包含每个图层的对象物描绘命令列表；

参照对象物数据库，根据所述列表中包含的描绘命令数，动态地变更在1帧的图像描绘中的各图层所对应的对象物的描绘处理数。