CN105072342B - 图像合成装置及方法 - Google Patents

Abstract

本发明提供一种图像合成装置及图像合成方法，该装置包括图像源获取单元，获取二张以上的图像源，并且，图像合成装置还包括：甄选单元，将图像源甄选至二条以上的图像处理通道上，每一条图像处理通道具有一个覆盖模块，覆盖模块接收一张以上的图像源；合成单元，将图像处理通道输出的图像输出至合成模块进行叠加处理，获得需要输出的图像；释放单元，将存储图像源的数据的存储空间释放。该方法包括应用上述的图像合成装置对图像进行合成处理。本发明可以减小对图像处理单元的使用率，提高图像的处理效率，确保视频播放的流畅性。

Description

图像合成装置及方法

技术领域

本发明涉及图像处理领域，具体地，是涉及电子显示设备的图像合成装置以及使用这种图像合成装置对图像进行合成的图像合成方法。

背景技术

嵌入式电子设备对输出显示的图像通常需要进行处理，在图像处理领域，通常要将不同的图像进行合成处理，使得多幅图像源合成一幅图像并输出显示。图像的合成处理通常是由中央处理器（CPU）或者图像处理单元（GPU）实现，而处理图像前，需要将图像的数据写入缓冲存储器内，由中央处理器或者图像处理单元从缓冲存储器读取数据，待中央处理器或者图像处理器将图像数据合成完毕后，又将处理完毕的图像数据输出。

由于图像合成通常是将多幅图像合成形成一幅图像，因此合成的图像源的数据量较大，而中央处理器或者图像处理单元从缓冲存储器读取的数据量也较大，这样就占用中央处理器或者图像处理单元大量的运算资源，影响嵌入式系统的运算速度。

另外，由于图像处理过程中需要对图像进行缩放、透明度调节等处理，导致中央处理器或者图像处理单元在对图像合成过程中消耗大量的时间，影响到图像的合成效率。如中央处理器短时间内处理大量的图像合成操作，还会影响到其他程序的运行速度，导致电子设备的其他程序运行缓慢的现象。

发明内容

本发明的主要目的是提供一种提高电子设备的图像合成速度的图像合成装置。

本发明的另一目的是提供一种应用上述图像合成装置实现的图形合成方法。

为了实现上述的主要目的，本发明提供的图像合成装置具有图像源获取单元，获取二张以上的图像源，并且，图像合成装置还包括：甄选单元，将图像源甄选至二条以上的图像处理通道上，每一条图像处理通道具有一个覆盖模块，覆盖模块接收一张以上的图像源；合成单元，将图像处理通道输出的图像输出至合成模块进行叠加处理，获得需要输出的图像；释放单元，将存储图像源的数据的存储空间释放。

由上述方案可见，在电子设备内设置显示引擎，显示引擎由多条图像处理通道、合成模块构成，每一条图像处理通道具有覆盖模块，通过覆盖模块接收多个图像源，并且根据图像源的优先级将图像进行覆盖处理，再由合成模块将多条图像处理通道输出的图像数据进行合成处理。这样，电子设备设置专门的图像处理硬件，而不仅仅通过中央处理器或者图像处理单元对图像进行合成工作，可以大大减小图像数据从缓冲存储器读入到中央处理器或者图像处理单元时所占用的带宽，也减小占用中央处理器或者图像处理单元的资源，进而提高图像的合成效率，有利于视频的流畅播放。

一个优选的方案是，至少一个图像处理通道上设有缩放模块，缩放模块接收覆盖模块输出的图像并进行缩放处理。

由此可见，图像处理通道内设置缩放模块可以在图像处理通道内先对图像源进行缩放处理，显示引擎所实现的功能更为强大。

进一步的方案是，每一条图像处理通道所接收的二张以上的图像源具有相同的缩放系数。

由于每一条图像处理通道只设置一个缩放模块，因此需要其接收的多张图像源具有相同的缩放系数，以便于使用一个缩放模块对覆盖模块所接收的图像进行缩放处理。

更进一步的方案是，二条以上的图像处理通道至少包括一条特殊格式图像处理通道，特殊格式图像处理通道用于接收特定格式的图像源。

由此可见，通过设置特殊格式图像处理通道以对特定格式的图像进行处理，提高显示引擎的图像处理能力。

进一步的方案是，合成单元使用合成模块对图像进行叠加处理前，调整二条以上图像处理通道所输出图像的优先级。

可见，合成单元对图像处理通道输出的图像的优先级进行调整，在保证原有图像显示内容效果的前提下，通过调节输入图像源的优先级，减少硬件资源的开启，节省能耗，减小带宽。

为实现上述的另一目的，本发明提供的图像合成方法包括图像源获取步骤，获取二张以上的图像源，还包括甄选步骤，将图像源甄选至二条以上的图像处理通道上，每一条图像处理通道具有一个覆盖模块，覆盖模块接收一张以上的图像源；合成步骤，将图像处理通道输出的图像输出至合成模块进行叠加处理，获得需要输出的图像；释放步骤，将存储图像源的数据的存储空间释放。

由上述方案可见，图像合成方法应用电子设备内设置的显示引擎的硬件资源对图像进行合成处理，通过显示引擎的显示处理通道、合成模块对多张图像源的数据进行覆盖、缩放、叠加等处理，可以减小使用中央处理器、图像显示单元进行图像数据处理，进而减小占用中央处理器、图像处理单元的硬件资源，有利于提高电子设备的图像处理速度。

附图说明

图1是本发明图像合成方法实施例所使用的显示引擎的结构示意框图。

图2是本发明图像合成装置实施例的结构框图。

图3是本发明图像合成方法实施例的流程图。

图4是本发明图像合成方法实施例一个图像处理通道对多个图像源进行覆盖的示意图。

图5是本发明图像合成方法实施例工作流程的示意图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的图像合成装置是运行在电子设备的软件程序，用于对多张图像源进行合成形成一张图像，图像合成装置应用设置在电子设备上的显示引擎、图像处理单元(GPU)的硬件资源对图像进行合成处理，包括对图像进行缩放、透明度调整等处理。本发明的图像合成方法是应用上述的图像合成装置对多张图像源进行合成的方法。

图像合成装置对图像进行处理时应用显示引擎以及图像处理单元等硬件，参见图1，显示引擎(display engine)具有多条图像处理通道，如图1中的图像处理通道10、图像处理通道20等，并且设置合成模块，用于对图像进行合成。每一条图像处理通道内均设有一个覆盖模块以及缩放模块，如图像处理通道10内设置覆盖模块11以及缩放模块12，覆盖模块11可以接收多个图像源，如图像源0、图像源1…图像源n等，覆盖模块11接收的多个图像源均具有自身的优先级，图像源的优先级是表示图像合成过程中，该图像源被其他图像源所覆盖或所遮挡的优先级，图像源的优先级越高，表示该图像源位于合成后的图像的上层，不被其他图像源覆盖或者被少量的其他图像源所覆盖，如图像源的优先级越低，表示该图像源位于合成后的图像源的底层，被较多的其他图像源所遮挡。

覆盖模块11接收多张图像源后，依据每一图像源的优先级进行覆盖处理，即将优先级高的图像源覆盖在优先级低的图像源上。然后，覆盖模块11将覆盖后的图像数据输出至缩放模块12，缩放模块12根据缩放系数对图像进行缩放处理，并将缩放处理后的图像数据输出至合成模块15。

图像处理通道20也设有覆盖模块21以及缩放模块22，覆盖模块21也可以接收多张图像源的数据，并且根据多张图像源的优先级进行覆盖处理，缩放模块22对覆盖模块21输出的图像进行缩放后输出至合成模块15。

合成模块15接收多个图像处理通道输出的图像数据，并进行图像的合成处理，根据每张图像源的透明度进行合成运算，合成输出成一张图像。

由于图像处理通道10的缩放模块12对覆盖模块11输出的图像数据进行整体的缩放处理，因此覆盖模块11所接收的所有的图像源在图像合成过程中均具有相同的缩放系数，以便于缩放模块12对覆盖模块11输出的图像进行整体缩放。当然，多条图像处理通道中，并非所有图像处理通道均需要设置缩放模块，如某些图像源不需要经过缩放即可以被使用，图像处理通道也可以仅仅设置覆盖模块，专用于处理无需经过缩放的图像源。

另外，由于图像处理通道为硬件，为了减少图像处理通道的生产成本，可以将大部分的图像处理通道设置成兼容少量常见的图像格式的硬件，另外，显示引擎中设置一条或多条能够处理特殊格式的图像源的图像处理通道，如设置一条能够对YUV视频源的图像进行处理的图像处理通道，可以使得色彩更加艳丽。

参见图2，图像合成装置具有图像源获取单元30、甄选单元31、合成单元32以及释放单元33，图像合成装置对图像源进行处理时需要使用上述的显示引擎以及图像处理单元，并需要使用缓冲器来临时存储图像源的数据、输出的图像数据等。

图像源获取单元30用于获取图像源，甄选单元31根据图像源获取单元30所获取的多张图像源进行甄选，根据图像源的特性将图像源分配至不同的图像处理通道或者图像处理单元，由显示引擎以及图像处理单元对图像源进行处理，合成单元32用于接收图像处理通道以及图像处理单元所输出的图像，并将图像输出至合成模块15进行叠加处理并最终需要输出的图像。释放单元33用于将临时存储图像源的缓冲器的存储空间释放，以便于缓冲器存储下次需要处理的图像源。

下面结合图3说明图像合成方法的工作流程。首先，图像源获取单元30接收多张图像源，即执行步骤S1，此时图像源的数据被存储在缓冲器中，等到显示引擎或者图像处理单元读取。然后，执行步骤S2，甄选单元31判断显示引擎能否支持该图像源的格式，也就是判断显示引擎的图像处理通道能否对所接收的该种格式的图像源进行处理，如图像处理通道能够对该种格式的图像源进行处理，则执行步骤S3，否则，将图像源输出至图像处理单元，由图像处理单元执行步骤S10，对图像处理通道所不能处理的图像源进行处理。

步骤S3中，图像处理通道判断所接收的图像源是否需要合成，如图像源不需要合成，则直接执行步骤S5，如图像源需要合成，执行步骤S4，判断图像源是否为支持合成的类型的图像源。由于图像处理通道对处理的图像源有一定要求，例如，所接收的图像源所存储的内存地址必须为连续的，如果图像源的类型不是图像处理通道所支持的图像源类型，则由图像处理单元对该图像源进行处理。

接着，执行步骤S5，判断所接收的图像源是否需要进行缩放处理，如需要缩放处理，则执行步骤S6，进一步判断该图像源是否为图像处理通道能够支持缩放处理的类型的图像源，如不支持，则执行步骤S10。如图像源不需要进行缩放处理，或者图像源需要进行缩放处理并且图像处理通道能够支持这种类型的图像源进行缩放处理，则根据图像源的特性选择合适的图像处理通道。选择图像处理通道时，需要根据图像源的缩放系数确定该图像源由哪条图像处理通道进行处理，由于每一条图像处理通道所处理的图像源必须具有相同的缩放系数，因此可以将具有相同缩放系数的图像源交由同一图像处理通道处理。此外，甄选图像时，还需要考虑图像源的优先级、是否与该通道内的其他图像源存在叠加等因素。另外，为了节省资源，可以将相同格式的图像源交由同一图像处理通道处理，这也是为每一图像处理通道甄选需要处理的图像源的过程。

当然，如果图像源选取图像处理通道失败，则需要将没有选取图像处理通道成功的图像源输出至图像处理单元，由图像处理单元对图像处理通道所不能处理的图像源进行处理。

步骤S7中，如图像源被选取至合适的图像处理通道后，图像处理通道对多个图像源进行覆盖处理，参见图4，假如覆盖模块当前接收三张图像源，分别是图像源0、图像源1以及图像源2，三张图像源的优先级分别是0、1、2，也就是图像源0的优先级最低，图像源2的优先级最高。假如图像源0的c区域与图像源1的b区域完全重叠，此时，只读取图像源1中的b区域，不读取c区域，这样可以节省内存带宽。

然后，图像处理通道的缩放模块还对覆盖模块输出的图像进行缩放处理，即执行步骤S8，缩放处理后的图像需要输出至合成模块15。与此同时，不能被图像处理通道所处理的图像交由图像处理单元进行处理，并且在获取处理后的目标图像，也就是执行步骤S11，目标图像被输出至合成模块15。

合成模块15获取多个图像处理通道所输出的图像以及图像处理单元所输出的目标图像，执行步骤S9，对多个图像进行合成处理，也就是将多张图像进行叠加。为了充分利用硬件资源，可以调节多个图像处理通道输出的图像以及图像处理单元输出的目标图像的优先级，在不影响最终输出图像的情况下减小硬件资源的开启，减少功耗。

如图5所示，合成模块15需要对四张图像源进行合成处理，分别是图像0、图像1、图像2、图像3，四张图像的优先级分别是0、1、2、3，并且图像1与图像3均是显示引擎所无法处理的图像，也就是通过图像处理单元所处理的图像，而图像0与图像2分别是由图像处理通道所生成的图像。在合成过程中，可以将所有由图像处理单元处理的图像的优先级调整成最高的优先级，然后再对图像进行合成，得到合成后的图像。

当然，由于图像缩放的原因，缩放后的图像的边界可能超出显示屏的边界，为例减小合成单元对图像数据的运算量，可以只对位于显示边界内的图像进行叠加处理，对于位于显示屏以外的部分的图像数据不进行叠加处理，从而节省图像处理过程中占用的带宽，减小产品的功耗，并且提高图像的合成速度。

最后，当需要处理的图像源合成完毕后，释放单元33将释放临时存储图像源的存储空间，也就是将存储图像源的内存地址设置成可以写入新数据的内存地址，以便于接收新的图像源，进行下一轮的图像合成操作。

由于本申请的技术方案使用显示引擎对图像进行合成处理，大部分图像可以由图像处理通道完成图像的处理，只有少量不能被图像处理通道处理的图像交由图像处理单元处理，可以大大减小图像处理单元的运行量，提高图像处理效率，满足高清视频的播放要求，视频播放更为流畅。

当然，上述的方案只是本发明优选的实施方案，实际应用是还可以有更多的变化，例如，每一条图像处理通道的覆盖模块每次最多接收四张图像源，为了充分利用硬件资源，甄选图像处理通道时，每条图像处理通道每次尽可能接收缩放系数相同的四张图像源并进行处理；或者，将图像处理单元所生成的目标图像的优先级设置成最低优先级的图像并进行合成，这样的改变也能实现本发明的目的。

最后需要强调的是，本发明不限于上述实施方式，如使用的图像处理通道数量的改变、每一图像处理通道所接收图像源的数量上限的改变、图像处理通道所处理的图像格式的改变等变化也应该包括在本发明权利要求的保护范围内。

Claims (10)

1.图像合成装置，包括：

图像源获取单元，获取二张以上的图像源；

其特征在于：

所述图像合成装置还包括：

甄选单元，将所述图像源甄选至二条以上的图像处理通道上，每一条所述图像处理通道具有一个覆盖模块，所述覆盖模块接收一张以上的所述图像源，所述图像处理通道设置于电子设备的显示引擎内，所述显示引擎包括多条所述图像处理通道以及合成模块；

合成单元，将所述图像处理通道输出的图像输出至合成模块进行叠加处理，获得需要输出的图像；

释放单元，将存储所述图像源的数据的存储空间释放。

2.根据权利要求1所述的图像合成装置，其特征在于：

至少一个所述图像处理通道上设有缩放模块，所述缩放模块接收所述覆盖模块输出的图像并进行缩放处理。

3.根据权利要求2所述的图像合成装置，其特征在于：

每一条所述图像处理通道所接收的二张以上的所述图像源具有相同的缩放系数。

4.根据权利要求1至3任一项所述的图像合成装置，其特征在于：

二条以上的所述图像处理通道至少包括一条特殊格式图像处理通道，所述特殊格式图像处理通道用于接收特定格式的图像源。

5.根据权利要求1至3任一项所述的图像合成装置，其特征在于：

所述合成单元使用所述合成模块对图像进行叠加处理前，调整二条以上所述图像处理通道所输出图像的优先级。

6.根据权利要求1至3任一项所述的图像合成装置，其特征在于：

所述合成单元还接收图像处理单元输出的图像，将所述图像处理通道输出的图像以及所述图像处理单元输出的图像输出至合成模块进行叠加处理。

7.根据权利要求1至3任一项所述的图像合成装置，其特征在于：

所述合成单元仅对位于显示屏显示范围内的图像进行叠加处理。

8.图像合成方法，包括

图像源获取步骤，获取二张以上的图像源；

其特征在于：

甄选步骤，将所述图像源甄选至二条以上的图像处理通道上，每一条所述图像处理通道具有一个覆盖模块，所述覆盖模块接收一张以上的所述图像源，所述图像处理通道设置于电子设备的显示引擎内，所述显示引擎包括多条所述图像处理通道以及合成模块；

合成步骤，将所述图像处理通道输出的图像输出至合成模块进行叠加处理，获得需要输出的图像；

释放步骤，将存储所述图像源的数据的存储空间释放。

9.根据权利要求8所述的图像合成方法，其特征在于：

至少一个所述图像处理通道上设有缩放模块；

所述甄选步骤还包括使用所述缩放模块接收所述覆盖模块输出的图像并进行缩放处理。

10.根据权利要求8或9所述的图像合成方法，其特征在于：

所述合成步骤还包括对图像进行叠加处理前，调整二条以上所述图像处理通道所输出图像的优先级。