CN105359503B - 图像层组合 - Google Patents

Abstract

提供一种用于图像层组合的方法和系统。该方法可包括：检测计算系统的多个计算装置是否具有用于执行图象层组合的可用资源；接收多个图像层；并控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合多个图像层。可提高组合效率。

Description

图像层组合

技术领域

本公开主要涉及图像层组合。

发明背景

在现代计算系统诸如个人计算机和智能手机中，一个或多个应用可以并行运行。这些应用可以将图形内容创建到不同的所谓“图像层”中，所述“图像层”包括RGB图形、YUV视频帧等等。这些图像层被组合以产生最终图像，然后最终图像在屏幕上显示。目前，图像层的组合通常使用图形处理单元(GPU)资源、中央处理单元(CPU)资源或显示控制器硬件资源在固定模式中执行。例如，图像层仅单独通过一个或多个GPU或仅单独通过CPU或仅单独通过显示控制器来组合。

发明内容

本发明人发现，在常规方法中，图像层仅由通过专用计算装置来组合，而未充分使用系统中的其他可用计算资源。因此，需要一种新的图像层组合的方法。

根据一个实施方案，提供了一种用于图像层组合的方法。该方法可包括：检测计算系统的多个计算装置是否具有用于执行图象层组合的可用资源；接收多个图像层；并控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合多个图像层。图像层可通过经检测具有可用资源的一个或多个计算装置而不是一个或多个专用计算装置来组合，从而可以更充分使用所述计算资源并可以提高组合效率。

在一些实施方案中，计算系统的多个计算装置可包括但不限于图形处理单元(GPU)、中央处理单元(CPU)和显示控制器。在一些实施方案中，多个计算装置可包括至少两种不同类型的装置。例如，所述多个计算装置可包括CPU和GPU或GPU和显示控制器或CPU和显示控制器或包括CPU、GPU和显示控制器。

在一些实施方案中，该方法还可以包括检测多少个图像层需要组合，并且所述至少一个计算装置可被控制成基于多少个图像层需要组合的检测来组合所述多个图像层。在一些实施方案中，该方法还可以包括确定组合所述多个图像层所需的计算能力，并且，所述至少一个计算装置可被控制成基于所述确定来组合所述多个图像层。

在一些实施方案中，如果不止一个计算装置检测到具有可用资源，则经检测具有可用资源的计算装置可被控制成基于它们的组合速度和/或能力和计算载荷来组合所述多个图像层。

在一些实施方案中，如果不止一个计算装置检测到具有可用资源，则经检测具有可用资源的计算装置可以分别专用于组合由不同应用产生的图像层。

在一些实施方案中，具有相对高的组合速度的计算装置可专用于组合由具有相对高的图像层刷新率的应用所产生的图像层。

根据一个实施方案，提供一种用于图像层组合的系统。该系统可包括多个计算装置和处理装置，其中，所述处理装置可被配置成：检测所述多个计算装置是否具有用于执行图象层组合的可用资源；并控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合多个图像层。

在一些实施方案中，多个计算装置可包括但不限于图形处理单元(GPU)、中央处理单元(CPU)和显示控制器。在一些实施方案中，多个计算装置可包括至少两种不同类型的装置。

在一些实施方案中，处理装置还可被配置成检测多少个图像层需要组合，并且基于多少个图像层需要组合的检测来控制经检测具有用于执行图像层组合的可用资源的所述至少一个计算装置以组合多个图像层。在一些实施方案中，处理装置还可被配置成检测组合多个图像层所需的计算能力，并且基于组合所述多个图像层所需的计算能力的检测来控制经检测具有用于执行图像层组合的可用资源的所述至少一个计算装置以组合所述多个图像层。

在一些实施方案中，如果不止一个计算装置经检测具有可用资源，则该处理装置可被配置成基于它们的组合速度和/或能力和计算载荷来控制经检测具有可用资源的计算装置以组合所述多个图像层。

在一些实施方案中，所述处理装置还可被配置成检测产生所述多个图像层的应用的信息并基于应用的信息的检测来控制经检测具有用于执行图像层组合的可用资源的所述至少一个计算装置以组合所述多个图像层。

在一些实施方案中，如果不止一个计算装置经检测具有可用资源，则该所述处理装置可被配置成使具有可用资源的计算装置专用于组合由不同应用产生的图像层。

在一些实施方案中，所述处理装置可被配置成使具有相对高组合速度的计算装置专用于组合由具有相对高的图像层刷新率的应用所产生的图像层。

根据一个实施方案，提供一种非临时性计算机可读介质，所述计算机可读介质包含用于控制多个图像层组合的计算机程序。当计算机程序由处理器执行时，其将指导所述处理器来：检测计算系统的多个计算装置是否具有用于执行图象层组合的可用资源；并控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合所述多个图像层。

附图简述

结合附图并根据以下描述和所附权利要求书，本公开的上述和其它特征将变得更加完全清楚。应当理解，这些附图仅描述根据本公开的几个实施方案，因此，不应视为是对本公开的范围的限制，本公开将通过使用附图来描述另外的特征和细节。

图1示意性示出根据一个实施方案的用于图像层组合的方法的流程图；

图2示意性示出在具体实施例中的显示控制器的结构；以及

图3示意性示出根据一个实施方案的用于图像层组合的系统的框图。

具体实施方式

在以下具体实施方式中，参照了形成公开的一部分的附图。在附图中，类似符号通常标识类似部件，除非上下文另有指出。在具体实施方式、附图和权利要求中描述的说明性实施方案并不意图为限制性的。在不脱离本文呈现的主题的精神或范围的情况下，可利用其它实施方案并且可作出其它改变。将容易理解的是，如在本文中大体描述并在附图中示出的本公开的各方面可以各种各样的不同配置进行布置、取代、组合以及设计，所有这些配置都是明确预期的并组成本公开的一部分。

当组合由在计算系统中并行运行的各种应用所产生的多个图像层时，可使用各种计算装置，诸如显示控制器资源、GPU资源、CPU资源等。在组合后，可产生可以在显示屏上示出的输出图像。然而，在以往的方法中，多个图像层通过专用计算装置来组合。结果，不能充分利用系统中的其它可用计算装置。

在各种实施方案中，提供了一种用于图像层组合的有效方法。

图1示意性地示出用于执行图像层组合的方法100。

在S101中，检测计算系统的多个计算装置是否具有用于执行图像层组合的可用资源。

在计算系统诸如个人计算机、智能电话等中，可能有能够执行图象层组合的几个计算装置。所述计算装置可包括但不限于图形处理单元(GPU)、中央处理单元(CPU)和显示控制器。然而，一些计算装置可能在某个时间点完全被占用或禁用，这意味着它们在该时间点不具有执行图像层组合的可用资源。

在一些情况下，可能不存在具有用于执行图像层组合的可用资源的计算装置。如果有多个图像层需要组合，则该组合可能需要等待，直到至少一个计算装置很明显具有用于执行图像层组合的可用资源。通常情况下，计算设备可能不会被100％占用。例如，即使GPU或CPU部分占用去做一些计算诸如生成图像层，其余计算资源可用于组合图像层。基于所述检测，可充分利用可用资源。

在S103中，检测要组合的多个图像层的信息。

计算系统中可能存在并行运行的产生要可视化示出的内容的各种应用。例如，在计算机中，一些应用可能产生桌面的背景图片，一些应用可能在桌面上产生图标，并且一些应用可能产生包括各种信息的窗口。这些内容可分别映射到存储器结构诸如帧缓冲器中，并在显示屏上示出之前通过一个或多个计算装置组合(也称为“混合”)。这些内容分别称为应用的“图像层”，这在本领域中是公知的。

在大多数计算系统中，已经设计了一种用于在组合之前存储所述图像层的存储器装置。因此，检测存储在存储器装置中的多个图像层的信息可能更有效和经济。但是，在一些实施方案中，要组合的多个图像层的信息可从产生多个图像层的应用直接检测。

在一些实施方案中，可检测有多少个图像层需要组合。在一些实施方案中，可检测组合所述多个图像层所需的计算能力。在一些实施方案中，可检测产生所述多个图像层的应用的信息。通过参考这些信息和上述的计算装置具有用于执行图像层组合的可用资源的检测可形成一种有效的组合方案。

在S105中，控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合所述多个图像层。

基于在S101中和S103中的检测，可存在几种情况。

在一些情况下，可能只有一个经检测具有可用资源的计算装置。因此，多个图像层可发送到所述唯一一个计算装置并在所述计算装置中组合。

在一些情况下，可能有不止一个经检测具有可用资源的计算装置。在此类情况下，可存在几种执行图像层组合的方法。

在一些实施方案中，经检测具有可用资源的多个计算装置可被控制成基于它们的组合速度和/或能力来组合所述图像层。不同的计算装置可具有用于图像层组合的不同速度。例如，实现硬件组合的显示控制器可具有比GPU和CPU更快的组合速度。通常，CPU具有最低的组合速度。在一些实施方案中，具有相对快的组合速度的计算装置可在使用具有相对慢的组合速度的计算装置之前使用。例如，如果显示控制器可用并且能够组合所有的图像层，则所述组合可由显示控制器完成，即使在GPU或CPU也可用的情况下。但是，在一些实施方案中，所述组合可由经检测具有可用资源的多个计算装置设备协同完成，特别是当更快的计算装置不能组合所有的图像层时。

可建立用于执行协同组合的几种体系结构。在一些实施方案中，所述组合可基于可用计算装置的组合速度和计算载荷来完成。例如，更快的计算装置可被控制成用更多的计算载荷来组合所述图像层。

在一些实施方案中，经检测具有可用资源的计算装置可经分配来组合由不同应用所产生的图像层。通过使计算装置专用于运行应用，随后由这些运行的应用所产生的图像层可映射到所述计算装置并在所述计算装置中组合。可能没有必要一遍一遍地检测计算系统中的计算装置的可用性，因为可用计算装置和运行的应用可能无法在一定时间内发生变化。这种组合体系结构可能是更有效的。在一些实施方案中，相对快的计算装置诸如显示控制器，可被指定给正在运行的具有相对高的图像层刷新率的应用，诸如多媒体播放器，并且，相对慢的计算设备可被指定给正在运行的具有相对低的图像层刷新率的应用。

下面给出说明协同组合的具体实施例。

显示控制器实现硬件组合具有相对快的速度在本领域中是公知的。如果显示控制器具有并行输入有N个图像层的N个(N是自然数)开放端口，并且所述N个图像层可以在显示控制器中组合，则可以说所述显示控制器具有N个硬件层。图2示意性示出在具体实施例中的显示控制器200的结构。显示控制器200经检测具有实现图像层组合的三个可用硬件层210a、210b和210c，而具有六个经检测要在特定时间点组合的图像层。在这样的情况下，来自两个具有较高图像层刷新率的运行应用的两个图像层被映射到显示控制器200的第一和第二两个硬件层210a和210b，而来自四个具有较低图像层刷新率的运行应用的其他四个图像层被发送至要在其中组合的GPU。并且，四个图像层的组合结果被映射到第三硬件层210c以与第一和第二硬件层210a和210b中的两个图像层组合。显示控制器200在存储器装置230中存储器组合结果。在具体实施例中，显示控制器200专用于两个活跃运行的应用，以及，GPU专用于四个运行较不活跃的应用。看起来较慢的GPU在该时间点可能比较快的显示控制器具有更多的组合载荷。但是，在接下来的时间点，两个运行活跃的应用比四个运行较不活跃的应用产生更多的图像层。通过使较快的计算装置专用于运行较活跃的应用，以及使较慢的计算装置专用于运行较不活跃的应用，可用计算装置之间的同步得以提高并且图像层的组合更有效。

输出图像可通过实现上述处理步骤获得并被发送到显示屏。

根据一个实施方案，提供一种用于图像层组合的系统。

图3示意性示出用于图像层组合的系统300的框图。

系统300可包括处理装置310和多个计算装置，所述多个计算装置包括但不限于显示控制器330、GPU 350和CPU 370。在一些实施方案中，处理装置310可在显示控制器330中实施。处理装置310可被配置成：检测所述多个计算装置是否具有用于执行图像层组合的可用资源；并控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合多个图像层。

图像层可由多个运行的应用产生并输入到第一、第二和第三帧缓冲器410a、410b和410c中。应当指出，帧缓冲器仅用于说明，其数量可以改变。在一些实施方案中，图像层可被控制成从运行的应用直接传送至要在其中组合的计算装置中。在一些实施方案中，处理装置310可被配置成以预定的时间间隔检测帧缓冲器中的图像层的信息。时间间隔可基于要显示组合结果的显示屏的刷新率来确定。可检测是否存在要被组合的多个图像层。在一些实施方案中，可检测运行应用关于图像层的信息。基于可用计算装置的检测和所述图像层的信息，处理装置310可被配置成控制经检测具有可用资源的计算装置来组合图像层。详细配置可通过参照以上描述来获得，这将不此处详细说明。

根据一个实施方案，提供一种非临时性计算机可读介质，其包含用于控制多个图像层的组合的计算机程序。当计算机程序由处理器执行时，其将指导所述处理器来：检测计算系统的多个计算装置是否具有用于执行图象层组合的可用资源；并控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合所述多个图像层。

系统各方面的硬件实现与软件实现之间几乎没有区别；使用硬件或软件一般是表示成本对效率折衷的设计选择。例如，如果实现者确定速度和准确性是最重要的，那么实现者可选择主要硬件和/或固件载体；如果灵活性是最重要的，那么实现者可选择主要软件实施方式；或者，再一次可替代地，实现者可选择硬件、软件和/或固件的一些组合。

虽然本文已公开各个方面和实施方案，但其它方面和实施方案对于本领域技术人员来说将是显而易见的。本文公开的各个方面和实施方案是为了说明目的而并非意图为了限制，真正的范围和精神由以下权利要求书指示。

Claims (10)

1.一种用于图像层组合的方法，其特征在于，包括：

检测计算系统的多个计算装置是否具有用于执行图像层组合的可用资源；

接收多个图像层；以及

控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合所述多个图像层，

其中，检测到的具有所述用于执行图像层组合的可用资源的计算装置有多个，分别用于组合由不同应用所产生的图像层，所述计算装置的组合速度越高，其对应的应用的图像层刷新率越高。

2.根据权利要求1所述的方法，其特征在于，所述计算系统的多个计算装置包括图形处理单元、中央处理单元和显示控制器。

3.根据权利要求1所述的方法，其特征在于，所述计算系统的多个计算装置包括至少两种不同类型的装置。

4.根据权利要求1所述的方法，其特征在于，还包括：确定组合所述多个图像层所需的计算能力，其中，所述至少一个计算装置被控制成基于组合所述多个图像层所需的计算能力的确定来组合所述多个图像层。

5.根据权利要求1所述的方法，其特征在于，检测到具有可用资源的所述计算装置被控制成基于它们的组合速度和计算载荷来组合所述多个图像层。

6.一种用于图像层组合的系统，所述系统包括多个计算装置和处理装置，其特征在于，所述处理装置被配置成：

检测所述多个计算装置是否具有用于执行图像层组合的可用资源；以及

控制经检测具有用于执行图像层组合的可用资源的至少一个计算装置来组合多个图像层，

其中，经检测具有所述用于执行图像层组合的可用资源的计算装置有多个，分别用于组合由不同应用所产生的图像层，所述计算装置的组合速度越高，其对应的应用的图像层刷新率越高。

7.根据权利要求6所述的系统，其特征在于，所述系统的多个计算装置包括图形处理单元、中央处理单元和显示控制器。

8.根据权利要求6所述的系统，其特征在于，所述系统的多个计算装置包括至少两种不同类型的装置。

9.根据权利要求6所述的系统，其特征在于，所述处理装置还可被配置成：检测组合所述多个图像层所需的计算能力，并且基于组合所述多个图像层所需的计算能力的确定来控制经检测具有用于执行图像层组合的可用资源的所述至少一个计算装置以组合所述多个图像层。

10.根据权利要求6所述的系统，其特征在于，所述处理装置被配置成基于它们的组合速度和/计算载荷来控制经检测具有可用资源的计算装置以组合所述多个图像层。