CN110377264A - 图层合成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图层合成方法、装置、电子设备及存储介质。所述方法包括：确定待显示图像的多个图层中的静态图层以及动态图层；通过图形处理器对所述静态图层进行合成，获得待混合图层；通过多媒体显示处理器将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示，从而降低电子设备的图层合成功耗。

Description

图层合成方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图层合成方法、装置、电子设备及存储介质。

背景技术

随着电子技术的发展，具有图像显示功能的电子设备(如手机或平板电脑等)越来越多，电子设备的显示界面通常有多个显示图层，通过对多个显示图层进行合成显示在电子设备上。但是，电子设备在合成图层时，功耗较高。

发明内容

鉴于上述问题，本申请提出了一种图层合成方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种图层合成方法，所述方法包括：确定待显示图像的多个图层中的静态图层以及动态图层；通过图形处理器(GPU，Graphics ProcessingUnit)对所述静态图层进行合成，获得待混合图层；通过多媒体显示处理器(MDP，Multimedia Display Processor)将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

第二方面，本申请实施例提供了一种图层合成装置，所述装置包括：图层分类模块，用于确定待显示图像的多个图层中的静态图层以及动态图层；第一合成模块，用于通过图形处理器(GPU，Graphics Processing Unit)对所述静态图层进行合成，获得待混合图层；第二合成模块，用于通过多媒体显示处理器(MDP，Multimedia Display Processor)将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器、图形处理器(GPU，Graphics Processing Unit)以及多媒体显示处理器(MDP，Multimedia DisplayProcessor)，所述存储器、GPU以及MDP耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述的方法，所述GPU和所述MDP执行上述方法中的图层合成。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。

本申请实施例提供的图层合成方法、装置、电子设备及存储介质，将静态图层由功耗较高的GPU进行合成，而将动态图层由功耗低的MDP进行合成，从而降低电子设备的图层合成功耗。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的图像处理的逻辑框架图。

图2示出了本申请实施例提供的一种显示界面示意图。

图3示出了图2所示的显示界面对应的图层示意图。

图4示出了本申请实施例提供的图层合成方法的一种流程图。

图5示出了本申请实施例提供的另一种显示界面示意图。

图6示出了本申请实施例提供的图层合成方法的另一种流程图。

图7示出了本申请实施例提供的图层合成方法的又一流程图。

图8示出了本申请实施例提供的图层合成装置的功能模块图。

图9示出了本申请实施例提供的电子设备的结构框图。

图10是本申请实施例的用于保存或者携带实现根据本申请实施例的图层合成方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应用程序(application)可以通过窗口管理器(Windows manager)创建窗口(window)，窗口管理器为每一个窗口创建Surface用于在上面绘制各种需要显示的元素，每个surface对应一个图层，即可以在每个surface绘制一个图层。

在显示界面(如Activity)中，可以包括多个图层，如导航栏、状态栏、程序界面等。每个图层在相应的surface进行绘制，即在每个surface进行对应的图层的绘制，具体可以通过硬件加速渲染器(HWUI)和/或Skia图形库等在surface提供的画布(cavas)进行图层绘制。

系统(System)再使用图层传递模块(Surface Flinger)服务将各个surface进行合成，即将各个图层进行合成。其中，SurfaceFlinger服务运行在系统进程中，用来统一管理系统的帧缓冲区(FrameBuffer)，SurfaceFlinger获取所有的图层，可以使用图像处理器(GPU,Graphics Processing Unit)对图层进行合成，将合成的结果保存到帧缓存区。在本申请实施例中，GPU可以对所有或者部分图层进行合成。其中，当GPU对一个待显示的显示界面中的部分图层进行合成时，硬件图层混合器(HWC,Hardware composer)可以将SurfaceFlinger通过GPU合成的结果与其他图层一起合成，具体的，如图1所示，HWC可以调用多媒体显示处理器(MDP，Multimedia Display Processor)，对帧缓冲区中GPU合成后获得的图层与其他尚未合成的图层进行图层的合成，最终形成BufferQueue中的一个Buffer，再在显示驱动的作用下，将Buffer中合成的图像用于显示。

也就是说，电子设备的显示屏可以进行显示界面的显示，在显示界面中可能包括多个图层，即显示界面由多个图层合成。其中，每一个图层都是由许多像素组成的，各个图层通过叠加的方式组成整个图像，形成电子设备的显示界面。图层可以将页面上的元素精确定位，图层中可以加入文本、图片、表格、插件，也可以在里面再嵌套图层。对于图层以及图层合成的图像，可以通俗地理解为，图层就像是含有文字或图形等元素的胶片，一张张图层按指定的顺序叠放在一起，组合起来形成的最终图像效果，就是由图层组合形成的图像，例如电子设备的显示界面。当然，可以理解的是，图层并不是真的胶片，上述描述只是为了便于理解的比喻。例如图2所示的电子设备的桌面显示界面100，包括的多个图层，分别为状态栏101、导航栏102、墙纸103以及图标层104。

为了使显示界面在显示屏进行显示，需要将显示界面的各个图层进行合成。例如将图3所示的状态栏101、导航栏102、墙纸103以及图标层104合成为图2所示的显示界面100。发明人发现，由于GPU是一个通用的图形处理器，在图形处理上比MDP功能强，除了能够做2维图像处理，还能做3维图像处理、特效等，一次性可以叠加多个图层，仅通过常用的图层合成方式GPU进行图层合成时，可以合成的图层数量基本不受限制，但是功耗相对较高。

而MDP是一个专用的显示图像处理单元，能够做常规的2维图像处理，主要用于做多个图层的合成叠加，且功耗低。但是MDP一次性能合成的图层数量有限。具体的，MDP一次性能合成的图层数量与MDP中FIFO管道数量对应，MDP一次性能够叠加的图层越多，在其内部需要更多的FIFO管道，这都是比较昂贵的电路，因此，MDP可以合成的图层数量越多，成本越高。在某些厂商的高端平台中，MDP也最多只有8个FIFO管道，一次性最多能够合成叠加8个图层，而在中低端平台，一个MDP可能只有4个FIFO管道，一次性最多只能够叠加4个图层。因此，若仅通过MDP进行图层合成，由于MDP一次性可以合成图层的数量有限，对于某些图层较多的待显示的显示界面，MDP无法处理，或者需要分多次合成，影响合成速度。因此，发明人提出了本申请实施例的图层合成方法、装置、电子设备及存储介质，通过GPU以及MDP相互协作进行图层合成，克服MDP对合成图层数量的限制且尽可能地降低功耗。其中，对于变化频率比较高的内容对应的动态图层，通过MDP进行合成，从而相对于使用GPU进行合成功耗更低；由于MDP一次可合成的图层数量受限，则其他的静态图层则通过GPU合成，以实现图层合成过程中产生尽可能低的功耗。下面对本申请实施例的图层合成方法进行详细介绍。

图4示出了本申请实施例提供的图层合成方法的流程图，该图层合成方法应用于电子设备。具体的，该图层合成方法包括：

步骤S110：确定待显示图像的多个图层中的静态图层以及动态图层。

电子设备在显示过程中，在显示屏进行显示界面的显示。显示屏显示的显示界面作为待显示图像，包括多个图层。其中，该多个图层中可能包括静态图层和动态图层，因此，可以确定待显示图像的多个图层中，哪些图层为静态图层，哪些图层为动态图层。

其中，动态图层可以是经常刷新的图层，而静态图层是刷新频率较低的图层。例如，在拍照前的预览过程中，如图5所示，拍照显示界面200作为待显示图像，图层包括用于显示预览图像的预览层201、显示拍照控制按钮的控制层202以及导航栏203。其中，由于拍照过程中取景会不断变化，从而预览层需要不断刷新显示最新的取景图像，从而预览层的刷新频率较高，可以确定为动态图层，而控制层以及导航栏基本不会刷新，从而可以确定为静态图层。

具体的，经常刷新的图层，即为刷新频率较高的图层。因此，作为一种实施方式，可以将刷新频率高于或等于预设频率的图层作为动态图层，而刷新频率低于预设频率的图层作为静态图层。该预设频率的具体值在本申请实施例中并不限定，可以根据预先测试确定并存储于电子设备。并且，可选的，相关厂商可以在服务器更新该预设频率，并通过服务器发送到电子设备进行更新。该刷新频率表示每单位时间显示更新的帧数，例如，某图层在1秒内更新10帧，即1秒内该图层的显示内容更新10次，则该图层的刷新频率为10帧每秒。例如，该预设频率还可以设置为1帧每秒，表示只要会刷新的图层，都作为动态图层。

可选的，在该实施方式中，可以是根据图层实际刷新的频率确定图层为静态图层还是动态图层。例如，在拍照预览过程中，预览层刷新频率高于预设频率，则可以确定预览层对应的图层刷新频率高于预设频率，在持续拍照预览过程中，待显示图像中的预览层确定为刷新频率高于预设频率的动态图层。

由于有些图层的刷新频率变化不大，因此，可以实际刷新的频率作为后续待显示图像中对应图层是动态图层还是静态图层的判断依据，如拍照预览过程中的预览层，视频观看过程中视频内容显示的图层等。但是，在某些情况下，图层的刷新频率由用户的实际操作确定，可能并不能以已经发生的实际刷新频率作为该图层将要进行刷新频率的标准，即不能根据已经发生的实际刷新频率作为判断该图层是静态图层还是动态图层的标准。例如，在显示有浏览器的界面中，浏览器所在的图层的刷新频率由用户的翻页操作确定，若用户长时间不翻页，则浏览器所在图层长时间不刷新，若用户快速翻页，则浏览器所在图层刷新频率较高。

因此，可选的，在该实施方式中，也可以是，并不以图层在实际显示过程中正在刷新的实际刷新频率作为与预设频率比对的标准，而是根据图层可能的刷新频率确定图层为动态图层还是静态图层。其中，该可能的刷新频率可以是，该图层本身可以支持的最高刷新频率，如浏览器可以支持的刷新频率用于和预设频率进行比较，判断浏览器所在图层是静态图层还是动态图层。该可能的刷新频率也可以是，根据当前用户在该图层通常操作的刷新频率确定，例如，统计每次操作该图层的内容时的刷新频率，根据用户在最近的预设时间长度内统计到最高次数的刷新频率，作为该图层可能的刷新频率，与预设频率比较，确定该图层为动态图层还是静态图层。

作为另一种实施方式，可以预先设置图层显示的内容与静态图层或者动态图层的对应关系并存储，例如设置拍照预览界面下，预览层对应动态图层，控制层以及导航栏对应静态图层，设置显示视频的图层对应动态图层，设置状态栏对应静态图层等。从而，可以根据待显示图像中各个图层与静态图层或者动态图层的对应关系，确定待显示图像的各个图层中的静态图层以及动态图层。

步骤S120：通过图形处理器(GPU，Graphics Processing Unit)对所述静态图层进行合成，获得待混合图层。

由于静态图层的刷新频率较低，则进行合成的频率则较低。虽然GPU进行图层合成的功耗较高，但是由于GPU的合成频率较低，电子设备的整体功耗也相应降低。在本申请实施例中，定义GPU将静态图层合成后获得的图层为待混合图层。例如GPU将图5中所示的控制层202以及导航栏203合成后获得的图层，作为待混合图层。

步骤S130：通过多媒体显示处理器(MDP，Multimedia Display Processor)将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

对于动态图层，刷新频率较高，刷新后的动态图层需要和待混合图层进行合成以用于在显示屏进行显示。由于动态图层刷新频率较高，则动态图层与中间该合成频率也较高，因此，将动态图层以及待混合图层的合成通过MDP实现，以使电子设备的图层合成过程中功耗尽可能地低。MDP合成动态图层以及待混合图层的最终结果作为待显示图像，用于在显示屏显示。

可选的，静态图层合成获得待混合图层后，可以存储于帧缓冲区中，若显示于屏幕的待显示图像更新过程中，待混合图层包括的各静态图层都没有更新，则帧缓冲区中的该待混合图层保持不变，GPU不需要再次合成该待混合图层，降低GPU的合成频率。MDP可以读取帧缓冲区中的待混合图层，用于与动态图层合称为最终的用于显示的图像。

可选的，若动态图层刷新时，静态图层也刷新，即MDP进行图层合成时，待混合图层可能还未由GPU合成完成。因此，在待混合图层还未合成完成的情况下，MDP可以将动态图层先进行合成，使动态图层的合成与静态图层的合成过程同步进行，提高合成速度。本申请实施例中，MDP将动图图层合成后获得的图层可以定义为待合成图层。MDP再将待合成图层和待混合图层进行合成，获得最终的待显示图像。其中，可以将所述待混合图层保存到帧缓冲区，MDP将所述动态图层合成为待合成图层后，读取帧缓冲区的待混合图层，将所述待混合图层与所述动态图层合成为待显示图像。

当然，可选的，在任何情况下，MDP也可以先将动态图层合成为待合成图层，再读取帧缓冲区的待混合图层，将所述待混合图层与所述动态图层合成为待显示图像。

在本申请实施例中，通过GPU合成静态图层作为待混合图层，通过MDP合成待混合图层以及动态图层，获得最终的图层合成结果用于显示，从而，通过MDP和GPU的结合，使电子设备在图层合成过程中的功耗尽可能地低。

本申请提供的图层合成方法还包括一种实施例，在该实施例中，对各图层进行分辨率的调整以对待显示图像进行分辨率调整，再对调整后的图层进行合成。

即在本申请实施例中，对图像分辨率的调整分图层进行，即待显示图像在需要分辨率调整的情况下，对待显示图像的各个图层进行调整。具体的，本申请实施例提供的图层合成方法，如图6所示，包括：

步骤S210：获取各个图层的分辨率。

步骤S220：判断各个图层的分辨率与屏幕分辨率是否适配。

步骤S230：对于分辨率与屏幕分辨率不适配的图层，调整该图层的分辨率到和所述屏幕分辨率适配。

电子设备的显示屏具有相应的屏幕分辨率，用于在显示屏显示的图像也具有相应的图像分辨率。其中，屏幕分辨率是指在屏幕横纵向上的像素点数，单位是px，1px＝1个像素点，例如，若以纵向像素*横向像素表示屏幕分辨率，纵向上有1960个像素点、横向上有1080个像素点的屏幕的分辨率为1960*1080。本申请实施例中，为了便于理解，对应屏幕分辨率的表示方式定义图像分辨率，即定义图像分辨率为图像的像素尺寸，即图像在横纵向上的像素点数，单位是px，1px＝1个像素点，如以纵向像素*横向像素表示图像分辨率，纵向上有1960个像素点、横向上有1080个像素点的图像的分辨率为1960*1080。

若电子设备的屏幕分辨率与图像的图像分辨率不适配，则图像显示则会异常，具体可能表现为图像的实际显示物理尺寸与设计该图像时的物理尺寸不同。其中，图像的物理尺寸通过设备独立像素(dp，device independent pixels)进行限定，屏幕分辨率与图像分辨率的适配为使图像的dp保持不变，例如，一个启动图标的尺寸为48x48dp，则不管在何种屏幕分辨率的屏幕中，该启动图标都应当为48x48dp，该图标才与屏幕分辨率适配。

在图层进行渲染之前，可以获取各个图层的分辨率。其中，获取图层分辨率的方式可以是，获取各个图层中图片的相关描述信息，从描述信息中获得各个图片的分辨率，从而获得各个图层的分辨率。其中，每个图片即为一个图像。

另外，还可以获取屏幕的分辨率。获取屏幕分辨率的方式在本申请实施例中并不限定，例如可以是，通过窗口管理器获取，通过资源数据(Resources)获取、通过获取设备性能参数的函数获取等。

再判断各个图层的分辨率与屏幕分辨率是否适配，具体可以为判断各个图层中各元素的分辨率与屏幕分辨率是否适配，本申请实施例以图片为例进行说明。图片的分辨率与屏幕分辨率是否适配，即判断在该屏幕分辨率下，图片在当前分辨率的情况下是否能以图片所要显示的dp进行显示。结合前述描述，该判断过程例如可以是，获取图片的dp数值，根据屏幕分辨率确定屏幕密度，确定图片的dp数值在该屏幕密度下对应的分辨率与图片当前实际的分辨率是否一致，若不一致，则图片的分辨率与屏幕分辨率不适配。可选的，若判定文字分辨率是否适配，则可以根据文字的sp(scale-independent pixel)进行判断。

若有图层的分辨率与屏幕分辨率不适配，则对该图层的分辨率进行调整。具体的，有图层中的图片与屏幕分辨率不适配，则调整该图片的分辨率至与屏幕的分辨率适配。例如图2所示的桌面显示界面100中，若图标层104中的图标不适配屏幕当前的分辨率，则图标层104中各个图标的分辨率进行调整以适配屏幕分辨率。具体调整过程在本申请实施例中并不限定。结合前述描述，例如可以是，将图片的实际分辨率调整为图片的dp数值在当前屏幕密度下应当达到的分辨率。

在渲染图层时，以调整后的分辨率对图层中各个图片进行渲染。若图层的分辨率与屏幕分辨率适配，则以当前分辨率进行渲染。

另外，存在某些图层在屏幕中显示内容不变，在不同的显示界面中都是一致的，例如导航栏对应的图层，定义屏幕中的显示内容不变的图层为指定图层。对于指定图层，电子设备在一次渲染后可以将其存储，在待显示图像中有指定图层时，可以不再重新渲染指定图层，直接读取渲染好的指定图层进行合成，减少图像处理时间。也就是说，若待显示图像的多个图层中包括指定图层，以待显示图像的多个图层中包括的指定图层作为目标图层。在需要对图层进行合成时，获取待显示图像的各个图层的方式可以是，读取存储的指定图层中的目标图层，以及渲染所述多个图层中目标图层以外的图层，获得待显示图像的多个图层用于进行合成。

可选的，某些电子设备具有分辨率调整功能，即用户可以将电子设备的显示屏由一种屏幕分辨率调整到另一种屏幕分辨率，或者电子设备根据当前剩余电量将显示屏的从一种屏幕分辨率调整到另一种屏幕分辨率。由于显示屏的屏幕分辨率调整后，指定图层也应当调整为与新的屏幕分辨率适配。因此，可选的，在本申请实施例中，当监测到屏幕分辨率发生改变，获取用于显示的指定图层，将所述指定图层的分辨率调整到与所述屏幕分辨率适配并保存。其中，检测到屏幕分辨率发生改变，可以是监测到屏幕分辨率调整操作，并响应该调整操作进行分辨率调整的情况；或者是，获取到屏幕的分辨率与前一次获取的屏幕分辨率不一致，或者通过其他方式监测到。另外，将指定图层的分辨率调整到屏幕分辨率适配并保存可以是，将指定图层以适配屏幕分辨率的分辨率进行渲染，将渲染完成的图层保存。

从而，在判断各个图层的分辨率与屏幕分辨率是否适配时，若各个图层中包括指定图层，由于指定图层的分辨率已经在监测到屏幕分辨率调整时已经更改并渲染保存，则可以不再判断指定图层的分辨率是否与屏幕适配，而是判断指定图层以外的其他图层与所述屏幕分辨率是否适配，从而减少处理时间以及处理流程。若指定图层以外的其他图层中存在不适配屏幕分辨率的图层，对不适配屏幕分辨率的图层调整至适配屏幕分辨率。

另外，对于可以进行分辨率调整的电子设备，若电子设备的屏幕分辨率被调整，则同一图片，如电子设备中的某图标，或者对于同一分辨率的图片，显示效果相对于调整前发生变化。其中，若屏幕分辨率被调高，则同一图片或者同一分辨率的图片的显示缩小；若屏幕分辨率被调低，则同一图片或者同一分辨率的图片的显示增大，在同一屏幕调整屏幕分辨率后，对同一图片的显示呈现不同的显示效果，不利于养成用户的观看习惯，并且给用户的查看带来不适，影响用户的体验。具体可以理解为，如果屏幕的像素密度为160dpi(dotsper inch)，1dp＝1px；如果屏幕的像素密度为320dpi，1dp＝2px；如果屏幕的像素密度为480dpi，1dp＝3px，以此类推，随着屏幕的像素密度成倍改变，1dp对应的像素数以对应的倍数改变。对于同一显示屏，当屏幕分辨率被调高，屏幕的像素密度(dpi，dots per inch)增大，若要图片适配于屏幕的分辨率，保持图片的dp不变，在图片的分辨率适配调整前的屏幕分辨率的情况下，图片的像素尺寸，即分辨率，应以对应屏幕密度增加的倍数增大；对于同一显示屏，当屏幕分辨率被调低，屏幕的像素密度(dpi，dots per inch)降低，若要图片适配于屏幕的分辨率，，保持图片的dp不变，在图片的分辨率适配调整前的屏幕分辨率的情况下则图片的像素尺寸，即分辨率，以对应屏幕密度降低的倍数降低。当然，若图片的分辨率本身并不适配调整前或者调整后的分辨率，则直接根据图片的dp以及当前屏幕密度调整图片的分辨率。

步骤S240：确定待显示图像的多个图层中的静态图层以及动态图层。

获取待显示图像的各个图层进行动态图层以及静态图层的确认。其中，确认图层为静态图层还是动态图层可以在图层渲染前、图层渲染过程中等时刻进行，在本申请实施例中并不限定，在进行图层合成前确定即可。

可选的，由于指定图层为在屏幕中显示内容不变的图层，则指定图层刷新频率可以很低，因此，可以直接将指定图层确定为静态图层。

步骤S250：通过图形处理器(GPU，Graphics Processing Unit)对所述静态图层进行合成，获得待混合图层。

步骤S260：通过多媒体显示处理器(MDP，Multimedia Display Processor)将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

对分辨率调整后的各个图层进行合成，获得适配屏幕的待显示图像进行显示。

另外，静态图层合成获得待混合图层后，可以存储于帧缓冲区中，若下一次的待显示图像中包括该待混合图层，即下一帧待显示图像相对当前帧待显示图像，待混合图层包括的各静态图层都没有更新，并且屏幕分辨率也没有更改，则帧缓冲区中的该待混合图层保持不变，不需要对待混合图层包括的各个静态图层进行分辨率适配及渲染，降低图像处理的时间。

在本申请实施例中，对待显示图像适配屏幕的调整，通过基于图层的调整实现。也就是说，对待显示图像中各个图层进行调整，使各个图层与屏幕分辨率适配，提高分辨率调整的处理效果，尽可能降低分辨率调整以及渲染所需要的时间，再对调整后的各图层进行合成，进一步降低电子设备的功耗。

在本申请通过的图层合成方法中，若静态图层以及动态图层的数量不均衡，则图层合成时分别用GPU和MDP合成，可能反而会提高功耗或者影响合成效果。因此，在本申请实施例中还包括根据图层数量灵活选用图层合成方式。具体的，请参见图7，该方法包括：

步骤S310：确定待显示图像的多个图层中的静态图层以及动态图层。

步骤S320：判断所有图层的数量是否大于预设数量，若否，执行步骤S330；若是，执行步骤S340。

在本申请实施例中，通过MDP和GUP共同进行图层合成的原因在于，MDP的功耗较低，但若仅仅通过MDP进行合成，在待显示图像的图层数量超过MDP一次性可以合成的图层数量的情况下，MDP无法一次性处理，因此，虽然GPU的功率较高，但是对图层合成的数量没有限制，可以将MDP和GPU进行结合合成。

但是，若待显示图像中所有图层的数量都小于或等于MDP一次性可以合成的数量，为了节省功耗，可以通过MDP对全部图层进行合成。因此，可以判定待显示图像的所有图层的数量是否大于预设数量，该预设数量为电子设备中MDP一次性可以合成的图层的最大数量。

在本申请实施例中，该判断所有图层的数量是否大于预设数量的步骤可以在步骤S310之后执行，也可以在步骤S310之前执行。若在步骤S310之前执行，若判定所有图层的数量小于或等于预设数量，由于可以由MDP一次性合成全部图层，则可以不再执行步骤S310，直接执行步骤S330。

步骤S330：通过MDP对所有图层进行合成，获得待显示图像用于显示。

在本申请实施例中，若判定所有图层的数量不大于预设数量，没有超过MDP的合成限制，则可以以MDP对所有图层进行合成。

可选的，若所有图层的数量不大于预设数量，且所有图层中包括的所有静态图层相对前一帧待显示图像没有刷新，并且所有静态图层已经合成为待混合图层存储于帧缓冲区，则MDP合成图层时，可以将所有动态图层与待混合图层进行合成，提供合成速度，降低合成功耗。

可选的，若所有图层的数量大于预设数量，但是，其中包括的所有静态图层相对前一帧待显示图像没有刷新，并且所有静态图层已经合成为待混合图层存储于帧缓冲区，而动态图层的数量小于预设数量，则可以执行步骤S330，即动态图层加待混合图层的数量之和不大于预设数量，可以将所有动态图层与待混合图层通过MDP进行合成，提供合成速度，降低合成功耗。

步骤S340：为MDP以及GPU进行图层分配，GPU对分配的图层进行合成，MDP对分配的图层以及GPU的合成结果进行合成，获得待显示图像用于显示。

在本申请实施例中，若所有图层的数量大于预设数量，超出MDP的处理能力，则可以通过GPU和MDP的结合合成，实现待显示图像的合成。其中，结合的原则是，尽可能使MDP进行合成的图层数量达到MDP可以合成的图层最大数量，以充分利用MDP的功耗低的特性，同时不超出MDP的合成能力。

可以理解的，在本申请实施例中，考虑MDP的合成能力限制时，若仅仅通过MDP进行合成，由MDP合成的图层数量可以是小于或等于MDP一次性可以合成的最多图层数量，即由MDP合成的图层数量可以是小于或等于MDP的FIFO数量。若由MDP和GPU同时合成，即MDP不仅需要合成分配给其的图层，还需要将GPU合成的待混合图层与本来由MDP合成的图层共同合成为待显示界面，则由MDP合成的图层数量需要小于或等于MDP一次性可以合成的最多图层数量减一，即由MDP合成的图层数量可以是小于或等于MDP的FIFO数量减一。该MDP合成的图层数量为未被合成的图层的数量。

总之，GPU合成获得的待混合图层也作为一种图层，占用MDP的合成能力，即GPU合成的待混合图层由MDP合成为待显示图像时也占用MDP的FIFO管道，MDP一次可以合成的包括待混合图层在内的图层总数量不超过MDP一次性可以合成的最多图层数量，即不超过MDP的FIFO数量。

在第一种实施方式中，若所有图层的数量大于预设数量，由于通常情况下动态图层的数量都不会超出预设数量，可以直接将动态图层分配给MDP，将静态图层分配给GPU，即通过GPU对静态图层进行合成为待混合图层，通过MDP对动态图层以及待混合图层进行合成，从而减少其他计算步骤，尽可能提高处理速度，降低处理功耗。可选的，在该情况下，若MDP在合成过程中，发现MDP的动态图层数量超出预设数量，可以分多次合成动态图层；可选的，在该情况下，若MDP在合成过程中，发现MDP的动态图层数量超出预设数量，也可以采用后续描述中的其他策略进行合成。

在第二种实施方式中，若所有图层的数量大于预设数量，但是，其中包括的所有静态图层相对前一帧待显示图像没有刷新，并且所有静态图层已经合成为待混合图层存储于帧缓冲区，而动态图层的数量大于或等于预设数量，则将一部分动态图层分配给GPU，由GPU合成为预合成图层，将另一部分动态图层分配给MDP，由MDP将另一部分动态图层、待混合图层以及预合成图层合成为待显示图像。其中，由于MDP合成功耗低，则通过MDP进行合成图层数量之和可以等于MDP可以达到的最大合成数量减二，将其余动态图层由GPU合成。其中，最大合成数量减二为，其余两个FIFO用于待混合图层以及预合成图层的进一步合成。

在第二种实施方式中，若动态图层的数量小于预设数量，可以将所有动态图层分配给MDP，通过MDP对待混合图层以及动态图层合成为待显示图像。

在第三种实施方式中，若所有图层的数量大于预设数量，并且，其中的静态图层相对前一帧待显示图像刷新，则需要对所有图层进行合成。其中，若所有动态图层的数量小于MDP一次性可以合成的总数量，可以直接通过MDP对动态图层进行合成，通过GPU对静态图层进行合成。

在第三种实施方式中，在所有图层的数量大于预设数量的情况下，若动态图层的数量大于或等于预设数量，超过MDP的合成能力，则将所有静态图层以及第二指定数量的动态图层分配给GPU，也就是说，将第二指定数量的动态图层由GPU与静态图层一起合成为待混合图层，将其余动态图层分配给MDP，即将其余动态图层以及待混合图层通过MDP合成为待显示图像。其中，由于MDP合成功耗低，则通过MDP进行合成图层数量之和可以等于MDP可以达到的最大合成数量，将其余动态图层由GPU合成。具体的，MDP进行合成的动态图层数量可以为MDP可以合成的最大图层数量减一，该第二指定数量可以为动态图层的所有数量减去预设数量再加一的值。

在第三种实施方式中，若动态图层数量过少，则没有完全发挥MDP的图层合成能力，对应的，没有有效利用MDP功耗低的特性，因此，可以将动态图层以及一部分静态图层分配给MDP合成，充分利用MDP功耗低的图层合成特性。具体的，可以是，若动态图层的数量小于预设数量减一的值，则选取第一指定数量的静态图层通过GPU进行合成，获得待混合图层；将其余图层分配给MDP，通过MDP对其余图层以及所述待混合图层进行合成，获得待显示图像用于显示，即将所有动态图层以及其余静态图层分配给MDP，由MDP将所有动态图层、其余静态图层以及待混合图层进行合成，获得待显示图像。其中，该预设数量为MDP可以一次性合成的最大图层数量。第一指定数量为使MDP的图层合成数量达到预设数量的值，具体的，第一指定数量可以是满足，静态图层的所有数量减去第一指定数量等于，预设数量减一再减去动态图层的数量，其中，减一是因为MDP需要有一个FIFO用于待混合图层合成待显示图像过程中的合成。

在第三种实施方式中，若动态图层的数量等于预设数量减一，则可以将所有动态图层分配给MDP，将所有静态图层分配给GPU，若动态图层的数量等于预设数量。

可选的，在第三种实施方式中，若动态图层的数量小于预设数量，没有超出MDP的处理能力，也可以直接将所有动态图层分配给MDP，将静态图层分配给GPU，减少计算第一指定数量或者第二指定数量的时间。通过GPU对所述静态图层进行合成，获得待混合图层；通过MDP将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

在本申请实施例中，结合图层数量的具体情况，以及MDP的实际处理能力，确定MDP以及GPU进行图层合成的数量，充分利用MDP的图层合成能力以及功耗低的特性，尽可能降低图层合成的功耗。

本申请实施例还提供了一种图层合成装置400，请参见图8，该装置400包括：图层分类模块410，用于确定待显示图像的多个图层中的静态图层以及动态图层；第一合成模块420，用于通过图形处理器(GPU，Graphics Processing Unit)对所述静态图层进行合成，获得待混合图层；第二合成模块430，用于通过多媒体显示处理器(MDP，Multimedia DisplayProcessor)将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

可选的，所述装置还包括分辨率适配模块，用于对待显示图像的分辨率与屏幕分辨率适配，具体的，该分辨率适配模块包括：分辨率获取单元，用于获取各个图层的分辨率；判断单元，用于判断各个图层的分辨率与屏幕分辨率是否适配；适配单元，用于对于分辨率与屏幕分辨率不适配的图层，调整该图层的分辨率到和所述屏幕分辨率适配。

可选的，分辨率适配模块还可以包括：图层获取单元，用于当监测到屏幕分辨率发生改变，获取用于显示的指定图层，所述指定图层为在屏幕中的显示内容不变的图层；适配单元还用于将所述指定图层的分辨率调整到与所述屏幕分辨率适配并保存。判断单元可以用于若各个图层中包括所述指定图层，判断指定图层以外的其他图层与所述屏幕分辨率是否适配。

可选的，该装置400还包括图层获取模块，用于若所述待显示图像的多个图层中包括指定图层，以待显示图像的多个图层中包括的指定图层作为目标图层；读取存储的指定图层中的目标图层，以及渲染所述多个图层中目标图层以外的图层，获得待显示图像的多个图层。

可选的，该装置400还包括图层数量判断模块，用于判断所有图层的数量是否大于预设数量，所述预设数量为所述MDP一次性最多能合成的图层的数量。若是，第一合成模块420用于通过GPU对所述静态图层进行合成，获得待混合图层；第二合成模块430用于通过MDP将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。若否，第二合成模块430用于通过MDP对所有图层进行合成，获得待显示图像用于显示。

可选的，图层数量判断模块还用于判断动态图层的数量与预设数量的大小关系，所述预设数量为所述MDP一次性最多能合成的图层的数量。若动态图层的数量等于预设数量，第一合成模块420用于通过GPU对所述静态图层进行合成，获得待混合图层；第二合成模块430用于通过MDP将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

若动态图层的数量小于预设数量，第一合成模块420用于选取第一指定数量的静态图层通过GPU进行合成，获得待混合图层；第二合成模块430用于通过MDP对其余图层以及所述待混合图层进行合成，获得待显示图像用于显示。

若动态图层的数量大于预设数量，第一合成模块420用于将所有静态图层以及第二指定数量的动态图层通过GPU进行合成，获得待混合图层；第二合成模块430用于通过MDP对其余动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

可选的，该装置还可以包括保存模块，用于将所述待混合图层保存到帧缓冲区。第二合成模块430可以用于通过所述MDP将所述动态图层合成为待合成图层；通过所述MDP读取帧缓冲区的待混合图层，将所述待混合图层与所述动态图层合成为待显示图像。

在本申请实施例中，通过MDP以及GPU混合对待显示图像的图层进行合成，其中，GPU用于对静态图层进行合成，MDP用于GPU的合成结果以及动态图层进行合成，获得最终用于显示的图像，从而，通过MDP以及GPU的混合合成提高图层合成速度，并且，由于MDP的合成功耗较低，可以节省多图层叠加所带来的功耗。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中各种实施方式都可以有对应的模块进行实现，本申请实施例中不再一一进行对应赘述。

请参考图9，其示出了本申请实施例提供的一种电子设备700的结构框图。该电子设备700可以是手机、平板电脑、电子书等电子设备。该电子设备700包括存储器710、处理器720、GPU 730以及MDP 740。所述存储器710、GPU 730以及MDP 740耦接到所述处理器，所述存储器710存储指令，当所述指令由所述处理器720执行时，所述处理器执行上述一个或多个实施例所描述的方法，GPU 730以及MDP 740对应执行方法中的图层合成过程。

处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行电子设备700的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。

存储器720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集，如用于实现本申请实施例提供的图层合成方法的指令或代码集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图层合成方法，其特征在于，所述方法包括：

确定待显示图像的多个图层中的静态图层以及动态图层；

通过图形处理器对所述静态图层进行合成，获得待混合图层；

通过多媒体显示处理器将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

2.根据权利要求1所述的方法，其特征在于，所述通过图形处理器对所述静态图层进行合成，获得待混合图层之前，还包括：

获取各个图层的分辨率；

判断各个图层的分辨率与屏幕分辨率是否适配；

对于分辨率与屏幕分辨率不适配的图层，调整该图层的分辨率到和所述屏幕分辨率适配。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当监测到屏幕分辨率发生改变，获取用于显示的指定图层，所述指定图层为在屏幕中的显示内容不变的图层；

将所述指定图层的分辨率调整到与所述屏幕分辨率适配并保存；

所述判断各个图层的分辨率与屏幕分辨率是否适配包括：

若各个图层中包括所述指定图层，判断所述指定图层以外的其他图层与所述屏幕分辨率是否适配。

4.根据权利要求3所述的方法，其特征在于，所述通过图形处理器对所述静态图层进行合成，获得待混合图层之前，还包括：

若所述待显示图像的多个图层中包括指定图层，以待显示图像的多个图层中包括的指定图层作为目标图层；

读取存储的指定图层中的目标图层，以及渲染所述多个图层中目标图层以外的图层，获得待显示图像的多个图层。

5.根据权利要求1所述的方法，其特征在于，所述通过图形处理器对所述静态图层进行合成，获得待混合图层之前，还包括：

判断所有图层的数量是否大于预设数量，所述预设数量为所述多媒体显示处理器一次性最多能合成的图层的数量；

若是，执行所述通过图形处理器对所述静态图层进行合成，获得待混合图层及之后的步骤；

若否，通过多媒体显示处理器对所有图层进行合成，获得待显示图像用于显示。

6.根据权利要求1或4所述的方法，其特征在于，所述通过图形处理器对所述静态图层进行合成，获得待混合图层之前，还包括：

判断动态图层的数量与预设数量的大小关系，所述预设数量为所述多媒体显示处理器一次性最多能合成的图层的数量；

若动态图层的数量等于预设数量减一，执行所述通过图形处理器对所述静态图层进行合成，获得待混合图层及之后的步骤；

若动态图层的数量小于预设数量减一，选取第一指定数量的静态图层通过图形处理器进行合成，获得待混合图层，通过多媒体显示处理器对其余图层以及所述待混合图层进行合成，获得待显示图像用于显示，所述静态图层的所有数量减去第一指定数量等于预设数量减一再减去动态图层的数量；

若动态图层的数量大于或等于预设数量，将所有静态图层以及第二指定数量的动态图层通过图形处理器进行合成，获得待混合图层，所述第二指定数量等于动态图层的数量减去预设数量再加一，

通过多媒体显示处理器对其余动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述待混合图层保存到帧缓冲区，

所述通过多媒体显示处理器将所述动态图层以及所述待混合图层进行合成，包括：

所述多媒体显示处理器将所述动态图层合成为待合成图层；

所述多媒体显示处理器读取帧缓冲区的待混合图层，将所述待混合图层与所述动态图层合成为待显示图像。

8.一种图层合成装置，其特征在于，所述装置包括：

图层分类模块，用于确定待显示图像的多个图层中的静态图层以及动态图层；

第一合成模块，用于通过图形处理器对所述静态图层进行合成，获得待混合图层；

第二合成模块，用于通过多媒体显示处理器将所述动态图层以及所述待混合图层进行合成，获得待显示图像用于显示。

9.一种电子设备，其特征在于，包括存储器、处理器、图形处理器以及多媒体显示处理器，所述存储器、图形处理器以及多媒体显示处理器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行如权利要求1-7任一项所述的方法，所述图形处理器以及所述多媒体显示处理器执行如权利要求1-7中的图层合成。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。