CN110377263A - 图像合成方法、装置、电子设备及存储介质 - Google Patents

图像合成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110377263A
CN110377263A CN201910647137.9A CN201910647137A CN110377263A CN 110377263 A CN110377263 A CN 110377263A CN 201910647137 A CN201910647137 A CN 201910647137A CN 110377263 A CN110377263 A CN 110377263A
Authority
CN
China
Prior art keywords
layer
screen
dynamic
attribute
properties
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910647137.9A
Other languages
English (en)
Other versions
CN110377263B (zh
Inventor
胡杰
杨海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910647137.9A priority Critical patent/CN110377263B/zh
Publication of CN110377263A publication Critical patent/CN110377263A/zh
Priority to PCT/CN2020/100970 priority patent/WO2021008424A1/zh
Priority to EP20840542.3A priority patent/EP4002086A4/en
Application granted granted Critical
Publication of CN110377263B publication Critical patent/CN110377263B/zh
Priority to US17/576,195 priority patent/US20220139352A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像合成方法、装置、电子设备及存储介质。所述方法包括：获取待显示图像的多个图层；确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；对具有第一属性的图层利用图形处理器合成为待混合图层；将所述待混合图层与具有第二属性的图层利用多媒体显示处理器进行合成，并将合成结果通过显示屏进行显示。根据每个图层的图层属性选择不同的合成方式，兼顾电子设备的图层合成能力和合成速度，以提升电子设备的图像处理能力。

Description

图像合成方法、装置、电子设备及存储介质
技术领域
本申请涉及图像显示技术领域，更具体地，涉及一种图像合成方法、装置、电子设备及存储介质。
背景技术
随着电子技术的发展，具有图像显示功能的电子设备(如手机或平板电脑等电子设备)越来越多，电子设备的显示界面通常有多个显示图层，通过对多个显示图层进行合成显示在电子设备上。
通常，电子设备在合成图层时，难以对电子设备的图层合成能力和合成速度进行兼顾，影响电子设备的使用体验。
发明内容
本申请提出了一种图像合成方法、装置、电子设备及存储介质，以解决图图像合成中不能兼顾合成能力和合成速度的问题。
第一方面，本申请实施例提供了一种图像合成方法，该方法包括：获取待显示图像的多个图层；确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；对具有第一属性的图层利用图形处理器(GPU,Graphics Processing Unit)合成为待混合图层；将所述待混合图层与具有第二属性的图层利用多媒体显示处理器(MDP,Multimedia Display Processor)进行合成，并将合成结果通过显示屏进行显示。
第二方面，本申请实施例提供了一种图像合成的装置，该装置包括：获取模块，用于获取待显示图像的多个图层；确定模块，用于确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；中间模块，用于对所述具有第一属性的图层利用图形处理器(GPU,Graphics Processing Unit)GPU的方式合成为待混合图层；合成模块，用于将所述待混合图层与具有第二属性的图层利用多媒体显示处理器(MDP,MultimediaDisplay Processor)进行合成，并将合成结果通过显示屏进行显示。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述应用于电子设备的方法。
第四方面，本申请实施列提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
相对于现有技术，本申请实施例提供的图像合成方法、装置、电子设备及存储介质，通过获取待显示图像的多个图层；确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；对具有第一属性的图层利用图形处理器(GPU,GraphicsProcessing Unit)合成为待混合图层；将所述待混合图层与具有第二属性的图层利用多媒体显示处理器(MDP,Multimedia Display Processor)进行合成，并将合成结果通过显示屏进行显示。根据每个图层的图层属性选择不同的合成方式，兼顾电子设备的图层合成能力和合成速度，以提升电子设备的图像处理能力。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的图像处理的逻辑框架图。
图2示出了本申请实施例提供的桌面显示界面的示意图。
图3示出了本申请实施例提供的桌面显示界面的各个图层的示意图。
图4示出了本申请一个实施例提供的图像合成方法的流程图。
图5示出了本申请另一个实施例提供的图像合成方法的流程图。
图6示出了本申请又一个实施例提供的图像合成方法中确定图层是否满足预设条件的流程图。
图7示出了本申请再一个实施例提供的图像合成方法中确定图层是否满足预设条件的流程图。
图8示出了本申请一个实施例提供的图像合成的装置的功能模块图。
图9示出了本申请实施例提出的用于执行根据本申请实施例的图像合成方法的电子设备的结构框图。
图10示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的图像合成方法的程序代码的存储介质。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
应用程序(application)可以通过窗口管理器(Windows manager)创建窗口(window)，窗口管理器为每一个窗口创建Surface用于在上面绘制各种需要显示的元素，每个surface对应一个图层，即可以在每个surface绘制一个图层。
在显示界面(如Activity)中，可以包括多个图层，如导航栏、状态栏、程序界面等。每个图层在相应的surface进行绘制，即在每个surface进行对应的图层的绘制，具体可以通过硬件加速渲染器(HWUI)和/或Skia图形库等在surface的画布(cavas)进行图层绘制。
系统(System)再使用图层传递模块(Surface Flinger)服务将各个surface进行合成，即将各个图层进行合成。其中，SurfaceFlinger服务运行在系统进程中，用来统一管理系统的帧缓冲区，SurfaceFlinger获取所有的图层，可以使用图像处理器(GPU,GraphicsProcessing Unit)对所有或者部分图层进行合成，将合成的结果保存到帧缓存区(FrameBuffer)。多媒体显示处理器(MDP,Multimedia Display Processor)可以将SurfaceFlinger通过GPU合成的结果与其他图层一起合成，具体的，如图1所示，HWC可以调用多媒体显示处理器(MDP，Multimedia Display Processor)进行图层的合成，最终形成BufferQueue中的一个Buffer，再在显示驱动的作用下，将Buffer中合成的图像用于显示。其中，GPU以及HWC分别对哪一部分图层进行合成的具体合成策略，可以根据实际情况确定。
电子设备的显示屏可以进行显示界面的显示，在显示界面中可能包括多个图层，即显示界面由多个图层合成。其中，每一个图层都是由许多像素组成的，各个图层通过叠加的方式组成整个图像，形成电子设备的显示界面。图层可以将页面上的元素精确定位，图层中可以加入文本、图片、表格、插件，也可以在里面再嵌套图层。对于图层以及图层合成的图像，可以通俗地理解为，图层就像是含有文字或图形等元素的胶片，一张张图层按指定的顺序叠放在一起，组合起来形成的最终图像效果，就是由图层组合形成的图像，例如电子设备的显示界面。当然，可以理解的是，图层并不是真的胶片，上述描述只是为了便于理解的比喻。例如图2所示的电子设备的桌面显示界面100，包括的多个图层分别为状态栏101、导航栏102、墙纸103以及图标层104。
为了使显示界面在显示屏进行显示，需要将显示界面的各个图层进行合成。例如将图3所示的状态栏101、导航栏102、墙纸103以及图标层104合成为图2所示的显示界面100。通常的，系统会利用GPU进行图像图层的合成，其合成方式可以是，根据各个图层在图像中的位置确定各个图层之间的位置关系，将各个图层的内容用GPU渲染到暂存缓冲区中，使在缓冲区中，各个图层间的位置关系为在图像中的位置关系，最后将暂存缓冲区传送到显示硬件，使各个图层在显示屏显示时，图层的显示位置为其在图像中的位置。然而在使用GPU进行图像图层的处理时，GPU在对图层进行合成时，合成能力较强，即对合成图层的数量没有限制，但速度较慢，可能会引起卡顿等问题，从而影响用户的使用体验。
发明人经过研究发现，还可以通过多媒体显示处理器(MDP,Multimedia DisplayProcessor)的硬件合成机制对图层进行合成。MDP硬件合成机制是通过HWC调用MDP硬件模块进行合成，这种合成方式速度快，但对处理的图层数量有限制。在图层的数量超过其所能处理的数量时，不能完成图层合成的任务，从而影响在显示屏上的显示。
也就是说，若通过GPU图像进行图层合成，虽然相对于MDP合成方式，对图层的处理数量没有限制，但速度较慢，从而影响电子设备的流畅性；若通过MDP进行图层合成，虽然速度较快，但能处理的图层数量有限，不能处理过多图层的场景，从而影响在显示屏上的显示。
因此，发明人提出了本申请中图像合成方法、装置、电子设备及存储介质作为一种合成策略，通过获取待显示图像的多个图层；确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；对具有第一属性的图层利用图形处理器(GPU,Graphics Processing Unit)合成为待混合图层；将所述待混合图层与具有第二属性的图层利用多媒体显示处理器(MDP,Multimedia Display Processor)进行合成，并将合成结果通过显示屏进行显示。根据每个图层的图层属性选择合适的合成方式，兼顾电子设备的图层合成能力和合成速度，以提升电子设备的图像处理能力。
请参阅图4，本申请实施例提供了一种图像合成方法，本实施例描述的处理流程的执行主体可以是电子设备。具体的该方法可以包括：
步骤S110，获取待显示图像的多个图层。
现有的电子设备中，通常会具有显示屏，用户通常根据显示屏所显示的内容与电子设备进行交互，将会显示在显示屏上的所有内容定义为待显示图像。例如，在一个显示屏中，需要显示一个桌面场景，那么这个桌面场景则为待显示图像，可参照图2。桌面场景在进行显示时，本质上是多个图层进行叠加所得到的结果，通常情况下，桌面场景可以是四个图层进行叠加合成，这四个图层可以是状态栏层、导航栏层、壁纸层以及图标层。电子设备对四个图层进行合成处理后得到待显示图像，即桌面场景，可参照图3。由此，可以获取到待显示图像的多个图层，以进行下一步的处理。
步骤S120，确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性。
获取到所述待显示图像的多个图层后，可以确定所述多个图层中每个图层的图层属性。若该待显示图像有四个图层，则依次确定所述四个图层的图层属性，其中图层属性包括第一属性和第二属性。其中，具有第一属性的图层可以是在图层中的数据内容较为简单，在相同的合成方式下合成该图层所消耗的时间小于预设时间；具有第二属性的图层可以是在图层中的数据内容较为复杂，在相同的合成方式下合成该图层所消耗的时间大于或等于预设时间。
步骤S130，对具有第一属性的图层利用图形处理器(GPU,Graphics ProcessingUnit)合成为待混合图层。
在电子设备中，通常有多种图层合成方式，例如，在使用Android系统的电子设备中，对图层的合成有两种方式，一种是利用图形处理器(GPU,Graphics Processing Unit)对所述多个图层进行合成并显示，即GPU合成方式；另一种是利用多媒体显示处理器(MDP,Multimedia Display Processor)对图层进行合成并显示，即MDP合成方式。这两种合成的方式各有优缺点，具体的，GPU合成方式相对比于MDP合成方式，GPU合成方式的处理速度较低，但是对处理层数没有限制。那么MDP合成方式相比于GPU合成方式，MDP合成方式对图像的处理速度较快，但处理层数有限。基于这两种合成方式，若只采用GPU合成方式，则会导致GPU图像处理任务繁重，由于处理速度较慢，则可能会引起设备卡顿等现象，若只采用MDP合成方式，因其处理层数有限制，在某些多图层的场景下，需要多次合成，或是不能完成图层合成，从而影响场景的显示。
因此，在对图层的处理中，可以将一部分图层选用GPU的方式进行合成，一部分图层选用MDP的方式进行合成。具体的，可以将具有第一属性的图层利用GPU的方式合成为待混合图层。可以理解的是，若所述待显示图像中的所有图层都为具有第一属性的图层，那么利用GPU的方式合成的待混合图层则是最终的待显示图层，即待显示图像；若所述待显示图像中的部分图层为具有第一属性的图层，则利用GPU将具有第一属性的图层合成为待混合图层，再将待混合图层与其他图层进行合成后才能得到待显示图像。
步骤S140，将所述待混合图层与具有第二属性的图层利用多媒体显示处理器(MDP,Multimedia Display Processor)进行合成，并将合成结果通过显示屏进行显示。
在利用GPU将具有第一属性的图层合成为待混合图层后，可以将具有第二属性的图层与所述待混合图层利用MDP进行合成，并将合成结果发送到显示屏进行显示。
具体的，在一种实施方式中，可以是GPU将具有第一属性的图层合成为待混合图层后，将所述待混合图层发送到帧缓冲区进行缓存，在所述GPU合成待混合图层的同时，MDP将具有第二属性的图层和合成为预合成图层，加快合成速度。在MDP合成所述预合成图层后，从帧缓冲区获取所述待混合图层，再将所述待混合图层与所述预合成图层通过MDP合成为待显示图像，再将所述待显示图像发送给显示屏进行显示，从而，在电子设备的显示屏上可以显示所述待显示图像。
在另一种实施方式中，可以GPU将具有第一属性的图层合成为待混合图层后，将所述待混合图层发送到帧缓冲区进行缓存后，MDP从所述帧缓冲区获取所述待混合图层，将所述待混合图层与具有第二属性的图层一起合成为待显示图像，再将所述待显示图像发送给显示屏进行显示，从而，在电子设备的显示屏上可以显示所述待显示图像。
本申请提出的图像合成方法，通过获取待显示图像的多个图层；确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；对具有第一属性的图层利用图形处理器(GPU,Graphics Processing Unit)合成为待混合图层；将所述待混合图层与具有第二属性的图层利用多媒体显示处理器(MDP,Multimedia Display Processor)进行合成，并将合成结果通过显示屏进行显示。根据每个图层的图层属性选择合适的合成方式，兼顾电子设备的图层合成能力和合成速度，以提升电子设备的图像处理能力。
请参阅图5，本申请另一实施例提供了一种图像合成方法，本实施例在前述实施例的基础上，重点通过预设条件确定所述多个图层中的每个图层属性的过程，该方法可以包括：
步骤S210，获取待显示图像的多个图层。
步骤S210可参照前述实施例对应部分，在此不再赘述。
步骤S220，依次判断各个图层的所述图层属性是否满足预设条件。
在获取到待显示图像的多个图层时，可以依次判断各个图层的图层属性是否满足预设条件，以此来确定所述图层的图层属性。其中，图层满足预设条件表示图层通过GPU进行合成时间较多，对电子设备的运行速度具有较大影响；图层不满足预设条件表示图层通过GPU进行合成所需时间较少，对电子设备的运行速度影响不大。
具体的，可以是根据所述图层中的图像数据来判断是否满足预设条件，在所述图像数据大于预设数据值时，判定满足预设条件。也可以是根据图层是静态还是动态来判断是否满足预设条件，例如，在分屏显示时，在包括静态图层和动态图层时，判定静态图层不满足预设条件；若分屏显示的两个屏幕中只有一个屏幕包括动态图层时，判定动态图层满足预设条件；若分屏显示的两个屏幕中都包括动态图层时，则判定帧率高的动态图层满足预设条件。
步骤S230，将不满足所述预设条件的图层作为第一图层，确定所述第一图层的图层属性为第一属性。
对于不满足预设条件的图层，可以将所述图层作为第一图层，确定所述第一图层的图层属性为第一属性。具体的，例如在桌面场景下有四个图层，分别是状态栏层、导航栏层、壁纸层以及图标层。其中，确定不满足预设条件的图层为状态栏层和壁纸层，则可以将所述状态栏层和壁纸层作为第一图层，并确定状态栏层和壁纸层的图层属性为第一属性。
步骤S240，将满足所述预设条件的图层作为第二图层，确定所述第二图层的图层属性为第二属性。
对于满足预设条件的图层，可以将所述图层作为第二图层，确定所述第二图层的图层属性为第二属性。具体的，例如在桌面场景下有四个图层，分别是状态栏层、导航栏层、壁纸层以及图标层。其中，确定满足预设条件的图层为导航栏层和图标层，则可以将所述导航栏层和图标层作为第二图层，并确定导航栏层和图标层的图层属性为第二属性。
步骤S250，对所述第一图层利用图形处理器(GPU,Graphics Processing Unit)合成为待混合图层。
将具有第一属性的图层即第一图层利用GPU进行合成，例如，在桌面场景下的状态栏层和壁纸层的图层属性为第一属性，则将所述状态栏层与壁纸层利用GPU对图像进行合成为待混合图层。以进行下一步的处理。
步骤S260，将所述待混合图层与所述第二图层利用多媒体显示处理器(MDP,Multimedia Display Processor)进行合成，并将合成结果通过显示屏进行显示。
在桌面场景下，有四个图层，具有第一属性的状态栏层和壁纸层已经通过GPU合成为待混合图层，剩下的两个图层为具有第二属性的导航栏层和图标层，即第二图层。由此可以利用MDP将所述待混合图层，导航栏层以及图标层合成为最终的待显示图像，再发送给显示屏进行显示。由此，用户在电子设备的显示屏上可以看到桌面场景。
在一种实施方式中，在GPU将所述状态栏层和壁纸层合成为待混合图层后，将所述待混合图层发送给帧缓冲区进行缓存，MDP同时将导航栏层以及图标层合成为预合成图层，在MDP合成所述预合成图层后，从所述帧缓冲区获取所述待混合图层，MDP将所述待混合图层以及预合成图层合成为待显示图像，再发送给显示屏进行显示。
在另一种实施方式中，在GPU将所述状态栏层和壁纸层合成为待混合图层后，将所述待混合图层发送给帧缓冲区进行缓存，MDP从所述帧缓冲区中获取所述待混合图层，将所述待混合图层、导航栏层以及图标层一起合成为待显示图像，发送给显示屏进行显示。
本申请提出的图像合成方法，通过获取待显示图像的多个图层，依次判断各个图层的图层属性是否满足预设条件，若满足，则将所述图层作为第二图层并确定所述第二图层的图层属性为第二属性，若不满足，则将所述图层作为第一图层，并确定所述第一图层的图层属性为第一属性；对具有第一属性的图层利用GPU合成为待混合图层，将所述待混合图层与具有第二属性的图层利用MDP合成为待显示图像，发送给显示屏给用户显示。根据每个图层的图层属性选择合适的合成方式，兼顾电子设备的图层合成能力和合成速度，以提升电子设备的图像处理能力。
请参阅图6，本申请又一实施例提供了一种图像合成方法，本实施例在前述实施例的基础上，重点描述了通过图像数据判断图层是否满足预设条件的过程，也就是说，本申请实施例是对前述实施例中步骤S220的详细描述，该图像合成方法的其他步骤可以参见其他实施例，在此不再赘述。具体的，该方法可以包括：
步骤S310，对于每个图层，获取该图层对应的图像数据。
步骤S320，判断所述图层对应的图像数据是否大于预设数据值，若是，则执行步骤S330，若否，则执行步骤S340。
对于每个图层都包含对应的图像，则可以获取到每个图层对应的图像数据，在获取到所述图层对应的图像数据时，可以判断所述图像数据是否大于预设数据值，其中预设数据值的设定可以是一个临界值，在所述图像数据大于所述预设数据值时，则可以认为该图层所包含的内容的较多，合成该图层时所需要耗费的时间更长。
其中，所述图层对应的图像数据可以是图像分辨率或者图像大小。该分辨率表示每英寸图像内有多少个像素点，单位为PPI(Pixels Per Inch)，可以表示图像中所包含的数据量，在图像尺寸大小一定的情况下，分辨率越高，表明该图像越清晰，所包含的数据内容越多；该图像大小表示图像数据量的多少，即表示图像所占字节数、比特数或者说存储空间，图像大小越大，表明该图像所占的存储空间越大。图像数据的获取可以是捕捉每个图层中的图像，通过分析所述图像可以得到所述图像分辨率或者图像的大小。若获取的图像数据为图像分辨率，所述预设数据值则为预设分辨率，判断所述图层对应的图像数据是否大于预设数据值，可以是比对所述图像分辨率与所述预设分辨率的大小关系；若获取的图像数据为图像大小，所述预设数据值则为预设大小值，判断所述图层对应的图像数据是否大于预设数据值，可以是判断图像大小与预设大小值的大小关系。其中，图层对应的图像数据不管以何种参数限定，均可以根据GPU以及MDP的性能提前通过试验确定。也可以是获取所述图层对应的图像大小与预设大小值的大小关系。通过该大小关系判定所述图层对应的图像数据是否满足所述预设条件。
可以理解的是，用于表示所述图像数据的参数不局限于图像分辨率以及图像大小，还可以包括图像帧率以及图像深度等，所述图像帧率越高，则需要越快的合成速度，若图像帧率大于图像帧率的预设值，则需要较快的图层合成方式对图层进行合成，由此可以根据图像帧率是否大于预设数据值来来确定所述图层的图像数据是否满足预设条件。所述图像深度大于预设深度值，则表明图像中包含的内容较多，对该图像的图层进行合成时所消耗的时间较长，则需要较快的图层合成方式对图层进行和合成，由此，可以根据图像深度是否大于预设数据值来确定所述图层的图像数据是否满足预设条件。若判定所述图层对应的图像数据是否大于预设数据值，则执行步骤S330；若判定所述图层对应的图像数据不大于预设数据值，则执行步骤S340。下面仅以图像属性中的图像分辨率以及图像大小进行详细的说明。
步骤S330，则判定所述图层对应的图像数据满足所述预设条件。
在获取的图层对应的图像数据为图像分辨率时，若所述图像分辨率大于预设分辨率，则判定所述图层对应的图像数据满足所述预设条件，可以将所述图层作为第二图层，并进一步确定所述第二图层的图层属性为第二属性，表明所述第二图层中包含的数据较多，对所述第二图层进行合成时，耗费的时间较长，则需要选用合成速度较快的方式对所述第二图层进行合成。
在获取的图层对应的图像数据为图像大小时，若所述图像大小大于预设大小值，则判定所述图层对应的图像数据满足所述预设条件，可以将所述图层作为第二图层，并进一步确定所述第二图层的图层属性为第二属性，表明所述第二图层中包含的数据内容较多，对所述第二图层进行合成时，耗费的时间较长，则需要选用合成速度较快的方式对所述第二图层进行合成。
步骤S340，则判定所述图层对应的图像数据不满足所述预设条件。
在获取的图层对应的图像数据为图像分辨率时，若所述图像分辨率小于或等于预设分辨率，则判定所述图层对应的图像数据不满足所述预设条件，可以将所述图层作为第一图层，并进一步确定所述第一图层的图层属性为第一属性，表明所述第一图层中包含的数据较少，对所述第一图层进行合成时，不会耗费较长的时间，则选择合成能力较好的方式对所述第一图层进行合成。
在获取的图层对应的图像数据为图像大小时，若所述图像大小小于或等于预设大小值，则判定所述图层对应的图像数据不满足所述预设条件，可以将所述图层作为第一图层，并进一步确定所述第一图层的图层属性为第一属性，表明所述第一图层中包含的数据内容较少，对所述第一图层进行合成时，不会耗费较长的时间，则可以选择合成能力较好的合成方式对所述第一图层进行合成。
本申请提出的图像合成方法，通过获取每个图层对应的图像数据，判断所述图层对应的图像数据是否大于预设数据值；若大于，则判定所述图层对应的图像数据满足所述预设条件；若不大于，则判定所述图层对应的图像数据不满足所述预设条件。根据所述图像数据来判断图层是否满足预设条件，进而确定每个图层对应的图层属性，以选择合适的图层合成方式对所述图层进行处理，兼顾电子设备的图层合成能力和合成速度，以提升电子设备的图像处理能力。
请参阅图7，本申请再一实施例提供了一种图像合成方法，本实施例在前述实施例的基础上，重点描述了电子设备在分屏显示状态下，通过静态图层或动态图层判断每个图层的图层属性是否满足预设条件的过程，也就是说，本申请实施例是对前述实施例中步骤S220的详细描述，该图像合成方法的其他步骤可以参见其他实施例，在此不再赘述。具体的，该方法可以包括：
步骤S410，判断第一屏幕以及第二屏幕中是否包括静态图层或者动态图层。
在电子设备中，通常会具备分屏显示功能，即在电子设备的一个显示屏中，有两个显示屏幕分别显示不同的内容，两个屏幕显示的内容特性可能完全不同，如一个屏幕显示的内容为静态内容，另一个屏幕显示的内容为动态内容，因此，可以根据各个屏幕的显示特点分屏幕进行合成。例如，以屏幕的中间为界限将电子设备的屏幕分为上下两个不同的显示屏幕，在上方的显示屏幕上显示微信聊天界面，在下方的显示屏幕中进行视频播放。可以将处于分屏显示状态的电子设备的两个显示屏幕分别作为第一屏幕和第二屏幕，在进行图层合成时，电子设备将第一屏幕中的图层以及第二屏幕的图层进行合成显示。那么在进行分屏显示时，电子设备的第一屏幕和第二屏幕中显示内容可以是静态内容如照片，也可以是动态内容如视频。那么，可以判断所述第一屏幕以及第二屏幕中是否包括静态图层或动态图层。
具体的，判断是静态图层还是动态图层可以根据所述所述图层的帧率来进行判断，其中，可以设置一个预设帧率，若所述图层的帧率大于所述预设帧率时，则判定所述图层为动态图层，若所述图层的帧率小于或等于所述预设帧率时，则判定所述图层为静态图层。
步骤S420，若包括静态图层，判定静态图层的图层属性不满足预设条件。
其中，若所述第一屏幕以及第二屏幕中包括静态图层，由于在短时间内，该静态图层的内容不会发生变化，则不会耗费较长的时间对静态图层进行合成，所有静态图层可以都由GPU进行合成，则判定所述静态图层不满足预设条件，可以将所述第一屏幕和第二屏幕中的静态图层作为第一图层，并确定第一屏幕和第二屏幕中的静态图层的图层属性为第一属性。
步骤S430，若包括动态图层，判断是否第一屏幕以及第二屏幕中均包括动态图层。
其中，若第一屏幕以及第二屏幕中包括动态图层，若动态图层在两个屏幕中都有，则所有动态图层都通过MDP进行合成，可能超过MDP的合成能力，需要选取一个屏幕的动态图层由MDP合成；若只有一个屏幕包括动态图层，则可以考虑由MDP进行合成。
具体的，可以进一步判断是否第一屏幕以及第二屏幕中均包括动态图层。在一种实施方式中，可以是先获取所述动态图层，再获取所述动态图层对应的来源文件，根据所述来源文件确定所述动态图层来源是第一屏幕还是第二屏幕。若确定所述动态图层的来源只为第一屏幕，则判定第一屏幕以及第二屏幕中只有一个屏幕包括动态图层；若所述动态图层的来源只为第二屏幕，则判定第一屏幕以及第二屏幕中只有一个屏幕包括动态图层；若所述动态图层的来源为第一屏幕以及第二屏幕，则判定所述第一屏幕以及第二屏幕中均包括动态图层。
在另一种实施方式中，可以是先获取所述第一屏幕中的多个图层，获取所述多个图层一一对应的多个帧率，比对所述多个帧率与所述预设帧率的大小，若所述多个帧率中都不大于预设帧率，则表明在第一屏幕中不包括动态图层，则判定第一屏幕以及第二屏幕中只有一个屏幕包括动态图层；若所述多个帧率中的任意一个大于预设帧率，则继续获取所述第二屏幕中的多个图层一一对应的多个帧率，比对所述多个帧率与所述预设帧率的大小，若所述多个帧率中都不大于预设帧率，则表明在第二屏幕中不包括动态图层，则判定第一屏幕以及第二屏幕中只有一个屏幕包括动态图层；若所述多个帧率中的任意一个大于预设帧率，则判定所述第一屏幕以及第二屏幕中均包括动态图层。
步骤S440，若第一屏幕中的动态图层的帧率高于第二屏幕中的动态图层的帧率，判定第一屏幕中的动态图层的所述图层属性满足预设条件，判定第二屏幕中的动态图层的所述图层属性不满足预设条件。
若判定第一屏幕以及第二屏幕中均包括动态图层，则可以获取所述动态图层对应的帧率来判断所述动态图层是否满足预设条件。具体的，可以获取所述第一屏幕中所有动态图层的帧率，以及第二屏幕中所有动态图层的帧率，若所述第一屏幕中动态图层的帧率大于所述第二屏幕中动态图层的帧率，则表示第一屏幕中动态图层的合成更花时间，则判定第一屏幕中的动态图层的所述图层属性满足预设条件，判定第二屏幕中的动态图层的所述图层属性不满足预设条件。
例如，获取的第一屏幕中的动态图层的帧率为30fps，获取的第二屏幕中的动态图层的帧率为24fps，那么第一屏幕中的动态图层的帧率大于所述第二屏幕中的动态图层的帧率，即30fps>24fps，则判定所述第一屏幕中的动态图层的所述图层属性满足预设条件，判定第二屏幕中的动态图层的所述图层属性不满足预设条件。表明第一屏幕中的内容刷新速度较快，需要较快的合成方式对所述图层进行合成，第二屏幕中的内容刷新速度较慢，则可以选用合成能力较好的合成方式对所述图层进行合成。
可选的，判断第一屏幕中动态图层与第二屏幕中动态图层的帧率高低时，若有屏幕中动态图层不止一个，可以以该屏幕中动态图层的平均帧率作为该屏幕中动态图层的帧率进行判断。
步骤S450，若第一屏幕中的动态图层的帧率不高于第二屏幕中的动态图层的帧率，判定第一屏幕中的动态图层的所述图层属性不满足预设条件，判定第二屏幕的动态图层的所述图层属性满足预设条件。
若判定第一屏幕以及第二屏幕中均包括动态图层，则可以获取所述动态图层对应的帧率来判断所述动态图层是否满足预设条件。具体的，可以获取所述第一屏幕中所有动态图层的帧率，以及第二屏幕中所有动态图层的帧率，若所述第一屏幕中所有动态图层的帧率小于或等于所述第二屏幕中动态图层的帧率，表示第二屏幕中动态图层的合成更花时间，则判定第一屏幕中的动态图层的所述图层属性不满足预设条件，判定第二屏幕的动态图层的所述图层属性满足预设条件。
例如，获取的第一屏幕中的动态图层的帧率为26fps，获取的第二屏幕中的动态图层的帧率为29fps，那么第一屏幕中的动态图层的帧率小于所述第二屏幕中的动态图层的帧率，即26fps<29fps，则判定所述第一屏幕中的动态图层的所述图层属性不满足预设条件，判定第二屏幕的动态图层的所述图层属性满足预设条件。表明第一屏幕中的内容刷新速度较慢，则可以选用合成能力较好的合成方式对所述图层进行合成，第二屏幕中的内容刷新速度较快，需要较快的合成方式对所述图层进行合成。
步骤S460，若第一屏幕以及第二屏幕中只有一个屏幕包括动态图层，判定该动态图层满足预设条件。
其中，若判定第一屏幕以及第二屏幕中只有一个屏幕包括动态图层，则可以直接判定该动态图层满足预设条件。若只有一个屏幕中包括动态图层，表明电子设备的图层合成压力不大，但由于动态图层需要不断更新显示内容，则可以选用合成速度较快的和合成方式对所述动态图层进行合成。
其中可以理解的是，若在步骤S430时判定第一屏幕以及第二屏幕中只有一个屏幕包括动态图层，则只执行步骤S460，不执行步骤S440以及步骤S450。若在步骤S430判定第一屏幕以及第二屏幕中均包括动态图层，则根据帧率择一执行步骤S440或步骤S450，不执行步骤S460。
本申请提出的图像合成方法，通过在分屏显示的电子设备中，判断第一屏幕以及第二屏幕中是否包括静态图层或动态图层；若包括静态图层，判定静态图层的图层属性不满足预设条件；若包括动态图层，判断是否第一屏幕以及第二屏幕中均包括动态图层，若是，根据动态图层的帧率来判断是否满足预设条件，进而确定每个图层对应的图层属性，以选择合适的图层合成方式对所述图层进行处理，兼顾电子设备的图层合成能力和合成速度，以提升电子设备的图像处理能力。
请参阅图8，其示出了本申请实施例提供的一种图像合成装置500，所述装置500包括获取模块510，确定模块520，中间模块530以及合成模块540。
获取模块510，用于获取待显示图像的多个图层；确定模块520，用于确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；中间模块530，用于对具有第一属性的图层利用图形处理器(GPU,Graphics Processing Unit)合成为待混合图层；合成模块540，用于将所述待混合图层与具有第二属性的图层利用多媒体显示处理器(MDP,Multimedia Display Processor)进行合成，并将合成结果通过显示屏进行显示。
进一步的，所述确定模块520还用于依次判断各个图层的所述图层属性是否满足预设条件；将不满足所述预设条件的图层作为第一图层，确定所述第一图层的图层属性为第一属性；将满足所述预设条件的图层作为第二图层，确定所述第二图层的图层属性为第二属性。
进一步的，所述确定模块520还用于对于每个图层，获取该图层对应的图像数据；判断所述图层对应的图像数据是否大于预设数据值；若大于，则判定所述图层对应的图像数据满足所述预设条件；若不大于，则判定所述图层对应的图像数据不满足所述预设条件。
进一步的，所述确定模块520还用于比对所述图层对应的图像分辨率是否大于预设分辨率；若大于，则判定所述图层对应的图像数据大于预设数据值。
进一步的，所述确定模块520还用于比对所述图层对应的图像大小是否大于预设大小值；若大于，则判定所述图层对应的图像数据大于预设数据值。
进一步的，所述确定模块520还用于判断第一屏幕以及第二屏幕中是否包括静态图层或者动态图层，若包括静态图层，判定静态图层的图层属性不满足预设条件；若包括动态图层，判断是否第一屏幕以及第二屏幕中均包括动态图层；若第一屏幕以及第二屏幕中均包括动态图层，判断第一屏幕中的动态图层的帧率是否高于第二屏幕中的动态图层的帧率；若第一屏幕中的动态图层的帧率高于第二屏幕中的动态图层的帧率，判定第一屏幕中的动态图层的所述图层属性满足预设条件，判定第二屏幕中的动态图层的所述图层属性不满足预设条件；若第一屏幕中的动态图层的帧率不高于第二屏幕中的动态图层的帧率，判定第一屏幕中的动态图层的所述图层属性不满足预设条件，判定第二屏幕的动态图层的所述图层属性满足预设条件；若第一屏幕以及第二屏幕中只有一个屏幕包括动态图层，判定该动态图层满足预设条件。
进一步的，所述中间模块530还用于将合成的待混合图层发送到帧缓冲区进行缓存，所述合成模块还用于将所述具有第二属性的图层利用多媒体显示处理器合成为预合成图层；从帧缓冲区获取所述待混合图层，再将所述待混合图层与所述预合成图层利用多媒体显示处理器合成为待显示图像；将所述待显示图像发送给显示屏进行显示。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
综上所述，本申请提供的图像合成方法，通过获取待显示图像的多个图层；确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；对具有第一属性的图层利用图形处理器(GPU,Graphics Processing Unit)合成为待混合图层；将所述待混合图层与具有第二属性的图层利用多媒体显示处理器(MDP,Multimedia DisplayProcessor)进行合成，并将合成结果通过显示屏进行显示。根据每个图层的图层属性选择合适的合成方式，兼顾电子设备的图层合成能力和合成速度，以提升电子设备的图像处理能力。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图9，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备600可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备600可以包括一个或多个如下部件：处理器610、存储器620、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。
存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像合成方法，其特征在于，所述方法包括：
获取待显示图像的多个图层；
确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；
对具有第一属性的图层利用图形处理器合成为待混合图层；
将所述待混合图层与具有第二属性的图层利用多媒体显示处理器进行合成，并将合成结果通过显示屏进行显示。
2.根据权利要求1所述的方法，其特征在于，所述确定所述多个图层中每个图层的图层属性，包括：
依次判断各个图层的所述图层属性是否满足预设条件；
将不满足所述预设条件的图层作为第一图层，确定所述第一图层的图层属性为第一属性；
将满足所述预设条件的图层作为第二图层，确定所述第二图层的图层属性为第二属性。
3.根据权利要求2所述的方法，其特征在于，所述依次判断各个图层的所述图层属性是否满足预设条件，包括：
对于每个图层，
获取该图层对应的图像数据；
判断所述图层对应的图像数据是否大于预设数据值；
若大于，则判定所述图层对应的图像数据满足所述预设条件；
若不大于，则判定所述图层对应的图像数据不满足所述预设条件。
4.根据权利要求3所述的方法，其特征在于，所述判断所述图层对应的图像数据是否大于预设数据值，包括：
比对所述图层对应的图像分辨率是否大于预设分辨率；
若大于，则判定所述图层对应的图像数据大于预设数据值。
5.根据权利要求3所述的方法，其特征在于，所述判断所述图层对应的图像数据是否大于预设数据值，包括：
比对所述图层对应的图像大小是否大于预设大小值；
若大于，则判定所述图层对应的图像数据大于预设数据值。
6.根据权利要求2所述的方法，其特征在于，若电子设备处于分屏显示状态，以分屏显示状态中两个显示屏幕分别作为第一屏幕和第二屏幕，所述依次判断各个图层的所述图层属性是否满足预设条件，包括：
判断第一屏幕以及第二屏幕中是否包括静态图层或者动态图层，
若包括静态图层，判定静态图层的图层属性不满足预设条件；
若包括动态图层，判断是否第一屏幕以及第二屏幕中均包括动态图层；
若第一屏幕以及第二屏幕中均包括动态图层，判断第一屏幕中的动态图层的帧率是否高于第二屏幕中的动态图层的帧率；
若第一屏幕中的动态图层的帧率高于第二屏幕中的动态图层的帧率，判定第一屏幕中的动态图层的所述图层属性满足预设条件，判定第二屏幕中的动态图层的所述图层属性不满足预设条件；
若第一屏幕中的动态图层的帧率不高于第二屏幕中的动态图层的帧率，判定第一屏幕中的动态图层的所述图层属性不满足预设条件，判定第二屏幕的动态图层的所述图层属性满足预设条件；
若第一屏幕以及第二屏幕中只有一个屏幕包括动态图层，判定该动态图层满足预设条件。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：将合成的待混合图层发送到帧缓冲区进行缓存，
所述将所述待混合图层与具有第二属性的图层利用多媒体显示处理器进行合成，并将合成结果通过显示屏进行显示，包括：
将所述具有第二属性的图层利用多媒体显示处理器合成为预合成图层；
从帧缓冲区获取所述待混合图层，再将所述待混合图层与所述预合成图层利用多媒体显示处理器合成为待显示图像；
将所述待显示图像发送给显示屏进行显示。
8.一种图像合成装置，其特征在于，所述装置包括：
获取模块，用于获取待显示图像的多个图层；
确定模块，用于确定所述多个图层中每个图层的图层属性，所述图层属性包括第一属性和第二属性；
中间模块，用于对具有第一属性的图层利用图形处理器的方式合成为待混合图层；
合成模块，用于将所述待混合图层与具有第二属性的图层利用多媒体显示处理器进行合成，并将合成结果通过显示屏进行显示。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，与所述一个或多个处理器电连接；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1至7任一项所述的方法。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。
CN201910647137.9A 2019-07-17 2019-07-17 图像合成方法、装置、电子设备及存储介质 Active CN110377263B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910647137.9A CN110377263B (zh) 2019-07-17 2019-07-17 图像合成方法、装置、电子设备及存储介质
PCT/CN2020/100970 WO2021008424A1 (zh) 2019-07-17 2020-07-09 图像合成方法、装置、电子设备及存储介质
EP20840542.3A EP4002086A4 (en) 2019-07-17 2020-07-09 IMAGE SYNTHESIS METHOD AND DEVICE, ELECTRONIC APPARATUS AND STORAGE MEDIA
US17/576,195 US20220139352A1 (en) 2019-07-17 2022-01-14 Method and Device for Image Composition, Electronic Device and Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910647137.9A CN110377263B (zh) 2019-07-17 2019-07-17 图像合成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110377263A true CN110377263A (zh) 2019-10-25
CN110377263B CN110377263B (zh) 2021-08-17

Family

ID=68253733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910647137.9A Active CN110377263B (zh) 2019-07-17 2019-07-17 图像合成方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20220139352A1 (zh)
EP (1) EP4002086A4 (zh)
CN (1) CN110377263B (zh)
WO (1) WO2021008424A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908757A (zh) * 2019-11-18 2020-03-24 腾讯科技（深圳）有限公司 一种媒体内容显示的方法以及相关装置
CN111325702A (zh) * 2020-01-19 2020-06-23 Oppo广东移动通信有限公司 图像融合方法及装置
CN111356026A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
WO2021008424A1 (zh) * 2019-07-17 2021-01-21 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及存储介质
CN112330707A (zh) * 2020-11-17 2021-02-05 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112767231A (zh) * 2021-04-02 2021-05-07 荣耀终端有限公司 图层合成方法和设备
CN113012263A (zh) * 2021-03-16 2021-06-22 维沃移动通信有限公司 图层合成方式的配置方法和电子设备
CN113110910A (zh) * 2021-04-20 2021-07-13 上海卓易科技股份有限公司 一种安卓容器实现的方法、系统及设备
CN113986162A (zh) * 2021-09-22 2022-01-28 荣耀终端有限公司 图层合成方法、设备及计算机可读存储介质
WO2022062809A1 (zh) * 2020-09-25 2022-03-31 华为技术有限公司 投屏控制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927710A (zh) * 2014-04-18 2014-07-16 Tcl集团股份有限公司 一种应用图层分流混合方法、系统以及装置
CN104010212A (zh) * 2014-05-28 2014-08-27 华为技术有限公司 一种多图层合成的方法和装置
CN106331831A (zh) * 2016-09-07 2017-01-11 珠海市魅族科技有限公司 图像处理的方法及装置
KR20170077435A (ko) * 2015-12-28 2017-07-06 전자부품연구원 분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3d 콘텐츠 합성 시스템 및 방법
CN108509239A (zh) * 2018-03-07 2018-09-07 斑马网络技术有限公司 图层显示方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018472B2 (en) * 2006-06-08 2011-09-13 Qualcomm Incorporated Blending multiple display layers
US8629886B2 (en) * 2010-12-07 2014-01-14 Microsoft Corporation Layer combination in a surface composition system
US9953620B2 (en) * 2015-07-29 2018-04-24 Qualcomm Incorporated Updating image regions during composition
GB2544333B (en) * 2015-11-13 2018-02-21 Advanced Risc Mach Ltd Display controller
KR102488333B1 (ko) * 2016-04-27 2023-01-13 삼성전자주식회사 그래픽 데이터를 합성하는 전자 장치 및 방법
CN106527656B (zh) * 2016-10-19 2019-07-12 北京安云世纪科技有限公司 显示方法、装置及终端设备
US10140679B2 (en) * 2016-12-31 2018-11-27 Intel IP Corporation Smart composition of output layers
US20200226964A1 (en) * 2019-01-15 2020-07-16 Qualcomm Incorporated System and method for power-efficient ddic scaling utilization
CN110363831B (zh) * 2019-07-17 2023-04-07 Oppo广东移动通信有限公司 图层合成方法、装置、电子设备及存储介质
CN110377264B (zh) * 2019-07-17 2023-07-21 Oppo广东移动通信有限公司 图层合成方法、装置、电子设备及存储介质
CN110377263B (zh) * 2019-07-17 2021-08-17 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927710A (zh) * 2014-04-18 2014-07-16 Tcl集团股份有限公司 一种应用图层分流混合方法、系统以及装置
CN104010212A (zh) * 2014-05-28 2014-08-27 华为技术有限公司 一种多图层合成的方法和装置
KR20170077435A (ko) * 2015-12-28 2017-07-06 전자부품연구원 분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3d 콘텐츠 합성 시스템 및 방법
CN106331831A (zh) * 2016-09-07 2017-01-11 珠海市魅族科技有限公司 图像处理的方法及装置
CN108509239A (zh) * 2018-03-07 2018-09-07 斑马网络技术有限公司 图层显示方法、装置、电子设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008424A1 (zh) * 2019-07-17 2021-01-21 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及存储介质
CN110908757B (zh) * 2019-11-18 2022-01-28 腾讯科技（深圳）有限公司 一种媒体内容显示的方法以及相关装置
CN110908757A (zh) * 2019-11-18 2020-03-24 腾讯科技（深圳）有限公司 一种媒体内容显示的方法以及相关装置
CN111325702A (zh) * 2020-01-19 2020-06-23 Oppo广东移动通信有限公司 图像融合方法及装置
CN111325702B (zh) * 2020-01-19 2024-03-19 Oppo广东移动通信有限公司 图像融合方法及装置
CN111356026A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
WO2022062809A1 (zh) * 2020-09-25 2022-03-31 华为技术有限公司 投屏控制方法和装置
CN112330707A (zh) * 2020-11-17 2021-02-05 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113012263A (zh) * 2021-03-16 2021-06-22 维沃移动通信有限公司 图层合成方式的配置方法和电子设备
CN113012263B (zh) * 2021-03-16 2024-10-01 维沃移动通信有限公司 图层合成方式的配置方法和电子设备
CN112767231A (zh) * 2021-04-02 2021-05-07 荣耀终端有限公司 图层合成方法和设备
CN113110910A (zh) * 2021-04-20 2021-07-13 上海卓易科技股份有限公司 一种安卓容器实现的方法、系统及设备
CN113110910B (zh) * 2021-04-20 2024-01-23 上海卓易科技股份有限公司 一种安卓容器实现的方法、系统及设备
CN113986162A (zh) * 2021-09-22 2022-01-28 荣耀终端有限公司 图层合成方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP4002086A1 (en) 2022-05-25
WO2021008424A1 (zh) 2021-01-21
US20220139352A1 (en) 2022-05-05
EP4002086A4 (en) 2022-10-26
CN110377263B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110377263A (zh) 图像合成方法、装置、电子设备及存储介质
WO2021008420A1 (zh) 图层合成方法、装置、电子设备及存储介质
CN110377264B (zh) 图层合成方法、装置、电子设备及存储介质
US8125495B2 (en) Displaying user interface elements having transparent effects
US20220139353A1 (en) Display method, electronic device, and non-transitory computer-readable storage medium
US9715750B2 (en) System and method for layering using tile-based renderers
US10157593B2 (en) Cross-platform rendering engine
WO2021008418A1 (zh) 图层合成方法、装置、电子设备及存储介质
US8984448B2 (en) Method of rendering a user interface
CN110362186B (zh) 图层处理方法、装置、电子设备及计算机可读介质
US9786256B2 (en) Method and device for generating graphical user interface (GUI) for displaying
WO2021008427A1 (zh) 图像合成方法、装置、电子设备及存储介质
US7412662B2 (en) Method and system for redirection of transformed windows
CN112596843A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110516179A (zh) 图形渲染方法、装置、电子设备及存储介质
US8436864B2 (en) Method and user interface for enhanced graphical operation organization
US6911985B1 (en) Method and apparatus for reducing frame buffer size in graphics systems
US8887073B2 (en) Reshaping interfaces using content-preserving warps
CN110377258A (zh) 图像渲染方法、装置、电子设备及存储介质
JP2005056389A (ja) エージェント表示装置およびエージェント表示方法
CN118151929A (zh) 基于Unity的列表物体布局的动态适配处理方法和装置
CN115494999A (zh) 一种多图层绘图方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant