CN110427094B - 显示方法、装置、电子设备及计算机可读介质 - Google Patents

显示方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN110427094B
CN110427094B CN201910647562.8A CN201910647562A CN110427094B CN 110427094 B CN110427094 B CN 110427094B CN 201910647562 A CN201910647562 A CN 201910647562A CN 110427094 B CN110427094 B CN 110427094B
Authority
CN
China
Prior art keywords
layer
mixed
image
layers
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910647562.8A
Other languages
English (en)
Other versions
CN110427094A (zh
Inventor
胡杰
周海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910647562.8A priority Critical patent/CN110427094B/zh
Publication of CN110427094A publication Critical patent/CN110427094A/zh
Priority to PCT/CN2020/099807 priority patent/WO2021008373A1/zh
Priority to EP20840907.8A priority patent/EP4002062A4/en
Application granted granted Critical
Publication of CN110427094B publication Critical patent/CN110427094B/zh
Priority to US17/570,186 priority patent/US20220139353A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3243—Power saving in microcontroller unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Abstract

本申请实施例公开了一种显示方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域。该方法包括：获取待合成的图层，待合成的图层包括视频播放界面的界面图层以及用于在视频播放界面播放的视频对应的多媒体图层；调用图形处理器对界面图层进行合成，得到待混合图层；调用多媒体显示处理器对多媒体图层和待混合图层进行合成，以得到目标图像；在视频播放界面显示目标图像。本申请通过分别调用不同的处理器对待合成的图层进行合成，可以节省多图层叠加所带来的功耗，提高图层合成速度，进而使得图像合成方式更加合理。

Description

显示方法、装置、电子设备及计算机可读介质
技术领域
本申请涉及视频处理技术领域，更具体地，涉及一种显示方法、装置、电子设备及计算机可读介质。
背景技术
随着电子技术和信息技术的发展，越来越多的设备能够播放视频。设备在视频播放的过程中，需要对视频执行解码、渲染以及合成等操作，再在显示屏上显示，其中，可以使用图形处理器(Graphics Processing Unit，GPU)或者多媒体显示处理器(MultimediaDisplay Processor，MDP)执行图像合成的操作。但是，现有的视频播放技术中，图像合成方式不够合理。
发明内容
本申请提出了一种显示方法、装置、电子设备及计算机可读介质，以改善上述缺陷。
第一方面，本申请实施例提供了一种显示方法，应用于电子设备，所述电子设备包括多媒体显示处理器和图形处理器，所述方法包括：获取待合成的图层，所述待合成的图层包括视频播放界面的界面图层以及用于在所述视频播放界面播放的视频对应的多媒体图层；调用所述图形处理器对所述界面图层进行合成，得到待混合图层；调用所述多媒体显示处理器对所述多媒体图层和所述待混合图层进行合成，以得到目标图像；在所述视频播放界面显示所述目标图像。
第二方面，本申请实施例还提供了一种显示装置，应用于电子设备，所述电子设备包括多媒体显示处理器和图形处理器，所述装置包括：图层获取模块，用于获取待合成的图层，所述待合成的图层包括视频播放界面的界面图层以及用于在所述视频播放界面播放的视频对应的多媒体图层；第一合成模块，用于调用所述图形处理器对所述界面图层进行合成，得到待混合图层；第二合成模块，用于调用所述多媒体显示处理器对所述多媒体图层和所述待混合图层进行合成，以得到目标图像；图像显示模块，用于在所述视频播放界面显示所述目标图像。
第三方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储器；图形处理器；多媒体显示处理器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述方法。
第四方面，本申请实施例还提供了一种计算机可读介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
相对于现有技术，本申请提供的显示方法、装置、电子设备及计算机可读介质，在获取待合成的图层的时候，根据待合成的图层的图层类型分别调用不同的处理器进行合成，具体地，调用图形处理器对界面图层进行合成，得到待混合图层；调用多媒体显示处理器对多媒体图层和待混合图层进行合成，以得到目标图像，由于多媒体显示处理器所消耗的功耗更低，因此，通过分别调用不同的处理器对待合成的图层进行合成，可以节省多图层叠加所带来的功耗，提高图层合成速度，进而使得图像合成方式更加合理。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的图像处理的逻辑框架图；
图2示出了本申请一个实施例提供的显示方法的流程示意图；
图3示出了本申请一个实施例提供的显示方法的待合成图层的示意图；
图4示出了本申请另一个实施例提供的显示方法的流程示意图；
图5示出了本申请又一个实施例提供的显示方法的流程示意图；
图6示出了本申请又一个实施例提供的调用多媒体显示处理器进行合成的流程示意图；
图7示出了本申请一个实施例提供的显示方法的多媒体图层的示意图；
图8示出了本申请实施例提供的显示装置的模块框图；
图9示出了本申请实施例提供的电子设备的结构框图；
图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的显示方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
请参阅图1，示出了本申请实施例提供的图像处理的逻辑框架图。
应用程序(application)可以通过窗口管理器(Windows manager)创建窗口(window)，窗口管理器为每一个窗口创建Surface用于在上面绘制各种需要显示的元素，每个surface对应一个图层，即可以在每个surface绘制一个图层。
在显示界面(如Activity)中，可以包括多个图层，如导航栏、状态栏、程序界面等。每个图层在相应的surface进行绘制，即在每个surface进行对应的图层的绘制，具体可以通过硬件加速渲染器(HWUI)和/或Skia图形库等在surface提供的画布(cavas)进行图层绘制。
系统(System)在使用图层传递模块(Surface Flinger)服务将各个surface进行合成，即将各个图层进行合成。其中，SurfaceFlinger服务运行在系统进程中，用来统一管理系统的帧缓冲区(FrameBuffer)，SurfaceFlinger获取所有的图层，可以使用图形处理器(GPU,Graphics Processing Unit)对图层进行合成，将合成的结果保存到帧缓冲区。
在本申请实施例中，GPU可以对所有或者部分图层进行合成。其中，当GPU对一个待显示的显示界面中的部分图层进行合成时，硬件图层混合器(HWC,Hardware composer)可以将SurfaceFlinger通过GPU合成的结果与其他图层一起合成，具体的，如图1所示，HWC可以调用多媒体显示处理器(MDP，Multimedia Display Processor)，对帧缓冲区中GPU合成后获得的图层与其他尚未合成的图层进行图层的合成，最终形成BufferQueue中的一个Buffer，再在显示驱动的作用下，将Buffer中合成的图像用于显示。
因此，电子设备可以通过MDP对图层合成，也可以通过GPU对图层合成，还可以通过MDP与GPU混合的方式对图层合成。
目前在图层合成方面，多图层叠加的功耗较高，发明人在研究中发现，导致多图层叠加的功耗较高的原因是，由于GPU是一个通用的图形处理器，能够做2维图像处理，还能做3维图像处理，特效等。因此，目前普遍使用GPU进行图像合成，功耗较高，进而影响电子设备的续航能力。
因此，为了解决上述缺陷，请参阅图2，本申请实施例提供了一种显示方法，该方法应用于电子设备，该方法用于合理设置图像合成的策略，从而节省多图层叠加的功耗，提高图像合成速度，具体地，该方法包括：S101至S104。
S101：获取待合成的图层。
其中，所述待合成的图层为当前需要在电子设备的屏幕上显示的图像对应的各个图层，具体，待合成的图层包括视频播放界面的界面图层以及用于在视频播放界面播放的视频对应的多媒体图层，如图3所示，当前屏幕上所显示的界面为一个视频客户端的视频播放界面10，在视频播放界面内显示有客户端的界面图层和多媒体图层，其中，界面图层为用于显示客户端的操作界面的图层，具体，可以是包括客户端内各个UI的图层，如图层11，多媒体图层为用于在视频播放界面播放的视频对应的图层，具体，可以是包括各部分视频播放内容如弹幕、字幕、视频图像的图层，如图层12。通常情况下，该界面图层为静态图层，多媒体图层为动态图层，即在客户端的当前界面下，多媒体图层内的图像可能会改变，而界面图层内的图像一般不会变。例如，当前的客户端为视频APP，在该客户端的多媒体图层的区域显示视频播放内容的图像，且视频播放内容的图像内的数据会随着视频播放内容的改变而改变，而在屏幕上显示的下一帧图像中的多媒体图层与上一帧的多媒体图层是不同的，如上一帧播放的视频帧图像与下一帧播放的视频帧图像可能是不同的，但是，下一帧图像中的界面图层与上一帧图像的界面图层相同。
因此，客户端在确定要显示的内容的时候，就能够确定该显示内容所对应的多个图层，以便对各个图层渲染合成之后进行显示。
S102：调用图形处理器对界面图层进行合成，得到待混合图层。
其中，图形处理器可以是GPU，GPU是一个通用的图形处理器，在图形处理上功能强大，除了能够做2维图像处理，还能做3维图像处理，特效等，一次性可以叠加多个图层。由于界面图层的数据量较小，因此，图形处理器对界面图层进行合成所需的功耗也较小，并且，通过先调用GPU对界面图层进行合成，可以在不造成较大功耗的情况下，减少下一步合成所需叠加的图层数量，降低后续所需一次性叠加的图层数量。
S103：调用多媒体显示处理器对多媒体图层和待混合图层进行合成，以得到目标图像。
其中，目标图像为合成待合成的图层后对应的图像，具体，待合成的图层为当前需要在电子设备的屏幕上显示的图像对应的各个图层，目标图像即为当前需要在电子设备的屏幕上显示的图像，即合成待合成的图层后得到的图像。如图3所示，当前屏幕上所显示的图像为一个视频客户端的视频播放界面，在该视频播放界面内显示有该视频客户端的界面图层和多媒体图层，通过将该视频播放界面的各个图层进行合成，可以得到该视频播放界面对应的目标图像。
其中，MDP是一个专用的显示图像处理单元，能够做常规的2维图像处理，其主要优点是功耗低，但是成本较高。MDP一次性能够叠加的图层越多，在其内部需要更多的FIFO管道。在高通的高端平台，一个MDP有8个FIFO管道，一次性最多能够叠加8个图层。而在高通的中低端平台，一个MDP只有4个FIFO管道，一次性最多能够叠加4个图层。
对于Android系统来说，用户最终看到的2维图像其实是由多个图层合成叠加出来的，比如壁纸图层，状态栏图层，导航栏图层，APP图层，悬浮球图层，视频图层等等。在不同的应用场景下，这些图层的数量是不一样的，有的应用所显示的界面只有4个图层，则可以选择使用MDP去做合成。但是有的应用所显示的界面，有7个图层，甚至更多，只靠一个MDP硬件去做叠加合成无法完成任务。
而GPU是一个通用的图形处理器，在图形处理上比MDP功能要强大很多，除了能够做2维图像处理，还能做3维图像处理，特效等，但是功耗相对较高，一次性可以叠加多个图层。
由于MDP的功耗要小于GPU的功耗，但一次性可叠加的图层数量较少，因此，针对不同的待合成图层，通过先调用功耗较高的GPU合成简单的界面图层，再调用功耗较低的MDP合成视频图层及待混合图层，不仅可以节省多图层叠加的功耗，而且将部分待合成的图层如界面图层先通过GPU合成，再将合成后的待混合图层以及视频图层通过MDP合成，使得MDP所需合成的图层数量减少，可以降低对MDP一次性能够叠加的图层数的要求，在MDP可用FIFO管道数量有限时可以提高图层合成的速度，进而使得图层合成方式更为合理，并且更低的功耗还使得电子设备的续航能力提升，提升了用户体验。
S104：在视频播放界面显示目标图像。
其中，目标图像为将待合成的图层合成后得到的图像，用于在视频播放界面进行显示，通过将视频播放界面所需显示的图像进行合成后显示，实现在视频播放界面对视频播放内容的播放，并且使得用户可以通过对视频播放界面的操作，实现对应的控制效果，如在视频播放过程中，可以通过点击视频播放界面，使视频播放暂停，通过点击锁定控件，锁定视频播放界面，不对用户的点击等操作进行响应。
本实施例提供的显示方法，通过先调用功耗较高的GPU合成简单的界面图层，再调用功耗较低的MDP合成视频图层及待混合图层，不仅可以节省多图层叠加的功耗，而且将部分待合成的图层如界面图层先通过GPU合成，再将合成后的待混合图层以及视频图层通过MDP合成，使得MDP所需合成的图层数量减少，可以降低对MDP一次性能够叠加的图层数的要求，在MDP可用FIFO管道数量有限时可以提高图层合成的速度，进而使得图层合成方式更为合理，并且更低的功耗还使得电子设备的续航能力提升，提升了用户体验。
请参阅图4，示出了本申请实施例提供的一种显示方法，该方法应用于电子设备，该方法用于合理设置图像合成的策略，从而节省多图层叠加的功耗，提高图像合成速度，具体地，该方法包括：S201至S205。
S201：获取待合成的图层。
S202：调用图形处理器对界面图层进行合成，得到待混合图层。
S203：将待混合图层存储于帧缓冲模块。
其中，帧缓冲模块为帧缓冲区(FrameBuffer)，调用图形处理器对图层进行合成后，可以将合成后的图层存储于帧缓冲模块，具体，调用图形处理器对界面图层进行合成，得到待混合图层后，将待混合图层存储于帧缓冲模块。
S204：调用多媒体显示处理器对多媒体图层和待混合图层进行合成，以得到目标图像。
其中，MDP对帧缓冲模块中GPU合成后得到的待混合图层与其他尚未合成的多媒体图层进行图层的合成，得到目标图像。
S205：在视频播放界面显示目标图像。
在显示驱动的作用下，将帧缓冲模块中的目标图像显示于视频播放界面。
需要说明的是，上述步骤中未详细描述的部分，可参考前述实施例，在此不再赘述。
另外，帧缓冲模块可以包括暂存帧缓冲模块，调用图形处理器对界面图层进行合成得到待混合图层后，将待混合图层存储于暂存帧缓冲模块，在视频播放界面显示目标图像之后，保留暂存帧缓冲模块所存储的待混合图层，从而在上一帧与下一帧的界面图层无变化时，可将暂存帧缓冲模块上次存储的待混合图层确定为本次用于合成的待混合图层，而无需对与上一帧相同的界面图层再次进行合成，进一步节省图层叠加的功耗，提高图层合成速度，具体地，请参阅图5，示出了本申请实施例提供的一种显示方法，该方法应用于电子设备，该方法用于合理设置图像合成的策略，从而节省多图层叠加的功耗，提高图像合成速度，具体地，该方法包括S301-S307：
S301:获取待合成的图层。
S302:判断界面图层是否与上次获取的界面图层相同。
其中，上次获取界面图层后，将界面图层存储于特定位置，以用于与本次获取的界面图层进行判断，并且本次存储的界面图层也用于与下次获取的界面图层进行比较，判断是否相同，从而在调用GPU对界面图层进行合成前，可以通过判断本次获取的界面图层是否与上次获取的界面图层相同，来确定是否需要对本次获取的界面图层进行合成。其中，特定位置可以是电子设备中的存储器的任意位置，对此不作限定，可以理解的是，特定位置具有特定地址，具体，获取本次的界面图层后，从特定位置获取将上次获取的界面图层以与本次获取的界面图层进行比较，进而判断界面图层是否与上次获取的界面图层相同。
在一些实施方式中，电子设备也可以不只存储上次获取的界面图层，还可以存储前几次获取的界面图层，从而在调用GPU对界面图层进行合成前，可以通过判断本次获取的界面图层是否于前几次的界面图层相同，来确定是否需要对本次获取的界面图层进行合成。具体地，若本次获取的界面图层与上次获取的界面图层不同，但与上次获取的界面图层的再上一次获取的界面图层相同，此时仍无需对本次获取的界面图层进行合成，节省图层合成带来的功耗。
本实施例中，判断界面图层是否与上次获取的界面图层相同之后，可以包括：
若相同，可以执行S303；
若不同，可以执行S304。
S303：将上次存储于暂存帧缓冲模块的待混合图层确定为本次用于合成的待混合图层。
其中，上次存储的待混合图层在上次合成后仍保留在暂存帧缓冲模块，即在本次合成前不将上次存储的待混合图层从暂存帧缓冲模块中删除，从而在本次获取的界面图层与上次获取的界面图层相同时，将上次存储的待混合图层确定为本次用于合成的待混合图层，以进行后续合成。由此，通过在界面图层不变时，将上次存储的待混合图层确定为本次用于合成的待混合图层，可以降低对相同界面进行合成的次数，也相应降低了合成所需的功耗，进一步节省多图层叠加的功耗。
S304：调用图形处理器对界面图层进行合成，得到待混合图层。S305:将待混合图层存储于暂存帧缓冲模块。
其中，将待混合图层存储于暂存帧缓冲模块，在视频播放界面显示所述目标图像之后，保留暂存帧缓冲模块所存储的待混合图层，使得暂存帧缓冲模块中存储的待混合图层在本次合成结束可保留，从而在下次合成时，若界面图层与上次获取的相同，可将上次获取的待混合图层确定为本次用于合成的待混合图层，而无需再对本次获取的界面图层进行合成。由此，由于将界面图层存储于暂存帧缓冲模块，在界面图层不变时，通过将上次存储的待混合图层确定为本次用于合成的待混合图层，可以降低对相同界面进行合成的次数，也相应降低了合成所需的功耗，进一步节省多图层叠加的功耗。作为一种实施方式，若本次获取的界面图层与上次获取的界面图层不同，调用图形处理器对界面图层进行合成，得到本次用于合成的待混合图层，并将上次存储于暂存帧缓冲模块的待混合图层删除，从而在本次获取的界面图层与上次获取的界面图层不同时，通过将本次用于合成的待混合图层替换上次存储的待混合图层，可以优化存储，降低存储压力，保证图层合成的运行效率。
作为另一种实施方式，若本次获取的界面图层与上次获取的界面图层不同，调用图形处理器对界面图层进行合成，得到本次用于合成的待混合图层，也可以不将上次存储于暂存帧缓冲模块的待混合图层删除，使得下次获取的界面图层可以与上次以及本次获取的界面图层进行比较，进而在下次获取的界面图层与上次获取的界面图层相同时，还可以将上次获取的界面图层确定为下次用于合成的待混合图层。也就是说，暂存帧缓冲模块可以同时存储有两个或两个以上待混合图层，使得界面图层不仅可以与上次获取的界面图层相比较，还可以与前几次的界面图层相比较，使得在界面图层仅在几帧中发生变化后又回复成与原来相同时，仍可以不必重新合成新的待混合图层，从而可以进一步节省图层叠加带来的功耗，提高图层合成的效率。
进一步地，下次获取的界面图层与上次以及本次获取的界面图层进行比较时，可以先与最近一次获取的界面图层进行比较，即先与本次获取的界面图层进行比较，若不同再与上次获取的界面图层进行比较。由于在连续帧中界面图层不变的可能性要高于非连续帧中界面图层不变的可能性，因此通过先与最近一次获取的界面图层进行比较，可以进一步提高图层合成的效率。
S306:调用多媒体显示处理器对多媒体图层和待混合图层进行合成，以得到目标图像。
S307:在视频播放界面显示目标图像。
需要说明的是，上述步骤中未详细描述的部分，可参考前述实施例，在此不再赘述。
另外，多媒体图层包括弹幕图层和视频图层，由于弹幕图层对应的数据量较小，合成弹幕图层所需的功耗较小，并且弹幕图层的数量往往较大，MDP一次性可叠加的图层数量也有限，因此当弹幕图层的数量较大时，可调用GPU对弹幕图层进行合成，得到待混合弹幕图层，从而可以在不造成过大功耗的情况下保证图层合成速度，具体地，请参阅图6，其示出了对多媒体图层及待混合图层进行合成时，根据弹幕图层的数量选择不同的合成策略的方法，该方法包括S401-S405：
S401:判断弹幕图层的数量是否大于预设数量。
其中，多媒体图层包括弹幕图层和视频图层，弹幕图层是视频播放界面上包含弹幕的图层，视频图层为视频播放界面的视频内容对应的图层，具体，请参阅图7，例如多媒体图层12包括弹幕图层121以及视频图层122。
作为一种实施方式，弹幕图层的数量为本次获取的视频图像在该时刻下对应的弹幕数量，即一个弹幕对应一个弹幕图层，此时，弹幕数量越多，弹幕图层的数量也越多，而弹幕数量较多时，若全部都调用多媒体显示处理器进行合成，难以及时输出目标图像来进行显示，因为MDP一次性可叠加的图层数量有限，因此通过判断弹幕数量是否超过预设数量，可以在超过时，调用可一次性叠加较多图层的GPU对弹幕图层进行合成，可以提高图层合成速度，并且由于弹幕图层的数据量较小，也不会引起功耗过大。
其中，预设数量可以是根据MDP的FIFO管道数量进行设置，具体，预设数量可以等于或小于MDP的FIFO管道数量，从而可以通过判断弹幕图层的数量是否大于预设数量，可以在数量大于FIFO管道数量或接近FIFO管道数量时，调用GPU对弹幕图层进行合成，从而在MDP一次性可叠加图层的数量有限的情况下，更合理地进行图层合成，保证合成速度，避免MDP无法及时完成对一帧图像的合成，影响用户体验。
作为其他实施方式，预设数量也可以是任意设置的，如8个、3个等，在此不作限定。
本实施例中，在判断弹幕图层的数量是否大于预设数量之后，可以包括：
若不大于，可以执行S402；
若大于，可以执行S403。
S402:调用多媒体显示处理器对多媒体图层和待混合图层进行合成，以得到目标图像。
作为一种实施方式，若弹幕图层的数量不大于预设数量，可以仅调用多媒体显示处理器对多媒体图层和待混合图层进行合成，以得到目标图像，即在弹幕图层数量不多时，仍可调用MDP进行合成，节省图层叠加的功耗。
作为另一种实施方式，若弹幕图层的数量不大于预设数量，可以根据多媒体显示处理器的FIFO管道数量选择对弹幕图层的合成策略，例如，若MDP中空闲的FIFO管道数量不小于弹幕图层的数量，可仅调用MDP对弹幕图层进行合成；若MDP中空闲的FIFO管道数量小于弹幕图层的数量，可调用GPU对弹幕图层进行合成。
进一步地，作为一种方式，可以调用GPU对所有弹幕图层进行合成，从而提高图层合成速度；作为另一种方式，还可以调用GPU对相较于空闲的FIFO管道数量多出的弹幕图层进行合成，并调用MDP对其余弹幕图层进行合成，例如，空闲管道数量为2个，弹幕图层数量为3个，则可调用GPU对多出的1个进行合成，并调用MDP对2个弹幕图层进行合成，从而可充分利用空闲的FIFO管道，节省叠加功耗，且由于尽可能在MDP可实现叠加的基础上调用MDP进行合成，还可以避免引起过大功耗。
S403:调用图形处理器对弹幕图层进行合成，得到待混合的弹幕图层。
若弹幕图层的数量大于预设数量，可以调用图形处理器对弹幕图层进行合成，得到待混合的弹幕图层。在一种实施方式中，预设数量是根据MDP的FIFO管道数量进行设置的，如可以为4个、7个等，若弹幕图层的数量大于预设数量，则MDP可能难以及时叠加图层，进而难以及时显示于视频播放界面，以供用户观看，因此，通过在弹幕图层的数量大于预设数量时，调用可一次性叠加更多图层的GPU进行合成，可以提高图层合成的速度，及时合成得到目标图像并显示于视频播放界面，保证用户观看视频的体验，并且弹幕图层的数据量也较小，调用GPU进行合成也不会引起过大功耗。
S404:将待混合的弹幕图层存储于非暂存帧缓冲模块。
其中，帧缓冲模块还可以包括非暂存帧缓冲模块，非暂存帧缓冲模块中存储的图层在本次合成后将删除，由于弹幕图层的动态变化的，例如有新的弹幕产生或弹幕在视频播放界面滚动，使得上一帧与下一帧的弹幕图层往往不同，因此通过将待混合的弹幕图层存储于非暂存帧缓冲模块，可以在本次合成后，将本次合成的待混合的弹幕图层从非暂存帧缓冲模块中删除，可以降低对暂存帧缓冲模块的存储要求，提高MDP运行效率。
S405:调用多媒体显示处理器对待混合的弹幕图层、视频图层和待混合图层进行合成，以得到目标图像。
在一种实施方式中，从暂存帧缓冲模块中获取待混合图层，并将非暂存帧缓冲模块内的待混合的弹幕图层、视频图层和待混合图层进行合成，得到最终待显示的目标图像，然后再将目标图像显示于视频播放页面。
本实施例通过将弹幕图层与视频图层分开处理，调用GPU处理数据量较少的弹幕图层，得到待混合的弹幕图层，再调用MDP对待混合的弹幕图层、视频图层和待混合图层进行合成，以得到目标图像，从而在前述实施例的基础上，可以在不增加过多功耗的情况下保证图层合成速度。
需要说明的是，上述步骤中未详细描述的部分，可参考前述实施例，在此不再赘述。
另外，帧缓冲模块还可以包括非暂存帧缓冲模块，通过在弹幕图层的数量大于预设数量时，调用GPU对弹幕图层进行合成，得到待混合的弹幕图层后，将待混合的弹幕图层存储于非暂存帧缓冲模块，并在视频播放界面显示目标图像之后，将非暂存帧缓冲模块所存储的图层删除。由于上一帧与下一帧的弹幕图层往往不同，因此在本次合成时，通过删除上一帧存储的待混合的弹幕图层，可以降低对暂存帧缓冲模块的存储要求，提高MDP运行效率。
请参阅图8，其示出了本申请实施例提供的一种显示装置的结构框图，该显示装置800可以包括：图像获取模块810、第一合成模块820、第二合成模块830以及图像显示模块840，其中：
图像获取模块810，用于获取待合成的图层，所述待合成的图层包括视频播放界面的界面图层以及用于在所述视频播放界面播放的视频对应的多媒体图层。
第一合成模块820，用于调用所述图形处理器对所述界面图层进行合成，得到待混合图层。
第二合成模块830，用于调用所述多媒体显示处理器对所述多媒体图层和所述待混合图层进行合成，以得到目标图像。
图像显示模块840，用于在所述视频播放界面显示所述目标图像。
进一步的，所述显示装置800还包括：第一存储模块，其中：
第一存储模块，用于将所述待混合图层存储于帧缓冲模块。
进一步的，所述帧缓冲模块包括暂存帧缓冲模块，所述第一存储模块包括：第一存储单元、图层保留单元，其中：
第一存储单元，用于将所述待混合图层存储于所述暂存帧缓冲模块；
图层保留单元，用于在所述视频播放界面显示所述目标图像之后，保留所述暂存帧缓冲模块所存储的待混合图层。
进一步的，所述第一合成模块包括：第一判断单元以及第一合成单元，其中：
第一判断单元，用于判断所述界面图层是否与上次获取的界面图层相同；
第一合成单元，用于若不同，调用所述图形处理器对所述界面图层进行合成，得到待混合图层。
进一步的，所述第一合成模块还包括：第一确定单元，其中：
第一确定单元，用于若相同，将上次存储于所述暂存帧缓冲模块的待混合图层确定为本次用于合成的待混合图层。
进一步的，所述多媒体图层包括弹幕图层和视频图层，所述第二合成模块包括：第二判断单元、第二合成单元以及第三合成单元，其中：
第二判断单元，用于判断所述弹幕图层的数量是否大于预设数量。
第二合成单元，用于若大于，调用所述图形处理器对所述弹幕图层进行合成，得到待混合的弹幕图层。
第三合成单元，用于调用所述多媒体显示处理器对所述待混合的弹幕图层、所述视频图层和所述待混合图层进行合成，以得到目标图像。
进一步的，所述帧缓冲模块包括非暂存帧缓冲模块，所述第二合成单元包括：
第二存储子单元，用于将所述待混合的弹幕图层存储于所述非暂存帧缓冲模块。
图层删除子单元，用于在所述视频播放界面显示所述目标图像之后，将所述非暂存帧缓冲模块所存储的图层删除。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图9，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备900可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备900可以包括一个或多个如下部件：处理器910、存储器920、图形处理器930、多媒体显示处理器940以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器920中并被配置为由一个或多个处理器910执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器910可以包括一个或者多个处理核。处理器910利用各种接口和线路连接整个电子设备900内的各个部分，通过运行或执行存储在存储器920内的指令、程序、代码集或指令集，以及调用存储在存储器920内的数据，执行电子设备900的各种功能和处理数据。可选地，处理器910可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器910可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器910中，单独通过一块通信芯片进行实现。
存储器920可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
图形处理器930是一个通用的图形处理器，在图形处理上比MDP功能要强大很多，除了能够做2维图像处理，还能做3维图像处理，特效等，但是功耗相对较高，一次性可以叠加多个图层。
多媒体显示处理器940是一个专用的显示图像处理单元，能够做常规的2维图像处理，其主要优点是功耗低，但是成本较高。MDP一次性能够叠加的图层越多，在其内部需要更多的FIFO管道。在高通的高端平台，一个MDP有8个FIFO管道，一次性最多能够合成叠加8个图层。而在高通的中低端平台，一个MDP只有4个FIFO管道，一次性最多能够合成4个图层。
请参考图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1000中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1000可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1000包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1000具有执行上述方法中的任何方法步骤的程序代码1010的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1010可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种显示方法，其特征在于，应用于电子设备，所述电子设备包括多媒体显示处理器和图形处理器，所述方法包括：
获取待合成的图层，所述待合成的图层包括视频播放界面的界面图层以及用于在所述视频播放界面播放的视频对应的多媒体图层，所述多媒体图层包括弹幕图层和视频图层；
调用所述图形处理器对所述界面图层进行合成，得到待混合图层；
将所述待混合图层存储于帧缓冲模块；
当所述弹幕图层的数量大于预设数量时，调用所述图形处理器对所述弹幕图层进行合成，得到待混合的弹幕图层；
调用所述多媒体显示处理器对所述待混合的弹幕图层、所述视频图层和所述待混合图层进行合成，以得到目标图像；
当所述弹幕图层的数量不大于所述预设数量时，调用所述多媒体显示处理器对所述多媒体图层和所述待混合图层进行合成，以得到目标图像；
在所述视频播放界面显示所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述帧缓冲模块包括暂存帧缓冲模块，所述将所述待混合图层存储于帧缓冲模块，包括：
将所述待混合图层存储于所述暂存帧缓冲模块；
在所述视频播放界面显示所述目标图像之后，保留所述暂存帧缓冲模块所存储的所述待混合图层。
3.根据权利要求2所述的方法，其特征在于，所述调用所述图形处理器对所述界面图层进行合成，得到待混合图层，包括：
判断所述界面图层是否与上次获取的界面图层相同；
若不同，调用所述图形处理器对所述界面图层进行合成，得到待混合图层。
4.根据权利要求3所述的方法，其特征在于，所述判断所述界面图层是否与上次获取的界面图层相同之后，还包括：
若相同，将上次存储于所述暂存帧缓冲模块的待混合图层确定为本次用于合成的待混合图层。
5.根据权利要求1所述的方法，其特征在于，所述帧缓冲模块包括非暂存帧缓冲模块，所述当所述弹幕图层的数量大于预设数量时，调用所述图形处理器对所述弹幕图层进行合成，得到待混合的弹幕图层之后，还包括：
将所述待混合的弹幕图层存储于所述非暂存帧缓冲模块；
在所述视频播放界面显示所述目标图像之后，将所述非暂存帧缓冲模块所存储的图层删除。
6.一种显示装置，其特征在于，应用于电子设备，所述电子设备包括多媒体显示处理器和图形处理器，所述装置包括：
图层获取模块，用于获取待合成的图层，所述待合成的图层包括视频播放界面的界面图层以及用于在所述视频播放界面播放的视频对应的多媒体图层，所述多媒体图层包括弹幕图层和视频图层；
第一合成模块，用于调用所述图形处理器对所述界面图层进行合成，得到待混合图层；
第一存储模块，用于将所述待混合图层存储于帧缓冲模块；
第二合成模块，用于当所述弹幕图层的数量大于预设数量时，调用所述图形处理器对所述弹幕图层进行合成，得到待混合的弹幕图层；调用所述多媒体显示处理器对所述待混合的弹幕图层、所述视频图层和所述待混合图层进行合成，以得到目标图像；当所述弹幕图层的数量不大于所述预设数量时，调用所述多媒体显示处理器对所述多媒体图层和所述待混合图层进行合成，以得到目标图像；
图像显示模块，用于在所述视频播放界面显示所述目标图像。
7.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
图形处理器；
多媒体显示处理器；
一个或多个应用程序， 其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-5任一项所述的方法。
8.一种计算机可读介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行所述权利要求1-5任一项所述方法。
CN201910647562.8A 2019-07-17 2019-07-17 显示方法、装置、电子设备及计算机可读介质 Active CN110427094B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910647562.8A CN110427094B (zh) 2019-07-17 2019-07-17 显示方法、装置、电子设备及计算机可读介质
PCT/CN2020/099807 WO2021008373A1 (zh) 2019-07-17 2020-07-02 显示方法、装置、电子设备及计算机可读介质
EP20840907.8A EP4002062A4 (en) 2019-07-17 2020-07-02 METHOD AND APPARATUS FOR DISPLAY, ELECTRONIC DEVICE AND COMPUTER READABLE MEDIA
US17/570,186 US20220139353A1 (en) 2019-07-17 2022-01-06 Display method, electronic device, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910647562.8A CN110427094B (zh) 2019-07-17 2019-07-17 显示方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN110427094A CN110427094A (zh) 2019-11-08
CN110427094B true CN110427094B (zh) 2021-08-17

Family

ID=68410880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910647562.8A Active CN110427094B (zh) 2019-07-17 2019-07-17 显示方法、装置、电子设备及计算机可读介质

Country Status (4)

Country Link
US (1) US20220139353A1 (zh)
EP (1) EP4002062A4 (zh)
CN (1) CN110427094B (zh)
WO (1) WO2021008373A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427094B (zh) * 2019-07-17 2021-08-17 Oppo广东移动通信有限公司 显示方法、装置、电子设备及计算机可读介质
CN112835660A (zh) * 2019-11-23 2021-05-25 西安诺瓦星云科技股份有限公司 媒体图层展示方法、装置及系统、存储介质
CN111273881B (zh) * 2020-01-15 2023-08-08 Oppo广东移动通信有限公司 显示控制方法及相关产品
CN111356026B (zh) * 2020-03-06 2022-03-29 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
CN111565337A (zh) * 2020-04-26 2020-08-21 华为技术有限公司 图像处理方法、装置和电子设备
CN112241303B (zh) * 2020-10-15 2023-02-21 展讯半导体(南京)有限公司 图像处理方法及系统、电子设备及存储介质
CN112616083A (zh) * 2020-12-11 2021-04-06 湖南国科微电子股份有限公司 一种视频的显示层叠加处理方法、装置、设备及存储介质
CN114764358A (zh) * 2021-01-13 2022-07-19 华为技术有限公司 一种界面显示方法及电子设备
CN113012263A (zh) * 2021-03-16 2021-06-22 维沃移动通信有限公司 图层合成方式的配置方法和电子设备
CN113110910B (zh) * 2021-04-20 2024-01-23 上海卓易科技股份有限公司 一种安卓容器实现的方法、系统及设备
CN114296840A (zh) * 2021-05-28 2022-04-08 海信视像科技股份有限公司 一种壁纸显示方法及显示设备
CN115834923A (zh) * 2021-09-16 2023-03-21 艾锐势企业有限责任公司 用于视频内容处理的网络设备、系统和方法
CN113873206A (zh) * 2021-10-30 2021-12-31 珠海研果科技有限公司 一种多路视频录制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593155A (zh) * 2013-11-06 2014-02-19 华为终端有限公司 显示帧生成方法和终端设备
US9317175B1 (en) * 2013-09-24 2016-04-19 Amazon Technologies, Inc. Integration of an independent three-dimensional rendering engine
US20180189922A1 (en) * 2016-12-31 2018-07-05 Intel IP Corporation Smart composition of output layers
US10257487B1 (en) * 2018-01-16 2019-04-09 Qualcomm Incorporated Power efficient video playback based on display hardware feedback

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8572271B2 (en) * 2009-01-29 2013-10-29 Qualcomm Incorporated Multimedia management system for seamless multimedia content mobility
US20130148947A1 (en) * 2011-12-13 2013-06-13 Ati Technologies Ulc Video player with multiple grpahics processors
US9538155B2 (en) * 2013-12-04 2017-01-03 Dolby Laboratories Licensing Corporation Decoding and display of high dynamic range video
US20160132284A1 (en) * 2014-11-07 2016-05-12 Qualcomm Incorporated Systems and methods for performing display mirroring
US9928021B2 (en) * 2014-12-30 2018-03-27 Qualcomm Incorporated Dynamic selection of content for display on a secondary display device
US9953620B2 (en) * 2015-07-29 2018-04-24 Qualcomm Incorporated Updating image regions during composition
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
CN106896899B (zh) * 2017-03-10 2020-04-17 Oppo广东移动通信有限公司 一种移动终端图像绘制的控制方法、装置及移动终端
WO2018170393A2 (en) * 2017-03-17 2018-09-20 Portland State University Frame interpolation via adaptive convolution and adaptive separable convolution
WO2018176734A1 (zh) * 2017-03-27 2018-10-04 华为技术有限公司 一种数据处理方法及终端
CN109871192B (zh) * 2019-03-04 2021-12-31 京东方科技集团股份有限公司 一种显示方法、装置、电子设备及计算机可读存储介质
CN110427094B (zh) * 2019-07-17 2021-08-17 Oppo广东移动通信有限公司 显示方法、装置、电子设备及计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317175B1 (en) * 2013-09-24 2016-04-19 Amazon Technologies, Inc. Integration of an independent three-dimensional rendering engine
CN103593155A (zh) * 2013-11-06 2014-02-19 华为终端有限公司 显示帧生成方法和终端设备
US20180189922A1 (en) * 2016-12-31 2018-07-05 Intel IP Corporation Smart composition of output layers
US10257487B1 (en) * 2018-01-16 2019-04-09 Qualcomm Incorporated Power efficient video playback based on display hardware feedback

Also Published As

Publication number Publication date
WO2021008373A1 (zh) 2021-01-21
US20220139353A1 (en) 2022-05-05
CN110427094A (zh) 2019-11-08
EP4002062A1 (en) 2022-05-25
EP4002062A4 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
CN110427094B (zh) 显示方法、装置、电子设备及计算机可读介质
CN110377263B (zh) 图像合成方法、装置、电子设备及存储介质
CN110362186B (zh) 图层处理方法、装置、电子设备及计算机可读介质
CN110377257B (zh) 图层合成方法、装置、电子设备及存储介质
CN110377264B (zh) 图层合成方法、装置、电子设备及存储介质
CN111163345B (zh) 一种图像渲染方法及装置
US20220139017A1 (en) Layer composition method, electronic device, and storage medium
CN109151966B (zh) 终端控制方法、装置、终端设备及存储介质
JP6062438B2 (ja) タイル単位レンダラーを用いてレイヤリングするシステムおよび方法
CN110166810B (zh) 视频渲染引擎切换方法、装置、设备及可读存储介质
KR20140133807A (ko) 드로잉 방법, 장치, 및 단말
WO2021008427A1 (zh) 图像合成方法、装置、电子设备及存储介质
CN109361950B (zh) 视频处理方法、装置、电子设备及存储介质
US20220230271A1 (en) Full screen processing in multi-application environments
CN116821040B (zh) 基于gpu直接存储器访问的显示加速方法、装置及介质
CN116185743B (zh) OpenGL接口的双显卡对比调试方法、装置及介质
WO2019047187A1 (zh) 导航栏控制方法及装置
CN109688462B (zh) 降低设备功耗的方法、装置、电子设备及存储介质
CN113655975B (zh) 图像显示方法、装置、电子设备和介质
CN110362375A (zh) 桌面数据的显示方法、装置、设备和存储介质
US20180166045A1 (en) Efficient occlusion detection in display compositor
CN114710702A (zh) 一种视频的播放方法和装置
CN114697555A (zh) 一种图像处理方法、装置、设备及存储介质
CN110377258B (zh) 图像渲染方法、装置、电子设备及存储介质
CN108255568B (zh) 一种终端界面显示方法及装置、终端、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant