CN112860428A - 一种高能效的显示处理方法及设备 - Google Patents

一种高能效的显示处理方法及设备 Download PDF

Info

Publication number
CN112860428A
CN112860428A CN201911245165.4A CN201911245165A CN112860428A CN 112860428 A CN112860428 A CN 112860428A CN 201911245165 A CN201911245165 A CN 201911245165A CN 112860428 A CN112860428 A CN 112860428A
Authority
CN
China
Prior art keywords
gui
graphics processing
application processor
processing subsystem
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911245165.4A
Other languages
English (en)
Inventor
胡征远
李冰
刘雯
龚树强
谢子晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202410143049.6A priority Critical patent/CN118051111A/zh
Priority to US17/780,866 priority patent/US20230004406A1/en
Priority to JP2022529106A priority patent/JP7468830B2/ja
Priority to PCT/CN2020/129327 priority patent/WO2021104104A1/zh
Priority to KR1020227020439A priority patent/KR20220101693A/ko
Priority to EP20891976.1A priority patent/EP4053783A4/en
Publication of CN112860428A publication Critical patent/CN112860428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3243Power saving in microcontroller unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3293Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/06Use of more than one graphics processor to process data before displaying to one or more screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Power Sources (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例提供一种高能效的显示处理方法及设备,涉及电子技术领域,能够根据不同待显示GUI的复杂程度,切换使用不同性能和功耗的图形处理子系统进行GUI显示处理,从而可以降低电子设备的整机功耗,提高电子设备的能效。具体方案为:电子设备包括第一图形处理子系统、第二图形处理子系统和屏幕;第一图形处理子系统包括第一应用处理器、第一图形处理单元和第一内存存储器;第二图形处理子系统包括第二应用处理器、第二图形处理单元和第二内存存储器;第一图形处理单元渲染第一GUI;屏幕显示第一GUI;第二图形处理单元渲染第二GUI,第二GUI与第一GUI属于不同的界面类型;屏幕显示第二GUI。本申请实施例用于显示处理。

Description

一种高能效的显示处理方法及设备
本申请要求于2019年11月28日提交国家知识产权局、申请号为201911194739.X、申请名称为“一种高能效的图形显示方案”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及电子技术领域,尤其涉及一种高能效的显示处理方法及设备。
背景技术
随着电子技术的发展,可穿戴设备、手机等电子设备的种类和功能越来越多。电子设备可以通过屏幕为用户显示各种各样的图形用户界面(graphical user interface,GUI),以方便用户浏览信息或与电子设备进行界面交互。
在用户的使用过程中,电子设备可能需要显示复杂的GUI,例如游戏界面或三维(3dimensions,3D)表盘等。为满足复杂GUI的绘制需求,电子设备需要配置性能较高的图形处理器(graphics processing unit,GPU)进行图形显示处理。而高性能GPU的功耗较大,从而导致电子设备的功耗较大,能效较低。
发明内容
本申请实施例提供一种高能效的显示处理方法及设备,能够根据不同待显示GUI的复杂程度,切换使用不同性能和功耗的图形处理子系统进行GUI显示处理,从而可以降低电子设备的整机功耗,提高电子设备的能效。
为达到上述目的,本申请实施例采用如下技术方案:
一方面,本申请实施例提供了一种显示处理方法,可以应用于电子设备。该电子设备包括第一图形处理子系统,第二图形处理子系统和屏幕。其中,第一图形处理子系统包括第一图形处理单元,第一应用处理器,以及与第一应用处理器和第一图形处理单元配合使用的第一内存存储器。第二图形处理子系统包括第二图形处理单元,第二应用处理器,以及与第二应用处理器和第二图形处理单元配合使用的第二内存存储器。该方法包括:第一图形处理子系统渲染第一图形用户界面GUI。然后,屏幕显示渲染后的第一GUI。第一应用处理器在确定满足预设条件后,向第二应用处理器发送切换通知。第二应用处理器接收到切换通知后,通知第二图形处理单元渲染待显示的第二GUI,第二GUI与第一GUI对应不同的界面类型。第二图形处理单元渲染第二GUI。然后,屏幕显示渲染后的第二GUI。
这样,电子设备能够针对不同界面类型的待显示GUI,切换使用不同性能和不同功耗的图形处理子系统进行显示处理,而不采用统一高性能和高功耗的图形处理子系统进行处理。其中,不同界面类型的待显示GUI的复杂度不同。从而,电子设备可以平衡不同待显示GUI的显示处理性能和功耗,针对不同待显示GUI实现最优能效。电子设备中多个图形处理子系统的平均功耗较低、平均能效较高;多个图形处理子系统的整体能效较高,整体功耗较低。因此,电子设备针对图形显示处理的能效较高,电子设备的整机功耗较低。
在一种可能的设计中,第一应用处理器在确定满足预设条件后,向第二应用处理器发送切换通知,包括:第一应用处理器在确定检测到第一输入操作且满足预设条件后,向第二应用处理器发送切换通知。
也就是说,电子设备在检测到用户输入操作的触发后,才确定是否切换图形处理子系统。
在另一种可能的设计中,电子设备还包括存储器,存储器保存有第二图形处理子系统对应的预设应用。第一应用处理器确定满足预设条件,包括:第一应用处理器确定第二GUI对应第一界面类型,且第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设应用对应的GUI,第二界面类型的GUI包括预设应用对应的GUI以外的其他GUI。
在该方案中,电子设备可以预存有第二图形处理子系统对应的预设应用,若待显示第二GUI与该预设应用相对应,则电子设备可以使用第二图形处理子系统进行显示处理。
例如,该预设应用包括支付应用、相机应用、音乐应用、通话应用或游戏应用。或者,预设应用具有与远程网络通信相关联的功能。或者,预设应用为第三方应用。
在另一种可能的设计中,电子设备还包括存储器,存储器保存有第二图形处理子系统对应的预设功能。第一应用处理器确定满足预设条件,包括:第一应用处理器确定第二GUI对应第一界面类型,第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设功能对应的GUI,第二界面类型的GUI包括预设功能对应的GUI以外的其他GUI。
在该方案中,电子设备可以预存有第二图形处理子系统对应的预设功能,若待显示第二GUI与该预设功能相对应,则电子设备可以使用第二图形处理子系统进行显示处理。
例如,该预设功能可以与远程网络通信相关联。
在一种可能的设计中,电子设备还包括存储器,存储器保存有第二图形处理子系统对应的预设GUI。第一应用处理器确定满足预设条件,包括:第一应用处理器确定第二GUI对应第一界面类型,第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设GUI,第二界面类型的GUI包括预设GUI以外的其他GUI。
在该方案中,电子设备可以预存有第二图形处理子系统对应的预设GUI,若待显示第二GUI与预设GUI相匹配,则电子设备可以使用第二图形处理子系统进行显示处理。
在一种可能的设计中,第二GUI和第一GUI分别为3D界面类型和2D界面类型。
也就是说,电子设备可以采用不同的图形处理子系统,分别渲染3D界面类型的GUI和2D界面类型的GUI。比如,3D界面类型的GUI可以为3D表盘界面,2D界面类型的GUI可以为2D表盘界面。
在一种可能的设计中,电子设备还包括存储器,存储器保存有第二图形处理子系统对应的至少一个预设参数组,预设参数组包括预设GUI和预设输入操作。第一应用处理器确定满足预设条件,包括:第一应用处理器确定检测到第二输入操作,第一GUI和第二输入操作与预设参数组中的预设GUI和预设输入操作相匹配。
在该方案中,电子设备可以实时地根据当前显示的界面和输入操作对应的待显示GUI,自适应切换使用相应的图形处理子系统,使得待显示GUI的复杂程度可以实时地与切换后的图形处理子系统的性能和功耗相匹配,从而可以降低图形处理子系统和电子设备的整机功耗,提高图形处理子系统和电子设备的能效。
在另一种可能的设计中,第一应用处理器确定满足预设条件,包括:第一应用处理器确定检测到第三输入操作,第三输入操作用于指示切换图形处理子系统,或者第三输入操作用于指示使用第二图形处理子系统。
在该方案中,电子设备可以根据用户的输入操作确定目标图形处理子系统,或确定是否切换图形处理子系统。
在另一种可能的设计中,在第一应用处理器确定满足预设条件之后,且在屏幕显示渲染后的第二GUI之前,该方法还包括:第一图形处理子系统渲染过渡界面,屏幕显示渲染后的过渡界面。
这样,过渡界面可以在图形处理子系统的切换过程中为用户持续进行界面显示,以避免用户看到的界面出现中断、黑屏或闪屏等现象,提高用户视觉体验。
在另一种可能的设计中,第一图形处理子系统还包括用于连接第一图形处理子系统内部各部件的第一通信总线。第二图形处理子系统还包括用于连接第二图形处理子系统内部各部件的第二通信总线。
也就是说,不同图形处理子系统可以包括不同的通信总线,例如通信总线的主频和通信速率不同。这样,不同图形处理子系统的性能、功耗和能效也不同。
在另一种可能的设计中,上述第一输入操作、第二输入操作和第三输入操作包括基于触摸屏的输入操作、基于按键的操作或语音输入操作。
也就是说,用户可以通过触摸屏、按键或语音与电子设备进行交互。
在另一种可能的设计中,该电子设备为穿戴设备。
另一方面,本申请实施例提供了一种电子设备,包括:第一图形处理子系统,第二图形处理子系统和屏幕。其中,第一图形处理子系统包括第一图形处理单元,第一应用处理器,以及与第一应用处理器和第一图形处理单元配合使用的第一内存存储器。第二图形处理子系统包括第二图形处理单元,第二应用处理器,以及与第二应用处理器和第二图形处理单元配合使用的第二内存存储器。第一图形处理子系统用于,渲染第一图形用户界面GUI。屏幕用于,显示渲染后的第一GUI。第一应用处理器用于,在确定满足预设条件后,向第二应用处理器发送切换通知。第二应用处理器用于,接收到来自第一应用处理器的切换通知后,通知第二图形处理单元渲染待显示的第二GUI,第二GUI与第一GUI对应不同的界面类型。第二图形处理单元用于,渲染第二GUI。屏幕还用于,显示渲染后的第二GUI。
在一种可能的设计中,第一应用处理器用于,在确定满足预设条件后,向第二应用处理器发送切换通知,具体包括:第一应用处理器用于,在确定检测到第一输入操作且满足预设条件后,向第二应用处理器发送切换通知。
在另一种可能的设计中,电子设备还包括存储器。存储器用于,保存第二图形处理子系统对应的预设应用。第一应用处理器用于确定满足预设条件,具体包括:第一应用处理器用于确定第二GUI对应第一界面类型,且第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设应用对应的GUI,第二界面类型的GUI包括预设应用对应的GUI以外的其他GUI。
在另一种可能的设计中,预设应用包括支付应用、相机应用、音乐应用、通话应用或游戏应用。或者,预设应用具有与远程网络通信相关联的功能。或者,预设应用为第三方应用。
在另一种可能的设计中,电子设备还包括存储器。存储器用于,保存第二图形处理子系统对应的预设功能。第一应用处理器用于确定满足预设条件,具体包括:第一应用处理器用于确定第二GUI对应第一界面类型,第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设功能对应的GUI,第二界面类型的GUI包括预设功能对应的GUI以外的其他GUI。
在另一种可能的设计中,电子设备还包括存储器。存储器用于,保存第二图形处理子系统对应的预设GUI。第一应用处理器用于确定满足预设条件,具体包括:第一应用处理器用于确定第二GUI对应第一界面类型,第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设GUI,第二界面类型的GUI包括预设GUI以外的其他GUI。
在另一种可能的设计中,电子设备还包括存储器。存储器用于,保存第二图形处理子系统对应的至少一个预设参数组,预设参数组包括预设GUI和预设输入操作。第一应用处理器用于确定满足预设条件,具体包括:第一应用处理器用于确定检测到第二输入操作,第一GUI和第二输入操作与预设参数组中的预设GUI和预设输入操作相匹配。
在另一种可能的设计中,第一应用处理器用于确定满足预设条件,具体包括:第一应用处理器用于确定检测到第三输入操作,第三输入操作用于指示切换图形处理子系统,或者第三输入操作用于指示使用第二图形处理子系统。
在另一种可能的设计中,第一图形处理单元还用于,在第一应用处理器确定满足预设条件之后,且在屏幕显示渲染后的第二GUI之前,渲染过渡界面。屏幕还用于,显示渲染后的过渡界面。
在另一种可能的设计中,第二图形处理子系统还用于,接收屏幕周期性发送的显示请求信号;在渲染第二GUI后,在两个显示请求信号的接收间隔内,将渲染后的第二GUI对应的图像数据发送给屏幕。该屏幕用于显示渲染后的第二GUI,具体包括:该屏幕用于根据图像数据显示渲染后的第二GUI。
在另一种可能的设计中,第一图形处理子系统还包括用于连接第一图形处理子系统内部各部件的第一通信总线;第二图形处理子系统还包括用于连接第二图形处理子系统内部各部件的第二通信总线。
在另一种可能的设计中,该电子设备为穿戴设备。
另一方面,本申请实施例提供了一种显示处理装置,该装置包含在电子设备中。该装置具有实现上述方面及可能的设计中任一方法中电子设备行为的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,渲染模块/单元,显示模块/单元,处理模块/单元等。
又一方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;以及存储器,存储器中存储有代码。当代码被电子设备执行时,使得电子设备执行上述方面任一项可能的设计中电子设备执行的显示处理方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述方面任一项可能的设计中的显示处理方法。
又一方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方面任一项可能的设计中电子设备执行的显示处理方法。
另一方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备。该芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行上述方面任一项可能的设计中的显示处理方法。
上述其他方面对应的有益效果,可以参见关于方法方面的有益效果的描述,此处不予赘述。
附图说明
图1A-图1C为现有技术提供的一组图形处理系统的架构示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3为本申请实施例提供的一种处理器的结构示意图;
图4为本申请实施例提供的多个图形处理子系统的结构示意图;
图5为本申请实施例提供的一种图形处理子系统的连接示意图;
图6为本申请实施例提供的一种图形处理子系统的处理流程图;
图7为本申请实施例提供的一组智能手表的界面示意图;
图8为本申请实施例提供的另一组智能手表的界面示意图;
图9为本申请实施例提供的一种显示处理方法流程图;
图10为本申请实施例提供的另一组智能手表的界面示意图;
图11为本申请实施例提供的另一组智能手表的界面示意图;
图12为本申请实施例提供的另一组智能手表的界面示意图;
图13为本申请实施例提供的另一组智能手表的界面示意图;
图14为本申请实施例提供的另一组智能手表的界面示意图;
图15为本申请实施例提供的一种显示处理方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
穿戴设备或手机等电子设备可以为用户显示GUI,以方便用户浏览信息或与电子设备进行界面交互。电子设备显示的GUI有游戏界面等复杂的GUI,也有桌面等简单的GUI。也就是说,电子设备并不总是显示复杂的GUI,也并不总是显示简单的GUI。
为了能够显示复杂的GUI,电子设备具备复杂GUI的图形显示处理能力。例如,参见图1A,电子设备具有用于显示复杂GUI的高性能GPU。在一些现有技术中,电子设备统一采用高性能GPU对复杂的GUI和简单的GUI进行图形显示处理,这样将使得GPU和电子设备的功耗较大,使得GPU和电子设备的能效较低。
尤其地,对于可穿戴设备等具有较小屏幕的电子设备来说,多数情况下仅需要显示简单的GUI,少数情况下才显示复杂GUI,因而统一采用该高性能GPU进行图形显示处理,将使得GPU和电子设备的功耗较大,电子设备的能效较低。
在另一些现有技术中,参见图1B,电子设备包括图形显示处理能力较高的GPU,GPU具有高性能模式和低性能模式。电子设备可以选择使用GPU的不同模式进行图形显示处理。其中,为了配合GPU的高性能模式,与GPU配合使用的应用处理器的功耗较大,与GPU配合使用的内存、通信总线(也称总线)、主频时钟或电源等基础系统的功耗也较大。因而,即便在采用GPU的低性能模式的情况下,与GPU配合使用的基础系统的功耗仍然较大,电子设备的整机功耗仍然较大,电子设备的能效仍然较低。
在另一些现有技术中,参见图1C,电子设备包括高性能的第一GPU和低性能的第二GPU。电子设备可以通过调配使用第一GPU或第二GPU进行图形显示处理。但第一GPU和第二GPU均采用同一套内存、通信总线、主频时钟或电源等基础系统。为了配合高性能的第一GPU,内存、通信总线、时钟或电源等基础系统的性能较好且功耗较大。因而,即便电子设备采用低性能的GPU进行图形显示处理,基础系统的功耗仍然较大,电子设备的整机功耗仍然较大,电子设备的能效仍然较低。
本申请实施例提供了一种高能效的显示处理方法,可以应用于电子设备。电子设备可以包括多个图形处理子系统,不同图形处理子系统可以包括不同性能的图形处理单元,以及与图形处理单元配合使用的应用处理器和基础系统。其中,不同图形处理子系统中,图形处理单元的性能不同,图形处理单元的功耗通常也不同,与图形处理单元配合使用的应用处理器和基础系统的性能和功耗通常也不同。也就是说,不同图形处理子系统的性能和功耗不同。
一般情况下,性能越好,功耗也越大;性能越差,功耗也越小。性能较好的图形处理子系统包括性能较好的图形处理单元、应用处理器和基础系统。性能较好的图形处理子系统的功耗也较大。性能较差的图形处理子系统包括性能较差的图形处理单元、应用处理器和基础系统。性能较差的图形处理子系统的功耗也较小。与性能较好的图形处理子系统相比,性能较差的图形处理子系统所需的供电电压较低,功耗可以呈指数级减小。
在本申请的实施例中,电子设备能够针对不同复杂程度的待显示GUI,切换使用不同性能和不同功耗的图形处理子系统进行显示处理。而电子设备采用的图形处理子系统的功耗不同,电子设备整机的功耗也不同。例如,针对高复杂度的GUI,电子设备可以采用高性能和高功耗的图形处理子系统进行处理;针对低复杂度的GUI,电子设备可以采用低性能和低功耗的图形处理子系统进行处理,而不采用统一高性能和高功耗的图形处理子系统进行处理。也就是说,电子设备可以平衡不同待显示GUI的显示处理性能和功耗,针对不同待显示GUI实现最优能效。因而,电子设备中多个图形处理子系统的平均功耗较低、平均能效较高;多个图形处理子系统的整体能效较高,整体功耗较低。因此,电子设备针对图形显示处理的能效较高,电子设备的整机功耗较低。
其中,不同复杂程度的GUI对应的显示任务量级不同。复杂GUI为具有重量级显示任务的GUI,简单GUI为具有轻量级显示任务的GUI。GUI的复杂程度与以下一项或多项相关联:GUI包括的图形元素的数量,GUI的分辨率,GUI是否包含3D图像、GUI是否旋转、GUI是否进行缩放、GUI包含的图形是否有移动、或者GUI是否包括动图等。例如,图形元素的数量较少的GUI可以为简单GUI,图形元素的数量较多的GUI可以为复杂GUI。再例如,分辨率低的GUI可以为简单GUI,分辨率高的GUI可以为复杂GUI。再例如,简单GUI包括静态图形;较为复杂的GUI包括可移动、可缩放或可2D旋转的动态图形等;更为复杂的GUI包括3D立体图形、可3D旋转或3D动态变化的图形等。
例如,本申请实施例中的电子设备可以是可穿戴设备、手机、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、平板电脑、笔记本电脑、车载设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或个人数字助理(personal digital assistant,PDA)等,本申请实施例对电子设备的具体类型不作任何限制。尤其地,电子设备可以应用于部分场景显示复杂GUI,部分场景需要显示简单GUI的电子设备。
示例性的,图2示出了电子设备100的一种结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元。例如,参见图3,处理器110可以包括多个图形处理子系统,调制解调处理器,图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,神经网络处理器(neural-network processing unit,NPU),语音子系统,显示子系统,传感器子系统,时钟/电压域子系统,系统功耗管理(power management,PM)核,安全元件(secure element,SE)和/或短距离处理器等。不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,图形处理子系统包括图形处理单元(例如图形处理器GPU),与图形处理单元配合使用的应用处理器(application processor,AP)和基础系统等。该基础系统可以包括与图形处理单元配合使用的通信总线、内存、主频时钟或电源等。不同图形处理子系统中应用处理器、图形处理单元和基础系统的性能、功耗和能效不同。即,不同图形处理子系统的性能、功耗和能效不同。不同图形处理子系统可以在同一芯片上,也可在不同的芯片上。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
时钟/电压域子系统,也称时钟/电源网络。该处理器110可以为片上系统(systemon a chip,SoC),时钟/电压域子系统可以接收SoC片外电源管理模块发来的时钟和电压,并以此为基础进一步产生SoC中每个部件/模块(例如图形处理单元或应用处理器)所需的工作时钟和电压。可选地,每个部件/模块均可以有自己独立的时钟/电压域子系统。
系统PM核,也称PM处理器或系统控制器。与SoC外部的电源管理模块不同,系统PM核进行数字信号的二进制处理,其核心通常是个处理器,即一个用于功耗控制的核,可运行功耗管理软件,为SoC的每个部件分配工作所需的电压和时钟,实现对每个部件的域时钟和域电压的控制。系统PM核既可控制电源管理模块产生的服务于整个系统的总时钟和电压,也能控制时钟/电压域子系统产生属于每个部件(例如图形处理单元或应用处理器)的工作时钟和电压。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),Zigbee,红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
短距离处理器,也就是短距离基带通信处理单元,可以包括中央处理器(centralprocessing unit,CPU)或DSP,运行短距离通信协议软件。短距离处理器还可以包括硬件加速器。短距离处理器也可以与无线通信模块中的短距离通信芯片集成在一起,从而进行模拟、射频、数字和通信协议等全部短距离通信的处理。
电子设备100通过图形处理单元,显示屏194,以及应用处理器等实现显示功能。图形处理单元为图像处理的微处理器,连接显示屏194和应用处理器。图形处理单元用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个图形处理单元,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
显示子系统,用于对接显示屏194,对CPU或GPU生成的待显示图像进行显示处理,与GPU进行具体显示图像像素级的处理不同,该器件进行例如亮度和对比度调整、多个图层/窗口的叠加(overlay)等的桌面级显示处理。
电子设备100可以通过ISP,摄像头193,视频编解码器,图形处理单元,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
语音子系统,用于进行数字语音信号处理,比如语音效果增强和语音编解码等,可包括独立的CPU或DSP,也可包括必要的硬件加速器。其中,该编码可以包括语音编码,对语音信号进一步压缩编码得到适合通信的信号,如自适应多速率音频压缩(adaptive multi-rate compression,AMR)、增强型语音服务(enhanced voice service,EVS)语音信号。该编码还可以包括音频编码,压缩为适合音乐存储或播放的编码格式,如mp3格式等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
传感器子系统,与传感器对接,包括处理传感器数据的处理器,可以是CPU或DSP,用于进行传感器数据的采集、分类、识别和处理。可选地,传感器子系统也可以和语音子系统共享同一处理器,例如用一个DSP可以实现传感器信号和语音信号的处理。
SE用于进行保密信息的处理,内部具有独立的内存和处理器(不同于主CPU),比如运行银行卡支付软件或身份认证等。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在本申请的实施例中,如图3所示,处理器110可以包括多个性能、功耗和能效不同的图形处理子系统。电子设备100可以根据待显示GUI的复杂程度(或显示任务量级),采用性能和功耗与GUI的复杂程度相匹配的图形处理子系统。例如,针对高复杂度的GUI,电子设备100可以采用高性能和高功耗的图形处理子系统进行处理;针对低复杂度的GUI,电子设备100可以采用低性能和低功耗的图形处理子系统进行处理,而不再采用高性能和高功耗的图形处理子系统进行处理。也就是说,处理器110可以平衡不同待显示GUI的显示处理性能和功耗,针对不同待显示GUI实现最优能效。该种处理方式可以提高电子设备100中多个图形处理子系统的整体能效(或称平均能效),提高电子设备100针对图形显示处理的能效,降低电子设备100的整机功耗。
示例性的,图4示出了处理器110中的多个图形处理子系统的一种结构示意图。处理器110包括图形处理子系统1、图形处理子系统2和图形处理子系统n等。其中,不同图形处理子系统包括不同性能、功耗的应用处理器、图形处理单元和基础系统。例如,图形处理子系统1及内部部件的性能和功耗较高,图形处理子系统2及内部部件的性能和功耗较低。举例来说,高性能的图形处理子系统中的图形处理单元可以为GPU,低性能的图形处理子系统中的图形处理单元可以为硬件图形渲染单元或图形加速器等。
性能较高的图形处理子系统中,还可以配置有显示控制器用于配合图形处理单元进行显示控制。应用处理器和图形处理单元还可以配置有缓存(cache)(例如L2 cache)等。高速总线和低速总线的数据传输速率不同,对应的主频不同,主频时钟的性能和功耗不同,供电电源的功耗也不同。并且,高性能的图形处理子系统1配置的是高速内存,例如可以是低功耗双数据速率4(low power double data rate 4,LPDDR4x),或双倍数据率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDRSDRAM)等。低性能的图形处理子系统2配置的是低速内存,例如可以是内置随机存取存储器(random access memory,RAM),静态随机存取存储器(static random access memory,SRAM),或伪静态随机存储器(pseudo static random access memory,PSRAM)等。
示例性的,不同图形处理子系统中应用处理器和图形处理单元的相关参数可以参见表1。
表1
Figure BDA0002307316150000131
其中,图形处理子系统与电子设备100的其他组件之间的连接关系可以参见图5。如图5所示,电子设备100还可以包括交互组件,用于用户与电子设备100之间进行交互操作。例如,交互组件可以包括触摸屏组件、按键组件或语音组件等。交互组件可以通过开关(例如单刀双掷开关(single pole double throw,SPDT))或其他逻辑切换电路与不同图形处理子系统切换相连。其中,触摸屏组件与SPDT或其他逻辑切换电路之间,以及SPDT或其他逻辑切换电路与图形处理子系统之间,可以通过触摸屏数据接口(例如I2C接口等)进行信息交互。
在其他一些实施例中,电子设备100也可以不采用SPDT或其他逻辑切换电路,而通过软件控制交互组件之间与不同图形处理子系统之间进行切换连接。
如图5所示,电子设备100还可以包括显示组件,显示组件包括用于进行GUI显示的屏幕。在一些技术方案中,显示组件可以通过SPDT或其他逻辑切换电路与不同图形处理子系统切换相连。其中,SPDT或其他逻辑切换电路与图形处理子系统之间,或者SPDT或其他逻辑切换电路与显示组件之间,可以通过显示接口(例如MIPI-DSI接口或QSPI接口等)进行信息交互。在另一些技术方案中,显示组件可以与各图形处理子系统均保持连接。
如图5所示,不同图形处理子系统之间通过总线相连,以便不同图形处理子系统之间进行图形处理子系统的切换通知等信息的交互,从而使得电子设备100可以切换使用不同的图形处理子系统显示不同复杂程度的GUI。
在本申请的实施例中,电子设备100包括输入组件,该输入组件可以包括上述交互组件,还可以包括传感器、无线连接组件或摄像头等触发组件。例如,该传感器可以包括动作传感器、加速度传感器或气压传感器等。无线连接组件可以包括近距离无线通信模块,例如蓝牙模块、NFC模块、Zigbee模块、红外通信模块或Wi-Fi模块等。
在本申请的一些实施例中,交互组件可以与当前正在使用的图形处理子系统相连。触发组件可以与特定的图形处理子系统相连。触发组件中的传感器和无线连接组件默认可以与低功耗的图形处理子系统相连;触发组件中的摄像头可以用于采集图像,默认可以与高功耗的图形处理子系统相连。
以电子设备100包括图形处理子系统1和图形处理子系统2为例,图6示出了本申请实施例提供的一种数据处理方法的控制流程图。输入组件中的交互组件具体可以与当前正在使用的图形处理子系统1中的应用处理器1相连。输入组件中的触发组件可以与特定的图形处理子系统(例如图形处理子系统2)中的应用处理器(例如应用处理器2)相连。显示组件可以包括屏幕和数据流显示控制单元。屏幕可以与当前正在使用的应用处理器1相连。数据流显示控制单元可以与图形处理子系统1中的应用处理器1和第一图形处理器相连。
在图6所示的控制流程中,输入组件中的交互组件检测到输入操作后,上报给当前正在使用的图形处理子系统中的应用处理器。输入组件中的触发组件检测到输入操作后,上报给相连的特定图形处理子系统中的特定的应用处理器。若特定的图形处理子系统与当前正在使用的图形处理子系统1不同,则特定的应用处理器将输入操作通知给应用处理器1。
若应用处理器1根据输入操作确定不需要切换图形处理子系统,则应用处理器1通过图形处理单元1对待显示GUI进行渲染等处理。显示组件根据预设的显示周期定期发送显示请求信号。显示请求信号通过应用处理器1到达图形处理单元1。图形处理单元1将渲染后的待显示GUI的图像数据发送给屏幕进行显示。
若应用处理器1根据输入操作确定需要切换到图形处理子系统2,则应用处理器1断开与交互组件之间的连接,控制数据流控制单元断开与显示组件之间的连接,并通知应用处理器2进行图形处理子系统的切换。应用处理器2接通与交互组件之间的连接,控制数据流控制单元接通图形处理子系统2与显示组件之间的连接。应用处理器2通过图形处理子系统2中的图形处理单元2对待显示GUI进行渲染等处理。显示组件根据预设的显示周期定期发送显示请求信号。显示请求信号通过应用处理器2到达图形处理单元2。图形处理单元2将渲染后的待显示GUI的图像数据发送给屏幕进行显示。
以下将以电子设备为具有图2-图5所示结构的智能手表,该智能手表包括高性能的图形处理子系统1和低性能的图形处理子系统2为例,对本申请实施例提供的高能效显示处理方法进行阐述。
智能手表可以具有多种功能。例如,智能手表可以显示时间,接/打电话,闹钟提醒,翻译,拍照,录像,播放音乐,播放视频,通过蓝牙同步手机收/发的消息,运动记录,导航,指南针,睡眠监测,心率监测,紧急呼救,或计步器等多种功能。智能手表可以通过自身系统支持的系统应用或者通过三方应用来实现这些功能。
在本申请的一些实施例中,智能手表的输入组件在检测到输入操作后,可以触发当前正在使用的图像处理子系统中的应用处理器确定是否切换图形处理子系统。如前所述,输入组件中的交互检测到输入操作后,可以将输入操作上报给当前正在使用的应用处理器;或者输入组件中的触发组件将输入操作上报给相连的特定的应用处理器,再通过特定的应用处理器通知给当前正在使用的应用处理器。当前正在使用的应用处理器在获知该输入操作后,可以根据待显示GUI的复杂程度,确定是否切换图形处理子系统。
从而,智能手表可以响应于输入操作的触发,自适应切换性能和功耗与待显示GUI的复杂程度相匹配的图形处理子系统。例如,待显示GUI的复杂程度越高,智能手表切换后的图形处理子系统的性能和功耗也越高;待显示GUI的复杂程度越低,智能手表切换后的图形处理子系统的性能和功耗也越低。这样,智能手表不用像现有技术那样,针对各GUI均持续采用高性能和高功耗的同一GPU进行显示处理。
也就是说,电子设备可以平衡不同待显示GUI的显示处理性能和功耗,针对不同待显示GUI实现最优能效。因而,本申请实施例提供的方案可以根据待显示GUI的复杂程度,实时切换使用不同性能和功耗的图形处理子系统,降低多个图形处理子系统的整体功耗,提高多个图形处理子系统的整体能效(或称平均能效);降低智能手表的整机功耗,提高智能手表的整机能效。
其中,智能手表的不同工作场景对应的待显示GUI的复杂程度不同。在本申请的一些实施例中,各图形处理子系统的应用处理器中预设有第一对应关系。例如,第一对应关系可以设置在各应用处理器内存中的任务列表里。该第一对应关系用于表示工作场景和输入操作,与目标图形处理子系统之间的对应关系。
在第一对应关系中,工作场景和输入操作对应的待显示GUI的复杂程度,与对应的目标图形处理子系统的性能和功耗相匹配。即,第一对应关系中工作场景和输入操作对应的待显示GUI的复杂程度越高,该第一对应关系中对应的目标图形处理子系统的性能和功耗也越高;第一对应关系中工作场景和输入操作对应的待显示GUI的复杂程度越低,该第一对应关系中对应的目标图形处理子系统的性能和功耗也越低。
这样,智能手表可以根据第一对应关系,自适应地切换使用性能和功耗与待显示GUI的复杂程度相匹配的目标图形处理子系统。也就是说,智能手表可以根据待显示GUI的复杂程度,实时切换使用不同性能和功耗的图形处理子系统,从而降低多个图形处理子系统的整体功耗和智能手表的整机功耗,提高多个图形处理子系统的整体能效和智能手表的整机能效。
在一些实施例中,智能手表的当前工作场景可以通过当前显示的界面来表示,第一对应关系可以为显示界面和输入操作,与目标图形处理子系统之间的对应关系。输入组件检测到当前第一输入操作后,触发当前正在使用的应用处理器根据第一对应关系,确定当前第一显示界面和当前第一输入操作对应的目标图形处理子系统。
若目标图形处理子系统与当前正在使用的图形处理子系统不同,则当前正在使用的应用处理器确定切换到目标图形处理子系统;若目标图形处理子系统与当前正在使用的图形处理子系统相同,则当前正在使用的应用处理器确定不切换图形处理子系统,继续采用当前图形处理子系统对待显示GUI进行渲染等处理。
该方案可以实时地根据当前显示的界面和输入操作对应的待显示GUI的复杂程度,自适应切换图形处理子系统,使得待显示GUI的复杂程度可以实时地与切换后的图形处理子系统的性能和功耗相匹配,从而可以降低图形处理子系统和智能手表的整机功耗,提高图形处理子系统和智能手表的能效。
示例性的,各应用处理器中预设的第一对应关系可以参见表2。
表2
Figure BDA0002307316150000151
Figure BDA0002307316150000161
以下针对表2所示的第一对应关系进行举例说明。
例如,智能手表在关机状态下不显示界面。示例性的,关机状态下智能手表的示意图可以参见图7中的(a)。为提高用户视觉体验,如图7中的(b)所示,开机过程可以显示炫酷的开机动画,开机动画对应的GUI较为复杂,需要高性能、高功耗的图形处理子系统1进行处理。在一些实施例中,智能手表默认开机采用高性能的图形处理子系统1进行显示处理;显示组件和交互组件默认与图形处理子系统1连接。交互组件中的按键组件检测到用户按压开机键的操作后上报给高性能图形处理子系统1中的应用处理器1。应用处理器1控制图形处理单元1对开机过程中的GUI进行渲染等处理,而后将生成的GUI的图像数据发送给屏幕进行显示。其中,该屏幕可以是显示屏,也可以是显示屏与触摸传感器组合成的触摸屏。
在开机启动完成后,待显示GUI可以为预设的界面,比如首次开机后的操作指南动画、表盘界面、数字时间显示界面或应用列表界面等简单的GUI。
以开机启动完成后,待显示GUI为复杂的操作指南动画(例如智能手表首次开机)为例进行说明。在开机启动完成后,应用处理器1未检测到用于触发切换图形处理子系统的输入操作,因而可以继续控制当前的图形处理子系统1对待显示的操作指南动画进行渲染等处理,并控制屏幕显示该操作指南动画对应的GUI。示例性的,操作指南动画对应的GUI可以参见图7中的(c)。
以开机启动完成后,待显示GUI为表盘界面(例如智能手表非首次开机)为例进行说明。在开机启动完成后,应用处理器1未检测到用于触发切换图形处理子系统的输入操作,因而应用处理器1可以继续控制当前的图形处理子系统1对待显示的表盘界面进行渲染等处理,并控制屏幕显示该表盘界面。
以智能手表在开机启动完成后显示的是如图7中的(d)所示的带光影渲染的3D表盘界面为例进行说明。参见图8中的(a)-(b),智能手表在显示3D表盘界面后,可以响应于用户的操作将3D表盘界面切换为2D表盘界面,该切换流程可以参见图9。如图9所示,在智能手表的屏幕显示3D表盘界面后,若触摸屏组件检测到用户在3D表盘界面上的长按操作,则触摸屏组件将该长按操作上报给应用处理器1。如图9所示,应用处理器1根据第一对应关系,以及当前显示的3D表盘界面和在3D表盘界面上的长按操作,确定目标图形处理子系统为图形处理子系统2,待显示GUI为简单的2D表盘界面,需要切换图形处理子系统。因而,如图9所示,应用处理器1可以向应用处理器2发送切换通知,以指示切换到图形处理子系统2进行显示处理。
由于图形处理子系统的切换过程需要一定的时间,切换图形子系统后才能显示待显示GUI,因而应用处理器1在根据第一对应关系确定目标图形处理子系统为低功耗的图形处理子系统2后,可以在图形处理子系统的切换过程中,如图9所示,控制图形处理单元1渲染过渡界面。图形处理单元1可以将渲染后的图像数据发送给屏幕进行显示。即,在待显示GUI显示之前的切换过程中,智能手表可以在屏幕上显示过渡界面。示例性的,该过渡界面可以参见图8中的(c)-(d)。该过渡界面可以在图形处理子系统的切换过程中为用户持续进行界面显示,以避免用户看到的界面出现中断、黑屏或闪屏等现象,提高用户视觉体验。
其中,该过渡界面可以为预设的界面,也可以为预设的多个界面中随机选择的界面,还可以为当前界面的缩放动画对应的多个界面。不同当前界面对应的过渡界面可以相同也可以不同。或者,不同待显示界面对应的过渡界面可以相同也可以不同。例如,过渡界面可以为当前显示的界面逐渐缩小直至消失的缩放动画对应的多个界面,例如可以缩小至右下角消失或缩小至屏幕中间消失。这样,过渡界面可以在图形子系统的切换过程中给用户以连续的、动态变化的视觉体验。在待显示GUI准备好之后,智能手表可以停止显示过渡界面,并在屏幕上显示准备好的GUI。
在智能手表显示过渡界面后,如图9所示,应用处理器1可以断开图形处理子系统1与显示组件之间的连接。在一些实施例中,应用处理器1根据第一对应关系确定目标图形处理子系统为图形处理子系统2后,如图9所示,还可以断开与交互组件之间的连接。在一些实施例中,在切换到图形处理子系统2之后,如图9所示,图形处理子系统1可以进入休眠状态。
应用处理器2接收到应用处理器1的切换通知后,接管智能手表的后续进程,如图9所示,连接图形处理子系统2与显示组件和交互组件。
而后,如图9所示,应用处理器2控制图形处理单元2对待显示的2D表盘界面进行渲染,显示组件根据预设的显示周期发送显示请求信号。显示请求信号通过应用处理器2到达图形处理单元2。由于图像帧渲染和发送需要一定的时间,因而若图形处理单元2在下一显示请求信号到达之前能够将当前帧的待显示GUI的图像数据发送给显示组件,则可以将当前帧的待显示GUI的图像数据发送给显示组件。若图形处理单元2在下一显示请求信号到达之前不能将当前帧的待显示GUI的图像数据发送给显示组件,则为了避免图像数据传输出错,可以在下一显示请求信号到达之后,再将当前帧的待显示GUI的图像数据发送给显示组件。后续,图形处理单元2可以在每个显示周期内将渲染后的GUI的图像数据发送给显示组件。显示组件根据从图形处理单元2接收到的图像数据显示GUI。
在智能手表显示2D表盘界面后,若用户长时间内未使用智能手表,或用户点击了息屏控件等情况下,则智能手表息屏,智能手表可以停止界面显示。后续,用户抬起手腕后,加速度传感器等部件可以检测到用户抬起手腕的输入操作。用户抬起手腕后对应的待显示GUI可以仍为2D表盘界面。加速度传感器可以与特定的图形处理子系统2连接。加速度传感器可以将用户抬起手腕的操作上报给应用处理器2,应用处理器2根据保存的第一对应关系,以及息屏界面和用户的抬腕操作,确定目标图形处理子系统为低功耗的图形处理子系统2,待显示GUI为简单GUI,不需要切换图形处理子系统。因而,智能手表继续使用息屏前使用的图形处理子系统2对待显示GUI进行渲染,并将渲染后的GUI的图像数据发送给屏幕进行显示。
在智能手表显示2D表盘界面的情况下,若语音组件检测到用户语音指示的唤醒词(例如“小艺小艺”),则语音组件将该语音指示操作上报给应用处理器2。应用处理器2唤醒高性能图形处理子系统1,以利用高性能图形处理子系统1中高性能的应用处理器1进行后续的语音分析。若应用处理器1对用户语音指示操作进行语义分析,确定用户语音指示显示3D表盘界面,则应用处理器1将语义分析结果通知给应用处理器2。应用处理器2根据第一对应关系,以及当前显示的2D表盘界面和用户语音指示操作,确定目标图形处理子系统为高性能的图形处理子系统1,待显示GUI为复杂GUI,需要切换图形处理子系统。应用处理器2控制渲染并显示过渡界面。应用处理器2通知应用处理器1切换图形显示子系统。
参见图10中的(a)-(b),智能手表在显示2D表盘界面后,还可以响应于用户的操作显示应用列表界面。该应用列表界面可以是静态的、简单的GUI。比如,在智能手表显示2D表盘界面后,若触摸屏组件检测到用户在界面上向左滑动的操作,则可以上报给应用处理器2。应用处理器2根据第一对应关系,以及当前显示的2D表盘界面和在2D表盘界面上向左滑动的输入操作,确定目标图形处理子系统为低性能的图形处理子系统2,待显示GUI为简单GUI,不需要切换图形处理子系统。应用处理器2控制图形处理单元2渲染待显示的应用列表界面,并通过屏幕进行显示。
参见图11中的(a)-(b),智能手表在显示应用列表界面后,可以响应于用户的操作进入支付流程并显示支付界面。支付过程通常涉及到三方应用,或需要通过网络与三方应用的服务器等设备交互。三方应用可能会显示复杂的GUI也可能会显示简单的GUI,因而智能手表需要通过高性能的图形处理子系统为三方应用提供足够的图形处理能力,以便三方应用可以基于智能手表提供的高性能的图形处理子系统正常显示支付过程中的界面。因此,支付过程对应的待显示GUI可能为复杂的GUI,对应的目标图形处理子系统为高性能的图形处理子系统1。
例如,在智能手表显示应用列表界面后,若触摸屏组件检测到用户在应用列表界面上点击支付图标(例如华为钱包的图标)的操作,则可以将该输入操作上报给应用处理器2。应用处理器2根据第一对应关系,以及当前应用列表界面和用户点击支付图标的操作,确定对应高性能的图形处理子系统1。而后,应用处理器2控制显示过渡界面。应用处理器2通知应用处理器1切换图形处理子系统。应用处理器1控制图形处理单元1渲染支付过程中的待显示GUI,并将渲染后的图像数据送至屏幕进行显示。
智能手表在显示应用列表界面后,还可以响应于用户的操作显示音乐界面并播放音乐。在一些实施例中,智能手表播放音乐包括播放本地音乐或播放网络音乐。若待播放音乐为本地音乐,则待显示GUI为本地已下载的界面,参见图12中的(a)-(c),待显示GUI可以采用低性能的图形处理子系统2进行显示处理。若待播放音乐为网络音乐,则待显示GUI的复杂程度不能确定,待显示GUI的复杂程度可能较高也可能较低,因而参见图12中的(a)以及图12中的(d)-(e),待显示GUI需要采用高性能的图形处理子系统1进行处理,以便在待显示GUI较为复杂的情况下也能有足够的显示处理能力对待显示GUI进行渲染。
在另一些实施例中,在音乐播放场景下,由于待播放音乐可能为本地音乐也可能为网络音乐,因而在第一对应关系中,参见图13中的(a)-(b),音乐播放场景下的待显示GUI对应的目标图形处理子系统为高性能的图形处理子系统1,以便在待显示GUI较为复杂时也可以正常进行渲染。
例如,在智能手表显示应用列表界面后,若触摸屏组件检测到用户在界面上点击音乐图标的操作,则可以将该输入操作上报给应用处理器2。应用处理器2根据第一对应关系,以及当前应用列表界面和用户点击音乐图标的操作,确定目标图形处理子系统为高性能的图形处理子系统1。而后,应用处理器2控制显示过渡界面。应用处理器2通知应用处理器1切换图形处理子系统。应用处理器1控制图形处理单元1渲染音乐播放过程中的待显示GUI,并将渲染后的图像数据送至屏幕进行显示。
参见图14中的(a)-(b),智能手表在显示应用列表界面后,可以响应于用户的操作进入游戏应用并显示游戏界面。游戏界面通常包括复杂的GUI,游戏界面对应的图形处理子系统为高性能的图形处理子系统1。比如,在智能手表显示游戏图标列表的界面后,若触摸屏组件检测到用户在应用列表界面上点击游戏图标(例如华为钱包的图标)的操作,则可以将该输入操作上报给应用处理器2。应用处理器2根据第一对应关系,以及当前应用列表界面和用户点击游戏图标的操作,确定对应高性能的图形处理子系统1。而后,应用处理器2控制显示过渡界面。应用处理器2通知应用处理器1切换图形处理子系统。应用处理器1控制图形处理单元1渲染游戏过程中的待显示GUI,并将渲染后的图像数据送至屏幕进行显示。
在另一些实施例中,智能手表无线连接组件中的蓝牙模块可以默认与低性能的图形处理子系统2保持连接。以当前正在使用图形处理子系统2,当前为息屏状态为例进行说明。蓝牙模块检测到接收到手机通过蓝牙发送的短信的操作后,可以上报给图形处理子系统2中的应用处理器2。应用处理器2根据第一对应关系,以及蓝牙连接模块检测到短信的操作和当前为息屏状态,确定目标图形处理子系统为图形处理子系统2。而后,智能手表将该短信信息提示给用户,图形处理子系统2对短信提示界面进行渲染,智能手表在屏幕上显示该短信提示界面。
再例如,智能手表无线连接组件中的蓝牙模块可以默认与低性能的图形处理子系统2保持连接。以当前正在使用图形处理子系统1,当前显示的界面为游戏界面为例进行说明。蓝牙模块检测到接收到手机通过蓝牙发送的短信的操作后,可以上报给图形处理子系统2中的应用处理器2。应用处理器2上报给当前正在使用的图形处理子系统1中的应用处理器1。应用处理器1根据第一对应关系,以及蓝牙连接模块检测到短信的操作和当前显示的游戏界面,确定目标图形处理子系统为图形处理子系统1。在一些技术方案中,智能手表继续采用图形处理子系统1渲染游戏界面,并不显示短信的提示界面,以避免游戏被打扰或中断。后续,智能手表在检测到用户指示退出游戏应用的输入操作后,根据第一对应关系确定切换为图形处理子系统2对短信提示界面进行渲染,智能手表在屏幕上显示该短信提示界面,从而将短信内容提示给用户。
在另一些实施例中,智能手表无线连接组件中的Wi-Fi模块默认与低性能的图形处理子系统2保持连接。以当前正在使用图形处理子系统2进行图形处理,当前正在显示监控应用的界面为例进行说明。Wi-Fi模块检测到与局域网内智能家居设备中的智能监控摄像头建立Wi-Fi连接的操作后,可以上报给图形处理子系统2中的应用处理器2。应用处理器2根据第一对应关系,以及当前显示监控应用的界面且检测到与智能监控摄像头建立无线连接的操作,确定目标图形处理子系统为图形处理子系统1。因而,应用处理器2通知应用处理器1切换图形处理子系统。应用处理器1控制图形处理单元1对从智能监控摄像头接收到的监控画面进行渲染,并将渲染后的图像显示在屏幕上。
需要说明的是,以上是以开机默认采用图形处理子系统1为例进行说明的,在其他一些实施例中,智能手表开机时也可以采用其他图形处理子系统进行处理。例如,智能手表默认开机采用关机前最近使用的历史图形处理子系统进行显示处理。按键组件检测到用户按压开机键的操作后上报给历史图形处理子系统中的应用处理器。若历史图形处理子系统与智能手表根据第一对应关系确定的目标图形处理子系统即目标图形处理子系统1相同,则智能手表采用图形处理子系统1对开机过程中的GUI进行渲染等处理,而后将生成的GUI的图像数据发送给屏幕进行显示。若历史图形处理子系统与智能手表根据第一对应关系确定的目标图形处理子系统即目标图形处理子系统1不同,则智能手表切换为采用图形处理子系统1对开机过程中的GUI进行渲染等处理,而后将生成的GUI的图像数据发送给屏幕进行显示。
在其他一些实施例中,智能手表在切换图形处理子系统时,也可以不显示过渡界面。这样,在图形处理子系统的切换过程中,智能手表不再显示界面,用户在切换过程中看到的智能手表的屏幕可能是黑屏状态,用户会感觉到屏幕发生了闪动,用户视觉体验较差。因而,与不显示过渡界面相比,智能手表显示过渡界面能够使得界面显示更为连续,用户看到的界面更为连贯,从而可以提高用户的视觉体验。
可以理解的是,由于图形处理子系统是由应用处理器和图形处理单元组成的系统,因而第一对应关系中的目标图形处理子系统可以替换为目标应用处理器和/或目标图形处理单元。输入操作和工作场景与目标应用处理器和/或目标图形处理单元对应,也就是与目标应用处理器和/或目标图形处理单元所在的目标图形处理子系统对应。
由以上描述可知,不同工作场景和不同输入操作对应的待显示GUI不同,智能手表所采用的目标图形处理子系统也不同,所采用的目标图形处理子系统的性能和功耗与不同工作场景和输入操作相匹配,即与不同工作场景和输入操作对应的待显示GUI相匹配;而不会像现有技术那样,针对各GUI均持续采用高性能和高功耗的同一GPU进行显示处理。
也就是说,智能手表可以实时地根据显示界面和输入操作对应的待显示GUI的复杂程度,自适应切换图形处理子系统,使得待显示GUI的复杂程度与切换后的图形处理子系统的性能和功耗相匹配,而不会浪费图形显示处理能力和功耗。因而,智能手表可以平衡不同待显示GUI的显示处理性能和功耗,针对不同待显示GUI实现最优能效,从而可以降低图形处理子系统和智能手表的整机功耗,提高图形处理子系统和智能手表的能效。
在其他一些实施例中,智能手表的当前工作场景可以通过当前检测到的输入事件来表示。智能手表各应用处理器中预设有输入事件与目标图形处理子系统之间的第二对应关系。应用处理器可以根据第二对应关系以及当前检测到的输入事件,确定是否切换图形处理子系统。示例性的,应用处理器中保存的第二对应关系可以参见表3。
表3
Figure BDA0002307316150000201
举例来说,智能手表检测到在息屏状态下用户抬起手腕的事件后,根据第二对应关系确定目标图形处理子系统为图形处理子系统2,待显示GUI为2D表盘界面。而后,智能手表确定息屏前使用的图形处理子系统与图形处理子系统2是否相同。若息屏前使用的图形处理子系统与图形处理子系统2相同,则智能手表继续使用图形处理子系统2对待显示GUI进行渲染和显示处理;若息屏前使用的图形处理子系统与图形处理子系统2不同,则智能手表切换到采用图形处理子系统2对待显示GUI进行渲染和显示处理。
在本申请另一些实施例中,智能手表各应用处理器中预设有输入操作与图形处理子系统的第三对应关系。应用处理器可以根据该第三对应关系以及当前检测到的输入操作,确定是否切换图形处理子系统。也就是说,智能手表可以根据用户的输入操作确定目标图形处理子系统,确定是否切换图形处理子系统。示例性的,各应用处理器中预设的第三对应关系可以参见表4。
表4
Figure BDA0002307316150000211
举例来说,智能手表可以在检测到用户抖动手腕的操作后,确定采用高性能的图形处理子系统1进行图形显示处理;在检测到用户连续多次抬放手腕的操作后,确定采用低性能的图形处理子系统2进行图形显示处理。再比如,智能手表根据用户的语音指示操作,确定使用高性能的图形处理子系统1或采用低性能的图形处理子系统2。用户可以根据实际情况确定待显示GUI的复杂程度,从而通过输入操作指示智能手表使用相应的图形处理子系统进行显示处理。
在本申请另一些实施例中,智能手表各应用处理器中保存有第四对应关系,该第四对应关系为待显示GUI对应的应用与目标图形处理子系统之间的对应关系。应用处理器可以根据该第四对应关系以及当前待显示GUI对应的应用,确定是否切换图形处理子系统。示例性的,各应用处理器中保存的第四对应关系可以参见表5。
表5
Figure BDA0002307316150000212
在一些实现方式中,智能手表可以实时确定待显示GUI对应的应用,从而根据表5确定是否切换图形处理子系统。在另一些实现方式中,智能手表在检测到用户的输入操作,该输入操作用于指示打开应用时,才确定待显示GUI对应的应用,从而根据表5确定是否切换图形处理子系统。
在一些技术方案中,若待显示GUI对应的应用(例如相机应用)具有的功能与摄像头相关联,则待显示GUI对应图形处理子系统1。
在另一些技术方案中,若待显示GUI对应的应用具有的功能与远程网络通信相关联,则待显示GUI对应图形处理子系统1;若待显示GUI对应的应用具有的功能不与远程网络通信相关联,则待显示GUI对应图形处理子系统2。
网络通信可以包括近场通信和远程网络通信。近场通信可以包括蓝牙、Wi-Fi、Zigbee、红外等通讯距离较短的通信技术,通信的任务量小。远程网络通信包括2G-5G的远距离移动网络通信,以及通过路由器的需要进行TCP/IP解析的网络通信等。其中,Wi-Fi通信可以分为两种,一种是接入广域网的远程网络通信,该种情况实际上是通过以太网进行通信的;另一种是用于连接物联设备的局域网的近场通信。例如,远程网络通信场景可以包括基于2G/3G/4G/5G的视频通话,基于互联网的数据下载,或基于互联网的视频通话等。示例性的,各应用处理器中保存的第四对应关系可以参见表6。
表6
Figure BDA0002307316150000221
由于远程网络通信过程中可能需要显示复杂的GUI,因而可以采用高性能的图形处理子系统1进行显示处理,以使得智能手表针对远程网络通信相关的界面具有足够的显示处理能力。并且,由于切换图形处理子系统会出现掉网和重新入网的问题,且重新入网过程复杂所需时间较长,因而智能手表可以根据应用具有的功能是否与远程网络通信相关联,针对待显示GUI对应的应用来切换图形处理子系统,而在应用内不再切换图形处理子系统,从而可以避免在应用内频繁切换图形处理子系统造成的频繁掉网及用户上网体验较差的问题。
在一些实现方式中,智能手表可以实时确定待显示GUI对应的应用是否为具有与远程网络通信相关联的功能的应用,从而根据表6确定是否切换图形处理子系统。在另一些实现方式中,智能手表在检测到用户的输入操作,该输入操作用于指示打开应用时,才确定待显示GUI对应的应用对应的应用是否为具有与远程网络通信相关联的功能的应用,从而根据表6确定是否切换图形处理子系统。
在另一些技术方案中,若待显示GUI对应的应用为三方应用,则待显示GUI对应图形处理子系统1;若待显示GUI对应的应用为系统应用,则待显示GUI对应图形处理子系统2。示例性的,各应用处理器中保存的第四对应关系可以参见表7。
表7
Figure BDA0002307316150000222
由于三方应用可能会显示复杂的GUI,也可能会显示简单的GUI,因而智能手表需要为三方应用开放高性能的图形处理能力,以便三方应用可以使用高性能的图形处理能力正常显示复杂GUI。举例来说,若待显示GUI对应的应用为三方游戏应用,则待显示GUI对应的目标图形处理子系统为图形处理子系统1。智能手表可以根据目标图形处理子系统与当前正在使用的图形处理子系统是否相同,来确定是否切换图形处理子系统。
在一些实现方式中,智能手表可以实时确定待显示GUI对应的应用是否为三方应用(也称第三方应用),从而根据表7确定是否切换图形处理子系统。在另一些实现方式中,智能手表在检测到用户的输入操作,该输入操作用于打开应用时,才确定待显示GUI对应的应用是否为三方应用,从而根据表7确定是否切换图形处理子系统。
在另一些技术方案中,若待显示GUI对应的应用为三方应用,则待显示GUI对应图形处理子系统1。若待显示GUI对应的应用为系统应用,且该系统应用的功能与远程网络通信相关联,则待显示GUI对应图形处理子系统1。若待显示GUI对应的应用为系统应用,且该系统应用的功能不与远程网络通信相关联,智能手表在本地进行处理或通过近场通信进行处理即可,则待显示GUI对应图形处理子系统2。示例性的,各应用处理器中保存的第四对应关系可以参见表8。
表8
Figure BDA0002307316150000231
在本申请的另一些实施例中,智能手表各应用处理器中保存有第五对应关系,该第五对应关系为待显示GUI对应的应用功能与目标图形处理子系统之间的对应关系。应用处理器可以根据该第五对应关系以及当前待显示GUI对应的功能,确定是否切换图形处理子系统。示例性的,各应用处理器中保存的第五对应关系可以参见表9。
表9
Figure BDA0002307316150000232
在一些实现方式中,智能手表可以实时确定待显示GUI对应的功能,从而根据表6确定是否切换图形处理子系统。在另一些实现方式中,智能手表在检测到用户的输入操作,该输入操作用于指示使用服务功能时,才确定待显示GUI对应的功能,从而根据表6确定是否切换图形处理子系统。
在本申请的另一些实施例中,应用处理器中预设有待显示GUI与图形处理子系统的第六对应关系。应用处理器可以根据该第六对应关系以及当前待显示GUI,确定是否切换图形处理子系统。示例性的,各应用处理器中保存的第六对应关系可以参见表10。
表10
Figure BDA0002307316150000241
举例来说,若待显示GUI为游戏界面,则待显示GUI对应图形处理子系统1。若当前正在使用的图形处理子系统为图形处理子系统1,则智能手表继续采用图形处理子系统1对待显示GUI进行渲染。若当前正在使用的图形处理子系统不是图形处理子系统1,则智能手表切换到图形处理子系统1对待显示GUI进行渲染。
在本申请的其他一些实施例中,智能手表的各应用处理器中预设有切换操作,该切换操作为输入操作中的一种或多种。若智能手表检测到切换操作,则切换为其他的图形处理子系统。
例如,智能手表包括两个图形处理子系统,若智能手表通过输入组件检测到切换操作,则在两个图形处理子系统之间进行切换。示例性的,切换操作可以为晃动智能手表的操作,或者用户点击屏幕上切换控件的操作,或者用户语音指示切换图形处理子系统的操作等。
需要说明的是,智能手表切换图形处理子系统可能需要一定的处理时间。在智能手表根据用户通过交互组件的输入操作,触发确定是否切换图形处理子系统的情况下,由于智能手表响应用户的输入操作也需要一定的时间,图形处理子系统的切换耗时与响应耗时同步进行,因而不容易让用户感觉到切换过程导致的延迟。在智能手表根据无线连接模块等触发组件的输入操作,触发确定是否切换图形处理子系统的情况下,切换是在用户无感知的情况下进行的,因而也不会让用户感觉到图形处理子系统的切换耗时。
在本申请的其他一些实施例中,目标图形处理子系统可以与待显示界面的配置信息相关联。该配置信息可以为用户之前的设置操作对应的配置信息。例如,在开机动画显示过程中,智能手表采用图形处理子系统1进行显示处理。在开机动画显示完成后,待显示界面为表盘界面,用户之前设置的表盘界面为2D表盘界面,对应图形处理子系统2,智能手表中保存的表盘界面对应的配置信息为2D表盘模式。智能手表在开机过程启动完成后,查询表盘界面对应的配置信息,根据该配置信息确定待显示GUI对应的目标图形处理子系统为图形处理子系统2,待显示GUI为简单GUI。因而,智能手表可以切换为采用图形处理子系统2对待显示的2D表盘界面进行渲染和显示处理。
在本申请的其他一些实施例中,智能手表可以实时确定每个待显示GUI的复杂程度,从而实时根据待显示GUI的复杂程度确定是否切换图形处理子系统。
例如,智能手表可以通过人工智能(artificial intelligence,AI)模块学习和预测每个待显示GUI的复杂程度,并根据待显示GUI的复杂程度确定对应的目标图形处理子系统,从而确定是否切换图形处理子系统。举例来说,若智能手表当前正在使用高性能的图形处理子系统1对复杂的游戏界面进行显示处理,智能手表通过AI模块确定下一帧或下几帧待显示GUI为简单的游戏界面,则智能手表切换到低性能的图形处理子系统2进行显示处理。
以上是以输入组件中的交互组件与当前正在使用的图形处理子系统相连,触发组件与特定的图形处理子系统相连为例进行说明的。在其他一些实施例中,输入组件中的交互组件和触发组件可以均与当前正在使用的图形处理子系统相连。若智能手表使用的图形处理子系统发生了切换,则输入组件与切换后的图形处理子系统相连。
以上主要是以电子设备为智能手表为例进行说明的,本申请实施例提供的显示处理方法还可以应用于手机、平板、车载等其他电子设备,此处不再赘述。
需要说明的是,以上主要是以电子设备包括图形处理子系统1和图形处理子系统2为例进行说明的。可以理解的是,电子设备也可以包括两个以上的图形处理子系统。示例性的,如图4所示,电子设备还可以包括图形处理子系统n等其他图形处理子系统。
例如,除了以上高性能的图形处理子系统1和低性能的图形处理子系统2以外,电子设备还可以包括具有更低性能和更低功耗的图形处理子系统n,图形处理子系统n中应用处理器和图形处理单元的相关参数可以参见表1。
再例如,除了以上高性能的图形处理子系统1和低性能的图形处理子系统2以外,电子设备还可以包括性能和功耗居于图形处理子系统1和图形处理子系统2之间的图形处理子系统3。比如,高性能图形处理子系统1支持3D渲染能力,低性能图形处理子系统2支持静态图形处理,性能和功耗居中的图形处理子系统3支持2D旋转、淡入淡出等二维图形显示处理。
再例如,在手机、AR设备或VR设备等电子设备中,除了包括以上高性能的图形处理子系统1和低性能的图形处理子系统2以外,还可以包括性能和功耗更高的图形处理子系统4,用于进行AR或VR等场景下的3D图形显示。
结合上述实施例及相关附图,本实施例提供了一种显示处理方法,该方法可以在如图2-图6所示的具有屏幕的电子设备(例如智能手表、智能手环等)中实现。该电子设备可以包括多个图形处理子系统,例如可以包括第一图形处理子系统和第二图形处理子系统。
其中,第一图形处理子系统包括第一图形处理单元,第一应用处理器,以及与第一应用处理器和第一图形处理单元配合使用的第一内存存储器;第二图形处理子系统包括第二图形处理单元,第二应用处理器,以及与第二应用处理器和第二图形处理单元配合使用的第二内存存储器。此外,第一图形处理子系统和第二图形处理子系统还可以分别包括连接图形处理子系统内各部件的通信总线。也就是说,不同图形处理子系统可以包括不同的部件和不同的基础系统。不同图形处理子系统具有不同的性能、功耗和能效。
参见图15,该显示处理方法可以包括以下步骤:
步骤1501、第一图形处理子系统渲染第一GUI。
例如,该电子设备可以为穿戴设备。示例性的,电子设备可以为上述实施例中的智能手表,该第一图形处理子系统可以为图3-图6所示的性能和功耗较高的图形处理子系统1,该第一GUI可以为3D表盘界面。
步骤1502、屏幕显示渲染后的第一GUI。
示例性的,当第一GUI为3D表盘界面时,屏幕显示的3D表盘界面的示意图可以参见图8中的(a)。
步骤1503、第一应用处理器在确定满足预设条件后,向第二应用处理器发送切换通知。
第一应用处理器在确定满足预设条件后,可以向第二应用处理器发送切换通知,以指示切换为第二图形处理子系统进行显示处理。
示例性的,该预设条件可以为电子设备检测到用户在3D表盘界面上的长按操作,第二图形处理子系统可以为图3-图6所示的性能和功耗较低的图形处理子系统2。
步骤1504、第二应用处理器接收到切换通知后,通知第二图形处理单元渲染待显示的第二GUI,第二GUI与第一GUI对应不同的界面类型。
其中,不同界面类型的GUI的复杂程度不同,即第二GUI和第一GUI的复杂程度不同。第二应用处理器获知切换图形处理子系统的通知后,可以控制第二图形处理单元渲染待显示的第二GUI。示例性的,第一GUI可以为3D表盘界面,待显示的第二GUI可以为2D表盘界面。
步骤1505、第二图形处理单元渲染第二GUI。
步骤1506、屏幕显示渲染后的第二GUI。
示例性的,屏幕显示的2D表盘界面的示意图可以参见图8中的(b)。
在该方案中,电子设备能够针对不同界面类型的待显示GUI,切换使用不同性能和不同功耗的图形处理子系统进行显示处理。其中,不同界面类型的GUI的复杂程度不同。例如,针对高复杂度的GUI,电子设备可以采用高性能和高功耗的图形处理子系统进行处理;针对低复杂度的GUI,电子设备可以采用低性能和低功耗的图形处理子系统进行处理,而不采用统一高性能和高功耗的图形处理子系统进行处理。也就是说,电子设备可以平衡不同待显示GUI的显示处理性能和功耗,针对不同待显示GUI实现最优能效。因而,电子设备中多个图形处理子系统的平均功耗较低、平均能效较高;多个图形处理子系统的整体能效较高,整体功耗较低。因此,电子设备针对图形显示处理的能效较高,电子设备的整机功耗较低。
在一些实施例中,参见图15,在电子设备确定满足预设条件之后,在显示渲染后的第二GUI之前,该方法还包括:
步骤1507、第一图形处理单元渲染过渡界面。
步骤1508、屏幕显示渲染后的过渡界面。
这样,过渡界面可以在图形处理子系统的切换过程中为用户持续进行界面显示,以避免用户看到的界面出现中断、黑屏或闪屏等现象,提高用户视觉体验。示例性的,在第一GUI为3D表盘界面,第二GUI为2D表盘界面的场景下,过渡界面可以参见图8中的(c)和(d)。
在一些实施例中,第一应用处理器在确定满足预设条件后,向第二应用处理器发送切换通知,包括:第一应用处理器在确定检测到第一输入操作且满足预设条件后,向第二应用处理器发送切换通知。其中,第一输入操作可以包括基于触摸屏的输入操作、基于按键的操作或语音输入操作等。也就是说,电子设备检测到用户输入操作的触发后,才确定是否切换图形处理子系统。
例如,电子设备还可以包括存储器,该存储器保存有第二图形处理子系统对应的预设应用、应用功能或预设GUI等预存信息,若待显示第二GUI的应用、功能或第二GUI与预存信息相对应,则电子设备可以使用第二图形处理子系统进行显示处理。
在一些技术方案中,存储器保存有第二图形处理子系统对应的预设应用。第一应用处理器确定满足预设条件,包括:第一应用处理器确定第二GUI对应第一界面类型,且第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设应用对应的GUI,第二界面类型的GUI包括预设应用对应的GUI以外的其他GUI。
示例性的,该第二图形处理子系统可以为表5中的图形处理子系统1。第一界面类型的GUI可以包括表5中图形处理子系统1对应的预设应用的GUI。例如,该预设应用包括支付应用、相机应用、音乐应用、通话应用或游戏应用等。第二界面类型的GUI可以包括表5中图形处理子系统2对应的应用的GUI以外的其他GUI。例如,第二界面类型的GUI可以包括表5中与图形处理子系统2对应的预设应用的GUI。
或者,该预设应用可以是表6所示的具有与远程网络通信相关联的功能的应用。
或者,该预设应用可以是表7所示的第三方应用。
在另一些技术方案中,存储器保存有第二图形处理子系统对应的预设功能。第一应用处理器确定满足预设条件,包括:第一应用处理器确定第二GUI对应第一界面类型,第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设功能对应的GUI,第二界面类型的GUI包括预设功能对应的GUI以外的其他GUI。例如,该预设功能可以与远程网络通信相关联。
示例性的,该第二图形处理子系统可以为表9中的图形处理子系统1。该预设功能可以为表9中与图形处理子系统1对应的功能。该第一界面类型的GUI可以包括表9中图形处理子系统1对应的预设功能的GUI。该第二界面类型的GUI可以包括表9中图形处理子系统1对应的预设功能的GUI以外的GUI。例如,该第二界面类型的GUI可以为表9中图形处理子系统2对应的功能的GUI。
在另一些技术方案中,存储器保存有第二图形处理子系统对应的预设GUI。第一应用处理器确定满足预设条件,包括:第一应用处理器确定第二GUI对应第一界面类型,第一GUI对应第二界面类型。其中,第一界面类型的GUI包括预设GUI,第二界面类型的GUI包括预设GUI以外的其他GUI。示例性的,该第二图形处理子系统可以为表10中的图形处理子系统1;该预设GUI可以为表10中与图形处理子系统1对应的GUI。
在另一些实施例中,第二GUI和第一GUI分别为3D界面类型和2D界面类型。
在另一些实施例中,存储器保存有第二图形处理子系统对应的至少一个预设参数组,预设参数组包括预设GUI和预设输入操作。第一应用处理器确定满足预设条件,包括:第一应用处理器确定检测到第二输入操作,第一GUI和第二输入操作与预设参数组中的预设GUI和预设输入操作相匹配。其中,第二输入操作可以包括基于触摸屏的输入操作、基于按键的操作或语音输入操作等。
示例性的,该第二图形处理子系统可以为表2中的图形处理子系统1;该预设参数组可以为表2所示的对应关系中,与图形处理子系统1对应的显示的界面和输入操作组成的预设参数组。
在其他一些实施例中,第一应用处理器确定满足预设条件,包括:第一应用处理器确定检测到第三输入操作,第三输入操作用于指示切换图形处理子系统,或者第三输入操作用于指示使用第二图形处理子系统。其中,第三输入操作可以包括基于触摸屏的输入操作、基于按键的操作或语音输入操作等。示例性的,该输入操作可以是表4所示的输入操作。
可以理解的是,为了实现上述功能,电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例还提供一种电子设备,包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述方法实施例中电子设备的步骤,从而实现上述显示处理方法。
本申请的实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的显示处理方法。
本申请的实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中电子设备执行的显示处理方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中电子设备执行的显示处理方法。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (25)

1.一种显示处理方法,应用于电子设备,其特征在于,所述电子设备包括第一图形处理子系统,第二图形处理子系统和屏幕;其中,所述第一图形处理子系统包括第一图形处理单元,第一应用处理器,以及与所述第一应用处理器和所述第一图形处理单元配合使用的第一内存存储器;所述第二图形处理子系统包括第二图形处理单元,第二应用处理器,以及与所述第二应用处理器和所述第二图形处理单元配合使用的第二内存存储器;所述方法包括:
所述第一图形处理子系统渲染第一图形用户界面GUI;
所述屏幕显示渲染后的所述第一GUI;
所述第一应用处理器在确定满足预设条件后,向所述第二应用处理器发送切换通知;
所述第二应用处理器接收到所述切换通知后,通知所述第二图形处理单元渲染待显示的第二GUI,所述第二GUI与所述第一GUI对应不同的界面类型;
所述第二图形处理单元渲染所述第二GUI;
所述屏幕显示渲染后的所述第二GUI。
2.根据权利要求1所述的方法,其特征在于,所述第一应用处理器在确定满足预设条件后,向所述第二应用处理器发送切换通知,包括:
所述第一应用处理器在确定检测到第一输入操作且满足所述预设条件后,向所述第二应用处理器发送所述切换通知。
3.根据权利要求1或2所述的方法,其特征在于,所述电子设备还包括存储器,所述存储器保存有所述第二图形处理子系统对应的预设应用;所述第一应用处理器确定满足预设条件,包括:
所述第一应用处理器确定所述第二GUI对应第一界面类型,且所述第一GUI对应第二界面类型;
其中,所述第一界面类型的GUI包括所述预设应用对应的GUI,所述第二界面类型的GUI包括所述预设应用对应的GUI以外的其他GUI。
4.根据权利要求3所述的方法,其特征在于,所述预设应用包括支付应用、相机应用、音乐应用、通话应用或游戏应用;或者,
所述预设应用具有与远程网络通信相关联的功能;或者,
所述预设应用为第三方应用。
5.根据权利要求1或2所述的方法,其特征在于,所述电子设备还包括存储器,所述存储器保存有所述第二图形处理子系统对应的预设功能;所述第一应用处理器确定满足预设条件,包括:
所述第一应用处理器确定所述第二GUI对应第一界面类型,所述第一GUI对应第二界面类型;
其中,所述第一界面类型的GUI包括所述预设功能对应的GUI,所述第二界面类型的GUI包括所述预设功能对应的GUI以外的其他GUI。
6.根据权利要求5所述的方法,其特征在于,所述预设功能与远程网络通信相关联。
7.根据权利要求1或2所述的方法,其特征在于,所述电子设备还包括存储器,所述存储器保存有所述第二图形处理子系统对应的预设GUI;所述第一应用处理器确定满足预设条件,包括:
所述第一应用处理器确定所述第二GUI对应第一界面类型,所述第一GUI对应第二界面类型;
其中,所述第一界面类型的GUI包括所述预设GUI,所述第二界面类型的GUI包括所述预设GUI以外的其他GUI。
8.根据权利要求1所述的方法,其特征在于,所述第一应用处理器确定满足预设条件,包括:
所述第一应用处理器确定所述第二GUI为三维3D界面类型,所述第一GUI为二维2D界面类型;
或者,所述第二GUI为2D界面类型,所述第一GUI为3D界面类型。
9.根据权利要求1所述的方法,其特征在于,所述电子设备还包括存储器,所述存储器保存有所述第二图形处理子系统对应的至少一个预设参数组,所述预设参数组包括预设GUI和预设输入操作;
所述第一应用处理器确定满足预设条件,包括:
所述第一应用处理器确定检测到第二输入操作,所述第一GUI和所述第二输入操作与所述预设参数组中的所述预设GUI和所述预设输入操作相匹配。
10.根据权利要求1所述的方法,其特征在于,所述第一应用处理器确定满足预设条件,包括:
所述第一应用处理器确定检测到第三输入操作,所述第三输入操作用于指示切换图形处理子系统,或者所述第三输入操作用于指示使用所述第二图形处理子系统。
11.根据权利要求1-10任一项所述的方法,其特征在于,在所述第一应用处理器确定满足预设条件之后,且在所述屏幕显示渲染后的所述第二GUI之前,所述方法还包括:
所述第一图形处理单元渲染过渡界面;
所述屏幕显示渲染后的所述过渡界面。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述第一图形处理子系统还包括用于连接所述第一图形处理子系统内部各部件的第一通信总线;所述第二图形处理子系统还包括用于连接所述第二图形处理子系统内部各部件的第二通信总线。
13.一种电子设备,其特征在于,包括:第一图形处理子系统,第二图形处理子系统和屏幕;
其中,所述第一图形处理子系统包括第一图形处理单元,第一应用处理器,以及与所述第一应用处理器和所述第一图形处理单元配合使用的第一内存存储器;
所述第二图形处理子系统包括第二图形处理单元,第二应用处理器,以及与所述第二应用处理器和所述第二图形处理单元配合使用的第二内存存储器;
所述第一图形处理子系统用于,渲染第一图形用户界面GUI;
所述屏幕用于,显示渲染后的所述第一GUI;
所述第一应用处理器用于,在确定满足预设条件后,向所述第二应用处理器发送切换通知;
所述第二应用处理器用于,接收到来自所述第一应用处理器的所述切换通知后,通知所述第二图形处理单元渲染待显示的第二GUI,所述第二GUI与所述第一GUI对应不同的界面类型;
所述第二图形处理单元用于,渲染所述第二GUI;
所述屏幕还用于,显示渲染后的所述第二GUI。
14.根据权利要求13所述的电子设备,其特征在于,所述第一应用处理器用于,在确定满足预设条件后,向所述第二应用处理器发送切换通知,具体包括:
所述第一应用处理器用于,在确定检测到第一输入操作且满足所述预设条件后,向所述第二应用处理器发送所述切换通知。
15.根据权利要求13或14所述的电子设备,其特征在于,所述电子设备还包括存储器;
所述存储器用于,保存所述第二图形处理子系统对应的预设应用;
所述第一应用处理器用于确定满足预设条件,具体包括:
所述第一应用处理器用于确定所述第二GUI对应第一界面类型,且所述第一GUI对应第二界面类型;
其中,所述第一界面类型的GUI包括所述预设应用对应的GUI,所述第二界面类型的GUI包括所述预设应用对应的GUI以外的其他GUI。
16.根据权利要求15所述的电子设备,其特征在于,所述预设应用包括支付应用、相机应用、音乐应用、通话应用或游戏应用;或者,
所述预设应用具有与远程网络通信相关联的功能;或者,
所述预设应用为第三方应用。
17.根据权利要求13或14所述的电子设备,其特征在于,所述电子设备还包括存储器;
所述存储器用于,保存所述第二图形处理子系统对应的预设功能;
所述第一应用处理器用于确定满足预设条件,具体包括:
所述第一应用处理器用于确定所述第二GUI对应第一界面类型,所述第一GUI对应第二界面类型;
其中,所述第一界面类型的GUI包括所述预设功能对应的GUI,所述第二界面类型的GUI包括所述预设功能对应的GUI以外的其他GUI。
18.根据权利要求13或14所述的电子设备,其特征在于,所述电子设备还包括存储器;
所述存储器用于,保存所述第二图形处理子系统对应的预设GUI;
所述第一应用处理器用于确定满足预设条件,具体包括:
所述第一应用处理器用于确定所述第二GUI对应第一界面类型,所述第一GUI对应第二界面类型;
其中,所述第一界面类型的GUI包括所述预设GUI,所述第二界面类型的GUI包括所述预设GUI以外的其他GUI。
19.根据权利要求13或14所述的电子设备,其特征在于,所述第一应用处理器用于确定满足预设条件,具体包括:
所述第一应用处理器用于确定所述第二GUI为三维3D界面类型,所述第一GUI为二维2D界面类型;
或者,所述第二GUI为2D界面类型,所述第一GUI为3D界面类型。
20.根据权利要求13所述的电子设备,其特征在于,所述电子设备还包括存储器;
所述存储器用于,保存所述第二图形处理子系统对应的至少一个预设参数组,所述预设参数组包括预设GUI和预设输入操作;
所述第一应用处理器用于确定满足预设条件,具体包括:
所述第一应用处理器用于确定检测到第二输入操作,所述第一GUI和所述第二输入操作与所述预设参数组中的所述预设GUI和所述预设输入操作相匹配。
21.根据权利要求13-20任一项所述的电子设备,其特征在于,所述第一图形处理单元还用于,在所述第一应用处理器确定满足预设条件之后,且在所述屏幕显示渲染后的所述第二GUI之前,渲染过渡界面;
所述屏幕还用于,显示渲染后的所述过渡界面。
22.根据权利要求13-21任一项所述的电子设备,其特征在于,所述第二图形处理子系统还用于,接收所述屏幕周期性发送的显示请求信号;
在渲染所述第二GUI后,在两个所述显示请求信号的接收间隔内,将渲染后的所述第二GUI对应的图像数据发送给所述屏幕;
所述屏幕用于,显示渲染后的所述第二GUI,具体包括:
所述屏幕用于,根据所述图像数据显示渲染后的所述第二GUI。
23.根据权利要求13-22任一项所述的电子设备,其特征在于,所述第一图形处理子系统还包括用于连接所述第一图形处理子系统内部各部件的第一通信总线;所述第二图形处理子系统还包括用于连接所述第二图形处理子系统内部各部件的第二通信总线。
24.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-12任一项所述的显示处理方法。
25.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-12任一项所述的显示处理方法。
CN201911245165.4A 2019-11-28 2019-12-06 一种高能效的显示处理方法及设备 Pending CN112860428A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202410143049.6A CN118051111A (zh) 2019-11-28 2019-12-06 一种高能效的显示处理方法及设备
US17/780,866 US20230004406A1 (en) 2019-11-28 2020-11-17 Energy-Efficient Display Processing Method and Device
JP2022529106A JP7468830B2 (ja) 2019-11-28 2020-11-17 エネルギー効率の良い表示処理方法およびデバイス
PCT/CN2020/129327 WO2021104104A1 (zh) 2019-11-28 2020-11-17 一种高能效的显示处理方法及设备
KR1020227020439A KR20220101693A (ko) 2019-11-28 2020-11-17 에너지 효율적인 디스플레이 처리 방법 및 디바이스
EP20891976.1A EP4053783A4 (en) 2019-11-28 2020-11-17 ENERGY EFFICIENT DISPLAY PROCESSING METHOD AND DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911194739 2019-11-28
CN201911194739X 2019-11-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410143049.6A Division CN118051111A (zh) 2019-11-28 2019-12-06 一种高能效的显示处理方法及设备

Publications (1)

Publication Number Publication Date
CN112860428A true CN112860428A (zh) 2021-05-28

Family

ID=75996042

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410143049.6A Pending CN118051111A (zh) 2019-11-28 2019-12-06 一种高能效的显示处理方法及设备
CN201911245165.4A Pending CN112860428A (zh) 2019-11-28 2019-12-06 一种高能效的显示处理方法及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410143049.6A Pending CN118051111A (zh) 2019-11-28 2019-12-06 一种高能效的显示处理方法及设备

Country Status (6)

Country Link
US (1) US20230004406A1 (zh)
EP (1) EP4053783A4 (zh)
JP (1) JP7468830B2 (zh)
KR (1) KR20220101693A (zh)
CN (2) CN118051111A (zh)
WO (1) WO2021104104A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124634A1 (zh) * 2021-12-29 2023-07-06 Oppo广东移动通信有限公司 显示方法、装置、电子设备及存储介质
CN116737307A (zh) * 2023-08-16 2023-09-12 北京淳中科技股份有限公司 一种界面显示方法、装置、电子设备及存储介质
WO2024001192A1 (zh) * 2022-06-30 2024-01-04 哲库科技(上海)有限公司 片上系统、片上系统的电压控制方法及终端
WO2024131709A1 (zh) * 2022-12-24 2024-06-27 华为技术有限公司 切换显示界面的方法、电子设备、显示屏和显示方法
WO2024199408A1 (zh) * 2023-03-29 2024-10-03 Oppo广东移动通信有限公司 显示切换方法和电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11694590B2 (en) * 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
US20230236547A1 (en) 2022-01-24 2023-07-27 Apple Inc. User interfaces for indicating time
WO2024035037A1 (ko) * 2022-08-08 2024-02-15 삼성전자주식회사 초기화 동작을 위한 전자 장치 및 방법
WO2024106616A1 (en) * 2022-11-18 2024-05-23 Samsung Electronics Co., Ltd. Method and apparatus for managing user interface (ui) on electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101501624A (zh) * 2006-08-04 2009-08-05 苹果公司 用于在图形源之间进行切换的方法和装置
CN101819512A (zh) * 2009-02-27 2010-09-01 辉达公司 多图形处理单元系统和方法
US20100253690A1 (en) * 2009-04-02 2010-10-07 Sony Computer Intertainment America Inc. Dynamic context switching between architecturally distinct graphics processors
US20120050259A1 (en) * 2010-08-31 2012-03-01 Apple Inc. Systems, methods, and computer-readable media for efficiently processing graphical data
CN106296564A (zh) * 2015-05-29 2017-01-04 展讯通信(上海)有限公司 嵌入式soc片上系统
WO2019040221A1 (en) * 2017-08-22 2019-02-28 Qualcomm Incorporated RENDERING AN IMAGE FROM COMPUTER GRAPHICS AND USING TWO RENDERING COMPUTER DEVICES

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384700B2 (en) 2007-01-26 2013-02-26 Microsoft Corporation Linked shell
US20080030510A1 (en) * 2006-08-02 2008-02-07 Xgi Technology Inc. Multi-GPU rendering system
US7698579B2 (en) * 2006-08-03 2010-04-13 Apple Inc. Multiplexed graphics architecture for graphics power management
US20090079746A1 (en) * 2007-09-20 2009-03-26 Apple Inc. Switching between graphics sources to facilitate power management and/or security
US8893013B1 (en) * 2007-10-11 2014-11-18 Teradici Corporation Method and apparatus for providing a hybrid computing environment
EP2243080B1 (en) * 2007-12-13 2016-09-21 Advanced Micro Devices, Inc. Driver architecture for computing device having multiple graphics subsystems, reduced power consumption modes, software and methods
JP4302166B2 (ja) * 2007-12-21 2009-07-22 株式会社東芝 情報処理装置
US9336028B2 (en) * 2009-06-25 2016-05-10 Apple Inc. Virtual graphics device driver
JP2011141707A (ja) * 2010-01-07 2011-07-21 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN201994739U (zh) 2011-03-03 2011-09-28 广州市赛导电气技术有限公司 轮毂电机和电动车
US8692833B2 (en) * 2011-08-09 2014-04-08 Apple Inc. Low-power GPU states for reducing power consumption
JP2013186727A (ja) 2012-03-08 2013-09-19 Hitachi Ltd 多重系システム用計算機および多重系制御方法
JP5755602B2 (ja) 2012-06-12 2015-07-29 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
US10304465B2 (en) 2012-10-30 2019-05-28 Google Technology Holdings LLC Voice control user interface for low power mode
US9098323B2 (en) * 2013-09-05 2015-08-04 Nvidia Corporation Simultaneous utilization of a first graphics processing unit (GPU) and a second GPU of a computing platform through a virtual machine (VM) in a shared mode and a dedicated mode respectively
CN104765594B (zh) * 2014-01-08 2018-07-31 联发科技(新加坡)私人有限公司 一种显示图形用户界面的方法及装置
US20160180804A1 (en) * 2014-12-23 2016-06-23 Intel Corporation Refresh rate control using sink requests
US10402937B2 (en) * 2017-12-28 2019-09-03 Nvidia Corporation Multi-GPU frame rendering
US10545568B2 (en) * 2018-01-26 2020-01-28 Dell Products L.P. Modified sleep state graphics processing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101501624A (zh) * 2006-08-04 2009-08-05 苹果公司 用于在图形源之间进行切换的方法和装置
CN101819512A (zh) * 2009-02-27 2010-09-01 辉达公司 多图形处理单元系统和方法
US20100253690A1 (en) * 2009-04-02 2010-10-07 Sony Computer Intertainment America Inc. Dynamic context switching between architecturally distinct graphics processors
US20120050259A1 (en) * 2010-08-31 2012-03-01 Apple Inc. Systems, methods, and computer-readable media for efficiently processing graphical data
CN106296564A (zh) * 2015-05-29 2017-01-04 展讯通信(上海)有限公司 嵌入式soc片上系统
WO2019040221A1 (en) * 2017-08-22 2019-02-28 Qualcomm Incorporated RENDERING AN IMAGE FROM COMPUTER GRAPHICS AND USING TWO RENDERING COMPUTER DEVICES

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周述虹著, 知识产权出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124634A1 (zh) * 2021-12-29 2023-07-06 Oppo广东移动通信有限公司 显示方法、装置、电子设备及存储介质
WO2024001192A1 (zh) * 2022-06-30 2024-01-04 哲库科技(上海)有限公司 片上系统、片上系统的电压控制方法及终端
WO2024131709A1 (zh) * 2022-12-24 2024-06-27 华为技术有限公司 切换显示界面的方法、电子设备、显示屏和显示方法
WO2024199408A1 (zh) * 2023-03-29 2024-10-03 Oppo广东移动通信有限公司 显示切换方法和电子设备
CN116737307A (zh) * 2023-08-16 2023-09-12 北京淳中科技股份有限公司 一种界面显示方法、装置、电子设备及存储介质
CN116737307B (zh) * 2023-08-16 2023-12-01 北京淳中科技股份有限公司 一种界面显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4053783A1 (en) 2022-09-07
JP7468830B2 (ja) 2024-04-16
KR20220101693A (ko) 2022-07-19
EP4053783A4 (en) 2022-12-28
CN118051111A (zh) 2024-05-17
WO2021104104A1 (zh) 2021-06-03
JP2023503281A (ja) 2023-01-27
US20230004406A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
CN113362783B (zh) 刷新率切换方法和电子设备
CN112130742B (zh) 一种移动终端的全屏显示方法及设备
WO2021104104A1 (zh) 一种高能效的显示处理方法及设备
CN110543289A (zh) 控制音量的方法和电子设备
CN113542839A (zh) 电子设备的投屏方法和电子设备
CN112312366B (zh) 一种通过nfc标签实现功能的方法、电子设备及系统
CN114040242A (zh) 投屏方法和电子设备
CN112527093A (zh) 手势输入方法及电子设备
CN115589051B (zh) 充电方法和终端设备
CN111492678B (zh) 一种文件传输方法及电子设备
CN112651510A (zh) 模型更新方法、工作节点及模型更新系统
CN114915747A (zh) 视频通话的方法与相关设备
CN114500901A (zh) 双景录像方法、装置和电子设备
CN113593567B (zh) 视频声音转文本的方法及相关设备
CN115421619A (zh) 一种窗口显示方法和电子设备
CN114661258A (zh) 自适应显示方法、电子设备及存储介质
CN114201738A (zh) 解锁方法及电子设备
CN114089902A (zh) 手势交互方法、装置及终端设备
CN113496477A (zh) 屏幕检测方法及电子设备
CN115941836A (zh) 一种界面显示方法、电子设备及存储介质
CN114079725B (zh) 视频防抖方法、终端设备和计算机可读存储介质
CN115393676A (zh) 手势控制优化方法、装置、终端和存储介质
CN115083400A (zh) 语音助手唤醒方法及装置
CN114579900A (zh) 跨设备的页面切换方法、电子设备及存储介质
CN114691066A (zh) 一种应用的显示方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination