CN115729346A - 界面显示方法和电子设备 - Google Patents

界面显示方法和电子设备 Download PDF

Info

Publication number
CN115729346A
CN115729346A CN202210563228.6A CN202210563228A CN115729346A CN 115729346 A CN115729346 A CN 115729346A CN 202210563228 A CN202210563228 A CN 202210563228A CN 115729346 A CN115729346 A CN 115729346A
Authority
CN
China
Prior art keywords
brightness
area
window
interface
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210563228.6A
Other languages
English (en)
Inventor
杜奕全
周雨沛
孙奎全
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2022/114916 priority Critical patent/WO2023030168A1/zh
Publication of CN115729346A publication Critical patent/CN115729346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种界面显示方法和电子设备,在方法中,检测用户的眼球在第一界面中的注视区域,第一界面是电子设备的屏幕上显示的界面,调整第一界面的显示亮度,得到第二界面,第二界面中注视区域的亮度大于非注视区域中部分或全部区域的亮度;非注视区域是第一界面中注视区域以外的区域。本申请能够既保证用户的观看体验,又达到省电的目的。

Description

界面显示方法和电子设备
技术领域
本申请涉及智能终端技术领域,特别涉及一种界面显示方法和电子设备。
背景技术
手机、平板电脑等电子设备已融入人类生活的方方面面,成为必不可少的电子产品。而功耗一直是电子设备的痛点问题,困扰着电子设备厂商和消费者。电子设备在运行过程中,最耗电的器件是屏幕。当前,针对屏幕耗电的场景,常见的智能省电方式有屏幕亮度自动调节、自动灭屏等。但是,这些省电方式下,如果屏幕亮度降低过多,用户很难看清屏幕上的显示内容,降低用户的观看体验,如果屏幕亮度降低的很少,对于电子设备的省电效果有限。
发明内容
本申请提供了一种界面显示方法和电子设备,既保证用户的观看体验,又达到省电的目的。
第一方面,本申请实施例提供一种界面显示装置,包括:检测单元和调整单元,其中,
检测单元,用于检测用户的眼球在第一界面中的注视区域;第一界面是电子设备的屏幕上显示的界面;
调整单元,用于调整第一界面的显示亮度,得到第二界面,第二界面中注视区域的亮度大于非注视区域中部分或全部区域的亮度;非注视区域是界面中注视区域以外的区域。
在一种可能的实现方式中,检测单元用于检测用户的眼球在界面中的注视区域,包括:
检测单元用于:确定用户眼球的注视焦点在界面中对应的焦点区域;根据焦点区域确定用户的眼球在界面中的注视区域。
在一种可能的实现方式中,检测单元用于根据焦点区域确定用户的眼球在界面中的注视区域,包括:
检测单元用于:根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,窗口显示类型为单窗口显示或多窗口显示。
在一种可能的实现方式中,窗口显示类型为单窗口显示,检测单元用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
检测单元用于:根据焦点区域确定注视区域,注视区域包括焦点区域。
在一种可能的实现方式中,窗口显示类型为多窗口显示,界面被窗口划分为至少2个窗口区域;检测单元用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
检测单元用于:
从至少2个窗口区域中获取第一窗口区域,第一窗口区域是至少2个窗口区域中与焦点区域的相交区域最大的窗口区域;
将第一窗口区域确定为注视区域。
在一种可能的实现方式中,窗口显示类型为多窗口显示,界面被窗口划分为至少2个窗口区域;检测单元用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
检测单元用于:
确定至少2个窗口区域中各窗口区域与焦点区域的相交区域相等;
维持前一周期确定的注视区域和非注视区域不变;或者,
从至少2个窗口区域中选择一个非全屏窗口对应的窗口区域作为注视区域。
在一种可能的实现方式中,多窗口显示包括:单悬浮窗显示,和/或,多悬浮窗显示,和/或,分屏显示,和/或,平行视界显示。
在一种可能的实现方式中,调整单元用于调整界面的显示亮度,包括:
调整单元用于:获取第一目标亮度,将注视区域的亮度调整为第一目标亮度。
在一种可能的实现方式中,调整单元用于将注视区域的亮度调整为第一目标亮度,包括:
调整单元用于:
将注视区域的亮度直接调整为第一目标亮度;和/或,
将注视区域的亮度渐变至第一目标亮度。
在一种可能的实现方式中,调整单元用于将注视区域的亮度调整为第一目标亮度,包括:
调整单元用于:
获取电源的电量;
电量不小于第一阈值,按照第一步长将注视区域的亮度渐变至第一目标亮度;和/或,
电量小于第一阈值,不小于第二阈值,按照第二步长将注视区域的亮度渐变至第一目标亮度;第一阈值大于第二阈值,第一步长小于第二步长;和/或,
电量小于第二阈值,将注视区域的亮度直接调整为第一目标亮度。
在一种可能的实现方式中,调整单元用于调整界面的显示亮度,包括:
调整单元用于:获取非注视区域的亮度设置策略,按照亮度设置策略调整非注视区域的亮度。
在一种可能的实现方式中,调整单元用于按照亮度设置策略调整非注视区域的亮度,包括:
调整单元用于:根据亮度设置策略确定第二目标亮度,将非注视区域的亮度调整为第二目标亮度。
在一种可能的实现方式中,调整单元用于将非注视区域的亮度调整为目标亮度,包括:
调整单元用于:
将非注视区域的亮度直接调整为目标亮度;和/或,
将非注视区域的亮度渐变至目标亮度。
在一种可能的实现方式中,调整单元用于将非注视区域的亮度调整为目标亮度,包括:
调整单元用于:
获取电源的电量;
电量不小于第三阈值,按照第三步长将注视区域的亮度渐变至目标亮度;和/或,
电量小于第三阈值,不小于第四阈值,按照第四步长将注视区域的亮度渐变至目标亮度;第三阈值大于第四阈值,第三步长小于第四步长;和/或,
电量小于第四阈值,将注视区域的亮度直接调整为目标亮度。
在一种可能的实现方式中,亮度设置策略包括:
非注视区域划分为若干个子区域,按照若干个子区域与注视区域的距离从小到大的顺序,子区域的亮度依次降低,子区域的最大亮度小于等于第一目标亮度;或者,
按照非注视区域的像素点与注视区域的边界线的最小距离从小到大的顺序,像素点的亮度依次降低,非注视区域的像素点的最大亮度小于等于第一目标亮度;或者,
设置非注视区域的亮度为第二目标亮度,第二目标亮度小于第一目标亮度。
在一种可能的实现方式中,调整单元用于调整界面的显示亮度,包括:
调整单元用于:
在界面上增加显示透明蒙版层;
设置透明蒙版层的颜色和/或透明度,使得注视区域的亮度大于非注视区域中部分或全部区域的亮度。
第二方面,本申请实施例提供一种电子设备,包括:显示器和处理器;其中,
处理器用于:检测用户的眼球在第一界面中的注视区域;第一界面是电子设备的屏幕上显示的界面;调整第一界面的显示亮度,得到第二界面,第二界面中注视区域的亮度大于非注视区域中部分或全部区域的亮度;非注视区域是界面中注视区域以外的区域。
在一种可能的实现方式中,处理器用于检测用户的眼球在界面中的注视区域,包括:
处理器用于:确定用户眼球的注视焦点在界面中对应的焦点区域;根据焦点区域确定用户的眼球在界面中的注视区域。
在一种可能的实现方式中,处理器用于根据焦点区域确定用户的眼球在界面中的注视区域,包括:
处理器用于:根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,窗口显示类型为单窗口显示或多窗口显示。
在一种可能的实现方式中,窗口显示类型为单窗口显示,处理器用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
处理器用于:根据焦点区域确定注视区域,注视区域包括焦点区域。
在一种可能的实现方式中,窗口显示类型为多窗口显示,界面被窗口划分为至少2个窗口区域;处理器用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
处理器用于:
从至少2个窗口区域中获取第一窗口区域,第一窗口区域是至少2个窗口区域中与焦点区域的相交区域最大的窗口区域;
将第一窗口区域确定为注视区域。
在一种可能的实现方式中,窗口显示类型为多窗口显示,界面被窗口划分为至少2个窗口区域;处理器用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
处理器用于:
确定至少2个窗口区域中各窗口区域与焦点区域的相交区域相等;
维持前一周期确定的注视区域和非注视区域不变;或者,
从至少2个窗口区域中选择一个非全屏窗口对应的窗口区域作为注视区域。
在一种可能的实现方式中,多窗口显示包括:单悬浮窗显示,和/或,多悬浮窗显示,和/或,分屏显示,和/或,平行视界显示。
在一种可能的实现方式中,处理器用于调整界面的显示亮度,包括:
处理器用于:获取第一目标亮度,将注视区域的亮度调整为第一目标亮度。
在一种可能的实现方式中,处理器用于将注视区域的亮度调整为第一目标亮度,包括:
处理器用于:
将注视区域的亮度直接调整为第一目标亮度;或者,
将注视区域的亮度渐变至第一目标亮度。
在一种可能的实现方式中,处理器用于将注视区域的亮度调整为第一目标亮度,包括:
处理器用于:
获取电源的电量;
电量不小于第一阈值,按照第一步长将注视区域的亮度渐变至第一目标亮度;或者,
电量小于第一阈值,不小于第二阈值,按照第二步长将注视区域的亮度渐变至第一目标亮度;第一阈值大于第二阈值,第一步长小于第二步长;或者,
电量小于第二阈值,将注视区域的亮度直接调整为第一目标亮度。
在一种可能的实现方式中,处理器用于调整界面的显示亮度,包括:
处理器用于:获取非注视区域的亮度设置策略,按照亮度设置策略调整非注视区域的亮度。
在一种可能的实现方式中,处理器用于按照亮度设置策略调整非注视区域的亮度,包括:
处理器用于:根据亮度设置策略确定第二目标亮度,将非注视区域的亮度调整为第二目标亮度。
在一种可能的实现方式中,处理器用于将非注视区域的亮度调整为目标亮度,包括:
处理器用于:
将非注视区域的亮度直接调整为目标亮度;或者,
将非注视区域的亮度渐变至目标亮度。
在一种可能的实现方式中,处理器用于将非注视区域的亮度调整为目标亮度,包括:
处理器用于:
获取电源的电量;
电量不小于第三阈值,按照第三步长将注视区域的亮度渐变至目标亮度;或者,
电量小于第三阈值,不小于第四阈值,按照第四步长将注视区域的亮度渐变至目标亮度;第三阈值大于第四阈值,第三步长小于第四步长;或者,
电量小于第四阈值,将注视区域的亮度直接调整为目标亮度。
在一种可能的实现方式中,亮度设置策略包括:
非注视区域划分为若干个子区域,按照若干个子区域与注视区域的距离从小到大的顺序,子区域的亮度依次降低,子区域的最大亮度小于等于第一目标亮度;或者,
按照非注视区域的像素点与注视区域的边界线的最小距离从小到大的顺序,像素点的亮度依次降低,非注视区域的像素点的最大亮度小于等于第一目标亮度;或者,
设置非注视区域的亮度为第二目标亮度,第二目标亮度小于第一目标亮度。
在一种可能的实现方式中,处理器用于调整界面的显示亮度,包括:
处理器用于:
在界面上增加显示透明蒙版层;
设置透明蒙版层的颜色和/或透明度,使得注视区域的亮度大于非注视区域中部分或全部区域的亮度。
第三方面,本申请实施例提供一种界面显示方法,应用于电子设备,包括:
检测用户的眼球在第一界面中的注视区域;第一界面是电子设备的屏幕上显示的界面;
调整第一界面的显示亮度,得到第二界面,第二界面中注视区域的亮度大于非注视区域中部分或全部区域的亮度;非注视区域是界面中注视区域以外的区域。
结合上述第一方面,在第一种可能的实现方式中,上述检测用户的眼球在界面中的注视区域,包括:
确定用户眼球的注视焦点在界面中对应的焦点区域;
根据焦点区域确定用户的眼球在界面中的注视区域。
结合上述第一种可能的实现方式,在第二种可能的实现方式中,上述根据焦点区域确定用户的眼球在界面中的注视区域,包括:根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,窗口显示类型为单窗口显示或多窗口显示。
结合上述第二种可能的实现方式,在第三种可能的实现方式中,窗口显示类型为单窗口显示,上述根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:根据焦点区域确定注视区域,注视区域包括焦点区域。
结合上述第二种可能的实现方式,在第四种可能的实现方式中,窗口显示类型为多窗口显示,界面被窗口划分为至少2个窗口区域;上述根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:从至少2个窗口区域中获取第一窗口区域,第一窗口区域是至少2个窗口区域中与焦点区域的相交区域最大的窗口区域;将第一窗口区域确定为注视区域。
结合上述第二种可能的实现方式,在第五种可能的实现方式中,窗口显示类型为多窗口显示,界面被窗口划分为至少2个窗口区域;根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:确定至少2个窗口区域中各窗口区域与焦点区域的相交区域相等;维持前一周期确定的注视区域和非注视区域不变;或者,从至少2个窗口区域中选择一个非全屏窗口对应的窗口区域作为注视区域。
结合上述第四种可能的实现方式或者第五种可能的实现方式,在第六种可能的实现方式中,多窗口显示包括:单悬浮窗显示,和/或,多悬浮窗显示,和/或,分屏显示,和/或,平行视界显示。
结合上述任一种可能的实现方式,在第七种可能的实现方式中,调整界面的显示亮度,包括:获取第一目标亮度,将注视区域的亮度调整为第一目标亮度。
结合第七种可能的实现方式,在第八种可能的实现方式中,将注视区域的亮度调整为第一目标亮度,包括:将注视区域的亮度直接调整为第一目标亮度;或者,将注视区域的亮度渐变至第一目标亮度。
结合第七种可能的实现方式,在第九种可能的实现方式中,将注视区域的亮度调整为第一目标亮度,包括:获取电源的电量;电量不小于第一阈值,按照第一步长将注视区域的亮度渐变至第一目标亮度;或者,电量小于第一阈值,不小于第二阈值,按照第二步长将注视区域的亮度渐变至第一目标亮度;第一阈值大于第二阈值,第一步长小于第二步长;或者,电量小于第二阈值,将注视区域的亮度直接调整为第一目标亮度。
结合第七种可能的实现方式,在第十种可能的实现方式中,调整界面的显示亮度,包括:获取非注视区域的亮度设置策略,按照亮度设置策略调整非注视区域的亮度。
结合第十种可能的实现方式,在第十一种可能的实现方式中,按照亮度设置策略调整非注视区域的亮度,包括:根据亮度设置策略确定第二目标亮度,将非注视区域的亮度调整为第二目标亮度。
结合第十一种可能的实现方式,在第十二种可能的实现方式中,将非注视区域的亮度调整为目标亮度,包括:将非注视区域的亮度直接调整为目标亮度;或者,将非注视区域的亮度渐变至目标亮度。
结合第十一种可能的实现方式,在第十三种可能的实现方式中,将非注视区域的亮度调整为目标亮度,包括:获取电源的电量;电量不小于第三阈值,按照第三步长将注视区域的亮度渐变至目标亮度;或者,电量小于第三阈值,不小于第四阈值,按照第四步长将注视区域的亮度渐变至目标亮度;第三阈值大于第四阈值,第三步长小于第四步长;或者,电量小于第四阈值,将注视区域的亮度直接调整为目标亮度。
结合第十种可能的实现方式,在第十四种可能的实现方式中,亮度设置策略包括:非注视区域划分为若干个子区域,按照若干个子区域与注视区域的距离从小到大的顺序,子区域的亮度依次降低,子区域的最大亮度小于等于第一目标亮度;或者,按照非注视区域的像素点与注视区域的边界线的最小距离从小到大的顺序,像素点的亮度依次降低,非注视区域的像素点的最大亮度小于等于第一目标亮度;或者,设置非注视区域的亮度为第二目标亮度,第二目标亮度小于第一目标亮度。
结合上述任一种可能的实现方式,在第十五种可能的实现方式中,调整界面的显示亮度,包括:在界面上增加显示透明蒙版层;设置透明蒙版层的颜色和/或透明度,使得注视区域的亮度大于非注视区域中部分或全部区域的亮度。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行第三方面任一项所述的方法。
第五方面,本申请提供一种计算机程序,当所述计算机程序被计算机执行时,用于执行第一方面所述的方法。
在一种可能的设计中,第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1A为本申请实施例电子设备的结构示意图;
图1B为本申请实施例电子设备的软件结构示意图;
图2A为本申请实施例屏幕坐标系建立方法示意图;
图2B为本申请实施例单窗口显示场景下的界面示意图;
图2C为本申请实施例单悬浮窗场景下的界面示意图;
图2D为本申请实施例多悬浮窗场景下的界面示意图;
图2E为本申请实施例分屏显示场景下的界面示意图;
图2F为本申请实施例平行视界显示场景下的界面示意图;
图3为本申请实施例单窗口显示场景下注视区域确定方法示意图;
图4A为本申请实施例非注视区域划分子区域的方法示意图;
图4B为本申请实施例单窗口显示场景下注视区域发生变化时的场景示意图;
图5为本申请界面显示方法一个实施例的流程图;
图6A为本申请实施例注视区域重叠示意图;
图6B为本申请实施例单窗口显示场景下界面显示效果示意图;
图7为本申请实施例单悬浮窗场景下的界面示意图;
图8A为本申请界面显示方法再一个实施例的流程图;
图8B为本申请实施例单悬浮窗场景下界面显示效果示意图;
图9为本申请实施例多悬浮窗场景下的界面示意图;
图10为本申请实施例多悬浮窗场景下界面显示效果示意图;
图11A为本申请实施例分屏显示场景下的界面示意图;
图11B为本申请实施例分屏显示场景下界面显示效果示意图;
图12A为本申请实施例平行视界场景下的界面示意图;
图12B为本申请实施例平行视界场景下界面显示效果示意图;
图13为本申请实施例提供的一种电子设备的软件结构示意图;
图14为本申请界面显示方法又一个实施例的流程图;
图15为本申请界面显示方法又一个实施例的流程图;
图16为本申请界面显示方法又一个实施例的流程图;
图17为本申请界面显示方法又一个实施例的流程图;
图18为本申请界面显示方法又一个实施例的流程图;
图19为本申请界面显示装置一个实施例的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
现有的实现方案中,针对屏幕耗电的场景,常见的智能省电方式有屏幕亮度自动调节、自动灭屏等。但是,这些省电方式下,如果屏幕亮度降低过多,用户很难看清屏幕上的显示内容,降低用户的观看体验,如果屏幕亮度降低的很少,对于电子设备的省电效果有限。
为此,本申请提出一种界面显示方法和电子设备,既保证用户的观看体验,又具有相对更好的省电效果。
具体的,本申请界面显示方法中,获取用户的眼球在屏幕上的注视区域,注视区域按照正常亮度显示,从而保证用户的观看体验,并且,注视区域之外的非注视区域的亮度低于上述正常亮度,从而达到省电目的。
进而,非注视区域的亮度可以调节到相对很低的程度,甚至达到屏幕的最低亮度,从而达到更好的省电效果。
本申请实施例提供的方法可以应用于电子设备,例如可以是:手机,PAD,PC,电视,大屏,车载设备,等等。
示例性的,图1A示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如阻抗式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。具体可以为安卓系统、鸿蒙系统等等。
本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图1B是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图1B所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图1B所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
为了便于理解,本申请以下实施例将以具有图1A和图1B所示结构的电子设备为例,结合附图和应用场景,对本申请实施例提供的方法进行具体说明。
本申请实施例所称之界面是指屏幕上显示的与用户进行交互的可视界面。界面中可以包括多个窗口。
本申请实施例所称之窗口是屏幕上与一个应用程序相对应的用户界面区域,是用户与产生该窗口的应用之间进行交互的可视界面。每当用户在电子设备中启动某一应用,应用就创建并显示一个窗口;当用户操作窗口中的控件时,应用会作出相应反应。每个应用可以在屏幕上同时显示一个或者多个窗口。
本申请实施例中将电子设备的屏幕的完整显示区域成为屏幕显示区域。
本申请实施例中将显示区域是屏幕显示区域的窗口称为全屏窗口;显示区域小于等屏幕显示区域的窗口称为非全屏窗口。
上述的窗口可以具有边界参数,用于记录窗口的边界线的位置。举例来说,以电子设备是PAD为例,如图2A所示,可以以屏幕左上角的顶点为原点O,水平向左的屏幕边沿为x轴,竖直向下的屏幕边沿为y轴建立坐标系,则屏幕中的每个像素可以具有(x,y)的坐标,x用于表示像素所在行,y用于表示像素所在列;相应的,窗口的边界线也可以通过该坐标系中的坐标来标识。举例来说,图2A中所示的窗口1的边界参数可以为(x1,y1,x2,y2),(x1,y1)是窗口1的左上角顶点A的坐标,(x2,y2)是窗口1的右下角顶点C的坐标。
通过窗口的上述边界参数也可以确定窗口是全屏窗口或者非全屏窗口,举例来说,如果屏幕分辨率为1920*1080,那么如果窗口的边界参数是(0,0,1920,1080),那么该窗口是全屏窗口,否则是非全屏窗口。
以下实施例中以电子设备是PAD为例。
本申请实施例界面显示方法可以适用于单窗口显示场景以及多窗口显示场景。
单窗口显示场景是指:屏幕上仅显示一个窗口,该窗口为全屏窗口,例如图2B所示,界面是PAD的桌面,仅包括一个全屏窗口201,PAD的桌面是该全屏窗口中显示的画面。
多窗口显示场景是指:界面中包括至少2个窗口,每个窗口可以是全屏窗口或者非全屏窗口。
多窗口显示场景具体可以包括:单悬浮窗显示、多悬浮窗显示、分屏显示、平行视界显示等。
悬浮窗是在一个窗口上方悬浮、且可移动的窗口,悬浮窗一般是非全屏窗口。
如果一个全屏窗口上方仅有一个悬浮窗,可以称为单悬浮窗显示场景,例如图2C所示,界面中包括:全屏窗口201和悬浮窗202,全屏窗口201中显示有PAD的桌面,悬浮窗202中显示有应用1的界面;如果一个全屏窗口上方有2个或者2个以上的悬浮窗,可以称为多悬浮窗显示场景,例如图2D所示,界面包括全屏窗口201、第一悬浮窗203和第二悬浮窗204,全屏窗口201中显示有PAD的桌面,第一悬浮窗203中显示有应用1的界面,第二悬浮窗204中显示有应用2的界面。
需要说明的是,悬浮窗的大小一般可以人为调整;多个悬浮窗显示时不同悬浮窗的大小可以相同或不同。
需要说明的是,多个悬浮窗之间可以不存在重叠部分,也可以部分或者全部重叠。
分屏显示是指在屏幕上显示多个应用的窗口,窗口之间互不重叠,多个应用的窗口占用屏幕的整个显示区域,例如图2E所示,以分屏显示应用1界面的窗口和应用2界面的窗口为例,具体的,界面中包括:第一分屏窗口205和第二分屏窗口206,第一分屏窗口205中显示应用1的界面,第二分屏窗口206中显示应用2的界面。
需要说明的是,分屏显示场景下相邻两个窗口之间具有公共边界线21。公共边界线一般可以人为调整位置,从而改变两个相邻窗口的显示区域。
平行视界显示是指屏幕上显示同一应用的多个窗口,窗口之间互不重叠,多个窗口占用屏幕的整个显示区域,例如图2F所述,以2个平行视界窗口显示应用1的两个界面为例,其中,界面中包括第一平行视界窗口207和第二平行视界窗口208,第一平行视界窗口207中显示应用1的界面1,第二平行视界窗口208中显示应用1的界面2。
需要说明的是,平行视界显示场景下相邻两个窗口之间具有公共边界线22。边界线一般可以人为调整位置,从而改变两个相邻窗口的显示区域。
以下分别说明每种显示场景下本申请界面显示方法的实现。
本申请实施例提供单窗口显示场景下的界面显示方法,如图2B所示,该场景下,屏幕中显示的界面仅包括一个全屏窗口201。
现有技术中界面的显示亮度是根据屏幕的亮度参数确定的,因此,界面具有一个显示亮度。
而在本申请实施例界面显示方法中,电子设备可以通过电子设备的前置摄像头拍摄用户的视频图像,根据视频图像检测用户眼球的注视焦点,如果注视焦点位于屏幕上,确定注视焦点在屏幕上对应的区域(以下称为焦点区域),根据焦点区域来确定用户的注视区域和非注视区域,为用户的注视区域和非注视区域设置不同的显示亮度。
根据焦点区域确定用户的注视区域时,注视区域包括焦点区域,可选地,注视区域大于焦点区域。例如,可以预设注视区域的尺寸,根据焦点区域和预设尺寸确定注视区域。
举例来说,假设焦点区域是一个矩形,注视区域也是一个矩形,可以以焦点区域的中心点作为注视区域的中心点,按照预设的长度和宽度确定一个矩形区域作为注视区域。例如图3所示,焦点区域300是一个矩形,注视区域301也是一个矩形,两个矩形的中心点均为点O1。
在确定用户的注视区域后,界面被划分为注视区域和非注视区域两部分,例如图3所示,界面30包括:注视区域301和非注视区域302。
注视区域301的显示亮度可以高于非注视区域302部分或者全部区域的显示亮度。
以注视区域301的显示亮度高于非注视区域302的显示亮度为例。
注视区域301的显示亮度可以根据屏幕的亮度参数确定,也即按照正常亮度显示。
非注视区域302可以设置同一显示亮度,也可以按照区域甚至像素设置不同的显示亮度,只要设置的显示亮度低于注视区域301的显示亮度即可。以下举例说明非注视区域302的显示亮度的可能设置方式:
在第一种可能的实现方式中,非注视区域302可以使用同一亮度显示,该亮度低于注视区域301的亮度,最低可至像素的最低显示亮度。
在第二种可能的实现方式中,非注视区域302中可以划分子区域,各子区域的亮度低于注视区域301的亮度,且,至少2个子区域的亮度不同。例如,可以以子区域与注视区域301中心点重合,且子区域的边界线与注视区域301对应的边界线距离为预设数值为原则,对非注视区域302进行子区域的划分,从而得到若干个子区域,子区域的亮度可以以注视区域301的亮度为基准,按照距离注视区域301从近到远依次降低,例如图4A中以划分为3个子区域1~3为例,假设注视区域301的亮度为a1,则子区域1的亮度可以为a2,子区域2的亮度可以为a3,子区域3的亮度可以为a4,a1>a2>a3>a4。可选地,a4可以是像素的最低显示亮度。
在第三种可能的实现方式中,按照非注视区域302中像素与注视区域301的最近边界线之间的距离从近到远逐渐降低非注视区域302中像素的显示亮度。该实现方法可以认为是将第二种可能的实现方式中子区域划分的粒度从预设数值(多个像素)降低至1个像素。
在第四种可能的实现方式中,由于上述三种可能的实现方式的耗电存在差异,因此,可以基于电子设备剩余电量的不同使用不同亮度设置方式为非注视区域设置显示亮度。举例来说,当电量高于第一数值(例如20%)时,非注视区域302的亮度依照第二种可能的实现方式设置,也即依照距离注视区域从近到远依次变暗,例如非注视区域302划分为3个子区域,按照距离注视区域的远近,亮度分别为注视区域亮度的75%、50%、0%;当电量不高于第一数值(例如20%),高于第二数值(例如10%)时,非注视区域302的亮度依照第三种可能的实现方式设置,非注视区域中像素的亮度依照距离注视区域边界线的远近逐渐变暗;当电量不高于第二数值(例如10%)时,非注视区域302的亮度直接变为0。
基于以上的亮度设置方式,在焦点区域随着用户眼球的移动而变化时,界面中的注视区域也随之发生变化,相应的,注视区域变化过程中覆盖的区域的显示亮度随之发生变化,该变化可能是亮度变大也可能是亮度变小。
举例来说,例如图4B所示,随着焦点区域300从虚线所示位置启动至实线所示位置,界面30中注视区域301从虚线所示的位置1移动至实线所示的位置2,如果预设注视区域的显示亮度为100,非注视区域的显示亮度为0,那么,其中区域401的显示亮度从0变化为100,区域402的显示亮度从100变化为0。本申请实施例在实现上述显示亮度的变化时,可以直接从原亮度(变化前亮度)变化为目标亮度(变化后亮度),也可以从原亮度渐变为目标亮度。举例来说:
区域402的显示亮度从100变化为0时,可以直接从100变为0,或者,也可以按照预设渐变步长从100渐变至0,渐变步长本申请实施例不作限定,例如渐变步长为25,则区域402的显示亮度按照以下方式渐变至0:100、75、50、25、0,渐变步长为50,则区域402的显示亮度按照以下方式渐变至0:100、50、0。需要说明的是,上述直接从100变化为0的亮度调整方式也可以认为是渐变步长为100的亮度渐变方式。
需要说明的是,从用户体验角度来说,渐变步长越小,亮度渐变越柔和,用户体验越好,但是耗电相对越高。
由于直接变化亮度至目标亮度、渐变式变化亮度到目标亮度等亮度调整方式的耗电存在差异,因此,可以基于电子设备剩余电量的不同使用不同亮度调整方式。延续前述举例,当电量高于20%时,区域402的显示亮度依照渐变步长为25渐变至0,也即亮度从100、75、50、25、0,逐渐变暗;当电量不高于20%,高于10%时,区域402的显示亮度依照渐变步长为50渐变至0,也即从亮度100、50再降低为0,快速变暗;当电量不高于10%时,区域402的显示亮度直接从100变为0,直接变暗。
基于以上图4A~图4B所示的场景,本申请实施例提供一种界面显示方法,如图5所示,该方法可以包括:
步骤501:获取用户的视频图像,根据视频图像检测到用户眼球的注视焦点位于屏幕上,计算注视焦点在屏幕上对应的焦点区域。
可选地,电子设备的屏幕正上方可以设置有摄像头,摄像头可以具有检测用户的眼球注视屏幕事件的功能,如果摄像头检测到用户的眼球注视屏幕事件,可以将该事件上报摄像头驱动,摄像头驱动获取用户的眼球图像,根据眼球图像计算注视焦点在屏幕上对应的焦点区域,将焦点区域发送至处理器。
焦点区域可以是一个预设大小的区域,该区域可以是矩形或者圆形等。
步骤502:确定当前的窗口显示类型是单窗口显示。
步骤503:根据焦点区域确定用户的注视区域,判断用户的注视区域是否发生变化,如果是,执行步骤505,如果否,执行步骤504。
其中,注视区域包括焦点区域,具体确定方法可以参考前述相关描述,这里不赘述。
其中,本申请实施例中获取用户眼球的注视焦点在屏幕上的焦点区域、进而确定注视区域一般是周期性进行的,判断用户的注视区域是否发生变化,可以将本次确定的注视区域与前一次确定的注视区域进行比较,确定注视区域是否发生了变化。
步骤504:维持注视区域和非注视区域的显示亮度不变,本分支流程结束。
步骤505:获取变化后注视区域的当前亮度和目标亮度,将变化后注视区域的亮度从当前亮度调整至目标亮度;获取变化后非注视区域的当前亮度和目标亮度,将变化后非注视区域的亮度从当前亮度调整至目标亮度。
其中,将变化后注视区域的亮度从当前亮度调整至目标亮度时,可以直接将变化后注视区域的亮度从当前亮度调整为目标亮度,也可以按照某一步长将变化后注视区域的亮度从当前亮度渐变至目标亮度。步长越大,渐变速度越快,直接将注视区域的亮度从当前亮度调整为目标亮度的实现方式也可以认为是步长最大,也即步长为目标亮度与当前亮度差值,此时,渐变速度最快。
在一种可能的实现方式中,可以根据电源的电量来使用不同渐变速度将变化后注视区域的亮度从当前亮度调整至目标亮度。举例来说,预设三种不同渐变速度的亮度调整方式,则,将注视区域的亮度从当前亮度调整至目标亮度,可以包括:
获取电源的电量;
电量不小于第一阈值,按照第一步长将变化后注视区域的亮度从当前亮度渐变至目标亮度;
电量不小于第二阈值,小于第一阈值,按照第二步长将变化后注视区域的亮度从当前亮度渐变至目标亮度;
电量小于第二阈值,将变化后注视区域的亮度直接调整为目标亮度。
第一阈值大于第二阈值,第一步长小于第二步长。
需要说明的是,如果用户眼球移动速度较慢,例如图6A所示,可能出现变化前的注视区域601与变化后的注视区域602之间存在重叠区域603的情况,此时,重叠区域603的显示亮度为目标亮度,变化后注视区域602中除重叠区域603之外的区域的显示亮度小于目标亮度,对于此种情况,可以保持重叠区域603的显示亮度不变,将注视区域602中除重叠区域603之外的区域按照上述亮度调整方式调整至目标亮度。
将变化后非注视区域的亮度从当前亮度调整至目标亮度的方法可以参考上述将变化后注视区域的亮度从当前亮度调整至目标亮度的方法,这里不赘述。需要说明的是,注视区域和非注视区域的亮度调整可以认为是独立的两个处理进程,两者的调整方式可以相同或者不同,亮度的渐变速度可以相同或者不同,本申请实施例不作限定。
需要说明的是,如果非注视区域中划分子区域,不同子区域具有不同的亮度,则在调整非注视区域的亮度时,可以将非注视区域重新划分子区域,按照子区域分别进行亮度调整,具体实现可以参考上述非注视区域具有单一亮度时的调整方式,区别仅在于将非注视区域的亮度调整细分为多个子区域的亮度调整,这里不再过多赘述。
这里,对本申请调整界面中不同区域的显示亮度的可能实现方法进行举例说明。
目前,很多电子设备使用OLED屏幕,OLED屏幕尤其是AMOLED屏幕的屏幕特性是自发光,像素点的颜色越暗,像素点耗电相对越小,尤其是像素点显示黑色时是通过关闭像素点来达成的,此时,像素点耗电最小。本申请实施例中可以利用这一特性,在屏幕显示的界面上叠加一层透明蒙版层,通过调整透明蒙版层的透明度和/或颜色值来调整屏幕显示界面中区域的亮度。
在一种实现方式中,透明蒙版层中像素的颜色可以为黑色,用RGB表示为(0,0,0),透明蒙版层中每个像素可以设置不同的透明度,则,屏幕上一个像素a的实际显示颜色是界面上该像素a的颜色与透明蒙版层中该像素a的颜色按照黑色蒙版层的透明度融合后的颜色,实际显示颜色X的计算公式可以为:X=αP+(1-α)Q,其中,α是透明蒙版层的透明度,P是界面中该像素a的颜色,Q是透明蒙版层中该像素a的颜色,如果颜色X用RGB表示为(R3,G3,B3),颜色P用RGB表示为(R1,G1,B1),颜色Q用RGB表示为(R2,G2,B2),上述实际显示颜色X的计算公式可以为R3=αR1+(1-α)R2,G3=αG1+(1-α)G2,B3=αB1+(1-α)B2。透明度越低,像素的实际显示颜色越偏向于黑色。
像素亮度(Pixel Light)Y的计算公式可以为Y=(0.299*R)+(0.587*G)+(0.114*B),RGB值越小,像素亮度越低。通过为上述透明蒙版层可以降低像素的RGB值,进而可以降低像素亮度,通过透明蒙版层中像素的透明度的设置可以调节像素亮度的调整程度。
基于以上原理,如果希望调整界面中某个像素或者某个区域的亮度,只要设置透明蒙版层中对应像素或者区域的透明度,即可以实现。
以调整透明度的方式实现界面中像素或区域的亮度调整,在另一种实现方式中,透明蒙版层的透明度可以设置为固定值,通过改变透明蒙版层中像素的RGB值来调整界面中对应像素的亮度,此时,对于上述的公式X=αP+(1-α)Q,α为固定值,界面中像素a的颜色P不变,蒙版层中像素a的颜色Q变化,则像素a的实际显示颜色X也可以得到调整。基于该原理,如果希望调整界面中某个像素或者某个区域的亮度,只要设置透明蒙版层中对应像素或者区域的颜色值(RGB),即可以实现。
基于以上原理,在又一种可能的实现方式中,也可以同时调整透明蒙版层中像素的透明度和颜色值(RGB),来调整界面中对应像素的亮度。基于该原理,如果希望调整界面中某个像素或者某个区域的亮度,只要设置透明蒙版层中对应像素或者区域的透明度和颜色值(RGB),即可以实现。
本申请实施例提供单悬浮窗场景下的界面显示方法,单悬浮窗场景如图2C所示,包括全屏窗口201和悬浮窗202。由于存在悬浮窗202,如图7所示,将界面700划分为主窗口区域701和悬浮窗区域702。悬浮窗区域702是指界面中悬浮窗202对应的区域,主窗口区域701是指界面中除悬浮窗区域702之外的区域。
现有技术中屏幕的显示亮度是根据屏幕的亮度参数确定的,因此,主窗口区域701和悬浮窗区域702的显示亮度相同。
而在本申请实施例界面显示方法中,根据焦点区域是位于主窗口区域701还是位于悬浮窗区域702,来调整主窗口区域701和悬浮窗区域702的显示亮度。
具体的,如果焦点区域位于主窗口区域701中,说明用户正在关注主窗口区域701中显示的内容,主窗口区域701是用户的注视区域,悬浮窗区域702是用户的非注视区域,本申请实施例提供注视区域和非注视区域可能的显示亮度设置方式如下:
主窗口区域701和悬浮窗区域702的显示亮度可以相同,具体显示亮度可以根据屏幕的亮度参数确定;或者,
为了突出主窗口区域701的显示内容,且降低功率消耗,主窗口区域701的显示亮度可以高于悬浮窗区域702的显示亮度;可选地,主窗口区域701的显示亮度可以根据屏幕的亮度参数确定,悬浮窗区域702的显示亮度可以部分或者全部低于主窗口区域701的显示亮度;或者,
用户在全屏窗口中使用悬浮窗来显示应用的界面,说明用户对悬浮窗中的显示内容相对更为关注,基于此,且结合降低功率消耗的目的,主窗口区域701的显示亮度可以低于悬浮窗区域702的显示亮度;可选地,悬浮窗区域702的显示亮度可以根据屏幕的亮度参数确定,主窗口区域701的显示亮度可以部分或者全部低于悬浮窗区域702的显示亮度。
如果焦点区域位于悬浮窗区域702中,说明用户正在关注悬浮窗区域702中显示的内容,悬浮窗区域702是用户的注视区域,主窗口区域701是用户的非注视区域,本申请实施例提供注视区域和非注视区域可能的显示亮度设置方式如下:
主窗口区域701的显示亮度可以低于悬浮窗区域702的显示亮度;可选地,悬浮窗区域702的显示亮度可以根据屏幕的亮度参数确定,而主窗口区域701的显示亮度可以低于悬浮窗区域702的显示亮度。
如果主窗口区域701的显示亮度低于悬浮窗区域702的显示亮度,主窗口区域701中像素点的显示亮度可以相同或者不同。以下举例说明主窗口区域701的显示亮度的可能设置方式:
在第一种可能的实现方式中,主窗口区域701可以使用同一显示亮度显示,该显示亮度低于悬浮窗区域702的亮度,最低可至屏幕中像素的最低显示亮度。
在第二种可能的实现方式中,主窗口区域701中可以划分子区域,各子区域的显示亮度低于悬浮窗区域702的显示亮度,且,至少2个子区域的显示亮度不同。具体可以参考图4A所示举例,这里不赘述。
在第三种可能的实现方式中,按照主窗口区域701中像素与悬浮窗区域702的最近边界线之间的距离从近到远逐渐降低主窗口区域701中像素的显示亮度。
在第四种可能的实现方式中,由于上述三种可能的实现方式的耗电存在差异,因此,可以基于电子设备剩余电量的不同使用不同亮度设置方式为非注视区域设置显示亮度。具体实现可以参考图3所示实施例中的对应描述。
基于以上的显示亮度设置方式,在焦点区域从主窗口区域701移动至悬浮窗区域702,或者从悬浮窗区域702移动至主窗口区域701时,由于注视区域和非注视区域的切换,主窗口区域701和/或悬浮窗区域702的显示亮度可能会随之发生变化,例如亮度增加或者亮度降低等,在主窗口区域701和/或悬浮窗区域702的显示亮度发生变化时,可以直接从原亮度(变化前亮度)变化为目标亮度(变化后亮度),也可以从原亮度渐变为目标亮度。举例来说,
假设焦点区域从主窗口区域701移动至悬浮窗区域702,焦点区域在主窗口区域701时,主窗口区域701的显示亮度为100,悬浮窗区域702的显示亮度为100,焦点区域移动到悬浮窗区域702后,主窗口区域701的亮度为0,悬浮窗区域702的亮度为100,则,检测到焦点区域位于悬浮窗区域702,主窗口区域的显示亮度需要从100变为0,主窗口区域701的显示亮度可以直接从100变为0,也可以渐变为0,渐变的步长本申请实施例不作限定,例如渐变步长为25,则主窗口区域701的亮度按照以下过程渐变至0:100、75、50、25、0,渐变步长为50,则主窗口区域701的亮度按照以下过程渐变至0:100、50、0。
由于直接变化显示亮度至目标亮度、渐变式变化显示亮度到目标亮度等亮度调整方式的耗电存在差异,因此,可以基于电子设备剩余电量的不同使用不同亮度调整方式。延续前述举例,当电量高于70%时,悬浮窗区域702显示亮度不变,主窗口区域701的显示亮度依照渐变步长为25渐变至0,也即显示亮度从100、75、50、25、到0,逐渐变暗;当电量不高于70%,高于10%时,悬浮窗区域702亮度不变,主窗口区域701的显示亮度渐变步长为50,也即从亮度100、50再降低为0,快速变暗;当电量不高于10%时,悬浮窗区域702亮度不变,主窗口区域701的显示亮度直接从100变为0,直接变暗。
基于以上图7所示的场景,本申请实施例提供的界面显示方法例如图8A所示,该方法可以包括:
步骤801:获取用户的视频图像,根据视频图像检测到用户眼球的注视焦点位于屏幕上,计算注视焦点在屏幕上对应的焦点区域。
本步骤的实现可以参考步骤501中的对应说明,这里不赘述。
步骤802:确定当前的窗口显示类型是单悬浮窗类型。
步骤803:根据焦点区域确定用户的注视区域是否发生变化,如果是,执行步骤805,如果否,执行步骤804。
注视区域是主窗口区域和悬浮窗区域中焦点区域所在的区域。
确定用户的注视区域是否发生变化,是本次获取到的焦点区域与上一周期获取到的焦点区域是否在同一区域(主窗口区域或者悬浮窗区域)。
对本申请实施例中焦点区域位于主窗口区域和悬浮窗区域中的哪个区域的判断方法进行举例说明。
在一种可能的实现方式中,可以从焦点区域中选择一个像素点,例如焦点区域的中心点,根据像素点所在的区域(主窗口区域或者悬浮窗区域)来确定用户的注视区域,例如像素点位于主窗口区域,则注视区域是主窗口区域,像素点位于悬浮窗区域,则注视区域是悬浮窗区域。
在另一种可能的实现方式中,可以计算焦点区域与主窗口区域相交的区域在焦点区域中的占比,如果占比超过50%,则注视区域是主窗口区域,否则注视区域是悬浮窗区域;同理,也可以计算焦点区域与悬浮窗区域相交的区域在焦点区域中的占比,如果占比超过50%,则注视区域是悬浮窗区域,否则注视区域是主窗口区域。
对于像素点位于主窗口区域和悬浮窗区域的边界线、或者上述占比为50%的情况,可以在电子设备中预设处理方式,比如:由于无法确定用户关注的区域,可以维持注视区域和非注视区域不变,也即主窗口区域和悬浮窗区域的显示亮度不变;或者,一般用户对悬浮窗的关注相对更多,可以在该情况下确定注视区域是悬浮窗区域;等等。
步骤804:维持主窗口区域和悬浮窗区域的显示亮度不变,本分支流程结束。
步骤805:获取悬浮窗区域的当前亮度和目标亮度,将悬浮窗区域的显示亮度从当前亮度调整至目标亮度;获取主窗口区域的当前亮度和目标亮度,将主窗口区域的显示亮度从当前亮度调整至目标亮度。
由于步骤803中确定注视区域发生变化,那么悬浮窗区域和主窗口区域均需要进行注视区域与非注视区域之间的切换,例如,悬浮窗区域从注视区域切换为非注视区域,那么主窗口区域就从非注视区域切换为注视区域,反之亦然,注视区域的变化可能带来悬浮窗区域和/或主窗口区域的显示亮度变化,电子设备可以根据注视区域是悬浮窗区域还是主窗口区域来确定两个区域的目标亮度。
需要说明的是,如果某一区域(主窗口区域或者悬浮窗区域)的当前亮度和目标亮度相同,可以不执行针对于该区域的亮度调整步骤。
其中,将悬浮窗区域的显示亮度从当前亮度调整至目标亮度时,可以直接将悬浮窗区域的显示亮度从当前亮度调整为目标亮度,也可以按照某一步长将悬浮窗区域的显示亮度从当前亮度渐变至目标亮度。步长越大,渐变速度越快,直接将悬浮窗区域的显示亮度从当前亮度调整为目标亮度的实现方式也可以认为是步长最大,也即步长为目标亮度与当前亮度差值,此时,渐变速度最快。
在一种可能的实现方式中,可以根据电源的电量来使用不同渐变速度将悬浮窗区域的显示亮度从当前亮度调整至目标亮度。举例来说,预设三种不同渐变速度的亮度调整方式,则,将悬浮窗区域的显示亮度从当前亮度调整至目标亮度,可以包括:
获取电源的电量;
电量不小于第一阈值,按照第一步长将悬浮窗区域的显示亮度从当前亮度渐变至目标亮度;
电量不小于第二阈值,小于第一阈值,按照第二步长将悬浮窗区域的显示亮度从当前亮度渐变至目标亮度;
电量小于第二阈值,将悬浮窗区域的亮度直接调整为目标亮度。
第一阈值大于第二阈值,第一步长小于第二步长。
将主窗口区域的显示亮度从当前亮度调整至目标亮度的方法可以参考上述将悬浮窗区域的显示亮度从当前亮度调整至目标亮度的方法,这里不赘述。需要说明的是,主窗口区域和悬浮窗区域的亮度调整可以认为是独立的两个处理进程,两者的显示调整方式可以相同或者不同,渐变速度可以相同或者不同,本申请实施例不作限定。
需要说明的是,如果主窗口区域中划分子区域,不同子区域具有不同的亮度,则在调整主窗口区域的亮度时,可以将主窗口区域按照子区域分别进行亮度调整,具体实现可以参考上述主窗口区域具有单一亮度时的调整方式,区别仅在于将主窗口区域的亮度调整细分为多个子区域的亮度调整,这里不再过多赘述。
本申请实施例提供多悬浮窗场景下的界面显示方法,如图2D所示,界面包括全屏窗口201、第一悬浮窗203和第二悬浮窗204,如图9所示,三个窗口将界面900划分为:主窗口区域901、第一悬浮窗区域902以及第二悬浮窗区域903。第一悬浮窗区域902是指界面中第一悬浮窗所在的区域,第二悬浮窗区域903是界面中第二悬浮窗所在的区域,主窗口区域901是指界面中除第一悬浮窗区域902和第二悬浮窗区域903之外的区域。
现有技术中界面的显示亮度根据屏幕的亮度参数确定,因此,主窗口区域901、第一悬浮窗区域902以及第二悬浮窗区域903的显示亮度相同。
在本申请实施例界面显示方法中,根据焦点区域位于主窗口区域901、第一悬浮窗区域902以及第二悬浮窗区域903中的哪个区域来调整界面中各个区域的显示亮度。
如果焦点区域位于主窗口区域901中,将主窗口区域901确定为用户的注视区域,第一悬浮窗区域902和第二悬浮窗区域903确定为非注视区域,此时用户正在关注主窗口区域901中显示的内容,本申请实施例提供以下可能的显示亮度设置方式:
用户在主窗口中使用悬浮窗来显示应用的界面,说明用户对悬浮窗中的显示内容相对更为关注,但是当前用户正在关注主窗口区域901中显示的内容,因此,无法明确用户当前关注的具体窗口区域,因此,在一种可能的实现方式中,主窗口区域901、第一悬浮窗区域902和第二悬浮窗区域903的显示亮度可以相同,具体显示亮度可以根据屏幕的亮度参数确定;或者,
为了突出主窗口区域901的显示内容,且降低功率消耗,主窗口区域901的显示亮度可以高于第一悬浮窗区域902和第二悬浮窗区域903的显示亮度;可选地,主窗口区域901的显示亮度可以根据屏幕的亮度参数确定,第一悬浮窗区域902和第二悬浮窗区域903的显示亮度可以部分或者全部低于主窗口区域901的显示亮度,第一悬浮窗区域902和第二悬浮窗区域903的显示亮度可以相同或者不同;或者,
用户在主窗口中使用悬浮窗来显示应用的界面,说明用户对悬浮窗中的显示内容相对更为关注,基于此,且结合降低功率消耗的目的,主窗口区域901的显示亮度可以低于第一悬浮窗区域902和第二悬浮窗区域903的显示亮度;可选地,第一悬浮窗区域902和第二悬浮窗区域903的显示亮度可以根据屏幕的亮度参数确定,主窗口区域901的显示亮度可以部分或者全部低于悬浮窗区域的显示亮度,第一悬浮窗区域902和第二悬浮窗区域903的显示亮度可以相同或者不同。
需要说明的是,在具体实现中,基于不同的实现目的,还可能存在其他可能的显示亮度设置方法,例如将主窗口区域901和第一悬浮窗区域902设置为同一显示亮度,第二悬浮窗区域903的显示亮度低于上述两个区域的显示亮度,等等,这里不再一一赘述。
如果焦点区域位于第一悬浮窗区域902中,将第一悬浮窗区域902确定为用户的注视区域,主窗口区域901和第二悬浮窗区域903确定为非注视区域,此时用户正在关注第一悬浮窗区域902中显示的内容,本申请实施例提供以下可能的显示亮度设置方式:
第一悬浮窗区域902的显示亮度至少高于主窗口区域901的显示亮度,其中,第一悬浮窗区域902的显示亮度可以根据屏幕的亮度参数确定,主窗口区域901的显示亮度低于第一悬浮窗区域902的显示亮度。
第二悬浮窗区域902的显示亮度可以与第一悬浮窗区域902的显示亮度相同或者低于第一悬浮窗区域902的显示亮度。
在一种可能的实现方式中,为了使得用户更容易分辨主窗口区域901和第二悬浮窗区域903,第二悬浮窗区域903的显示亮度可以高于主窗口区域901的显示亮度,低于第一悬浮窗区域902的显示亮度。
如果焦点区域位于第二悬浮窗区域903中,将第二悬浮窗区域903确定为用户的注视区域,主窗口区域901和第一悬浮窗区域902确定为非注视区域,此时用户正在关注第二悬浮窗区域903中显示的内容,本申请实施例提供的显示亮度设置方式可以参考焦点区域位于第一悬浮窗区域902时的显示亮度设置方式,区别仅在于将第一悬浮窗区域902和第二悬浮窗区域903互换,这里不赘述。
在焦点区域所在的区域发生变化,也即用户的注视区域发生变化时,例如从主窗口区域901变为第一悬浮窗区域902,从第一悬浮窗区域902变为主窗口区域901再变为第二悬浮窗区域903,等等,各个区域的显示亮度可能会随之发生变化,此时,每个区域的显示亮度的变化可以是直接变化,也可以通过渐变的方式实现,具体可以参考图3中的对应说明,这里不赘述。
举例来说,例如图10中第1幅图所示,界面初始显示亮度相同;例如图10中第2幅图所示,电子设备检测到焦点区域位于左侧的悬浮窗中,该悬浮窗对应的界面区域的显示亮度为正常亮度(也即第1幅图中的初始显示亮度),右侧悬浮窗对应的界面区域的显示亮度变低,其他界面区域的显示亮度为0;例如图10中第3幅图所示,电子设备检测到焦点区域位于右侧的悬浮窗中,该悬浮窗对应的界面区域的变为正常亮度,左侧悬浮窗对应的界面区域的显示亮度变低,其他界面区域的显示亮度为0。
基于图9所示的场景,本申请实施例提供一种界面显示方法,具体流程可以参考图8A所示的界面显示方法,与图8A所示方法的区别主要在于:注视区域从主窗口区域或者悬浮窗区域进一步扩展为:主窗口区域、第一悬浮窗区域或者第二悬浮窗区域,且三个区域的显示亮度设置方式稍有差别,具体可以参考图9中的对应说明。
本申请实施例提供分屏显示场景下的界面显示方法,如图2E所示,包括第一分屏窗口205和第二分屏窗口206,如图11A所示,两个窗口将界面110划分为第一分屏区域111和第二分屏区域112。第一分屏区域111是界面中第一分屏窗口所在的区域,第二分屏区域112是界面中第二分屏窗口所在的区域。
现有技术中界面的显示亮度根据屏幕的亮度参数确定,因此,第一分屏区域111和第二分屏区域112的显示亮度相同。
在本申请实施例界面显示方法中,根据焦点区域位于第一分屏区域111和第二分屏区域112中的哪个区域来调整上述两个区域的显示亮度。
如果焦点区域位于第一分屏区域111中,将第一分屏区域111确定为用户的注视区域,第二分屏区域112确定为非注视区域,此时用户正在关注第一分屏区域111中显示的内容,本申请实施例提供以下可能的显示亮度设置方式:
第一分屏区域111的显示亮度高于第二分屏区域112部分或者全部区域的显示亮度。可选地,第一分屏区域111的显示亮度可以根据屏幕的亮度参数确定,第二分屏区域112的显示亮度低于第一分屏区域111的显示亮度。
其中,第二分屏区域112可以划分子区域,不同子区域的显示亮度可以相同或者不同,各个子区域的显示亮度不高于第一分屏区域111的显示亮度,且至少一个子区域的显示亮度低于第二分屏区域112的显示亮度。
如果焦点区域位于第二分屏区域112,两个区域的显示亮度设置方式可以参考焦点区域位于第一分屏区域111时的说明,区别仅在于将第一分屏区域111和第二分屏区域112互换。
需要说明的是,如果焦点区域从一个区域移动至另一个区域,也即注视区域发生变化,第一分屏区域111和第二分屏区域112的显示亮度可能发生变化,每个区域的显示亮度的变化可以是直接变化,也可以通过渐变的方式实现,具体可以参考前述实施例中的对应说明,这里不赘述。
以手机中分屏显示窗口A和窗口B为例,参见图11B所示,例如图11B中第1幅图所示,界面初始显示亮度相同;例如图11B中第2幅图所示,电子设备检测到焦点区域位于窗口A中,窗口A对应的界面区域的显示亮度为正常亮度(也即第1幅图中的初始显示亮度),窗口B对应的界面区域的显示亮度变低,最低可为0;例如图11B中第3幅图所示,电子设备检测到焦点区域位于窗口B中,窗口B对应的界面区域的变为正常亮度,窗口A对应的界面区域的显示亮度变低,最低可为0。
基于图11A所示的场景,本申请实施例提供一种界面显示方法,具体流程可以参考图8A所示的方法,与图8A所示方法的区别主要在于:注视区域在第一分屏区域111和第二分屏区域112之间变化,且两个区域的显示亮度设置方式稍有差别,具体可以参考图11A中的对应说明。
本申请实施例提供平行视界场景下的界面显示方法,如图2F所示,包括第一平行视界窗口和第二平行视界窗口,如图12A所示,两个窗口将界面120划分为第一平行视界区域121和第二平行视界区域122。第一平行视界区域121是界面中第一平行视界窗口所在的区域,第二平行视界区域122是界面中第二平行视界窗口所在的区域。
本申请实施例中,图12A所示场景下第一平行视界区域121和第二平行视界区域122的显示亮度设置方式可以参考图11A中分屏显示场景下的对应说明,区别主要在于:将第一分屏区域替换为第一平行视界区域,将第二分屏区域替换为第二平行视界区域,这里不赘述。
以PAD中平行视界方式显示窗口A和窗口B为例,参见图12B所示,例如图12B中第1幅图所示,界面初始显示亮度相同;例如图12B中第2幅图所示,电子设备检测到焦点区域位于窗口A中,窗口A对应的界面区域的显示亮度为正常亮度(也即第1幅图中的初始显示亮度),窗口B对应的界面区域的显示亮度变低,最低可为0;例如图12B中第3幅图所示,电子设备检测到焦点区域位于窗口B中,窗口B对应的界面区域的变为正常亮度,窗口A对应的界面区域的显示亮度变低,最低可为0。
基于图12A所示的场景,本申请实施例提供一种界面显示方法,具体流程可以参考图8A所示的方法,与图8A所示方法的区别主要在于:注视区域在第一平行视界区域121和第二平行视界区域122之间变化,且两个区域的显示亮度设置方式稍有差别,具体可以参考图12A中的对应说明。
图13所示为本申请实施例提供的一种电子设备的软件结构框图,该软件结构适用于图3~图5所示的实施例。电子设备以图1B中将安卓(Android)系统分为四层为例,从上至下分别为应用层,框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用层(Application,App)可以包括:
屏幕显示模块,用于根据省电指令确定执行省电策略,接收电量控制模块发送的焦点区域、窗口的边界参数等信息;
界面显示模块,用于确定注视区域,显示界面,并调整界面中注视区域和/或非注视区域的显示亮度。
界面显示模块,用于显示界面。
框架层(Framework,FWK)可以包括:
窗口显示省电框架,省电框架中可以包括:
监听模块,用于监听系统库层上报的眼球注视事件,其中包括眼球图像数据;
眼球注视服务模块,用于接收到眼球注视事件,请求窗口类型管理模块判断当前窗口显示类型;
窗口类型管理模块,用于记录当前的窗口显示类型,包括:单窗口类型、多窗口类型,多窗口类型还可以进一步细分为:单悬浮窗、多悬浮窗、分屏显示、平行视界等类型;
各窗口显示类型对应的窗口管理模块,用于管理屏幕中窗口的边界参数等信息,根据图像数据计算焦点区域,将窗口的边界参数、焦点区域等信息发送至电量控制模块。
窗口管理模块可以包括:单窗口管理模块、单悬浮窗管理模块、多悬浮窗管理模块、平行视界管理模块、分屏管理模块等,分别与窗口显示类型对应。
电量控制模块,用于记录是否执行省电策略,如果执行省电策略,将省电指令、窗口的边界参数、焦点区域等信息发送至屏幕显示模块。
显示框架,用于对界面进行绘制渲染等处理。
系统库可以包括:摄像头模块和显示模块。
内核层可以包括:摄像头驱动和显示驱动。摄像头驱动用于驱动硬件层的摄像头,显示驱动用于驱动硬件层的显示屏,也即本申请实施例中电子设备的屏幕。
基于图13所示的软件结构,本申请实施例提供一种界面显示方法,如图14所示,该方法是将图5所示界面显示方法结合图13所示软件结构下的流程示意图,如图14所示,其中,相对于图13所示的软件结构,增加了注视区域确定模块,用于记录注视区域的预设尺寸,例如长宽等。
硬件层的摄像头接收到眼球注视事件,触发中断,用以通知内核层的摄像头驱动获取眼球图像数据;摄像头驱动接收到中断,获取眼球图像数据,转换为眼球注视事件,通过系统库中的摄像头模块传输至框架层的监听模块;监听模块监听到眼球注视事件,将眼球注视事件发送至眼球注视服务模块,眼球注视服务模块请求窗口类型管理模块判断当前窗口类型;窗口类型管理模块确定当前窗口显示类型为单窗口类型,将眼球注视事件发送至单窗口管理模块;单窗口管理模块确定焦点区域,将窗口的边界参数和焦点区域信息发送至电量控制模块;电量控制模块确定需要执行省电策略,将省电指令、窗口边界参数和焦点区域等信息发送至应用层的屏幕显示模块;屏幕显示模块确定接收到省电指令,将焦点区域、窗口边界参数等信息发送至注视区域确定模块;注视区域确定模块将焦点区域、窗口边界参数、注视区域尺寸发送至界面显示模块;界面显示模块确定注视区域和非注视区域,调整所显示界面中注视区域和/或非注视区域的显示亮度,具体的,界面显示模块可以通过显示框架、显示模块以及显示驱动将所需显示界面在显示屏中显示,显示屏中显示的界面中注视区域的显示亮度高于非注视区域中全部或部分区域的显示亮度。
基于图13所示的软件结构,本申请实施例提供一种界面显示方法,如图15所示,该方法是在图13所示软件结构下图8A所示方法的流程示意图,如图15所示,其中,
硬件层的摄像头接收到眼球注视事件,触发中断,用以通知内核层的摄像头驱动获取眼球图像数据;摄像头驱动接收到中断,获取眼球图像数据,转换为眼球注视事件,通过系统库中的摄像头模块传输至框架层的监听模块;监听模块监听到眼球注视事件,将眼球注视事件发送至眼球注视服务模块,眼球注视服务模块请求窗口类型管理模块判断当前窗口类型;窗口类型管理模块确定当前窗口显示类型为单悬浮窗类型,将眼球注视事件发送至单窗口管理模块;单悬浮窗管理模块确定焦点区域,将窗口的边界参数和焦点区域信息发送至电量控制模块;电量控制模块确定需要执行省电策略,将省电指令、窗口边界参数和焦点区域等信息发送至应用层的屏幕显示模块;屏幕显示模块确定接收到省电指令,将焦点区域、窗口边界参数等信息发送至界面显示模块;界面显示模块确定注视区域和非注视区域,调整所显示界面中注视区域和/或非注视区域的显示亮度,具体的,界面显示模块可以通过显示框架、显示模块以及显示驱动将所需显示界面在显示屏中显示,显示屏中显示的界面中注视区域的显示亮度高于非注视区域中全部或部分区域的显示亮度。
基于图13所示的软件结构,本申请实施例提供一种界面显示方法,如图16所示,该方法适用于图9所示场景,如图16所示,其与图15所示方法的区别主要在于:窗口类型管理模块确定当前窗口显示类型为多悬浮窗类型,将眼球注视事件发送至多窗口管理模块;多悬浮窗管理模块确定焦点区域,将窗口的边界参数和焦点区域信息发送至电量控制模;其他部分的实现可以参考前述实施例中的对应描述,这里不赘述。
基于图13所示的软件结构,本申请实施例提供一种界面显示方法,如图17所示,该方法适用于图11A所示场景,如图17所示,其与图15所示方法的区别主要在于:窗口类型管理模块确定当前窗口显示类型为分屏显示类型,将眼球注视事件发送至分屏窗口管理模块;分屏窗口管理模块确定焦点区域,将窗口的边界参数和焦点区域信息发送至电量控制模;其他部分的实现可以参考前述实施例中的对应描述,这里不赘述。
基于图13所示的软件结构,本申请实施例提供一种界面显示方法,如图18所示,该方法适用于图12A所示场景,如图18所示,其与图15所示方法的区别主要在于:窗口类型管理模块确定当前窗口显示类型为平行视界显示类型,将眼球注视事件发送至平行视界窗口管理模块;平行视界窗口管理模块确定焦点区域,将窗口的边界参数和焦点区域信息发送至电量控制模;其他部分的实现可以参考前述实施例中的对应描述,这里不赘述。
如图19所示,本申请实施例提供一种界面显示装置,该装置1900包括:检测单元1910和调整单元1920,其中,
检测单元1910,用于检测用户的眼球在第一界面中的注视区域;第一界面是电子设备的屏幕上显示的界面;
调整单元1920,用于调整第一界面的显示亮度,得到第二界面,第二界面中注视区域的亮度大于非注视区域中部分或全部区域的亮度;非注视区域是界面中注视区域以外的区域。
在一种可能的实现方式中,检测单元1910用于检测用户的眼球在界面中的注视区域,包括:
检测单元1910用于:确定用户眼球的注视焦点在界面中对应的焦点区域;根据焦点区域确定用户的眼球在界面中的注视区域。
在一种可能的实现方式中,检测单元1910用于根据焦点区域确定用户的眼球在界面中的注视区域,包括:
检测单元1910用于:根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,窗口显示类型为单窗口显示或多窗口显示。
在一种可能的实现方式中,窗口显示类型为单窗口显示,检测单元1910用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
检测单元1910用于:根据焦点区域确定注视区域,注视区域包括焦点区域。
在一种可能的实现方式中,窗口显示类型为多窗口显示,界面被窗口划分为至少2个窗口区域;检测单元1910用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
检测单元1910用于:
从至少2个窗口区域中获取第一窗口区域,第一窗口区域是至少2个窗口区域中与焦点区域的相交区域最大的窗口区域;
将第一窗口区域确定为注视区域。
在一种可能的实现方式中,窗口显示类型为多窗口显示,界面被窗口划分为至少2个窗口区域;检测单元1910用于根据焦点区域和第一界面当前的窗口显示类型确定用户的眼球在界面中的注视区域,包括:
检测单元1910用于:
确定至少2个窗口区域中各窗口区域与焦点区域的相交区域相等;
维持前一周期确定的注视区域和非注视区域不变;或者,
从至少2个窗口区域中选择一个非全屏窗口对应的窗口区域作为注视区域。
在一种可能的实现方式中,多窗口显示包括:单悬浮窗显示,和/或,多悬浮窗显示,和/或,分屏显示,和/或,平行视界显示。
在一种可能的实现方式中,调整单元1920用于调整界面的显示亮度,包括:
调整单元1920用于:获取第一目标亮度,将注视区域的亮度调整为第一目标亮度。
在一种可能的实现方式中,调整单元1920用于将注视区域的亮度调整为第一目标亮度,包括:
调整单元1920用于:
将注视区域的亮度直接调整为第一目标亮度;和/或,
将注视区域的亮度渐变至第一目标亮度。
在一种可能的实现方式中,调整单元1920用于将注视区域的亮度调整为第一目标亮度,包括:
调整单元1920用于:
获取电源的电量;
电量不小于第一阈值,按照第一步长将注视区域的亮度渐变至第一目标亮度;和/或,
电量小于第一阈值,不小于第二阈值,按照第二步长将注视区域的亮度渐变至第一目标亮度;第一阈值大于第二阈值,第一步长小于第二步长;和/或,
电量小于第二阈值,将注视区域的亮度直接调整为第一目标亮度。
在一种可能的实现方式中,调整单元1920用于调整界面的显示亮度,包括:
调整单元1920用于:获取非注视区域的亮度设置策略,按照亮度设置策略调整非注视区域的亮度。
在一种可能的实现方式中,调整单元1920用于按照亮度设置策略调整非注视区域的亮度,包括:
调整单元1920用于:根据亮度设置策略确定第二目标亮度,将非注视区域的亮度调整为第二目标亮度。
在一种可能的实现方式中,调整单元1920用于将非注视区域的亮度调整为目标亮度,包括:
调整单元1920用于:
将非注视区域的亮度直接调整为目标亮度;和/或,
将非注视区域的亮度渐变至目标亮度。
在一种可能的实现方式中,调整单元1920用于将非注视区域的亮度调整为目标亮度,包括:
调整单元1920用于:
获取电源的电量;
电量不小于第三阈值,按照第三步长将注视区域的亮度渐变至目标亮度;和/或,
电量小于第三阈值,不小于第四阈值,按照第四步长将注视区域的亮度渐变至目标亮度;第三阈值大于第四阈值,第三步长小于第四步长;和/或,
电量小于第四阈值,将注视区域的亮度直接调整为目标亮度。
在一种可能的实现方式中,亮度设置策略包括:
非注视区域划分为若干个子区域,按照若干个子区域与注视区域的距离从小到大的顺序,子区域的亮度依次降低,子区域的最大亮度小于等于第一目标亮度;或者,
按照非注视区域的像素点与注视区域的边界线的最小距离从小到大的顺序,像素点的亮度依次降低,非注视区域的像素点的最大亮度小于等于第一目标亮度;或者,
设置非注视区域的亮度为第二目标亮度,第二目标亮度小于第一目标亮度。
在一种可能的实现方式中,调整单元1920用于调整界面的显示亮度,包括:
调整单元1920用于:
在界面上增加显示透明蒙版层;
设置透明蒙版层的颜色和/或透明度,使得注视区域的亮度大于非注视区域中部分或全部区域的亮度。
本申请实施例提供一种电子设备,包括显示器和处理器;其中,处理器用于执行上述图3~图18任一实施例提供的方法。
本申请还提供一种电子设备,所述设备包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现本申请图3~图18任一实施例提供的方法。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请图3~图18任一实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请图3~图18任一实施例提供的方法。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random Access Memory;以下简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种界面显示方法,应用于电子设备,其特征在于,包括:
检测用户的眼球在第一界面中的注视区域;所述第一界面是所述电子设备的屏幕上显示的界面;
调整所述第一界面的显示亮度,得到第二界面,所述第二界面中所述注视区域的亮度大于非注视区域中部分或全部区域的亮度;所述非注视区域是所述界面中所述注视区域以外的区域。
2.根据权利要求1所述的方法,其特征在于,所述检测用户的眼球在第一界面中的注视区域,包括:
确定所述用户眼球的注视焦点在所述第一界面中对应的焦点区域;
根据所述焦点区域确定所述用户的眼球在所述第一界面中的注视区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述焦点区域确定所述用户的眼球在所述第一界面中的注视区域,包括:
根据所述焦点区域和所述第一界面当前的窗口显示类型确定所述用户的眼球在所述第一界面中的注视区域,所述窗口显示类型为单窗口显示或多窗口显示。
4.根据权利要求3所述的方法,其特征在于,所述窗口显示类型为单窗口显示,所述根据所述焦点区域和所述窗口显示类型确定所述用户的眼球在所述第一界面中的注视区域,包括:
根据所述焦点区域确定所述注视区域,所述注视区域包括所述焦点区域。
5.根据权利要求3所述的方法,其特征在于,所述窗口显示类型为多窗口显示,所述第一界面被窗口划分为至少2个窗口区域;所述根据所述焦点区域和所述窗口显示类型确定所述用户的眼球在所述第一界面中的注视区域,包括:
从所述至少2个窗口区域中获取第一窗口区域,所述第一窗口区域是所述至少2个窗口区域中与所述焦点区域的相交区域最大的窗口区域;
将所述第一窗口区域确定为所述注视区域。
6.根据权利要求3所述的方法,其特征在于,所述窗口显示类型为多窗口显示,所述第一界面被窗口划分为至少2个窗口区域;所述根据所述焦点区域和所述窗口显示类型确定所述用户的眼球在所述第一界面中的注视区域,包括:
确定所述至少2个窗口区域中各窗口区域与所述焦点区域的相交区域相等;
维持前一周期确定的注视区域和非注视区域不变;或者,
从所述至少2个窗口区域中选择一个非全屏窗口对应的窗口区域作为所述注视区域。
7.根据权利要求5或6所述的方法,其特征在于,所述多窗口显示包括:单悬浮窗显示,和/或,多悬浮窗显示,和/或,分屏显示,和/或,平行视界显示。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述调整所述第一界面的显示亮度,包括:
获取第一目标亮度,将所述注视区域的亮度调整为所述第一目标亮度。
9.根据权利要求8所述的方法,其特征在于,所述将所述注视区域的亮度调整为所述第一目标亮度,包括:
将所述注视区域的亮度直接调整为所述第一目标亮度;或者,
将所述注视区域的亮度渐变至所述第一目标亮度。
10.根据权利要求8所述的方法,其特征在于,所述将所述注视区域的亮度调整为所述第一目标亮度,包括:
获取电源的电量;
所述电量不小于第一阈值,按照第一步长将所述注视区域的亮度渐变至所述第一目标亮度;或者,
所述电量小于所述第一阈值,不小于第二阈值,按照第二步长将所述注视区域的亮度渐变至所述第一目标亮度;所述第一阈值大于所述第二阈值,所述第一步长小于所述第二步长;或者,
所述电量小于所述第二阈值,将所述注视区域的亮度直接调整为所述第一目标亮度。
11.根据权利要求8所述的方法,其特征在于,所述调整所述第一界面的显示亮度,包括:
获取所述非注视区域的亮度设置策略,按照所述亮度设置策略调整所述非注视区域的亮度。
12.根据权利要求11所述的方法,其特征在于,所述按照所述亮度设置策略调整所述非注视区域的亮度,包括:
根据所述亮度设置策略确定第二目标亮度,将所述非注视区域的亮度调整为所述第二目标亮度。
13.根据权利要求12所述的方法,其特征在于,所述将所述非注视区域的亮度调整为所述目标亮度,包括:
将所述非注视区域的亮度直接调整为所述目标亮度;和/或,
将所述非注视区域的亮度渐变至所述目标亮度。
14.根据权利要求12所述的方法,其特征在于,所述将所述非注视区域的亮度调整为所述目标亮度,包括:
获取电源的电量;
所述电量不小于第三阈值,按照第三步长将所述注视区域的亮度渐变至所述目标亮度;或者,
所述电量小于所述第三阈值,不小于第四阈值,按照第四步长将所述注视区域的亮度渐变至所述目标亮度;所述第三阈值大于所述第四阈值,所述第三步长小于所述第四步长;或者,
所述电量小于所述第四阈值,将所述注视区域的亮度直接调整为所述目标亮度。
15.根据权利要求11所述的方法,其特征在于,所述亮度设置策略包括:
所述非注视区域划分为若干个子区域,按照所述若干个子区域与所述注视区域的距离从小到大的顺序,所述子区域的亮度依次降低,所述子区域的最大亮度小于等于所述第一目标亮度;或者,
按照所述非注视区域的像素点与所述注视区域的边界线的最小距离从小到大的顺序,所述像素点的亮度依次降低,所述非注视区域的像素点的最大亮度小于等于所述第一目标亮度;或者,
设置所述非注视区域的亮度为第二目标亮度,所述第二目标亮度小于所述第一目标亮度。
16.根据权利要求1至15任一项所述的方法,其特征在于,所述调整所述第一界面的显示亮度,包括:
在所述第一界面上增加显示透明蒙版层;
设置所述透明蒙版层的颜色和/或透明度,使得所述注视区域的亮度大于非注视区域中部分或全部区域的亮度。
17.一种电子设备,其特征在于,包括:显示器和处理器;其中,所述处理器用于执行权利要求1至16任一项所述的方法。
CN202210563228.6A 2021-08-31 2022-05-20 界面显示方法和电子设备 Pending CN115729346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/114916 WO2023030168A1 (zh) 2021-08-31 2022-08-25 界面显示方法和电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202122085565 2021-08-31
CN2021220855652 2021-08-31

Publications (1)

Publication Number Publication Date
CN115729346A true CN115729346A (zh) 2023-03-03

Family

ID=85292405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210563228.6A Pending CN115729346A (zh) 2021-08-31 2022-05-20 界面显示方法和电子设备

Country Status (2)

Country Link
CN (1) CN115729346A (zh)
WO (1) WO2023030168A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372656A (zh) * 2023-09-25 2024-01-09 广东工业大学 一种用于混合现实的用户界面显示方法、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068573A (ko) * 2012-11-28 2014-06-09 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN107728770A (zh) * 2017-09-26 2018-02-23 努比亚技术有限公司 终端屏幕亮度调整方法、移动终端和计算机可读存储介质
CN110032271B (zh) * 2018-01-12 2020-07-24 京东方科技集团股份有限公司 对比度调节装置及其方法、虚拟现实设备及存储介质
CN111601373B (zh) * 2020-05-09 2023-04-25 Oppo广东移动通信有限公司 背光亮度控制方法、装置、移动终端及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372656A (zh) * 2023-09-25 2024-01-09 广东工业大学 一种用于混合现实的用户界面显示方法、设备及介质

Also Published As

Publication number Publication date
WO2023030168A1 (zh) 2023-03-09

Similar Documents

Publication Publication Date Title
WO2020259452A1 (zh) 一种移动终端的全屏显示方法及设备
EP3872609B1 (en) Application display method and electronic device
CN113645351B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
WO2021169337A1 (zh) 屏下指纹显示方法及电子设备
EP4024182A1 (en) Foldable screen display method and electronic device
WO2020134869A1 (zh) 电子设备的操作方法和电子设备
CN110956939B (zh) 调节屏幕亮度的方法及电子设备
EP4012544A1 (en) Split-screen processing method and terminal device
CN113722030B (zh) 一种显示方法、电子设备及计算机存储介质
WO2023273323A9 (zh) 一种对焦方法和电子设备
WO2022001258A1 (zh) 多屏显示方法、装置、终端设备及存储介质
WO2022143180A1 (zh) 协同显示方法、终端设备及计算机可读存储介质
EP4020965A1 (en) Photography method and electronic device
EP3951588A1 (en) Method for displaying foreground element, and electronic device
CN113438366B (zh) 信息通知的交互方法、电子设备和存储介质
WO2023030168A1 (zh) 界面显示方法和电子设备
CN115421619A (zh) 一种窗口显示方法和电子设备
CN116048831B (zh) 一种目标信号处理方法和电子设备
CN110737916A (zh) 通信终端及处理方法
WO2024153043A1 (zh) 一种投屏方法
WO2024066834A1 (zh) Vsync信号的控制方法、电子设备、存储介质及芯片
CN115480680A (zh) 多设备协同控制方法、终端设备及计算机可读存储介质
CN114596819A (zh) 亮度调节方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination