CN114510174A - 一种界面显示方法及电子设备 - Google Patents

一种界面显示方法及电子设备 Download PDF

Info

Publication number
CN114510174A
CN114510174A CN202011179164.7A CN202011179164A CN114510174A CN 114510174 A CN114510174 A CN 114510174A CN 202011179164 A CN202011179164 A CN 202011179164A CN 114510174 A CN114510174 A CN 114510174A
Authority
CN
China
Prior art keywords
electronic device
display
finger
display content
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011179164.7A
Other languages
English (en)
Inventor
殷代宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011179164.7A priority Critical patent/CN114510174A/zh
Priority to PCT/CN2021/118075 priority patent/WO2022089060A1/zh
Publication of CN114510174A publication Critical patent/CN114510174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Abstract

本申请实施例提供了一种界面显示方法及电子设备,在该方法中:电子设备接收到第一操作时,响应于第一操作,启动单手操作模式;并且在单手操作模式下,电子设备可以获取第一视点坐标和手指坐标、以及获取第一视点坐标对应的第一显示区域内的第一显示内容,并将第一显示内容显示于手指坐标对应的第二显示区域内。这样,可以实现用户单手操作操作界面中的任意内容,有效提升用户体验。

Description

一种界面显示方法及电子设备
技术领域
本申请涉及终端技术领域,尤其涉及一种界面显示方法及电子设备。
背景技术
随着终端技术的进步,电子设备的功能逐渐完善。为满足人们的视觉体验,电子设备的屏幕通常设置较大,然而用户单手操作大屏的电子设备时,由于用户手指长度的限制,导致用户体验较差。
一些电子设备提供了单手操作模式,但由于电子设备的屏幕宽度和用户的手指长度的限制,仍需要用户多个手指配合使用(比如用户想要用左手点击手机屏幕最右侧的应用图标,需要跨越整个屏幕的宽度),仍然存在用户体验差的问题。
因此,如何提供一种便捷的单手操作模式是亟需解决的问题。
发明内容
本申请提供一种界面显示方法、电子设备,用以解决现有单手操作模式中用户操作不便的问题。
第一方面,提供一种界面显示方法,该方法可以由电子设备执行,该方法包括:接收第一操作;响应于第一操作,启动单手操作模式;在单手操作模式下,获取第一视点坐标和手指坐标;获取第一视点坐标对应的第一显示区域内的第一显示内容,将第一显示内容显示于手指坐标对应的第二显示区域内。
在上述技术方案中,电子设备接收到第一操作时,响应于第一操作,启动单手操作模式;并且在单手操作模式下,电子设备可以获取第一视点坐标和手指坐标、以及获取第一视点坐标对应的第一显示区域内的第一显示内容,并将第一显示内容显示于手指坐标对应的第二显示区域内。这样,有效实现用户单手操作显示界面中的任意内容,进而有效提升用户体验。
为了提高方案的灵活性,在本申请实施例中,第一操作可以是电子设备被抬起或被摇晃;或者,针对电子设备的显示屏的点击操作或滑动操作;或者,语音指令;或者,针对电子设备的硬件按键的操作。
需要说明的是,本申请实施例中,上述提供的仅为第一操作的几种具体实现方式,此外,本申请实施例中还可以通过其它方式实现第一操作,本申请实施例对此不作限定。
在一种可能的设计中,电子设备在将第一显示内容显示于手指坐标对应的第二显示区域内之后,电子设备还可以接收在第二显示区域内的第一滑动操作,并根据第一滑动操作,确定第二显示内容,将第二显示区域内的显示内容由第一显示内容切换为第二显示内容。
在上述技术方案中,电子设备在将第一显示内容显示于手指坐标对应的第二显示区域内之后,若电子设备检测到针对第二显示区域的滑动操作,可以更新第二显示区域的显示内容,有效满足用户的操作需求,进而使得用户界面的显示更加智能。
在一种可能的设计中,电子设备在将第一显示内容显示于手指坐标对应的第二显示区域内之后,还可以获取第二视点坐标以及第二视点坐标对应的第三显示区域内的第三显示内容,将第二显示区域内的显示内容由第一显示内容切换为第三显示内容。
在上述技术方案中,电子设备在将第一显示内容显示于手指坐标对应的第二显示区域内之后,若电子设备还可以实时监测视点坐标的变化,例如,电子设备检测到第一视点坐标变化为第二视点坐标,电子设备可以获取该二视点坐标对应的第三显示区域内的第三显示内容,并将第二显示区域内的显示内容由第一显示内容切换为第三显示内容。这样,有效满足用户的操作需求,进而有效提升用户操作界面的智能性。
在一种可能的设计中,电子设备在将第一显示内容显示于手指坐标对应的第二显示区域内之前,还需要判断手指坐标在第二显示区域中对应的第一位置上是否存在应用图标或控件图标;若存在,则将第一显示内容显示于第二显示区域中的第二位置上;第二位置与第一位置相距第一预设值;若不存在,则将第一显示内容显示于第一位置上。
在上述技术方案中,电子设备在将第一显示内容显示于手指坐标对应的第二显示区域内之前,通过判断手指坐标对应的第一位置是否存在应用图标或控件图标,若第一位置存在应用图标或控件图标,则将第一显示内容显示于第二显示区域中与第一位置相距第一预设值的第二位置上;若不存在,则将第一显示内容显示于第一位置上。这样,有效避免第一显示内容覆盖第二显示区域内的其他控件图标,导致用户操作不便的情况,进而有效提升用户体验。
在一种可能的设计中,电子设备在将第一显示内容显示于手指对应的第二显示区域内之前,电子设备还可以确定用户视线停留在第一视点坐标的时长超过第二预设阈值。
在上述技术方案中,电子设备在确定用户视线停留在第一视点坐标的时长超过第二预设阈值之后,才将第一显示内容显示于手指对应的第二显示区域内。这样,有效避免误操作,进而有效提升用户操作界面显示的准确性,有效提升用户体验。
在一种可能的设计中,电子设备还可以接收针对第一显示内容中至少一个目标图标的点击操作,确定第一目标图标,执行第一目标图标对应的应用进程。
在上述技术方案中,电子设备若检测到针对第一显示内容中至少一个目标图标的点击操作,就可以确定用户想要操作的第一目标图标,进而启动第一目标图标对应的应用进程,有效提升电子设备和用户的交互效率,进而有效提升用户体验。
在一种可能的设计中,电子设备响应于第一操作,获取第一视点坐标的具体方式可以是:确定用户的眼睛与红外摄像头的第一距离,以及角膜反射光斑坐标以及瞳孔中心坐标;根据第一距离以及角膜反射光斑坐标以及瞳孔中心坐标,确定第一视点坐标。
在上述技术方案中,电子设备通过用户的眼睛与红外摄像头的第一距离、角膜反射光斑坐标以及瞳孔中心坐标里确定第一视点坐标。这样,有效提升电子设备和用户的交互效率,进而有效提升用户体验。
在一种可能的设计中,电子设备响应于第一操作,获取手指坐标,具体方式可以是:确定手指与电子设备中的红外光传感器的第二距离、手指距离电子设备的显示屏的第三距离、手指相对于红外光传感器的方位;根据第二距离和第三距离,确定手指在显示屏上的投影点与红外光传感器的第四距离;根据第四距离和方位,确定手指坐标。
在上述技术方案中,电子设备通过手指在显示屏上的投影点与红外光传感器的第四距离、手指相对于红外光传感器的方位,确定手指坐标。这样,有效提升电子设备和用户的交互效率,进而有效提升用户体验。
第二方面,提供一种电子设备,该电子设备包括用于执行第一方面中的方法的模块。
作为一种示例,该电子设备可以包括:处理器和存储器;其中,存储器用于存储一个或多个计算机程序;当存储器存储的一个或多个计算机程序被处理器执行时,使得电子设备执行如下步骤:
接收第一操作;响应于第一操作,启动单手操作模式;在单手操作模式下,获取第一视点坐标和手指坐标;获取第一视点坐标对应的第一显示区域内的第一显示内容,将第一显示内容显示于手指坐标对应的第二显示区域内。
可选的,存储器位于电子设备之外。
可选的,电子设备包括存储器,存储器与至少一个处理器相连,存储器存储有可被至少一个处理器执行的指令。
在一种可能的设计中,电子设备还包括显示屏,第一操作为:电子设备被抬起或被摇晃;或者,针对显示屏的点击操作或滑动操作;或者,语音指令;或者,针对电子设备的硬件按键的操作。
在一种可能的设计中,当存储器存储的一个或多个计算机程序被处理器执行时,还使得电子设备执行如下步骤:接收在第二显示区域内的第一滑动操作;根据第一滑动操作,确定第二显示内容,将第二显示区域内的显示内容由第一显示内容切换为第二显示内容。
在一种可能的设计中,当存储器存储的一个或多个计算机程序被处理器执行时,还使得电子设备执行如下步骤:获取第二视点坐标以及第二视点坐标对应的第三显示区域内的第三显示内容,将第二显示区域内的显示内容由第一显示内容切换为第三显示内容。
在一种可能的设计中,当存储器存储的一个或多个计算机程序被处理器执行时,还使得电子设备执行如下步骤:判断手指坐标在第二显示区域中对应的第一位置上是否存在应用图标或控件图标;若存在,则将第一显示内容显示于第二显示区域中的第二位置上;第二位置与第一位置相距第一预设值;若不存在,则将第一显示内容显示于第一位置上。
在一种可能的设计中,当存储器存储的一个或多个计算机程序被处理器执行时,还使得电子设备执行如下步骤:确定用户视线停留在第一视点坐标的时长超过第二时间阈值。
在一种可能的设计中,当存储器存储的一个或多个计算机程序被处理器执行时,还使得电子设备执行如下步骤:接收针对第一显示内容中至少一个目标图标的点击操作,确定第一目标图标,执行第一目标图标对应的应用进程。
在一种可能的设计中,电子设备还包括红外摄像头,当存储器存储的一个或多个计算机程序被处理器执行时,还使得电子设备执行如下步骤:确定用户的眼睛与红外摄像头的第一距离、角膜反射光斑坐标以及瞳孔中心坐标;根据第一距离、角膜反射光斑坐标以及瞳孔中心坐标,确定第一视点坐标。
在一种可能的设计中,电子设备还包括红外光传感器,当存储器存储的一个或多个计算机程序被处理器执行时,还使得电子设备执行如下步骤:确定手指与电子设备中的红外光传感器的第二距离、手指距离电子设备的显示屏的第三距离、手指相对于红外光传感器的方位;根据第二距离和第三距离,确定手指在显示屏上的投影点与红外光传感器的第四距离;根据第四距离和方位,确定手指坐标。
这些电子设备可以执行上述第一方面或第一方面任一种可能的设计中的方法示例中的相应功能,具体参见方法示例中的详细描述,此处不作赘述。
第三方面,提供一种计算机可读介质,该计算机可读介质存储有用于设备执行的程序代码,该程序代码被所述设备执行时,上述第一方面或第一方面任一种可能的设计中的方法将被执行。
第四方面,提供一种包含指令的计算机程序指令,当该程序指令在计算机上运行时,使得上述第一方面或第一方面任一种可能的设计中的方法被执行。
第五方面,提供一种芯片,所述芯片包括处理器与数据接口,所述处理器用于通过所述数据接口读取并执行存储器上存储的指令,使得第一方面或第一方面任一种可能的设计中的方法被执行。
在一种可能的设计中,所述芯片还可以包括所述存储器,所述存储器中存储有所述指令。
上述第三方面至第五方面中任一方面中的各种设计方案可以达到的技术效果请参照上述第一方面或第一方面任一种可能的设计中的方法可以带来的技术效果,这里不再予以重复赘述。
附图说明
图1A为用户单手操作电子设备的场景图;
图1B为本申请提供的一种手机的用户图形界面的示意图;
图1C为本申请提供的一种手机的用户图形界面的示意图;
图2A为本申请一实施例提供的手机100的硬件结构示意图;
图2B为本申请一实施例提供的手机100的软件结构示意图;
图3为本申请一实施例提供的一种界面显示方法的流程示意图;
图4A为本申请一实施例提供的手机100进入单手操作模式的操作示意图之一;
图4B为本申请一实施例提供的手机100进入单手操作模式的操作示意图之二;
图4C为本申请一实施例提供的手机100进入单手操作模式的操作示意图之三;
图4D为本申请一实施例提供的手机100进入单手操作模式的操作示意图之三;
图5为本申请一实施例提供的一种可能的确定用户视点坐标的流程示意图;
图6A为本申请一实施例提供的手机100的获取视点坐标的示意图之一;
图6B为本申请一实施例提供的手机100的获取视点坐标的示意图之二;
图6C为本申请一实施例提供的手机100的用户图形界面的示意图;
图7为本申请一实施例提供的一种可能的确定用户手指坐标的流程示意图;
图8A为本申请一实施例提供的手机100的获取手指坐标的示意图;
图8B为本申请一实施例提供的手机100的用户图形界面的示意图;
图9A为本申请一实施例提供的手机100的用户图形界面的示意图;
图9B为本申请一实施例提供的手机100的用户图形界面的示意图;
图10为本申请一实施例提供的手机100的用户图形界面的示意图;
图11为本申请一实施例提供的手机100的用户图形界面的示意图;
图12A为本申请一实施例提供的一种可能的游戏界面示意图;
图12B为本申请一实施例提供的另一种可能的游戏界面示意图;
图13为本申请一实施例提供的手机100的用户图形界面的示意图;
图14为本申请一实施例提供的一种多设备实现单手操作的用户图形界面的示意图;
图15为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
图1A中示出了用户单手操作电子设备的场景图,其中电子设备是以手机为例。图1A中的电子设备的图形用户界面(graphical user interface,GUI)电子设备101上显示有多个应用程序(application,APP)的图标。用户单手握持电子设备时,若用户需要对距离用户当前用于操作的手指较远位置处的区域(例如图1A所示操作界面101上方的APP1图标),由于用户手指长度的限制,无法对该些区域进行操作,使得用户体验较差。
为了让用户能够较为方便地单手操作电子设备,一些电子设备可以提供单手操作模式。
一种具体的示例,请参见图1B,在图1B中,电子设备检测到针对屏幕上从上到下的滑动的操作之后,响应于该操作,确定启动单手模式,将操作界面101整体缩小,并在靠近操作位置(即用户手指)的显示区域进行显示,得到图1B所示的操作界面102。在这种显示方式中,电子设备设定的操作界面102相对于操作界面101的缩小比例是固定的,若电子设备屏幕较大或用户手指较短,用户仍然存在单手操作不方便的问题。
另一种具体的示例,请参见图1C,电子设备在预设时长内检测到针对该电子设备的起始键的连续两次点击操作时,将电子设备的操作界面101下移到该电子设备的显示屏下方显示,得到操作界面103,但这种方式中仅仅是纵向缩小操作界面101,横向并未缩小操作界面101,用户仍然很难操作横向距离用户手指较远的区域。例如在图1C中,用户右手持电子设备,右手的拇指是无法触摸到APP1图标所在的区域的,仍然存在用户体验差的问题。
鉴于此,本申请实施例提供了一种界面显示方法,在电子设备检测到第一操作之后,进入单手操作模式,在单手操作模式下,电子设备获取手指坐标和第一视点坐标,并将第一视点坐标对应的第一显示区域内的第一显示内容显示在手指坐标对应的第二显示区域(即手指的可操作范围)。这样,用户只需要控制视点位置,就可以在同一区域单手操作位于操作界面中任意位置的应用图标或控件图标,提升了用户体验。该技术方案的具体实现方式将在后文详细介绍。
首先,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
本申请实施例涉及的应用程序(application,简称app),为能够实现某项或多项特定功能的软件程序。通常,电子设备中可以安装多个应用程序。比如,相机应用、图库应用、短信应用、彩信应用、各种邮箱应用、微信、腾讯聊天软件(QQ)、WhatsApp Messenger、连我(Line)、照片分享(instagram)、Kakao Talk、钉钉等。下文中提到的应用程序,可以是终端出厂时已安装的应用程序,也可以是用户在使用电子设备的过程中从网络下载或其他终端获取的应用程序。
本申请实施例涉及的操作界面,也可以称为用户界面(User Interface,UI)或图形界面,或者其它名称,操作界面是电子设备与用户进行人机交互的界面,电子设备可以通过操作界面向输出信息,例如显示图像或文字等,还可以通过操作界面接收用户的操作,例如接收用户的触摸操作。比如,图1A中的操作界面101,或图1B中的操作界面102,或图1C中的操作界面103,或图9A或图9B中的操作界面901,或图10中的操作界面1001,或图11中的操作界面1101等都是操作界面。
本申请实施例涉及的应用图标,是具有明确指代含义的图形,明确指代一个应用。应用图标可以显示在电子设备的桌面(或者称为主屏幕界面上)。电子设备检测到针对这些应用图标的点击操作,可以运行相应的应用程序,启动相应的应用进程。例如,假设图1A中的APP1图标为微信的应用图标,手机检测到针对APP1图标的点击操作时,运行微信,启动微信。
本申请实施例涉及的控件图标(简称控件),可以是某个应用的界面内用于实现该应用的某个具体功能的图标,电子设备检测到针对该控件图标的点击操作,可以启动该某个应用下对应的子进程。例如,图12A中在游戏应用已启动时,手机检测到针对游戏应用操作界面中的控件①的点击或长按操作,可以启动该游戏应用中控制游戏人物的前进方向的进程。
本申请实施例涉及的单手操作模式,是为了方便用户可以单手操作显示界面中的任意图标而设置的一种界面显示模式,在这种界面显示模式中,电子设备可以将用户的视点坐标对应的显示区域内的显示内容显示到该用户的手指坐标对应的显示区域内。例如,图9A中将视点坐标对应的APP8图标显示到手指坐标对应的显示区域,即图9A的(b)中所示操作界面901。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例涉及的多个,是指大于或等于两个。需要说明的是,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。且在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
以下介绍用于执行本申请实施例提供的界面显示方法的电子设备、用于这样的电子设备的图形用户界面(graphical user interface,GUI)、和用于使用这样的电子设备的实施例。在本申请一些实施例中,电子设备可以是包含显示屏的便携式终端,诸如手机、平板电脑等。便携式电子设备的示例性实施例包括但不限于搭载
Figure BDA0002749636930000061
或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备,例如数码相机。还应当理解的是,在本申请其他一些实施例中,上述电子设备也可以不是便携式电子设备,而是具有显示屏的台式计算机等。
通常情况下,电子设备可以支持多种应用。比如以下应用中的一个或多个:通讯应用、即时消息收发应用、游戏应用等。其中,即时消息收发应用可以有多种。比如微信(Wechat)、微博、腾讯聊天软件(QQ)、WhatsApp Messenger、连我(Line)、照片分享(Instagram)、Kakao Talk、钉钉等。用户通过即时消息收发应用,可以将文字、语音、图片、视频文件以及其他各种文件等信息发送给其他联系人(或其它联系人);或者,用户可以通过即时消息收发应用实现与其他联系人的视频或音频通话。
下文以电子设备是手机为例,图2A示出了手机100的结构示意图。
手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,方向传感器180C,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,触摸传感器180K,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
处理器110可以运行本申请实施例提供的界面显示方法的软件代码,实现手机100的单手操作模式。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为手机100充电,也可以用于手机100与外围设备之间传输数据。
充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,手机100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、视频、应用图标、控件图标等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organiclight-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flexlight-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,手机100可以包括1个或N个显示屏194,N为大于1的正整数。示例性的,显示屏194可以用于显示本申请实施例提供的操作界面(例如图9A所示的操作界面901),以及操作界面中的应用图标或控件图标。
摄像头193用于捕获静态图像或视频。摄像头193可以包括前置摄像头和后置摄像头。示例性,摄像头193可以用于捕捉用户的人脸图像。可选的,前置摄像头可以是红外摄像头,可以用于捕捉用户的眼睛反射回来的红外光,并生成眼睛的深度图像。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,以及至少一个应用程序(比如游戏应用,微信应用等)的软件代码等。存储数据区可存储手机100使用过程中所产生的数据(比如图像、视频等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
内部存储器121还可以存储本申请实施例提供的界面显示方法的软件代码,当处理器110运行所述软件代码时,执行界面显示方法的流程步骤,实现单手操作模式。
内部存储器121还可以存储电子设备在运行过程中生成或接收到的信息,例如用户自定义的进入单手操作模式的快捷手势信息、人脸图像、视点坐标、手指坐标、指纹信息等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
当然,本申请实施例提供的界面显示方法的软件代码也可以存储在外部存储器中,处理器110可以通过外部存储器接口120运行所述软件代码,执行界面显示方法的流程步骤,实现单手操作模式。手机100采集到的用户的人脸信息、视点坐标、手指坐标等也可以存储在外部存储器中。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如接听电话,录音等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。在一些实施例中,手机100可以通过压力传感器180A检测针对显示屏194或针对显示屏194所显示的操作界面中的应用图标的点击操作。在另一些实施例中,压力传感器180A可以用于检测骨关节针对显示屏194的滑动操作确定的快捷手势,例如,图4B中的快捷手势字母“Z”、“C”。
陀螺仪传感器180B可以用于确定手机100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定手机100围绕三个轴(即,x,y和z轴)的角速度,进而确定手机100是否被抬起。
方向传感器180C可以检测手机100的绝对姿态值,进而确定手机100的角度变化。
加速度传感器180E可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。在一些可能的实施例中,还可以和方向传感器180C一起,检测手机100是否被抬起。
距离传感器180F,用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,手机100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。手机100通过发光二极管向外发射红外光。手机100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定手机100附近有物体。当检测到不充分的反射光时,手机100可以确定手机100附近没有物体。手机100可以利用接近光传感器180G检测用户手持手机100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
可选的,接近光传感器180G为红外光传感器时,还可以通过红外发光二极管获取用户眼睛与屏幕194的距离、以及用户手指相对于显示屏194的坐标。
指纹传感器180H用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。在一种可能的实施例中,指纹传感器180H的大小可以与显示屏194一样大,手机100获取到用户的手指坐标之后,显示屏194在手指坐标对应的显示区域显示指纹解锁的图案,手机100检测到针对该指纹解锁图案的点击操作,启动指纹传感器180H,指纹传感器180H开始采集用户的指纹信息,指纹传感器180H将采集到的指纹信息发送至处理器100,处理器100根据内部存储器121所存储的用户指纹信息对该指纹信息进行匹配,若匹配成功,则启动解锁的应用进程,若匹配不成功,继续保持锁屏模式。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于手机100的表面,与显示屏194所处的位置不同。例如,触摸传感器180K检测到针对显示屏194的触摸动作,可以确定用户的手指坐标。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入,产生与手机100的用户设置以及功能控制有关的键信号输入。在一种可能的实施例中,手机100在预设时长内检测到针对按键190的多次点击操作,启动手机100的单手操作模式。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如接听电话,音频播放等)的触摸操作,可以对应不同的振动反馈效果。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和手机100的接触和分离。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
以上介绍了手机100的硬件结构,下面介绍手机100的软件架构。
具体的,手机100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(android)系统为例,示例性说明手机100的软件结构。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。
请参见图2B,在一些可能的实施例中,将Android系统分为四层,从上至下分别为应用程序(Applications)层(本文中简称“应用层”),应用程序框架(ApplicationFramework)层(本文中简称“框架层”),安卓运行时(Android runtime)和系统库层(本文中简称“系统运行库层”),以及内核层。
其中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、联系人程序、短信程序、时钟程序、相机应用等;也可以是第三方开发者所开发的应用程序,比如即时通信程序、相片美化程序、游戏程序等。当然,在具体实施时,应用程序层中的应用程序包不限于以上举例,实际还可以包括其它应用程序包,本申请实施例对此不做限制。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。
如图2B所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,控制显示窗口变化。例如,图9A、图9B中选取部分显示内容以单独的显示窗口显示(例如操作界面901),又例如,在图11中手机100检测到针对操作界面1101(即显示窗口)的滑动操作,将操作界面1101中的图标缩小或放大显示。窗口管理器还可以判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面(例如图1B所示的操作界面101,或图9A所示的操作界面901)可以由一个或多个视图组成的。
电话管理器用于提供手机100的通信功能。例如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
示例性的,如图4D所示,在手机100检测到针对显示屏194显示的操作界面301的多次点击操作,但未触发任何应用进程时,通知管理器控制显示194,显示对话框302。
系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
内核层是硬件和软件之间的层。如图2B所示,内核层至少包含显示驱动和传感器驱动(如红外光传感器,触摸传感器、压力传感器等)、摄像头驱动,音频驱动等。
为了便于理解,本申请以下实施例将以具有图2A和图2B所示结构的手机100为例,结合附图对本申请实施例提供的界面显示方法进行具体阐述。
请参见图3所示,图3为本申请实施例提供的界面显示方法的流程示意图。如图3所示,该方法可以包括以下几个步骤:
S301:手机100接收第一操作,响应于第一操作,进入单手操作模式。
第一操作为触发手机100进入单手操作模式的操作。
手机100接收到第一操作,后手机100中的处理器110可以控制显示屏194以单手操作模式显示可供用户单手操作的操作界面,在该操作界面中的任意图标(例如,应用图标、某个应用内的参数控件图标、功能控件图标等等),用户均可以实现单手操作。具体方案参见后文的介绍。
其中,第一操作的具体实现方式有多种,包括但不限于以下几种:
方式1,抬起手机100。
在方式1中,第一操作为抬起手机100被抬起的操作。
示例性的,手机100可以通过加速传感器180E和方向传感器180C检测手机100是否被抬起。
具体的,手机100被抬起时,加速传感器180E将检测到的信号转换成处理器110能够处理的信息并传递给处理器110,处理器110中运行的内核层基于该信息生成对应的加速度数据;方向传感器180C将检测到的信号转换成处理器110能够处理的信息并传递给处理器110,处理器110中运行的内核层基于该信息生成手机100相对于其自身水平轴的角度变化数据;内核层确定该加速度数据与预设的加速度数据的差值超出预设阈值、以及确定该角度变化数据满足预设条件(例如角度值会从0变化到180),则确定手机100被抬起,处理器110控制显示屏194进入单手操作模式。
可选的,在手机100检测到手机100被抬起之后,还可以继续检测是否存在针对手机100的显示屏194的点击操作或摇晃操作,若存在,再进入单手操作模式。这样可以有效地避免用户误操作,进而提升用户体验。
示例性的,请参见图4A所示,手机100通过加速传感器检180E测到手机100被抬起,且检测到针对显示屏194的双击动作或摇晃动作,处理器110控制显示屏194进入单手操作模式。
方式2,快捷手势。
在方式2中,第一操作为用户自定义的快捷手势。
示例性的,手机100可以通过压力传感器180A检测该快捷手势。
具体的,压力传感器180A将检测到的信号转换成处理器110能够处理的信息并传递给处理器110,处理器110中运行的内核层基于该信息生成操作对应的位置数据(具体可以包括触点坐标、触点坐标对应的时间戳等);内核层根据第一预设时长内采集到的手指位置数据,绘制快捷手势的数据,并判定该快捷手势的数据与内部存储器121中存储的预设快捷手势的数据是否匹配,若匹配,处理器110控制显示屏194进入单手操作模式。
示例性的,请参见图4B,假设手机100的内部存储器121存储有用户根据自己的喜好定制的快捷手势(字母Z和字母C)。如图4B中的(a)所示,当手机100中的处理器110通过压力传感器180A检测到字母Z时,处理器110控制显示屏194进入单手操作模。如图4B中的(b)所示,当手机100中的处理器110通过压力传感器180A检测到字母Z时,处理器110控制显示屏194进入单手操作模式。
方式3,语音指令。
在方式3中,第一操作可以是声音信息。
具体的,音频模块170将检测到的声音信号转换成处理器110能够处理的信息并传递给处理器110,处理器110中运行的内核层基于该信息生成操作对应的声音指令数据。内核层将预设时长内采集到的声音指令数据与预设的声音指令数据进行匹配,若匹配成功,处理器110控制显示屏194进入单手操作模式;若匹配不成功,则保持原来的显示模式。
示例性的,请参见图4C,假设手机100的内部存储器121存储有预设语音指令“开启单手模式”,当手机100中的处理器110通过音频模块170检测到“开启单手模式”的语音指令时,处理器110控制显示屏194进入单手操作模式。
方式4,按键操作。
在方式4中,第一操作可以是针对手机100的硬件控件(例如按键190)的操作。
按键190可以是电源键,也可以是音量键,本申请实施例不作限定。具体的,第一操作可以是手机100在预设时长内检测到的针对按键190的两次点击操作,或者,三次点击操作,或者,触摸操作,本申请实施例不作具体的限定。
示例性的,手机100在预设时长内检测到针对电源键的两次点击操作时,处理器110控制显示屏194进入单手操作模式。
方式5,点击操作或触摸操作。
在方式5中,第一操作可以为预设时长内针对显示屏194的多次点击操作或触摸操作。具体的,在显示屏194中的触摸传感器180K检测到该多次点击操作和触摸操作,触摸传感器180K将检测到的信号转换成处理器110能够处理的信息并传递给处理器110,处理器110确定该多次点击操作或触摸操作,未触发任何应用进程,处理器110控制窗口管理器输出用于询问用户是否进入单手操作模式的对话框(请参见图4D所示的对话框402),若处理器110检测到确定指令,控制显示屏194进入单手操作模式,若处理器110检测到否定指令,控制显示屏194保持原来的显示模式。
以上提供的五种方式,用户均可以在手机100的设置应用程序中的辅助功能中,根据自己的需求自行设置。
应理解,上述五种方式仅为举例而非限定,在实际应用中还可以有其它具体实现方式。
S302:手机100获取视点坐标和手指坐标。
应理解,本申请实施例中的视点坐标用于表征用户的视线落在手机100的显示屏194的具体位置。
视点坐标系可以是一个二维坐标系,该二维坐标系对应的二维平面可以是手机100的显示屏194所在的平面,手机100获取用户的视点坐标的具体实现方式有多种,例如,基于瞳孔角膜向量反射技术、基于3D眼球模型的视觉跟踪技术等等。
可选的,在手机100确定视点坐标之后,还可以判断该用户视线驻留在该视点坐标所在的位置的时间是否超过第一时间阈值,若超过,手机100再获取用户的手指坐标;若未超过,手机100继续检测新的视点坐标,直到出现用户视线驻留时间超过该第一时间阈值的视点坐标,再获取用户的手指坐标。这样,获取到的视点坐标更为准确,更接近用户实际想要操作的目标的视点坐标。
应理解,本申请实施例中的手指坐标用于表征用户手指的投影落在手机100的显示屏194上的位置信息或用户手指与显示屏194的接触点在显示屏194上的位置信息。
可以理解的是,用户的手指坐标可以是三维坐标,也可以是二维坐标,本申请的实施例不作具体的限定。当手指坐标为二维坐标时,手指坐标系和视点坐标系可以是同一个坐标系。
其中,手机100获取手指坐标的具体实施方式有多种,本申请不做限制。
示例1,手机100通过触摸传感器180K检测触摸操作对应的位置数据(具体可以包括触点坐标、触点坐标对应的时间戳等),进而确定用户的手指坐标。
示例2、手机100通过红外光学传感器向外发射红外线,检测手指反射回来的红外光,确定用户的手指坐标。
S303:手机100获取视点坐标对应的第一显示区域的第一显示内容,显示到手指坐标对应的第二显示区域。
具体的,手机100获取到该用户的视点坐标和手指坐标之后转换成处理器110能够处理的信息,处理器110控制处理器110运行的应用程序框架层中的窗口管理器获取该视点坐标对应的第一显示区域的第一显示内容,并根据该第一显示内容生成新的显示窗口;处理器110控制显示屏194在手指坐标对应的第二显示区域显示该新的显示窗口。
在一种可能的实施方式中,第一显示区域可以是以视点坐标为圆心,半径为第一预设值的圆形显示区域;在另一种可能的实施方式中第一显示区域可以是以视点坐标为中心、边长为第二预设值的正方形的显示区域。当然,以上两种仅为举例而非限定。
可选的,第一显示内容可以包括至少一个应用图标或控件图标。具体内容可以根据视点坐标所在的第一显示区域的显示内容确定。
可选的,手机100在检测到针对第一显示内容内的任一应用图标或控件图标的点击操作,手机100将该图标确定为目标图标,启动目标图标对应的进程。
可选的,在手机100确定视点坐标和手指坐标之后,还可以判断该用户视线驻留在该视点坐标所在的位置的时间是否超过第二时间阈值,若超过,手机100再将第一显示内容显示到第二显示区域;若未超过,手机100继续检测新的视点坐标,直到出现用户视线驻留时间超过该第二时间阈值的视点坐标,手机100再将第一显示内容显示到第二显示区域。这样,获取到的第一显示内容更为准确,更接近用户实际想要操作的显示内容。
通过上述可知,在本申请实施例中,手机100检测到第一操作之后,进入单手操作模式,在单手操作模式下,手机100可以获取用户的视点坐标和手指坐标,并将该视点坐标对应的第一显示区域内的第一显示内容显示到手指坐标对应的第二显示区域。有效解决用户单手不便手机的技术问题,有效提升用户体验。
下面介绍本申请实施例提供的一种确定视点坐标的方法。请参见图5,该方法包括:
S501:手机100检测用户的人脸图像。
具体的,手机100中的处理器110启动摄像头193,摄像头193拍摄手机100周围的环境图像数据,并将该环境图像数据转换转化为处理器110能够处理的信息并传递给处理器110;处理器110确定该环境图像数据中是否存在人脸数据,若存在人脸数据,处理器110继续执行S502;若不存在人脸数据,处理器110控制显示屏194退出单手操作模式。
可选的,在手机100执行步骤S502之前,还可以进一步验证用户身份的合法性。其中,验证用户身份的合法性的具体实施方式包括但不限于以下三种方式:
方式1:手机100中的处理器110判断环境图像数据中的人脸图像与已存储的人脸图像是否匹配,若匹配,执行S402;若不匹配,控制显示屏194退出单手操作模式。
方式2:手机100中的处理器110检测用户的声纹信息,并判断当前用户的声纹信息与已存储的声纹信息是否匹配,若匹配,执行S402;若不匹配,控制显示屏194退出单手操作模式。
方式3:手机100中的处理器110检测用户的虹膜信息,并判断当前用户的虹膜信息与已存储的虹膜信息是否匹配,若匹配,执行S402;若不匹配,控制显示屏194退出单手操作模式。
S502:手机100确定该用户的眼睛与红外摄像头的距离,以及角膜反射光斑坐标以及瞳孔中心坐标。
具体的,请参见图6A,手机100中的处理器110启动内核层的红外光传感器、设置于显示屏194上边缘中心的红外摄像头;红外光传感器180G控制其内部的红外发光二极管向该用户的人脸发射红外线;红外摄像头捕捉该用户的眼睛返回的光线,并将该光线数据转换转化为处理器110能够处理的信息并传递给处理器110;处理器110根据该信息,控制处理器110运行的系统库中的图像处理库生成该用户眼睛的深度图像;处理器110根据内部存储器121存储的算法(例如,坐标变换算法)对该深度图像进行处理,进而确定出该用户的眼睛与红外摄像头的距离;当该用户眼睛相对于红外摄像头眼动时,处理器110还可以根据瞳孔分割、瞳孔粗定位、边缘提取、边缘拟合等算法,确定出角膜反射光斑坐标以及瞳孔中心坐标。
S503:手机100根据该距离以及角膜反射光斑坐标以及瞳孔中心坐标,确定该用户的视点坐标。
在一种可能的实施方式中,请参见图6A,手机100以显示屏194上边缘中心点为原点,显示屏194上边缘为Y轴,经过显示屏194上边缘中心点且垂直于显示屏194上边缘的直线作为X轴,手机100根据该用户的眼睛与红外摄像头的距离、角膜反射光斑坐标以及瞳孔中心坐标,就可以确定出该用户的视线相对于显示屏194的位置(即视点坐标)。具体的,处理器110可以获取眼睛的深度图像中角膜反射光斑相对瞳孔中心的偏移量,并根据预设的偏移量与视点坐标的映射关系,确定用户的视线在世界坐标系中的第一坐标;处理器110再根据该用户的眼睛与红外摄像头的距离对第一坐标进行矩阵转换,进而得到该用户的视线相对于显示屏194的视点坐标(Ex,Ey)。处理器110确定该视点坐标对应的位置信息,控制显示屏194在该视点坐标对应的位置,显示提示信息(例如,光标)。
在另一种可能的实施方式中,请参见图6B,手机100的处理器110启动人眼视点跟踪传感器,人眼视点跟踪传感器获取视点坐标(Ex,Ey)并转换转化为处理器110能够处理的信息并传递给处理器110;处理器110确定该视点坐标对应的位置信息,控制显示屏194在该视点数据对应的位置,显示提示信息(例如,悬浮图标)。
可选的,人眼视点跟踪传感器并获取到的视点坐标转换转化为处理器110能够处理的信息并传递给处理器110;处理器110控制处理器110运行的应用程序框架层中的窗口管理器获取该视点坐标对应的预设范围内的显示内容。示例性的,请参见图6C,处理器110确定该视点坐标落在APP8图标,则手机100获取图标APP8对应的显示信息(即虚线框的内容)。
下面介绍本申请实施例提供的一种确定手指坐标的方法。请参见图7,该方法包括:
S701:手机100向该用户的手指发射红外线。
可选的,手机100在执行S701~S702之前,手机100中的处理器110可以控制手机100的前置摄像头启动,前置摄像头开始采集周围的环境图像数据,并将该环境图像数据转换转化为处理器110能够处理的信息并传递给处理器110;处理器110执行内部存储器121存储的手指识别程序,若确定该环境图像数据中存在多个手指,且该多个手指中包括用户的大拇指,处理器110执行S701~S702,获取该大拇指的坐标;若确定该环境图像数据中仅存在一个手指,处理器110执行S701~S702,获取该手指的坐标。
可选的,该用户的手指可以是距离显示屏194最近的一个手指。
具体的,手机100在向该用户的手指发射红外线之前,通过手机100内置的手势跟踪传感器确定该手指距离屏幕194的距离是否小于预设值,若小于该预设值,手机100执行步骤S701,若不小于该预设值,手机100中的处理器控制显示屏194退出单手操作模式。
S702:手机100接收该手指反射回来的红外光。
具体的,手机100中的处理器110启动处理器110运行的内核层中的红外光学传感器,红外光学传感器控制其内部的红外发光二极管向该用户的手指发射红外线,并接收该手指返回来的红外光。
S703:手机100根据手指反射回来的红外光,确定手指的坐标。
具体的,请参见图8A,红外光传感器设置于显示屏194上边缘中心点,红外光传感器中的两个红外发光二极管分别设置于显示屏194上边缘的中心点两侧。红外传感器接收到手指反射回来的红外光信息后,手机100中的处理器110可以根据公式S=((t2-t1)c)/2确定该手指与红外光传感器的第一距离,其中,t1为红外传感器向手指发射红外线的时刻,t2为红外传感器接收到手指反射的红外光的时刻,c为光速,S为该手指与红外光传感器的第一距离。
进一步,处理器110根据内置的手势跟踪传感器获取该手指距离显示屏194的第二距离,处理器110对第一距离和第二距离进行几何运算,得到该手指在显示屏194上的投影点与显示屏194上边缘中心点的第三距离;处理器110控制红外摄像头拍摄该手指的图像,根据该图像确定该手指相对于红外光传感器的方位;进而处理器110可以确定该手指相对于显示屏194中心点(即红外光传感器)的坐标和该手指相对于红外光传感器的方位,确定手指坐标。例如,如图8A所示,第二距离为Ez,第三距离为Ex,用户手指位于红外光传感器的正北方向,则手指坐标为(Ex,0,Ez)。这里的手指坐标为三维坐标。请参见图8B,在确定该用户的手指坐标之后,可以在手机100的显示屏194中显示相应的图标。
可选的,手机100在未解锁状态下,手机100也可以上述红外光传感器获取用户的手指坐标,并且控制显示屏194在该手指坐标对应的可操作界面显示指纹解锁图标。手机100的触摸传感器180K检测到针对该解锁图标的触摸操作,将该触摸操作转换成一个电信号,由内核层驱动指纹传感器180H,由指纹传感器180H采集用户的指纹,将该指纹和已存储指纹进行匹配,并在匹配成功之后,进入解锁模式。通过该实施方式,指纹解锁的位置无需固定在固定的位置,有效提升用户体验。
下面结合本申请实施例提供的界面显示方法,示例性说明电子设备的软件以及硬件的工作流程。
触摸传感器180K检测到对显示屏194的滑动触摸操作,将检测到的信号转换成处理器110能够处理的信息并传递给处理器110,处理器110中运行的内核层基于该信息生成操作对应的位置数据(具体可以包括触点坐标、触点坐标对应的时间戳等);处理器110确定该多次点击操作或触摸操作,未触发任何应用进程,处理器110控制窗口管理器输出用于询问用户是否进入单手操作模式的对话框(请参见图4D所示的对话框302),若处理器110检测到确定指令,控制显示屏194进入单手操作模式,手机100启动红外摄像头,获取红外图像,并将红外图像传递至处理器110,处理器110对根据该红外图像确定用户的视点坐标和手指坐标,并将该视点坐标和手指坐标传递至应用程序框架层,框架层中的视图系统获取该视点坐标对应的第一显示区域内的第一显示内容,以及该手指坐标对应的第二显示区域,将第一显示内容显示于该第二显示区域。
当然,以上只是以第一操作为触摸传感器180K检测到的滑动触摸操作为例,来对本申请实施例提供的界面显示方法进行举例说明。具体实施时还可以有其它实现方式,本申请实施例对此不做限制。
更为更好地理解本申请实施例提供技术方案,下面结合几个具体的应用场景来介绍本申请实施例中的单手操作模式下的界面显示方法。
场景1-启动应用。
在场景1中,手机100将视点坐标对应的第一显示区域内的第一显示内容显示到手指坐标对应的第二显示区域的具体实施方式有多种,包括但不限于以下方式:
方式1,手机100中的处理器110确定视点坐标对应的位置和某个APP图标的位置重叠时,将该某个APP图标确定为第一显示内容,将该第一显示内容显示到手指坐标的对应的第二显示区域。
示例性的,请参见图9A,在图9A的(a)中,手机100中的处理器110确定视点坐标对应的位置与APP8图标的位置重叠,手机100将APP8图标作为第一显示内容,控制显示屏194将其显示到手指坐标对应的第二显示区域即图9A的(b)中的操作界面901。
可选的,手机100可以实时监测视点坐标的变化,即实时获取新的视点坐标对应的第一显示区域内的第三显示内容,并将手指坐标对应的第二显示区域内的显示内容由第一显示内容切换为第三显示内容。
示例性的,请参见图9B,假设手机100在第一时刻检测到视点坐标所在的位置对应APP8图标,在第二时刻检测到视点坐标所在的位置对应APP9图标,则第一时刻在手指坐标对应的操作界面901显示APP8图标,第二时刻在手指坐标对应的操作界面901显示APP9图标。
在本申请实施例中,手指坐标对应的第二显示区域(例如操作界面901)内的显示内容可以实时地随着视点坐标的变化而变化。
方式2,手机100中的处理器110确定视点坐标所在位置未与任何APP图标的位置重叠时,将与视点坐标所在位置距离为预设值的APP图标确定为第一显示内容,并将该第一显示内容显示到手指坐标的对应的第二显示区域。
示例性的,请参见图10,在图10(a)中,手机100获取到视点坐标、手指坐标之后,处理器110确定该视点坐标位于APP8图标和APP13图标之间,则处理器110将APP8图标和APP13图标确定为第一显示内容,并将图标APP8和图标APP13显示到该手指坐标对应的第二显示区域,即图10(b)中所示的操作界面1001。
可选的,手机100将第一显示内容显示到第二显示区域之后,检测到针对第二显示区域的滑动操作,手机100中的处理器110可以控制显示屏194在第二显示区域显示新的显示内容。
示例性的,在图10(c)中,手机100检测到针对操作界面1001的滑动操作(左右滑动、上下滑动等等),在操作界面1001显示APP8图标、APP9图标、APP13图标、APP14图标。
可选的,手机100将第一显示内容显示到第二显示区域之后,检测到针对第二显示区域的滑动操作或触摸操作,手机100中的处理器110可以控制显示屏194在第二显示区域显示以预设的缩放比例进行缩放后的第一显示内容。其中,缩放比例也可以是用户在使用手机100时通过语音指令设定的。
示例性的,请参见图11,在图11的(a)中,手机100获取到视点坐标、手指坐标之后,手机100中的处理器110确定该视点坐标位于APP8图标和APP13图标之间,处理器110将APP8图标和APP13图标作为第一显示内容,并将图标APP8和图标APP13显示到该手指坐标对应的操作界面1101。在图11的(b)中,手机100检测到针对操作界面1101的一次触摸操作,将APP8图标和APP13图标以预设的放大比例显示到操作界面1101;在图11的(c)中,手机100在预设时长内检测到针对操作界面1101的两次触摸操作,将APP8图标和APP13图标以预设的缩小比例显示到操作界面1101。
场景2-游戏界面的控件。
在场景2中,进一步以手机100为例,介绍手机100将视点坐标对应的显示内容显示到手指坐标对应的显示区域的过程。具体的,手机100在将视点坐标对应的显示内容显示于手指坐标对应的第二显示区域内之前,还包括:判断手指坐标在其对应的第二显示区域中对应的第一位置是否存在应用图标或控件图标;若存在,将该显示内容显示于第二显示区域的第二位置;若不存在,将该显示内容显示于第一位置,其中,第二位置与第一位置相距第一预设值。
请参见图12A中的(a)所示,图12A中的(a)给出了一种可能的游戏界面示意图,在该游戏界面中设置了控件①、控件②、控件③、控件④、控件⑤、控件⑥、控件⑦;其中,手机100检测到针对控件①、控件②、控件③的点击操作或触摸操作,手机100中的处理器110可以控制游戏界面中的人物的行走速度;手机100检测到针对控件④、控件⑤、控件⑥的点击操作或触摸操作,手机100中的处理器110可以控制游戏界面中的人物作出攻击动作;手机100检测到针对控件⑦的点击操作或触摸操作,手机100中的处理器110可以控制游戏界面中的人物更换游戏装备。
示例1,在图12A中的(a)中,手机100已开启单手操作模式,手机100开始获取该用户的视点坐标以及手指坐标,检测到该用户的视点坐标对应的显示区域内包括控件⑦,在图12A中的(b)中,手机100确定该用户的大拇指对应的显示区域即操作界面1201,手机100进一步确定该大拇指坐标对应的位置中存在控件⑥,手机100确定操作界面1201中距离大拇指坐标预设距离的另一位置,进而手机100将控件⑦显示到该位置,实现了用户单手操作。
示例2,在图12B中的(a)中,手机100已开启单手操作模式,手机100开始获取该用户的视点坐标以及手指坐标,检测到该用户的视点坐标对应的显示区域内包括控件⑦,在图12B中的(b)中,手机100确定该用户的大拇指对应的显示区域即操作界面1001,手机100进一步确定该大拇指坐标对应的位置中未存在任何控件⑥,进而手机100将控件⑦显示到该位置,实现了用户单手操作。
场景3-用户单手接电话。
请参见图13(a),在图13(a)中,手机100的操作界面中包括用于指示拒接电话的接听控件1301以及用于指示接听电话的接听控件1302。
当用户右手握住手机时,此时有来电提醒,用户右手的手指仅仅能够到接听控件1301,手机100检测用于开启单手模式的语音指令,进入单手操作模式,获取用户的手指坐标和视点坐标;若手机100检测到该视点坐标对应的显示区域内包含拒接控件1301,将拒接控件1301的图标,显示到该用户手指的可操作范围(例如图13(b)所示);若该视点坐标对应的显示区域包含接听控件1302,则保持原来的显示模式(例如图13(a)所示)。
应理解,以上实施例均是以单一设备实现单手操作模式为例进行介绍的。本申请实施例提供的单手操作方法同样可以应用于多个电子设备或者多个电子设备组成的系统。下面以应用于两个电子设备为例。
示例性的,请参见图14,以电脑1401和手机100为例,电脑1401和手机100通信接连(有线连接、蓝牙连接、wifi连接等,不做限制)。电脑1401获取用户在电脑1401上的视点坐标,手机100获取用户在手机100上的手指坐标,电脑1401将该视点坐标对应的显示区域内显示内容显示到手机100上的操作界面1402(即用户手指的可操作范围)。获取视点坐标、手指坐标以及控制显示的过程可以参考上文,这里不再赘述。
上述本申请提供的实施例中,从电子设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,电子设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
基于相同的技术构思,本申请还提供的一种电子设备1500,用于实现图3、图5、图7所示实施例中的方法。如图15所示,电子设备1500可以包括处理器1501用于执行存储器1502存储的程序或指令,当存储器1502存储的程序或指令被执行时,所述处理器用于图3所示的界面显示方法。
可选的,电子设备1500还可以包括通信接口1503。附图15用虚线表示通信接口1503对于电子设备1500是可选的。
其中,处理器1501、存储器1502和通信接口1503的个数并不构成对本申请实施例的限定,具体实施时,可以根据业务需求任意配置。
可选的,所述存储器1502位于所述电子设备1500之外。
可选的,所述电子设备1500包括所述存储器1502,所述存储器1502与所述至少一个处理器1501相连,所述存储器1502存储有可被所述至少一个处理器1501执行的指令。附图15用虚线表示存储器1502对于电子设备1500是可选的。
其中,所述处理器1501和所述存储器1502可以通过接口电路耦合,也可以集成在一起,这里不做限制。
本申请实施例中不限定上述处理器1501、存储器1502以及通信接口1503之间的具体连接介质。本申请实施例在图15中以处理器1501、存储器1502以及通信接口1503之间通过总线1504连接,总线在图15中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图15中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
应理解,本申请实施例中提及的处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
示例性的,处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data EateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。
需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)可以集成在处理器中。
应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
基于同一技术构思,本申请实施例还提供一种计算机可读介质,该计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行前述实施例中的界面显示方法。
基于同一技术构思,本申请实施例还提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行前述实施例中的界面显示方法。
基于同一技术构思,本申请实施例还提供一种芯片,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,执行前述实施例中的界面显示方法。
在一种可能的设计中,所述芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行前述实施例中的界面显示方法。
需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本申请的实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
本申请的各个实施例可以单独使用,也可以相互结合使用,以实现不同的技术效果。
以上所述,以上实施例仅用以对本申请的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本申请实施例的方法,不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换,都应涵盖在本申请实施例的保护范围之内。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
为了解释的目的,前面的描述是通过参考具体实施例来进行描述的。然而,上面的示例性的讨论并非意图是详尽的,也并非意图要将本申请限制到所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施例是为了充分阐明本申请的原理及其实际应用,以由此使得本领域的其他技术人员能够充分利用具有适合于所构想的特定用途的各种修改的本申请以及各种实施例。

Claims (20)

1.一种界面显示方法,其特征在于,应用于电子设备,所述方法包括:
接收第一操作;
响应于所述第一操作,启动单手操作模式;
在所述单手操作模式下,获取第一视点坐标和手指坐标;获取所述第一视点坐标对应的第一显示区域内的第一显示内容,将所述第一显示内容显示于所述手指坐标对应的第二显示区域内。
2.如权利要求1所述的方法,其特征在于,所述第一操作为:
所述电子设备被抬起或被摇晃;或者,
针对所述电子设备的显示屏的点击操作或滑动操作;或者,
语音指令;或者,
针对所述电子设备的硬件按键的操作。
3.如权利要求1或2所述的方法,其特征在于,在将所述第一显示内容显示于所述手指坐标对应的第二显示区域内之后,所述方法还包括:
接收在所述第二显示区域内的第一滑动操作;
根据所述第一滑动操作,确定第二显示内容,将所述第二显示区域内的显示内容由所述第一显示内容切换为所述第二显示内容。
4.如权利要求1或2所述的方法,其特征在于,在将所述第一显示内容显示于所述手指坐标对应的第二显示区域内之后,还包括:
获取第二视点坐标以及所述第二视点坐标对应的第三显示区域内的第三显示内容,将所述第二显示区域内的显示内容由所述第一显示内容切换为所述第三显示内容。
5.如权利要求1-4任一项所述的方法,其特征在于,在将所述第一显示内容显示于所述手指坐标对应的第二显示区域内之前,还包括:
判断所述手指坐标在所述第二显示区域中对应的第一位置上是否存在应用图标或控件图标;
若存在,则将所述第一显示内容显示于所述第二显示区域中的第二位置上;所述第二位置与所述第一位置相距第一预设值;
若不存在,则将所述第一显示内容显示于所述第一位置上。
6.如权利要求1-5任一项所述的方法,其特征在于,在将所述第一显示内容显示于所述手指对应的第二显示区域内之前,还包括:确定用户视线停留在所述第一视点坐标的时长超过第二预设值。
7.如权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
接收针对所述第一显示内容中至少一个目标图标的点击操作,确定第一目标图标,执行所述第一目标图标对应的应用进程。
8.如权利要求1-7任一项所述的方法,其特征在于,所述响应于所述第一操作,获取第一视点坐标,包括:
确定所述用户的眼睛与红外摄像头的第一距离、角膜反射光斑坐标以及瞳孔中心坐标;
根据所述第一距离、所述角膜反射光斑坐标以及所述瞳孔中心坐标,确定所述第一视点坐标。
9.如权利要求2-8任一项所述的方法,其特征在于,所述响应于所述第一操作,获取手指坐标,包括:
确定所述手指与所述电子设备中的红外光传感器的第二距离、所述手指与所述显示屏的第三距离、所述手指相对于所述红外光传感器的方位;
根据第二距离和第三距离,确定所述手指在所述显示屏上的投影点与所述红外光传感器的第四距离;
根据所述第四距离和所述方位,确定所述手指坐标。
10.一种电子设备,其特征在于,所述电子设备包括:处理器和存储器;其中,所述存储器用于存储一个或多个计算机程序;
当所述存储器存储的一个或多个计算机程序被所述处理器执行时,使得所述电子设备执行如下步骤:
接收第一操作;
响应于所述第一操作,启动单手操作模式;
在所述单手操作模式下,获取第一视点坐标和手指坐标;获取所述第一视点坐标对应的第一显示区域内的第一显示内容,将所述第一显示内容显示于所述手指坐标对应的第二显示区域内。
11.如权利要求10所述的电子设备,其特征在于,所述电子设备还包括显示屏,所述第一操作为:
所述电子设备被抬起或被摇晃;或者,
针对所述显示屏的点击操作或滑动操作;或者,
语音指令;或者,
针对所述电子设备的硬件按键的操作。
12.如权利要求10或11所述的电子设备,其特征在于,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,还使得所述电子设备执行如下步骤:
接收在所述第二显示区域内的第一滑动操作;
根据所述第一滑动操作,确定第二显示内容,将所述第二显示区域内的显示内容由所述第一显示内容切换为所述第二显示内容。
13.如权利要求10或11所述的电子设备,其特征在于,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,还使得所述电子设备执行如下步骤:
获取第二视点坐标以及所述第二视点坐标对应的第三显示区域内的第三显示内容,将所述第二显示区域内的显示内容由所述第一显示内容切换为所述第三显示内容。
14.如权利要求10-13任一项所述的电子设备,其特征在于,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,还使得所述电子设备执行如下步骤:
判断所述手指坐标在所述第二显示区域中对应的第一位置上是否存在应用图标或控件图标;
若存在,则将所述第一显示内容显示于所述第二显示区域中的第二位置上;所述第二位置与所述第一位置相距第一预设值;
若不存在,则将所述第一显示内容显示于所述第一位置上。
15.如权利要求10-14任一项所述的电子设备,其特征在于,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,还使得所述电子设备执行如下步骤:确定用户视线停留在所述第一视点坐标的时长超过第二预设值。
16.如权利要求10-15任一项所述的电子设备,其特征在于,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,还使得所述电子设备执行如下步骤:
接收针对所述第一显示内容中至少一个目标图标的点击操作,确定第一目标图标,执行所述第一目标图标对应的应用进程。
17.如权利要求10-16任一项所述的电子设备,其特征在于,所述电子设备还包括红外摄像头,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,还使得所述电子设备执行如下步骤:
确定所述用户的眼睛与所述红外摄像头的第一距离、角膜反射光斑坐标以及瞳孔中心坐标;
根据所述第一距离、所述角膜反射光斑坐标以及所述瞳孔中心坐标,确定所述第一视点坐标。
18.如权利要求11-17任一项所述的电子设备,其特征在于,电子设备还包括红外光传感器,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,还使得所述电子设备执行如下步骤:
确定所述手指与所述红外光传感器的第二距离、所述手指与所述显示屏的第三距离、所述手指相对于所述红外光传感器的方位;
根据第二距离和第三距离,确定所述手指在所述显示屏上的投影点与所述红外光传感器的第四距离;
根据所述第四距离和所述方位,确定所述手指坐标。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至9任一所述的方法。
20.一种芯片,其特征在于,所述芯片包括处理器与数据接口,所述处理器用于通过所述数据接口读取并执行存储器上存储的指令,使得计算机执行如权利要求1至9任一所述的方法被执行。
CN202011179164.7A 2020-10-29 2020-10-29 一种界面显示方法及电子设备 Pending CN114510174A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011179164.7A CN114510174A (zh) 2020-10-29 2020-10-29 一种界面显示方法及电子设备
PCT/CN2021/118075 WO2022089060A1 (zh) 2020-10-29 2021-09-13 一种界面显示方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011179164.7A CN114510174A (zh) 2020-10-29 2020-10-29 一种界面显示方法及电子设备

Publications (1)

Publication Number Publication Date
CN114510174A true CN114510174A (zh) 2022-05-17

Family

ID=81381880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011179164.7A Pending CN114510174A (zh) 2020-10-29 2020-10-29 一种界面显示方法及电子设备

Country Status (2)

Country Link
CN (1) CN114510174A (zh)
WO (1) WO2022089060A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052261A (zh) * 2022-05-31 2023-05-02 荣耀终端有限公司 视线估计方法及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866641B (zh) * 2022-07-07 2022-11-11 荣耀终端有限公司 一种图标处理方法、终端设备及存储介质
CN117632326A (zh) * 2022-08-18 2024-03-01 华为技术有限公司 一种通知查看方法、系统及相关装置
CN116700659B (zh) * 2022-09-02 2024-03-08 荣耀终端有限公司 一种界面交互方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307797A1 (en) * 2012-05-18 2013-11-21 Fujitsu Limited Tablet terminal and recording medium
CN108540642A (zh) * 2018-02-28 2018-09-14 维沃移动通信有限公司 移动终端的操作方法及移动终端
CN109246292A (zh) * 2018-08-17 2019-01-18 珠海格力电器股份有限公司 一种终端桌面图标的移动方法及装置
CN109819102A (zh) * 2018-12-19 2019-05-28 努比亚技术有限公司 一种导航栏控制方法及移动终端、计算机可读存储介质
CN111078044A (zh) * 2019-11-22 2020-04-28 深圳传音控股股份有限公司 一种终端的交互方法、终端及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307797A1 (en) * 2012-05-18 2013-11-21 Fujitsu Limited Tablet terminal and recording medium
CN108540642A (zh) * 2018-02-28 2018-09-14 维沃移动通信有限公司 移动终端的操作方法及移动终端
CN109246292A (zh) * 2018-08-17 2019-01-18 珠海格力电器股份有限公司 一种终端桌面图标的移动方法及装置
CN109819102A (zh) * 2018-12-19 2019-05-28 努比亚技术有限公司 一种导航栏控制方法及移动终端、计算机可读存储介质
CN111078044A (zh) * 2019-11-22 2020-04-28 深圳传音控股股份有限公司 一种终端的交互方法、终端及计算机存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052261A (zh) * 2022-05-31 2023-05-02 荣耀终端有限公司 视线估计方法及电子设备

Also Published As

Publication number Publication date
WO2022089060A1 (zh) 2022-05-05

Similar Documents

Publication Publication Date Title
CN110865744B (zh) 一种分屏显示方法与电子设备
WO2021043223A1 (zh) 一种分屏显示方法及电子设备
WO2022089060A1 (zh) 一种界面显示方法及电子设备
CN115866121B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
CN110839096B (zh) 一种具有折叠屏的设备的触控方法与折叠屏设备
CN110825301A (zh) 一种界面切换方法及电子设备
CN112130715B (zh) 一种显示方法与电子设备
CN110602273B (zh) 一种消息显示方法、电子设备及计算机可读存储介质
CN117908733A (zh) 系统导航栏的显示控制方法、图形用户界面及电子设备
WO2021063090A1 (zh) 一种建立应用组合的方法与电子设备
CN110673783B (zh) 一种触控方法与电子设备
CN110006340B (zh) 一种物体尺寸测量方法和电子设备
CN112615947B (zh) 快速进入应用的方法与折叠屏电子设备
CN114090102A (zh) 启动应用程序的方法、装置、电子设备和介质
CN114090140A (zh) 基于指向操作的设备之间的交互方法及电子设备
CN115032640B (zh) 手势识别方法和终端设备
EP3862853A1 (en) Touch operation locking method and electronic device
CN111049968B (zh) 一种控制方法和电子设备
CN115706916A (zh) 一种基于位置信息的Wi-Fi连接方法及装置
CN114356187A (zh) 一种内容获取方法及装置
EP3855358A1 (en) Object recognition method and terminal device
CN116048236B (zh) 通信方法及相关装置
CN117170535A (zh) 卡片管理方法、电子设备及计算机可读存储介质
CN115329299A (zh) 屏幕解锁方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination