CN110647274A - 一种界面显示方法及设备 - Google Patents

一种界面显示方法及设备 Download PDF

Info

Publication number
CN110647274A
CN110647274A CN201910755338.0A CN201910755338A CN110647274A CN 110647274 A CN110647274 A CN 110647274A CN 201910755338 A CN201910755338 A CN 201910755338A CN 110647274 A CN110647274 A CN 110647274A
Authority
CN
China
Prior art keywords
interface
screen
area
electronic device
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910755338.0A
Other languages
English (en)
Inventor
范振华
曹原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910755338.0A priority Critical patent/CN110647274A/zh
Publication of CN110647274A publication Critical patent/CN110647274A/zh
Priority to PCT/CN2020/107997 priority patent/WO2021027747A1/zh
Priority to US17/635,246 priority patent/US20220291816A1/en
Priority to EP20851954.6A priority patent/EP4016271A4/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Interoperability with other network applications or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

本申请实施例提供一种界面显示方法及设备,涉及电子技术领域,可以移动原有界面以留出空间显示语音助手等第一应用的界面,使得第一应用的界面不遮挡原有界面,方便用户与原有界面和第一应用的界面进行交互。具体方案为:电子设备显示第一界面;电子设备检测到用户指示打开第一应用的操作;电子设备在屏幕的第一区域内显示第一界面,在屏幕的第二区域内显示第二界面,第二界面为第一应用的界面,第一区域与第二区域未重叠。本申请实施例用于界面显示。

Description

一种界面显示方法及设备
技术领域
本申请实施例涉及电子技术领域,尤其涉及一种界面显示方法及设备。
背景技术
随着电子技术的发展,手机等电子设备上的应用功能越来越多。语音助手、全局搜索等应用可以为用户的使用和操作带来便利。目前,在用户使用语音助手或全局搜索等应用时,语音助手或全局搜索的应用界面,通常会悬浮在电子设备的原有界面之上,从而会遮挡原有界面。
例如,参见图1A,原有界面为桌面,在用户使用语音助手时,电子设备在桌面上悬浮显示语音助手的界面。再例如,参见图1B,在用户使用语音助手时,电子设备会在原有界面上显示语音助手的悬浮球01。电子设备检测到用户的语音指示后,参见图1C,弹出语音助手的交互卡片02。该交互卡片遮挡了电子设备的原有界面,影响了用户与原有界面的交互,用户视觉体验和使用体验较差。
发明内容
本申请实施例提供一种界面显示方法及设备,可以移动原有界面以留出空间显示语音助手等第一应用的界面,使得第一应用的界面不遮挡原有界面,方便用户与原有界面和第一应用的界面进行交互。
为达到上述目的,本申请实施例采用如下技术方案:
一方面,本申请技术方案提供了一种界面显示方法,应用于电子设备。该电子设备包括屏幕,该屏幕用于界面显示。该方法包括:电子设备显示第一界面。电子设备检测到用户指示打开第一应用的操作。电子设备在屏幕的第一区域内显示第一界面,在屏幕的第二区域内显示第二界面,第二界面为第一应用的界面,第一区域与第二区域未重叠。
这样,电子设备可以同时显示第一界面和第二界面,且第二界面未悬浮在第一界面之上,第一界面和第二界面之间不会相互遮挡,第二界面不会影响用户与第一界面的交互;第一界面和第二界面的一体化显示效果更好,可以给用户以较好的沉浸式体验。
在一种可能的设计中,电子设备在屏幕的第一区域内显示第一界面,在屏幕的第二区域内显示第二界面,包括:电子设备移动第一界面,以在屏幕上留出第二区域,移动后的第一界面占用第一区域。电子设备在第二区域内显示第二界面。
在该方案中,电子设备可以移动第一界面,以为第二界面留出空间进行显示。
在另一种可能的设计中,若电子设备为竖屏状态,则第一界面的移动方向为向下移动,第二区域位于第一区域的上方;或者,第一界面的移动方向为向上移动,第二区域位于第一区域的下方。若电子设备为横屏状态,则第一界面的移动方向为向左移动,第二区域位于第一区域的右方;或者,第一界面的移动方向为向右移动,第二区域位于第一区域的左方。
这样,电子设备针对不同的显示状态,可以分别采用不同的排列方式来显示第一界面和第二界面。
在另一种可能的设计中,该方法还包括:若电子设备检测到用户在第一界面上的滑动操作,则电子设备滚动显示第一界面的内容。
在该方案中,若第一界面未能完全显示,则可以通过滚动显示的方式为用户呈现第一界面的其他内容。
在另一种可能的设计中,电子设备在屏幕的第一区域内显示第一界面,在屏幕的第二区域内显示第二界面,包括:电子设备缩小第一界面以在屏幕上留出第二区域,缩小后的第一界面占用第一区域。电子设备在第二区域内显示第二界面。
在该方案中,电子设备可以缩小第一界面,以为第二界面留出空间进行显示。
在另一种可能的设计中,若电子设备为竖屏状态,则第一界面缩小至屏幕的下部,第二区域位于第一区域的上方;或者,第一界面缩小至屏幕的上部,第二区域位于第一区域的下方。若电子设备为横屏状态,则第一界面缩小至屏幕的左部,第二区域位于第一区域的右方;或者,第一界面缩小至屏幕的右部,第二区域位于第一区域的下方。
这样,电子设备针对不同的显示状态,可以分别采用不同的排列方式来显示第一界面和第二界面。
在另一种可能的设计中,该方法还包括:若电子设备检测到用户针对第一界面的第一交互操作,则电子设备通过第一界面执行响应操作。若电子设备检测到用户针对第二界面的第二交互操作,则电子设备通过第二界面执行响应操作。
这样,用户既可以与第一界面进行交互,也可以与第二界面进行交互。
在另一种可能的设计中,屏幕还包括第一标记,第一标记包括第三区域或第一控件,第一标记位于第一区域和第二区域之间,或者第一标记位于第一区域内且靠近第二区域,或者第一标记位于第二区域内且靠近第一区域。该方法还包括:若电子设备检测到用户从第一标记向第一区域滑动的操作,则电子设备减小第一区域,并相应增大第二区域。若电子设备检测到用户从第一标记向第二区域滑动的操作,则电子设备减小第二区域,并相应增大第一区域。
在该方案中,用户可以调整第一界面和第二界面的大小。
在另一种可能的设计中,第二界面包括第一数据对象,该方法还包括:电子设备检测到用户将第一数据对象,从第二界面拖动至第一界面的操作。电子设备在第一界面上使用第一数据对象。
在该方案中,用户可以将第二界面上的数据对象拖拽至第一界面,以供第一界面使用。
在另一种可能的设计中,在第一数据对象的拖动过程中,屏幕上显示有第一数据对象的影子控件,影子控件跟手移动。
这样,该影子控件可以方便用户了解当前正在拖拽数据对象,给用户以更好的视觉效果。
在另一种可能的设计中,电子设备在第一界面上使用第一数据对象,包括:电子设备将第一数据对象插入到第一界面上。或者,电子设备通过第一界面对应的应用,搜索第一数据对象的关联信息。或者,电子设备通过第一界面对应的应用,将第一数据对象发送给其他设备。
也就是说,第一界面可以通过多种方式使用从第二界面上拖拽的数据对象。
在另一种可能的设计中,第一界面为邮件应用的界面,电子设备将第一数据对象插入到第一界面上,包括:电子设备将第一数据对象插入到第一界面上邮件的正文部分或附件部分。
在该方案中,第一界面上的邮件应用可以使用从第二界面上拖拽的数据对象。
在另一种可能的设计中,第一界面为即时消息应用的界面,电子设备将第一数据对象插入到第一界面上,包括:电子设备将第一数据对象插入到第一界面的消息编辑框内。
在该方案中,第一界面上的即时消息应用可以使用从第二界面上拖拽的数据对象。
在另一种可能的设计中,第一界面为备忘录应用的界面,电子设备通过第一界面对应的应用,搜索第一数据对象的关联信息,包括:电子设备通过第一界面对应的备忘录应用,搜索第一数量对象关联的笔记。电子设备在第一界面上显示搜索结果。
在该方案中,第一界面上的备忘录应用可以使用从第二界面上拖拽的数据对象。
在另一种可能的设计中,第一界面为即时消息应用的界面,电子设备通过第一界面对应的应用,将第一数据对象发送给其他设备,包括:电子设备通过第一界面对应的即时消息应用,将第一数据对象发送给其他设备。
在该方案中,第一界面上的即时消息应用可以将从第二界面上拖拽的数据对象,发送给其他设备。
在另一种可能的设计中,第二界面还包括交互控件,该方法还包括:电子设备检测到用户点击交互控件的操作。电子设备通过第一界面,对第一数据对象进行响应操作。
在该方案中,用户针对第二界面上交互控件的操作,可以通过第一界面来响应。
在另一种可能的设计中,交互控件为发送控件,电子设备通过第一界面对第一数据对象进行操作,包括:电子设备通过第一界面对应的应用,将第一数据对象发送给其他设备。
在该方案中,响应于用户针对第二界面上交互控件的操作,第一界面可以将第二界面上的数据对象发送给其他设备。
在另一种可能的设计中,第一界面包括第二数据对象,该方法还包括:电子设备检测到用户将第二数据对象,从第一界面拖动至第二界面的操作。电子设备在第二界面上使用第二数据对象。
在该方案中,第二界面可以使用从第一界面上拖拽的数据对象。
在另一种可能的设计中,电子设备在第二界面上使用第二数据对象,包括:电子设备通过第二界面对应的应用,搜索第二数据对象的关联信息。电子设备在第二界面上显示搜索结果。
在该方案中,第二界面可以根据从第一界面上拖拽的数据对象进行搜索或查找。
在另一种可能的设计中,第二界面还包括切换控件,该方法还包括:电子设备检测到用户点击切换控件的操作。电子设备将第二区域内第一应用对应的第二界面,切换为另一第一应用对应的第二界面。
在该方案中,电子设备可以在第二区域切换显示不同第一应用对应的第二界面。
在另一种可能的设计中,屏幕还包括第二标记,第一标记包括第四区域或第二控件,第二标记位于第一区域和第二区域之间,或者第二标记位于第一区域内且靠近第二区域,或者第二标记位于第二区域内且靠近第一区域。该方法还包括:若电子设备检测到用户从第二标记向第一区域滑动的操作,则电子设备全屏显示第二界面,并停止显示第一界面。若电子设备检测到用户从第二标记向第二区域滑动的操作,则电子设备全屏显示第一界面,并停止显示第二界面。
在该方案中,电子设备可以根据用户的指示全屏显示第一界面或第二界面。
在另一种可能的设计中,屏幕还包括第三控件和第四控件,该方法还包括:若电子设备检测到用户点击第三控件的操作,则电子设备全屏显示第一界面,并停止显示第二界面。若电子设备检测到用户点击第四控件的操作,则电子设备全屏显示第二界面,并停止显示第一界面。
在该方案中,用户可以通过第三控件指示全屏显示第一界面,通过第四控件指示全屏显示第二界面。
在另一种可能的设计中,第一界面为第二应用的界面。
也就是说,第一界面是一个应用的界面,该应用可以是第三方应用,可以是电子设备的操作系统的原生应用。
在另一种可能的设计中,第一应用为语音助手应用或搜索应用。
在该方案中,第一应用可以是具有搜索或查找功能的应用,例如语音助手或全局搜索应用等。
在另一种可能的设计中,电子设备包括窗口管理器,第一界面在第一窗口内显示;电子设备移动第一界面,以在屏幕上留出第二区域,移动后的第一界面占用第一区域;电子设备在第二区域内显示第二界面,包括:窗口管理器对第一窗口和第一窗口中的第一界面进行截图,获得第一图片。窗口管理器将第一图片覆盖显示在第一窗口之上。窗口管理器逐渐移动第一图片的位置。窗口管理器创建第二窗口。窗口管理器随着第一图片的移动,逐渐显示第二窗口和第二窗口中的第二界面。窗口管理器停止移动第一图片。窗口管理器移除第一图片。窗口管理器在第一图片对应的位置,显示第一窗口和第一窗口中的第一界面;第一窗口位于第一区域,第二窗口位于第二区域。
这样,在由全屏显示第一界面切换为同时显示第一界面和第二界面时,可以通过移动截图图片的方式简化动画处理流程,使得动画显示更为流畅,并且可以节省手机的功耗,提高手机的整体性能。
在另一种可能的设计中,电子设备包括窗口管理器,第一界面在第一窗口内显示,第二界面在第二窗口内显示;电子设备全屏显示第一界面,并停止显示第二界面,包括:窗口管理器对第一窗口和第一窗口中的第一界面进行截图,获得第一图片。窗口管理器对第二窗口和第二窗口中的第二界面进行截图,获得第二图片。窗口管理器将第一图片覆盖显示在第一窗口之上。窗口管理器将第二图片覆盖显示在第二窗口之上。窗口管理器逐渐移动第一图片和第二图片的位置,直至将第二图片移出屏幕。窗口管理器移除第一图片。窗口管理器全屏显示第一窗口和第一窗口中的第一界面。
这样,在由同时显示第一界面和第二界面切换为全屏显示第一界面时,可以通过移动截图图片的方式简化动画处理流程,使得动画显示更为流畅,并且可以节省手机的功耗,提高手机的整体性能。
在另一种可能的设计中,电子设备包括输入/输出系统,第一界面位于第一窗口,第二界面位于第二窗口,在第一界面向下移动,电子设备在屏幕的第一区域内显示第一界面,在屏幕的第二区域内显示第二界面之后,该方法还包括:输入/输出系统检测到用户在第一界面上的第一位置的触摸操作,第一位置的第一坐标为(x,y)。输入/输出系统将第一位置的第一坐标重映射为第二坐标,第二坐标为(x,y-H),H为第二窗口在竖直方向的高度;第二坐标用于第一界面确定触摸操作的位置。
这样,第二界面对应的应用可以根据重映射后的窗口坐标确定触摸事件的位置。第二界面和第一界面都可以响应用户的触摸操作。
另一方面,本申请实施例提供了一种图形用户界面(graphical user interface,GUI),图形用户界面存储在电子设备中,电子设备包括屏幕、存储器、一个或多个处理器,一个或多个处理器用于执行存储在存储器中的一个或多个计算机程序。该图形用户界面包括:显示在屏幕上的第一GUI,第一GUI包括第一界面。响应于打开第一应用的操作,在屏幕上显示第二GUI,第二GUI包括第一界面和第二界面,第一界面与第二界面未重叠。
在一种可能的设计中,第二GUI上的第一界面,为第一GUI上的第一界面移动或缩小后的界面。
在另一种可能的设计中,若电子设备为竖屏状态,则第二GUI上的第二界面位于第一界面的上方或下方。若电子设备为横屏状态,则第二GUI上的第二界面位于第一界面的左方或右方。
在另一种可能的设计中,第二GUI上还包括第一标记,第一标记包括第一区域或第一控件,第一标记位于第一界面和第二界面之间,或者第一标记位于第一界面内且靠近第二界面,或者第一标记位于第二界面内且靠近第一界面。图形用户界面还包括:响应于从第一标记向第一界面滑动的操作,在屏幕上显示第三GUI,第三GUI包括第二界面和第一界面;并且,第三GUI上的第二界面的尺寸大于第二GUI上的第二界面的尺寸,第三GUI上的第一界面的尺寸小于第二GUI上的第一界面的尺寸。或者,响应于从第一标记向第二界面滑动的操作,在屏幕上显示第四GUI,第四GUI包括第二界面和第一界面;并且,第四GUI上的第二界面的尺寸小于第二GUI上的第二界面的尺寸,第四GUI上的第一界面的尺寸大于第二GUI上的第一界面的尺寸。
在另一种可能的设计中,第二GUI上的第二界面包括第一数据对象,图形用户界面还包括:响应于拖动第一数据对象的操作,在屏幕上显示第五GUI,第五GUI包括第一数据对象的影子控件以及第一界面和第二界面,影子控件跟手移动。响应于将第一数据对象拖动至第一界面的操作,在屏幕上显示第六GUI,第六GUI包括第一界面和第二界面,第一界面包括第一数据对象。
在另一种可能的设计中,第一界面为邮件应用的界面,第六GUI上第一界面的邮件的正文部分或附件部分包括第一数据对象。或者,第一界面为即时消息应用的界面,第六GUI上第一界面的消息编辑框内包括第一数据对象。
在另一种可能的设计中,第二GUI上的第一界面包括第二数据对象,图形用户界面还包括:响应于拖动第二数据对象的操作,在屏幕上显示第七GUI,第七GUI包括第一数据对象的影子控件以及第一界面和第二界面,影子控件跟手移动。响应于将第二数据对象拖动至第二界面的操作,在屏幕上显示第八GUI,第八GUI包括第一界面和第二界面,第二界面包括第二数据对象。
在另一种可能的设计中,第二GUI上的第二界面还包括切换控件,图形用户界面还包括:响应于点击切换控件的操作,在屏幕上显示第九GUI,第九GUI包括第一界面和第二界面。其中,第九GUI上的第二界面与第二GUI上的第二界面对应不同的第一应用。
在另一种可能的设计中,第二GUI还包括第二标记,第二标记包括第二区域或第二控件,第二标记位于第一界面和第二界面之间,或者第二标记位于第一界面内且靠近第二界面,或者第二标记位于第二界面内且靠近第一界面。图形用户界面还包括:响应于从第二标记向第一界面滑动的操作,在屏幕上显示第十GUI,第十GUI包括第二界面和第一界面;并且,第十GUI上第二界面的尺寸大于第二GUI上第二界面的尺寸,第十GUI上的第一界面的尺寸小于第二GUI上第一界面的尺寸。或者,响应于从第二标记向第二界面滑动的操作,在屏幕上显示第十一GUI,第十一GUI包括第二界面和第一界面;并且,第十一GUI上第二界面的尺寸大于第二GUI上第二界面的尺寸,第十一GUI上第一界面的尺寸小于第二GUI上第一界面的尺寸。
在另一种可能的设计中,第二GUI上还包括第三控件和第四控件,图形用户界面还包括:响应于点击第三控件的操作,在屏幕上显示第十二GUI,第十二GUI包括全屏显示的第一界面。或者,响应于点击第四控件的操作,在屏幕上显示第十三GUI,第十三GUI包括全屏显示的第二界面。
在另一种可能的设计中,第一界面为第二应用的界面。
在另一种可能的设计中,第一应用为语音助手应用或搜索应用。
另一方面,本申请实施例提供了一种界面显示装置,该装置包含在电子设备中。该装置具有实现上述方面及可能的设计中任一方法中电子设备的行为的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,显示模块或单元、检测模块或单元、移动模块或单元、缩小模块或单元、确定模块或单元等。
另一方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;屏幕,用于显示界面;以及存储器,存储器中存储有代码。当代码被一个或多个处理器执行时,使得电子设备执行上述方面任一项可能的设计中的界面显示方法。
另一方面,本申请实施例提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述方面任一项可能的设计中的界面显示方法。
又一方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方面任一项可能的设计中的界面显示方法。
又一方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备;芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互连;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行上述方面任一项可能的设计中的界面显示方法。
附图说明
图1A-图1D为现有技术提供的一组界面示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3A-图3D为本申请实施例提供的一组界面示意图;
图4为本申请实施例提供的一种坐标系示意图;
图5A-图5B为本申请实施例提供的另一组界面示意图;
图6A-图6C为本申请实施例提供的另一组界面示意图;
图7A-图7C为本申请实施例提供的另一组界面示意图;
图8A-图8D为本申请实施例提供的另一组界面示意图;
图9A-图9C为本申请实施例提供的另一组界面示意图;
图10A-图10B为本申请实施例提供的另一组界面示意图;
图11A-图11D为本申请实施例提供的另一组界面示意图;
图12A-图12C为本申请实施例提供的另一组界面示意图;
图13A-图13E为本申请实施例提供的另一组界面示意图;
图14A-图14F为本申请实施例提供的另一组界面示意图;
图15A-图15F为本申请实施例提供的另一组界面示意图;
图16A-图16C为本申请实施例提供的另一组界面示意图;
图17A-图17D为本申请实施例提供的另一组界面示意图;
图18A-图18D为本申请实施例提供的另一组界面示意图;
图19A-图19C为本申请实施例提供的另一组界面示意图;
图20A-图20D为本申请实施例提供的另一组界面示意图;
图21A-图21B为本申请实施例提供的另一组界面示意图;
图22A-图22B为本申请实施例提供的另一组界面示意图;
图23A-图23B为本申请实施例提供的另一组界面示意图;
图24A-图24B为本申请实施例提供的另一组界面示意图;
图25A-图25B为本申请实施例提供的另一组界面示意图;
图26A-图26B为本申请实施例提供的另一组界面示意图;
图27A-图27E为本申请实施例提供的另一组界面示意图;
图28为本申请实施例提供的一种软件模块示意图;
图29为本申请实施例提供的一种软件模块的功能示意图;
图30为本申请实施例提供的一种软件流程图;
图31为现有技术中的一种活动的生命周期图;
图32为本申请实施例提供的一种界面示意图;
图33为本申请实施例提供的一种动效显示流程图;
图34为本申请实施例提供的一种坐标重映射示意图;
图35为本申请实施例提供的另一种动效显示流程图;
图36为本申请实施例提供的一种界面显示方法流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
在如图1A-图1C所示的现有技术中,电子设备显示原有界面后,在用户使用语音助手或全局搜索时,在原有界面悬浮显示语音助手或全局搜索的界面,语音助手或全局搜索的界面会遮挡电子设备的原有界面,从而会影响用户与原有界面的交互。
本申请实施例提供一种界面显示方法,可以应用于电子设备。基于该方法,电子设备在显示原有第一界面时,若检测到打开第一应用的操作,则移动第一界面以为语音助手或全局搜索等第一应用的第二界面留出显示空间(或称为显示区域)。电子设备在留出的空间内显示第二界面。这样,电子设备可以同时显示第一界面和第二界面,且第二界面未悬浮在第一界面之上,第二界面不会遮挡第一界面,不影响用户与第一界面的交互;第一界面和第二界面的一体化显示效果更好,可以给用户以较好的沉浸式体验。
并且,在电子设备显示第一界面和第二界面后,用户既可以与第一界面进行交互,也可以与第二界面进行交互。而且,第一界面和第二界面之间还可以通过拖拽操作交互数据。
其中,该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、或个人数字助理(personaldigital assistant,PDA)等,本申请实施例对电子设备的具体类型不作任何限制。
示例性的,图2示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。I2S接口和PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
在一些实施例中,显示屏194可以用于在检测到用户打开第一应用的操作后,移动原有界面,以留出空间显示第一应用的界面,从而使得第一应用的界面不会悬浮在原有界面之上。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
在一些实施例中,处理器110通过运行存储在内部存储器121的指令,从而执行在显示第一界面时,若检测到打开第一应用的操作,则移动第一界面,以留出空间显示第一应用的界面,从而使得第一应用的界面不再遮挡第一界面,便于用户直接与第一界面和第一应用的界面进行交互。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
在一些实施例中,麦克风170C可以用于检测用户指示打开语音助手等第一应用的语音指令,以及用户与语音助手进行交互的语音指令等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
在一些实施例中,触摸传感器180K可以用于检测用户指示打开语音助手等第一应用的触控操作,以及用户在原有界面和第一应用的界面之间的拖拽操作等。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
在本申请的实施例中,电子设备100的操作检测部件可以检测用户指示打开第一应用的操作。例如,该操作部件可以是麦克风170C或触摸传感器180K等。处理器110控制移动原有界面,以留出空间显示第一应用的界面,从而使得第一应用的界面不会悬浮在原有界面之上。显示屏194显示原有界面和第一应用的界面。触摸传感器180K还可以检测用户在原有界面和第一应用的界面之间的拖拽操作。处理器110根据该拖拽操作实现原有界面和第一应用的界面之间的交互。
以下将以具有图2所示结构的电子设备为手机为例,对本申请实施例提供的界面显示方法进行阐述。
用户使用手机,手机显示第一界面。其中,该第一界面可以是桌面。该第一界面也可以是手机上运行的任意应用的界面。例如,该第一界面可以是设置界面,微信的界面,播放器的界面,浏览器的界面,图库的界面,相机的界面,微博的界面,阅读器的界面,邮件的界面,或游戏的界面等等。示例性的,参见图3A,该第一界面为桌面。
手机检测到用户打开第一应用的操作。该第一应用为预设的特定应用。示例性的,该第一应用可以是语音助手或全局搜索等应用。该第一应用可以是当前未运行的应用,也可以是当前运行在后台的应用。
其中,用户打开第一应用的操作为预设操作,具体可以有多种操作方式。以第一应用为语音助手为例进行说明。例如,用户语音说出唤醒词比如“小艺小艺”,以指示打开语音助手。再例如,用户通过第一触摸操作指示打开语音助手。示例性的,第一触摸操作可以为用户从屏幕顶部向下滑动的操作。再示例性的,如图3B所示,第一触摸操作可以为用户双指下拉的操作。再示例性的,第一触摸操作可以为用户在屏幕上划一个预设轨迹的操作,比如图3C所示的划一个圆圈轨迹的操作等。再例如,用户通过第一隔空操作指示打开语音助手。再示例性的,如图3D所示,第一触摸操作可以为用户长按导航栏中的菜单键的操作。
手机检测到用户打开第一应用的操作后,移动第一界面,以为第二界面留出显示空间。手机在第一界面移动后留出的空间内显示第二界面。该第二界面为第一应用的界面。从而,手机可以在屏幕上同时显示语音助手的界面和第一界面。该种模式可以称为半屏模式。
这样,手机在显示第一界面的同时,可以响应于用户打开第一应用的操作显示第一应用的界面。且第一应用的界面不会悬浮在第一界面之上,第一应用的界面不会遮挡第一界面。从而,第一应用的界面不会影响用户与第一界面的交互,可以提高用户的使用体验。
在一些实施例中,手机可以将第一界面下移,并在第一界面下移后留出的空间内显示第一应用的界面。其中,第一界面底部的内容由于移出屏幕而无法显示。并且,在第一界面逐渐移动和显示第一应用的界面的动态过程中,手机进行相应的动画显示。
也就是说,手机在屏幕的下方显示第一界面,在屏幕的上方扩展显示第一应用的界面。参见图4所示的坐标系的示意图,手机在屏幕Y轴的方向扩展显示第一应用的界面,第一应用的界面与第一界面在Z轴方向的位置相同,即第一应用的界面并未悬浮在第一界面之上。
这样,通过预设操作,用户可以每次在手机屏幕的上方看到特定的第一应用的界面,从而获得一致性的体验。
以下主要以第一应用为语音助手为例进行说明。
语音助手的界面的显示方式可以有多种。例如,参见图5A和图5B,第一界面501为桌面,第一界面501逐渐向下移动(或称平移),随着第一界面501的下移,语音助手的界面502从屏幕的顶部逐渐动态切入。第一界面501的移动在屏幕上留出了第二区域504,第二区域用于显示第二界面502,移动后第一界面501占用的区域为第一区域503。并且,第一区域503和第二区域504没有重叠,即第二界面502和第一界面501不会相互遮挡。从而,给用户的视觉体验为,语音助手的界面从屏幕的上方钻出,推动第一界面向下移动,挤占了第一界面的部分显示空间。
再例如,参见图6A-图6C,第一界面逐渐下移,语音助手的界面从屏幕的左上角(也可以是右上角)逐渐动态切入。第一界面为设置界面。
再例如,参见图7A-图7C,第一界面逐渐下移,语音助手的界面从屏幕上方的左侧(也可以是上方的右侧)逐渐动态切入。第一界面为微信界面。
在本申请的实施例中,第一界面与语音助手的界面之间可以进行融合处理,给用户提供一体化的视觉效果,提高用户沉浸式使用体验。
其中,第一界面和语音助手的界面可以分别在两个窗口中显示。本申请实施例取消了这两个窗口之间的分隔线,即取消了这两个窗口交界处的窗口边框。并且,语音助手的界面与第一界面在显示位置上可以互相补充。示例性的,参见图8A和图8B,在虚线圆圈内的圆角位置,第一界面和语音助手的界面可以互补。从而,可以给用户以一体化界面的视觉体验。
与语音助手的界面相邻的第一界面的边角位置可以为圆角,使得两个界面之间的衔接更为圆滑。且第一界面与语音助手的界面之间通过阴影进行过渡,可以降低两个界面间的突然变化导致的突兀感,使得两个界面之间的颜色过渡更为自然。从而,更能给用户以一体化的感觉,提高沉浸式视觉体验。示例性的,图8A和图8B中斜线填充的区域为阴影部分。
在第一界面发生移动后,第一界面底部的内容由于移出了屏幕而无法显示。手机还可以根据用户的操作,滚动显示第一界面。例如,在图8C所示情况下,响应于用户在第一界面上向上滑动的操作,手机向上滚动显示第一界面的内容,显示如图8D所示的第一界面。在图8D所示情况下,响应于用户在第二界面上向下滑动的操作,手机向下滚动显示第一界面的内容,显示如图8C所示的第一界面。
在一些现有技术中,手机显示原有界面,在用户使用语音助手或全局搜索时,手机退出显示原有界面,全屏显示语音助手或全局搜索的界面。退出原有界面将使得用户无法再与原有界面进行交互。例如,参见图1D,手机退出显示桌面(即原有界面),全屏显示语音助手的界面,从而使得用户无法再与桌面进行交互(例如无法点击桌面上的图标)。
一般地,用户通过语音助手或全局搜索临时处理相关业务后,还想继续回到原有界面,与原有界面进行交互,从而继续使用原有界面对应的原应用。例如,用户在使用微信时,手机显示微信的界面(即原有界面)。而后,用户通过语音助手查看天气情况。之后,用户想要继续使用微信。
在现有技术中,在使用语音助手时退出原有界面,将使得用户无法继续与原有界面进行交互。在本申请的实施例中,手机可以同时显示语音助手的界面和第一界面(即原有界面),用户既可以直接与语音助手进行交互,还可以直接与第一界面进行交互,因而用户操作简单,可操作性强,用户使用体验较好。
例如,在现有技术中,用户在使用微信的时,手机显示微信的界面。用户通过语音助手查看天气情况时,手机退出微信的界面,全屏显示语音助手的界面。用户想要继续使用微信时,需要退出语音助手的界面,再次打开微信的界面后,才能够继续使用微信。
在本申请的实施例中,用户在使用微信的时,如图9A所示,手机可以显示微信的界面。用户通过语音助手查看天气情况时,如图9B和图9C所示,手机可以同时显示微信的界面和语音助手的界面。用户想要继续使用微信时,可以直接与微信界面进行交互,而不需要像现有技术那样复杂的操作过程,因而可以简化用户的操作,方便用户使用。
再例如,在图8C所示情况下,若手机检测到用户点击或拖动语音助手界面上的“打电话给妈妈”的控件,则可以执行给妈妈打电话的操作。
在本申请的实施例中,在手机同时显示语音助手的界面和第一界面后,若检测到用户针对语音助手的交互操作,则可以通过语音助手的界面进行响应。在用户与语音助手的界面进行交互时,语音助手的界面大小和内容可以随着交互过程的变化而变化。
示例性的,在图10A所示情况下,若手机检测到用户语音指示打开蓝牙,则语音助手的界面由图10A所示的界面切换为图10B所示的界面。与图10A所示的语音助手的界面相比,图10B所示的语音助手的界面的变大了,即语音助手的界面的尺寸(或称显示范围)变大了。并且,手机响应于用户的语音指示,开启蓝牙。
并且,当语音助手的界面变大时,第一界面相应地自动变小,即第一界面的尺寸(或称显示范围)变小;当语音助手的界面变小时,第一界面相应地自动变大。示例性的,对比图10A和图10B可知,当语音助手的界面变大时,第一界面相应地自动变小。
在手机同时显示语音助手的界面和第一界面后,若检测到用户针对第一界面的交互操作,则可以通过第一界面进行响应。在用户与第一界面进行交互时,第一界面的内容可以随着交互过程的变化而变化。示例性的,在图11A所示情况下,若手机检测到用户点击第一界面上返回控件1101的操作,则切换为显示如图11B所示的第一界面。再示例性的,在图11B所示情况下,若手机检测到用户在第一界面上向左滑动的操作,则切换为显示如图11C所示的第一界面,该第一界面为微信的通讯录界面。再示例性的,在图11A所示情况下,若手机检测到用户点击home键1102的操作,则切换为显示如图11D所示的第一界面,该第一界面为桌面。
在一些实施例中,语音助手的界面大小和第一界面的大小可以根据用户的指示而变化。例如,若手机检测到用户从第一标记向语音助手的界面滑动的操作,则语音助手的界面减小,第一界面相应上移。若手机检测到用户从第一标记向第一界面滑动的操作,则语音助手的界面增大,第一界面相应下移。其中,第一标记可以包括第三区域或第一控件,第一标记位于第一区域和第二区域之间,或者第一标记位于第一区域内且靠近第二区域,或者第一标记位于第二区域内且靠近第一区域。
例如,第一标记可以为图12A所示的在语音助手的界面和第一界面的交界区域。再例如,第一标记可以为语音助手的界面和第一界面的交界区域交界线。
在一些实施例中,参见图12B,第一界面上移后,语音助手的界面的高度减小,语音助手的界面上的内容缩小显示。在另一些实施例中,参见图12C,第一界面上移后,语音助手的界面底部的内容随着第一界面的上移而被隐藏。
若手机检测到用户在语音助手的界面和第一界面的交界区域向下滑动的操作,则第一界面向下移动,第一界面减小,语音助手的界面的高度增大,语音助手的界面增大。
在一些实施例中,该第一应用可以是具有搜索或查找功能的应用,例如语音助手应用或全局搜索应用等。
其中,对于语音助手等具有搜索或查找功能的第一应用来说,用户在使用原应用时,可能需要通过语音助手等第一应用搜索或查找一些相关信息,而后再回到原应用使用这些信息。在现有技术中,在使用语音助手时手机退出原有界面,将使得用户需要退出语音助手的界面,再次打开原有界面后,才能在原应用中使用语音助手查找到的相关信息,因而用户操作复杂,耗时长,用户体验较差。
在本申请的实施例中,手机可以同时显示语音助手的界面和第一界面,语音助手的界面和第一界面之间可以直接进行交互。手机可以在语音助手的界面上显示查找或搜索的相关信息。通过在语音助手的界面和第一界面之间的交互操作,可以方便地将语音助手搜索或查找到的相关信息,直接在第一界面上使用。
例如,用户可以直接在第一界面和语音助手的界面之间拖拽(或拖动)数据对象,从而直接在第一界面和语音助手的界面之间进行数据交互,在第一界面使用语音助手提供的相关信息。而不需要再退出语音助手的界面,并再次打开第一界面后,再使用语音助手提供的相关信息。因而,本申请实施例提供的界面显示方法可以简化用户的操作,节省操作时间,提高用户使用体验。
示例性的,该数据对象可以是文件,也可以是一段字符,或其他类型的数据信息。例如,该文件可以是文档,音乐,多媒体文件,图片,卡片,图标,名片,或动图等。用户可以将语音助手的界面上的数据对象拖拽(或称拖拽)至第一界面,该数据对象可以是用户与语音助手的交互结果,从而将语音助手的界面上的内容提供给第一界面。或者,用户可以将第一界面上的数据对象拖拽至语音助手的界面,从而将第一界面上的相关信息提供给语音助手,以便语音助手根据该相关信息进行搜索、查找或响应等操作。
例如,第一界面为微信、短信或其他即时聊天应用的界面,数据对象为语音助手查找到的联系人名片、图片或账号等数据对象。示例性的,如图13A所示,用户通过语音助手查找到Alice的名片。参见图13B,手机在检测到用户从语音助手的界面上拖拽Alice的名片。如图13C所示,手机检测到用户将Alice的名片拖拽到微信的信息发送窗口(或拖拽到微信的界面上)后松手。在一些实施例中,参见图13D,手机自动将Alice的名片发送给小飞侠。在另一些实施例中,手机在Alice的名片插入消息编辑框内,并在检测到用户指示发送的操作后,将Alice的名片发送给小飞侠。
在一些实施例中,在数据对象的拖拽过程中,手机可以显示数据对象的影子(shadow)控件,数据对象的影子控件可以跟手移动。示例性的,该影子控件可以为如图13B所示的元素1301。
此外,语音助手的界面上还可以显示有一些快捷控件。这些快捷控件可以用于执行与语音助手的界面当前显示的内容相关的操作,例如“发送名片”的控件、“查找Alice照片”的控件等,以方便用户针对当前显示的内容可以通过快捷控件快速地进行相关操作。
示例性的,手机检测到用户点击图13E中的(a)所示的“发送名片”的快捷控件1302的操作后,如图13E中的(b)所示,手机通过第一界面上的微信发送Alice的名片。
或者,手机检测到用户点击图13E中的(a)所示的“发送名片”的快捷控件1302的操作后,如图13E中的(c)所示,Alice的名片的影子控件可以自动移动到第一界面上;而后如图13E中的(b)所示,Alice的名片可以通过第一界面上的微信发送给好友。
或者,手机检测到用户点击图13E中的(a)所示的“发送名片”的快捷控件1302的操作后,图13E中的(d)所示,Alice的名片的影子控件可以自动移动到第一界面的消息编辑框内;而后如图13E中的(b)所示,Alice的名片可以通过第一界面上的微信发送给好友。
再示例性的,手机检测到用户点击图13E中的(a)所示的“发送名片”的快捷控件1302的操作后,可以弹出分享列表,以便用户选择用于发送或分享Alice的名片的方式。例如,该分享列表可以包括短信,微信发送给朋友,分享到朋友圈,蓝牙,微博,或邮件等。
在其他一些实施例中,该快捷控件也可以是手机根据用户最近的语音指示生成的控件。由于用户最近语音指示的操作,很可能被再次执行,因而通过快捷控件可以使得用户方便、快速地再次执行相关操作。例如,在用户语音指示“查找Alice的名片”后,手机可以生成“查找Alice的名片”的快捷控件。
在其他一些实施例中,在图13A所示情况下,用户也可以语音指示发送名片,从而可以通过图13E所示的方式采用第一界面上的微信将Alice的名片发送给好友;或者,也可以通过手机弹出的分享列表中的分享方式发送Alice的名片。
再例如,第一界面为邮件界面,数据对象为文档。手机检测到用户将语音助手的界面上,语音助手查找到的文档拖拽至邮件界面后,将该文档添加为邮件的附件;或者将该文档的内容作为邮件的正文,以便用户通过邮箱发送给其他人。
示例性的,参见图14A-图14D,当文档由语音助手的界面被拖拽至邮件的附件位置并松开后,手机将数据对象添加为邮件的附件。而后,手机可以将邮件自动发送给对方;或者,手机可以检测到用户点击发送控件1401的操作后,将邮件发送给对方。
再示例性的,参见图14A,图14B,图14E和图14F,在一些实施例中,当文档由语音助手的界面被拖拽至邮件的正文文本框内并松手后,手机将文档中的内容插入邮件的正文。而后,手机可以将邮件自动发送给对方;或者,手机可以检测到用户点击发送控件1401的操作后,将邮件发送给对方。
在其他一些实施例中,手机检测到用户语音指示发送智慧助手界面风格设计的语音指示后,可以将智慧助手界面风格设计的文档添加为第一界面上的邮件的附件或正文,而后通过邮件进行发送。
在另一些实施例中,当数据对象为文件时,手机可以将数据对象作为邮件的附件;当数据对象为一段字符时,手机可以将数据对象插入邮件的正文部分。
再例如,第一界面为备忘录的界面,数据对象为语音助手获取的图片,文件,或名片等。示例性的,参见图15A-图15B,手机检测到用户将语音助手的界面上语音助手获取的图片,拖拽至备忘录界面“新建笔记”的位置后,如图15C所示,手机在新建笔记中添加该图片。
再示例性的,参见图15D-图15E,手机检测到用户将语音助手的界面上语音助手获取的图片,拖拽至备忘录界面的笔记搜索框的位置后,手机在已建立的笔记中搜索与该图片相关的笔记。在一些实施例中,手机可以获取该图片的标识信息,例如名称、存储地址或ID等,从而根据该标识信息搜索包含该图片的笔记。示例性的,参见图15F,手机搜索到包括该图片的手写笔记2。
再例如,第一界面为图片展示应用(例如可以为图库)的界面,数据对象为图片。参见图16A-图16C,手机检测到用户将语音助手的界面上,语音助手获取的图片拖拽至图片展示应用的界面上后,手机在图片展示应用的界面上放大展示该图片。
再例如,第一界面为联系人应用的界面,数据对象为语音助手获取的电话号码或名片等联系人信息。用户可以将语音助手的界面上的联系人信息,拖拽至联系人应用的界面上,从而生成新的联系人。
再例如,第一界面为桌面,数据对象为语音助手获取的应用图标。用户可以将语音助手界面上的联系人信息,拖拽至桌面上,从而在桌面上显示该应图标。
再例如,第一界面为微信的界面,微信好友请求用户发送Tom的联系方式。用户可以将微信界面上微信好友发送的文字“Tom的联系方式”拖拽至语音助手的界面上,语音助手搜索到Tom的名片。用户可以将语音助手的界面上Tom的名片拖拽到微信的界面上,微信将Tom的名片发送给好友。
在一些实施例中,在手机同时显示语音助手的界面和第一界面的情况下,手机可以根据用户的指示全屏显示语音助手的界面或第一界面。并且,在由半屏模式切换为全屏显示语音助手的界面或第一界面的动态过程中,手机进行相应的动画显示。
例如,在语音助手的界面与第一界面同时显示的情况下,若手机检测到用户指示退出语音助手的操作,则手机可以停止显示语音助手的界面,全屏显示第一界面。示例性的,用户可以语音指示退出语音助手。再示例性的,用户可以按住语音助手的界面向上拖动,以指示退出语音助手。其中,用户指示退出语音助手的操作与用户指示打开语音助手的操作,可以相同也可以不同。
再例如,在语音助手的界面与第一界面同时显示的情况下,参见图17A-图17B,若手机检测到用户按住语音助手的界面与第一界面的交界区域1700向下滑动的操作,则退出显示第一界面,全屏显示语音助手的界面。参见图17C和图17D,若手机检测到用户按住语音助手的界面与第一界面的交界区域1700向上滑动的操作,则退出显示语音助手的界面,第一界面上移,从而全屏显示第一界面。
再例如,在语音助手的界面与第一界面同时显示的情况下,手机上显示有用于全屏显示的控件1。示例性的,该控件1可以为如图18A所示的控件1801,该控件1801可以位于语音助手的界面与第一界面的交界区域1800;或者,该控件1可以为如图18B所示的控件1802,该控件1802可以位于第一界面的顶部;或者,该控件1可以为如图18C所示的控件1803,该控件1803可以位于语音助手的界面的底部等位置。可以理解的是,该控件1也可以是其他形态,例如控件1可以为如图18D所示的控件1804,具体可以为向上的箭头。
在语音助手的界面与第一界面同时显示的情况下,若手机检测到用户针对图18A所示的控件1801向上滑动(即从控件1801向第二区域滑动)的操作,或针对控件1801附近(例如控件1801所在的交界区域1800)向上滑动的操作,则手机退出显示语音助手的界面,第一界面上移,从而全屏显示第一界面。在语音助手的界面与第一界面同时显示的情况下,若手机检测到用户针对该控件1801向下滑动的操作,或针对控件1801附近(例如控件1801所在的交界区域1800)向下滑动的操作,则退出显示第一界面,全屏显示语音助手的界面。
在语音助手的界面与第一界面同时显示的情况下,若手机检测到用户针对图19A所示的控件1向上滑动的操作,则参见图19B,手机退出显示语音助手的界面,第一界面上移,从而全屏显示第一界面。而后,若手机检测到用户针对该控件1向下滑动的操作,则在一些实施例中,手机恢复之前如图19A语音助手的界面与第一界面同时显示的状态;在另一些实施例中,参见图19C,手机退出显示第一界面,全屏显示语音助手的界面。或者,在如图19B所示的全屏显示第一界面后,手机检测到用户指示打开语音助手的操作后,也可以恢复之前如图19A所示的语音助手的界面与第一界面同时显示的状态。
在语音助手的界面与第一界面同时显示的情况下,若手机检测到用户针对该控件1向下滑动的操作,则退出显示第一界面,全屏显示语音助手的界面。而后,若手机检测到用户针对该控件1向上滑动的操作,则在一些实施例中,恢复之前语音助手的界面与第一界面同时显示的状态;在另一些实施例中,退出显示第一界面,全屏显示语音助手的界面。或者,在全屏显示第一界面后,手机检测到用户指示打开语音助手的操作后,也可以恢复之前语音助手的界面与第一界面同时显示的状态。
再例如,在语音助手的界面与第一界面同时显示的情况下,手机上显示有控件2和控件3。示例性的,该控件2可以为图20A和图20B所示的控件2001,该控件3可以为图20A和图20B所示的控件2002。控件2和控件3可以位于第一界面的顶部;或者位于语音助手的界面的底部,或者位于语音助手的界面与第一界面的交界区域等位置。或者,该控件2可以位于语音助手的界面的底部,控件3可以位于第一界面的顶部。
参见图20A,若手机检测到用户针对控件2001的点击操作,则如图20C所示,手机退出显示语音助手的界面,第一界面上移,从而全屏显示第一界面。参见图20B,若手机检测到用户针对控件2002的点击操作,则如图20D所示,手机退出显示第一界面,全屏显示语音助手的界面。
再例如,在语音助手的界面与第一界面同时显示的情况下,手机检测到用户从语音助手的界面向第一界面滑动的操作时,全屏显示语音助手的界面。手机检测到用户从第一界面向语音助手的界面滑动的操作时,全屏显示第一界面。
再例如,在语音助手的界面与第一界面同时显示的情况下,手机检测到用户在语音助手的界面上向下滑动的操作时,向下滚动显示语音助手的界面的内容。在已显示语音助手的界面的顶部的情况下,若再次检测到用户在语音助手的界面上向下滑动的操作,则全屏显示语音助手的界面。
在语音助手的界面与第一界面同时显示的情况下,手机检测到用户在第一界面上向上滑动的操作时,向上滚动显示第一界面的内容。在已显示第一界面的底部的情况下,若再次检测到用户在第一界面上向上滑动的操作,则全屏显示第一界面。
再例如,手机检测到用户在语音助手的界面靠近底部的位置下滑时,全屏显示语音助手的界面。手机检测到用户在语音助手的界面的中间区域下滑或上滑时,滚动显示语音助手的界面内容。手机检测到用户在第一界面靠近顶部的位置上滑时,全屏显示语音助手的界面;手机检测到用户在第一界面的中间区域下滑或上滑时,滚动显示第一界面的内容。
由以上描述可知,手机可以在原有界面(即第一界面)的上方扩展显示语音助手的界面,从而不会对原有界面进行遮挡,而且还可以在扩展界面和第一界面之间直接进行拖拽等交互操作。从而,手机可以在有限的屏幕显示空间中,整个显示区域的显示内容扩展,在不影响用户使用原有界面和原有应用的情况下,增加新的显示内容,并且新扩展的界面和原有界面间能够进行直观的交互。
在其他一些实施例中,参见图21A-图21B,在检测到用户指示打开语音助手的操作后,作为第一界面下移以留出空间显示语音助手的一种替换方式,手机也可以逐渐将第一界面上移,在第一界面上移后留出的空间内显示语音助手的界面。第一界面顶部的内容由于移出屏幕而无法显示。类似的,语音助手的界面也可以从屏幕的底部,左下角,右下角,下方的左侧或下方的右侧动态切入,此处不予赘述。
在其他一些实施例中,参见图22A-图22B,在检测到用户指示打开语音助手的操作后,作为第一界面下移以留出空间显示语音助手的另一种替换方式,手机可以从第一界面的底部开始,向顶部逐渐削减第一界面的显示高度,在该第一界面的显示高度减小后留出的空间内显示语音助手的界面。
在其他一些实施例中,手机在检测到用户指示打开语音助手的操作后,可以减小第一界面的高度,缩小显示第一界面,以留出空间来显示语音助手的界面。但第一界面的内容仍全部显示。示例性的,参见图23A,缩小后的第一界面可以位于屏幕的下方,语音助手的界面可以位于屏幕的上方。参见图23B,缩小后的第一界面可以位于屏幕的上方,语音助手的界面可以位于屏幕的下方。
以上实施例和附图主要是以手机处于竖屏状态为例进行说明的。在竖屏状态下,屏幕在竖直方向的长度较大,因而手机可以在竖直方向(即Y轴方向)上显示语音助手的界面和第一界面。在横屏状态下,屏幕在水平方向的长度较大,因而手机可以在水平方向(即X轴方向)上显示语音助手的界面和第一界面。
在横屏状态下,在手机检测到用户指示打开语音助手的操作后,参见图24A,第一界面可以逐渐右移,留出左方的空间显示语音助手的界面。例如,语音助手的界面可以从屏幕的左方逐渐动态切入,或者语音助手的界面可以从屏幕的左上角逐渐动态切入,或者语音助手的界面可以从屏幕的左下角逐渐动态切入。
或者,在横屏状态下,在手机检测到用户指示打开语音助手的操作后,参见图24B,第一界面可以逐渐左移,以留出屏幕右方的空间显示语音助手的界面。例如,语音助手的界面可以从屏幕的右方逐渐动态切入,或者语音助手的界面可以从屏幕的右上角逐渐动态切入,或者语音助手的界面可以从屏幕的右下角逐渐动态切入。
以上主要是以电子设备为手机为例进行说明的,上述界面显示方法还可以应用于其他电子设备。
例如,上述界面显示方法也可以应用于折叠屏设备。例如,在如图25A所示折叠屏的折叠状态下,折叠屏设备类似于上述手机,可以采用上述实施例描述的界面显示方法来实现。
在如图25B所示的折叠屏的展开状态下,折叠屏设备在水平方向和竖直方向的长度相差不大,在检测到用户指示打开语音助手的操作后,语音助手的界面和第一界面可以并列显示在竖直方向上,也可以并列显示在水平方向上。语音助手的界面和第一界面同时显示时的具体布局方式可以是默认的,也可以是用户设置的。
再例如,折叠屏设备包括第一子屏和第二子屏,如图26A所示,在未折叠状态下第一子屏和第二子屏显示第一界面。折叠屏设备检测到用户的折叠动作后打开语音助手,如图26B所示,在第一子屏上显示语音助手的界面,在第二子屏上显示第一界面。
再例如,上述界面显示方法还可以应用于具有主屏和副屏的电子设备。一般情况下,电子设备通过主屏显示第一界面。在检测到用户指示打开语音助手的操作后,电子设备通过副屏显示语音助手的界面。示例性的,参见图27A所示的电子设备,主屏2701和副屏2702整体的尺寸比例为25:9,主屏2701的尺寸比例为16:9。一般情况下,电子设备采用主屏显示第一界面;副屏不显示内容,或仅用于显示若干图标、logo、标识或提示等信息。电子设备在检测到用户指示打开语音助手的操作后,参见图27B,继续在主屏上显示第一界面,在副屏上显示语音助手的界面,从而可以利用额外的屏幕空间,扩展显示语音助手的界面,并使得语音助手的界面可以与第一界面进行交互。
以上是以第一应用为语音助手应用为例进行说明的。可以理解的是,第一应用也可以为其他应用。例如,当第一应用为全局搜索应用时,手机在检测到打开全局搜索应用的操作后,可以显示第一界面和第二界面,第二界面为全局搜索的界面。
在一些实施例中,手机检测到的用户的不同指示操作,可以打开不同的第一应用,从而显示不同第一应用的界面。例如,若手机检测到第一触摸操作,则第一应用为语音助手,第二界面为语音助手的界面。若手机检测到第二触摸操作,则第一应用为全局搜索,第二界面为全局搜索的界面。
在一些实施例中,第二界面还可以在不同第一应用的界面之间进行切换。例如,在第二界面为语音助手的界面的情况下,若手机检测到打开全局搜索的指示操作,则将第二界面切换为全局搜索的界面。在第二界面为全局搜索的界面的情况下,若手机检测到打开语音助手的指示操作,则将第二界面切换为语音助手的界面。
再例如,第二界面上包括第一应用切换控件。在第二界面为语音助手的界面的情况下,若电子设备检测到用户针对该切换控件的点击操作,则第二界面切换为全局搜索或其他第一应用的界面。在第二界面为全局搜索的界面的情况下,若电子设备检测到针对应用切换控件的点击操作,则第二界面切换为语音助手或其他第一应用的界面。
示例性的,如图27C所示,第二界面为语音助手的界面,切换控件为控件2703。手机检测到用户点击控件2703的操作后,如图27D所示,第二界面切换为全局搜索的界面。在图27D所示情况下,若手机检测到用户点击控件2703的操作,则第二界面切换为语音助手的界面。
再示例性的,如图27E所示,切换控件为控件2704。在图27E所示情况下,若手机检测到用户点击控件2704的操作,则第二界面切换为全局搜索的界面。
再例如,在第二界面为语音助手的界面的情况下,若手机检测到用户在第二界面上向左/右滑动的操作,则将第二界面切换为全局搜索的界面。在第二界面为全局搜索的界面的情况下,若手机检测到用户在第二界面上向左/右滑动的操作,则将第二界面切换为语音助手的界面。
以下从软件模块的角度对本申请实施例提供的界面显示方法进行阐述。
手机的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明手机的软件结构。
示例性的,图28示出了本申请实施例的手机的一种软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图28所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图28所示,应用程序框架层可以包括窗口管理器(WindowManager,WM),内容提供器,视图(view)系统,资源管理器,通知管理器,用户界面(user interface,UI)框架层,和输入/输出系统等。其中,视图系统可以包括Surface Flinger。示例性的,UI框架层,WM,Surface Flinger以及输入/输出系统中,各模块的功能可以参见图29。
如图29所示,VM用于管理窗口程序,管理窗口surface的布局与次序。VM可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。其中,surface是像素的载体,我们在手机上看得到的所有窗口都包含有一个自己的surface。窗口(Window)为Surface的载体,Surface负责对窗口中的内容进行渲染。应用程序通过VM获取一些窗口实例,同时VM会为每一个窗口创建一个Surface对象。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
如图29所示,视图系统中的Surface Flinger可以将上述Surface在Z轴方向以正确的顺序绘制出来。
如图29所示,输入/输出系统可以用于检测和响应输入/输出事件,还可以用于在显示第一窗口和第一界面,以及第二窗口和第一应用的界面后,对第一窗口中的触控事件进行坐标重映射。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,振动,指示灯闪烁等。
如图29所示,UI框架层用于管理窗口中视图控件的布局与绘制,以及相应用户的输入事件。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
上述图28所示的各软件模块可以相互配合,以实现上述界面显示方法。该界面显示方法的另一流程图可以参见图30。如图30所示,手机检测到用户打开第一应用的操作后,可以创建第二窗口,在第二窗口内注入显示内容。并且,手机可以移动第一窗口,以留出空间显示第二窗口。在第一窗口移动后,手机还可以对第一窗口进行坐标重映射。在移动第一窗口和显示第二窗口的过程中,手机可以进行相应的动效显示。在第一窗口和第二窗口均显示后,第一窗口和第二窗口之间还可以进行跨窗口的交互操作。
以下对图30所示的流程进行具体说明:
第一界面可以在第一窗口内显示。手机上的触摸传感器或麦克风等器件可以检测用户打开第一应用的操作。在手机检测到用户打开第一应用的操作后,WM可以创建第二窗口。该第二窗口与第一窗口属于同一层级。第二窗口与第一窗口在Z轴方向上对应相同的Z轴坐标。操作系统的窗口布局逻辑可以支持同时显示第一窗口和第二窗口。
也就是说,手机在检测到用户打开第一应用的操作后,可以显示多个窗口,例如上述第一窗口和第二窗口。多个窗口中的多个界面可以对应多个活动(Activity)。Activity是一个应用程序组件,可以提供一个屏幕,用户可以用来交互以完成某项任务。
在一个Android应用中,一个Activity通常就是一个单独的屏幕,可以设置和显示界面内容也可以监听并处理用户的事件并作出响应。例如,在图5B所示情况下,手机可以包括Activity1和Activity2。其中,Activity1与桌面对应,可以用于显示桌面,还可以监测用户在桌面上的触摸事件并作出响应。Activity2与语音助手对应,可以用于显示语音助手的界面,还可以监测用户在语音助手的界面上的触摸事件以及用户的语音指示,并作出响应。
在现有多窗口的多个Activity中,只有一个Activity处于活动状态。Activity从生成到销毁的过程可以参见图31。如图31所示,当用户点击一个Activity显示的界面上的控件时,操作系统会调用当前Activity的oncreate()方法,以初始化当前布局setContentLayout()方法。在onCreate()方法完成后,当前Activity进入onStart()方法。当前Activity是用户可见状态,但当前Activity尚未获取到焦点,不能与用户进行交互。在onStart()方法完成后,当前Activity进入onResume()方法,当前Activity处于运行(running)状态;并且,当前Activity获取到焦点,可以与用户进行交互。当另一个Activity覆盖当前Acitivty时,当前Activity进入onPause()方法;此时,当前Activity是可见的,但不能与用户进行交互。在onPause()方法完成后,当前Activity进入onStop()方法。此时,当前Activity对用户不可见,在操作系统内存紧张的情况下,当前Activity可能会被操作系统回收。在onStop()方法完成后,当前Activity进入onDestory()方法,当前Activity被销毁。后续,若再次回到当前Activity,则可以按照该顺序调用图31中的方法函数:onPause()->onStop()->onRestart()->onStart()->onResume()。
在本申请的实施例中,第一应用对应的Activity(也即第一应用的界面对应的Activity)为常活状态。在手机开机后,操作系统控制第一应用启动,第一应用对应的Activity即为常活状态,不存在图31所示的现有生命周期的概念。在手机检测到用户指示打开第一应用的操作后,第一应用对应的Activity为可见状态,即第二窗口和第一应用的界面对用户可见,第二窗口和第一应用的界面可以与用户进行交互。后续,在手机全屏显示第一界面后,第一应用对应的Activity为暂停状态,第一应用对应的Activity为不可见状态,第二窗口和第一应用的界面对用户不可见。
在本申请的实施例中,在手机检测到用户指示打开第一应用的操作后,手机可以移动第一界面,并扩展显示第一应用的界面。与图31所示的现有多窗口中Activity的生命周期不同,第一窗口内的第一界面对应的Activity,不会被第一应用对应的Activity覆盖,第一应用不影响第一界面对应的Activity的状态,第一界面对应的Activity仍为可见状态,第一界面可与用户进行交互。
这样,手机在显示第一界面的基础上扩展显示第一应用的界面后,第一界面和第一应用的界面对应的Activity均为可见状态,第一界面和第一应用对应的界面均可以与用户进行交互。
WM在创建第二窗口后,可以在第二窗口内注入显示内容,该显示内容为第一应用的界面内容。即,参见图32,第一窗口3201显示第一界面的内容,第二窗口3202显示第一应用的界面。
在一种情况下,第二窗口的显示内容来自于手机的系统进程,可以通过操作系统的界面加载方法进行加载。例如,在安卓系统中,系统进程可以加载设计好的显示布局,并根据具体业务逻辑添加相关的代码,实现所需功能。
在另一种情况下,第二窗口的显示内容来自于第一应用的进程。系统进程可以通过唤醒第一应用的进程,并从第一应用的进程获取设计好的布局内容,从而在第二窗口内进行显示。新增加的第二窗口只是对所需显示内容的承载,逻辑代码位于第一应用的进程中,操作系统与第一应用的业务逻辑不存在耦合。第一应用需要针对与该种界面显示方式,制定新的界面和处理逻辑,包括交互方式和界面动画等。
而后,WM可以移动第一窗口的位置,从而移动第一界面,以为第二窗口留出显示空间。SurfanceFlinger可以绘制第一窗口及其显示内容和第二窗口及其显示内容。显示驱动可以驱动屏幕显示第一窗口及其显示内容,以及第二窗口及其显示内容。这样,屏幕上可以同时显示第一窗口和第二窗口,同时显示第一界面和第一应用的界面,该种模式可以称为半屏模式。其中,第一窗口和第一界面的移动方式和移动效果,可以参见上述实施例中关于移动第一界面的相关描述和附图,第二窗口及其显示内容的显示方式和显示相关,可以与参见上述实施例中关于显示语音助手的界面的相关描述和附图。
DsiplayContent模块和SurfaceControl模块可以预先进行修改和配置。WM可以通过预先配置的DsiplayContent模块和SurfaceControl模块,控制第一窗口进行移动,使得原有第一界面整体下移,并且各应用均无感知,不会引起应用布局的变化。关于第一窗口的移动可以有多种实现方式。
例如,在一种实现方式中,由于窗口一般基于Surface层进行显示,受SurfaceControl的控制,因而WM通过调用SurfaceControl相应的API可以控制窗口的显示大小和位置。API最终通过控制Surface来达到控制第一窗口显示位置及大小的目的。例如,该API可以为:
public void setPosition(float x,float y)//控制位置;
或者,public void setMatrix(float dsdx,float dtdx,float dtdy,floatdsdy)//控制大小。
在另一种实现方式中,由于应用程序的窗口都承载于Activity或任务(Task)中,因而可以通过操作系统提供的方法设置Activity或Task的边界(Bounds)来达到设置窗口的大小及位置,从而达到设置第一窗口大小及位置的目的。
具体的,HwWindowStateAnimator.java和handleLeftScale等窗口大小的相关函数可以预先进行修改和配置。WM可以通过预先配置的窗口大小的相关函数,实现第一窗口的移动。
并且,WM还可以通过配置的SingleHandWindow.java、SingleHandAdapter.java和overlay_display_window_emui.xml等函数,布局第二窗口的大小和位置。
在第一窗口移动和显示第二窗口的过程中,WM可以触发窗口变化的窗口动画,进行动效显示。若采用现有动画处理方式,则由于窗口中的内容较多,动画播放的帧数较低,且新增的第二窗口与原第一窗口是两个窗口,动画衔接很难控制,因而动画播放的延迟大,会存在拖影等问题,从而导致动画显示不流畅,用户体验较差。
在本申请实施例中,WM可以通过截图和不断移动截图图片的高度的方式简化动画处理流程,使得动画显示更为流畅,并且可以节省手机的功耗,提高手机的整体性能。
例如,参见图33,WM对第一窗口及显示内容进行截图获得第一图片,并将第一图片覆盖显示在第一窗口之上。WM不断移动第一图片的高度和位置,以模拟第一窗口移动的动画变化过程,并动态显示第二窗口及其显示内容。在动画执行结束后,移除第一图片,显示第一窗口及显示内容。
在本申请实施例中,第一窗口和第二窗口还可以进行相关处理,以使得用户难以感知第一窗口和第二窗口的分隔。例如,隐藏第一窗口和第二窗口交界处的窗口边框(即上述分隔线);或者隐藏第一窗口和第二窗口的各窗口边框。并且,第一窗口的边角可以为圆角,第一窗口和第二窗口的交界部分可以有阴影,第一窗口的显示内容与第二窗口的显示内容在显示位置上互相补充。从而,可以提升用户沉浸式的浏览体验。
输入/输出系统中的InputDispather模块可以预先进行修改和配置。在第一窗口移动后,输入/输出系统可以根据预先配置的InputDispather模块,通过libsurfaceFlinger对第一窗口内的触控事件进行坐标重映射。
参见图34中的(a),在第一窗口移动之前,屏幕上各点的坐标可以称为屏幕坐标,屏幕左上角的坐标点为(0,0)。
在第一窗口移动之后,参见图34中的(b),第一窗口和第二窗口左上角的坐标点均为坐标原点(0,0)。第二窗口内的各点的坐标与屏幕坐标一致。示例性的,A点的屏幕坐标为(300,200),A点在第二窗口内的坐标也为(300,200)。而第一窗口内各点的窗口坐标的Y轴与屏幕坐标的Y轴之差为第二窗口的高度H,且第一窗口内各点的窗口坐标的X轴与屏幕坐标的X轴相同。示例性的,B点的屏幕坐标为(300,700),B点在第一窗口内的窗口坐标为(300,700-H)。也就是说,在第一窗口移动后,第一窗口进行了坐标重映射,第二窗口未进行坐标重映射。
在一些实施例中,输入/输出系统可以在检测到第一窗口内的触控输入操作后,在InputDispatcher模块中对第一窗口内的触控输入(Input)操作进行坐标映射。使得原有在屏幕上的坐标操作,映射为第一窗口移动后,在第一窗口内的坐标操作。
在另一些实施例中,输入/输出系统可以在InputDispatcher模块中,将第一窗口内各坐标点的屏幕坐标映射为第一窗口内的窗口坐标,并创建坐标映射表。输入/输出系统在检测到触控输入操作后,根据坐标映射表确定触控输入操作的屏幕坐标对应的窗口坐标,从而实现对触控事件的重映射。
第一窗口和第二窗口内的数据对象还可以通过拖拽的方式进行交互。可拖拽的数据对象的属性包括DRAG_FLAG_GLOBAL。操作系统的相关接口可以监听设置有该属性的数据对象的拖拽事件。监听到拖拽事件后可以在第一窗口和第二窗口内进行相应的交互处理。例如,拖拽交互的原理可以参见现有Andriod7.0等协议中的相关描述。
其中,当拖拽坐标在第二窗口中时,坐标不用映射和改变。当拖拽坐标进入第一窗口时,坐标Y轴需由屏幕坐标改变为窗口坐标,即将屏幕坐标的Y轴减去第二窗口的高度。
在由半屏模式切换为全屏显示第一界面或第一应用的界面的过程中,WM可以通过截图和不断移动截图图片的高度的方式简化动画处理流程,使得动画显示更为流畅,并且可以节省手机的功耗,提高手机的整体性能。
例如,参见图35,WM可以对第一窗口及显示内容进行截图获得第一图片,并将第一图片覆盖显示在第一窗口之上。WM对第二窗口及显示内容进行截图获得第二图片,并将第二图片覆盖显示在第二窗口之上。WM不断移动第一图片和第二图片的高度和位置,以模拟第一窗口和第二窗口的移动过程。
其中,在切换为全屏显示第一应用的界面的情况下,第一图片可以逐渐移出屏幕。在第一图片移出屏幕后,VM可以移除第二图片,全屏显示第二窗口及其显示内容。
在切换为全屏显示第一界面的情况下,第二图片可以逐渐移出屏幕。在第二图片移出屏幕后,VM可以移除第一图片,并全屏显示第一窗口及其显示内容。
在动画执行结束,移除第一图片和第二图片,显示第一窗口及其显示内容,或者显示第二窗口及其显示内容。
结合以上实施例和附图的描述,本申请其他实施例还提供了一种界面显示方法,参见图36,该方法可以包括:
3601、电子设备显示第一界面。
示例性的,第一界面可以为图3A所示的桌面,第一界面可以为设置界面,或者第一界面可以为微信或邮件等应用的界面。
3602、电子设备检测到用户指示打开第一应用的操作。
例如,该第一应用可以是语音助手应用或搜索应用等。
示例性的,用户指示打开第一应用的操作可以为图3B所示的用户双指下拉的操作。
再示例性的,用户指示打开第一应用的操作可以为图3C所示的用户划一个圆圈轨迹的操作。
再示例性的,用户指示打开第一应用的操作可以为图3D所示的用户长按导航栏中的菜单键的操作。
3603、电子设备在屏幕的第一区域内显示第一界面,在屏幕的第二区域内显示第二界面,第二界面为第一应用的界面,第一区域与第二区域未重叠。
示例性的,第一区域可以为图5B所示的区域503,第二区域可以为图5B所示的区域504。
在步骤3601-步骤3603描述的方案中,电子设备可以同时显示原应用的第一界面和第一应用的第二界面,从而使得第二界面不会遮挡第一界面;并且,用户既可以与第一界面进行交互,也可以与第二界面进行交互,用户体验较好。
此外,第一界面和第二界面上的数据对象还可以进行交互,第一区域和第二区域的大小还可以进行调整,电子设备还可以恢复全屏显示第一界面或切换为全屏显示第二界面,此处不予赘述。
本申请实施例还提供了一种电子设备,可以包括:显示单元、检测单元、移动单元、缩小单元或确定单元等。这些单元可以执行上述实施例中的各个步骤,以实现上述界面显示方法。
本申请实施例还提供了一种电子设备,包括:屏幕,用于界面显示;一个或多个处理器;存储器;以及一个或多个计算机程序。一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被一个或多个处理器执行时,使得电子设备执行上述实施例中的各个步骤,以实现上述界面显示方法。
本申请实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的界面显示方法。
本申请实施例还提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的界面显示方法。
另外,本申请的实施例还提供一种装置,该装置具体可以是芯片系统。该芯片系统应用于电子设备。该芯片系统包括一个或多个接口电路和一个或多个处理器;该接口电路和处理器通过线路互联;该接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,电子设备执行上述相关步骤,以实现上述实施例中的界面显示方法。
另外,本申请的实施例还提供一种装置,该装置具体可以是组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的界面显示方法。
其中,本申请实施例提供的电子设备、芯片,计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (30)

1.一种界面显示方法,应用于电子设备,所述电子设备包括屏幕,所述屏幕用于界面显示,其特征在于,所述方法包括:
电子设备显示第一界面;
所述电子设备检测到用户指示打开第一应用的操作;
所述电子设备在所述屏幕的第一区域内显示所述第一界面,在所述屏幕的第二区域内显示第二界面,所述第二界面为所述第一应用的界面,所述第一区域与所述第二区域未重叠。
2.根据权利要求1所述的方法,其特征在于,所述电子设备在所述屏幕的第一区域内显示所述第一界面,在所述屏幕的第二区域内显示第二界面,包括:
所述电子设备移动所述第一界面,以在所述屏幕上留出所述第二区域,移动后的所述第一界面占用所述第一区域;
所述电子设备在所述第二区域内显示所述第二界面。
3.根据权利要求2所述的方法,其特征在于,若所述电子设备为竖屏状态,则所述第一界面的移动方向为向下移动,所述第二区域位于所述第一区域的上方;或者,所述第一界面的移动方向为向上移动,所述第二区域位于所述第一区域的下方;
若所述电子设备为横屏状态,则所述第一界面的移动方向为向左移动,所述第二区域位于所述第一区域的右方;或者,所述第一界面的移动方向为向右移动,所述第二区域位于所述第一区域的左方。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
若所述电子设备检测到用户在所述第一界面上的滑动操作,则所述电子设备滚动显示所述第一界面的内容。
5.根据权利要求1所述的方法,其特征在于,所述电子设备在所述屏幕的第一区域内显示所述第一界面,在所述屏幕的第二区域内显示第二界面,包括:
所述电子设备缩小所述第一界面以在所述屏幕上留出所述第二区域,缩小后的所述第一界面占用所述第一区域;
所述电子设备在所述第二区域内显示所述第二界面。
6.根据权利要求5所述的方法,其特征在于,若所述电子设备为竖屏状态,则所述第一界面缩小至所述屏幕的下部,所述第二区域位于所述第一区域的上方;或者,所述第一界面缩小至所述屏幕的上部,所述第二区域位于所述第一区域的下方;
若所述电子设备为横屏状态,则所述第一界面缩小至所述屏幕的左部,所述第二区域位于所述第一区域的右方;或者,所述第一界面缩小至所述屏幕的右部,所述第二区域位于所述第一区域的下方。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
若所述电子设备检测到用户针对所述第一界面的第一交互操作,则所述电子设备通过所述第一界面执行响应操作;
若所述电子设备检测到用户针对所述第二界面的第二交互操作,则所述电子设备通过所述第二界面执行响应操作。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述屏幕还包括第一标记,所述第一标记包括第三区域或第一控件,所述第一标记位于所述第一区域和所述第二区域之间,或者所述第一标记位于所述第一区域内且靠近所述第二区域,或者所述第一标记位于所述第二区域内且靠近所述第一区域;所述方法还包括:
若所述电子设备检测到用户从所述第一标记向所述第一区域滑动的操作,则所述电子设备减小所述第一区域,并相应增大所述第二区域;
若所述电子设备检测到用户从所述第一标记向所述第二区域滑动的操作,则所述电子设备减小所述第二区域,并相应增大所述第一区域。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述第二界面包括第一数据对象,所述方法还包括:
所述电子设备检测到用户将所述第一数据对象,从所述第二界面拖动至所述第一界面的操作;
所述电子设备在所述第一界面上使用所述第一数据对象。
10.根据权利要求9所述的方法,其特征在于,在所述第一数据对象的拖动过程中,所述屏幕上显示有所述第一数据对象的影子控件,所述影子控件跟手移动。
11.根据权利要求9或10所述的方法,其特征在于,所述电子设备在所述第一界面上使用所述第一数据对象,包括:
所述电子设备将所述第一数据对象插入到所述第一界面上;
或者,所述电子设备通过所述第一界面对应的应用,搜索所述第一数据对象的关联信息;
或者,所述电子设备通过所述第一界面对应的应用,将所述第一数据对象发送给其他设备。
12.根据权利要求11所述的方法,其特征在于,所述第一界面为邮件应用的界面,所述电子设备将所述第一数据对象插入到所述第一界面上,包括:
所述电子设备将所述第一数据对象插入到所述第一界面上邮件的正文部分或附件部分。
13.根据权利要求11所述的方法,其特征在于,所述第一界面为即时消息应用的界面,所述电子设备将所述第一数据对象插入到所述第一界面上,包括:
所述电子设备将所述第一数据对象插入到所述第一界面的消息编辑框内。
14.根据权利要求11所述的方法,其特征在于,所述第一界面为备忘录应用的界面,所述电子设备通过所述第一界面对应的应用,搜索所述第一数据对象的关联信息,包括:
所述电子设备通过所述第一界面对应的备忘录应用,搜索所述第一数量对象关联的笔记;
所述电子设备在所述第一界面上显示搜索结果。
15.根据权利要求11所述的方法,其特征在于,所述第一界面为即时消息应用的界面,所述电子设备通过所述第一界面对应的应用,将所述第一数据对象发送给其他设备,包括:
所述电子设备通过所述第一界面对应的即时消息应用,将所述第一数据对象发送给其他设备。
16.根据权利要求9-15任一项所述的方法,其特征在于,所述第二界面还包括交互控件,所述方法还包括:
所述电子设备检测到用户点击所述交互控件的操作;
所述电子设备通过所述第一界面,对所述第一数据对象进行响应操作。
17.根据权利要求16所述的方法,其特征在于,所述交互控件为发送控件,所述电子设备通过所述第一界面对所述第一数据对象进行操作,包括:
所述电子设备通过所述第一界面对应的应用,将所述第一数据对象发送给其他设备。
18.根据权利要求1-17任一项所述的方法,其特征在于,所述第一界面包括第二数据对象,所述方法还包括:
所述电子设备检测到用户将所述第二数据对象,从所述第一界面拖动至所述第二界面的操作;
所述电子设备在所述第二界面上使用所述第二数据对象。
19.根据权利要求18所述的方法,其特征在于,所述电子设备在所述第二界面上使用所述第二数据对象,包括:
所述电子设备通过所述第二界面对应的应用,搜索所述第二数据对象的关联信息;
所述电子设备在所述第二界面上显示搜索结果。
20.根据权利要求1-19任一项所述的方法,其特征在于,所述第二界面还包括切换控件,所述方法还包括:
所述电子设备检测到用户点击所述切换控件的操作;
所述电子设备将所述第二区域内所述第一应用对应的第二界面,切换为另一第一应用对应的第二界面。
21.根据权利要求1-20任一项所述的方法,其特征在于,所述屏幕还包括第二标记,所述第二标记包括第四区域或第二控件,所述第二标记位于所述第一区域和所述第二区域之间,或者所述第二标记位于所述第一区域内且靠近所述第二区域,或者所述第二标记位于所述第二区域内且靠近所述第一区域;所述方法还包括:
若所述电子设备检测到用户从所述第二标记向所述第一区域滑动的操作,则所述电子设备全屏显示所述第二界面,并停止显示所述第一界面;
若所述电子设备检测到用户从所述第二标记向所述第二区域滑动的操作,则所述电子设备全屏显示所述第一界面,并停止显示所述第二界面。
22.根据权利要求1-20任一项所述的方法,其特征在于,所述屏幕还包括第三控件和第四控件,所述方法还包括:
若所述电子设备检测到用户点击所述第三控件的操作,则所述电子设备全屏显示所述第一界面,并停止显示所述第二界面;
若所述电子设备检测到用户点击所述第四控件的操作,则所述电子设备全屏显示所述第二界面,并停止显示所述第一界面。
23.根据权利要求1-22任一项所述的方法,其特征在于,所述第一界面为第二应用的界面。
24.根据权利要求1-23任一项所述的方法,其特征在于,所述第一应用为语音助手应用或搜索应用。
25.一种电子设备,其特征在于,包括:一个或多个处理器;
屏幕,用于显示界面;
以及存储器,所述存储器中存储有代码;
当所述代码被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-24中任一项所述的界面显示方法。
26.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-24中任一项所述的界面显示方法。
27.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-24中任一项所述的界面显示方法。
28.一种芯片系统,其特征在于,所述芯片系统应用于电子设备;所述芯片系统包括一个或多个接口电路和一个或多个处理器;所述接口电路和所述处理器通过线路互连;所述接口电路用于从所述电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,所述电子设备执行如权利要求1-24中任一项所述的界面显示方法。
29.一种图形用户界面GUI,所述图形用户界面存储在电子设备中,所述电子设备包括屏幕、存储器、一个或多个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序,其特征在于,所述图形用户界面包括:
显示在所述屏幕上的第一GUI,所述第一GUI包括第一界面;
响应于打开第一应用的操作,在所述屏幕上显示第二GUI,所述第二GUI包括所述第一界面和第二界面,所述第二界面为所述第一应用的界面,所述第一界面与所述第二界面未重叠。
30.根据权利要求29所述的图形用户界面GUI,其特征在于,所述第二GUI上的所述第二界面包括第一数据对象,所述图形用户界面还包括:
响应于拖动所述第一数据对象的操作,在所述屏幕上显示第三GUI,所述第三GUI包括所述第一数据对象的影子控件以及所述第一界面和所述第二界面,所述影子控件跟手移动;
响应于将所述第一数据对象拖动至所述第一界面的操作,在所述屏幕上显示第四GUI,所述第四GUI包括所述第一界面和所述第二界面,所述第一界面包括所述第一数据对象;
其中,当所述第一界面为邮件应用的界面时,所述第四GUI上所述第一界面的邮件的正文部分或附件部分包括所述第一数据对象;
或者,当所述第一界面为即时消息应用的界面时,所述第四GUI上所述第一界面的消息编辑框内包括所述第一数据对象。
CN201910755338.0A 2019-08-15 2019-08-15 一种界面显示方法及设备 Pending CN110647274A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910755338.0A CN110647274A (zh) 2019-08-15 2019-08-15 一种界面显示方法及设备
PCT/CN2020/107997 WO2021027747A1 (zh) 2019-08-15 2020-08-07 一种界面显示方法及设备
US17/635,246 US20220291816A1 (en) 2019-08-15 2020-08-07 Interface display method and device
EP20851954.6A EP4016271A4 (en) 2019-08-15 2020-08-07 INTERFACE DISPLAY METHOD AND DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910755338.0A CN110647274A (zh) 2019-08-15 2019-08-15 一种界面显示方法及设备

Publications (1)

Publication Number Publication Date
CN110647274A true CN110647274A (zh) 2020-01-03

Family

ID=69009564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910755338.0A Pending CN110647274A (zh) 2019-08-15 2019-08-15 一种界面显示方法及设备

Country Status (4)

Country Link
US (1) US20220291816A1 (zh)
EP (1) EP4016271A4 (zh)
CN (1) CN110647274A (zh)
WO (1) WO2021027747A1 (zh)

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160318A (zh) * 2020-01-07 2020-05-15 百度在线网络技术(北京)有限公司 电子设备控制方法及装置
CN111866593A (zh) * 2020-07-14 2020-10-30 海信视像科技股份有限公司 一种显示设备及开机界面显示方法
CN112099721A (zh) * 2020-05-22 2020-12-18 苹果公司 数字助理用户界面和响应模式
CN112221128A (zh) * 2020-11-12 2021-01-15 腾讯科技(深圳)有限公司 一种贴图调整方法及相关装置
WO2021027747A1 (zh) * 2019-08-15 2021-02-18 华为技术有限公司 一种界面显示方法及设备
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
CN112887621A (zh) * 2021-01-28 2021-06-01 维沃移动通信有限公司 控制方法和电子设备
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
CN113448658A (zh) * 2020-03-24 2021-09-28 华为技术有限公司 截屏处理的方法、图形用户接口及终端
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN113485778A (zh) * 2021-06-25 2021-10-08 青岛海尔科技有限公司 页面数据的处理方法、装置、存储介质和电子装置
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
CN113722028A (zh) * 2021-05-28 2021-11-30 荣耀终端有限公司 动态卡片显示方法及装置
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
CN114911380A (zh) * 2020-02-11 2022-08-16 荣耀终端有限公司 卡片显示方法、电子设备及计算机可读存储介质
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
CN115309300A (zh) * 2022-10-10 2022-11-08 荣耀终端有限公司 消息显示方法、电子设备及计算机可读存储介质
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
WO2022252872A1 (zh) * 2021-05-31 2022-12-08 Oppo广东移动通信有限公司 设备控制方法、装置、电子设备及存储介质
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
CN115700564A (zh) * 2021-07-22 2023-02-07 荣耀终端有限公司 一种系统空间切换方法、装置和终端设备
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
WO2023226433A1 (zh) * 2022-05-23 2023-11-30 Oppo广东移动通信有限公司 界面显示方法、装置、设备、存储介质和程序产品
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489535B (zh) * 2021-08-20 2023-04-14 荣耀终端有限公司 外屏显示方法及电子设备
CA210629S (en) * 2021-08-25 2023-11-03 Beijing Kuaimajiabian Technology Co Ltd Display screen with an animated graphical user interface
CN116204105B (zh) * 2023-05-05 2023-07-21 北京睿企信息科技有限公司 一种关联图像呈现的处理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180039382A1 (en) * 2013-09-02 2018-02-08 Samsung Electronics Co., Ltd. Method and apparatus for providing multiple applications
CN107765983A (zh) * 2017-10-13 2018-03-06 深圳天珑无线科技有限公司 终端及其基于柔性显示屏的分屏显示方法、存储装置
CN108519850A (zh) * 2018-04-09 2018-09-11 维沃移动通信有限公司 一种键盘界面显示方法和移动终端
KR20180106174A (ko) * 2017-03-17 2018-10-01 주식회사 리코시스 사용자 인터페이스를 제공하는 방법, 애플리케이션 및 장치
CN108984083A (zh) * 2018-07-10 2018-12-11 Oppo广东移动通信有限公司 分屏显示的处理方法、装置、存储介质及电子设备
CN109062465A (zh) * 2018-06-29 2018-12-21 努比亚技术有限公司 一种应用程序启动方法、移动终端及存储介质
CN109491562A (zh) * 2018-10-09 2019-03-19 珠海格力电器股份有限公司 一种语音助手应用程序的界面显示方法及终端设备
CN109766053A (zh) * 2019-01-15 2019-05-17 Oppo广东移动通信有限公司 用户界面显示方法、装置、终端及存储介质
CN109782976A (zh) * 2019-01-15 2019-05-21 Oppo广东移动通信有限公司 文件处理方法、装置、终端及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101609162B1 (ko) * 2008-11-13 2016-04-05 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 데이터 처리 방법
EP2712441B1 (en) * 2011-06-05 2020-09-23 Apple Inc. Systems and methods for displaying notifications received from multiple applications
US9509645B2 (en) * 2012-12-28 2016-11-29 Lg Electronics Inc. Mobile terminal, message transceiving server and controlling method thereof
EP2767896B1 (en) * 2013-02-14 2019-01-16 LG Electronics Inc. Mobile terminal and method of controlling the mobile terminal
CN103324435B (zh) * 2013-05-24 2017-02-08 华为技术有限公司 分屏显示的方法、装置及其电子设备
CN103605524B (zh) * 2013-11-26 2017-10-31 广东欧珀移动通信有限公司 一种在移动终端分屏运行程序的方法及装置
US20160037001A1 (en) * 2014-08-01 2016-02-04 MemoryMemo LLC System and method for digitally storing data
CN104216619B (zh) * 2014-09-12 2017-10-31 鲁启元 数据处理的方法、装置及电子设备
CN104777983A (zh) * 2015-04-30 2015-07-15 魅族科技(中国)有限公司 一种分屏显示方法及终端
US10635299B2 (en) * 2016-06-10 2020-04-28 Apple Inc. Device, method, and graphical user interface for manipulating windows in split screen mode
KR102571369B1 (ko) * 2016-08-03 2023-08-29 삼성전자주식회사 디스플레이 제어 방법, 저장 매체 및 전자 장치
CN107908351B (zh) * 2017-11-30 2021-07-13 北京小米移动软件有限公司 应用界面的显示方法、装置及存储介质
CN109271081B (zh) * 2018-07-28 2019-09-20 华为技术有限公司 滚动截屏的方法及电子设备
CN110647274A (zh) * 2019-08-15 2020-01-03 华为技术有限公司 一种界面显示方法及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180039382A1 (en) * 2013-09-02 2018-02-08 Samsung Electronics Co., Ltd. Method and apparatus for providing multiple applications
KR20180106174A (ko) * 2017-03-17 2018-10-01 주식회사 리코시스 사용자 인터페이스를 제공하는 방법, 애플리케이션 및 장치
CN107765983A (zh) * 2017-10-13 2018-03-06 深圳天珑无线科技有限公司 终端及其基于柔性显示屏的分屏显示方法、存储装置
CN108519850A (zh) * 2018-04-09 2018-09-11 维沃移动通信有限公司 一种键盘界面显示方法和移动终端
CN109062465A (zh) * 2018-06-29 2018-12-21 努比亚技术有限公司 一种应用程序启动方法、移动终端及存储介质
CN108984083A (zh) * 2018-07-10 2018-12-11 Oppo广东移动通信有限公司 分屏显示的处理方法、装置、存储介质及电子设备
CN109491562A (zh) * 2018-10-09 2019-03-19 珠海格力电器股份有限公司 一种语音助手应用程序的界面显示方法及终端设备
CN109766053A (zh) * 2019-01-15 2019-05-17 Oppo广东移动通信有限公司 用户界面显示方法、装置、终端及存储介质
CN109782976A (zh) * 2019-01-15 2019-05-21 Oppo广东移动通信有限公司 文件处理方法、装置、终端及存储介质

Cited By (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021027747A1 (zh) * 2019-08-15 2021-02-18 华为技术有限公司 一种界面显示方法及设备
CN111160318B (zh) * 2020-01-07 2023-10-31 百度在线网络技术(北京)有限公司 电子设备控制方法及装置
CN111160318A (zh) * 2020-01-07 2020-05-15 百度在线网络技术(北京)有限公司 电子设备控制方法及装置
CN114911380A (zh) * 2020-02-11 2022-08-16 荣耀终端有限公司 卡片显示方法、电子设备及计算机可读存储介质
CN114911380B (zh) * 2020-02-11 2024-04-09 荣耀终端有限公司 卡片显示方法、电子设备及计算机可读存储介质
CN113448658A (zh) * 2020-03-24 2021-09-28 华为技术有限公司 截屏处理的方法、图形用户接口及终端
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
CN112099721A (zh) * 2020-05-22 2020-12-18 苹果公司 数字助理用户界面和响应模式
CN111866593B (zh) * 2020-07-14 2023-03-21 海信视像科技股份有限公司 一种显示设备及开机界面显示方法
CN111866593A (zh) * 2020-07-14 2020-10-30 海信视像科技股份有限公司 一种显示设备及开机界面显示方法
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
CN112221128A (zh) * 2020-11-12 2021-01-15 腾讯科技(深圳)有限公司 一种贴图调整方法及相关装置
CN112221128B (zh) * 2020-11-12 2022-05-17 腾讯科技(深圳)有限公司 一种贴图调整方法及相关装置
CN112887621A (zh) * 2021-01-28 2021-06-01 维沃移动通信有限公司 控制方法和电子设备
CN113722028A (zh) * 2021-05-28 2021-11-30 荣耀终端有限公司 动态卡片显示方法及装置
WO2022252872A1 (zh) * 2021-05-31 2022-12-08 Oppo广东移动通信有限公司 设备控制方法、装置、电子设备及存储介质
CN113485778A (zh) * 2021-06-25 2021-10-08 青岛海尔科技有限公司 页面数据的处理方法、装置、存储介质和电子装置
CN113485778B (zh) * 2021-06-25 2023-06-13 青岛海尔科技有限公司 页面数据的处理方法、装置、存储介质和电子装置
CN115700564A (zh) * 2021-07-22 2023-02-07 荣耀终端有限公司 一种系统空间切换方法、装置和终端设备
WO2023226433A1 (zh) * 2022-05-23 2023-11-30 Oppo广东移动通信有限公司 界面显示方法、装置、设备、存储介质和程序产品
CN115309300A (zh) * 2022-10-10 2022-11-08 荣耀终端有限公司 消息显示方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP4016271A1 (en) 2022-06-22
WO2021027747A1 (zh) 2021-02-18
US20220291816A1 (en) 2022-09-15
EP4016271A4 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
WO2021027747A1 (zh) 一种界面显示方法及设备
CN109814766B (zh) 一种应用显示方法及电子设备
CN112217923B (zh) 一种柔性屏幕的显示方法及终端
CN112130742B (zh) 一种移动终端的全屏显示方法及设备
WO2021103981A1 (zh) 分屏显示的处理方法、装置及电子设备
CN110114747B (zh) 一种通知处理方法及电子设备
CN111176506A (zh) 一种屏幕显示方法及电子设备
CN110119296B (zh) 切换父页面和子页面的方法、相关装置
CN111543042B (zh) 通知消息的处理方法及电子设备
CN113645351B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
CN111669459B (zh) 键盘显示方法、电子设备和计算机可读存储介质
CN112445448B (zh) 一种柔性屏显示方法和电子设备
CN110633043A (zh) 一种分屏处理方法及终端设备
CN113961157B (zh) 显示交互系统、显示方法及设备
CN114253491A (zh) 显示方法及电子设备
CN111831281A (zh) 电子设备的显示方法、图形用户界面及电子设备
CN113986070A (zh) 一种应用卡片的快速查看方法及电子设备
CN114281439A (zh) 分屏方法、装置及电子设备
CN112449101A (zh) 一种拍摄方法及电子设备
CN112068907A (zh) 一种界面显示方法和电子设备
CN113448658A (zh) 截屏处理的方法、图形用户接口及终端
CN113495733A (zh) 主题包安装方法、装置、电子设备及计算机可读存储介质
CN117440082A (zh) 截屏方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination