CN111352565A - 用于使用触敏远程控件移动当前焦点的设备和方法 - Google Patents

用于使用触敏远程控件移动当前焦点的设备和方法 Download PDF

Info

Publication number
CN111352565A
CN111352565A CN202010067236.2A CN202010067236A CN111352565A CN 111352565 A CN111352565 A CN 111352565A CN 202010067236 A CN202010067236 A CN 202010067236A CN 111352565 A CN111352565 A CN 111352565A
Authority
CN
China
Prior art keywords
user interface
movement
touch
current focus
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010067236.2A
Other languages
English (en)
Other versions
CN111352565B (zh
Inventor
M·阿朗索鲁伊斯
N·M·威尔斯
J·T·沃斯
B·R·塞利
M·D·里克特森
H·D·彭哈
G·H·黄
G·R·科拉克
J·L·罗宾
W·M·巴赫曼
B·W·凯格兰
J·L·弗尔塞
J·洛克海德
J·R·霍华德
J·K·麦克格林
W·C·韦斯特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202010067236.2A priority Critical patent/CN111352565B/zh
Publication of CN111352565A publication Critical patent/CN111352565A/zh
Application granted granted Critical
Publication of CN111352565B publication Critical patent/CN111352565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开涉及用于使用触敏远程控件移动当前焦点的设备和方法。电子设备向显示器提供数据以呈现具有多个用户界面对象的用户界面,并且当前焦点在第一用户界面对象上。设备接收对应于触敏表面上的接触的移动的输入。移动包括各自对应于显示器上的第一和第二轴的第一和第二分量。设备将当前焦点沿着第一和第二轴移动基于第一和第二分量的幅度的量。当前焦点沿着非主轴的移动量相对于当前焦点沿着主轴的移动量以基于接触的移动速率的缩放因子减小。

Description

用于使用触敏远程控件移动当前焦点的设备和方法
技术领域
本申请是申请号为201610670819.8、申请日为2016年08月15 日、发明名称为“用于使用触敏远程控件移动当前焦点的设备和方法”的发明专利申请的分案申请。
本申请总体上涉及与触敏远程控件通信的电子设备,包括但不限于与触敏远程控件和显示设备通信的电子设备。
背景技术
诸如电视机显示器的显示器广泛地用于查看信息和娱乐。例如,电视机通常用于观看电影和电视节目。远程控件通常用于与控制在显示器上呈现的内容的数字媒体播放器、电视机和/或机顶盒交互。例如,传统的远程控件通常包括允许用户控制媒体内容的呈现的按钮(例如播放按钮、暂停按钮、停止按钮、快进按钮和倒退按钮)。远程控件还用于与显示器上的用户界面对象交互。例如,远程控件用于在电视机显示器上的应用图标、频道图标和/或内容图标之间移动当前焦点。这些图标的激活导致对应的应用、频道或内容在显示器上的显示。
但是现有的用于移动诸如电视机显示器的显示器上的当前焦点的设备和方法麻烦并且低效。
发明内容
因此,本文中公开了一种电子设备,其使用更快、更高效的方法和界面用于在诸如电视机显示器的显示器上移动当前焦点。这样的方法和界面可选地补充或取代传统的用于与显示器上的用户界面对象交互的方法。这样的方法和界面减小了来自用户的输入的数目、程度和/或属性,并且产生更高效的人机交互。
与电子设备的用户界面相关联的以上缺陷和其它问题通过所公开的设备来减小或消除。在一些实施例中,设备是数字媒体播放器。在一些实施例中,设备是电视机或机顶盒。在一些实施例中,设备是台式计算机。在一些实施例中,设备是便携式的(例如笔记本计算机、平板计算机或手持式设备)。在一些实施例中,设备是个人电子设备(例如可佩带电子设备,诸如手表)。在一些实施例中,设备具有触摸板或者与触摸板通信。在一些实施例中,设备具有触敏表面或触敏显示器(也称为“触摸屏”或“触摸屏显示器”)或者与触敏表面或触敏显示器通信。在一些实施例中,设备具有图形用户界面(GUI)、一个或多个处理器、存储器以及一个或多个模块、程序或者存储在存储器中用于执行多个功能的指令集。在一些实施例中,用户主要通过触敏表面上的触笔和/或手指接触和手势来与 GUI交互。在一些实施例中,功能可选地包括图像编辑、绘制、演示、文字处理、表格制作、玩游戏、打电话、视频会议、电子邮件、即时消息、锻炼支持、数字照相、数字视频、web浏览、数字音乐播放、做笔记和/或数字视频播放。用于执行这些功能的可执行指令可选地被包括在非暂态计算机可读存储介质或其它被配置用于由一个或多个处理器来执行的计算机程序产品中。用于执行这些功能的可执行指令可选地被包括在暂态计算机可读存储介质或者其它被配置用于由一个或多个处理器来执行的计算机程序产品中。
根据一些实施例,在具有一个或多个处理器和存储器的电子设备处执行方法。设备与显示器和包括触敏表面的用户输入设备通信。方法包括向显示器提供数据以呈现具有多个用户界面对象的用户界面。多个用户界面对象包括第一用户界面对象,并且当前焦点在第一用户界面对象上。方法还包括在显示器正在呈现用户界面时,接收对应于用户输入设备的触敏表面上的接触的移动的第一输入。触敏表面上的接触的移动包括对应于在显示器上沿着第一轴的移动的接触的第一移动分量以及对应于在显示器上沿着垂直于第一轴的第二轴的移动的接触的第二移动分量。方法还包括响应于接收到对应于用户输入设备的触敏表面上的接触的移动的第一输入,根据第一轴是主轴的确定:将用户界面中的当前焦点沿着第一轴移动基于第一移动分量的幅度的量;并且将用户界面中的当前焦点沿着第二轴移动基于第二移动分量的幅度的量。当前焦点沿着第二轴的移动量相对于当前焦点沿着第一轴的移动量以基于触敏表面上的接触的移动速率的缩放因子减小。方法还包括根据第二轴是主轴的确定:将用户界面中的当前焦点沿着第一轴移动基于第一移动分量的幅度的量;并且将用户界面中的当前焦点沿着第二轴移动基于第二移动分量的幅度的量。当前焦点沿着第一轴的移动量相对于当前焦点沿着第二轴的移动量以基于触敏表面上的接触的移动速率的缩放因子减小。
根据一些实施例,在具有一个或多个处理器和存储器的电子设备处执行方法。设备与显示器和包括触敏表面的用户输入设备通信。方法包括向显示器提供数据以呈现包括以下各项的用户界面:(a) 多个用户界面对象;以及(b)在多个用户界面对象中的第一用户界面对象上的当前焦点。方法还包括在显示器正在呈现用户界面时,接收对应于在用户输入设备的触敏表面上检测到的手势的输入。手势包括触敏表面上的接触的移动,之后跟随接触从触敏表面的抬起。手势包括特征移动距离和特征移动速度。方法还包括根据手势满足滑行标准的确定:移动用户界面中的当前焦点;并且以基于手势的特征移动距离和手势的特征移动速度的第一减速速率减速一系列用户界面对象上的当前焦点的移动。
根据一些实施例,在具有一个或多个处理器和存储器的电子设备处执行方法。设备与显示器和用户输入设备(例如包括触敏表面的用户输入设备)通信。方法包括向显示器提供数据以呈现包括多个用户界面对象的用户界面。多个用户界面对象包括第一组用户界面对象和第二组用户界面对象,并且第一组用户界面对象至少包括第一用户界面对象。用户界面还包括在第一组用户界面对象中的第一用户界面对象上的当前焦点。方法还包括在显示器正在呈现包括多个用户界面对象的用户界面时,接收对应于用户输入设备上的第一用户输入的第一输入;响应于接收到第一输入并且根据用户输入设备上的第一用户输入对应于将当前焦点移动到第二组用户界面对象中的用户界面对象的请求的确定:确定对应于用户输入设备上的第一用户输入的方向的显示器上的方向上的第一用户界面对象的投影;识别与和用户输入设备上的第一用户输入的方向对应的显示器上的方向上的第一用户界面对象的投影的重叠的一个或多个用户界面对象;并且将当前焦点移动到一个或多个所识别的用户界面对象中的第二用户界面对象。
根据一些实施例,电子设备与被配置成显示用户界面的显示单元通信。电子设备包括处理单元。处理单元被配置成向显示单元提供数据以呈现具有多个用户界面对象的用户界面。多个用户界面对象包括第一用户界面对象,并且当前焦点在第一用户界面对象上。处理单元还被配置成在显示器呈现用户界面时,接收对应于用户输入设备的触敏表面上的接触的移动的第一输入。触敏表面上的接触的移动包括对应于在显示器上沿着第一轴的移动的接触的第一移动分量以及对应于在显示器上沿着垂直于第一轴的第二轴的移动的接触的第二移动分量。处理单元还被配置成响应于接收到对应于用户输入设备的触敏表面上的接触的移动的第一输入,根据第一轴是主轴的确定:将用户界面中的当前焦点沿着第一轴移动基于第一移动分量的幅度的量;并且将用户界面中的当前焦点沿着第二轴移动基于第二移动分量的幅度的量。当前焦点沿着第二轴的移动量相对于当前焦点沿着第一轴的移动量以基于触敏表面上的接触的移动速率的缩放因子减小。处理单元还被配置成根据第二轴是主轴的确定:将用户界面中的当前焦点沿着第一轴移动基于第一移动分量的幅度的量;并且将用户界面中的当前焦点沿着第二轴移动基于第二移动分量的幅度的量。当前焦点沿着第一轴的移动量相对于当前焦点沿着第二轴的移动量以基于触敏表面上的接触的移动速率的缩放因子减小。
根据一些实施例,电子设备与被配置成显示用户界面的显示单元通信。电子设备包括处理单元。处理单元被配置成向显示单元提供数据以呈现包括以下各项的用户界面:(a)多个用户界面对象;以及(b)在多个用户界面对象中的第一用户界面对象上的当前焦点。处理单元还被配置成在显示器呈现用户界面时,接收对应于在用户输入设备的触敏表面上检测到的手势的输入。手势包括触敏表面上的接触的移动,之后跟随接触从触敏表面的抬起。手势包括特征移动距离和特征移动速度。处理单元还被配置成根据手势满足滑行标准的确定:移动用户界面中的当前焦点;并且以基于手势的特征移动距离和手势的特征移动速度的第一减速速率减速一系列用户界面对象上的当前焦点的移动。
根据一些实施例,电子设备与被配置成显示用户界面的显示单元通信。电子设备包括处理单元。处理单元被配置成向显示单元提供数据以呈现包括多个用户界面对象的用户界面。多个用户界面对象包括第一组用户界面对象和第二组用户界面对象,并且第一组用户界面对象至少包括第一用户界面对象。用户界面还包括在第一组用户界面对象中的第一用户界面对象上的当前焦点。处理单元还被配置成在显示器呈现包括多个用户界面对象的用户界面时,接收对应于用户输入设备上的第一用户输入的第一输入;响应于接收到第一输入并且根据用户输入设备上的第一用户输入对应于将当前焦点移动到第二组用户界面对象中的用户界面对象的请求的确定:确定对应于用户输入设备上的第一用户输入的方向的显示器上的方向上的第一用户界面对象的投影;识别与和用户输入设备上的第一用户输入的方向对应的显示器上的方向上的第一用户界面对象的投影的重叠的一个或多个用户界面对象;并且将当前焦点移动到一个或多个所识别的用户界面对象中的第二用户界面对象。
根据一些实施例,电子设备包括显示器、触敏表面、用于检测与触敏表面的接触强度的可选的一个或多个传感器、一个或多个处理器、存储器、以及一个或多个程序;一个或多个程序存储在存储器中并且被配置成由一个或多个处理器来执行并且一个或多个程序包括用于执行本文中描述的方法中的任何方法的操作或者引起这些操作的执行的指令。根据一些实施例,计算机可读存储介质(例如非暂态计算机可读存储介质或者体系的暂态计算机可读存储介质) 中存储有在由具有显示器、触敏表面以及用于检测与触敏表面的接触强度的可选的一个或多个传感器的电子设备执行时引起设备执行本文中描述的方法中的任何方法的操作或者引起这些操作的执行的指令。根据一些实施例,具有显示器、触敏表面、用于检测与触敏表面的接触强度的可选的一个或多个传感器、存储器、以及用于执行存储器中存储的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括以上描述的方法中的任何方法中显示的元件中的一个或多个元件,其响应于输入来被更新,如本文中描述的方法中的任何方法中描述的。根据一些实施例,电子设备包括显示器、触敏表面、用于检测与触敏表面的接触强度的可选的一个或多个传感器;以及用于执行本文中描述的方法中的任何方法的操作或者引起这些操作的执行的装置。根据一些实施例,用于在具有显示器、触敏表面以及用于检测与触敏表面的接触强度的可选的一个或多个传感器的电子设备中使用的信息处理装置包括用于执行本文中描述的方法中的任何方法的操作或者引起这些操作的执行的装置。
因此,与显示器通信的电子设备具备用于移动显示器(例如电视机显示器)上的当前焦点的更快、更高效的方法和界面,从而增加有效性、效率和用户对这样的设备的满意度。这样的方法和界面可以补充或取代传统的用于与诸如电视机显示器的显示器上的用户界面对象交互的方法。
附图说明
为了更好地理解各种描述的实施例,应当结合以下附图参考以下具体实施方式,在附图中,相同附图标记遍及附图指代对应的部分。
图1A是图示根据一些实施例的具有触敏显示器的便携式多功能设备的框图;
图1B是图示根据一些实施例的用于事件处理的示例性组件的框图;
图2图示根据一些实施例的具有触摸屏的便携式多功能设备;
图3是根据一些实施例的具有显示器和触敏表面的示例性多功能设备的框图;
图4A图示根据一些实施例的用于便携式多功能设备上的应用菜单的示例性用户界面;
图4B图示根据一些实施例的用于具有与显示器分离的触敏表面的多功能设备的示例性用户界面;
图4C图示根据一些实施例的与显示器和触敏表面通信的示例性电子设备,其中至少对于电子设备的子集,显示器和/或触敏表面被集成到电子设备中;
图5A-5GG图示根据一些实施例的用于移动当前焦点的示例性用户界面;
图6A-6B是图示根据一些实施例的移动当前焦点的方法的流程图;
图7A-7C是图示根据一些实施例的移动当前焦点的方法的流程图;
图8A-8C是图示根据一些实施例的移动当前焦点的方法的流程图;以及
图9-11是根据一些实施例的电子设备的功能框图。
具体实施方式
远程控件通常用于导航、选择和与诸如电视机显示器的显示器上的内容和应用交互。例如,传统的远程控件通常包括允许用户控制媒体内容的回放的播放按钮、暂停按钮、停止按钮、快进按钮和倒退按钮。
另外,某些远程控件包括在显示器上的用户界面对象之间移动当前焦点的箭头键。然而,当用户想要在多个用户界面对象上移动当前焦点时,用户需要按下箭头键多次,这是缓慢、麻烦和低效的。在本文中描述的一些实施例中,对应于具有触敏表面的远程控件上的触摸输入的输入用于更快且更高效地移动当前焦点。然而,对于具有触敏表面的远程控件,触敏表面上的输入可以将当前焦点移动到非意图的位置,因为触敏表面上的输入通常没有与用户界面对象的所显示的网格完美地对准(例如触敏表面上的“水平”滑动可能不是完美地水平的)。通过将触敏表面上的输入的移动分为水平和垂直分量并且相对于主要分量减小非主要分量的比例,来减小当前焦点到显示器上的非意图位置的移动。
另外,在触敏表面上的输入的抬起之后如何控制当前焦点移动 (例如滑移)进一步促进通过多个用户界面对象的更高效的导航。本文中描述的用于基于用户输入来选择减速速率的设备和方法以及用于当前焦点的准确移动的设备和方法(例如用于将当前焦点移动到相邻用户界面对象的设备和方法)在导航通过用户界面对象时通过使用远程控件移动显示器上的当前焦点来进一步提高准确性和效率。
另外,传统的用于移动显示器上的当前焦点的设备和方法没有被很容易地配置用于在具有不同大小的用户界面对象和/或位于非均匀图案中的用户界面对象之间导航。本文中描述的实施例中的一些使用具有当前焦点的用户界面对象的投影来识别目的地用户界面对象,其与不同大小和/或布置的用户界面对象一起工作,从而在移动当前焦点通过不同大小的和/或非均匀位置处的用户界面对象时提高效率和准确性。
下面,图1A-1B、2和3提供示例性设备的描述。图4A-4C以及图5A-5GG图示用于移动当前焦点的示例性用户界面。图6A-6B、 7A-7C以及8A-8C是图示移动当前焦点的方法的流程图。图5A-5GG 中的用户界面用于图示图6A-6B、7A-7C以及8A-8C中的过程。
示例性设备
现在将详细参考其示例在附图中图示的实施例。在以下详细描述中,阐述大量具体细节以便提供对各种描述的实施例的透彻理解。然而,本领域普通技术人员应当清楚,各种描述的实施例可以在没有这些具体细节的情况下来实践。在其它情况下,没有详细描述众所周知的方法、过程、组件、电路和网络,以免不必要地模糊实施例的多个方面。
还应当理解,虽然术语第一、第二等在一些情况下在本文中用于描述各种元件,然而这些元件不应当受到这些术语的限制。这些术语仅用于区分一个元件与另一元件。例如,第一视频信息可以称为第二视频信息,并且类似地,第二视频信息可以称为第一视频信息,而没有偏离各种描述的实施例的范围。第一视频信息和第二视频信息二者都是视频信息,但是它们不是相同的视频信息,除非上下文另外清楚地指出。
本文中的各种描述的实施例的描述中使用的术语仅出于描述特定实施例的目的,而非意图限制。如各种描述的实施例和所附权利要求的描述中使用的,单数形式的“一”、“一个”和“该”意图也包括复数形式,除非上下文另外清楚地指出。还应当理解,本文中使用的术语“和/或”指代并且包括相关联的所列出的项中的一个或多个的任意和全部可能的组合。还应当理解,术语“包括”、“具有”、“包含”和/或“含有”当在本说明书中使用时指定所陈述的特征、整体、步骤、操作、元件、和/或组件的存在,但是不排除一个或多个其它特征、整体、步骤、操作、元件、组件和/或其组的存在或添加。
如本文中使用的,取决于上下文,术语“如果”可选地被理解为意指“当.....时”或者“一旦”或者“响应于确定”或者“响应于检测到”。类似地,取决于上下文,短语“如果确定”或者“如果检测到[所陈述的条件或事件]”可选地被理解为意指“一旦确定”或者“响应于确定”或者“一旦检测到[所陈述的条件或事件]”或者“响应于检测到[所陈述的条件或事件]”。
描述电子设备、用于这样的设备的用户界面以及用于使用这样的设备的相关联的过程的实施例。在一些实施例中,设备是数字媒体播放器,诸如来自加利福尼亚的库比蒂诺的苹果公司的Apple
Figure BDA0002376338230000101
在一些实施例中,设备是便携式通信设备,诸如移动电话,其也包含其它功能,诸如PDA和/或音乐播放器功能。便携式多功能设备的示例性实施例包括而不限于来自加利福尼亚的库比蒂诺的苹果公司的
Figure BDA0002376338230000102
iPod
Figure BDA0002376338230000103
Figure BDA0002376338230000104
可选地使用其它便携式电子设备,诸如具有触敏表面(例如触摸屏显示器和/或触摸板)的笔记本计算机或平板计算机。还应当理解,在一些实施例中,设备不是便携式通信设备,而是台式计算机。在一些实施例中,台式计算机具有触敏表面(例如触摸屏显示器和/或触摸板)。
在下面的讨论中,描述与显示器和触敏表面通信和/或包括显示器和触敏表面的电子设备。然而,应当理解,电子设备可选地包括一个或多个其它物理用户界面设备,诸如物理键盘、鼠标和/或游戏杆。
设备通常支持各种应用,诸如以下中的一个或多个:笔记应用、绘图应用、演示应用、文字处理应用、网站创建应用、盘编写应用、电子表格应用、游戏应用、电话应用、视频会议应用、电子邮件应用、即时消息应用、锻炼支持应用、照片管理应用、数字相机应用、数字视频相机应用、web浏览应用、数字音乐播放器应用和/或数字视频播放器应用。
在设备上执行的各种应用可选地使用至少一个公共物理用户界面设备,诸如触敏表面。触敏表面的一个或多个功能以及设备上显示的对应信息可选地从一个应用到下一应用和/或在相应应用内被调节和/或改变。以这一方式,设备的公共物理架构(诸如触敏表面) 可选地支持具有对用户直观且透明的用户界面的各种应用。
现在注意力指向具有触敏显示器的便携式设备的实施例。图1A 是图示根据一些实施例的具有触敏显示系统112的便携式多功能设备100的框图。触敏显示系统112有时方便地称为“触摸屏”,并且有时简单地称为触敏显示器。设备100包括存储器102(其可选地包括一个或多个非暂态计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统 106、其它输入或控制设备116以及外部端口124。设备100可选地包括一个或多个光学传感器164。设备100可选地包括用于检测设备 100上的接触强度的一个或多个强度传感器165(例如诸如设备100 的触敏显示系统112的触敏表面)。设备100可选地包括用于在设备100上生成触觉输出(例如在触敏表面、诸如设备100的触敏显示系统112或设备300的触摸板355上生成触觉输出)的一个或多个触觉输出生成器167。这些组件可选地通过一个或多个通信总线或信号线103通信。
如本说明书和权利要求中使用的,术语“触觉输出”指代将由用户通过用户的触觉来检测的相对于设备的先前位置的设备的物理位移、相对于设备的另一组件(例如壳体)的设备的某个组件(例如触敏表面)的物理位移、或者相对于设备的质量中心的组件的位移。例如,在设备或设备的组件与对触摸敏感的用户的表面(例如手指、手掌或用户手部的其它部分)接触的情况下,通过物理位移生成的触觉输出将被用户解释为对应于设备或设备的组件的物理特性的感知变化的触觉感觉。例如,触敏表面(例如触敏显示器或触摸板)的移动可选地被用户解释为物理致动器按钮的“向下点击”或“向上点击”。在一些情况下,即使不存在与被用户的移动物理按压(例如移位)的触敏表面相关联的物理致动器按钮的移动,用户将感觉到触觉感觉,诸如“向下点击”或“向上点击”。作为另一示例,即使触敏表面的平滑度没有变化,触敏表面的移动可选地被用户解释或感觉为触敏表面的“粗糙度”。虽然用户触摸的这样的解释将受制于用户的个性化的感觉感知,但是存在对大部分用户而言共同的触摸的很多感觉感知。因此,当触觉输出被描述为对应于用户的特定感觉感知(例如“向上点击”、“向下点击”、“粗糙度”)时,除非另外陈述,否则所生成的触觉输出对应于设备或其组件的物理位移,其将对于典型(或平均)用户生成所描述的感觉感知。
应当理解,设备100仅是便携式多功能设备的一个示例,并且设备100可选地具有比所示的更多或更少的组件,可选地组合一个或多个组件,或者可选地具有组件的不同配置或布置。图1A所示的各种组件用硬件、软件、固件或其组合(包括一个或多个信号处理电路和/或专用集成电路)来实现。
存储器102可选地包括高速随机存取存储器并且可选地还包括非暂态存储器,诸如一个或多个磁盘存储设备、闪存存储器设备、或其它非暂态固态存储器设备。诸如(多个)CPU 120和外围设备接口118的设备100的其它组件对存储器102的访问可选地通过存储器控制器122来控制。
外围设备接口118可以用于将设备的输入和输出外围设备耦合至(多个)CPU 120和存储器102。一个或多个处理器120运行或执行存储器102中存储的各种软件程序和/或指令集以执行设备100的各种功能并且处理数据。
在一些实施例中,外围设备接口118、(多个)CPU 120和存储器控制器122可选地在诸如芯片104的单个芯片上实现。在一些其它实施例中,它们可选地在单独的芯片上实现。
RF(射频)电路108接收和发送也称为电磁信号的RF信号。 RF电路108将电信号变换成电磁信号/将电磁信号变换成电信号并且经由电磁信号与通信网络和其它通信设备通信。RF电路108可选地包括用于执行这些功能的众所周知的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片集、用户身份模块(SIM)卡和存储器等。RF电路108可选地与网络(诸如互联网(也称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)))通信以及通过无线通信与其它设备通信。无线通信可选地使用多个通信标准、协议和技术中的任何一个,包括但不限于全球移动通信系统(GSM)、增强数据GSM 环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、仅数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如IEEE 802.11a、IEEE802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如可扩展消息和呈现协议(XMPP)、针对即时消息和呈现的利用扩展的会话发起协议(SIMPLE)、即使消息和呈现服务(IMPS))和 /或短消息服务(SMS),或者任何其它合适的通信协议,包括在本文档的提交日尚未开发的通信协议。
音频电路110、扬声器111和麦克风113在用户与设备100之间提供音频接口。音频电路110从外围设备接口118接收音频数据,将音频数据变换成电信号,并且向扬声器111传输电信号。扬声器 111将电信号变换成人类可听的声波。音频电路110还接收由麦克风 113从声波变换来的电信号。音频电路110将电信号变换成音频数据并且将音频数据传输到外围设备接口118用于处理。音频数据可选地由外围设备接口118从存储器102和/或RF电路108接收和/或向存储器102和/或RF电路108传输。在一些实施例中,音频电路110 还包括耳机插孔(例如图2的212)。耳机插孔在音频电路110与可移除音频输入/输出外围设备(诸如仅输出耳塞或者具有输出(例如用于一个或两个耳朵的耳塞)和输入(例如麦克风)二者的耳机) 之间提供接口。
I/O子系统106将设备100上的输入/输出外围设备(诸如触敏显示系统112和其它输入或控制设备116)与外围设备接口118耦合。 I/O子系统106可选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161以及用于其它输入或控制设备的一个或多个输入控制器160。一个或多个输入控制器160 从其它输入或控制设备116接收电信号/向其它输入或控制设备116 发送电信号。其它输入或控制设备116可选地包括物理按钮(例如下压按钮、摇杆按钮等)、刻度盘、滑动开关、游戏杆和点击轮等。在一些备选实施例中,(多个)输入控制器160可选地与以下中的任何一个耦合(或者不与其中任一个耦合):键盘、红外端口、USB 端口、触笔、和/或指示设备(诸如鼠标)。一个或多个按钮(例如图2的208)可选地包括用于扬声器111和/或麦克风113的音量控制的增加/减小按钮。一个或多个按钮可选地包括下压按钮(例如图 2的206)。
触敏显示系统112在设备与用户之间提供输入接口和输出接口。显示控制器156从触敏显示系统112接收电信号/向触敏显示系统 112发送电信号。触敏显示系统112向用户显示视觉输出。视觉输出可选地包括图形、文本、图标、视频和其任意组合(统称为“图形”)。在一些实施例中,视觉输出中的一些或全部对应于用户界面对象。
触敏显示系统112具有基于触知和/或触觉接触从用户接受输入的触敏表面、传感器或传感器集合。触敏显示系统112和显示控制器156(连同任何相关联的模块和/或存储器102中的指令集)检测触敏显示系统112上的接触(以及接触的任何移动或中断)并且将所检测到的接触变换成与显示在触敏显示系统112上的用户界面对象(例如一个或多个软键、图标、web页面或图像)的交互。在一些实施例中,触敏显示系统112与用户之间的接触点对应于用户的手指或触笔。
虽然在其它实施例中使用其它显示技术,触敏显示系统112可选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术。触敏显示系统112和显示控制器156 可选地使用现在已知或稍后开发的多个触摸感测技术(包括但不限于电容、电阻、红外、和表面声波技术)中的任何技术、以及其它接近传感器阵列或者用于确定与触敏显示系统112的一个或多个接触点的其它元件来检测接触及其任何移动或中断。在一些实施例中,使用投影互电容感测技术,诸如在来自加利福尼亚的库比蒂诺的苹果公司的
Figure BDA0002376338230000151
iPod
Figure BDA0002376338230000152
Figure BDA0002376338230000153
中找到的。
触敏显示系统112可选地具有超过100dpi的视频分辨率。在一些实施例中,触摸屏视频分辨率超过400dpi(例如500dpi、800dpi 或更大)。用户可选地使用任意合适的对象或附加物(诸如触笔和手指等)来接触触敏显示系统112。在一些实施例中,用户界面被设计成使用基于手指的接触或手势工作,这由于触摸屏上手指的更大的接触面积而可能没有基于触笔的输入精确。在一些实施例中,设备将粗糙的基于手指的输入转换成精确的指针/光标位置或命令以执行用户期望的动作。
在一些实施例中,除了触摸屏,设备100可选地包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施例中,触摸板是设备的触敏区域,其(不同于触摸屏)不显示虚拟输出。触摸板可选地是与触敏显示系统112分离的触敏表面或者是由触摸屏形成的触敏表面的延伸部。
设备100还包括用于对各种组件供电的电源系统162。电源系统 162可选地包括电源管理系统、一个或多个电源(例如电池、交流电 (AC))、再充电系统、电源故障检测电路、电源变换器或逆变器、电源状态指示器(例如发光二极管(LED))以及与便携式设备中电力的生成、管理和分配相关联的任何其它组件。
设备100可选地还包括一个或多个光学传感器164。图1A示出了与I/O子系统106中的光学传感器控制器158耦合的光学传感器。 (多个)光学传感器164可选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。(多个)光学传感器164 从环境接收通过一个或多个透镜被投影的光,并且将光变换成表示图像的数据。结合成像模块143(也称为相机模块),(多个)光学传感器164可选地捕获静止图像和/或视频。在一些实施例中,光学传感器位于设备100的背面,与在设备的正面上的触敏显示系统112 相对,使得触摸屏被启用用作用于静止和/或视频图像获取的取景器。在一些实施例中,另一光学传感器位于设备的正面,使得能够获取用户的图像(例如用于自拍、用于在用户在触摸屏上查看其它视频会议参与者时进行视频会议等)。
设备100可选地还包括一个或多个接触强度传感器165。图1A 示出了与I/O子系统106中的强度传感器控制器159耦合的接触强度传感器。(多个)接触强度传感器165可选地包括一个或多个压阻应变计、电容性力传感器、电力(electric force)传感器、压电源传感器、光力(optical force)传感器、电容性触敏表面或者其它强度传感器(例如用于测量触敏表面上的接触的力(或压力)的传感器)。 (多个)接触强度传感器165从环境接收接触强度信息(例如压力信息或压力信息的代理(proxy))。在一些实施例中,至少一个接触强度传感器与触敏表面(例如触敏显示系统112)并列或接近触敏表面。在一些实施例中,至少一个接触强度传感器位于设备100的背面,与位于设备100的正面的触摸屏显示系统112相对。
设备100可选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦合的接近传感器166。备选地,接近传感器 166与I/O子系统106中的输入控制器160耦合。在一些实施例中,接近传感器在多功能设备被放置在用户的耳朵附近时(例如在用户做出电话呼叫时)关闭或停用触敏显示系统112。
设备100可选地还包括一个或多个触觉输出生成器167。图1A 示出了与I/O子系统106中的触觉反馈控制器161耦合的触觉输出生成器。(多个)触觉输出生成器167可选地包括一个或多个电声设备,诸如扬声器或将能量变换成线性运动的其它音频组件和/或电机设备,诸如电机、螺线管、电活性聚合物、压电致动器、静电致动器、或其它触觉输出生成组件(例如将电信号变换成设备上的触觉输出的组件)。在一些实施例中,(多个)触觉输出生成器167从触觉反馈模块133接收触觉反馈生成指令并且在设备100上生成能够被设备100的用户感觉的触觉输出。在一些实施例中,至少一个触觉输出生成器与触敏表面(例如触敏显示系统112)并列或者接近触敏表面,并且可选地通过垂直地(例如入/出设备100的表面)或者横向地(例如在与设备100的表面相同的平面上来回)移动触敏表面来生成触觉输出。在一些实施例中,至少一个触觉输出生成器传感器位于设备100的背面,与位于设备100的正面的触敏显示系统112相对。
设备100可选地还包括一个或多个加速计168。图1A示出了与外围设备接口118耦合的加速计168。备选地,加速计168可选地与 I/O子系统106中的输入控制器160耦合。在一些实施例中,基于从一个或多个加速计接收的数据的分析在触摸屏显示器上以肖像视图或景观视图显示信息。除了(多个)加速计168,设备100可选地包括磁力计(未示出)以及用于获取涉及设备100的位置和方位(例如肖像或景观)的信息的GPS(或GLONASS或其它全球导航系统) 接收器(未示出)。
在一些实施例中,存储器102中存储的软件组件包括操作系统 126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集) 135以及应用(或指令集)136。另外,在一些实施例中,存储器102 存储设备/全局内部状态157,如图1A和3所示。设备/全局内部状态157包括以下中的一项或多项:有效应用状态,表示哪些应用(如果存在)当前有效;显示状态,表示什么应用、视图或其它信息占据触敏显示系统112的各种区域;传感器状态,包括从设备的各种传感器以及其它输入或控制设备116获得的信息;以及涉及设备的位置和/或姿态的位置和/或定位信息。
操作系统126(例如iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或嵌入式操作系统(诸如VxWorks))包括用于控制和管理一般系统任务(例如存储器管理、存储设备控制、功率管理等)的各种软件组件和/或驱动器,并且促进各种硬件与软件组件之间的通信。
通信模块128促进通过一个或多个外部端口124与其它设备的通信并且还包括用于处理由RF电路108和/或外部端口124接收的数据的各种软件组件。外部端口124(例如通用串行总线(USB)、 FIREWIRE等)被适配用于直接耦合至其它设备或通过网络(例如互联网、无线LAN等)间接耦合至其它设备。在一些实施例中,外部端口是多引脚(例如30引脚)连接器,其与在来自加利福尼亚的库比蒂诺的苹果公司的一些
Figure BDA0002376338230000181
iPod
Figure BDA0002376338230000182
Figure BDA0002376338230000183
设备中使用的30引脚连接器相同或类似和/或兼容。在一些实施例中,外部端口是与在来自加利福尼亚的库比蒂诺的苹果公司的一些
Figure BDA0002376338230000184
iPod
Figure BDA0002376338230000185
Figure BDA0002376338230000186
设备中使用的闪电(Lightning)连接器相同或相似和/或兼容的闪电连接器。
接触/运动模块130可选地检测与触敏显示系统112(结合显示控制器156)以及其它触敏设备(例如触摸板或物理点击轮)的接触。接触/运动模块130包括用于执行与接触(例如被手指或触笔)的检测有关的各种操作的各种软件组件,诸如检测是否已经发生接触(例如检测手指向下事件),确定接触的强度(例如接触的力或压力或者用于接触的力或压力的替代品),确定是否存在接触的移动并且跟踪在触敏表面上的移动(例如检测一个或多个手指拖拽事件),以及确定接触是否已经停止(例如检测手指向上事件或接触的中断)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动(其用一系列接触数据表示)可选地包括确定接触点的速率(幅度)、速度(幅度和方向)和/或加速度(幅度和/或方向的变化)。这些操作可选地适用于单个接触(例如一个手指接触或触笔接触) 或者多个同时接触(例如“多触摸”/多个手指接触)。在一些实施例中,接触/运动模块130和显示控制器156检测触摸板上的接触。
接触/运动模块130可选地检测用户输入的手势。触敏表面上的不同手势具有不同的接触图案(例如所检测的接触的不同的运动、时序和/或强度)。因此,手势可选地通过检测特定接触图案来检测。例如,检测手指轻击手势包括检测手指向下事件之后在与手指向下事件(例如在图标的位置处)相同的位置(或者基本上相同的位置) 检测手指向上(抬起)事件。作为另一示例,检测触敏表面上的手指滑动手势包括检测手指向下事件之后检测一个或多个手指拖拽事件,并且随后检测手指向上(抬起)事件。类似地,可选地通过检测触笔的特定接触图案来检测触笔的轻击、滑动、拖拽和其它手势。
图形模块132包括用于在触敏显示系统112或其它显示器上渲染和显示图形的各种已知的软件组件,包括用于改变所显示的图形的视觉影响(例如亮度、透明度、饱和度、对比度或其它视觉属性) 的组件。如本文中使用的,术语“图形”包括可以向用户显示的任何对象,包括而不限于文本、web页面、图标(诸如包括软键的用户界面对象)、数字图像、视频和动画等。
在一些实施例中,图形模块132存储表示要使用的图形的数据。每个图形可选地被分配对应代码。图形模块132从应用等接收指定要显示的图形的一个或多个代码连同(根据需要)坐标数据以及其它图形属性数据,并且然后生成屏幕图像数据以输出到显示控制器156。
触觉反馈模块133包括用于生成用于使用(多个)触觉输出生成器167响应于与设备100的用户交互在设备100上的一个或多个位置处产生触觉输出的指令(例如由触觉反馈控制器161使用的指令)的各种软件组件。
文本输入模块134(其可选地是图形模块132的组件)提供用于在各种应用(例如联系人137、电子邮件140、IM 141、浏览器147 以及任何其它需要文本输入的应用)中输入文本的软键盘。
GPS模块135确定设备的位置并且提供该信息用于在各种应用中使用(例如提供至电话138用于在基于位置的拨号中使用,提供至相机143作为图片/视频元数据,以及提供至提供基于位置的服务 (诸如天气小部件、本地黄页小部件和地图/导航小部件)的应用)。
应用136可选地包括以下模块(或指令集)、或者其子集或超子集:
·联系人模块137(有时称为地址簿或联系人列表);
·电话模块138;
·视频会议模块139
·电子邮件客户端模块140;
·即时消息(IM)模块141;
·锻炼支持模块142;
·用于静止和/或视频图像的相机模块143;
·图像管理模块144;
·浏览器模块147;
·日历模块148;
·小部件模块149,其可选地包括以下中的一个或多个:天气小部件 149-1、股市小部件149-2、计算器小部件149-3、闹钟小部件149-4、词典小部件149-5、以及用户获得的其它小部件、以及用户创建的小部件149-6;
·用于制作用户创建的小部件149-6的小部件创建器模块150;
·搜索模块151;
·视频和音频播放器模块152,其可选地由视频播放器模块和音乐播放器模块组成;
·备忘录模块153;
·地图模块154;和/或
·在线视频模块155。
可选地存储在存储器102中的其它应用136的示例包括其它文字处理应用、其它图像编辑应用、绘图应用、演示应用、JAVA启用的应用、加密、数字版权管理、视频识别和语音复制。
结合触敏显示系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,联系人模块137包括管理地址簿或联系人列表(例如存储在存储器102或存储器370中的联系人模块137 的应用内部状态192中)的可执行指令,包括:向地址簿添加(多个)姓名;从地址簿删除(多个)姓名;使(多个)电话号码、(多个)电子邮件地址、(多个)物理地址或其它信息与姓名相关联;使图像与姓名相关联;分类和排列姓名;提供电话号码和/或电子邮件地址以发起和/或促进通过电话138进行的通信、视频会议139、电子邮件140或IM141;等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,电话模块138包括输入对应于电话号码的字符序列的可执行指令、访问地址簿137中的一个或多个电话号码的可执行指令、修改已经输入的电话号码的可执行指令、拨打相应电话号码的可执行指令、进行交谈并且在交谈完成时断开或挂断的可执行指令。如以上指出的,无线通信可选地使用多个通信标准、协议和技术中的任何一个。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、(多个)光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138,视频会议模块139包括根据用户指令在用户与一个或多个其它参与者之间发起、进行和终止视频会议的可执行指令。
结合RF电路108、触敏显示系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,电子邮件客户端模块140 包括响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144,电子邮件客户端模块140使得能够非常容易地通过使用相机模块143拍摄的静止或视频图像来创建和发送电子邮件。
结合RF电路108、触敏显示系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,即时消息模块141包括输入对应于即时消息的字符序列的可执行指令、修改先前输入的字符的可执行指令、传输相应即时消息(例如,使用用于基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用用于基于互联网的即时消息的XMPP、SIMPLE、苹果推送通知服务(APN)或IMPS)的可执行指令、接收即时消息的可执行指令以及查看所接收的即时消息的可执行指令。在一些实施例中,传输和/或接收的即时消息可选地包括图形、照片、音频文件、视频文件和/或在MMS和/或增强的消息服务(EMS)中支持的其它附件。如本文中使用的,“即时消息”是指基于电话的消息(例如使用SMS 或MMS发送的消息)和基于互联网的消息(例如使用XMPP、 SIMPLE、APN或IMPS发送的消息)二者。
结合RF电路108、触敏显示系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块146,锻炼支持模块142包括创建锻炼(例如时间、距离和/或卡路里燃烧目标)的可执行指令;与锻炼传感器 (在运动设备和智能手表中)通信的可执行指令;接收锻炼传感器数据的可执行指令;校准用于监视锻炼的传感器的可执行指令;选择和播放用于锻炼的音乐的可执行指令;以及显示、存储和传输锻炼数据的可执行指令。
结合触敏显示系统112、显示控制器156、(多个)光学传感器 164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144,相机模块143包括捕获静止图像或视频(包括视频流) 并且将其存储到存储器102中的可执行指令、修改静止图像或视频的特征的可执行指令、和/或从存储器102删除静止图像或视频的可执行指令。
结合触敏显示系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134和相机模块143,图像管理模块144包括布置、修改(例如编辑)或以其它方式操纵、标记、删除、呈现 (例如在数字幻灯片或相册中)和存储静止和/或视频图像的可执行指令。
结合RF电路108、触敏显示系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134,浏览器模块147包括根据用户指令来浏览互联网的可执行指令,包括搜索、链接至、接收和显示web页面或其部分以及链接至web页面的附件和其它文件。
结合RF电路108、触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147,日历模块148包括根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如日历项、待办事项清单等)的可执行指令。
结合RF电路108、触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147,小部件模块149是可选地由用户下载和使用的迷你应用(例如天气小部件149-1、股市小部件149-2、计算器小部件149-3、闹钟小部件 149-4和词典小部件149-5)或者是由用户创建的迷你应用(例如用户创建的小部件149-6)。在一些实施例中,小部件包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件、和JavaScript文件。在一些实施例中,小部件包括XML(可扩展标记语言)文件和 JavaScript文件(例如Yahoo!小部件)。
结合RF电路108、触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147,小部件创建器模块150包括创建小部件的可执行指令(例如将web 页面的用户指定的部分变为小部件)。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134,搜索模块151包括根据用户指令搜索存储器102中匹配一个或多个搜索标准(例如一个或多个用户指定的搜索项)的文本、音乐、声音、图像、视频和/或其它文件的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147,视频和音乐播放器模块152包括允许用户下载和回放用一个或多个文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其它声音文件的可执行指令以及显示、呈现或以其它方式回放视频 (例如在触敏显示系统112上或者在无线地或经由外部端口124连接的外部显示器上)的可执行指令。在一些实施例中,设备100可选地包括MP3播放器(诸如iPod(苹果公司的注册商标))的功能。
结合触敏显示系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,备忘录模块153包括根据用户指令来创建和管理备忘录和待办事项清单等的可执行指令。
结合RF电路108、触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147,地图模块154包括根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如驾驶方向;关于在特定位置处或附近的商店和其它感兴趣点的数据;以及其它基于位置的数据)的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147,在线视频模块155包括允许用户通过到特定在线视频的链接来访问、浏览、接收(例如通过流传输和/或下载)、回放(例如在触摸屏112上或者在无线或经由外部端口124连接的外部显示器上)、发送电子邮件的可执行指令;以及以其它方式管理一个或多个文件格式(诸如 H.264)的在线视频的可执行指令。在一些实施例中,使用即时消息模块141、而非电子邮件客户端模块140来发送到特定在线视频的链接。
以上识别的模块和应用中的每个对应于用于执行以上描述的一个或多个功能以及本申请中描述的方法(例如计算机实现的方法和本文中描述的其它信息处理方法)的可执行指令的集合。这些模块 (即指令集)不需要实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集可选地在各种实施例中被组合或重新布置。在一些实施例中,存储器102可选地存储以上识别的模块和数据结构的子集。另外,存储器102可选地存储以上没有描述的另外的模块和数据结构。
在一些实施例中,设备100是其中设备上的功能的预定义集合的操作排他性地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触摸板作为用于设备100的操作的主要输入控制设备,可选地减小了设备100上的物理输入控制设备(诸如下压按钮和拨号盘等)的数目。
排他性地通过触摸屏和/或触摸板来执行的功能的预定义集合可选地包括用户界面之间的导航。在一些实施例中,触摸板在被用户触摸时将设备100从在设备100上显示的任何用户界面导航到主要、主页或根菜单。在这样的实施例中,使用触摸板来实现“菜单按钮”。在一些其它实施例中,菜单按钮是物理下压按钮或其它物理输入控制设备而非触摸板。
图1B是图示根据一些实施例的用于事件处理的示例性组件的框图。在一些实施例中,存储器102(在图1A中)或370(图3)包括事件分类器170(例如在操作系统126中)和相应应用136-1(例如上述应用136、137-155、380-390中的任何应用)。
事件分类器170接收事件信息并且确定要向其递送事件信息的应用136-1和应用136-1的应用视图191。事件分类器170包括事件监视器171和事件分派器模块174。在一些实施例中,应用136-1包括应用内部状态192,其指示当应用活动或执行时在触敏显示系统112上显示的(多个)当前应用视图。在一些实施例中,设备/全局内部状态157由事件分类器170用于确定哪个(些)应用当前活动,并且应用内部状态192由事件分类器170用于确定要向其递送事件信息的应用视图191。
在一些实施例中,应用内部状态192包括附加信息,诸如以下中的一项或多项:要在应用136-1继续执行时使用的继续信息、指示正在通过应用136-1显示或者已经准备好用于通过应用136-1显示的信息的用户界面状态信息、用于使得用户能够返回应用136-1的在先状态或视图的状态队列、以及用户进行的先前动作的重做/未做队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括与子事件有关的信息(例如作为多触摸手势的一部分的触敏显示系统112上的用户触摸)。外围设备接口118传输其从I/O子系统 106或传感器(诸如接近传感器166、(多个)加速计168、和/或麦克风113(通过音频电路110))接收的信息。外围设备接口118从 I/O子系统106接收的信息包括来自触敏显示系统112或触敏表面的信息。
在一些实施例中,事件检测器171以预定间隔向外围设备接口 118发送请求。作为响应,外围设备接口118传输事件信息。在其它实施例中,外围设备接口118仅在存在明显事件(例如接收在预定噪声阈值以上的输入和/或在接收输入超过预定持续时间)的情况下传输事件信息。
在一些实施例中,事件分类器170还包括命中视图确定模块172 和/或活动事件识别器确定模块173。
命中视图确定模块172提供用于确定子事件在一个或多个视图中的何处发生、触敏显示系统112何时显示多于一个视图的软件过程。视图由控件以及用户可以在显示器上看到的其它元件组成。
与应用相关联的用户界面的另一方面是其中显示信息和发生基于触摸的手势的视图(其在本文中有时称为应用视图或用户界面窗口)的集合。其中检测到触摸的(相应应用的)应用视图可选地对应于应用的程序或视图层级内的程序等级。例如,其中检测到触摸的最低等级视图可选地称为命中视图,并且被识别为正确的输入的事件的集合可选地至少部分基于开始基于触摸的手势的初始触摸的命中视图来确定。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用具有以层级组织的多个视图时,命中视图确定模块172 将命中视图识别为应当处理子事件的层级中的最低视图。在多数情况下,命中视图是其中发生开始子事件(即形成事件或潜在事件的子事件的序列中的第一子事件)的最低等级视图。一旦命中视图被命中视图确定模块识别,则命中视图通常接收与相同的触摸或输入源相关的所有子事件,该命中视图针对相同的触摸或输入源被识别为命中视图。
活动事件识别器确定模块173确定视图层级内的哪个或哪些视图应当接收特定的子事件序列。在一些实施例中,活动事件识别器确定模块173确定仅命中视图应当接收特定的子事件序列。在其它实施例中,活动事件识别器确定模块173确定包括子事件的物理位置的所有视图都是被活动地涉及的视图,并且因此确定所有被活动地涉及的视图都应当接收特定的子事件序列。在其它实施例中,即使触摸子事件完全被限制到与一个特定视图相关联的区域,在层级中更高的视图仍然保持为被活动地涉及的视图。
事件分派器模块174将事件信息分派到事件识别器(例如事件识别器180)。在包括活动事件识别器确定模块173的实施例中,事件分派器模块174将事件信息递送到由活动事件识别器确定模块 173确定的事件识别器。在一些实施例中,事件分派器模块174在事件队列中存储由相应事件接收器模块182获取的事件信息。
在一些实施例中,操作系统126包括事件分类器170。备选地,应用136-1包括事件分类器170。在其它实施例中,事件分类器170 是独立模块,或者是存储在存储器102中的另一模块(诸如接触/运动模块130)的一部分。
在一些实施例中,应用136-1包括多个事件处理机190以及一个或多个应用视图191,每个事件处理机190包括用于处理在应用的用户界面的相应视图内发生的触摸事件的指令。应用136-1的每个应用视图191包括一个或多个事件识别器180。通常,相应应用视图191 包括多个事件识别器180。在其它实施例中,事件识别器180中的一个或多个是单独模块的一部分,诸如用户界面套件(未示出)或者应用136-1从其继承方法和其它属性的更高等级的对象。在一些实施例中,相应事件处理机190包括以下中的一项或多项:数据更新器176、对象更新器177、GUI更新器178和/或从事件分类器170接收的事件数据179。事件处理机190可选地使用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用内部状态192。备选地,应用视图191中的一个或多个包括一个或多个相应事件处理机 190。另外,在一些实施例中,数据更新器176、对象更新器177和 GUI更新器178中的一个或多个被包括在相应应用视图191中。
相应事件识别器180从事件分类器170接收事件信息(例如事件数据179),并且根据事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施例中,事件识别器180 至少还包括以下各项的子集:元数据183以及事件递送指令188(其可选地包括子事件递送指令)。
事件接收器182从事件分类器170接收事件信息。事件信息包括与子事件有关的信息,例如触摸或触摸移动。取决于子事件,事件信息还包括附加信息,诸如子事件的位置。当子事件涉及触摸的运动时,事件信息可选地还包括子事件的速度和方向。在一些实施例中,事件包括设备从一个方位到另一方位(例如从肖像方位到景观方位,或反之亦然)的旋转,并且事件信息包括与设备的当前方位(也称为设备姿态)有关的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义相比较,并且基于比较确定事件或子事件,或者确定或更新事件或子事件的状态。在一些实施例中,事件比较器184包括事件定义186。事件定义186包含事件的定义(例如预定义的子事件序列),例如事件1(187-1)、事件2(187-2)以及其他事件。在一些实施例中,事件187中的子事件包括例如触摸开始、触摸结束、触摸移动、触摸取消和多个触摸。在一个示例中,事件1(187-1)的定义是在所显示的对象上的双击。双击例如包括在预定阶段的所显示的对象上的第一触摸(触摸开始)、在预定阶段的第一抬起(触摸结束)、在预定阶段的所显示的对象上的第二触摸(触摸开始)、以及在预定阶段的第二抬起(触摸结束)。在另一示例中,事件2(187-2) 的定义是在所显示的对象上的拖拽。拖拽例如包括在预定阶段的所显示的对象上的触摸(或接触)、触敏显示系统112上的触摸的移动、以及触摸的抬起(触摸结束)。在一些实施例中,事件还包括一个或多个相关联的事件处理机190的信息。
在一些实施例中,事件定义187包括相应用户界面对象的事件的定义。在一些实施例中,事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如,在其中触敏显示系统112 上显示三个用户界面对象的应用视图中,当在触敏显示系统112上检测到触摸时,事件比较器184执行命中测试以确定三个用户界面对象中的哪个与触摸(子事件)相关联。如果每个显示的对象与相应事件处理机190相关联,则事件比较器使用命中测试的结果确定哪个事件处理机190应当被激活。例如,事件比较器184选择与子事件以及触发命中测试的对象相关联的事件处理机。
在一些实施例中,相应事件187的定义还包括延迟动作,延迟动作延迟事件信息的递送直到确定子事件序列是否对应于事件识别器的事件类型。
当相应事件识别器180确定子事件的序列不匹配事件定义186 中的任何事件时,相应事件识别器180进入事件不可能、事件失败或事件结束状态,之后其丢弃基于触摸的手势的随后的子事件。在这种情况下,针对命中视图保持活动的其它事件识别器(如果存在)继续跟踪和处理正在进行的基于触摸的手势的子事件。
在一些实施例中,相应事件识别器180包括元数据183,元数据 183具有指示事件递送系统应当如何执行到被活动地涉及的事件识别器的子事件递送的可配置的属性、标记和/或列表。在一些实施例中,元数据183包括指示事件识别器如何彼此交互或被启用以彼此交互的可配置的属性、标记和/或列表。在一些实施例中,元数据183 包括指示子事件是否被递送到视图或程序层级中的变化等级的可配置的属性、标记和/或列表。
在一些实施例中,相应事件识别器180在事件的一个或多个特定子事件被识别出时激活与事件相关联的事件处理机190。在一些实施例中,相应事件识别器180向事件处理机190递送与事件相关联的事件信息。激活事件处理机190不同于向相应命中视图发送(以及推迟发送)子事件。在一些实施例中,事件识别器180投掷与所识别的事件相关联的标记,并且与标记相关联的事件处理机190捕获标记并且执行预定义的处理。
在一些实施例中,事件递送指令188包括递送与子事件有关的事件信息而不激活事件处理机的子事件递送指令。相反,子事件递送指令向与子事件序列相关联的事件处理机或者向被活动地涉及的视图递送事件信息。与子事件序列或与被活动地涉及的视图相关联的事件处理机接收事件信息并且执行预定处理。
在一些实施例中,数据更新器176创建并且更新在应用136-1 中使用的数据。例如,数据更新器176更新在联系人模块137中使用的电话号码,或者存储在视频播放器模块145中使用的视频文件。在一些实施例中,对象更新器177创建并且更新在应用136-1中使用的对象。例如,对象更新器176创建新的用户界面对象或者更新用户界面对象的位置。GUI更新器178更新GUI。例如,GUI更新器 178准备显示信息并且将其发送到图形模块132用于在触敏显示器上显示。
在一些实施例中,(多个)事件处理机190包括或者能够访问数据更新器176、对象更新器177和GUI更新器178。在一些实施例中,数据更新器176、对象更新器177和GUI更新器178被包括在相应应用136-1或应用视图191的单个模块中。在其它实施例中,它们被包括在两个或多个软件模块中。
应当理解,涉及触敏显示器上的用户触摸的事件处理的以上讨论也适用于操作具有输入设备的多功能设备100的其它形式的用户输入(其并非全部在触摸屏上被发起)。例如,鼠标移动和鼠标按钮按下(可选地通过单个或多个键盘按下或保持被调节);触摸板上的接触移动(诸如点击、拖拽、滚动等);触笔输入;设备的移动;口头指令;所检测的眼部移动;生物计量输入;和/或其任意组合可选地用作对应于定义要识别的事件的子事件的输入。
图2图示根据一些实施例的具有触摸屏(例如图1A的触敏显示系统112)的便携式多功能设备100。触摸屏可选地显示用户界面(UI) 200中的一个或多个图形。在这些实施例以及下面描述的其它实施例中,用户能够通过在图形上做出手势(例如通过一个或多个手指202 (在附图中没有按比例绘制)或者一个或多个触笔203(在附图中没有按比例绘制))来选择图形中的一个或多个。在一些实施例中,一个或多个图形的选择在用户中断与一个或多个图形的接触时发生。在一些实施例中,手势可选地包括已经做出与设备100的接触的一个或多个点击、一个或多个滑动(从左到右、从右到左、向上和/或向下)和/或手指的滚动(从右到左、从左到右、向上和/或向下)。在一些实现方式或情况下,与图形的无意中的接触不选择图形。例如,划过应用图标的滑动手势可选地在对应于选择的手势是点击时不选择对应应用。
设备100可选地还包括一个或多个物理按钮,诸如“主页”或菜单按钮204。如先前描述的,菜单按钮204可选地用于导航到可选地在设备100上执行的应用集合中的任何应用136。备选地,在一些实施例中,菜单按钮被实现为显示在触摸屏显示器上的GUI中的软键。
在一些实施例中,设备100包括触摸屏显示器、菜单按钮204、用于开关设备以及锁定设备的下压按钮206、(多个)音量调节按钮 208、用户身份模块(SIM)卡槽210、耳机插孔212和对接/充电外部端口124。下压按钮206可选地用于通过按下按钮并且在预定义的时间间隔内保持按钮处于按下状态来开关设备;通过按下按钮并且在预定义的时间间隔过去之前释放按钮来锁定设备;和/或解锁设备或发起解锁过程。在一些实施例中,设备100还通过麦克风113来接受用于一些功能的激活或去激活的语言输入。设备100可选地还包括用于检测触敏显示系统112上的接触强度的一个或多个接触强度传感器165和/或用于生成设备100的用户的触觉输出的一个或多个触觉输出生成器167。
图3是根据一些实施例的具有显示器和触敏表面的示例性多功能设备的框图。设备300不需要是便携式的。在一些实施例中,设备300是笔记本计算机、台式计算机、平板计算机、多媒体播放器设备、导航设备、教育设备(诸如孩子的学习玩具)、游戏系统、或控制设备(例如家庭或工业控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其它通信接口360、存储器370以及用于互连这些组件的一个或多个通信总线320。通信总线320可选地包括互连和控制系统组件之间的通信的电路(有时也称为芯片集)。设备300包括输入/输出(I/O)接口330,I/O接口330包括通常是触摸屏显示器的显示器340。I/O接口330可选地还包括键盘和/或鼠标(或其它指示设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出生成器357(例如类似于以上参考图1A描述的(多个)触觉输出生成器167)、传感器359(例如类似于以上参考图1A描述的(多个)接触强度传感器165的光学、加速度、接近、触敏和/或接触强度传感器)。存储器370包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其它随机存取固态存储器设备;并且可选地包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备、或其它非易失性固态存储设备。存储器370可选地包括远离(多个)CPU 310的一个或多个存储设备。在一些实施例中,存储器370存储类似于便携式多功能设备100(图1A)的存储器102中存储的程序、模块和数据结构的程序、模块和数据结构、或者其子集。另外,存储器370 可选地存储便携式多功能设备100的存储器102中不存在的另外的程序、模块和数据结构。例如,设备300的存储器370可选地存储绘图模块380、演示模块382、文字处理模块384、网站创建模块386、盘编写模块388、和/或电子表格模块390,而便携式多功能设备100 (图1A)的存储器102可选地不存储这些模块。
图3中的以上识别的元件中的每个可选地存储在先前提及的存储器设备中的一个或多个中。以上识别的模块中的每个对应于用于执行以上描述的功能的指令集。以上识别的模块或程序(即指令集) 不需要实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集在各种实施例中可选地被组合或重新布置。在一些实施例中,存储器370可选地存储以上识别的模块和数据结构的子集。另外,存储器370可选地存储以上没有描述的另外的模块和数据结构。
现在将注意力转向可选地在便携式多功能设备100上实现的用户界面(“UI”)的实施例。
图4A图示根据一些实施例的用于便携式多功能设备100上的应用菜单的示例性用户界面。类似的用户界面可选地在设备300上实现。在一些实施例中,用户界面400包括以下元件、或者其子集或超子集:
·用于(多个)无线通信的(多个)信号强度指示符402,诸如蜂窝和Wi-Fi信号;
·时间404;
·蓝牙指示符;
·电池状态指示符406;
·具有用于频繁使用的应用的图标的托盘408,诸如:
o用于电话模块138的图标416,标记为“电话”,其可选地包括错过的呼叫或语音邮件消息的数目的指示符414;
o用于电子邮件客户端140的图标418,标记为“邮件”,其可选地包括未读电子邮件的数目的指示符410;
o用于浏览器模块147的图标420,标记为“浏览器”,以及
o用于也称为iPod(苹果公司的注册商标)模块152的视频和音乐播放器模块152的图标422,标记为“iPod”;以及
·用于其它应用的图标,诸如:
o用于IM模块141的图标424,标记为“消息”;
o用于日历模块148的图标426,标记为“日历”;
o用于图像管理模块144的图标428,标记为“照片”;
o用于相机模块143的图标430,标记为“相机”;
o用于在线视频模块155的图标432,标记为“在线视频”;
o用于股市小部件149-2的图标434,标记为“股市”;
o用于地图模块154的图标436,标记为“地图”;
o用于天气小部件149-1的图标438,标记为“天气”;
o用于闹钟小部件149-4的图标440,标记为“时钟”;
o用于锻炼支持模块142的图标442,标记为“锻炼支持”;
o用于备忘录模块153的图标444,标记为“备忘录”;以及
o用于设置应用或模块的图标446,其提供对设备100及其各种应用136的设置的访问。
应当注意,图4A中图示的图标标签仅是示例性的。例如,在一些实施例中,用于视频和音乐播放器模块152的图标422被标记为“音乐”或“音乐播放器”。其它标签可选地用于各种应用图标。在一些实施例中,用于相应应用图标的标签包括对应于相应应用图标的应用的名称。在一些实施例中,用于特定应用图标的标签不同于对应于特定应用图标的应用的名称。
图4B图示具有与显示器450分离的触敏表面451(例如图3的平板或触摸板355)的设备(例如图3的设备300)上的示例性用户界面。设备300可选地还包括用于检测触敏表面451上的触摸强度的一个或多个接触强度传感器(例如传感器357中的一个或多个) 和/或用于生成设备300的用户的触觉输出的一个或多个触觉输出生成器359。
图4B图示具有与显示器450分离的触敏表面451(例如图3的平板或触摸板355)的设备(例如图3的设备300)上的示例性用户界面。将参考检测与显示器分离的触敏表面上的输入的设备(如图 4B所示)来给出以下示例中的很多示例。在一些实施例中,触敏表面(例如图4B中的451)具有对应于显示器(例如450)上的主轴 (例如图4B中的453)的主轴(例如图4B中的452)。根据这些实施例,设备在对应于显示器上的相应位置(例如在图4B中,460对应于468并且462对应于470)处检测到与触敏表面451的接触(例如图4B中的460和462)。以这一方式,设备在触敏表面(例如图 4B中的451)上检测到的用户输入(例如接触460和462以及其移动)由设备用于在触敏表面与显示器分离时操纵多功能设备的显示器(例如图4B中的450)上的用户界面。应当理解,类似的方法可选地用于本文中描述的其它用户界面。
另外,虽然主要参考手指输入(例如手指接触、手指点击手势、手指滑动手势等)来给出以下示例,但是应当理解,在一些实施例中,手指输入中的一个或多个可以用来自另一输入设备(例如基于鼠标的输入或触笔输入)的输入、或者相同设备上的另一类型的输入(例如按钮按压)来代替。例如,滑动手势可选地用鼠标点击(例如取代接触)之后跟随光标沿着滑动路径的移动(例如取代接触的移动)来代替。作为另一示例,点击手势可选地在光标位于点击手势的位置上时用鼠标点击来代替(例如取代之后跟随停止检测接触的接触的检测)。类似地,当同时检测到多个用户输入时,应当理解,可选地同时使用多个计算机鼠标,或者可选地同时使用鼠标和手指接触。
如本文中使用的,术语“焦点选择器”是指指示用户与其交互的用户界面的当前部分的输入元件。在包括光标或其它位置标记的一些实现方式中,光标用作“焦点选择器”,使得当光标在特定用户界面元件(例如按钮、窗口、滑动条或其它用户界面元件)上时在触敏表面(例如图3中的触摸板355或图4B中的触敏表面451) 上检测到输入(例如按压输入)时,根据所检测到的输入调节特定用户界面元件。在包括启用与触摸屏显示器上的用户界面元件的直接交互的触摸屏显示器(例如图1A中的触敏显示系统112或图4A 中的触摸屏)的一些实现方式中,触摸屏上的所检测到的接触用作“焦点选择器”,使得当在触摸屏显示器上在特定用户界面元件(例如按钮、窗口、滑动条或其它用户界面元件)的位置上检测到输入(例如通过接触的按压输入)时,根据所检测到的输入调节特定用界面元件。在一些实现方式中,在没有触摸屏显示器上的对应的光标移动或接触移动的情况下将焦点选择器从用户界面的一个区域移动到用户界面的另一区域(例如通过使用制表键或箭头键从一个按钮到另一按钮移动焦点);在这些实现方式中,焦点选择器根据焦点在用户界面的不同区域之间的移动来移动。在不涉及由焦点选择器所采用的具体形式的情况下,焦点选择器通常是由用户控制以便传达用户与用户界面的意图交互(例如通过向设备指示用户意图与其交互的用户界面的元件)的用户界面元件(或触摸屏显示器上的接触)。例如,当在触敏表面(例如触摸板或触摸屏)上检测到按压输入时相应按钮上的焦点选择器(例如光标、接触或选择框)的位置将指示用户意图激活相应按钮(与设备的显示器上示出的其它用户界面元件相对)。焦点选择器在本文中也称为“当前焦点”。
图4C图示与显示器450和触敏表面451通信的示例性电子设备。至少对于计算设备的子集,根据一些实施例,显示器450和/或触敏表面451被集成到计算设备中。虽然参考与计算设备(例如图1A-1B 中的便携式多功能设备100或图3中的设备300)通信的触敏表面451和显示器450来描述下面更详细地描述的示例,但是应当理解,根据一些实施例,触敏表面和/或显示器集成计算设备,然而在其它实施例中,触敏表面和显示器中的一个或多个与计算设备分离。另外,在一些实施例中,计算设备具有集成的显示器和/或集成的触敏表面并且与和计算设备分离的一个或多个另外的显示器和/或触敏表面通信。
在一些实施例中,下面参考图5A-5GG描述的所有操作在具有用户界面导航逻辑480的单个计算设备(例如下面参考图4C描述的计算设备A)上执行。然而,应当理解,多个不同的计算设备链接在一起以执行下面参考图5A-5GG描述的操作(例如具有用户界面导航逻辑480的计算设备与具有显示器450的单独的计算设备和/或具有触敏表面451的单独的计算设备通信)。在这些实施例中的任何实施例中,下面参考图5A-5GG描述的计算设备是包含用户界面导航逻辑480的(多个)计算设备。另外,应当理解,用户界面导航逻辑480在各种实施例中可以在多个不同的模块或计算设备之间被划分;然而,本文中出于描述的目的,主要将用户界面导航逻辑480 指代为驻留在单个计算设备中以免不必要地模糊实施例的其它方面。
在一些实施例中,用户界面导航逻辑480包括接收解释的输入并且响应于这些解释的输入生成根据解释的输入来更新图形用户界面的指令(其随后用于更新显示器上的图形用户界面)的一个或多个模块(例如一个或多个事件处理机190,包括一个或多个对象更新器177以及一个或多个GUI更新器178,如以上参考图1B更详细地描述的)。在一些实施例中,已经被检测到(例如通过图1A和3中的接触运动模块130)、识别出(例如通过图1B中的事件识别器180) 和/或分布(例如通过图1B中的事件分类器170)的输入的解释的输入用于更新显示器上的图形用户界面。在一些实施例中,解释的输入由计算设备处的模块来生成(例如计算设备接收原始接触输入数据以便根据原始接触输入数据识别手势)。在一些实施例中,解释的输入中的一些或全部由计算设备来接收作为解释的输入(例如,包括触敏表面451的计算设备处理原始接触输入数据以便根据原始接触输入数据识别手势并且向包括用户界面导航逻辑480的计算设备发送指示手势的信息)。
在一些实施例中,显示器450和触敏表面451二者集成包含用户界面导航逻辑480的计算设备(例如图4C中的计算设备A)。例如,计算设备可以是具有集成显示器(例如图3中的340)和触摸板 (例如图3中的355)的台式计算机或笔记本计算机。作为另一示例,计算设备可以是具有触摸屏(例如图2中的112)的便携式多功能设备100(例如智能电话、PDA、平板计算机等)。
在一些实施例中,触敏表面451集成计算设备,而显示器450 不集成包含用户界面导航逻辑480的计算设备(例如图4C中的计算设备B)。例如,计算设备可以是具有连接(经由有线或无线连接) 至单独的显示器(例如计算机显示器、电视机等)的集成触摸板(例如图3中的355)的设备300(例如台式计算机或笔记本计算机)。作为另一示例,计算设备可以是具有连接(经由有线或无线连接) 至单独的显示器(例如计算机监视器、电视机等)的触摸屏(例如图2中的112)的便携式多功能设备100(例如智能电话、PDA、平板计算机等)。
在一些实施例中,显示器450集成计算设备,而触敏表面451 不集成包含用户界面导航逻辑480的计算设备(例如图4C中的计算设备C)。例如,计算设备可以是具有连接(经由有线或无线连接) 至单独的触敏表面(例如远程触摸板、便携式多功能设备等)的集成显示器(例如图3中的340)的设备300(例如台式计算机、笔记本计算机、具有集成机顶盒的电视机)。作为另一示例,计算设备可以是具有连接(经由有线或无线连接)至单独的触敏表面(例如远程触摸板、具有用作远程触摸板的触摸屏的另一便携式多功能设备等)的触摸屏(例如图2中的112)的便携式多功能设备100(例如智能电话、PDA、平板计算机等)。
在一些实施例中,显示器450和触敏表面451都没有集成包含用户界面导航逻辑480的计算设备(例如图4C中的计算设备D)。例如,计算设备可以是连接(经由有线或无线连接)至单独的触敏表面(例如远程触摸板、便携式多功能设备等)和单独的显示器(例如计算机监视器、电视机等)的独立的计算设备300(例如台式计算机、笔记本计算机、控制台、机顶盒等)。作为另一示例,计算设备可以是具有连接(经由有线或无线连接)至单独的触敏表面(例如远程触摸板、具有用作远程触摸板的触摸屏的另一便携式多功能设备等)的触摸屏(例如图2中的112)的便携式多功能设备100(例如智能电话、PDA、平板计算机等)。
在一些实施例中,计算设备具有集成的音频系统。在一些实施例中,计算设备与和计算设备分离的音频系统通信。在一些实施例中,音频系统(例如集成在电视机单元中的音频系统)集成单独的显示器450。在一些实施例中,音频系统(例如立体声系统)是与计算设备和显示器450分离的独立的系统。
用户界面和相关联的处理
现在将注意力转向可以通过与显示器和触敏表面通信和/或包括显示器和触敏表面的电子设备(诸如图4C中的计算设备A-D之一) 来实现的用户界面(“UI”)以及相关联的处理的实施例。
图5A-5GG图示根据一些实施例的用于移动当前焦点的示例性用户界面。在这些附图中,用户界面用于图示下面描述的处理,包括图6A-6B、7A-7C以及8A-8C中的处理。虽然将参考与显示器450 分离的触敏表面451上的输入来给出以下示例中的一些,但是在一些实施例中,设备检测触摸屏显示器(其中触敏表面和显示器被组合)上的输入,如图4A中所示。虽然将参考与设备分离的远程用户输入设备(例如远程控件)上的输入来给出以下示例中的一些,但是在一些实施例中,设备包括集成的用户输入设备(例如触控板)。
图5A图示显示器450以及对应的远程控件5001(例如这二者都与设备100或300通信)。在一些实施例中,远程控件5001具有触敏表面451。在一些实施例中,远程控件5001还具有一个或多个按钮或可视线索(affordance),诸如菜单按钮5002、麦克风按钮5003、播放/暂停按钮5004、观看列表按钮5005、音量增加按钮5006和/ 或音量减小按钮5007。在一些实施例中,菜单按钮5002或类似的可视线索允许将主屏幕用户界面500显示在显示器450上(例如,在显示器450显示另一用户界面时,按下菜单按钮5002发起使用主屏幕用户界面500来取代另一用户界面的显示)。在一些实施例中,麦克风按钮5003或类似的可视线索允许用户向设备(例如设备100 或300)提供口头命令或语音输入。在一些实施例中,播放/暂停按钮5004用于播放或暂停设备(例如设备100或300)在显示器450 上描绘的音频或视觉媒体。在一些实施例中,观看列表按钮5005允许将观看列表用户界面显示在显示器450上。在一些实施例中,观看列表用户界面向用户提供多个音频/视觉媒体项以使用设备来播放(例如先前被用户选择用于使用设备100或300来播放的音频/视觉媒体项)。
图5A图示显示在显示器450上的主屏幕用户界面500(本文中也称为“主屏幕”)。主屏幕500包括多个用户界面对象,诸如对应于各种媒体内容项的图标(例如,相册图标502-1到502-3、应用图标502-4到502-8、电影图标502-9到502-13以及电视内容图标 502-14到502-18等)。每个图标在(焦点选择器(也称为当前焦点) 在相应图标上时通过触敏表面451上的点击手势)被激活时发起在显示器450上显示对应应用、频道、内容项或一组内容项的用户界面。
图5A还图示当前焦点在图标502-4上。在图5A中,具有当前焦点的图标502-4在视觉上与其它图标被区分(例如图标502-4被放大并且阴影也被显示以提供图标502-4从显示器450突出的视觉感觉)。
图5A-5D图示对应于触敏表面451上的滑动手势的接触505的移动的检测。在图5A-5D中,接触505相对于触敏表面451的水平轴或垂直轴以一角度移动(例如,接触505在不平行于触敏表面451 的水平轴或垂直轴的方向上移动)。图5A-5D还图示基于触敏表面 451上的接触505的移动的当前焦点从图标502-4到图标502-12的移动(例如,如图5B所示的当前焦点从图标502-4到图标502-5的移动,之后跟随如图5C所示的当前焦点从图标502-5到图标502-6 的移动以及如图5D所示的当前焦点从图标502-6到图标502-12的移动)(例如,当前焦点的移动5012的整个方向对应于触敏表面451 上的接触505的移动方向,并且当前焦点的移动5012的距离基于触敏表面451上的接触505的移动距离)。图5A中的图5100示出了接触505的移动5102,其具有水平分量5104和垂直分量5106(因为接触505在水平和垂直两个方向上在触敏表面451上移动)。
如图5A-5D所示,在导航通过多个用户界面对象(例如图标的阵列或网格)时,触敏表面上的输入可以导致非意图的操作。例如,在触敏表面上向侧面滑动拇指通常相对于触敏表面451的水平轴以一角度或者沿着触敏表面451上的曲线而非直线移动接触点。因此,当用户意图从图标502-4向图标502-7水平移动当前焦点时,使用拇指的接触505的移动可能不与触敏表面451的水平轴对准并且将当前焦点移动到另一图标(例如图标502-12)。在这样的情况下,用户需要提供另外的输入以将当前焦点从图标502-12移动到图标 502-7,这是麻烦、低效并且耗时的。
图5E-5F图示对应于触敏表面451上的滑动手势的接触507的移动的检测。图5E-5F所示的触敏表面451上的接触507的移动匹配图5A-5D所示的触敏表面451上的接触505的移动。然而,图5E-5F 中的当前焦点的移动5014的方向不同于图5A-5D中的当前焦点的移动方向。
图5E中的图5100示出了接触505的移动5102,其具有水平分量5104和垂直分量5106,如图5A所示。取代基于所检测到的输入来移动当前焦点(例如在移动5102的方向上移动当前焦点),将输入的分量单独用于确定当前焦点的移动。例如,通过比较水平分量 5104和垂直分量5106,确定主轴。在图5E-5F所示的示例中,将水平轴确定为主轴,因为水平分量5104大于垂直分量5106。为了移动当前焦点,通常在没有缩放的情况下使用对应于主轴的水平分量 5104,但是在使用之前对对应于非主轴的垂直分量5106进行缩放(例如使用小于“所检测到的”垂直分量5106的已缩放垂直分量5108 而非垂直分量5106)。作为结果,使用对应于水平分量5104和已缩放垂直分量5108的移动5110来确定当前焦点的移动5014。如果使用未缩放的垂直分量5106,则当前焦点沿着移动5012移动到图标 502-12。相反,通过使用已缩放垂直分量5108,当前焦点沿着移动 5014移动到图标502-7,如图5F所示。因此,虽然接触507的移动并非与触敏表面451的水平轴完美地对准,但是接触507的移动的垂直分量被减小,使得当前焦点从图标502-4垂直地移动到图标 502-7。
在一些实施例中,用于缩放垂直分量或水平分量的缩放因子取决于接触的移动速度而变化。图5E中的图5200示出了作为接触的移动速度的函数的示例性缩放因子。在图5E所示的示例中,当接触的移动速度低时使用低的缩放因子(例如当接触的移动速度低时,将垂直分量或水平分量以因子2(或1.5、1.4、1.3、1.2、1.1等)) 减小,而当接触的移动速度高时使用高缩放因子(例如当接触的移动速度高时,将垂直分量或水平分量以因子4(或5、6、7、8、9、 10等))减小。图5200中的点5202表示接触507的移动具有低的速度,并且因此使用低的缩放因子(例如2)。在一些实施例中,当接触的移动速度低时使用缩放因子1,而当接触的移动速度高时使用大于1的缩放因子。这允许用户界面在两个维度(例如指示在没有缩放输入的情况下当前焦点在上/下和左/右两个方向的移动的倾斜和视差)上向接触的缓慢移动提供反馈,同时当接触在触敏表面上快速移动时使得当前焦点的移动精确。
在非主方向上缩放移动分量的这一方法与将当前焦点的移动机械地固定至主方向并且丢弃接触在非主方向上的移动的方法相比具有优点。例如,当图标被配置成基于接触的水平和垂直移动来显示动画时(例如基于接触的移动倾斜图标),丢弃接触在非主方向上的移动限制了动画,这与在水平和垂直两个方向上提供动画不兼容。另外,如果用户意图对角地移动当前焦点,则沿着水平或垂直轴固定当前焦点的移动不适当地限制了当前焦点的移动。例如,取代对角地移动当前焦点,用户可能需要分两步来移动当前焦点:首先水平移动,然后垂直移动。相比较而言,缩放非主方向上的移动分量允许沿着两个轴的动画并且还允许当前焦点在对角方向以及水平和垂直方向上的移动。
例如,图5G-5H图示根据一些实施例的触敏表面451上的接触 509的移动。在图5G-5H中,接触509在与图5E-5F所示的触敏表面451上的接触507的移动相同的方向上在触敏表面451上移动。然而,在图5G-5H中,接触509比图5E-5F中的接触507在触敏表面451上行进得更远。图5G中的图5100示出了接触509的移动 5112,其具有水平分量5114和垂直分量5116。取代移动5112,使用基于水平分量5114和已缩放垂直分量5118的移动5120来确定当前焦点的移动5018。在图5G-5H中,虽然使用已缩放垂直分量5118,但是因为接触509的垂直分量大,使得当前焦点不仅在水平方向上也在垂直方向上(例如共同地在对角方向上)从图标502-4移动到图标502-13。在没有缩放的情况下的基于接触509的移动的当前焦点的移动5016在这种情况下也将当前交的放置在相同的图标502-13 上。
图5G和5H中的图5200也图示在一些实施例中基于接触509 的移动速度来确定缩放因子。图5200中的点5202表示接触509以低的速度移动,并且因此使用低的缩放因子(例如2)(例如已缩放垂直分量5118是垂直分量5116的一半)。
图5I和5J图示根据一些实施例的响应于接触511的主垂直移动的当前焦点的移动。在图5I-5J中,接触511在触敏表面451上移动。在没有缩放的情况下基于接触511的移动的当前焦点的移动5002将当前焦点放置在图标502-15上。
如以上解释的,使用已缩放移动分量促进了沿着水平和垂直方向移动当前焦点。图5I中的图5100示出了接触511的移动5122包括水平分量5124和垂直分量5126。通过比较水平分量5124和垂直分量5126,确定垂直轴为主轴(例如因为对应于接触511在触敏表面451上行进的垂直距离的垂直分量5126大于对应于接触511在触敏表面451上行进的水平距离的水平分量5124)。取代接触511的移动5122,使用基于垂直分量5126和已缩放水平分量5128的移动 5130来确定当前焦点的移动5020。响应于接触511的移动,当前焦点从图标502-4垂直移动到图标502-14。
图5K-5L图示根据一些实施例的触敏表面451上的接触513的快速移动。接触513的移动类似于图5G-5H所示的接触509的移动 (例如接触513和接触509在相同的方向上移动相同的距离)。然而,虽然接触513与图5G-5H所示的接触509在相同的方向上移动相同的距离,但是接触513比图5G-5H所示的接触509移动得更快。图5K中的图5200图示基于接触513的移动速度来选择高的缩放因子(例如4)(例如图5200中的点5204表示接触513以快的速度移动)。图5K中的图5100示出接触513的移动5132包括水平分量 5134和垂直分量5136。取代接触513的移动5132,使用基于水平分量5134和已缩放垂直分量5138的移动5140来确定当前焦点的移动 5023。响应于触敏表面451上的接触513的移动,当前焦点从图标 502-4水平移动到图标502-8。
图5M-5P图示根据一些实施例的影响随后的输入的处理的一系列输入。图5M示出了触敏表面451上的接触515的移动的检测。图5M中的图5100示出了接触515的移动5142具有水平分量5144 和垂直分量5146。基于接触515的移动5142或者基于根据已缩放分量(例如已缩放垂直分量)的移动来确定当前焦点的移动5024。在图5M-5N中,当前焦点从图标502-4水平移动到图标502-5。
图5N也示出了触敏表面451上的接触517(其与接触515分离并且在接触515之后)的移动的检测。图5N中的图5100示出了接触517的移动5148具有水平分量5150和垂直分量5152。确定当前焦点的移动5026,并且作为结果,当前焦点从图标502-5水平移动到图标502-6。
图5O示出了触敏表面451上的接触519(其与接触517分离并且在接触517之后)的移动的检测。图5O中的图5100示出了接触 519的移动5154具有水平分量5156和垂直分量5158。如果使用垂直分量5158而非已缩放垂直分量来确定当前焦点的移动(例如移动5028),则当前焦点从图标502-6移动到图标502-13。然而,使用基于水平分量5156和已缩放垂直分量5160的移动5162确定当前焦点的移动5030。在一些实施例中,基于对应于当前焦点在特定方向的移动的紧接在先的输入的数目来确定用于已缩放垂直分量5160的缩放因子。例如,在图5M-5P中,接触515和517引起当前焦点的水平移动,并且相应地确定缩放因子(例如基于两个在先输入对应于当前焦点的水平移动的事实)。例如,当两个在先输入对应于当前焦点在特定方向上的移动时,缩放因子可以是3,而当三个在先输入对应于当前焦点在特定方向上的移动时,缩放因子可以是4。在一些实施例中,使用预定义的时间窗口(例如3秒等)内的在先输入来确定缩放因子。这一操作假定,当用户在特定方向上(例如在水平方向或垂直方向上)重复地移动当前焦点时,用户将很可能想要通过随后的输入在相同的特定方向上将当前焦点移动更远。因此,图5P示出了当前焦点从图标502-6水平移动到502-8。
图5Q图示根据一些实施例的当前焦点的滑行(或滑移)。
在图5Q中,接触521在触敏表面451上从位置521-1向位置 521-2移动,并且在位置521-2从触敏表面451被抬起。作为响应,当前焦点从图标502-4移动到图标502-6(例如当前焦点的移动 5032)。在接触521的抬起之后,当前焦点继续朝着图标502-8移动 (例如当前图标的移动5034)。图5Q中的图5300图示当前焦点随着时间的移动速度。在时间段5302期间,接触521保持与触敏表面 451接触(例如从时间点5304-1到时间点5304-2),并且当前焦点根据接触521的移动速度来移动。在时间段5306期间,在触敏表面 451上不再检测到接触521(例如从时间点5304-2到时间点5304-3,这是由于接触521的抬起或者接触521在触敏表面上施加的强度减小到检测阈值以下),但是当前焦点继续移动直到其速度减速或下降到移动标准以下(例如速度为零或低于某个速度阈值)。
图5Q还图示在一些实施例中,基于接触521在触敏表面451上行进的距离和/或接触521在触敏表面451上的移动速度来确定减速速率。例如,图5400和5402示出使用接触521行进的距离与接触 521的移动速度的加权和来确定减速速率。在一些实施例中,加权和是无量纲数。在图5400中,当加权和在阈值5404以上时,使用第一减速速率(例如rate1)。当加权和在阈值5404以下时,使用第二减速速率(例如rate2)。图5402示出取代使用两个减速速率,可以使用(多个)附加减速速率。例如,当加权和在阈值5406以上时,使用第一减速速率,而当加权和在阈值5408以下时,使用第二减速速率。当加权和在阈值5406与阈值5408之间时,使用另一减速速率(例如第三减速速率rate3)。在一些实施例中,使用基于加权和的rate1和rate2的插值。
图5R-5S图示根据一些实施例的当前焦点到相邻图标的移动。
图5R示出了触敏表面451上的接触523的移动。当接触523移动对应于当前图标(例如当前焦点位于其上的图标)的宽度或一半宽度的至少预定义分数的距离时,当前焦点从当前图标移动到相邻图标。例如,响应于接触523在触敏表面451上的对应于当前焦点的移动5036的大于距离阈值5038的移动,当前焦点从图标502-4 移动到图标502-5,如图5S所示。这促进通过接触523的小的移动来移动当前焦点。因此,即使用户没有在触敏表面451上将接触移动足够远至对应于从图标502-4到图标502-5的距离,用户也可以容易地导航通过图标。这提高了设备对用户输入(例如短的输入)的响应性,从而消除了对于用户提供多个输入直到输入的距离对应于从当前图标到相邻图标的距离的需要。
在一些实施例中,这一操作(将当前焦点移动到相邻图标)在接触523的移动小于当前图标的宽度或一半宽度(例如距离阈值 5040)时发生。在一些实施例中,当接触523至少移动当前图标的宽度或一半宽度时,取决于接触523的移动速度,当前焦点在停止检测到接触523之后继续移动(例如滑移)。
图5R中的图5400图示这一操作(例如将当前焦点移动到相邻图标)独立于接触523的速度来执行,只要由于接触523的移动而导致的当前焦点的移动距离在距离阈值5038以上(并且可选地在距离阈值5040以下)。例如,即使接触523的速度低(例如图5400 中用点5036表示的),因为接触523的移动对应于当前焦点在距离阈值5038与距离阈值5040之间的移动,所以当前焦点从图标502-4 移动到相邻图标502-5,如图5S所示。
图5S示出了接触523的快速移动(例如图5400中用点5044表示的)也将当前焦点从图标502-4移动到相邻图标502-5。
图5T-5U图示根据一些实施例的当前焦点到相邻图标的移动。图5T示出了触敏表面451上的接触525的移动,并且当前焦点相应地移动(例如当前焦点从图标502-4离散地移动到图标502-5)。当接触525停止在触敏表面451上被检测到同时当前焦点仍然在图标502-5上(例如接触525的移动对应于当前焦点在距离阈值5046与距离阈值5050之间的移动5046)时,当前焦点保持在图标502-5上而不管接触525的移动速度,如图5U所示。例如,当前焦点在接触 525停止被检测到之后没有继续移动,即使接触525的移动具有快的速度(例如图5400中用点5046表示的)。这减小了当前焦点的过多移动,从而提高了导航通过多个图标时的准确性和效率。
图5U示出了接触525的缓慢移动(例如图5400中用点5052表示的)也将当前焦点从图标502-4移动到相邻图标502-5。
图5V-5Z图示根据一些实施例的当前焦点在多组用户界面对象之间的移动。
图5V示出了多个图标,其中当前焦点在图标502-7上。图5V 还示出了触敏表面451上的接触527的移动,其对应于向上移动当前焦点的请求。响应于检测到接触527的移动,在接触527的移动方向上投影图标502-7,并且识别与投影5054重叠的用户界面对象 (例如图标502-2和图标502-3)。在一些实施例中,在图标502-2 与图标502-3之间,选择更接近当前图标502-7的图标(例如图标 502-3),并且当前焦点从图标502-7移动到图标502-3,如图5W所示。
图5X示出了触敏表面451上的接触529的移动,其对应于向下移动当前焦点的请求。响应于检测到接触529的移动,在接触529 的移动方向上投影图标502-3,并且识别与投影5056重叠的用户界面对象(例如图标502-7、502-8、502-12、502-13、502-17和502-18)。
图5Y示出了选择更接近图标502-3的图标(例如图标502-8),并且当前焦点从图标502-3移动到图标502-8。
图5Z示出了响应于接触529的移动,当前焦点从图标502-3移动到图标502-7(而非如图5Y所示的图标502-8),这是由于当前焦点先前从图标502-7移动到图标502-3。
图5AA-5GG图示根据一些实施例的结合提供倾斜用户界面对象的动画来移动当前焦点。
图5AA-5CC图示在当前焦点在图标502-4上时的接触531从位置531-1的移动。接触531的移动也使用距离网格5500来图示,其示出了当前焦点移动到下一图标的阈值距离(例如,从初始位置 5502-1到阈值位置5502-4的接触531的移动发起从当前图标向相邻图标移动当前焦点)。
图5BB示出了接触531已经从位置531-1移动到位置531-2,并且图标502-4被倾斜以指示接触531的移动。距离网格5500还示出接触531的位置已经从位置5502-1移动到位置5502-2。
图5CC示出了接触531已经进一步从位置531-2移动到位置 531-3,并且图标502-4被进一步倾斜。距离网格5500还示出接触 531的位置已经从位置5502-2移动到与阈值位置5502-4相邻的位置 5502-3。
图5DD-5EE图示根据一些实施例的与将当前焦点从图标502-4 移动到图标502-5相关联的接触531的移动。
图5DD示出了响应于接触531从位置531-3移动到位置531-4 而示出的示例性用户界面。在图5DD中,图标502-4被示出为没有倾斜,并且图标502-5朝着图标502-4倾斜以指示当前焦点已经从图标502-4移动到图标502-5。另外,图5DD中示出了新的网格5504 以指示当前焦点相对于图标502-5的位置。在网格5504中,接触531-4 的位置对应于位置5502-4,其在网格5504的边缘处,指示接触531 朝着触敏表面451左侧的进一步移动将当前焦点移动回图标502-4。
图5EE示出了响应于接触531从位置531-3移动到位置531-4 而示出的备选用户界面。在图5EE中,图标502-4被示出为没有倾斜,并且图标502-5在没有倾斜的情况下被放大。图5DD中示出了网格5506以指示当前焦点相对于图标502-5的位置。在网格5506 中,接触531-4的位置对应于位置5502-4,其在网格5506的中心处,指示接触531从其当前位置531-4的移动将发起图标502-5的倾斜。
图5FF-5GG图示与将当前焦点从图标502-4移动到图标502-5 相关联的接触533的移动。
图5FF示出了接触533已经从位置533-1移动至位置533-2。图 5FF中的网格5500示出接触533从位置533-1到位置533-2的移动对应于接触533从网格5500中的位置5508-1到网格5500外部的位置5508-2(超过阈值位置5510)的移动。
图5GG示出响应于接触533从位置533-1到位置533-2的移动,当前焦点从图标502-4移动到图标502-5。与图标502-5相关联的网格5512用于指示接触533相对于图标502-5的位置。在图5GG中,图标502-5根据接触533从位置533-1到位置533-2的超过阈值距离的移动的一部分(例如网格5500或5512中的接触从位置5510到位置5508-2的移动)来倾斜。
图6A-6B是图示根据一些实施例的移动当前焦点(例如以导航通过媒体内容项)的方法600的流程图。方法600在与显示器通信的电子设备(例如图3的设备300或者图1A的便携式多功能设备 100)处执行。在一些实施例中,电子设备与具有触敏表面的用户输入设备(例如远程用户输入设备,诸如远程控件5001)通信。在一些实施例中,显示器是触摸屏显示器,并且触敏表面在显示器上或者与显示器集成。在一些实施例中,显示器与触敏表面分离。在一些实施例中,用户输入设备与电子设备集成。在一些实施例中,用户输入设备与电子设备分离。方法600中的一些操作可选地被组合和/或一些操作的顺序可选地被改变。
如下面描述的,方法600提供了移动当前焦点(例如以导航通过媒体内容项)的高效的方式。方法在移动当前焦点时减少了来自用户的输入的数目、程度和/或属性,从而创建了更高效的人机界面。对于电池操作的电子设备,使得用户能够更快且更高效地移动当前焦点节省了功率并且增加了电池充电之间的时间。
在一些实施例中,设备向显示器提供(602)数据以呈现具有多个用户界面对象的用户界面(例如图5E中的主屏幕用户界面500)。在一些实施例中,多个用户界面对象以可滚动的二维阵列显示在显示器上(例如图5E中的图标502)。在一些实施例中,用户界面对象是应用图标、频道图标、内容图标或内容组图标,其在被激活(例如通过远程控件5001的触敏表面451上的点击手势或者按下远程控件5001的播放按钮5004)时导致对应的应用、频道、内容或内容组在显示器上的显示(例如相册图标502-1到502-3、应用图标502-4 到502-8、电影图标502-9到502-13以及电视连续剧图标502-14到 502-18)。在一些实施例中,多个用户界面对象包括第一用户界面对象;并且当前焦点在第一用户界面对象上(例如图5E中当前焦点在图标502-4上)。在一些实施例中,虽然当前焦点在相应用户界面对象上,但是相应用户界面对象在视觉上不同于多个用户界面对象中的其它用户界面对象(例如,在图5E中,图标502-4与应用图标502-5 到502-8相比被放大,并且被示出有阴影)。
在显示器呈现用户界面时,设备接收(604)对应于用户输入设备的触敏表面上的接触的移动的第一输入(例如对应于图5E中的触敏表面451上的接触507的移动的输入)。在一些实施例中,触敏表面上的接触的移动包括:对应于显示器上的沿着第一轴的移动的接触的第一移动分量(例如图5E中的水平分量5104)以及对应于显示器上沿着垂直于第一轴的第二轴的移动的接触的第二移动分量 (例如图5E中的垂直分量5106)。
在一些实施例中,第一轴是(606)触敏表面上的接触的移动的主轴(例如,在图5E中,水平轴是主轴,因为水平分量5104大于垂直分量5106)。在一些实施例中,方法包括在第一预定义轴与第二预定义轴之间确定接触的移动的主轴。例如,如果第一距离超过第二距离,则设备确定第一轴是主轴(例如图5E中水平轴是主轴)。如果第二距离超过第一距离,则设备确定第二轴是主轴(例如图5I 中垂直轴是主轴)。在一些实施例中,在第一轴与第二轴之间,主轴是从触敏表面上的接触的向下触摸开始沿着其存在接触的更大移动的轴。
在一些实施例中,部分基于沿着第一轴的在先滑动手势的数目来将第一轴确定(608)为主轴(例如,基于图5M和5N所示的在先水平滑动手势,确定水平轴为图5O所示的滑动手势的主轴)。例如,如果三个在先滑动手势是水平滑动手势,则将当前手势的主轴分类为水平轴的可能性更大。
在一些实施例中,第一轴是(610)水平轴(例如左或右)并且第二轴是垂直轴(例如上或下)。
在一些实施例中,响应于接收到(612)对应于用户输入设备的触敏表面上的接触的移动的第一输入:根据第一轴是主轴的确定(例如基于从向下触摸开始的移动的总方向):设备将当前焦点在用户界面中沿着第一轴移动(614)基于第一移动分量的幅度的量;并且将当前焦点在用户界面中沿着第二轴移动基于第二移动分量的幅度的量(例如在图5E中,当前焦点基于接触507的移动的水平和垂直分量5104和5106移动)。将当前焦点沿着第二轴的移动量相对于当前焦点沿着第一轴的移动量以基于触敏表面上的接触的移动速率的缩放因子减小。例如,在图5E中,使用已缩放垂直分量5108而非垂直分量5106来减小当前焦点的垂直移动量。如图5E的图5200 所示,基于触敏表面451上的接触507的移动速度来确定缩放因子。
在一些实施例中,根据第二轴是主轴(例如基于从向下触摸开始的移动的总方向)的确定(图6B的616):设备将当前焦点在用户界面中沿着第一轴移动基于第一移动分量的幅度的量;并且将当前焦点在用户界面中沿着第二轴移动基于第二移动分量的幅度的量(例如在图5I中,当前焦点基于接触511的移动的水平和垂直分量 5124和5126移动)。将当前焦点沿着第一轴的移动量相对于当前焦点沿着第二轴的移动量以基于触敏表面上的接触的移动速率的缩放因子减小。例如,在图5I中,使用已缩放水平分量5128而非水平分量5124来减小当前焦点的水平移动量。如图5I的图5200所示,基于触敏表面451上的接触511的移动速度来确定缩放因子。这允许用户界面在两个维度(例如指示当前焦点在上/下和左/右两个方向的移动的倾斜和视差)上向接触的缓慢移动提供反馈,同时当接触在触敏表面上快速移动时使得当前焦点的移动精确。
在一些实施例中,电子设备确定在触敏表面上移动的接触的速度(例如基于由用户输入设备提供的坐标)。在一些实施例中,用户输入设备确定速度并且将速度数据发送到电子设备(例如用户输入设备在具有或者没有接触的坐标的情况下确定速度并且将速度数据发送到电子设备)。
在一些实施例中,根据在触敏表面上移动的接触的速度满足一个或多个移动分量减小标准的确定,使用(618)第一缩放因子作为缩放因子;并且根据在触敏表面上移动的接触的速度不满足一个或多个移动分量减小标准的确定,使用小于第一缩放因子的第二缩放因子作为缩放因子。例如,在一些情况下,当接触的速度高于预定义的速度阈值时,使用第一缩放因子10(例如10倍减小),而当接触的速度低于预定义的速度阈值时,使用第二缩放因子2(例如2 倍减小)。因此,当第一轴是主轴时,如果接触的速度满足一个或多个移动分量减小标准,则将当前焦点沿着第二轴的移动量相对于当前焦点沿着第一轴的移动量以因子10减小,而如果接触的速度不满足一个或多个移动分量减小标准,则将当前焦点沿着第二轴的移动量相对于当前焦点沿着第一轴的移动量以因子2减小(例如,当接触以高的速度移动时,将当前焦点沿着第二轴的移动量与当接触以低的速度移动时相比进一步减小,如图5K-5L所示)。
在一些实施例中,在检测时间序列中的每个检测时间处基于接触在检测时间与紧接在前的检测时间之间的移动来确定(620)在触敏表面上移动的接触的速度(例如以诸如60Hz的预定义的速率检测接触的移动,并且以相同的预定义速率确定速度)。
在一些实施例中,根据触敏表面上的接触的速度确定(622)第二缩放因子。在一些实施例中,第二缩放因子(和/或第一缩放因子与第二缩放因子之比)是大于1的数(例如在1以上的数,诸如2、 3、4、5、6、7、8、9或10)。例如,当第一缩放因子是10(例如 10倍减小)并且第二缩放因子是2(例如2倍减小)时,第一缩放因子与第二缩放因子之比是5(=10/2)。
在一些实施例中,缩放因子随着触敏表面上的接触的速度的增加而增加(624)(例如在图5E所示的图5200中,缩放因子随着接触的速度在某个速度范围内的增加而增加)。在一些实施例中,第二缩放因子与第一缩放因子之比随着触敏表面上的接触的速度的增加而增加。
应当理解,描述图6A-6B中的操作的特定顺序仅是示例性的,而非意图指示所描述的顺序是可以执行这些操作的唯一顺序。本领域普通技术人员应当认识到各种重新排序本文中描述的操作的方式。另外,应当注意,本文中关于本文中描述的其它方法(例如方法700和800)描述的其它过程的细节也以相似的方式适用于以上关于图6A-6B描述的方法600。例如,以上参考方法600描述的当前焦点的移动可选地具有本文中参考本文中描述的其它方法(例如方法700和800)描述的当前焦点的移动的特征中的一个或多个特征。为了简洁,这里不重复这些细节。
以上参考图6A-6B描述的操作可选地通过图1A-1B或图9(下面讨论)中描绘的组件来实现。例如,接收操作604和当前焦点移动操作614可选地通过事件分类器170、事件识别器180和事件处理机190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触,并且事件分派器模块174向应用136-1递送事件信息。应用136-1的相应事件识别器180将事件信息与相应事件定义 186相比较,并且确定触敏表面上的第一位置处的第一接触(或者设备的旋转)是否对应于预定义的事件或子事件,诸如用户界面上的对象的选择,或者设备从一个方位到另一方位的旋转。当检测到相应预定义的事件或子事件时,事件识别器180激活与事件或子事件的检测相关联的事件处理机190。事件处理机190可选地使用或调用数据更新器176或对象更新器177以更新应用内部状态192。在一些实施例中,事件处理机190访问相应GUI更新器178以更新应用显示的内容。类似地,本领域普通技术人员应当清楚如何基于图1A-1B 中描绘的组件来实现其它处理。
图7A-7C是图示根据一些实施例的移动当前焦点(例如以导航通过显示器上的用户界面对象)的方法700的流程图。方法700在与显示器通信的电子设备(例如图3的设备300或者图1A的便携式多功能设备100)处执行。在一些实施例中,电子设备与具有触敏表面的用户输入设备(例如远程用户输入设备,诸如远程控件5001) 通信。在一些实施例中,显示器是触摸屏显示器,并且触敏表面在显示器上或者与显示器集成。在一些实施例中,显示器与触敏表面分离。在一些实施例中,用户输入设备与电子设备集成。在一些实施例中,用户输入设备与电子设备分离。方法700中的一些操作可选地被组合和/或一些操作的顺序可选地被改变。
如下面描述的,方法700提供了移动当前焦点(例如以导航通过显示器上的用户界面对象)的高效的方式。方法在移动当前焦点时减少了来自用户的输入的数目、程度和/或属性,从而创建了更高效的人机界面。对于电池操作的电子设备,使得用户能够更快且更高效地移动当前焦点节省了功率并且增加了电池充电之间的时间。
设备向显示器提供(702)数据以呈现用户界面,用户界面包括:多个用户界面对象,以及在多个用户界面对象中的第一用户界面对象上的当前焦点(例如图5Q所示的具有在图标502-4上的当前焦点的主屏幕用户界面500)。在显示器呈现用户界面时,设备接收(704) 对应于在用户输入设备的触敏表面上检测到的手势(例如图5Q中的触敏表面451上的滑动手势)的输入。手势包括在触敏表面上的接触(例如图5Q中的接触521)的移动,之后跟随接触从触敏表面的抬起。手势包括特征移动距离(例如图5Q中的接触521从向下触摸直到抬起行进的距离)和特征移动速度(例如被识别为“抬起”速度的在抬起处或紧接在抬起之前的速度)。
根据手势满足滑行标准的确定(706)(例如特征移动距离满足预定义的距离阈值和/或特征移动速度满足预定义的速度阈值,或者特征移动距离和特征移动速度的加权和满足预定义的阈值):设备在用户界面中移动(708)当前焦点(例如在检测到手势的结束之后)。例如,当前焦点从其第一用户界面对象离散地移动到目的地用户界面对象,包括依次高亮第一用户界面对象、目的地用户界面对象以及在从第一用户界面对象到目的地用户界面对象的用户界面对象序列中位于第一用户界面对象与目的地用户界面对象之间的任何用户界面对象(例如,以类似于图5A-5C所示的方式,当前焦点从图标 502-4离散地移动到图标502-8,依次高亮其间的图标,诸如图标 502-5、502-6和502-7。)。在一些实施例中,当在触敏表面上检测到接触时,放大并且基于第一输入倾斜具有当前焦点的目的地用户界面对象(例如图5GG中倾斜目的地图标502-5)。在停止在触敏表面上检测到接触之后,在不倾斜的情况下放大目的地用户界面对象。
在一些实施例中,先于减速当前焦点的移动,根据手势满足滑行标准的确定,当前焦点在显示器上以对应于在手势的结束处(例如在接触从触敏表面抬起时)的接触的移动速度的速度移动(710)。例如,在接触521被抬起时的时间点5304-2处的图5Q中的当前焦点的移动速度对应于在其减速开始之前的显示器450上的当前焦点的移动速度。在一些实施例中,当前焦点在接触从触敏表面抬起时在显示器上移动的速度对应于当接触的抬起时的接触的最终速度。在一些实施例中,由于触敏表面(例如远程控件5001的触敏表面 451)的尺寸通常小于显示器(例如显示器450)的尺寸,所以接触在抬起时的最终速度被放大到当前焦点在显示器上移动时的对应速度。
根据手势满足滑行标准的确定:设备还以基于手势的特征移动距离和手势的特征移动速度的第一减速速率来减速(712)一系列用户界面对象上的当前焦点的移动(例如,当前焦点的移动以减速速率减速,如图5Q的图5400或图5402所示,减速速率基于手势的特征速度和手势的特征移动距离的加权和)。在一些实施例中,当前焦点的移动在移动的速度下降到最小阈值速度以下时停止。在一些实施例中,基于手势的特征移动速度和仿真物理参数来确定第一减速速率,仿真物理参数基于特征移动距离和特征移动速度来选择。在一些实施例中,仿真物理参数包括惯性和摩擦中的一项或多项。在一些实施例中,摩擦针对更短的距离和更低的速度被增加,而针对更长的距离和更快的速度被减小。
在一些实施例中,根据基于手势的特征移动距离和手势的特征移动速度二者的移动度量满足第一移动度量阈值的确定(例如无量纲加权和在第一减速速率阈值以上),设备使用第一减速速率(例如缓慢的减速速率,诸如具有小的衰减常数的指数衰减)来减速(图7B的714)一系列用户界面对象上的当前焦点的移动。例如,当手势的特征移动距离和手势的特征移动速度的无量纲加权和在图5Q 的图5402所示的阈值5406以上时,设备以rate1减速当前焦点的移动。
在一些实施例中,独立于触敏表面上的接触的移动距离的变化和/或接触的最终速度的变化,基于触敏表面上的接触的移动距离和接触的最终速度的加权和满足第一减速速率阈值的确定使用第一减速速率,其中假定加权和满足第一减速速率阈值。例如,针对以下二者选择第一减速速率:(1)触敏表面上的接触的第一移动距离和接触的第一最终速度的第一加权和(例如以低的速度的长的行进距离),以及(2)触敏表面上的接触的第二移动距离和接触的第二最终速度的不同于第一加权和的第二加权和(例如以高的速度的短的行进距离),其中假定第一加权和和第二加权和每个满足第一减速速率阈值。
在一些实施例中,根据基于触敏表面上的手势的特征移动距离和手势的特征移动速度二者的移动度量满足第二移动度量阈值的确定(例如无量纲加权和在第二减速速率阈值以下),设备使用不同于第一减速速率的第二减速速率减速(716)在一系列用户界面对象上的当前焦点的移动(例如当手势的特征移动距离和手势的特征移动速度的无量纲加权和在图5Q的图5402所示的阈值5408以下时,设备以rate2减速当前焦点的移动)。在一些实施例中,第二减速速率高于第一减速速率(例如第二减速速率是快的减速速率,诸如具有大的衰减常数的指数衰减)。在一些实施例中,第二减速阈值与第一减速阈值相同(例如图5Q中的图5400)。
在一些实施例中,根据基于手势的特征移动距离和手势的特征移动速度二者的移动度量满足基于第一移动度量阈值和第二移动度量阈值的移动度量标准的确定(例如加权和在阈值5406和阈值5408 之间),设备使用不同于第一减速速率和第二减速速率的第三减速速率(例如图5Q的图5402中的rate3)减速(718)一系列用户界面对象上的当前焦点的移动。在一些实施例中,第三减速速率在第一减速速率与第二减速速率之间。在一些实施例中,第三减速速率是预定义的(例如固定的)。在一些实施例中,第三减速速率是第一减速速率和第二减速速率之间的插值。
在一些实施例中,根据手势满足不同于滑行标准的距离标准(并且可选地手势满足第一移动度量阈值)的确定,设备将当前焦点从第一用户界面对象移动(720)至与第一用户界面对象相邻的用户界面对象(例如,在图5R-5S中,触敏表面451上的接触523的移动发起将当前焦点从图标502-4移动到相邻图标502-5)。在一些实施例中,如果在手势期间在触敏表面上的接触的移动距离对应于大于第一用户界面对象的尺寸(例如第一用户界面对象的宽度或高度) 的预定义分数(小于1)的显示器上的距离,则距离标准满足。例如,如果在水平滑动手势期间在触敏表面上的接触的移动距离对应于大于第一用户界面的宽度的预定义分数(例如15%、25%、30%、40%或50%)的显示器上的距离(例如图5R中的距离阈值5038),则当前焦点水平地移动到显示器上的相邻用户界面对象。距离标准使得能够容易地通过触敏表面上的短的滑动手势来将当前焦点移动到相邻用户界面对象。在一些实施例中,将当前焦点从第一用户界面对象移动到与第一用户界面对象相邻的用户界面对象独立于接触从触敏表面抬起时接触的最终速度(例如,如图5S所示,具有缓慢速度的移动5036以及具有快的速度的移动5044二者都发起将当前焦点从图标502-4移动到相邻图标502-5)。
在一些实施例中,根据当接触从触敏表面上抬起时当前焦点在与第一用户界面对象相邻的用户界面对象上(例如并且可选地手势满足第一移动度量阈值)的确定,独立于接触的最终速度,设备将当前焦点维持(图7C的722)在与第一用户界面对象相邻的用户界面对象上。例如,在图5T-5U中,如果当前焦点在接触525从触敏表面451抬起时在图标502-5上,则当前焦点维持在图标502-5上,而不管接触525的特征速度高(例如图5U中用移动5046表示的) 还是低(例如图5U中用移动5052表示的)。这使得能够容易地通过触敏表面上的滑动手势将当前焦点移动到相邻用户界面对象,而不使当前焦点越过到另一用户界面对象。
在一些实施例中,输入包括(724)对应于触敏表面上的接触的移动(例如图5Q中接触从位置521-1到位置521-2的移动)的第一输入部分。响应于接收到第一输入部分,设备根据接触的移动来在用户界面中移动(726)当前焦点(例如图5Q中的当前焦点的移动5032)。在根据第一输入部分中的接触的移动来在用户界面中移动当前焦点之后,设备检测(728)对应于接触从触敏表面的抬起(例如图5Q所示的位置521-2处的接触的抬起)的输入的第二输入部分,其中接触具有特征移动距离和特征移动速度,(例如在抬起处或紧接在抬起之前的速度被识别为“抬起”速度)。在一些实施例中,当前焦点的移动以及当前焦点的移动的减速中的至少部分在检测到接触的抬起之后发生(例如响应于检测到第二输入部分)。例如,在时间段5306期间具有减速的当前焦点的移动5034在时间点 5304-2处的接触521的抬起之后发生。
应当理解,描述图7A-7C中的操作的特定顺序仅是示例性的,而非意图指示所描述的顺序是可以执行这些操作的唯一顺序。本领域普通技术人员应当认识到各种重新排序本文中描述的操作的方式。另外,应当注意,本文中关于本文中描述的其它方法(例如方法600和800)描述的其它过程的细节也以相似的方式适用于以上关于图7A-7C描述的方法700。例如,以上参考方法700描述的当前焦点的移动可选地具有本文中参考本文中描述的其它方法(例如方法600和800)描述的当前焦点的移动的特征中的一个或多个特征。为了简洁,这里不重复这些细节。
以上参考图7A-7C描述的操作可选地通过图1A-1B或图10(下面讨论)中描绘的组件来实现。例如,接收操作704和当前焦点移动操作708可选地通过事件分类器170、事件识别器180和事件处理机190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触,并且事件分派器模块174向应用136-1递送事件信息。应用136-1的相应事件识别器180将事件信息与相应事件定义 186相比较,并且确定触敏表面上的第一位置处的第一接触(或者设备的旋转)是否对应于预定义的事件或子事件,诸如用户界面上的对象的选择,或者设备从一个方位到另一方位的旋转。当检测到相应预定义的事件或子事件时,事件识别器180激活与事件或子事件的检测相关联的事件处理机190。事件处理机190可选地使用或调用数据更新器176或对象更新器177以更新应用内部状态192。在一些实施例中,事件处理机190访问相应GUI更新器178以更新应用显示的内容。类似地,本领域普通技术人员应当清楚如何基于图1A-1B 中描绘的组件来实现其它处理。
图8A-8C是图示根据一些实施例的移动当前焦点(例如以导航通过媒体内容)的方法800的流程图。方法800在与显示器通信的电子设备(例如图3的设备300或者图1A的便携式多功能设备100) 处执行。在一些实施例中,电子设备与具有触敏表面的用户输入设备(例如远程用户输入设备,诸如远程控件,其与电子设备和显示器分离和不同)通信。在一些实施例中,显示器是触摸屏显示器,并且触敏表面在显示器上或者与显示器集成。在一些实施例中,显示器与触敏表面分离。在一些实施例中,用户输入设备与电子设备集成。在一些实施例中,用户输入设备与电子设备分离。方法800 中的一些操作可选地被组合和/或一些操作的顺序可选地被改变。
如下面描述的,方法800提供了移动当前焦点(例如以使用远程控件导航通过显示器上的用户界面对象)的高效的方式。方法在移动当前焦点时减少了来自用户的输入的数目、程度和/或属性,从而创建了更高效的人机界面。对于电池操作的电子设备,使得用户能够更快且更高效地移动当前焦点节省了功率并且增加了电池充电之间的时间。
在一些实施例中,设备向显示器提供(802)数据以呈现用户界面,用户界面包括:多个用户界面对象(例如图5V所示的在主屏幕用户界面500中的图标502)。多个用户界面对象包括第一组用户界面对象(例如第一行用户界面对象或第一列用户界面对象,诸如一行应用图标502-4到502-8)和第二组用户界面对象(例如第二行用户界面对象或第二列用户界面对象,诸如一行相册图标502-1到 502-3);并且第一组用户界面对象至少包括第一用户界面对象(例如图标502-7)。用户界面还包括在第一组用户界面对象中的第一用户界面对象上的当前焦点(例如在图5V中图标502-7在视觉上不同于其余应用图标)。
在一些实施例中,第一组用户界面对象对应于(804)第一类型的用户界面对象(例如在图5V中第一组用户界面对象是应用图标 502-4到502-8),并且第二组用户界面对象对应于不同于第一类型的第二类型的用户界面对象(例如在图5V中第二组用户界面对象是相册图标502-1到502-3)。在一些实施例中,第一组用户界面对象对应于来自第一媒体内容源的媒体内容(例如来自Movieflix的媒体内容项),第二组用户界面对象对应于来自不同于第一媒体内容源的第二媒体内容源的媒体内容(例如来自特定电视频道的电视连续剧)。
在显示器正在呈现包括多个用户界面对象的用户界面时,设备接收(806)对应于用户输入设备上的第一用户输入(例如图5V中的接触527的移动)的第一输入。响应于接收到(808)第一输入并且根据用户输入设备上的第一用户输入对应于将当前焦点移动到第二组用户界面对象中的用户界面对象的请求(例如朝着第二组用户界面对象的滑动手势,诸如图5V中的接触527的移动,或者按压对应于朝着第二组用户界面对象的方向的方向按钮)的确定,设备确定(810)在对应于用户输入设备上的第一用户输入的方向的显示器上的方向上的第一用户界面对象的投影(例如图5V中的图标502-7 的投影5054);识别(812)与在对应于用户输入设备上的第一用户输入的方向的显示器上的方向上的第一用户界面对象的投影重叠的一个或多个用户界面对象(例如在图5V中使用图标502-7的投影 5054的命中测试,将图标502-2和502-3识别为与图标502-7的投影 5054重叠的用户界面对象);并且将当前焦点移动(814)到一个或多个所识别的用户输入对象中的第二用户界面对象(例如图5W中的当前焦点移动到图标502-3)。在一些实施例中,第一用户界面对象的投影是其宽度对应于垂直于显示器上对应于用户输入设备上的第一用户输入的方向的方向的第一用户界面对象的宽度的“束 (beam)”或者区域,如图5V所示。在一些实施例中,第一用户界面对象的投影是矩形区域,如图5V所示。在一些实施例中,第一用户界面对象的投影没有显示在显示器上。例如,虽然图标502-7的投影5054在图5V中被示出以图示以上讨论的投影,然而图标502-7 的投影5054没有被包括在用户界面500中(例如图标502-7的投影 5054没有显示在显示器450上)。
在一些实施例中,响应于接收到第一输入并且根据用户输入设备上的第一用户输入对应于将当前焦点移动到第二组用户界面对象中的用户界面对象的请求的确定,设备选择(图8B中的816)一个或多个所识别的用户界面对象中的第二用户界面对象作为当前焦点的目的地(例如在图5W中,在与图标502-7的投影重叠的图标502-2 和502-3之间,选择图标502-3作为当前焦点的目的地)。
在一些实施例中,基于第一用户界面对象与第二用户界面对象之间的距离来选择(818)一个或多个所识别的用户界面对象中的第二用户界面对象。例如,选择最接近与第一用户界面对象的投影重叠的一个或多个用户界面对象中的第一用户界面对象的用户界面对象作为当前焦点的目的地(例如在图5V所示的与图标502-7的投影 5054重叠的图标502-2和502-3之间,选择具有比从图标502-2到图标502-7的中心到中心距离更短的到图标502-7的中心到中心距离的图标502-3作为图5W中的当前焦点的目的地)。在一些实施例中,对于距离具有当前焦点的图标相同距离的两个图标,选择与具有当前焦点的图标的投影具有更大重叠的图标。
在一些实施例中,响应于第一用户输入来选择(820)一个或多个所识别的用户界面对象中的第二用户界面对象作为当前焦点的目的地(例如,响应于图5V中的接触527的移动执行选择操作,而没有先于接触527的移动预先选择图标502-3作为从图标502-7的当前焦点的目的地)。
在一些实施例中,将第一组用户界面对象布置(822)成第一序列(例如将应用图标502-4到502-8布置成行);将第一用户界面对象定位在第一序列中除了第一位置(例如,除了最左侧位置)之外的位置处(例如图标502-7不是应用图标502-4到502-8中的最左侧图标);将第二组用户界面对象布置成第二序列(例如将相册图标 502-1到502-3布置成行);将第二用户界面对象定位在第二序列中不同于第一用户界面对象在第一序列中的位置的位置处(例如图标 502-3是相册图标502-1到502-3中的从左侧开始的第三图标,图标 502-7是应用图标502-4到502-8中的从左侧开始的第四图标)。在将当前焦点移动到第二用户界面对象之后,在当前焦点在第二组用户界面对象中的第二用户界面对象上时,设备接收对应于用户输入设备上的第二用户输入的第二输入(例如在图5X中,在当前焦点在图标502-3上时接收接触529的移动)。响应于接收到第二输入并且根据用户输入设备上的第二用户输入对应于将当前焦点移动到第一组用户界面对象中的用户界面对象的请求的确定,设备将当前焦点移动回第一用户界面对象(例如,响应于图5X所示的接触529的移动,当前焦点如图5Z所示移动回图标502-7)。
在一些实施例中,用户输入设备是(图8C中的824)包括触敏表面的远程用户输入设备(例如具有触敏表面451的远程控件 5001);并且第一用户输入包括在触敏表面上的接触的移动(例如在第一方向上)。
在一些实施例中,设备还确定(826)接触的移动是否超过预定义的移动标准(例如预定义的距离阈值);并且响应于确定接触的移动距离超过预定义的移动标准:设备将当前焦点移动到第二用户界面对象;并且根据超过预定义的移动标准(例如预定义的距离阈值)的接触的移动距离来倾斜第二用户界面对象。例如,如图 5AA-5DD所示,接触531移动预定义的距离阈值(例如从位置531-1 到位置531-4的接触531的移动,其对应于网格5500中从位置5502-1 到位置5502-4的移动)发起将当前焦点从图标502-4移动到图标 502-5。如图5EE-5FF所示,超过预定义的距离阈值的接触的进一步移动(例如从位置533-1到位置533-2的接触533的移动)发起倾斜第二用户界面对象(例如,除了将当前焦点从图标502-4移动到图标502-5之外,还基于大于预定义的距离阈值的接触533行进的距离来倾斜图标502-5)。
在一些实施例中,当前焦点根据触敏表面上的接触的已缩放移动来移动(828)到第二用户界面对象(例如如以上关于图5A-5P以及图6A-6B描述的,使用已缩放移动分量来提高在触敏表面451上的输入与水平轴或垂直轴的对准)。
应当理解,描述图8A-8C中的操作的特定顺序仅是示例性的,而非意图指示所描述的顺序是可以执行这些操作的唯一顺序。本领域普通技术人员应当认识到各种重新排序本文中描述的操作的方式。另外,应当注意,本文中关于本文中描述的其它方法(例如方法600和700)描述的其它过程的细节也以相似的方式适用于以上关于图8A-8C描述的方法800。例如,以上参考方法800描述的当前焦点的移动可选地具有本文中参考本文中描述的其它方法(例如方法600和700)描述的当前焦点的移动的特征中的一个或多个特征。为了简洁,这里不重复这些细节。
以上参考图8A-8C描述的操作可选地通过图1A-1B或图11(下面讨论)中描绘的组件来实现。例如,接收操作806和当前焦点移动操作814可选地通过事件分类器170、事件识别器180和事件处理机190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触,并且事件分派器模块174向应用136-1递送事件信息。应用136-1的相应事件识别器180将事件信息与相应事件定义 186相比较,并且确定触敏表面上的第一位置处的第一接触(或者设备的旋转)是否对应于预定义的事件或子事件,诸如用户界面上的对象的选择,或者设备从一个方位到另一方位的旋转。当检测到相应预定义的事件或子事件时,事件识别器180激活与事件或子事件的检测相关联的事件处理机190。事件处理机190可选地使用或调用数据更新器176或对象更新器177以更新应用内部状态192。在一些实施例中,事件处理机190访问相应GUI更新器178以更新应用显示的内容。类似地,本领域普通技术人员应当清楚如何基于图1A-1B 中描绘的组件来实现其它处理。
根据一些实施例,图9示出了根据各种所描述的实施例的原理配置的电子设备900的功能框图。设备的功能框可选地用硬件、软件、固件或者其组合来实现以执行各种所描述的实施例的原理。本领域技术人员应当理解,图9中描述的功能框可选地被组合或分为子框以实现各种所描述的实施例的原理。因此,本文中的描述可选地支持本文中描述的功能框的任意可能的组合或划分或进一步定义。
如图9所示,电子设备900与显示单元902和用户输入设备单元910(例如远程控制器)通信,用户输入设备单元910包括触敏表面单元914。显示单元902被配置成显示用户界面。用户输入设备单元910被配置成检测用户输入。电子设备900包括处理单元904。在一些实施例中,处理单元904包括用户界面数据提供单元906、输入接收单元908和当前焦点移动单元912。
处理单元904被配置成向显示单元902提供数据(例如使用用户界面数据提供单元906)以呈现具有多个用户界面对象的用户界面。多个用户界面对象包括第一用户界面对象;并且当前焦点在第一用户界面对象上。当显示单元902(例如使用用户界面数据提供单元906)正在呈现用户界面时,处理单元904被配置成接收(例如通过输入接收单元908和/或可选地结合用户输入设备单元910)对应于用户输入设备单元910的触敏表面单元914上的接触的移动的第一输入。触敏表面单元914上的接触的移动包括:对应于在显示单元902上沿着第一轴的移动(例如使用用户界面数据提供单元906) 的接触的第一移动分量以及对应于在显示单元902上沿着垂直于第一轴的第二轴的移动(例如使用用户界面数据提供单元906)的接触的第二移动分量。
处理单元904被配置成响应于接收到(例如通过输入接收单元 908或可选地结合用户输入设备单元910)对应于用户输入设备单元 910的触敏表面单元914上的接触的移动的第一输入,根据第一轴是主轴的确定:将当前焦点在用户界面中沿着第一轴移动(例如通过当前焦点移动单元912)基于第一移动分量的幅度的量;并且将当前焦点在用户界面中沿着第二轴移动(例如通过当前焦点移动单元 912)基于第二移动分量的幅度的量,其中当前焦点沿着第二轴的移动量相对于当前焦点沿着第一轴的移动量以基于触敏表面单元914上的接触的移动速率的缩放因子减小。
处理单元904被配置成根据第二轴是主轴的确定:将当前焦点在用户界面中沿着第一轴移动(例如通过当前焦点移动单元912)基于第一移动分量的幅度的量;并且将当前焦点在用户界面中沿着第二轴移动(例如通过当前焦点移动单元912)基于第二移动分量的幅度的量,其中当前焦点沿着第一轴的移动量相对于当前焦点沿着第二轴的移动量以基于触敏表面单元914上的接触的移动速率的缩放因子减小。
在一些实施例中,根据触敏表面单元914上的接触移动(例如通过当前焦点移动单元912)的速度满足一个或多个移动分量减小标准的确定,使用第一缩放因子作为缩放因子;并且根据触敏表面单元914上的接触移动(例如通过当前焦点移动单元912)的速度不满足一个或多个移动分量减小标准的确定,使用低于第一缩放因子的第二缩放因子作为缩放因子。
在一些实施例中,在检测时间序列中的每个检测时间处基于在检测时间与紧接在前的检测时间之间的接触的移动来确定触敏表面单元914上的接触移动(例如通过当前焦点移动单元912)的速度。
在一些实施例中,根据触敏表面单元914上的接触的速度来确定第二缩放因子。
在一些实施例中,缩放因子随着触敏表面单元914上的接触的速度的增加而增加。
在一些实施例中,第一轴是触敏表面单元914上的接触的移动的主轴。
在一些实施例中,部分基于沿着第一轴的在先滑动手势的数目来将第一轴确定为主轴。
在一些实施例中,第一轴是水平轴,并且第二轴是垂直轴。
以上描述的信息处理方法中的操作可选地通过运行信息处理装置中的一个或多个功能模块(诸如通用处理器(例如如以上关于图 1A和3描述的)或应用特定的芯片)来实现。
根据一些实施例,图10示出了根据各种所描述的实施例的原理配置的电子设备1000的功能框图。设备的功能框可选地用硬件、软件、固件或者其组合来实现以执行各种所描述的实施例的原理。本领域技术人员应当理解,图10中描述的功能框可选地被组合或分为子框以实现各种所描述的实施例的原理。因此,本文中的描述可选地支持本文中描述的功能框的任意可能的组合或划分或进一步定义。
如图10所示,电子设备1000与显示单元1002和用户输入设备单元1010通信,用户输入设备单元1010包括触敏表面单元1016。显示单元1002被配置成显示用户界面。用户输入设备单元1010被配置成检测用户输入。电子设备1000包括处理单元1004。在一些实施例中,根据一些实施例,处理单元1004包括用户界面数据提供单元1006、输入接收单元1008、当前焦点移动单元1012和减速单元 1014。
处理单元1004被配置成向显示单元1002提供数据(例如使用用户界面数据提供单元1006)以呈现用户界面,用户界面包括:多个用户界面对象,以及在多个用户界面对象中的第一用户界面对象上的当前焦点。当显示单元1002(例如使用用户界面数据提供单元1006)正在呈现用户界面时,处理单元1004被配置成接收(例如通过输入接收单元1008或可选地结合远程用户输入设备单元1010)对应于在用户输入设备单元1010的触敏表面单元1016上检测到的手势的输入。手势包括触敏表面单元1016上的接触的移动,之后跟随接触从触敏表面单元1016的抬起。手势包括特征移动距离和特征移动速度。处理单元1004被配置成根据手势满足滑行标准的确定:在用户界面中移动(例如通过当前焦点移动单元1012)当前焦点;并且以第一减速速率来减速(例如通过减速单元1014)一系列用户界面对象上的当前焦点的移动,第一减速速率基于手势的特征移动距离和手势的特征移动速度。
在一些实施例中,先于减速(例如通过减速单元1014)当前焦点的移动,根据手势满足滑行标准的确定,当前焦点以对应于在手势的结束时接触的移动速度的速度在显示单元1002上移动(例如使用用户界面数据提供单元1006)。
在一些实施例中,处理单元1004被配置成根据基于手势的特征移动距离的距离和手势的特征移动速度二者的移动度量满足第一移动度量阈值的确定,使用第一减速速率减速(例如通过减速单元 1014)一系列用户界面对象上的当前焦点的移动。
在一些实施例中,处理单元1004被配置成根据基于在触敏表面单元1016上手势的特征移动距离和手势的特征移动速度二者的移动度量满足第二移动度量阈值的确定,使用不同于第一减速速率的第二减速速率减速(例如通过减速单元1014)一系列用户界面对象上的当前焦点的移动。
在一些实施例中,处理单元1004被配置成根据基于手势的特征移动距离和手势的特征移动速度二者的移动度量满足基于第一移动度量阈值和第二移动度量阈值的移动度量阈值的确定,使用不同于第一减速速率和第二减速速率的第三减速速率减速(例如通过减速单元1014)一系列用户界面对象上的当前焦点的移动。
在一些实施例中,处理单元1004被配置成根据手势满足不同于滑行标准的距离标准的确定,将当前焦点从触敏表面单元1016上的第一用户界面对象移动(例如通过当前焦点移动单元1012)到与第一用户界面对象相邻的用户界面对象。
在一些实施例中,处理单元1004被配置成根据当前焦点在接触从触敏表面单元1016抬起时在与第一用户界面对象相邻的用户界面对象上的确定,独立于接触的最终速度,将当前焦点维持(例如通过当前焦点移动单元1012)在与第一用户界面对象相邻的用户界面对象上。
在一些实施例中,输入包括对应于触敏表面单元1016上的接触的移动的输入部分,并且响应于接收到(例如通过输入接收单元1008 或者可选地结合远程用户输入设备单元1010)第一输入部分,处理单元1004被配置成根据接触的移动来移动(例如通过当前焦点移动单元1012)用户界面中的当前焦点;并且在根据第一输入部分中的接触的移动来移动(例如通过当前焦点移动单元1012)用户界面中的当前焦点之后,处理单元1004被配置成检测对应于接触从触敏表面单元1016的抬起的输入的第二输入部分,其中接触具有特征移动距离和特征移动速度。当前焦点的移动以及当前焦点的移动的减速中的至少部分在检测到接触的抬起之后发生。
以上描述的信息处理方法中的操作可选地通过运行信息处理装置中的一个或多个功能模块(诸如通用处理器(例如如以上关于图 1A和3描述的)或应用特定的芯片)来实现。
根据一些实施例,图11示出了根据各种所描述的实施例的原理配置的电子设备1100的功能框图。设备的功能框可选地用硬件、软件、固件或者其组合来实现以执行各种所描述的实施例的原理。本领域技术人员应当理解,图11中描述的功能框可选地被组合或分为子框以实现各种所描述的实施例的原理。因此,本文中的描述可选地支持本文中描述的功能框的任意可能的组合或划分或进一步定义。
如图11所示,电子设备1100与显示单元1102和用户输入设备单元1110通信,用户输入设备单元1110包括触敏表面单元1124。显示单元1102被配置成显示用户界面。用户输入设备单元1110被配置成检测用户输入。电子设备1100包括处理单元1104。在一些实施例中,根据一些实施例,处理单元1104包括用户界面数据提供单元1106、输入接收单元1108、投影单元1112、重叠识别单元1114、当前焦点移动单元1116、减速单元1118、选择单元1120和倾斜单元1122。
处理单元1104被配置成向显示单元1102提供数据(例如使用用户界面数据提供单元1106)以呈现用户界面,用户界面包括:多个用户界面对象。多个用户界面对象包括第一组用户界面对象和第二组用户界面对象;并且第一组用户界面对象至少包括第一用户界面对象。用户界面还包括在第一组用户界面对象中的第一用户界面对象上的当前焦点。
当显示单元1102(例如使用用户界面数据提供单元1106)正在呈现包括多个用户界面对象的用户界面时,处理单元1104被配置成接收(例如通过输入接收单元1108或可选地结合用户输入设备单元 1110)对应于用户输入设备单元1110上的第一用户输入的第一输入. 响应于接收到第一输入并且根据用户输入设备单元1110上的第一用户输入对应于将当前焦点移动到第二组用户界面对象中的用户界面对象的请求的确定:处理单元1104被配置成(a)确定对应于用户输入设备单元1110上的第一用户输入的方向的显示单元1102上的方向上的第一用户界面对象的投影(例如通过投影单元1112);(b) 识别(例如通过重叠识别单元1114)与和用户输入设备单元1110 上的第一用户输入的方向对应的显示单元1102上的方向上的第一用户界面对象的投影重叠的一个或多个用户界面对象;并且(c)将当前焦点移动(例如通过当前焦点移动单元1116)到一个或多个所识别的用户界面对象中的第二用户界面对象。
在一些实施例中,处理单元1104被配置成响应于接收到第一输入并且根据用户输入设备单元1110上的第一用户输入对应于将当前焦点移动到第二组用户界面对象中的用户界面对象的请求的确定,选择(例如通过选择单元1120)一个或多个所识别的用户界面对象中的第二用户界面对象作为当前焦点的目的地。
在一些实施例中,基于第一用户界面对象与第二用户界面对象之间的距离来选择(例如通过选择单元1120)一个或多个所识别的用户界面对象中的第二用户界面对象。
在一些实施例中,响应于第一用户输入来选择(例如通过选择单元1120)一个或多个所识别的用户界面对象中的第二用户界面对象作为当前焦点的目的地。
在一些实施例中,第一组用户界面对象对应于第一类型的用户界面对象,并且第二组用户界面对象对应于不同于第一类型的第二类型的用户界面对象。
在一些实施例中,第一组用户界面对象布置成第一序列;第一用户界面对象位于第一序列中除了第一位置之外的位置处;第二组用户界面对象布置成第二序列;第二用户界面对象位于第二序列中不同于第一用户界面对象在第一序列中的位置的位置处;并且处理单元1104被配置成在将当前焦点移动到第二用户界面对象之后,在当前焦点在第二组用户界面对象中的第二用户界面对象上时,接收 (例如通过输入接收单元1108和/或可选地结合用户输入设备单元 1110)对应于用户输入设备单元1110上的第二用户输入的第二输入。响应于接收到第二输入并且根据用户输入设备单元1110上的第二用户输入对应于将当前焦点移动(例如通过当前焦点移动单元1116) 到第一组用户界面对象中的用户界面对象的请求的确定,处理单元 1104被配置成将当前焦点移动(例如通过当前焦点移动单元1116) 回第一用户界面对象。
在一些实施例中,用户输入设备单元1110是包括触敏表面的用户输入设备;并且第一用户输入包括在触敏表面单元1124上的接触的移动。
在一些实施例中,处理单元1104被配置成:确定接触的移动是否超过预定义的移动标准;并且响应于确定接触的移动距离超过预定义的移动标准:将当前焦点移动(例如通过当前焦点移动单元 1116)到第二用户界面对象;并且根据超过预定义的移动标准的接触的移动距离来倾斜(例如通过倾斜单元1122)第二用户界面对象。
在一些实施例中,当前焦点根据触敏表面单元1124上的接触的已缩放移动来移动(例如通过当前焦点移动单元1116)到第二用户界面对象。
以上描述的信息处理方法中的操作可选地通过运行信息处理装置中的一个或多个功能模块(诸如通用处理器(例如如以上关于图 1A和3描述的)或应用特定的芯片)来实现。
已经出于解释的目的参考具体实施例描述了以上描述。然而,以上说明性讨论并非意图是排他性的或者意图将本发明限于所公开的精确形式。很多修改和变型鉴于以上教导是可能的。选择和描述实施例以便最佳地解释本发明及其实际应用的原理,从而使得本领域其它技术人员能够在适合预期的特定用途的各种修改的情况下最佳地使用本发明以及各种所描述的实施例。

Claims (22)

1.一种方法,包括:
在具有一个或多个处理器和存储器的电子设备处,其中所述电子设备与显示器和包括触敏表面的用户输入设备通信:
向所述显示器提供数据以呈现用户界面,所述用户界面包括:
多个用户界面对象,以及
所述多个用户界面对象中的第一用户界面对象上的当前焦点;
在所述显示器正在呈现所述用户界面的同时,从所述用户输入设备接收与在所述用户输入设备的所述触敏表面上检测到的手势相对应的输入,其中所述手势包括接触跨所述触敏表面的移动,之后跟随所述接触从所述触敏表面的抬起;以及,
根据确定所述手势满足移动标准:
向所述显示器提供数据,以将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到第二用户界面对象。
2.根据权利要求1所述的方法,还包括:
根据确定所述手势满足移动标准:
向所述显示器提供数据以:
在将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到所述第二用户界面对象之前,将所述第一用户界面对象从第一方向朝向第二用户界面对象倾斜;以及
在将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到所述第二用户界面对象之后,将所述第一用户界面对象朝向所述第一方向倾斜回。
3.根据权利要求1-2中任一项所述的方法,其中:
所述手势具有特征移动距离;以及
基于所述特征移动距离超过小于所述第一用户界面对象的一半宽度的阈值距离,所述手势被认为满足所述移动标准。
4.根据权利要求3所述的方法,其中:
所述手势还具有特征移动速度;以及
所述手势是否满足所述移动标准独立于所述特征移动速度而被确定。
5.根据权利要求1-2中任一项所述的方法,其中:
所述手势具有特征移动距离;以及
所述方法包括根据确定所述特征移动距离超过所述第一用户界面对象的一半宽度,在将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到所述第二用户界面对象之后,向所述显示器提供数据以将所述用户界面中的所述当前焦点从所述第二用户界面对象移动到第三用户界面。
6.根据权利要求5所述的方法,其中:
所述手势还具有特征移动速度;以及
所述方法包括将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到至少部分地基于所述特征移动速度选择的另一用户界面对象。
7.根据权利要求1-2中任一项所述的方法,其中:
所述手势具有特征移动速度;以及
所述方法包括根据确定在所述当前焦点在所述第二用户界面对象上的同时所述手势停止在所述用户输入设备的所述触敏表面上被检测到,独立于所述特征移动速度将所述当前焦点保持在所述第二用户界面对象上。
8.根据权利要求1-2中任一项所述的方法,其中:
所述手势具有特征移动距离和特征移动速度;以及
所述方法包括根据确定所述特征移动距离对应于所述第二用户界面对象,独立于所述特征移动速度将所述当前焦点保持在所述第二用户界面对象上。
9.根据权利要求1-2中任一项所述的方法,其中:
所述手势具有特征移动距离和特征移动速度;以及
基于所述特征移动距离和所述特征移动速度的加权和超过阈值,所述手势被认为满足所述移动标准。
10.根据权利要求1-2中任一项所述的方法,其中:
所述手势具有特征移动距离和特征移动速度;
基于所述特征移动距离小于阈值距离,所述手势被认为不满足所述移动标准,而不管所述特征移动速度。
11.一种电子设备,包括:
一个或多个处理器;以及
存储器,其存储一个或多个程序,所述一个或多个程序包括指令,所述指令当由所述一个或多个处理器执行时,引起所述电子设备:
向与所述电子设备通信的显示器提供数据以呈现用户界面,所述用户界面包括:
多个用户界面对象,以及
所述多个用户界面对象中的第一用户界面对象上的当前焦点;
在所述显示器正在呈现所述用户界面的同时,从与所述电子设备通信的用户输入设备接收与在所述用户输入设备的触敏表面上检测到的手势相对应的输入,其中所述手势包括接触跨所述触敏表面的移动,之后跟随所述接触从所述触敏表面的抬起;以及,
根据确定所述手势满足移动标准:
向所述显示器提供数据,以将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到第二用户界面对象。
12.根据权利要求11所述的电子设备,其中所述一个或多个程序包括用于以下的指令:
根据确定所述手势满足移动标准:
向所述显示器提供数据以:
在将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到所述第二用户界面对象之前,将所述第一用户界面对象从第一方向朝向第二用户界面对象倾斜;以及
在将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到所述第二用户界面对象之后,将所述第一用户界面对象朝向所述第一方向倾斜回。
13.根据权利要求11-12中任一项所述的电子设备,其中:
所述手势具有特征移动距离;以及
基于所述特征移动距离超过小于所述第一用户界面对象的一半宽度的阈值距离,所述手势被认为满足所述移动标准。
14.根据权利要求13所述的电子设备,其中:
所述手势还具有特征移动速度;以及
所述手势是否满足所述移动标准独立于所述特征移动速度而被确定。
15.根据权利要求11-12中任一项所述的电子设备,其中:
所述手势具有特征移动距离;以及
所述一个或多个程序包括用于以下的指令:根据确定所述特征移动距离超过所述第一用户界面对象的一半宽度,在将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到所述第二用户界面对象之后,向所述显示器提供数据以将所述用户界面中的所述当前焦点从所述第二用户界面对象移动到第三用户界面。
16.根据权利要求15所述的电子设备,其中:
所述手势还具有特征移动速度;以及
所述一个或多个程序包括用于以下的指令:将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到至少部分地基于所述特征移动速度选择的另一用户界面对象。
17.根据权利要求11-12中任一项所述的电子设备,其中:
所述手势具有特征移动速度;以及
所述一个或多个程序包括用于以下的指令:根据确定在所述当前焦点在所述第二用户界面对象上的同时所述手势停止在所述用户输入设备的所述触敏表面上被检测到,独立于所述特征移动速度将所述当前焦点保持在所述第二用户界面对象上。
18.根据权利要求11-12中任一项所述的电子设备,其中:
所述手势具有特征移动距离和特征移动速度;以及
所述一个或多个程序包括用于以下的指令:根据确定所述特征移动距离对应于所述第二用户界面对象,独立于所述特征移动速度将所述当前焦点保持在所述第二用户界面对象上。
19.根据权利要求11-12中任一项所述的电子设备,其中:
所述手势具有特征移动距离和特征移动速度;以及
基于所述特征移动距离和所述特征移动速度的加权和超过阈值,所述手势被认为满足所述移动标准。
20.根据权利要求11-12中任一项所述的电子设备,其中:
所述手势具有特征移动距离和特征移动速度;
基于所述特征移动距离小于阈值距离,所述手势被认为不满足所述移动标准,而不管所述特征移动速度。
21.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序用于由电子设备的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:
向与所述电子设备通信的显示器提供数据以呈现用户界面,所述用户界面包括:
多个用户界面对象,以及
所述多个用户界面对象中的第一用户界面对象上的当前焦点;
在所述显示器正在呈现所述用户界面的同时,从与所述电子设备通信的用户输入设备接收与在所述用户输入设备的触敏表面上检测到的手势相对应的输入,其中所述手势包括接触跨所述触敏表面的移动,之后跟随所述接触从所述触敏表面的抬起;以及,
根据确定所述手势满足移动标准:
向所述显示器提供数据,以将所述用户界面中的所述当前焦点从所述第一用户界面对象移动到第二用户界面对象。
22.根据权利要求21所述的计算机可读存储介质,其中所述一个或多个程序包括指令,所述指令当由所述一个或多个处理器执行时,引起所述电子设备执行权利要求2-10中任一项的方法。
CN202010067236.2A 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法 Active CN111352565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010067236.2A CN111352565B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201562215252P 2015-09-08 2015-09-08
US62/215,252 2015-09-08
US14/866,525 US9990113B2 (en) 2015-09-08 2015-09-25 Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US14/866,525 2015-09-25
US14/866,986 US9535594B1 (en) 2015-09-08 2015-09-27 Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US14/866,986 2015-09-27
CN202010067236.2A CN111352565B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法
CN201610670819.8A CN106502556B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610670819.8A Division CN106502556B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法

Publications (2)

Publication Number Publication Date
CN111352565A true CN111352565A (zh) 2020-06-30
CN111352565B CN111352565B (zh) 2023-09-29

Family

ID=57682199

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202010066376.8A Active CN111352527B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法
CN202010066365.XA Active CN111352526B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法
CN201610670819.8A Active CN106502556B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法
CN202210492305.3A Pending CN114895822A (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法
CN202010067236.2A Active CN111352565B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202010066376.8A Active CN111352527B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法
CN202010066365.XA Active CN111352526B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法
CN201610670819.8A Active CN106502556B (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法
CN202210492305.3A Pending CN114895822A (zh) 2015-09-08 2016-08-15 用于使用触敏远程控件移动当前焦点的设备和方法

Country Status (6)

Country Link
US (7) US9990113B2 (zh)
EP (3) EP3518090B1 (zh)
CN (5) CN111352527B (zh)
AU (7) AU2016101423B4 (zh)
DK (1) DK179093B1 (zh)
WO (1) WO2017044239A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035028A (zh) * 2020-09-15 2020-12-04 Oppo广东移动通信有限公司 界面控制方法、界面控制装置、存储介质与电子设备

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9058186B2 (en) 2010-04-07 2015-06-16 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
USD888733S1 (en) 2015-08-03 2020-06-30 Google Llc Display screen with animated graphical user interface
USD848458S1 (en) * 2015-08-03 2019-05-14 Google Llc Display screen with animated graphical user interface
USD849027S1 (en) * 2015-08-03 2019-05-21 Google Llc Display screen with animated graphical user interface
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
DE102016010920A1 (de) * 2016-09-08 2018-03-08 Fm Marketing Gmbh Smart touch
US10203866B2 (en) 2017-05-16 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US11036387B2 (en) 2017-05-16 2021-06-15 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
EP3617863B1 (en) * 2017-05-16 2021-04-28 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
CN112055842A (zh) * 2018-05-08 2020-12-08 谷歌有限责任公司 拖动手势动画
US11922006B2 (en) 2018-06-03 2024-03-05 Apple Inc. Media control for screensavers on an electronic device
US10783712B2 (en) * 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
WO2020018592A1 (en) 2018-07-17 2020-01-23 Methodical Mind, Llc. Graphical user interface system
WO2020151775A1 (de) * 2019-01-23 2020-07-30 Michael Schulz Elektronische vorrichtung, verfahren zur steuerung einer elektronischen vorrichtung und ein oder mehrere computerlesbare medien mit von einem computer ausführbaren anweisungen
JP7207017B2 (ja) * 2019-03-01 2023-01-18 株式会社デンソー 入力装置
CN112987580B (zh) * 2019-12-12 2022-10-11 华为技术有限公司 一种设备的控制方法、装置、服务器以及存储介质
US11455085B2 (en) 2020-03-10 2022-09-27 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
CN112087371B (zh) * 2020-09-10 2022-11-18 北京百度网讯科技有限公司 一种即时通讯群组的搜索方法、装置、设备和存储介质
CN115665313A (zh) * 2021-07-09 2023-01-31 华为技术有限公司 设备控制方法及电子设备
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
EP4273677A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086696A (zh) * 2007-06-27 2007-12-12 中兴通讯股份有限公司 界面焦点对象的选择方法
CN102256079A (zh) * 2010-05-19 2011-11-23 索尼公司 信息处理系统和信息处理装置
CN102981695A (zh) * 2011-06-24 2013-03-20 索尼公司 用户界面和内容集成
US20130215021A1 (en) * 2012-02-20 2013-08-22 Denso Corporation Display control apparatus and display system
US20140298254A1 (en) * 2013-03-07 2014-10-02 Tencent Technology (Shenzhen) Company Limited View mode switch of graphical user interface

Family Cites Families (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01213614A (ja) * 1988-02-22 1989-08-28 Canon Inc 自動焦点調節装置
US5367631A (en) 1992-04-14 1994-11-22 Apple Computer, Inc. Cursor control device with programmable preset cursor positions
US5374942A (en) 1993-02-05 1994-12-20 Gilligan; Federico G. Mouse and method for concurrent cursor position and scrolling control
US6160536A (en) 1995-03-27 2000-12-12 Forest; Donald K. Dwell time indication method and apparatus
US6903723B1 (en) 1995-03-27 2005-06-07 Donald K. Forest Data entry method and apparatus
US5973694A (en) 1995-06-02 1999-10-26 Chatham Telecommunications, Inc., Method of communication using sized icons, text, and audio
US5999895A (en) 1995-07-24 1999-12-07 Forest; Donald K. Sound operated menu method and apparatus
US6005549A (en) 1995-07-24 1999-12-21 Forest; Donald K. User interface method and apparatus
US5687331A (en) 1995-08-03 1997-11-11 Microsoft Corporation Method and system for displaying an animated focus item
US5801692A (en) 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls
US5870079A (en) 1996-11-12 1999-02-09 Legaltech, Inc. Computer input device and controller therefor
US5995083A (en) * 1996-11-20 1999-11-30 Alps Electric Co., Ltd. Coordinates input apparatus
JP3409834B2 (ja) 1997-07-10 2003-05-26 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
US6297818B1 (en) 1998-05-08 2001-10-02 Apple Computer, Inc. Graphical user interface having sound effects for operating control elements and dragging objects
JPH11352949A (ja) 1998-06-04 1999-12-24 Casio Comput Co Ltd 表示制御装置及び表示制御のプログラムを記録した媒体
US7992163B1 (en) 1999-06-11 2011-08-02 Jerding Dean F Video-on-demand navigational system
EP1111497A1 (en) 1999-12-24 2001-06-27 CANAL+ Société Anonyme Navigation
US20010030667A1 (en) 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
US20020055986A1 (en) 2000-11-08 2002-05-09 Lavaflow, Llp Method of downloadinga screen saver to a cellular telephone
US20020120934A1 (en) 2001-02-28 2002-08-29 Marc Abrahams Interactive television browsing and buying method
US20020128067A1 (en) 2001-03-09 2002-09-12 Victor Keith Blanco Method and apparatus for creating and playing soundtracks in a gaming system
US6594616B2 (en) 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
US7068309B2 (en) 2001-10-09 2006-06-27 Microsoft Corp. Image exchange with image annotation
WO2003065190A2 (en) 2002-01-29 2003-08-07 Meta4Hand Inc. Computer pointer control
US20030169306A1 (en) 2002-03-07 2003-09-11 Nokia Corporation Creating a screen saver from downloadable applications on mobile devices
JP2004038896A (ja) 2002-06-28 2004-02-05 Clarion Co Ltd 表示制御手段
US20040041849A1 (en) 2002-08-30 2004-03-04 Von Mock Display screen saver with two way messaging capability and method therefor
GB0222926D0 (en) 2002-10-03 2002-11-13 Koninkl Philips Electronics Nv Media communications apparatus and method
US7571393B2 (en) 2003-04-15 2009-08-04 Microsoft Corporation Method for navigation between elements on a page of content in a handheld device
JP4269155B2 (ja) 2003-06-25 2009-05-27 日本電気株式会社 ポインティングデバイス制御システムおよび電子機器
US7167162B2 (en) 2003-12-12 2007-01-23 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus and method for controlling a screen pointer
US20050204138A1 (en) 2004-03-12 2005-09-15 Taiwan Semiconductor Manufacturing Co., Ltd. System and method for an email screen saver
KR101017737B1 (ko) 2004-03-12 2011-02-28 엘지전자 주식회사 영상표시기기의 부화면(pip) 처리장치 및 방법
KR100853605B1 (ko) 2004-03-23 2008-08-22 후지쯔 가부시끼가이샤 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별
US20050212760A1 (en) 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US7301528B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
JP2005322125A (ja) 2004-05-11 2005-11-17 Sony Corp 情報処理システム、情報処理方法、プログラム
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US7434173B2 (en) * 2004-08-30 2008-10-07 Microsoft Corporation Scrolling web pages using direct interaction
KR101190462B1 (ko) * 2005-01-05 2012-10-11 힐크레스트 래보래토리스, 인크. 1-대-다 객체를 처리하기 위한 스케일링 및 레이아웃 방법및 시스템
WO2006108288A1 (en) 2005-04-14 2006-10-19 Research In Motion Limited System and method for customizing notifications in a mobile electronic device
JP4533791B2 (ja) 2005-04-19 2010-09-01 株式会社日立製作所 情報閲覧装置
US7692637B2 (en) * 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
US7797641B2 (en) 2005-05-27 2010-09-14 Nokia Corporation Mobile communications terminal and method therefore
US20070055947A1 (en) 2005-09-02 2007-03-08 Microsoft Corporation Animations and transitions
JP4817779B2 (ja) 2005-09-14 2011-11-16 ソニー株式会社 電子機器、電子機器の表示制御方法、グラフィカル・ユーザ・インターフェースおよび表示制御プログラム
CN1956516B (zh) 2005-10-28 2010-05-26 深圳Tcl新技术有限公司 通过图片结合语音显示电视功能界面的方法
US20070192734A1 (en) 2006-02-16 2007-08-16 Viktors Berstis Methods and arrangements to control pop-up windows
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8098856B2 (en) 2006-06-22 2012-01-17 Sony Ericsson Mobile Communications Ab Wireless communications devices with three dimensional audio systems
US9565387B2 (en) 2006-09-11 2017-02-07 Apple Inc. Perspective scale video with navigation menu
US20080104537A1 (en) 2006-10-30 2008-05-01 Sherryl Lee Lorraine Scott Method of improved viewing of visual objects on a display, and handheld electronic device
KR100842733B1 (ko) 2007-02-05 2008-07-01 삼성전자주식회사 터치스크린을 구비한 멀티미디어 재생장치의 사용자인터페이스 방법
US20080229206A1 (en) 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US20090013254A1 (en) 2007-06-14 2009-01-08 Georgia Tech Research Corporation Methods and Systems for Auditory Display of Menu Items
US10225389B2 (en) 2007-06-29 2019-03-05 Nokia Technologies Oy Communication channel indicators
JPWO2009028160A1 (ja) 2007-08-24 2010-11-25 パナソニック株式会社 受信装置および受信方法
US20090125811A1 (en) 2007-11-12 2009-05-14 Microsoft Corporation User interface providing auditory feedback
JP4882989B2 (ja) 2007-12-10 2012-02-22 ソニー株式会社 電子機器、再生方法及びプログラム
US20090158222A1 (en) 2007-12-14 2009-06-18 Apple Inc. Interactive and dynamic screen saver for use in a media system
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US8230360B2 (en) 2008-01-04 2012-07-24 Apple Inc. User interface for selection from media collection
US7552396B1 (en) 2008-04-04 2009-06-23 International Business Machines Corporation Associating screen position with audio location to detect changes to the performance of an application
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8249423B2 (en) 2008-05-08 2012-08-21 Sony Ericsson Mobile Communications Ab Electronic devices and methods that insert addressable chapter marks relative to advertising content in video streams
US20130275899A1 (en) 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
CA2725542C (en) 2008-05-28 2016-12-13 Google Inc. Motion-controlled views on mobile computing devices
KR100867400B1 (ko) 2008-08-14 2008-11-06 (주)펜타비전 오디오 게임을 중계하기 위한 장치
US8176438B2 (en) * 2008-09-26 2012-05-08 Microsoft Corporation Multi-modal interaction for a screen magnifier
KR101503835B1 (ko) 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
KR101526995B1 (ko) * 2008-10-15 2015-06-11 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US9037468B2 (en) 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US8645871B2 (en) 2008-11-21 2014-02-04 Microsoft Corporation Tiltable user interface
US10158823B2 (en) 2008-12-31 2018-12-18 Tivo Solutions Inc. Methods and techniques for adaptive search
US8266690B2 (en) 2009-01-23 2012-09-11 Sony Corporation Temporally synchronized video display unit screensaver or wallpaper based on user preferences
US8482520B2 (en) 2009-01-30 2013-07-09 Research In Motion Limited Method for tap detection and for interacting with and a handheld electronic device, and a handheld electronic device configured therefor
US9311112B2 (en) * 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8689128B2 (en) 2009-03-16 2014-04-01 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US8566045B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8566044B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8181120B2 (en) 2009-04-02 2012-05-15 Sony Corporation TV widget animation
KR101595386B1 (ko) 2009-07-31 2016-02-18 엘지전자 주식회사 출력 장치 및 그 방법
US8190438B1 (en) 2009-10-14 2012-05-29 Google Inc. Targeted audio in multi-dimensional space
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
CN102065251A (zh) * 2009-11-16 2011-05-18 深圳Tcl新技术有限公司 控制用户界面焦点移动的方法及采用该方法的电视机
US20110148774A1 (en) 2009-12-23 2011-06-23 Nokia Corporation Handling Tactile Inputs
KR101661973B1 (ko) 2010-01-05 2016-10-04 엘지전자 주식회사 영상표시장치
US8473860B2 (en) 2010-02-12 2013-06-25 Microsoft Corporation Multi-layer user interface with flexible parallel and orthogonal movement
US9317837B2 (en) 2010-03-17 2016-04-19 Intellectual Ventures Fund 83 Llc Dynamic graphic indicator for connected tasks
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
JP2011243070A (ja) * 2010-05-19 2011-12-01 Sony Corp 情報処理システムおよび情報処理装置
KR101673925B1 (ko) 2010-05-26 2016-11-09 삼성전자주식회사 터치 락 상태를 가지는 단말기 및 이의 운용 방법
NL2004780C2 (nl) 2010-05-28 2012-01-23 Activevideo Networks B V Visueel element werkwijze en systeem.
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US9009594B2 (en) 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
DE112010005736B4 (de) * 2010-07-13 2020-03-26 Lg Electronics Inc. Mobiles Endgerät und Konfigurationsverfahren für einen Ruhebildschirm desselben
KR20120010433A (ko) 2010-07-26 2012-02-03 엘지전자 주식회사 영상표시기기의 동작 방법
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US20120038571A1 (en) 2010-08-11 2012-02-16 Marco Susani System and Method for Dynamically Resizing an Active Screen of a Handheld Device
KR20120017649A (ko) 2010-08-19 2012-02-29 삼성전자주식회사 디스플레이장치 및 그 제어방법
US8826134B2 (en) 2010-09-10 2014-09-02 Sony Computer Entertainment America Llc Pivot command for playlist
US9602849B2 (en) 2010-09-17 2017-03-21 Futurewei Technologies, Inc. Method and apparatus for scrub preview services
US8963847B2 (en) 2010-12-06 2015-02-24 Netflix, Inc. User interface for a remote control device
US9363579B2 (en) 2010-12-22 2016-06-07 Google Inc. Video player with assisted seek
WO2012122400A1 (en) 2011-03-08 2012-09-13 Zeevee, Inc. Multi source and destination media discovery and management platform
CN103635938B (zh) 2011-03-25 2016-09-07 爱立信(中国)通信有限公司 在流传输客户端中用于处理视频流传输数据的方法、流传输客户端
WO2012140525A1 (en) 2011-04-12 2012-10-18 International Business Machines Corporation Translating user interface sounds into 3d audio space
KR101660215B1 (ko) 2011-05-12 2016-09-26 애플 인크. 존재 감지
JP5821307B2 (ja) 2011-06-13 2015-11-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101789225B1 (ko) 2011-06-23 2017-11-20 삼성전자주식회사 디바이스 및 그 신호 처리 방법
BR112014002039B1 (pt) 2011-08-05 2022-02-01 Interdigital Ce Patent Holdings Interface de usuário para um exibidor de vídeo, e método para controlar um exibidor de vídeo que tem uma tela ativável por toque
US20130055119A1 (en) 2011-08-23 2013-02-28 Anh Luong Device, Method, and Graphical User Interface for Variable Speed Navigation
US9933935B2 (en) 2011-08-26 2018-04-03 Apple Inc. Device, method, and graphical user interface for editing videos
US9965151B2 (en) * 2011-09-09 2018-05-08 Cloudon Ltd. Systems and methods for graphical user interface interaction with cloud-based applications
JP5527304B2 (ja) 2011-10-17 2014-06-18 株式会社デンソー 入力装置
US9361942B2 (en) 2011-12-22 2016-06-07 Apple Inc. Playlist configuration and preview
KR20130093721A (ko) 2011-12-23 2013-08-23 삼성전자주식회사 디스플레이 장치 및 그 잠금 해제 방법
KR101875743B1 (ko) 2012-01-10 2018-07-06 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10289660B2 (en) 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
BR112014020960B1 (pt) 2012-02-24 2022-04-19 Koninklijke Philips N. V. Sistema para processamento em tempo real de um movimento de ponteiro provido por um dispositivo apontador; estação de trabalho ou um aparelho de formação de imagem e método para processamento em tempo real de um movimento de ponteiro provido por um dispositivo apontador
EP2825944B1 (en) 2012-03-14 2017-07-26 Nokia Technologies Oy Touch screen hover input handling
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
JP2013214192A (ja) 2012-04-02 2013-10-17 Sharp Corp 位置入力装置、位置入力装置の制御方法、制御プログラム、及びコンピュータ読み取り可能な記録媒体
JP5367191B2 (ja) 2012-04-17 2013-12-11 シャープ株式会社 メニュー表示装置、メニュー表示方法、メニュー表示プログラム、メニュー表示装置を備えたテレビジョン受像機、及び、記録媒体
CN102681847B (zh) * 2012-04-28 2015-06-03 华为终端有限公司 触屏终端对象处理方法及触屏终端
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
KR101956082B1 (ko) * 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169882A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
KR101864620B1 (ko) * 2012-05-09 2018-06-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP3594797A1 (en) 2012-05-09 2020-01-15 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US9454303B2 (en) 2012-05-16 2016-09-27 Google Inc. Gesture touch inputs for controlling video on a touchscreen
KR101867513B1 (ko) 2012-05-29 2018-06-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20130134195A (ko) 2012-05-30 2013-12-10 삼성전자주식회사 오디오 스트림을 고속 시각화시키는 전자 장치 및 방법
US20140002582A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
US9268424B2 (en) * 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
EP2690879B1 (en) * 2012-07-23 2016-09-07 LG Electronics, Inc. Mobile terminal and method for controlling of the same
US20140053113A1 (en) 2012-08-15 2014-02-20 Prss Holding BV Processing user input pertaining to content movement
US9304595B2 (en) 2012-10-19 2016-04-05 Google Inc. Gesture-keyboard decoding using gesture path deviation
TWI467467B (zh) 2012-10-29 2015-01-01 Pixart Imaging Inc 畫面物件移動控制方法及裝置
KR101990036B1 (ko) * 2012-10-31 2019-06-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102042461B1 (ko) * 2012-10-31 2019-11-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20140063272A (ko) 2012-11-16 2014-05-27 엘지전자 주식회사 영상표시장치, 및 그 동작방법
JP6154597B2 (ja) 2012-11-16 2017-06-28 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
KR101436585B1 (ko) 2012-12-26 2014-10-30 전자부품연구원 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
CN103902804B (zh) 2012-12-27 2018-11-16 索尼电脑娱乐美国公司 能够基于先前用户游戏玩法而影子式玩视频游戏的系统和方法
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
JP6097843B2 (ja) 2012-12-29 2017-03-15 アップル インコーポレイテッド コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース
KR101984592B1 (ko) 2013-01-04 2019-05-31 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US9344815B2 (en) 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Method for augmenting hearing
KR20140105691A (ko) 2013-02-23 2014-09-02 삼성전자주식회사 터치스크린을 구비하는 사용자 기기의 오브젝트 조작 방법 및 그 장치
US9292202B2 (en) 2013-02-28 2016-03-22 Sony Corporation Client device, operating method, and recording medium
US8879888B2 (en) 2013-03-12 2014-11-04 Fuji Xerox Co., Ltd. Video clip selection via interaction with a hierarchic video segmentation
WO2014143633A1 (en) 2013-03-15 2014-09-18 Apple Inc. Device, method, and graphical user interface for orientation-based parallax dispaly
KR20140115761A (ko) 2013-03-22 2014-10-01 삼성전자주식회사 스크린 락 제어 방법 및 이를 지원하는 전자 장치
US9417791B2 (en) 2013-03-29 2016-08-16 Deere & Company Active feedback interface for touch screen display
US20140292706A1 (en) 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Non-visual touch input targeting
US9250773B2 (en) 2013-04-30 2016-02-02 International Business Machines Corporation Accessible chart navigation using object neighborhood
US10481769B2 (en) * 2013-06-09 2019-11-19 Apple Inc. Device, method, and graphical user interface for providing navigation and search functionalities
US9733716B2 (en) * 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
GB2516820A (en) 2013-07-01 2015-02-11 Nokia Corp An apparatus
US9625997B2 (en) * 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method
WO2015022498A1 (en) 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
CN103455237A (zh) 2013-08-21 2013-12-18 中兴通讯股份有限公司 菜单处理方法及装置
US9521459B2 (en) 2013-08-22 2016-12-13 aioTV, Inc. Method and system for delivering video content from multiple platforms to subscribers
US20150058796A1 (en) 2013-08-23 2015-02-26 General Electric Company Navigation control for a tabletop computer system
US9311545B2 (en) 2013-09-18 2016-04-12 Blackberry Limited Multicolor biometric scanning user interface
US9319745B2 (en) 2013-10-16 2016-04-19 VidRetal, Inc. Media player system for product placements
KR20150049900A (ko) 2013-10-31 2015-05-08 엘지전자 주식회사 제어 장치 및 그 동작 방법
JP2015127870A (ja) 2013-12-27 2015-07-09 ソニー株式会社 制御装置、制御方法、プログラム、及び、電子機器
JP2015127872A (ja) 2013-12-27 2015-07-09 ソニー株式会社 制御装置、制御方法、及び、プログラム
US10585486B2 (en) 2014-01-03 2020-03-10 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
US9509753B2 (en) 2014-01-08 2016-11-29 Samsung Electronics Co., Ltd. Mobile apparatus and method for controlling thereof, and touch device
US8943036B1 (en) 2014-01-09 2015-01-27 Funded Ventures LLC Search controls using sliders and lightboxes
CN103914303A (zh) 2014-04-10 2014-07-09 福建伊时代信息科技股份有限公司 一种进度条呈现方法及其装置
US9547433B1 (en) * 2014-05-07 2017-01-17 Google Inc. Systems and methods for changing control functions during an input gesture
CN103974146A (zh) 2014-05-30 2014-08-06 深圳市同洲电子股份有限公司 一种视频处理方法、客户端及系统
US10042537B2 (en) 2014-05-30 2018-08-07 Apple Inc. Video frame loupe
US20150358685A1 (en) 2014-06-05 2015-12-10 Eric Adjesson System to Enhance Television Viewing by Merging Television and the Internet
EP3126953A1 (en) * 2014-06-24 2017-02-08 Apple Inc. Column interface for navigating in a user interface
AU2015280056B2 (en) 2014-06-24 2018-04-26 Apple Inc. Application menu for video system
CN104391711B (zh) 2014-08-28 2018-05-29 小米科技有限责任公司 一种设置屏幕保护的方法及装置
DE202015006142U1 (de) 2014-09-02 2015-12-09 Apple Inc. Elektronische Touch-Kommunikation
CN104618788B (zh) 2014-12-29 2018-08-07 北京奇艺世纪科技有限公司 一种显示视频信息的方法及装置
CN104954848A (zh) 2015-05-12 2015-09-30 乐视致新电子科技(天津)有限公司 智能终端的显示图形用户界面的控制方法及装置
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
DK179411B1 (en) * 2016-09-06 2018-06-06 Apple Inc Devices and methods for processing and rendering touch inputs unambiguous using intensity thresholds based on a prior input intensity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086696A (zh) * 2007-06-27 2007-12-12 中兴通讯股份有限公司 界面焦点对象的选择方法
CN102256079A (zh) * 2010-05-19 2011-11-23 索尼公司 信息处理系统和信息处理装置
CN102981695A (zh) * 2011-06-24 2013-03-20 索尼公司 用户界面和内容集成
US20130215021A1 (en) * 2012-02-20 2013-08-22 Denso Corporation Display control apparatus and display system
US20140298254A1 (en) * 2013-03-07 2014-10-02 Tencent Technology (Shenzhen) Company Limited View mode switch of graphical user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035028A (zh) * 2020-09-15 2020-12-04 Oppo广东移动通信有限公司 界面控制方法、界面控制装置、存储介质与电子设备

Also Published As

Publication number Publication date
EP3518090B1 (en) 2023-10-25
CN114895822A (zh) 2022-08-12
WO2017044239A1 (en) 2017-03-16
AU2016318322C1 (en) 2018-06-14
US20220187961A1 (en) 2022-06-16
AU2018202690A1 (en) 2018-05-10
US10963130B2 (en) 2021-03-30
AU2022201097B2 (en) 2024-02-15
US10474333B2 (en) 2019-11-12
AU2024200544A1 (en) 2024-02-15
DK201500586A1 (en) 2017-04-03
CN111352526B (zh) 2023-05-16
AU2016101423B4 (en) 2017-05-04
US20200073523A1 (en) 2020-03-05
CN106502556B (zh) 2022-05-13
AU2022201097A1 (en) 2022-03-10
US11635876B2 (en) 2023-04-25
AU2020217360A1 (en) 2020-09-03
AU2020217360B2 (en) 2022-02-24
CN111352526A (zh) 2020-06-30
CN111352527A (zh) 2020-06-30
CN111352527B (zh) 2023-05-26
EP3268851B1 (en) 2019-07-03
CN106502556A (zh) 2017-03-15
AU2019203639B2 (en) 2020-07-09
US11262890B2 (en) 2022-03-01
EP4293996A2 (en) 2023-12-20
US20180284963A1 (en) 2018-10-04
US20230259252A1 (en) 2023-08-17
US11960707B2 (en) 2024-04-16
AU2016318322A1 (en) 2017-10-26
CN111352565B (zh) 2023-09-29
EP3518090A1 (en) 2019-07-31
US20210247877A1 (en) 2021-08-12
AU2019203639C1 (en) 2021-07-22
AU2016101423A4 (en) 2016-09-01
AU2018202690B2 (en) 2019-07-25
DK179093B1 (en) 2017-10-23
US9990113B2 (en) 2018-06-05
EP4293996A3 (en) 2024-02-21
AU2016318322B2 (en) 2018-01-18
AU2019203639A1 (en) 2019-06-13
EP3268851A1 (en) 2018-01-17
US20170068410A1 (en) 2017-03-09
US9535594B1 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
AU2022201097B2 (en) Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US11392283B2 (en) Device, method, and graphical user interface for window manipulation and management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant