CN111488110B - 虚拟计算机键盘 - Google Patents

虚拟计算机键盘 Download PDF

Info

Publication number
CN111488110B
CN111488110B CN202010305200.3A CN202010305200A CN111488110B CN 111488110 B CN111488110 B CN 111488110B CN 202010305200 A CN202010305200 A CN 202010305200A CN 111488110 B CN111488110 B CN 111488110B
Authority
CN
China
Prior art keywords
display
user interface
affordances
application
affordance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010305200.3A
Other languages
English (en)
Other versions
CN111488110A (zh
Inventor
J·T·伯恩斯坦
D·R·克尔
J·B·莫瑞尔
L·Y·杨
L·威尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111488110A publication Critical patent/CN111488110A/zh
Application granted granted Critical
Publication of CN111488110B publication Critical patent/CN111488110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G06F1/165—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display the additional display being small, e.g. for presenting status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

本发明涉及虚拟计算机键盘。本发明公开了一种包括主显示器、存储器和至少部分地包含物理输入机构和与该物理输入机构相邻的触摸屏的外壳的计算系统：在主显示器上显示第一用户界面，该第一用户界面包括一个或多个用户界面元素；并且识别一个或多个用户界面元素间的在主显示器上聚焦的活动用户界面元素。根据确定在主显示器上聚焦的活动用户界面元素与由计算系统所执行的应用程序相关联，该计算系统在触摸屏上显示第二用户界面，该第二用户界面包括：(A)与应用程序对应的第一组；和(B)与系统级功能对应的至少一个系统级示能表示。

Description

虚拟计算机键盘
本申请是申请日为2015年01月23日、申请号为201580005665.4、发明名称为“虚拟计算机键盘”的发明专利申请的分案申请。
技术领域
本发明所公开的实施方案涉及键盘，并且更具体地涉及用于经由动态输入与输出(I/O)设备来接收输入的改进技术。
背景技术
常规键盘包括用于将信息(例如，字符)输入到计算设备中的任何数量的物理按键。通常情况下，用户按下或以其他方式可移动地致动按键来提供与该按键对应的输入。除了提供字符输入，键盘可包括涉及功能输入的可移动致动按键。例如，键盘可包括用于允许用户激活离开(escape)功能或退出功能的“escape”或“esc”按键。在许多键盘中，用于功能输入的一组功能按键位于“功能行”中。通常，用于字母数字字符的一组按键位于键盘的最靠近用户的一部分中，并且功能行位于键盘的离用户较远但与字母数字字符相邻的一部分中。键盘还可包括不是前述功能行的一部分的功能按键。
随着便携式计算设备诸如膝上型计算机的出现和普及，专用键盘所占的面积可受到显示器的对应尺寸的限制。与台式计算机的外围键盘相比，专用键盘为可具有数量更少、体积更小或彼此更靠近的按键的便携式计算设备的部件，这允许便携式计算设备具有更小的总体尺寸。
无论显示器如何改变，常规的专用键盘随着时间静止且固定。此外，通常经由用户使用鼠标与之进行交互的工具栏和菜单来访问在屏幕上显示的软件应用程序的功能。这要求用户周期性地切换模式，并将其手部的位置在键盘与鼠标之间移动。作为另外一种选择，可经由需要记忆与练习的复杂按键组合来访问应用程序的功能。因此，希望提供用于解决常规系统的缺点的I/O设备和方法。
发明内容
本文所述的实施方案通过提供动态且空间高效的I/O设备和方法来解决上述缺点。此类设备和方法任选地补充或替代常规的输入设备和方法。此类设备和方法还减少用户所需的模式切换的次数(例如，在键盘与鼠标之间移动一个人的手部，并且将一个人的眼睛从键盘移动到显示器)，并形成更加高效的人机界面。
根据一些实施方案，在计算系统处执行更新动态输入和输出设备的方法，该计算系统包括处理器、主显示器、存储器和至少部分地包含物理输入机构和物理输入机构相邻的触摸屏显示器的外壳(例如，图1A至图1B的便携式计算系统100)。在一些实施方案中，该外壳与主显示器分开并且不同于主显示器(例如，图2A至图2C的台式计算系统200)。在其他实施方案中，该外壳与处理器、主显示器和存储器分开并且不同于该处理器、主显示器和存储器(例如，图2A至图2C的台式计算系统200)。在一些实施方案中，该方法包括：在主显示器上显示第一用户界面，该第一用户界面包括一个或多个用户界面元素；识别一个或多个用户界面元素间的在主显示器上聚焦的活动用户界面元素；以及确定在主显示器上聚焦的活动用户界面元素是否与由该计算系统执行的应用程序相关联。根据确定在主显示器上聚焦的活动用户界面元素与由该计算系统执行的应用程序相关联，该方法包括在触摸屏显示器上显示第二用户界面，该第二用户界面包括：(A)与应用程序对应的第一组一个或多个示能表示；和(B)与至少一个系统级功能对应的至少一个系统级示能表示。
一些实施方案提供了一种不同的方法，该方法包括：在主显示器上显示用于由该计算系统执行的应用程序的第一用户界面；在触摸屏显示器上显示第二用户界面，该第二用户界面包括与应用程序对应的第一组一个或多个示能表示，其中该第一组一个或多个示能表示对应于应用程序的第一部分；以及在触摸屏显示器上检测轻扫手势。根据确定该轻扫手势在第一方向上执行，该方法包括：在触摸屏显示器上显示与应用程序对应的第二组一个或多个示能表示，其中该第二组一个或多个示能表示中的至少一个示能表示不同于第一组一个或多个示能表示，并且其中该第二组一个或多个示能表示也对应于该应用程序的第一部分。根据确定该轻扫手势在基本上垂直于第一方向的第二方向上执行，该方法包括：在触摸屏显示器上显示与应用程序对应的第三组一个或多个示能表示，其中该第三组一个或多个示能表示不同于第二组一个或多个示能表示，并且其中该第三组一个或多个示能表示对应于与应用程序的第一部分不同的应用程序的第二部分。该第一用户界面的不同部分的示例包括与图5XX中的照片应用程序相关联的文件控件菜单5288以及与图5YY中的照片应用程序相关联的编辑控件菜单5296。
其他实施方案提供了一种不同的方法，该方法包括：在主显示器上以正常模式(即非全屏模式)来显示用于由计算系统所执行的应用程序的第一用户界面，该第一用户界面包括与应用程序相关联的第一组一个或多个示能表示；以及检测用于在主显示器上以全屏模式显示用于应用程序的第一用户界面的至少一部分的用户输入。响应于检测到该用户输入，该方法包括：停止在主显示器上的第一用户界面中显示与应用程序相关联的第一组一个或多个示能表示；在主显示器上以全屏模式显示用于应用程序的第一用户界面的一部分；以及在没有人类干预的情况下，在触摸屏显示器上自动显示用于控制应用程序的第二组一个或多个示能表示，其中该第二组一个或多个示能表示对应于第一组一个或多个示能表示。
在一些实施方案中，该方法包括：在主显示器上显示用于由该计算系统执行的应用程序的第一用户界面；在触摸屏显示器上显示第二用户界面，该第二用户界面包括与应用程序对应的一组一个或多个示能表示；以及检测通知。响应于检测到通知，该方法包括：在触摸屏显示器上的第二用户界面中同时显示与应用程序对应的一组一个或多个示能表示以及所检测到的通知的至少一部分，其中所检测到的通知不在主显示器上被显示。
在其他实施方案中，该方法包括：在主显示器上显示用户界面，该用户界面包括一个或多个用户界面元素；识别一个或多个用户界面元素中的在主显示器上聚焦的活动用户界面元素，其中该活动用户界面元素与由该计算系统执行的应用程序相关联；响应于识别在主显示器上聚焦的活动用户界面元素，在触摸屏显示器上显示与应用程序对应的一组一个或多个示能表示；以及检测用于移动用户界面的相应部分的用户输入。响应于检测到该用户输入并且根据确定该用户输入满足预定义动作标准，该方法包括：停止在主显示器上显示所述用户界面的相应部分；停止在触摸屏显示器上显示该一组一个或多个示能表示的至少一个子组；以及在触摸屏显示器上显示对用户界面的相应部分的表示。
根据一些实施方案，提供了一种电子设备，该电子设备包括：被配置为显示信息的主显示单元(例如，图1A和图2A至图2D中的主显示器102)；被配置为接收用户输入的物理输入单元；被配置为显示信息的触摸屏显示单元(例如，图1A至图1B和图2A至图2D中的动态功能行104)；被配置为接收触摸屏显示单元上的用户触摸输入的触敏表面单元；以及耦接到主显示单元、物理输入单元、触摸屏显示单元和触敏表面单元的处理单元。该处理单元被配置为：使得在主显示单元上显示第一用户界面，该第一用户界面包括一个或多个用户界面元素；识别一个或多个用户界面元素间的在主显示单元上聚焦的活动用户界面元素；以及确定在主显示单元上聚焦的活动用户界面元素是否与由处理单元执行的应用程序相关联。根据确定在主显示器上聚焦的活动用户界面元素与由计算系统执行的应用程序相关联，该处理单元被配置为使得在触摸屏显示单元上显示第二用户界面，该第二用户界面包括：(A)与应用程序对应的第一组一个或多个示能表示；和(B)与至少一个系统级功能对应的至少一个系统级示能表示。
一些实施方案提供了一种处理单元，该处理单元被配置为：使得在主显示单元上显示由该处理单元执行的应用程序的第一用户界面；使得在触摸屏显示单元上显示第二用户界面，该第二用户界面包括与应用程序对应的第一组一个或多个示能表示，其中该第一组一个或多个示能表示对应于应用程序的第一部分；以及检测触敏表面单元上的轻扫手势。根据确定该轻扫手势在第一方向上执行，该处理单元被配置为：使得在触摸屏显示单元上显示与应用程序对应的第二组一个或多个示能表示，其中该第二组一个或多个示能表示中的至少一个示能表示不同于第一组一个或多个示能表示，并且其中第二组一个或多个示能表示也对应于应用程序的第一部分。根据确定轻扫手势在基本上垂直于第一方向的第二方向上执行，该处理单元被配置为：使得在触摸屏显示单元上显示与应用程序对应的第三组一个或多个示能表示，其中该第三组一个或多个示能表示不同于第二组一个或多个示能表示，并且其中该第三组一个或多个示能表示对应于与应用程序的第一部分不同的应用程序的第二部分。
其他实施方案提供了一种处理单元，该处理单元被配置为：使得在主显示单元上以正常模式显示用于由该处理单元执行的应用程序的第一用户界面，该第一用户界面包括与应用程序相关联的第一组一个或多个示能表示；以及检测用于在主显示单元上以全屏模式显示用于应用程序的第一用户界面的至少一部分的用户输入。响应于检测到该用户输入，该处理单元被配置为：停止在主显示单元上的第一用户界面中显示与应用程序相关联的第一组一个或多个示能表示；使得在主显示单元上以全屏模式显示用于应用程序的第一用户界面的一部分；并且在没有人类干预的情况下，使得在触摸屏显示单元上自动显示用于控制应用程序的第二组一个或多个示能表示，其中该第二组一个或多个示能表示对应于第一组一个或多个示能表示。
在一些实施方案中，该处理单元被配置为：使得在主显示单元上显示由该处理单元执行的应用程序的第一用户界面；使得在触摸屏显示单元上显示第二用户界面，该第二用户界面包括与应用程序对应的一组一个或多个示能表示；以及检测通知。响应于检测到通知，该处理单元被配置为：使得在触摸屏显示单元上的第二用户界面中同时显示与应用程序对应的该一组一个或多个示能表示以及所检测到的通知的至少一部分，其中所检测到的通知不在主显示单元上被显示。
在其他实施方案中，该处理单元被配置为：使得在主显示单元上显示用户界面，该用户界面包括一个或多个用户界面元素；识别一个或多个用户界面元素中的在主显示单元上聚焦的活动用户界面元素，其中该活动用户界面元素与由该计算系统执行的应用程序相关联；响应于识别在主显示单元上聚焦的活动用户界面元素，使得在触摸屏显示单元上显示与应用程序对应的一组一个或多个示能表示；以及检测用于移动用户界面的相应部分的用户输入。响应于检测到该用户输入并且根据确定该用户输入满足预定义动作标准，该处理单元被配置为：停止在主显示单元上显示用户界面的相应部分；停止在触摸屏显示单元上显示该一组一个或多个示能表示的至少一个子组；以及使得在触摸屏显示单元上显示对用户界面的相应部分的表示。
根据一些实施方案，一种计算系统包括处理器、主显示器、用于存储一个或多个程序的存储器，以及至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳；该一个或多个程序被配置为由处理器执行并且包括用于执行根据本文所述的方法中的任一方法的操作或使得根据本文所述的方法中的任一方法的操作执行的指令。根据一些实施方案，非暂态计算机可读存储介质在其中存储有指令，该指令当由计算系统的处理器执行时使得该计算系统执行根据本文所述的方法中的任一方法的操作或使得根据本文所述的方法中的任一方法的操作执行；该计算系统具有主显示器和至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳。根据一些实施方案，提供了计算系统的一种图形用户界面，该计算系统包括处理器、主显示器、用于存储一个或多个程序的存储器，以及至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳；该一个或多个程序被配置为由处理器执行并且包括用于显示根据上述方法中的任一方法中显示的一个或多个元素或使得显示根据上述方法中的任一方法中显示的一个或多个元素的指令，该指令响应于用户输入而更新，如本文所述的方法中的任一方法所述的。根据一些实施方案，一种计算系统包括：主显示器；至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳；以及用于执行根据本文所述的方法中的任一方法的操作或使得根据本文所述的方法中的任一方法的操作执行的装置。根据一些实施方案，在计算系统中使用的信息处理设备包括用于执行根据本文所述的方法中的任一方法的操作或使得根据本文所述的方法中的任一方法的操作执行的装置；该计算系统具有主显示器和至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳。
附图说明
为了更好地理解各种所述的实施方案，应结合以下附图来参考下面的具体实施方式，其中在整个附图中类似的附图标记是指对应的部件。
图1A为根据一些实施方案的便携式计算系统(例如，膝上型计算机)的示意图。
图1B为根据一些实施方案的图1A中的便携式计算系统的主体部分的示意图。
图2A为根据一些实施方案的台式计算系统的第一具体实施的示意图。
图2B为根据一些实施方案的台式计算系统的第二具体实施的示意图。
图2C为根据一些实施方案的台式计算系统的第三具体实施的示意图。
图2D为根据一些实施方案的台式计算系统的第四具体实施的示意图。
图3A为根据一些实施方案的电子设备的框图。
图3B为根据一些实施方案的用于图3A的事件处理的部件的框图。
图4为根据一些实施方案的外围电子设备的框图。
图5A至图5DDD示出了根据一些实施方案的用于更新动态输入和输出设备的示例性用户界面。
图6A至图6D为根据一些实施方案的用于更新动态输入和输出设备的方法的流程图。
图7A至图7C为根据一些实施方案的用于更新动态输入和输出设备的方法的流程图。
图8A至图8B为根据一些实施方案的在全屏模式下维持应用程序的功能的方法的流程图。
图9A至图9B为根据一些实施方案的在触摸屏显示器上显示通知的方法的流程图。
图10A至图10C为根据一些实施方案的移动用户界面部分的方法的流程图。
图11至图15示出了根据一些实施方案的电子设备的功能框图。
具体实施方式
图1A至图1B、图2A至图2D、图3A至图3B和图4提供了对示例性设备的描述。图5A至图5DDD示出了用于更新动态输入和输出设备的示例性用户界面。图6A至图6D为更新动态输入和输出设备的方法600的流程图。图7A至图7C为更新动态输入和输出设备的方法700的流程图。图8A至图8B为在全屏模式下维持应用程序的功能的方法800的流程图。图9A至图9B为在触摸屏显示器上显示通知的方法900的流程图。图10A至图10C为移动用户界面部分的方法1000的流程图。图5A至图5DDD中的用户界面用于示出图6A至图6D、图7A至图7C、图8A至图8B、图9A至图9B和图10A至图10C中的方法和/或过程。
示例性设备与系统
现在将详细地参考实施方案，这些实施方案的示例在附图中被示出。下面的详细描述中示出许多具体细节，以便提供对各种所述实施方案的彻底理解。但是，对本领域的普通技术人员将显而易见的是，各种所述实施方案可在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述熟知的方法、过程、部件、电路、和网络，以便不会不必要地模糊实施方案的各个方面。
还将理解的是，虽然术语“第一”、“第二”等在本文中在一些实施方案中用于描述各种元件，但是这些元件不应受到这些术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地第二接触可被命名为第一接触，而不脱离各种所述实施方案的范围。第一接触和第二接触两者都是接触，但它们不是同一接触。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”(“a”,“an”)和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”“including”“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用的，根据上下文，术语“如果”任选地被解释为是指“当……时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
图1A为根据一些实施方案的便携式计算系统100的示意图。便携式计算系统100可为例如膝上型计算机，诸如
Figure BDA0002455510480000081
设备或者任何其他便携式计算设备。便携式计算系统100包括：(A)显示器部分110，该显示器部分具有主显示器102；和(B)主体部分120，该主体部分具有动态功能行104、一组物理(即可移动地致动)按键106、以及部分地包含于同一外壳内的触摸板108。显示器部分110通常与便携式计算系统100的主体部分120机械耦接、电耦接并且通信耦接。例如，便携式计算系统100可包括允许显示器部分110相对于主体部分120旋转的铰链。便携式计算系统100包括一个或多个处理器以及存储一个或多个程序的存储器，该一个或多个程序由一个或多个处理器执行，以执行本文所述的实施方案中的任一实施方案。在一些实施方案中，动态功能行104是使用电阻式感测、声学感测、电容式感测、光学感测、红外线感测等来检测用户触摸输入和选择的触摸屏显示器，参考图1B更详细地描述了该动态功能行。在一些实施方案中，显示器部分110的主显示器102也是触摸屏显示器。
图1B为根据一些实施方案的便携式计算系统100的主体部分120的示意图。主体部分120包括物理按键组106、动态功能行104以及部分地包含于同一外壳内的触摸板108。在一些实施方案中，动态功能行104为取代物理按键组106的功能行的触摸屏，从而允许该物理按键组106所占用的空间减小，从而允许整个主体部分120更小或允许其他部分诸如触摸板108更大。在一些实施方案中，相对于物理按键组106的主要尺寸，动态功能行104的长度为大约18英寸。虽然为了便于解释称之为“行”，但在一些其他实施方案中，图1A中的包括动态功能行104的触摸屏可呈现任何其他形式，诸如正方形、圆形、多行、一列、多列、多个独立扇区等等。尽管图1A至图1B示出动态功能行104取代物理按键组106的功能行，但在一些其他实施方案中，动态功能行104可另外地和/或可选地取代物理按键组106的数字小键盘部分、编辑/功能部分等。
该物理按键组106中的每个物理按键具有至少一个相关联的输入。该输入可为可打印字符、不可打印字符、功能或其他输入。与物理按键相关联的输入可通过按键表面上的以拉丁文、阿拉伯文、汉字、或任何其他文字示出(例如，印刷)的字母、字词、符号或其他标记来显示。例如，在138处所指示的具体物理按键与字母“z”相关联，如在该按键上显示的字母z所指示的。又如，标有字词“command”的物理按键可能与命令功能相关联。例如，该物理按键组106与QWERTY、Dvorak、或具有符合ISO/IEC 9995、ANSI-INCITS 154-1988、JIS X6002-1980或其他相似标准的字母数字、数字和/或编辑/功能部分(例如，标准的、扩展的或紧凑的)的其他键盘布局相关联。
在用户已激活按键时，可由便携式计算系统100(或图2A至图2D中的计算设备202、或图2A至图2B中的外围键盘206)的处理器来接收与和物理按键相关联的输入对应的信号。在一个示例性示例中，该物理按键组106中的每个按键包括两块板和一个弹簧。用户可通过按下按键来激活该按键，该动作使弹簧压缩。当弹簧被压缩时，两块板可进行接触，从而允许电流流过相连接的板。响应于电流流过相连接的板，可向处理器提供与该按键对应的输入。例如，响应于图2C中的外围键盘206的按键组106中的一个按键被激活，向计算设备202提供与该所激活的按键对应的输入。应当认识到，可针对可移动地致动的按键来使用其他系统。
在一些实施方案中，动态功能行104为用于显示一个或多个用户可选择符号142(在本文中有时也被称为“用户界面元素”、“用户界面部件”、“示能表示”、“按钮”或“软按键”)的触摸屏显示器。例如，动态功能行104取代典型键盘上的功能行按键。用户可通过在该触摸屏显示器上触摸与一个或多个用户可选符号142中的特定一个符号对应的位置来选择一个或多个用户可选符号142中的该特定一个符号。例如，用户可通过轻击动态功能行104使得用户的手指在放大镜指示符214的位置处接触动态功能行104来选择由该放大镜符号144所指示的用户可选符号。在一些实施方案中，轻击接触或轻击手势包括接触的向下触摸以及该接触在预定量的时间内(例如，250ms等)提离。在一些实施方案中，动态功能行104的触摸屏显示器使用电阻式感测、声学感测、电容式感测、光学感测、红外线感测等而被实现，以检测用户输入和选择。
当用户选择一个或多个用户可选符号142中的特定一个符号时，动态功能行104产生与一个或多个用户可选符号142中的该特定一个符号对应的信号。例如，当用户轻击动态功能行104上的“esc”时，动态功能行104将用于指示与离开功能对应的用户输入的信号发送至便携式计算系统100的处理器(或图2A至图2D中的计算设备202、或图2A至图2B中的外围键盘206的处理器、或图2C中的第一输入机构212的处理器、或图2D中的第二输入机构222的处理器)。
在一些实施方案中，当选择一个或多个用户可选符号142中的特定一个符号时，动态功能行104将与触摸屏显示器上的显示一个或多个用户可选符号142中的该特定一个符号的位置对应的信号发送至便携式计算系统100的处理器(或图2A至图2D中的计算设备202、或图2A至图2B中的外围键盘206的处理器、或图2C中的第一输入机构212的处理器、或图2D中的第二输入机构222的处理器)。例如，动态功能行104可根据所选择的一个或多个用户可选符号142中的该特定一个符号在触摸屏显示器上的位置来发送包含位置值(0至20)的信号。在图1B的示例性示例中，“esc”符号可具有位置值0，放大镜符号144可具有位置值16，并依此类推。便携式计算系统100的处理器(或图2A至图2D中的计算设备202、或图2A至图2B中的外围键盘206的处理器、或图2C中的第一输入机构212的处理器或图2D中的第二输入机构222的处理器)可接收用于指示所选择的用户可选符号的位置值的信号，并使用上下文信息诸如在显示器部分110(或图2A至图2D中的外围显示设备204)的主显示器102上显示的当前处于激活状态或具有焦点的图形用户界面元素来解释该位置值。
一个或多个用户可选符号142中的每个用户可选符号可包括指示符，诸如符号(例如，在144处所示的放大镜符号)、缩写词(例如，“esc”)、非缩写词、字符、图像、动画图像、视频等。在一些实施方案中，一个或多个用户可选符号142中的相应一个符号能够接收一个或多个用户输入。
输入可与一个或多个用户可选符号142中的每个用户可选符号相关联。输入可为功能、字符、数值等。一个或多个用户可选符号142中的相应一个符号可包括与用于一个或多个用户可选符号142中的该相应一个符号的输入对应的指示符。例如，在图1B中，具有缩写词“esc”的用户可选符号向用户指示离开功能与该用户可选符号相关联。当用户选择用户可选符号时，与一个或多个用户可选符号142相关联的功能可被激活。例如，当用户选择具有指示符“esc”的用户可选符号时，可激活离开功能。根据便携式计算系统100(或图2A至图2D中的计算设备202)的当前状态，对功能的激活可具有不同的效果。例如，当在显示器部分110(或图2A至图2D中的外围显示设备204)的主显示器102上打开对话框时，激活动态功能行104上的离开功能可关闭该对话框。又如，当便携式计算系统100(或图2A至图2D中的计算设备202)的处理器正在执行游戏应用程序时，激活动态功能行104上的离开功能可使游戏暂停。
在一些实施方案中，功能可与可移动致动的按键和/或用户可选符号的组合相关联。例如，对命令按键和“c”按键(即，command+c)的同时致动可与“复制”功能相关联。又如，对命令按键的同时致动和对具有指示符“esc”的用户可选符号(即，command+esc)的选择可激活打开特定应用程序诸如媒体播放器应用程序的功能。再如，对两个用户可选符号(例如，具有指示符“esc”的用户可选符号以及具有放大镜指示符的用户可选符号144)的同时选择可导致对功能诸如专用搜索功能的激活。
在一些实施方案中，动态功能行104的一个或多个用户可选符号142的第一子组146可与一组功能相关联，而动态功能行104的一个或多个用户可选符号142的第二子组148可与第二组功能相关联。例如，第一子组146中的用户可选符号可为全局功能(例如，系统级功能或示能表示)，而第二子组148中的用户可选符号可为特定于应用程序的功能。这样，当焦点从主显示器102上显示的图形用户界面的第一元素(例如，对应于互联网浏览器应用程序的第一窗口)移到图形用户界面的第二元素(例如，对应于电子邮件应用程序的第二窗口)时，第一子组148中的用户可选符号发生改变。与此相反，当焦点从图形用户界面的第二元素移到图形用户界面的第一元素时，第一子组146中的用户可选符号保持不变。
在一些实施方案中，基于在主显示器102上聚焦的活动用户界面元素显示来确定第二子组148中的用户可选符号。在一些实施方案中，术语“聚焦”可指用户界面的活动元素(例如，与应用程序相关联的窗口、与应用程序相关联的特定工具栏或菜单，或操作系统)，该活动元素当前正处于前景中并运行流畅，或被从计算系统用户接收的输入所控制，该输入诸如按下按键、点击鼠标、语音命令、手势动作等。
在一些实施方案中，一个或多个用户可选符号142的对应于全局用户可选符号的第一子组146占据动态功能行104的第一区域(例如，动态功能行104的左半部分)，而一个或多个用户可选符号142的第二子组148占据动态功能行104的第二区域(例如，动态功能行104的右半部分)。应当认识到，可将功能行104的其他部分分配给第一子组146和第二子组148。在一些实施方案中，当没有应用程序被聚焦时，动态功能行104的第二区域可不包括任何用户可选符号。在一些实施方案中，动态功能行104包括用户可选符号的三个或更多个子组。在一些实施方案中，动态功能行104包括未被划分成子组的单组用户可选符号。尽管图1B的动态功能行104中示出了单行用户可选符号，然而应当认识到，动态功能行104可包括多行用户可选符号。
在一些实施方案中，焦点的变化将改变在显示器部分110(或图2A至图2D中的外围显示设备204)的主显示器102上显示的图形用户界面的哪个元素被激活以及哪个元素将接收用户输入。可从键盘、鼠标、触摸板或其他用户输入设备接收用户输入。除此之外和/或作为另外一种选择，在一些实施方案中，焦点的变化将改变在显示器部分110(或图2A至图2D中的外围显示设备204)的主显示器102上显示的图形用户界面的前景中示出的元素。
在一些实施方案中，焦点响应于用户输入而变化，例如响应于对在显示器部分110(或图2A至图2D中的外围显示设备204)的主显示器102上显示的图形用户界面的元素(例如，不同的窗口)的用户选择，或者响应于对用户可选符号(例如，在动态功能行104中显示的示能表示/符号中的一者)的用户选择。该用户选择可为击按键、点击鼠标、鼠标悬停、“command+tab”输入等。在一些实施方案中，焦点响应于便携式系统100(或图2A至图2D中的计算设备202)的操作系统所作的确定而变化。例如，当用户关闭具有焦点的应用程序窗口时，操作系统可给予焦点不同的应用程序，诸如在已关闭的应用程序窗口之前具有焦点的应用程序。又如，当用户关闭具有焦点的应用程序窗口时，操作系统可将焦点给予对话框，从而提示用户保存经由该应用程序对文档所作的改变。
在一些实施方案中，焦点的变化可以是从与应用程序相关联的元素到与同一应用程序相关联的另一个元素的改变(例如，从电子邮件应用程序的电子邮件撰写窗口到电子邮件应用程序的收件箱列表窗口的改变、或从互联网浏览器应用程序的一个标签到互联网浏览器应用程序的另一个标签的改变)。在一些实施方案中，焦点的变化可以是从与一个应用程序相关联的元素到与不同应用程序相关联的元素的改变(例如，从互联网浏览器窗口到电子邮件应用程序窗口的改变)。此外，在一些实施方案中，焦点的变化可以是从与应用程序相关联的元素到与操作系统相关联的元素的改变，诸如系统对话框、系统设置控件(例如，音量控件)、与文件/文件夹导航应用程序相关联的窗口(例如，Apple Inc.的FINDER应用程序)等。另外，焦点也可指向对话框、文件目录、设置控件(例如，音量控件)、或可向用户呈现信息和/或使用户输入可被接收的图形用户界面的任何其他元素。
图2A为根据一些实施方案的台式计算系统200的第一具体实施的示意图。台式计算系统200包括计算设备202、具有主显示器102的外围显示设备204、外围键盘206，以及外围鼠标208。计算设备202包括一个或多个处理器以及存储用于由一个或多个处理器执行的一个或多个程序的存储器。在一些实施方案中，外围显示设备204可与计算设备202诸如
Figure BDA0002455510480000131
设备集成。在一些实施方案中，外围显示设备204的主显示器102为触摸屏显示器。在图2A中，外围显示设备204、外围键盘206以及外围鼠标208经由有线连接诸如USB或PS/2或者使用通信协议诸如蓝牙、Wi-Fi等经由无线通信链路通信地耦接到计算设备202。例如，外围键盘206与计算设备202的距离不超过十五英尺(例如，大约三英尺远)。图2A中，外围键盘206包括动态功能行104，以及至少部分地包含于同一外壳内的物理按键组106。在一些实施方案中，动态功能行104是触摸屏显示器，参考图1B更详细地描述了该动态功能行。在一些实施方案中，外围键盘206包括一个或多个处理器以及存储一个或多个程序的存储器，该一个或多个程序可由外围键盘206的一个或多个处理器执行，以执行本文所述的实施方案中的任一个实施方案。在一些实施方案中，外围键盘206向计算设备202递送用于指示用户输入(例如，击按键和对由动态功能行104所显示的用户可选符号/示能表示的选择)的信号。
图2B为根据一些实施方案的台式计算系统200的第二具体实施的示意图。在图2B中，台式计算系统200包括计算设备202、具有主显示器102的外围显示设备204，以及外围键盘206。在图2B中，外围显示设备204和外围键盘206经由有线连接(诸如USB或PS/2)或者使用通信协议诸如蓝牙、Wi-Fi等经由无线通信链路通信地耦接到计算设备202。在图2B中，外围键盘206包括动态功能行104、物理按键组106和至少部分地包含于同一外壳内的触摸板108。在一些实施方案中，动态功能行104是触摸屏显示器，参考图1B更详细地描述了该动态功能行。在一些实施方案中，外围键盘206包括一个或多个处理器以及存储一个或多个程序的存储器，该一个或多个程序可由外围键盘206的一个或多个处理器执行，以执行本文所述的实施方案中的任一个实施方案。在一些实施方案中，外围键盘206向计算设备202递送用于指示用户输入(例如，击按键、与触摸板108的用户交互，以及对由动态功能行104所显示的用户可选符号/示能表示的选择)的信号。
图2C为根据一些实施方案的台式计算系统200的第三具体实施的示意图。在图2C中，台式计算系统200包括计算设备202、具有主显示器102的外围显示设备204、外围键盘206，以及第一外围输入机构212。在图2C中，外围显示设备204、外围键盘206以及第一外围输入机构212经由有线连接(诸如USB或PS/2)或者使用通信协议诸如蓝牙、Wi-Fi等经由无线通信链路通信地耦接到计算设备202。在图2C中，外围键盘206包括物理按键组106，并且第一外围输入机构212包括动态功能行104和至少部分地包含于同一外壳内的触摸板108。在一些实施方案中，动态功能行104为触摸屏显示器，参考图1B更详细地描述了该动态功能行。在一些实施方案中，第一外围输入机构212包括一个或多个处理器以及用于存储一个或多个程序的存储器，这一个或多个程序可由第一外围输入机构212的一个或多个处理器执行，以执行本文所述实施方案中的任一个实施方案。在一些实施方案中，第一外围输入机构212向计算设备202递送用于指示用户输入(例如，与触摸板108的用户交互，以及用户对由动态功能行104所显示的用户可选符号/示能表示的选择)的信号。
图2D为根据一些实施方案的台式计算系统200的第四具体实施的示意图。在图2D中，台式计算系统200包括计算设备202、具有主显示器102的外围显示设备204、外围键盘206、外围鼠标208以及第二外围输入机构222。在图2D中，外围显示设备204、外围键盘206、外围鼠标208以及第二外围输入机构222经由有线连接(诸如USB或PS/2)或者使用通信协议诸如蓝牙、Wi-Fi等经由无线通信链路通信地耦接到计算设备202。图2A中，外围键盘206包括动态功能行104和物理按键组106。在图2D中，外围键盘206包括物理按键组106，并且第二外围输入机构222包括至少部分地包含于第二外围输入机构222的外壳内的动态功能行104。在一些实施方案中，动态功能行104为触摸屏显示器，参考图1B更详细地描述了该动态功能行。在一些实施方案中，第二外围输入机构222包括一个或多个处理器以及用于存储一个或多个程序的存储器，该一个或多个程序可由第二外围输入机构222的一个或多个处理器执行，以执行本文所述实施方案中的任一个实施方案。在一些实施方案中，第二外围输入机构222向计算设备202递送用于指示用户输入(例如，用户对由动态功能行104所显示的用户可选符号/示能表示的选择)的信号。
图3A为根据一些实施方案的电子设备300的框图。在一些实施方案中，电子设备300为便携式电子设备，诸如膝上型计算机(例如，图1A中的便携式计算系统100)。在一些实施方案中，电子设备300不是便携式设备，而是台式计算机(例如，图2A至图2D中的台式计算系统200的计算设备202)，该台式计算机通信地耦接到外围显示系统(例如，图2A至图2D中的外围显示设备204)并且任选地通信地耦接到外围触敏表面(例如，图2B至图2C中的触摸板108和/或触敏显示器，诸如图2A至图2D中的外围显示设备204和/或图2A至图2D中的动态功能行104)。
电子设备300通常支持各种应用程序，诸如以下各项中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、图像管理应用程序、数字相机应用程序、数字视频相机应用程序、web浏览器应用程序和/或媒体播放器应用程序。
在电子设备300上执行的各种应用程序任选地使用至少一个共用的物理用户界面设备诸如触敏表面。触敏表面的一种或多种功能以及由电子设备300显示的对应信息任选地在一种应用程序和另一种应用程序之间调整和/或变化，和/或在一种应用程序内调整和/或变化。这样，电子设备300的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
电子设备300包括存储器302(其任选地包括一个或多个计算机可读存储介质)、存储器控制器322、一个或多个处理单元(CPU)320、外围设备接口318、RF电路308、音频电路310、扬声器311、麦克风313、输入/输出(I/O)子系统306、其他输入或控制设备316和外部端口324。电子设备300任选地包括显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)，该显示系统可为触敏显示器(本文中有时也被称为“触摸屏”或“触摸屏显示器”)。电子设备300任选地包括一个或多个光学传感器364。电子设备300任选地包括用于检测触敏表面(诸如触敏显示器或触摸板)上的接触的强度的一个或多个强度传感器365。电子设备300任选地包括用于在触敏表面诸如触敏显示器或触摸板(例如图1A至图1B中的触摸板108)上产生触觉输出的一个或多个触觉输出发生器367。这些部件任选地通过一个或多个通信总线或信号线303进行通信。
如在本说明书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)接触的强度。例如，任选地使用在触敏表面下方或相邻于触敏表面的一个或多个力传感器来测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量被组合(例如，取加权平均数)以确定所估计的接触力。相似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触面积的大小和/或其变化、邻近接触的触敏表面的电容和/或其变化和/或邻近接触的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已超过强度阈值(例如，强度阈值是以与替代物测量对应的单位来描述的)。在一些具体实施中，接触力或压力的替代物测量值被转换成所估计的力或压力，并且所估计的力或压力用于确定是否已超过强度阈值(例如，强度阈值是以压力的单位测量的压力阈值)。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触摸感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触摸板/触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时也能感觉到触感。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释为或感测为触敏表面的“粗糙度”。虽然由用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是存在触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的感官知觉。
应当理解，电子设备300仅是一个示例，并且电子设备300任选地具有比所示出的更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图3A中所示的各种部件在硬件、软件、固件或它们的组合(包括一个或多个信号处理和/或专用集成电路)中实施。
存储器302任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。电子设备300的其他部件(诸如一个或多个CPU 320和外围设备接口318)对存储器302的访问任选地由存储器控制器322来控制。外围设备接口318可被用于将输入和输出外围设备耦接到一个或多个CPU320和存储器302。该一个或多个处理单元320运行或执行被存储在存储器302中的各种软件程序和/或指令集，以执行电子设备300的各种功能并处理数据。在一些实施方案中，外围设备接口318、一个或多个CPU 320和存储器控制器322任选地被实现在单个芯片诸如芯片304上。在一些其他实施方案中，它们被任选地实现在独立的芯片上。
RF(射频)电路308接收和发送也被叫做电磁信号的RF信号。RF电路308将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络以及其他通信设备进行通信。RF电路308任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路308任选地通过无线通信与网络以及其他设备进行通信，该网络诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理现场协议(XMPP)、用于即时消息和现场利用扩展的会话发起协议(SIMPLE)、即时消息和到场服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路310、扬声器311和麦克风313提供用户和电子设备300之间的音频接口。音频电路310从外围设备接口318接收音频数据，将音频数据转换为电信号，并将此电信号发送到扬声器311。扬声器311将此电信号转换为人类可听到的声波。音频电路310还接收由麦克风313根据声波转换的电信号。音频电路310将此电信号转换为音频数据，并将此音频数据发送到外围设备接口318以供处理。音频数据任选地由外围设备接口318从存储器302和/或RF电路308检索和/或发送至存储器302和/或RF电路308。在一些实施方案中，音频电路310还包括耳麦插孔。该耳麦插孔提供音频电路310与可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统306将电子设备300的输入/输出外围设备诸如显示系统312和其他输入或控制设备316耦接到外围设备接口318。I/O子系统306任选地包括显示控制器356、光学传感器控制器358、强度传感器控制器359、触觉反馈控制器361，和用于其他输入或控制设备的一个或多个其他输入控制器360。该一个或多个其他输入控制器360从其他输入或控制设备316接收电信号/将电信号发送到其他输入或控制设备316。其他输入或控制设备316任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等等。在一些另选实施方案中，一个或多个其他输入控制器360任选地与以下各项中的任一者耦接(或不与以下各项中的全部耦接)：键盘、红外端口、USB端口以及指针设备诸如鼠标。该一个或多个物理按钮任选地包括用于扬声器311和/或麦克风313的音量控制的增大按钮/减小按钮。
显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)在电子设备300与用户之间提供输出接口(并且任选地，当其为触敏显示器时提供输入接口)。显示控制器356从显示系统312接收电信号和/或将电信号发送至显示系统312。该显示系统312向用户显示视觉输出。该视觉输出任选地包括图形、文本、图标、视频和它们的任何组合(统称为“图形”)。在一些实施方案中，一些或全部视觉输出对应于用户界面对象/元素。
在一些实施方案中，显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)为具有触敏表面、传感器，或基于触觉和/或触觉接触来从用户接受输入的一组传感器的触敏显示器。同样，显示系统312和显示控制器356(与存储器302中的任何相关联的模块和/或指令集一起)检测显示系统312上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在显示系统312上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一个示例性实施方案中，显示系统312和用户之间的接触点对应于用户的手指下方的区域。
显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)任选地使用LCD(液晶显示器)技术、LPD(聚合物发光显示器)技术、LED(发光二极管)技术、或OLED(有机发光二极管)技术，而在其他实施方案中使用其他显示技术。在一些实施方案中，当显示系统312为触敏显示器，显示系统312和显示控制器356任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与显示系统312的一个或多个接触点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的
Figure BDA0002455510480000201
和/>
Figure BDA0002455510480000202
中发现的技术。
显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)任选地具有超过400dpi的视频分辨率(例如，500dpi、800dpi或更高的视频分辨率)。在一些实施方案中，显示系统312为用户任选地使用触笔、手指等与其接触的触敏显示器。在一些实施方案中，该用户界面被设计成主要在基于手指的接触和手势下工作。在一些实施方案中，电子设备300将基于手指的粗略输入翻译为精确的指针/光标位置或命令，以用于执行用户所期望的动作。
在一些实施方案中，除了显示系统312之外，电子设备300任选地包括用于激活或去激活特定功能的触摸板(例如，图1A至图1B中的触摸板108)。在一些实施方案中，该触摸板是电子设备300的触敏区域，该触敏区域与显示系统312不同，其不显示视觉输出。在一些实施方案中，当显示系统312为触敏显示器时，触摸板任选地为与显示系统312分开的触敏表面，或者为由显示系统312形成的触敏表面的延伸部分。
电子设备300还包括用于为各种部件供电的电力系统362。电力系统362任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC)等)、再充电系统、电力故障检测电路、功率转换器或逆变器、电力状态指示器(例如，发光二极管(LED))和与便携式设备中电力的生成、管理和分配相关联的任何其他部件。
电子设备300任选地还包括与I/O子系统306中的光学传感器控制器358耦接的一个或多个光学传感器364。该一个或多个光学传感器364任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。该一个或多个光学传感器364从环境接收通过一个或多个透镜而投射的光，并且将此光转换为表示图像的数据。结合成像模块343，一个或多个光学传感器364任选地捕获静态图像或视频。在一些实施方案中，光学传感器位于电子设备300的前部，使得用户在显示系统312上观看其他视频会议参与者的同时任选地获取该用户的图像以用于视频会议。
电子设备300任选地还包括与I/O子系统306中的强度传感器控制器359耦接的一个或多个接触强度传感器365。一个或多个接触强度传感器365任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器365从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，图1A至图1B中的触摸板108、或当其为触敏显示器时的显示系统312)并置排列或邻近。
电子设备300任选地还包括与I/O子系统306中的触觉反馈控制器361耦接的一个或多个触觉输出发生器367。该一个或多个触觉输出发生器367任选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。一个或多个接触强度传感器365从触觉反馈模块333接收触觉反馈生成指令，并且生成能够由电子设备300的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，图1A至图1B中的触摸板108、或当其为触敏显示器时的显示系统312)并置排列或邻近，并且任选地通过竖直地(例如，向电子设备300的表面之内/之外)或侧向地(例如，在与电子设备300的表面相同的平面中向前和向后)移动触敏表面来生成触觉输出。
电子设备300任选地还包括与外围设备接口318耦接的一个或多个接近传感器366。另选地，一个或多个接近传感器366与I/O子系统306中的一个或多个其他输入控制器360耦接。电子设备300任选地还包括与外围设备接口318耦接的一个或多个加速度计368。另选地，一个或多个加速度计368与I/O子系统306中的一个或多个其他输入控制器360耦接。
在一些实施方案中，被存储在存储器302中的软件部件包括操作系统326、通信模块328(或指令集)、接触/运动模块330(或指令集)、图形模块332(或指令集)、应用程序340(或指令集)，以及动态功能行模块350(或指令集)。此外，在一些实施方案中，存储器302存储设备/全局内部状态357(或指令集)，如图3A中所示。设备/全局内部状态357包括以下各项中的一者或多者：活动应用程序状态，其指示当前哪些应用程序(如果有)是活动的和/或被聚焦；显示状态，其指示哪些应用程序、视图或其他信息占据显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)和/或外围显示系统(例如，图2A至图2D中的外围显示设备204的主显示器102、和/或图2A至图2D中的动态功能行104)的不同区域；传感器状态，其包括从电子设备300的各种传感器以及输入或控制设备316获取的信息；以及有关电子设备300的位置和/或姿态的位置信息。
操作系统326(例如，DARWIN、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VXWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动程序，并且促进各种硬件部件和软件部件之间的通信。
通信模块328有利于通过一个或多个外部端口324和/或RF电路系统308来与其他设备(例如，图2A至图2D中的外围显示设备202；图2A和图2D中的外围鼠标208；图2A至图2B中的外围键盘206；图2C中的第一外围输入机构212，和/或图2D中的第二外围输入机构222)进行通信，并且还包括用于经由RF电路308和/或外部端口324来发送/接收数据的各种软件部件。外部端口324(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或者间接地通过网络(例如，互联网、无线LAN等)进行耦接。在一些实施方案中，外部端口324是与
Figure BDA0002455510480000221
设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如，30针)连接器。
接触/运动模块330任选地检测与显示系统312(当其为触敏显示器时；结合显示控制器356)和其他触敏设备(例如，触控板或物理点击式转盘)的接触。接触/运动模块330包括各种软件部件以用于执行与接触检测相关的各种操作，诸如确定是否已发生了接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已停止(例如，检测手指抬起事件或者接触断开)。接触/运动模块330从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，该接触点的移动由一系列接触数据来表示。这些操作任选地被应用于单点接触(例如，单指接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实施方案中，接触/运动模块330还检测触控板(例如，图1A至图1B中的触控板108)上的接触。
在一些实施方案中，接触/运动模块330使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已选择或“点击”示能表示)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子组(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变电子设备300的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外，在一些具体实施中，向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块330任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触图案(例如，所检测到的接触的不同运动、定时和/或强度)。因此，任选地通过检测特定接触图案来检测手势。例如，检测手指轻击接触包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，在触敏表面上检测手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且在一些实施方案中，还随后检测手指抬起(抬离)事件。
图形模块332包括用于在主显示器102(例如，图1A中的显示器部分110的主显示器102、或图2A至图2D中的外围显示设备204的主显示器102)或其他显示器上呈现并显示图形的各种已知的软件部件，包括用于改变所显示图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，其非限制性地包括文本、网页、图标(诸如包括软按键的用户界面对象)、数字图像、视频、动画等。在一些实施方案中，图形模块332存储待使用的用于表示图形的数据。每个图形任选地被分配有对应的代码。图形模块332从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，然后生成屏幕图像数据，以输出至显示控制器356。
触觉反馈模块333包括用于生成由一个或多个触觉输出发生器367使用的指令的各种软件部件，以便响应于与电子设备300的用户交互而在电子设备300上的一个或多个位置处生成触觉输出。
应用程序340任选地包括以下模块(或指令集)或者其子集或超集：
·用于接收、发送、撰写和查看电子邮件的电子邮件客户端模块341(在本文中有时也被称为“邮件应用程序”或“电子邮件应用程序”)；
·用于捕获静态图像和/或视频图像的成像模块342；
·用于编辑和查看静态图像和/或视频图像的图像管理模块343(在本文中有时也被称“照片应用程序”)；
·用于回放音频和/或视频的媒体播放器模块344(在本文中有时也被称为“媒体播放器应用程序”)；以及
·用于连接并浏览互联网的web浏览模块345(在本文中有时也被称为“web浏览器”)。
任选地被存储在存储器302中的其他应用程序340的示例包括消息以及通信应用程序、文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密应用程序、数字权益管理应用程序、语音识别应用程序和语音复制应用程序。
结合RF电路308，显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)、显示控制器356以及接触模块330、图形模块332中的一者或多者，电子邮件客户端模块341包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块343，电子邮件客户端模块341使得非常容易创建和发送具有由成像模块342拍摄的静态图像或视频图像的电子邮件。
结合显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)、显示控制器356、一个或多个光学传感器364、光学传感器控制器358、接触模块330、图形模块332和图像管理模块343中的一者或多者，成像模块342包括用于捕获静态图像或视频(包括视频流)并且将它们存储到存储器302中、修改静态图像或视频的特征、或从存储器302删除静态图像或视频的可执行指令。
结合显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)、显示控制器356、接触模块330、图形模块332和成像模块342中的一者或多者，图像管理模块343包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)以及存储静态图像和/或视频图像的可执行指令。
结合显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)、显示控制器356、接触模块330、图形模块332、音频电路系统310、扬声器311、RF电路308和web浏览模块347中的一者或多者，媒体播放器模块345包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在图1A中的显示器部分110的主显示器102上、或在图2A至图2B中的经外部端口324连接的外围显示设备2014的主显示器102上)的可执行指令。
结合RF电路308、显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)、显示控制器356、接触模块330和图形模块332中的一者或多者，web浏览模块347包括用于根据用户指令来浏览互联网(包括搜索、链接至、接收和显示网页或其部分以及链接至该网页的附件和其他文件)的可执行指令。
动态功能行(DFR)模块350包括：焦点确定模块351、DFR确定模块352和DFR呈现模块353。在一些实施方案中，焦点确定模块351被配置为确定在由显示系统312(例如，图1A中的显示器部分110的主显示器102)或外围显示系统(例如，图2A至图2D中的外围显示设备204)显示的图形用户界面上聚焦的活动用户界面元素。在一些实施方案中，DFR确定模块352被配置为基于被聚焦的活动用户界面元素来确定图形(例如，一组一个或多个示能表示)。在一些实施方案中，DFR呈现模块353被配置为在显示系统312(例如，图1A至图1B中的动态功能行104)上呈现由DFR确定模块352所确定的图形。DFR呈现模块353包括用于在显示系统312(例如，图1A至图1B中的动态功能行104)上呈现和显示图形的各种已知的软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，其非限制性地包括文本、网页、图标(诸如包括软按键的用户界面对象)、数字图像、视频、动画等。在一些实施方案中，DFR模块350包括用于以下各项的其他模块：调节动态功能行104的灵敏度；调节由动态功能行104提供的听觉反馈和/或触觉反馈；调节由动态功能行104显示的示能表示和信息的设置(例如，大小、亮度、字体、语言等)；调节动态功能行104当前的功耗模式(例如，正常模式和低功耗模式)；等等。
上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子组任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中，存储器302任选地存储上述模块和数据结构的子组。此外，存储器302任选地存储上面未描述的另外的模块和数据结构。
图3B为根据一些实施方案的用于图3A的事件处理的部件的框图。在一些实施方案中，存储器302(图3A中)包括事件分类器370(例如，在操作系统326中)和应用程序340-1(例如，前述应用程序341、342、343、344或345中的任一应用程序)。
事件分类器370接收事件信息并确定要向其递送此事件信息的应用程序340-1和应用程序340-1的应用程序视图391。事件分类器370包括事件监视器371和事件分配器模块374。在一些实施方案中，应用程序340-1包括应用程序内部状态392，其指示当该应用程序被激活或正在执行时在显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)上显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态357被事件分类器370用于确定哪个(哪些)应用程序当前是活动或被聚焦的，并且应用程序内部状态392被事件分类器370用于确定要将事件信息递送到哪个应用程序视图391。
在一些实施方案中，应用程序内部状态392包括附加信息，诸如以下各项中的一者或多者：当应用程序340-1恢复执行时将被使用的恢复信息、指示正被应用程序340-1显示的信息或准备好用于被应用程序340-1显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序340-1的前一状态或视图的状态队列、以及用户采取的先前动作的重复/撤销队列。
事件监视器371从外围设备接口318接收事件信息。事件信息包括关于子事件(例如，当为触敏显示器时，显示系统312上的用户触摸，此用户触摸作为多点触摸手势的一部分)的信息。外围设备接口318传输其从I/O子系统306或传感器(一个或多个诸如接近传感器366)、一个或多个加速度计368和/或麦克风313(通过音频电路310)接收的信息。当其为触敏显示器或另一触敏表面(例如图1A至图1B中的触摸板108时)时，外围设备接口318从I/O子系统306接收的信息包括来自显示系统312的信息。
在一些实施方案中，事件监视器371以预先确定的间隔将请求发送至外围设备接口318。作为响应，外围设备接口318传输事件信息。在其他实施方案中，外围设备接口318仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器370还包括命中视图确定模块372和/或活动事件识别器确定模块373。
命中视图确定模块372提供用于确定当显示系统312显示多于一个视图时子事件在一个或多个视图中的哪个位置发生的软件程序，其中这些视图由用户可在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，在本文中有时也被称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(应用程序的)应用程序视图任选地对应于应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被认为是正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，该初始触摸开始基于触摸的手势。
命中视图确定模块372接收与基于触摸的手势的子事件相关的信息。当应用程序具有在分级结构中组织的多个视图时，命中视图确定模块372将命中视图识别为应对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块373确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块373确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块373确定包括子事件的物理位置的所有视图是活跃参与的视图，并且因此确定所有活跃参与的视图应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，但是分级结构中的更高的视图将仍然保持为活跃参与的视图。
事件分配器模块374将事件信息分配到事件识别器(例如，事件识别器380)。在包括活动事件识别器确定模块373的实施方案中，事件分配器模块374将事件信息递送到由活动事件识别器确定模块373所确定的事件识别器。在一些实施方案中，事件分配器模块374在事件队列中存储事件信息，该事件信息由相应事件接收器模块382检索。
在一些实施方案中，操作系统326包括事件分类器370。另选地，应用程序340-1包括事件分类器370。在另一个实施方案中，事件分类器370是独立的模块，或者是被存储在存储器302中的另一个模块(诸如接触/运动模块330)的一部分。
在一些实施方案中，应用程序340-1包括多个事件处理程序390和一个或多个应用程序视图391，其中每个应用程序视图包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序340-1的每个应用程序视图391包括一个或多个事件识别器380。通常，应用程序视图391包括多个事件识别器380。在其他实施方案中，事件识别器380中的一个或多个事件识别器是独立模块的一部分，该独立模块诸如用户界面工具包(未示出)或应用程序340-1从中继承方法和其他属性的更高水平的对象。在一些实施方案中，相应事件处理程序390包括以下各项中的一者或多者：数据更新器376、对象更新器377、GUI更新器378，和/或从事件分类器370所接收的事件数据379。事件处理程序390任选地利用或调用数据更新器376、对象更新器377或GUI更新器378来更新应用程序内部状态392。另选地，应用程序视图391中的一个或多个应用程序视图包括一个或多个相应事件处理程序390。另外，在一些实施方案中，数据更新器376、对象更新器377和GUI更新器378中的一者或多者被包括在应用程序视图391中。
相应的事件识别器380从事件分类器370接收事件信息(例如，事件数据379)，并且从事件信息识别事件。事件识别器380包括事件接收器382和事件比较器384。在一些实施方案中，事件识别器380还包括以下各项的至少一个子组：元数据383和事件递送指令388(其任选地包括子事件递送指令)。
事件接收器382接收来自事件分类器370的事件信息。事件信息包括关于子事件的信息，例如触摸或触摸移动。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一个取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器384将事件信息与预定义的事件或子事件定义进行比较，并且基于比较结果，确定一个事件或子事件或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器384包括事件定义386。事件定义386包含事件的定义(例如，预定义的子事件序列)，例如事件1(387-1)、事件2(387-2)以及其他事件。在一些实施方案中，事件387中的子事件包括例如触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(387-1)的定义为被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(387-2)的定义为被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在显示系统312(当其为触敏显示器时)上的移动、以及触摸的抬起(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序390的信息。
在一些实施方案中，事件定义387包括用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器384执行命中测试，以确定哪个用户界面对象与子事件相关联。例如，在显示系统312(当其为触敏显示器时)上显示三个用户界面对象的应用程序视图中，当在显示系统312上检测到触摸时，事件比较器384执行命中测试以确定这三个用户界面对象中的哪个用户界面对象与该触摸(子事件)相关联。如果每个所显示的对象与相应事件处理程序390相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序390应当被激活。例如，事件比较器384选择与子事件和触发该命中测试的对象相关联的事件处理器。
在一些实施方案中，相应事件387的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型之后。
当相应事件识别器380确定子事件串不与事件定义386中的任何事件匹配时，该相应事件识别器380进入事件不可能、事件失败或事件结束状态，在此之后不理会基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪和处理持续的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器380包括具有用于指示事件递送系统应该如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据383。在一些实施方案中，元数据383包括用于指示事件识别器彼此如何交互或如何能够交互的可配置的属性、标志和/或列表。在一些实施方案中，元数据383包括用于指示子事件是否被递送到视图或程序化分级结构中的不同层级的可配置属性、标记和/或列表。
在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应事件识别器380激活与事件相关联的事件处理程序390。在一些实施方案中，相应事件识别器380将与该事件相关联的事件信息递送到事件处理程序390。激活事件处理程序390不同于将子事件发送(和延期发送)到相应的命中视图。在一些实施方案中，事件识别器380抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序390获取该标记并执行预定义的过程。
在一些实施方案中，事件递送指令388包括递送关于子事件的事件信息而无需激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器376创建并更新在应用程序340-1中使用的数据。例如，数据更新器376存储在媒体播放器模块344所使用的视频文件。在一些实施方案中，对象更新器377创建并更新由应用程序340-1所使用的对象。例如，对象更新器376创建新的用户界面对象或更新用户界面对象的位置。GUI更新器378更新GUI。例如，GUI更新器378准备显示信息，并将其发送至图形模块332以便于在显示系统312(例如，图1A中的显示器部分110的主显示器102、和/或图1A至图1B中的动态功能行104)上显示。
在一些实施方案中，一个或多个事件处理程序390包括数据更新器376、对象更新器377和GUI更新器378或者具有对数据更新器376、对象更新器377和GUI更新器378的访问权限。在一些实施方案中，数据更新器376、对象更新器377和GUI更新器378被包括在应用程序340-1或应用程序视图391的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述讨论还适用于利用输入设备来操作电子设备300的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地利用鼠标移动和鼠标按钮按压，任选结合单次或多次键盘按压或保持；触摸板上的接触移动诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；所检测到的眼睛移动；生物测定输入；和/或其任意组合作为与用于定义要识别的事件的子事件对应的输入。
图4示出了根据一些实施方案的外围电子设备400的框图。在一些实施方案中，外围电子设备400为在同一外壳内的至少部分地包含动态功能行104和物理输入机构诸如物理按键组(例如，图2A至图2B中的物理按键组106)和/或触摸板(例如，图2B至图2C中的触摸板108)的外围输入和输出设备。外围电子设备400的示例包括：外围键盘(例如，图2A至图2B中的外围键盘206)、外围触敏表面(例如，图2C中的第一外围输入机构212)，或其他外围输入机构(例如，图2D中的第二外围输入机构222)。外围电子设备400与计算设备202通信地耦接(如图2A至图2D所示)。例如，外围电子设备400经由有线连接(诸如USB或PS/2)或者使用通信协议诸如蓝牙、Wi-Fi等经由无线通信链路与计算设备202通信地耦接。外围电子设备400可依靠电子设备300(如图3A所示)中的一些部件或程序，或者这些部件或程序可由外围电子设备400而不是电子设备300完成、位于外围电子设备400内而不是电子设备300内、或由外围电子设备400而不是电子设备300容纳。
在一些实施方案中，外围电子设备400包括一个或多个存储器402(其任选地包括一个或多个计算机可读存储介质)、存储器控制器422、一个或多个处理单元(CPU)420、外围设备接口418、RF电路408、音频电路410、扬声器411、麦克风413、输入/输出(I/O)子系统406、其他输入或控制设备416和外部端口424。外围电子设备400包括触敏显示器系统412(例如，图2A至图2D中的动态功能行104)(有时在本文中也被称为“触敏显示器”、“触摸屏”或“触摸屏显示器”)。
外围电子设备400任选地包括用于检测触敏表面诸如触敏显示器系统412或触摸板(例如，图2B至图2C中的触摸板108)上的接触的强度的一个或多个强度传感器465。外围电子设备400任选地包括用于在触敏表面诸如触敏显示器系统412或触摸板(例如图2B至图2C中的触摸板108)上产生触觉输出的一个或多个触觉输出发生器467。这些部件任选地通过一个或多个通信总线或信号线403进行通信。
存储器402任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。外围电子设备400的其他部件(诸如一个或多个CPU 420和外围设备接口418)对存储器402的访问任选地由存储器控制器422来控制。外围设备接口418可用于将一个或多个CPU 420与存储器402耦接到I/O子系统406和其他电路。该一个或多个处理单元420运行或执行被存储在存储器402中的各种软件程序和/或指令集，以执行外围电子设备400的各种功能并处理数据。在一些实施方案中，外围设备接口418、一个或多个CPU 420和存储器控制器422任选地在单个芯片诸如芯片404上被实现。在一些其他实施方案中，它们被任选地在独立的芯片上被实现。
RF(射频)电路408接收和发送也被称为电磁信号的RF信号。RF电路408将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络以及其他通信设备进行通信。RF电路408任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于近场通信(NFC)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、Wi-MAX或包括在本文档提交日期还未开发出的通信协议的任何其他合适的通信协议。
可选的音频电路410、扬声器411和麦克风413提供用户和外围电子设备400之间的音频接口。音频电路410从外围设备接口418接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器411。扬声器411将此电信号转换为人类可听到的声波。音频电路410还接收由麦克风413根据声波转换的电信号。音频电路410将此电信号转换为音频数据，并将此音频数据发送到外围设备接口418以供处理。音频数据任选地由外围设备接口418从存储器402和/或RF电路408检索和/或传输至存储器402和/或RF电路408。在一些实施方案中，音频电路410还包括耳麦插孔。该耳麦插孔提供音频电路410与可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统406将外围电子设备400的输入/输出外围设备诸如触敏显示器系统412(例如，图2A至图2D中的动态功能行104)耦接到外围设备接口418。I/O子系统406任选地包括显示控制器456、强度传感器控制器459、触觉反馈控制器461，以及用于其他输入或控制设备416的一个或多个输入控制器460。该一个或多个其他输入控制器460从其他输入或控制设备416接收电信号/将电信号发送到其他输入或控制设备416。其他输入或控制设备416任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘、物理按键组、触摸板等等。
触敏显示器系统412(例如，图2A至图2D中的动态功能行104)提供外围电子设备400和用户之间的输入/输出接口。触敏显示器(TSD)控制器456从触敏显示器系统412接收电信号和/或将电信号发送至触敏显示器系统412。触敏显示器系统412向用户显示视觉输出。该视觉输出任选地包括图形、文本、图标、视频和它们的任何组合(统称为“图形”)。在一些实施方案中，一些或全部视觉输出对应于用户界面对象/元素。
触敏显示器系统412(例如，图2A至图2D中的动态功能行104)包括基于触觉接触和/或触觉接触来从用户接受输入的触敏表面、传感器或传感器组。同样，触敏显示器系统412和TSD控制器456(与存储器402中的任何相关联的模块和/或指令集一起)检测触敏显示器系统412上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为用于选择或控制被显示在触敏显示器系统412上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的信号。在一个示例性实施方案中，触敏显示器系统412和用户之间的接触点对应于触敏显示器系统412的与用户手指接触的区域。
触敏显示器系统412(例如，图2A至图2D中的动态功能行104)任选地使用LCD(液晶显示器)技术、LPD(聚合物发光显示器)技术、LED(发光二极管)技术、或OLED(有机发光二极管)技术，而在其他实施方案中使用其他显示技术。触敏显示器系统412和TSD控制器456任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术，以及其他接近传感器阵列或用于确定与触敏显示器系统412的一个或多个接触点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外的、和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的
Figure BDA0002455510480000331
Figure BDA0002455510480000332
和/>
Figure BDA0002455510480000333
中发现的技术。
触敏显示器系统412(例如，图2A至图2D中的动态功能行104)任选地具有超过400dpi的视频分辨率(例如，500dpi、800dpi或更高的视频分辨率)。在一些实施方案中，用户使用触笔、手指等来与触敏显示器系统412接触。在一些实施方案中，用户界面被设计成主要在基于手指的接触和手势下工作。
在一些实施方案中，除了触敏显示器系统412之外，外围电子设备400任选地包括触摸板(例如，图2B至图2C中的触摸板108)。在一些实施方案中，触摸板是外围电子设备400的触敏区域，该触敏区域与触敏显示器系统412不同，其不显示视觉输出。在一些实施方案中，触摸板任选地为与触敏显示器系统412分开的触敏表面，或者是由触敏显示器系统412形成的触敏表面的延伸部分。
外围电子设备400还包括用于为各种部件供电的电力系统462。电力系统462任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC)等)、再充电系统、电力故障检测电路、功率转换器或逆变器、电力状态指示器(例如，发光二极管(LED))和与便携式设备中电力的生成、管理和分配相关联的任何其他部件。
外围电子设备400任选地还包括与I/O子系统406中的强度传感器控制器459耦接的一个或多个接触强度传感器465。该一个或多个接触强度传感器465任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器465从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，图2B至图2C中的触敏显示器系统412、和/或触摸板108)并置排列或邻近。
外围电子设备400任选地还包括与I/O子系统406中的触觉反馈控制器461耦接的一个或多个触觉输出发生器467。一个或多个触觉输出发生器467任选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。一个或多个接触强度传感器465从触觉反馈模块433接收触觉反馈生成指令，并且生成能够由外围电子设备400的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，图2B至图2C中的触敏显示器系统412和/或触摸板108)并置排列或邻近，并且任选地通过竖直地(例如，向外围电子设备400的表面之内/之外)或侧向地(例如，在与外围电子设备400的表面相同的平面中向前和向后)移动触敏表面来生成触觉输出。
在一些实施方案中，被存储在存储器402中的软件部件包括：操作系统426、通信模块428(或指令集)、接触/运动模块430(或指令集)以及动态功能行模块450(或指令集)。此外，在一些实施方案中，存储器402存储设备状态457，该设备状态包括用于指示哪些视图或其他信息占据触敏显示器系统412(例如，图2A至图2D中的动态功能行104)的不同区域的显示状态。
操作系统426包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件部件和/或驱动程序，并且有利于各个硬件和软件部件之间的通信。
通信模块428有利于通过一个或多个外部端口424和/或射频电路408来与其他设备(例如，图2A至图2D中的计算设备202)进行通信，并且还包括用于经由RF电路408和/或外部端口424来发送/接收数据的各种软件部件。外部端口424(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或者间接地通过网络(例如，互联网、无线LAN等)进行耦接。
接触/运动模块430任选地检测与触敏显示器系统412和其他触敏设备(例如，触摸板或物理点击式转盘)的接触。接触/运动模块430包括各种软件部件以用于执行与接触检测相关的各种操作，诸如确定是否已发生了接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已停止(例如，检测手指抬起事件或者接触断开)。接触/运动模块430从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，该接触点的移动由一系列接触数据来表示。这些操作任选地被应用于单点接触(例如，单指接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实施方案中，接触/运动模块430还检测触摸板(例如，图2B至图2C中的触摸板108)上的接触。
在一些实施方案中，接触/运动模块430使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已选择或“点击”示能表示)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子组(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变外围电子设备400的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外，在一些具体实施中，向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块430任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触图案(例如，所检测到的接触的不同运动、定时和/或强度)。因此，任选地通过检测特定接触图案来检测手势。例如，检测手指轻击接触包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，在触敏表面上检测手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且在一些实施方案中，还随后检测手指抬起(抬离)事件。
触觉反馈模块433包括用于生成指令的各种软件部件，该指令由一个或多个触觉输出发生器467使用，以便响应于与外围电子设备400的用户交互而在外围电子设备400上的一个或多个位置处生成触觉输出。
动态功能行(DFR)模块450包括：焦点获取模块451、DFR确定模块452和DFR呈现模块453。在一些实施方案中，焦点获取模块451被配置为获取对活动用户界面元素的指示，该用户界面元素是在计算设备202(图2A至图2D)的外围显示设备204(图2A至图2D)的主显示器102上显示的图形用户界面的当前焦点。在一些实施方案中，DFR确定模块452被配置为基于当前聚焦的活动用户界面元素来确定图形(例如，一组一个或多个示能表示)。另选地，在一些实施方案中，计算设备202(图2A至图2D)基于聚焦的活动用户界面元素来确定图形(例如，该一组一个或多个示能表示)，并将图形提供给外围电子设备400或者其部件(例如，DFR模块450)以在触敏显示器系统412(例如，图2A至图2D中的动态功能行104)上显示。在一些实施方案中，DFR呈现模块453被配置为在触敏显示器系统412(例如，图2A至图2D中的动态功能行104)上呈现由DFR确定模块452所确定的(或由计算设备202所提供的)图形。DFR呈现模块453包括用于在触敏显示器系统412上呈现和显示图形的各种已知的软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。在一些实施方案中，DFR模块450包括用于以下各项的其他模块：调节动态功能行104的灵敏度；调节由动态功能行104提供的听觉反馈和/或触觉反馈；调节由动态功能行104显示的示能表示和信息的设置(例如，大小、亮度、字体、语言等)；调节动态功能行104当前的功耗模式(例如，正常模式和低功耗模式)；等等。
在一些实施方案中，存储器402包括事件分类器470(例如，在操作系统426中)。在一些实施方案中，事件分类器470执行与事件分类器370(图3B)相同的功能，并且包括事件分类器370的(图3B)的模块、过程和指令的子集或超集。因此，为简洁起见，将不对事件分类器470进行描述。
应当理解，外围电子设备400仅是一个示例，并且外围电子设备400任选地具有比所示出的更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图4中所示的各种部件在硬件、软件、固件或它们的组合(包括一个或多个信号处理和/或专用集成电路)中实施。
上述所识别的每个模块对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子组任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中，存储器402任选地存储上述模块和数据结构的子组。此外，存储器402任选地存储上面未描述的另外的模块和数据结构。
用户界面和相关联的过程
现在将注意力转到可由便携式计算系统100(图1A)或台式计算系统200(图2A至图2D)实现的用户界面(“UI”)以及相关联的过程的实施方案。在一些实施方案中，主显示器102在便携式计算系统100(图1A)的显示器部分110中实现。另选地，在一些实施方案中，主显示器102在外围显示设备204(图2A至图2D)中实现。在一些实施方案中，动态功能行104为在便携式计算系统100(图1A至图1B)的主体部分120中实现的触敏显示器。另选地，在一些实施方案中，动态功能行104是在外围键盘206(图2A至图2B)、第一输入机构212(图2C)或第二输入机构222(图2D)中实现的触敏显示器。
图5A至图5DDD示出了根据一些实施方案的用于在动态更新的触摸屏显示器上显示特定于应用程序的示能表示的示例性用户界面。这些附图中的用户界面被用于阐示下面描述的方法和/或过程，包括图6A至图6D、图7A至图7C、图8A至图8B、图9A至图9B和图10A至图10C中的方法。本领域的普通技术人员将会理解，下面的用户界面仅为示例。此外，本领域的普通技术人员将会理解，在实践中可使用更多的示能表示和/或用户界面元素，或者使用更少的示能表示和/或用户界面元素。
图5A示出显示状态托盘502的主显示器102，该状态托盘指示该系统(即，操作系统)当前被聚焦，并且还示出具有多个可执行/可选择的应用程序图标的应用程序(app)托盘514，该应用程序图标包括：邮件应用程序图标506(例如，对应于图3A中的电子邮件客户端模块341)、web浏览器应用程序图标508(例如，对应于图3A中的web浏览模块345)、媒体播放器应用程序图标510(例如，对应于图3A中的媒体播放器模块344)、应用程序A图标512(例如，对应于游戏)、以及照片应用程序图标515(例如，对应于图3A中的图像管理模块343)。在一些实施方案中，状态托盘502指示当前正在前景中运行的应用程序，并且还包括多个菜单(例如，图5A中的文件、编辑、视图、前往、窗口和帮助菜单)，每个菜单包括该应用程序的一组对应控件。图5A还示出主显示器102在与应用程序A图标512对应的位置处显示光标504。在一些实施方案中，光标504由便携式计算系统100的触摸板108(图1A至图1B)、台式计算系统200的外围鼠标208(图2A和图2D)、外围键盘206的触摸板108(图2B)、第一输入机构212的触摸板108(图2C)等控制。
图5A还示出动态功能行104(例如，触敏显示器)，其基于主显示器102的当前焦点(即，操作系统，因为没有应用程序窗口被打开)来显示多个示能表示。例如，在图5A中，系统/操作系统当前在主显示器102上被聚焦。在图5A中，动态功能行104包括被实现为物理按键和/或软按键的持久控件，其包括：离开示能表示516，当其被激活(例如，经由轻击接触)时，将调用对应的功能(例如，退出当前在主显示器102上被聚焦的应用程序或暂停游戏)；以及电源控件534，当其被激活(例如，经由轻击接触)时，将在动态功能行104和/或主显示器102上显示模态警告(例如，图5DDD中的模态警告5308)，以用于便携式计算系统100或台式计算系统200的注销、重新启动或关机。
在图5A中，动态功能行104还包括多个系统级示能表示，该多个系统级示能表示包括：用于调节图1A和2A至图2B中的主显示器102的亮度的亮度示能表示518；用于调节图1A至图1B和图2A至图2B中的物理按键组106(如果适用)的亮度和/或动态功能行104的亮度的亮度示能表示520；当其被激活(例如，经由轻击接触)时将在图1A和图2A至图2B中的主显示器102上显示活动应用程序的预览窗口的exposé示能表示522；用于执行本地搜索(例如，搜索电子文档)和/或网络搜索的搜索示能表示524；当其被激活时将在图1A和图2A至图2B中的主显示器102上显示默认的或用户选择的桌面小程序和工具的启动面板示能表示526；当其被激活(例如，经由轻击接触)时将在图1A和图2A至图2B中的主显示器102上显示通知中心的通知示能表示528，其包括最近的消息、通知、日历事件等等；用于开始回放或暂停播放媒体项(例如，歌曲、播客、视频等)的播放/暂停示能表示530；以及用于调节正在播放的媒体项音量的音量控件示能表示532。例如，当在亮度示能表示520上检测到轻击时，动态功能行104显示用于调节物理按键组106的亮度和/或动态功能行104的亮度(例如，与图5K中的音量滑块5100相似)的亮度滑块。在一些实施方案中，多个系统级示能表示还包括用于访问与该动态功能行104相关联的调节设置诸如符号/图标尺寸、触摸检测灵敏度、触觉反馈、听觉反馈、焦点变化动画、功耗模式等的设置示能表示(未示出)。
图5B示出主显示器102响应于在图5A中利用光标504检测到对应用程序A图标512(例如，奇幻RPG游戏)的选择来显示应用程序A的窗口536。在图5B中，应用程序A处于主菜单模式中(例如，奇幻RPG游戏暂停)，并且窗口536显示应用程序A的主菜单。应用程序A的窗口536在主显示器102上聚焦。在图5B中，状态托盘502指示应用程序A正在前景中运行，并且应用程序托盘514还基于应用程序A图标512背后的阴影来指示应用程序A正在前景中运行。在图5B中，应用程序A的窗口536在左上角包括用于关闭窗口536、使窗口536的尺寸最大化以及使窗口536最小化(从左到右分别对应)的三个可选示能表示。
图5B还示出响应于在图5A中利用光标504检测到对应用程序A图标512的选择，动态功能行104除了显示持久控件(即，示能表示516和534)和多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)之外还显示示能表示538。当示能表示538被激活(例如，经由轻击接触)时，其将使得动态功能行104显示与应用程序A对应的第一组示能表示和/或指示符(例如，图5C中的控件组A)。图5B还示出动态功能行104在与示能表示538对应的位置处接收并检测接触540(例如，轻击接触)。
图5C示出响应于在图5B中检测到对示能表示538的选择，动态功能行104显示与应用程序A对应的第一组示能表示和/或指示符(例如，控件组A)、以及至少一个系统级示能表示(例如，示能表示542)。在图5C中，与应用程序A(例如，奇幻RPG游戏)对应的第一组示能表示和/或指示符(例如，控件组A)包括与游戏角色/化身有关的健康指示符543和法力指示符545，便携式计算系统100或台式计算系统200的用户在运行应用程序A时控制该角色/化身。在图5C中，与应用程序A对应的第一组示能表示和/或指示符(例如，控件组A)中还包括用于控制所述游戏角色/化身的控制示能表示546-A、546-B和546-C。当示能表示542被激活(例如，经由轻击接触)时，其将使动态功能行104显示多个系统级示能表示(例如，图5A中所示的示能表示518、520、522、524、526、528、530和532)。图5C还示出随着接触544从第一位置548-A移动到第二位置548-B，动态功能行104接收并检测向上轻扫手势。
图5D示出响应于在图5C中检测到的向上轻扫手势，动态功能行104显示与应用程序A对应的第二组示能表示和/或指示符(例如，控件组B)、以及至少一个系统级示能表示(例如，示能表示542)。在图5D中，与应用程序A对应的第二组示能表示和/或指示符(例如，控件组B)包括控制示能表示546-D、546-E、546-F、546-G、546-H、546-I、546-J以及546-K，这些示能表示用于控制由便携式计算系统100或台式计算系统200的用户在运行应用程序A时所控制的游戏角色/化身。图5D还示出动态功能行104在与示能表示542对应的位置处接收并检测接触552(例如，轻击接触)。
图5E示出响应于在图5D中检测到对示能表示542的选择，动态功能行104显示持久控件(即，示能表示516和534)、所多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)以及与应用程序A对应的示能表示538。图5E还示出主显示器102在与媒体播放器应用程序图标510对应的新位置处显示光标504。
图5F示出响应于在图5E中利用光标504检测到对媒体播放器应用程序图标510的选择，主显示器102显示媒体播放器应用程序的窗口554。例如，窗口554被重叠在窗口536上。在图5F中，窗口554显示与用户媒体库的音乐子部分相关联的多个专辑。在图5F中，用户媒体库的音乐子部分在主显示器102上聚焦，如以粗体显示的“音乐”和至少部分地显示于窗口554中的专辑A至L所示的。在图5F中，状态托盘502指示媒体播放器应用程序正在前景中运行，并且应用程序托盘514还基于媒体播放器应用程序图标510背后的阴影来指示媒体播放器应用程序正在前景中运行。图5F还示出主显示器102在与用户媒体库的播客子部分对应的位置处显示光标504。
图5F还示出响应于在图5E中利用光标504检测到对媒体播放器应用程序图标510的选择，动态功能行104显示多个专辑示能表示558(例如，专辑示能表示558-A至558-G)和至少一个系统级示能表示(例如，示能表示542)。在图5F中，该多个专辑示能表示558对应于在窗口554中当前显示的专辑的子组。在一些实施方案中，该多个专辑示能表示558反映在窗口554中当前显示的专辑。例如，响应于对专辑示能表示558-D的选择(例如，经由轻击接触)，便携式计算设备100或计算设备200使得音频电路310(如图3A所示)回放专辑D，并且还使得主显示器102在窗口554的“正在播放”区域中显示专辑D。
图5G示出响应于在图5F中利用光标504检测到对播客子部分的选择，主显示器102在窗口554中显示第一多个播客。在图5G中，窗口554显示与用户媒体库的播客子部分相关联的多个播客。在图5G中，用户媒体库的播客子部分在主显示器102上聚焦，如在菜单中以粗体显示的“播客”和至少部分地显示于窗口554中的播客A至L所示。
图5G还示出响应于在图5F中检测到利用光标504选择播客子部分，动态功能行104显示第一多个播客示能表示560(例如，播客示能表示560-A至560-G)和至少一个系统级示能表示(例如，示能表示542)。在图5G中，该多个播客示能表示560对应于在窗口554中当前显示的播客的子组。例如，响应于对播客示能表示560-D的选择(例如，经由轻击接触)，便携式计算设备100或计算设备200使得音频电路310(如图3A所示)回放播客D，并且还使得主显示器102在窗口554的“正在播放”区域中显示播客D。图5G还示出随着接触562从第一位置564-A移动到第二位置564-B，动态功能行104检测从右至左的轻扫手势。
图5H示出响应于在图5G中检测到从右至左的轻扫手势，主显示器102在窗口554中显示第二多个播客示能表示560(例如，播客示能表示560-E至560-P)。图5H还示出响应于在图5G中检测到从右至左的轻扫手势，动态功能行104显示第二多个播客示能表示560(例如，播客示能表示560-E至560-K)和至少一个系统级示能表示(例如，示能表示542)。图5H还示出动态功能行104在与播客示能表示560-J对应的位置处接收并检测接触566(例如，轻击接触)。
图5I示出响应于在图5H中检测到对播客示能表示560-J的选择，主显示器102在窗口554中显示播客J的回放。图5I还示出主显示器102在与邮件应用程序图标506对应的位置处显示光标504。
图5I还示出响应于在图5H中检测到对播客示能表示560-J的选择，动态功能行104显示持久音量控件568以及回放控件和指示符。在图5I中，持久音量控件568指示播客J未静音，并且还显示对播客J的均衡器反馈。在图5I中，该回放控件包括用于控制播客J的回放的倒退控件571、暂停控件572和快进控件573。在图5I中，该回放指示符包括与播客J对应的图像574(例如，封面或相关图像)、显示播客J的作者和标题的指示符576、以及剩余时间指示符578。
图5J示出响应于在图5I中利用光标504检测到对邮件应用程序图标506的选择，主显示器102显示邮件应用程序的窗口580。例如，窗口580被重叠在窗口554和536上。在图5J中，窗口580显示用户收件箱中的多封电子邮件的列表(例如，电子邮件A至F)以及所选择的电子邮件A的内容。在一些实施方案中，最新的或最紧急的电子邮件显示在用户收件箱中的多封电子邮件的列表的顶部处，并且该列表的顶部处的电子邮件被自动选择。在图5J中，由于电子邮件A在多封电子邮件的列表中以粗体显示，并且在窗口580中其内容被显示在该列表下方，因此电子邮件A在主显示器102上聚焦。在图5J中，状态托盘502指示邮件应用程序正在前景中运行，并且应用程序托盘514还基于邮件应用程序图标506背后的阴影来指示邮件应用程序正在前景中运行。
图5J还示出响应于在图5I中利用光标504检测到对邮件应用程序图标506的选择，动态功能行104显示与电子邮件A对应的多个示能表示(例如，示能表示582、584、586、588、590、592、594、596和598)和至少一个系统级示能表示(例如，示能表示542)。在图5J中，与电子邮件A对应的多个示能表示包括：示能表示582，当其被激活(例如，经由轻击接触)时刷新收件箱；示能表示584，当其被激活(例如，经由轻击接触)时使得主显示器102显示用于撰写新电子邮件的子窗口(例如，如图5M中所示)；示能表示586，当其被激活(例如，经由轻击接触)时使得主显示器102显示用于回复电子邮件A的发件人的子窗口；示能表示588，当其被激活(例如，经由轻击接触)时使得得主显示器102显示用于回复电子邮件A的所有收件人的子窗口；示能表示590，当其被激活(例如，经由轻击接触)时使得主显示器102显示用于转发电子邮件A的子窗口；示能表示592，当其被激活(例如，经由轻击接触)时使得电子邮件A归档到默认邮箱或文件夹；示能表示594，当其被激活(例如，经由轻击接触)时使得电子邮件A被删除；示能表示596，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于选择将要应用到电子邮件A的不同标志的一组示能表示，这些不同标识任选地对应于预先存在的文件夹(例如，如图5L所示)；以及示能表示598，当其被激活(例如，经由轻击接触)时使得主显示器102或动态功能行104显示用于搜索用户的收件箱的搜索对话框。图5J还示出动态功能行104在与持久音量控件568对应的位置处接收并检测接触599(例如，长按手势)。
图5K示出响应于在图5J中检测到与持久音量控件568对应的位置处的长按手势，动态功能行104显示用于调节在图5H中开始的播客J的回放音量的音量滑块5100。音量滑块5100中的圆圈/拇指可被便携式计算系统100或台式计算系统200的用户拖动以调节音量。另选地，在一些实施方案中，动态功能行104响应于在图5J中检测到与持久音量控件568对应的位置处的长按手势，显示用于控制播客J的回放的回放控件(例如，暂停、快进、倒退、下一音轨、上一音轨等)，播客J的回放在图5H中开始。在图5K中，音量滑块5100被重叠在与电子邮件A对应的多个示能表示上。图5K还示出动态功能行104在与示能表示596对应的位置处接收并检测接触5102(例如，轻击接触)。
在其他实施方案中，音量滑块5100在来自与电子邮件A对应的多个示能表示的单独区域中被显示。这样，在音量滑块5100被激活时，与电子邮件A对应的多个示能表示(例如，示能表示582、584、586、588、590、592、594、596和598)以动画方式滚动或缩小，以确保有足够的显示空间来显示音量滑块5100。在一些实施方案中，响应于该长按手势在用户手指下方显示圆圈/拇指，以允许用户滑动该圆圈/拇指，而无需从示能表示移开接触。
图5L示出响应于在图5K中检测到对示能表示596的选择，动态功能行104显示一组示能表示5103、5104、5106、5108和5110，这些示能表示用于选择将要应用到电子邮件A的不同标志，这些不同标志任选地对应于预先存在的文件夹。在图5L中，动态功能行104还显示用于在动态功能行104上停止显示一组示能表示5103、5104、5106、5108和5110并在动态功能行104上显示与电子邮件A对应的多个示能表示的退出示能表示5112(例如，如图5J中所示)。图5L还示出主显示器102在与窗口580中的电子邮件撰写示能表示对应的位置处显示光标504。
图5M示出响应于在图5L中利用光标504检测到对电子邮件撰写示能表示的选择，主显示器102在窗口580内显示用于撰写新电子邮件的子窗口。在图5M中，用于撰写新电子邮件的子窗口在主显示器102上聚焦，如用较粗的线显示电子邮件撰写示能表示，并且如围绕用于撰写新电子邮件的子窗口的粗线所指示的。
图5M还示出响应于在图5L中利用光标504检测到对电子邮件撰写示能表示的选择，动态功能行104显示与撰写新电子邮件对应的一组示能表示。在图5M中，与撰写新电子邮件对应的该组示能表示包括：示能表示5114，当其被激活(例如，经由轻击接触)时使得便携式计算系统100或台式计算系统200发送新撰写的电子邮件；示能表示5116，其用于改变新电子邮件的所选择的文本的文本颜色；示能表示5118，其用于使得新电子邮件的所选择的文本加粗显示；示能表示5120，其用于使得新电子邮件的所选择的文本斜体显示；以及示能表示5122，其用于对新电子邮件的所选择的文本添加下划线。图5M还示出动态功能行104在与持久音量控件568对应的位置处接收并检测接触5124(例如，轻击接触)。
图5N示出主显示器102在窗口580内的用于撰写新电子邮件的子窗口中显示新电子邮件的正文中的文本，以及位于字符“pl.”后的当前插入位置的指示符。
图5N还示出响应于在图5M中检测到与持久音量控件568对应的位置处的轻击接触，动态功能行104显示用于指示播客J静音的持久音量控件568。在图5N中，即使当播客J静音(即，显示播客J仍在播放，但是静音)，持久音量控件568也显示对播客J的均衡器反馈，该播客J的回放在图5H中开始。在图5N中，动态功能行104显示用于基于窗口580内的子窗口中的插入点来将正按键入新电子邮件正文中的以“pl”开头的字词补充完整的预测字词5126、5128和5130。图5N还示出动态功能行104在与预测字词5126(即，“planet”)对应的位置处接收并检测接触5132(例如，轻击接触)。
图5O示出响应于在图5N中检测到对预测字词5126(即，“planet”)的选择，主显示器102在窗口580内的用于撰写新电子邮件的子窗口中的新电子邮件的正文中显示字词“planet”。图5O还示出主显示器102在与用于撰写新电子邮件的子窗口的“收件人：”字段对应的位置处显示光标504。
图5P示出响应于在图5O中利用光标504检测到对“收件人：”字段的选择，主显示器102显示与用户通讯录对应的菜单5134。在图5P中，菜单5134包括与用户通讯录(例如，预先存在的或自动填充的通讯录)的“所有联系人”组的对应多个联系人的列表。在图5P中，用户通讯录的“所有联系人”组在主显示器102上聚焦，如菜单5134中的围绕“所有联系人”组的粗线所示的。
图5P还示出响应于在图5O中利用光标504检测到对“收件人：”字段的选择，动态功能行104显示与用户通讯录的“所有联系人”组对应的第一多个联系人示能表示5136(例如，联系人示能表示5136-A至5136-F)和至少一个系统级示能表示(例如，示能表示542)。在图5P中，动态功能行104还显示退出示能表示5112，当其被激活(例如，经由轻击接触)时使得主显示器102停止在主显示器102上显示菜单5134，并且还使得动态功能行104停止显示第一多个联系人示能表示5136。图5P还示出随着接触5138从第一位置5140-A移动到第二位置5140-B(例如，用户从右至左滚动经过所有联系人)，动态功能行104检测从右至左的轻扫手势。
图5Q示出响应于在图5P中检测到从右至左的轻扫手势，动态功能行104显示与用户通讯录的“所有联系人”组对应的第二多个联系人示能表示5136(例如，联系人示能表示5136-E至5136-J)和至少一个系统级示能表示(例如，示能表示542)。图5Q还示出随着接触5142从第一位置5144-A移动到第二位置5144-B，动态功能行104检测向上轻扫手势。
图5R示出响应于在图5Q中检测到向上轻扫手势，主显示器102显示与用户通讯录的“家人”组对应的多个联系人的列表。在图5R中，用户通讯录的“家人”组在主显示器102上聚焦，如菜单5134中的围绕“家人”组的粗线所示的。
图5R还示出响应于在图5Q中检测到向上轻扫手势，动态功能行104显示与用户通讯录的“家人”组对应的多个联系人示能表示5146(例如，联系人示能表示5146-A至5146-F)和至少一个系统级示能表示(例如，示能表示542)。图5R还示出动态功能行104在与联系人示能表示5146-D对应的位置处接收并检测接触5148(例如，轻击接触)，该联系人示能表示与用户通讯录“家人”组内的名为“James H.”的联系人相关联。
图5S示出响应于在图5R中检测到对联系人示能表示5146-D的选择，主显示器102在窗口580内的用于撰写新邮件的子窗口的“收件人：”字段中显示“James H.”。图5S还示出响应于在图5R中检测到对联系人示能表示5146-D的选择，动态功能行104利用与撰写新电子邮件对应的示能表示组(例如，示能表示5114、5116、5118、5120和5122)来代替对与用户通讯录的“家人”组对应的多个联系人示能表示5146(例如，联系人示能表示5146-A至5146-F)的显示。图5S还示出动态功能行104在与至少一个系统级示能表示542对应的位置处接收并检测接触5150(例如，轻击接触)。
图5T示出响应于在图5S中检测到对示能表示542的选择，动态功能行104显示持久控件(即，示能表示516和534)、多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)以及与邮件应用程序对应的示能表示5152。图5T还示出动态功能行104在与播放/暂停示能表示530对应的位置处接收并检测接触5154(例如，轻击接触)。例如，响应于检测到选择播放/暂停示能表示530，便携式计算系统100或台式计算系统200暂停回放播客J，该播客在图5H中开始回放并且在图5M中静音。可通过随后在图5U中选择播放/暂停示能表示530来重新开始播客J的回放。
图5U示出主显示器102在与用于关闭窗口580的退出示能表示对应的位置处显示光标504。图5V示出响应于在图5U中利用光标504检测到对退出示能表示的选择，主显示器102显示模态警告框5156。在图5V中，模态警告5156在主显示器102上聚焦。在图5V中，在主显示器102上显示的模态警告5156提示用户在关闭窗口580之前先保存电子邮件草稿，并且包括“保存”示能表示、“不保存”示能表示和“取消”示能表示。图5V还示出主显示器102在与“取消”示能表示对应的位置处显示光标504。在动态功能行上显示模态警告不仅提高效率，还提供更好的用户体验，因为其不需要用户在键盘与屏幕之间移动视线，也不需要用户将手从键盘移动到另一个输入设备诸如鼠标。
图5V还示出响应于在图5U中利用光标504检测到对退出示能表示的选择，动态功能行104显示模态警告5156和至少一个系统级示能表示(例如，示能表示542)。在一些实施方案中，模态警告是由便携式计算系统100或台式计算系统200接收的与电子邮件、SMS等对应的通知、与应用程序相关联的警告(例如，作为保存对话框、退出确认对话框、或发送电子邮件确认对话框)等。在图5V中，在动态功能行104上显示的模态警告5156提示用户在关闭窗口580之前保存电子邮件草稿，并且包括“保存”示能表示5158、“不保存”示能表示5160和“取消”示能表示5162。示能表示5158、5160和5162仅仅是示例，并且其他示能表示也可用于控制或对模态警告作出响应。
图5W示出响应于在图5V中利用光标504检测到对“取消”示能表示的选择，主显示器102停止显示模态警告5156，并维持对用于撰写新电子邮件的子窗口的显示(如图5U中所示)。图5W还示出响应于在图5V中利用光标504检测到对“取消”示能表示的选择，动态功能行104停止显示模态警告5156，并显示持久控件(即，示能表示516和534)、多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)以及与电子邮件应用程序对应的示能表示5152(如图5U中所示)。
图5X示出响应于从便携式计算系统100的物理按键组106(图1A至图1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至图2D)接收到y8u特定物理按键组合(例如，“Alt+Tab”)对应的信号，主显示器102显示应用程序选择窗口5164。在图5X中，在主显示器102上显示的应用程序选择窗口5164包括：邮件应用程序图标506，当其被激活(例如，经由光标504进行选择)时使得主显示器102在前景中显示与邮件应用程序对应的窗口580；媒体播放器应用程序图标510，当其被激活(例如，经由光标504进行选择)时使得主显示器102在前景中显示与媒体播放器应用程序对应的窗口554；以及应用程序A图标512，当其被激活(例如，利用光标504进行选择)时使得主显示器102在前景中显示与应用程序A对应的窗口536。图5X还示出主显示器102在与照片应用程序图标515对应的位置处显示光标504。
图5X还示出响应于从便携式计算系统100的物理按键组106(图1A至图1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至图2D)接收到与特定物理按键组合(例如，“Alt+Tab”)对应的信号，动态功能行104显示应用程序选择窗口5164和至少一个系统级示能表示(例如，示能表示542)。在图5X中，在动态功能行104上显示的应用程序选择窗口5164包括：邮件应用程序图标506，当其被激活(例如，经由轻击接触)时使得主显示器102在前景中显示与邮件应用程序对应的窗口580；媒体播放器应用程序图标510，当其被激活(例如，经由轻击接触)时使得主显示器102在前景中显示与媒体播放器应用程序对应的窗口554；以及应用程序A图标512，当其被激活(例如，经由轻击接触)时使得主显示器102在前景中显示与应用程序A对应的窗口536。
图5Y示出响应于在图5X中利用光标504检测到对照片应用程序图标515的选择，主显示器102显示照片应用程序的窗口5166。例如，窗口5166被重叠在窗口580、554和536上。在图5Y中，窗口5166显示与用户照片库的所有照片子部分相关联的多张照片。在图5Y中，用户照片库的所有照片子部分在主显示器102上聚焦，如以粗体显示的“照片”和至少部分地显示于窗口5166中的照片A至L所示的。在图5Y中，状态托盘502指示照片应用程序正在前景中运行，并且应用程序托盘514还基于照片应用程序图标515背后的阴影来指示照片应用程序正在前景中运行。图5Y还示出主显示器102在与窗口5166内的照片B对应的位置处显示光标504。
图5Y还示出响应于在图5X中利用光标504检测到对照片应用程序图标515的选择，动态功能行104显示与用户照片库的所有照片子部分对应的多个示能表示(例如，示能表示5168、5170和5172)和至少一个系统级示能表示(例如，示能表示542)。在图5Y中，动态功能行104包括：用于搜索用户照片库的搜索示能表示5168；幻灯片放映示能表示5170，当其被激活(例如，经由轻击接触)时将在全屏模式下启动所选择的照片或用户照片库的所有照片子部分中的所有照片的幻灯片放映(例如，如图5AA中所示)；以及用于滚动从在窗口5166中显示的用户照片库的所有照片子部分显示的照片的滑块示能表示5172。
图5Z示出响应于在图5Y中利用光标504检测到对照片B的选择，主显示器102在窗口5166中显示所选择的照片B。在图5Z中，所选择的照片B在主显示器102上聚焦，如窗口5166中围绕照片B的粗线所示的。图5Z还示出主显示器102在与幻灯片放映示能表示对应的位置处显示光标504。
图5Z还示出响应于在图5Y中利用光标504检测到对照片B的选择，动态功能行104显示与所选择的照片B对应的一组示能表示。在图5Z中，与所选择的照片B对应的一组示能表示包括：用于搜索用户照片库的搜索示能表示5168；用于缩放所选择的照片B的缩放示能表示5174；用于标记所选择的照片B为喜爱的照片的喜爱示能表示5176；幻灯片放映示能表示5170，当其被激活(例如，经由轻击接触)时将在全屏模式下启动所选择的照片或用户照片库的所有照片子部分中的所有照片的幻灯片放映(例如，如图5AA中所示)；用于在动态功能行104和/或主显示器102上显示与所选择的照片B对应的信息的信息示能表示5178，该信息诸如大小、位置、时间/日期等；编辑示能表示5180，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于编辑所选择的照片B的工具(例如，如图5DD中所示)，和/或使得主显示器102显示用于编辑所选择的照片B的编辑界面；用于将所选择的照片B添加到相册的照片添加示能表示5182；用于通过一个或多个通信模式(例如，社交媒体网络、SMS、电子邮件等)来共享所选择的照片B的共享示能表示5184；以及用于从用户的照片库中删除所选择的照片B的删除示能表示5186。
图5AA示出响应于在图5Z中利用光标504检测到对幻灯片放映示能表示的选择，主显示器102在窗口5188中显示来自用户照片库的所有照片子部分的照片的幻灯片放映。在图5AA中，主显示器102以全屏模式显示具有照片B的窗口5188。
图5AA还示出响应于在图5Z中利用光标504检测到对幻灯片放映示能表示的选择，动态功能行104显示与用户照片库的所有照片子部分中的照片对应的多个缩略图(例如，缩略图5192-Y、5192-Z、5192-A、5192-B、5192-C、5192-D和5192-E)。在图5AA中，缩略图5192-B周围的粗线指示照片B当前在主显示器102上被显示。在图5AA中，动态功能行104还显示暂停示能表示5190，当其被激活(例如，经由轻击接触)时使得幻灯片放映暂停，并且还使得主显示器102退出全屏模式。图5AA还示出动态功能行104在与暂停示能表示5190对应的位置处接收并检测接触5194(例如，轻击接触)。
图5BB示出响应于在图5AA中检测到对暂停示能表示5190的选择，主显示器102在窗口5166内以放大视图显示照片B。在图5BB中，所选择的照片B的放大视图在主显示器102上聚焦，如窗口5166中围绕照片B的放大视图的粗线所示的。
图5BB还示出响应于在图5AA中检测到对暂停示能表示5190的选择，动态功能行104显示与照片B对应的一组示能表示。在图5BB中，与照片B对应的一组示能表示包括：缩放示能表示5174，当其被激活(例如，经由轻击接触)时使得动态功能行104和/或主显示器102显示缩放控件，这使得便携式计算系统100或台式计算系统200的用户能够放大或缩小照片B；全屏示能表示5194，当其被激活(例如，经由轻击接触)时使得主显示器102在全屏模式下显示照片B；幻灯片放映示能表示5170，当其被激活(例如，经由轻击接触)时将在全屏模式下启动所选择的照片或用户照片库的所有照片子部分中的所有照片的幻灯片放映；用于在动态功能行104和/或主显示器102上显示与所选择的照片B对应的信息的信息示能表示5178，该信息诸如大小、位置、时间/日期等；编辑示能表示5180，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于编辑所选择的照片B的工具，和/或使得主显示器102显示用于编辑所选择的照片B的编辑界面；用于将所选择的照片B添加到相册的照片添加示能表示5182；以及用于通过一个或多个通信模式(例如，社交媒体网络、SMS、电子邮件等)来共享所选择的照片B的共享示能表示5184。图5BB还示出动态功能行104在与全屏示能表示5196对应的位置处接收并检测接触5196(例如，轻击接触)。
图5CC示出响应于在图5BB中检测到对全屏示能表示5196的选择，主显示器102在窗口5200内以全屏模式显示照片B。图5CC还示出响应于在图5BB中检测到对全屏示能表示5196的选择，动态功能行104显示最小化示能表示5198。当被激活(例如，经由轻击接触)时，最小化示能表示5198使得主显示器102在窗口5166内显示放大视图的照片B(如图5BB中所示的)。图5CC还示出动态功能行104在与编辑示能表示5180对应的位置处接收并检测接触5201(例如，轻击接触)。
图5DD示出响应于在图5CC中检测到对编辑示能表示5180的选择，动态功能行104显示编辑工具组5205。
图5DD还示出响应于在图5CC中检测到对编辑示能表示5180的选择，动态功能行104以加粗/粗体轮廓来显示编辑示能表示5180，并且以增加的透明度显示图5CC中的所有其他示能表示(例如，缩放示能表示5174、最小化示能表示5198、信息示能表示5178、照片添加示能表示5182和共享示能表示5184)。
在图5DD中，该组编辑工具5205包括：旋转工具5202，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于在窗口5200内顺时针或逆时针旋转照片B的控件；增效工具5204，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于给照片B增效的控件，诸如向照片B应用滤镜、调节照片B的亮度、调节照片B的饱和度等等；红眼消除工具5206，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于减轻照片B中人的红眼的控件；摆正工具5208，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于摆正窗口5200内照片B的取向的控件；裁剪工具5210，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于裁剪窗口5200内的照片B的控件；以及润饰工具5212，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于润饰照片B的控件，诸如净化和喷枪效果。图5DD还示出动态功能行104在用户摆正工具5208对应的位置处接收并检测接触5214(例如，轻击接触)。
图5EE示出响应于在图5DD中检测到对摆正工具5208的选择，动态功能行104显示用于摆正窗口5200内的图片B的取向的控件组5209。在图5EE中，与摆正工具2208对应的该组控件5209包括用于调节窗口5200内的照片B的取向的滑块5210，以及完成示能表示5212，当其被激活(例如，经由轻击接触)时使得动态功能行104停止显示该组控件5209并显示编辑工具组5205(如图5DD中所示的)。图5EE还示出动态功能行104在与离开示能表示516对应的位置处接收并检测接触5216(例如，轻击接触)。
例如，便携式计算系统100或台式计算系统200的用户能够通过在始于滑块5210上或该一组控件5209内的位置处执行从左至右的轻扫/拖动手势或从右至左的轻扫/拖动手势来调节窗口5200内的照片B的取向。例如，响应于在动态功能行104上检测到向上轻扫手势，动态功能行104显示与裁剪工具5210对应的控件组。又如，响应于在动态功能行104上检测到向下轻扫手势，动态功能行104显示与红眼消除工具5206对应的控件组。
图5FF示出响应于在图5EE中检测到对离开示能表示516的选择，主显示器102在窗口5166内以放大视图显示照片B。图5FF示出响应于在图5EE中检测到对离开示能表示516的选择，动态功能行104显示与照片B对应的一组示能表示(如图5BB中所示)。在图5FF中，与照片B对应的一组示能表示包括：缩放示能表示5174，当其被激活(例如，经由轻击接触)时使得动态功能行104和/或主显示器102显示缩放控件，这使得便携式计算系统100或台式计算系统200的用户能够放大或缩小照片B；全屏示能表示5194，当其被激活(例如，经由轻击接触)时使得主显示器102在全屏模式下显示照片B；幻灯片放映示能表示5170，当其被激活(例如，经由轻击接触)时将在全屏模式下启动所选择的照片或用户照片库的所有照片子部分中的所有照片的幻灯片放映；用于在动态功能行104和/或主显示器102上显示与所选择的照片B对应的信息的信息示能表示5178，该信息诸如大小、位置、时间/日期等；编辑示能表示5180，当其被激活(例如，经由轻击接触)时使得动态功能行104显示用于编辑所选择的照片B的工具，和/或使得主显示器102显示用于编辑所选择的照片B的编辑界面；用于将所选择的照片B添加到相册的照片添加示能表示5182；以及用于通过一个或多个通信模式(例如，社交媒体网络、SMS、电子邮件等)来共享所选择的照片B的共享示能表示5184。
图5FF还示出响应于接收到由便携式计算系统100或台式计算系统200发出的通知5218，动态功能行104显示被重叠在示能表示5178、5180、5182和5184上的通知5218。在图5FF中，通知5218对应于由Suzie S发送到便携式计算系统100或台式计算系统200的用户的SMS、即时消息等，该通知的内容询问“今晚看电影吗？”图5FF还示出随着接触5220从通知5128内的第一位置5222-A移动到第二位置5222-B，动态功能行104检测从左至右的轻扫手势。
图5GG示出响应于图5FF中检测到从左至右的轻扫手势，动态功能行104停止显示通知5218。图5GG还示出主显示器102在与web浏览器应用程序图标508对应的位置处显示光标504。
图5HH示出响应于在图5GG中利用光标504检测到对web浏览器应用程序图标508的选择，主显示器102显示web浏览器应用程序的窗口5224。例如，窗口5224被重叠在窗口5166上。在图5HH中，窗口5224包括用于web浏览器应用程序的控件，其包括浏览控件(例如，上一网页、下一网页、刷新，以及添加到收藏夹)、地址栏、搜索栏、“显示所有书签”示能表示(例如，类似于一本打开的书)、“显示所有打开的标签”示能表示(例如，六个正方形组成的网格)，以及特定书签A、B、C的示能表示。在图5HH中，窗口5224显示web浏览器应用程序的主界面，包括链接到所收藏的或最常访问的网站A至H的多个示能表示5227。在图5HH中，应用程序A的窗口5224在主显示器102上聚焦。在图5HH中，状态托盘502指示web浏览器应用程序正在前景中运行，并且应用程序托盘514还基于web浏览器应用程序图标508背后的阴影来指示web浏览器应用程序正在前景中运行。
图5HH还示出响应于在图5GG中利用光标504检测到对web浏览器应用程序图标508的选择，动态功能行104除了显示持久控件(即，示能表示516和534)和多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)中文还显示示能表示5226。当示能表示5226被激活(例如，经由轻击接触)时使得动态功能行104显示用于web浏览器应用程序的控件组(例如，图5II中所示的示能表示5230、5232、5238和地址栏5234)。图5HH还示出动态功能行104在与示能表示5226对应的位置处接收并检测接触5228(例如，轻击接触)。
图5II示出响应于在图5HH中检测到对示能表示5226的选择，动态功能行104显示用于web浏览器应用程序的控件组。在图5II中，用于web浏览器应用程序的该组控件包括：用于显示在由web浏览器应用程序在窗口5224内当前显示的网页之前访问的网页的示能表示5230；用于显示在由web浏览器应用程序在窗口5224内当前显示的网页之后访问的网页的示能表示5232；用于将web浏览器应用程序当前显示的网页添加到收藏夹列表或书签文件夹中的示能表示5238；以及用于显示web浏览器应用程序当前显示的网页的URL的地址栏5234。在图5II中，地址栏5234还包括用于刷新由web浏览器应用程序当前显示的网页的刷新示能表示5236。图5II还示出主显示器102在与链接至网站A的示能表示5227-A对应的位置处显示光标504。
图5JJ示出在在图5II中利用光标504检测到对与网站A对应的示能表示5227-A的选择之后，主显示器102在窗口5224内显示标签A的界面。在图5JJ中，标签A的界面在主显示器102上聚焦，如围绕标签A的粗线和标签A的粗体文字所示。在图5JJ中，标签A的界面显示网站A的结账页面(例如，与URL：www.website_A.com/checkout相关联)。该结账页面对应于用户的虚拟购物车，该虚拟购物车包括要购买的商品A和商品B。图5JJ还示出主显示器102在窗口5224内对应于购买示能表示的位置处显示光标504。图5II还示出动态功能行104在地址栏5234中显示网站A的结账页面的URL(例如，www.website_A.com/checkout)。
图5KK示出响应于在图5JJ中利用光标504检测到对购买示能表示的选择，主显示器102显示被重叠在窗口5224上的模态警告5240。在图5KK中，在主显示器102上显示的模态警告5240提示便携式计算系统100或台式计算系统200的用户在动态功能行104上提供指纹，该模态警告还包括取消示能表示5242，当其被激活(例如，经由光标504进行选择)时将使得取消购买。例如，模态警告5240根据(例如，默认的或用户指定的)安全设置被显示，这需要指纹来验证由便携式计算系统100或台式计算系统200发起的购买。例如，在一些实施方案中，当输入密码以访问应用程序或网站时，当输入密码以解密由便携式计算系统100或台式计算系统200所存储的数据时，当从便携式计算系统100或台式计算系统200中删除文件夹和/或数据时，当作出其他破坏性操作等时，主显示器102和/或动态功能行104显示模态警告，从而提示便携式计算系统100或台式计算系统200的用户在登录计算系统100或台式计算系统200时在动态功能行104上提供指纹。
图5KK还示出响应于在图5JJ中利用光标504检测到对购买示能表示的选择，动态功能行104显示模态警告5240。在图5KK中，在动态功能行104上显示的模态警告5240提示便携式计算系统100或台式计算系统200的用户在动态功能行104上的指纹区域5244中提供其指纹，该模态警告还包括取消示能表示5242，当其被激活(例如，经由轻击接触)时将使得取消购买。在一些实施方案中，动态功能行104被配置为检测动态功能行104的指纹区域5244内的指纹，该指纹区域5244也对应于图5A至图5JJ中的电源控件534。在一些实施方案中，动态功能行104被配置为检测其触敏区域中的任何位置处的指纹。图5KK还示出动态功能行104在指纹区域5244内接收并检测接触5246(例如，按压并保持手势)。
图5LL示出在图5KK中检测到指纹区域5244内的接触5246之后，主显示器102在窗口5224内显示标签A的界面。在图5LL中，标签A的界面显示网站A的收款页面(例如，与URL：www.website_A.com/reciept相关联)，从而指示在图5KK中验证由便携式计算系统100或台式计算系统200的用户提供的指纹之后完成购买。
图5LL中还示出响应于通过便携式计算系统100或台式计算系统200接收来自C.Cheung的语音呼叫，动态功能行104显示与该语音呼叫相关联的界面5248以及至少一个系统级示能表示(例如，示能表示542)。在图5LL中，界面5248包括用于接听来电的第一示能表示5250、以及用于拒接来电的第二示能表示5252。图5LL还示出动态功能行104在与第一示能表示5250对应的位置处接收并检测接触5254(例如，轻击接触)。例如，在检测到选择第一示能表示5250之后，在C.Cheung与便携式计算系统100或台式计算系统200的用户之间建立该语音呼叫的通信连接(例如，VoIP)。
图5MM示出在图5LL中检测到对第一示能表示5250的选择之后，动态功能行104显示与在C.Cheung和便携式计算系统100或台式计算系统200的用户之间正在进行的语音呼叫相关联的界面5256、以及至少一个系统级示能表示(例如，示能表示542)。在图5MM中，界面5256包括用于结束语音呼叫的示能表示5258、以及总语音通话时间的指示符(例如，7分29秒)。在一些实施方案中，在正在进行的语音呼叫期间，在动态功能行104上不显示与主显示器102的焦点相关联的示能表示。在一些实施方案中，当语音呼叫已持续预定义的时长之后，界面5256将以紧凑模式被显示并且与主显示器102的焦点相关联的示能表示可在动态功能行104上被显示。图5MM还示出动态功能行104在与示能表示5258对应的位置处接收并检测接触5260。
图5NN示出主显示器102在窗口5224内显示标签B的界面，在窗口5224中，在web浏览器应用程序内标签A、B和C被打开。在图5NN中，标签B的界面显示网站B的主页(例如，与URL：www.website_B.com/home相关联)。在图5NN中，标签B的界面在主显示器102上聚焦，如围绕标签B的粗线和标签B的粗体文字所示的。
图5NN还示出在图5MM中检测到对示能表示5258的选择之后，动态功能行104停止显示界面5256。在图5NN中，动态功能行104在地址栏5234中包括网站B的主页的URL(例如，www.website_B.com/home)。在图5NN中，动态功能行104还包括：示能表示5262-A，当其被激活(例如，经由轻击接触)时使得主显示器102显示标签A的界面，并且还使得动态功能行104在地址栏5234中显示与标签B对应的URL；示能表示5262-B，当其被激活(例如，经由轻击接触)时使得主显示器102显示标签C的界面，并且还使得动态功能行104在地址栏5234中显示与标签C对应的URL。
图5OO示出响应于接收到由便携式计算系统100或台式计算系统200发出的通知5264，主显示器102显示被重叠在窗口5264上的通知5264。在图5OO中，通知5264对应于由MAS发送到便携式计算系统100或台式计算系统200的用户的SMS、即时消息等，该通知的内容询问“已降落了吗？”图5OO示出主显示器102显示便携式计算系统100或台式计算系统200的用户利用光标504将通知5264拖动至主显示器102的右下角中的预定义位置。例如，便携式计算系统100或台式计算系统200的用户能够响应于将相应的菜单、通知、模态警告等从其在主显示器102上的原始位置拖动至预定义位置(例如，右下角或其他类似位置)来使得在动态功能行104上显示相应的菜单、通知、模态警告等。在一些实施方案中，预定义位置是多个以相似方式操作的预定义位置中的一个预定义位置，该多个预定义位置是默认位置或特定于用户的位置。
图5PP示出响应于在图5OO中便携式计算系统100或台式计算系统200的用户利用光标504将通知5264拖动至主显示器102的右下角中的预定义位置，主显示器102停止显示被重叠在窗口5264上的通知5264。图5PP还示出响应于在图5OO中便携式计算系统100或台式计算系统200的用户利用光标504将通知5264拖动至主显示器102的右下角中的预定义位置，动态功能行104显示被重叠在示能表示5262-A和5262-B上的通知5264。图5PP还示出动态功能行104在通知5264内的位置处接收并检测接触5266(例如，轻击接触)。
图5QQ示出响应于在图5PP中检测到通知5264内的位置处的接触5266，动态功能行104显示响应对话框5268。另选地，在一些实施方案中，响应于在图5PP中检测到通知5264内的位置处的接触5266，与通知5264对应的应用程序打开。在图5QQ中，响应对话框5268包括对图5OO至图5PP中所示的通知5264的内容的多个预测响应。在图5QQ中，响应对话框5268包括第一预测响应5270(“是的。”)、第二预测响应5272(“没有。”)，和第三预测响应5274(“正在路上！”)。图5QQ还示出动态功能行104在与第一预测响应5270对应的位置处接收并检测接触5276(例如，轻击接触)。例如，响应于对第一预测响应5270的选择，便携式计算系统100或台式计算系统200使得第一预测响应5270(“是的。”)经由默认通信模式(例如，SMS、即时消息等)或与用于将通知5264发送到便携式计算系统100或台式计算系统200的用户的通信模式相同的通信模式被发送到MAS。
图5RR还示出主显示器102在与窗口5224内的“显示所有书签”示能表示(例如，类似于一本打开的书)对应的位置处显示光标504。图5SS示出响应于在图5RR中利用光标504检测到对“显示所有书签”示能表示的选择，主显示器102在窗口5224内显示书签侧边栏。在图5SS中，书签侧边栏在主显示器102上聚焦，如围绕该书签侧边栏的粗线所示的。图5SS还示出主显示器102显示便携式计算系统100或台式计算系统200的用户利用光标504将书签侧边栏拖动至主显示器102的右下角中的预定义位置。
图5TT示出响应于在图5SS中便携式计算系统100或台式计算系统200的用户利用光标504将书签侧边栏拖动至主显示器102的右下角中的预定义位置，动态功能行104显示与所有预先存在的书签对应的一组书签示能表示5278(例如，书签示能表示5278-A至5278-G)。例如，当该一组书签示能表示5278中的相应一个书签示能表示被激活(例如，经由轻击接触)时，主显示器102在窗口5224内的新标签中显示与该一组书签示能表示5278中的相应一个书签示能表示对应的网站。继续该示例，当该一组书签示能表示5278中的相应一个书签示能表示被激活(例如，经由轻击接触)时，动态功能行104停止显示该一组书签示能表示5278，并显示web浏览器应用程序的该一组控件，并且还在地址栏5234中显示与该一组书签示能表示5278中的相应一个书签示能表示对应的网站的URL(例如，如图5SS中所示)。在图5TT中，动态功能行104还显示退出示能表示5112，当其被激活(例如，经由轻击接触)时使得动态功能行104停止显示该一组书签示能表示5278，并显示web浏览器应用程序的该一组控件，如图5SS中所示的。图5TT还示出主显示器102在与关闭窗口5224的退出示能表示对应的位置处显示光标504。
图5UU示出响应于在图5TT中利用光标504检测到对退出示能表示的选择，动态功能行104显示被重叠在该组书签示能表示5278上的模态警告5280。在图5UU中，模态警告5280提示便携式计算系统100或台式计算系统200的用户确认他们打算关闭web浏览器应用程序内的所有打开的标签。在图5UU中，模态警告5280包括：退出示能表示5282，当其被激活(例如，经由轻击接触)时使得主显示器102停止显示窗口5224；以及取消示能表示5284，当其被激活(例如，经由轻击接触)时解除模态警告5280并使得主显示器102维持对窗口5224的显示。图5UU还示出动态功能行104在与退出示能表示5282对应的位置处接收并检测接触5286(例如，轻击接触)。
图5VV示出响应于在图5UU中检测到对退出示能表示5282的选择，主显示器102停止显示窗口5224并且显示照片应用程序的窗口5166。在图5VV中，状态托盘502指示系统/操作系统当前在主显示器102上聚焦。图5VV还示出主显示器102在与窗口5166对应的位置处显示光标504。图5VV还示出响应于在图5UU中检测到对退出示能表示5282的选择并基于主显示器102的当前焦点(例如，系统/操作系统)，动态功能行104显示持久控件(即，示能表示516和534)以及多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)。
在图5WW中，响应于在图5VV中利用光标504检测到对窗口5166的选择，主显示器102的焦点是照片应用程序。更具体地，用户照片库的所有照片子部分在主显示器102上聚焦，如以粗体显示的“照片”和至少部分地显示于窗口5166中的照片A至L所示的。在图5WW中，状态托盘502指示照片应用程序正在前景中运行，并且应用程序托盘514还基于照片应用程序图标515背后的阴影来指示照片应用程序正在前景中运行。图5WW还示出主显示器102在与状态托盘502内的文件菜单队对应的位置处显示光标504。图5WW还示出响应于在图5VV中利用光标504检测到对窗口5166的选择，动态功能行104显示与用户照片库的所有照片子部分对应的多个示能表示(例如，示能表示5168、5170和5172)和至少一个系统级示能表示(例如，示能表示542)。
图5XX还示出响应于在图5WW中利用光标504检测到对文件菜单的选择，主显示器102显示文件控件菜单5288。在图5XX中，文件控件菜单5288在主显示器102上聚焦。在图5XX中，文件控件的菜单5288包括新建相册控件、新件文件夹控件、新建日程表控件、导入控件、导出控件、关闭窗口控件、以及打印控件。
图5XX还示出响应于在图5WW中利用光标504检测到对文件菜单的选择，动态功能行104显示第一多个示能表示5290。在图5XX中，第一多个示能表示5290对应于在由主显示器102显示的文件控件菜单5288中所示的文件控件。例如，当示能表示5290-G(例如，对应于关闭窗口文件控件)被激活(例如，经由轻击接触)时，使得主显示器102停止显示窗口5166，并且还使得动态功能行104停止显示第一多个示能表示5290。图5XX还示出随着接触5292从第一位置5294-A移动到第二位置5294-B，动态功能行104接收并检测向上轻扫手势。
图5YY示出响应于在图5XX中检测到向上轻扫手势，主显示器102显示编辑控件菜单5296。例如，响应于在图5XX中检测到动态功能行上的向下轻扫手势，主显示器102显示帮助控件菜单。在图5YY中，编辑控件菜单5296在主显示器102上聚焦。在图5XX中，编辑控件菜单5296包括撤销控件、重做控件、剪切控件、复制控件、粘贴控件、全选控件、查找控件、字体控件、以及特殊字符控件。
图5YY还示出响应于在图5XX中检测到向上轻扫手势，动态功能行104显示第二多个示能表示5298。在图5YY中，第二多个示能表示5298对应于在由主显示器102显示的编辑控件菜单5296中所示的编辑控件。例如，便携式计算系统100或台式计算系统200的用户能够通过在动态功能行104上执行从左至右的轻扫手势来查看动态功能行104上的多个示能表示5298的剩余部分(例如，特殊字符示能表示5289-I)。
图5ZZ还示出响应于从便携式计算系统100的物理按键组106(图1A至图1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至图2D)接收到与用于覆盖由动态功能行104显示的当前示能表示的特定物理按键(例如，功能按键)或特定物理按键组合对应的信号，动态功能行104显示第一多个示能表示5301以及持久控件(例如，示能表示516和534)。在图5ZZ中，动态功能行104显示第一多个示能表示5301(例如，对应于F1至F12)、以及用于停止在动态功能行104上显示第一多个示能表示5301的退出示能表示5112。在图5ZZ中，动态功能行104还具有帮助指示第一多个示能表示5301是四组示能表示中的第一组示能表示的导航帮助5302。例如，便携式计算系统100或台式计算系统200的用户能够通过在动态功能行104上执行从左至右或从右至左的轻扫手势来在第一多个示能表示5301内显示附加示能表示(例如，对应于F13、......)。在一些实施方案中，第一多个示能表示5301包括由计算系统的用户设置的定制符号行或一组最常用的符号和/或特殊字符。
图5AAA还示出响应于从便携式计算系统100的物理按键组106(图1A至图1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至图2D)接收到与用于覆盖由动态功能行104显示的当前示能表示的特定物理按键(例如，功能按键)或特定物理按键组合对应的第二信号，动态功能行104显示第二多个示能表示5303以及持久控件(例如，示能表示516和534)。另选地，在一些实施方案中，响应于在图5ZZ中检测到动态功能行104上的向上轻扫手势，动态功能行104显示第二多个示能表示5303。在图5AAA中，动态功能行104显示第二多个示能表示5301(例如，对应于1、2、3、......)、以及用于停止在动态功能行104上显示第二多个示能表示5303的退出示能表示5112。在图5AAA中，导航帮助5302指示第二多个示能表示5302是四组示能表示中的第二组示能表示。例如，便携式计算系统100或台式计算系统200的用户能够通过在动态功能行104上执行从左至右或从右至左的轻扫手势来在第二多个示能表示5302内显示附加示能表示。
图5BBB还示出响应于从便携式计算系统100的物理按键组106(图1A至图1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至图2D)接收到与用于覆盖动态功能行104显示的当前示能表示的特定物理按键(例如，功能按键)或特定物理按键组合对应的第三信号，动态功能行104显示第三多个示能表示5304以及持久控件(例如，示能表示516和534)。另选地，在一些实施方案中，响应于在图5AAA中检测到动态功能行104上的向上轻扫手势，动态功能行104显示第三多个示能表示5304。在图5AAA中，动态功能行104显示第三多个示能表示5304(例如，对应于～、！、@、#、......)、以及用于停止在动态功能行104上显示第三多个示能表示5304的退出示能表示5112。在图5BBB中，导航帮助5302指示第三多个示能表示5302是四组示能表示中的第三组示能表示。例如，便携式计算系统100或台式计算系统200的用户能够通过在动态功能行104上执行从左至右或从右至左的轻扫手势来在第三多个示能表示5304内显示附加示能表示。
图5CCC还示出响应于从便携式计算系统100的物理按键组106(图1A至图1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至图2D)接收到与用于覆盖动态功能行104显示的当前示能表示的特定物理按键(例如，功能按键)或特定物理按键组合对应的第四信号，动态功能行104显示第四多个示能表示5305以及持久控件(例如，示能表示516和534)。另选地，在一些实施方案中，响应于在图5BBB中检测到动态功能行104上的向上轻扫手势，动态功能行104显示第四多个示能表示5305。在图5CCC中，动态功能行104显示第四多个示能表示5305(例如，对应于[,]、{,}、......)、以及用于停止在动态功能行104上显示第四多个示能表示5305的退出示能表示5112。在图5CCC中，导航帮助5302指示第四多个示能表示5305是四组示能表示中的第四组示能表示。例如，便携式计算系统100或台式计算系统200的用户能够通过在动态功能行104上执行从左至右或从右至左的轻扫手势来在第四多个示能表示5305内显示附加示能表示。图5CCC还示出动态功能行104在与电源控件534对应的位置处接收并检测接触5306(例如，轻击接触)。
图5DDD示出响应于在图5CCC中检测到对电源控件534的选择，动态功能行104显示模态警告5308。例如，模态警告5308被重叠在第四多个功能示能表示5305上。在图5DDD中，模态警告5308提示便携式计算系统100或台式计算系统200的用户选择多个选项中的一个选项，该多个选项包括：注销示能表示5310，当其被激活(例如，经由轻击接触)时使得便携式计算系统100或台式计算系统200的用户中的当前用户从便携式计算系统100或台式计算系统200(即，图2A至图2D中的计算设备202)注销；重新启动示能表示5312，当其被激活(例如，经由轻击接触)时使得便携式计算系统100或台式计算系统200(即，图2A至图2D中的计算设备202)重新启动；关机示能表示5314，当其被激活(例如，经由轻击接触)时使得便携式计算系统100或台式计算系统200(即，图2A至图2D中的计算设备202)关机；以及取消示能表示5316，当其被激活(例如，经由轻击接触)时使得动态功能行104停止显示模态警告5308。
图6A至图6D为根据一些实施方案的更新动态输入和输出设备(例如，包括图1A至图1B和图2A至图2D中的动态功能行104)的方法的流程图。方法600在包括处理器、主显示器、存储器和至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳的计算系统处执行。方法600中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
在一些实施方案中，计算系统为便携式计算系统100(图1A)或台式计算系统200(图2A至图2D)。在一些实施方案中，主显示器为在便携式计算系统100(图1A)的显示器部分110中实现的主显示器102(图1A)。另选地，在一些实施方案中，主显示器为在外围显示设备204(图2A至图2D)中实现的主显示器102(图2A至图2D)。在一些实施方案中，至少部分地包含触摸屏显示器(例如，图1A至图1B中的动态功能行104)和输入机构(例如，图1A至图1B中的物理按键组106)的外壳为便携式计算系统100的主体部分120(图1A至图1B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2A至图2B中的动态功能行104)和输入机构(例如，图2A至图2B中的物理按键组106)的外壳为台式计算系统200的外围键盘206(图2A至图2B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2C中的动态功能行104)和输入机构(例如，图2C中的触摸板108)的外壳为台式计算系统200的第一输入机构212(图2C)。
该计算系统在主显示器上显示(602)第一用户界面，该第一用户界面包括一个或多个用户界面元素。例如，图5B示出了显示具有用于指示应用程序A当前被聚焦的状态托盘502的第一用户界面、以及具有多个可执行/可选择的应用程序图标的应用程序(app)托盘514的主显示器102，该应用程序图标包括：邮件应用程序图标506、web浏览器应用程序图标508、媒体播放器应用程序图标510、应用程序A图标512、以及照片应用程序图标515。在图5B中，在主显示器102上显示的第一用户界面还包括应用程序A的窗口536(例如，奇幻RPG游戏)。例如，在图5B中，窗口536包括应用程序A的主菜单，其具有多个示能表示，包括“启动新游戏”示能表示、“继续”示能表示、以及“选项”示能表示。例如，图5F示出主显示器102显示第一用户界面，该第一用户界面具有媒体播放器应用程序的窗口554。
在一些实施方案中，该计算系统进一步包括(604)：(i)主计算设备，该主计算设备包括主显示器、处理器、存储器和主计算设备通信电路；以及(ii)输入设备，该输入设备包括外壳、触摸屏显示器、物理输入机构和用于与主计算设备通信电路进行通信的输入设备通信电路，其中输入设备与主计算设备不同且分开。在一些实施方案中，该计算系统不是膝上型电脑诸如便携式计算系统100(图1A至图1B)，而是具有计算系统202、外围显示设备204(其任选地与计算设备202集成)和输入设备(例如，图2A至图2B中的外围键盘206)的台式计算系统200(图2A至图2D)，其中输入设备具有与触摸屏显示器(例如，图2A至图2B中的动态功能行104)相邻的多个物理按键(例如，图2A至图2B中的物理按键组106)。另选地，在一些实施方案中，输入设备(例如，图2C中的第一输入机构212)包括与触摸屏显示器(例如，图2C中的动态功能行104)相邻的触摸板或小键盘(例如，图2C中的触摸板108)。在一些实施方案中，输入设备通过有线连接(例如，USB、PS/2等)或无线连接(例如，蓝牙、Wi-Fi等)来与主计算设备(例如，图2A至图2D中的计算设备202)进行通信。
在一些实施方案中，物理输入机构包括(606)多个物理按键。在图1A至图1B中，便携式计算系统100的主体部分120至少部分地包含与物理按键组106相邻的触摸屏显示器(例如，动态功能行104)。
在一些实施方案中，物理输入机构包括(608)触摸板。在图1A至图1B中，除了物理按键组106之外，便携式计算系统100的主体部分120还至少部分地包含触摸屏显示器(例如，动态功能行104)和触摸板108。
该计算系统识别(610)一个或多个用户界面元素间的在主显示器上聚焦的活动用户界面元素。在一些实施方案中，术语“聚焦”可指用户界面的活动元素(例如，与应用程序相关联的窗口、与应用程序相关联的特定工具栏或菜单、或操作系统)，该活动元素当前正处于前景中并运行流畅，或由从计算系统用户接收的输入进行控制，该输入诸如按下按键、点击鼠标、语音命令、手势动作等。
在一些实施方案中，该计算系统或其部件(例如，图3A中的焦点确定模块351)识别在主显示器上所显示的第一用户界面的聚焦的用户界面元素。在一些实施方案中，该聚焦的用户界面元素为与应用程序对应的窗口、与在该应用程序窗口之内或之外的应用程序对应的用户界面元素(例如，字段、子窗口、菜单、工具、工具栏、工具箱等)、或与桌面/操作系统相关的界面的一部分(例如，音量控件、文件浏览器界面的一部分、或控件/设置面板)。在一些实施方案中，活动用户界面元素在主显示器上被加亮，或在主显示器上的前景位置被显示以指示其被聚焦。在一些实施方案中，活动用户界面元素的显示特性被改变或被强调(例如，彩色文本、粗体文本、粗边框等)，以指示其被聚焦。另选地和/或除此之外，在一些实施方案中，提供视觉提示和/或听觉提示来指示聚焦的活动用户界面元素(例如，当焦点发生变化时响铃、在聚焦的活动用户界面上方显示跳跃的星星、或者聚焦的活动用户界面的显示特性不同于在主显示器上显示的第一用户界面的其余部分)。
例如，在图5B中，应用程序A的窗口536在主显示器102上聚焦。在图5B中，状态托盘502指示应用程序A正在前景中运行，并且应用程序托盘514还基于应用程序A图标512背后的阴影指示应用程序A正在前景中运行。例如，在图5F中，在窗口554内显示的用户媒体库的音乐子部分在主显示器102上聚焦，如以粗体显示的“音乐”和至少部分地显示于窗口554内的专辑A至L所示的。相比之下，例如，在图5G中，在窗口554内显示的用户媒体库的播客子部分在主显示器102上聚焦，如以粗体显示的“播客”和至少部分地显示于窗口554内的播客A至L所示的。例如，在图5M中，窗口580内的用于撰写新电子邮件的子窗口在主显示器102上聚焦，如围绕该子窗口的粗线所示的。例如，在图5R中，菜单5134内的用户通讯录的“家人”组标签在主显示器102上聚焦，如菜单5134的围绕“家人”组标签的粗线所示的。例如，在图5NN中，窗口5224内的标签B的界面在主显示器102上聚焦，如围绕标签B的粗线和标签B的粗体文字所示的。例如，在图5SS中，窗口5224内的书签侧边栏在主显示器102上聚焦，如围绕此书签侧边栏的粗线所示的。例如，在图5YY中，编辑控件菜单5296在主显示器102上聚焦。
该计算系统确定(612)在主显示器上聚焦的活动用户界面元素是否与该计算系统执行的应用程序相关联。在一些实施方案中，活动用户界面元素与应用程序或操作系统相关联。在一些实施方案中，该计算系统或其部件(例如，图3A中的DFR确定模块352)基于在主显示器102上聚焦的活动用户界面元素、以及活动用户界面元素是否与特定应用程序或操作系统相关联来确定要在动态功能行104上显示的一组示能表示。
在一些实施方案中，该应用程序在第一用户界面的前景中由处理器执行(614)。例如，该应用程序为以下各项中的一者：电子邮件应用程序、文字处理应用程序、呈现应用程序、照片编辑应用程序、音乐应用程序、游戏应用程序、电子表格应用程序等。例如，图5B至图5E示出由主显示器102显示的第一用户界面，其包括与由计算系统在前景中执行的应用程序A(例如，奇幻RPG游戏)对应的窗口536。例如，图5F至图5I示出由主显示器102显示的第一用户界面，其包括与由计算系统在前景中执行的媒体播放器应用程序对应的窗口554。例如，图5J至图5X示出由主显示器102显示的第一用户界面，其包括与由计算系统在前景中执行的邮件应用程序对应的窗口580。例如，图5Y至图5GG示出由主显示器102显示的第一用户界面，其包括与由计算系统在前景中执行的照片应用程序对应的窗口5166。例如，图5HH至图5UU示出由主显示器102显示的第一用户界面，其包括与由计算系统在前景中执行的web浏览器应用程序对应的窗口5224。
根据确定在主显示器上聚焦的活动用户界面元素与该计算系统执行的应用程序相关联，该计算系统在触摸屏显示器上显示(616)第二用户界面，该第二用户界面包括：(A)与应用程序对应的第一组一个或多个示能表示；和(B)与至少一个系统级功能对应的至少一个系统级示能表示。在一些实施方案中，第一组一个或多个示能表示包括用户可选符号/图标和/或指示符、以及可选或不可选的信息。在一些实施方案中，第一组一个或多个示能表示对应于应用程序的基本控件。在一些实施方案中，第一组一个或多个示能表示与至少一个系统级示能表示一起被显示。例如，在图5A至图5DDD中，该至少一个系统级示能表示包括持久示能表示516和534。又如，在图5C中，至少一个系统级示能表示包括示能表示542，当其被激活(例如，经由轻击接触)时使得显示多个系统级示能表示(例如，图5A中所示的示能表示518、520、522、524、526、528、530和532)。
例如，图5II示出响应于在图5HH中检测到对示能表示5226的选择，动态功能行104显示用于在主显示器102上聚焦的web浏览器应用程序的一组基本控件和指示符(例如，示能表示5230、5232、5238和地址栏5234)、以及至少一个系统级示能表示542。在一些实施方案中，第一组一个或多个示能表示对应于与聚焦的活动用户界面元素相关联的控件。因此，当主显示器上显示此类可选控件时，计算系统的用户能够从第一组一个或多个示能表示中选择用于向应用程序提供输入以及控制应用程序的功能的控件，而无需将其手从物理按键组移开至另一个输入设备(例如，鼠标)。例如用户手部在键盘与鼠标之间的模式切换以及用户眼睛在键盘与显示器之间的模式切换的减少提供更直观的用户体验和更有效的人机接口。例如，图5J示出响应于在图5I中利用光标504检测到对邮件应用程序图标506的选择，动态功能行104显示与在主显示器102上聚焦的邮件A对应的多个示能表示(例如，示能表示582、584、586、588、590、592、594、596和598)以及至少一个系统级示能表示542。
在一些实施方案中，计算系统的用户能够修改或定制被包括在第一组一个或多个示能表示中的示能表示。在一些实施方案中，在识别在主显示器102上聚焦的活动用户界面元素以及显示第一组一个或多个示能表示之前，动态功能行104显示由计算系统的用户设置或在软件中设置的默认界面。例如，该默认界面包括以下各项中的一者：多个功能按键(例如，F1、F2、F3、......、F12)、股市行情自动收录器、滚动的体育比分、滚动的天气预报和信息等。
在一些实施方案中，在显示第一组一个或多个示能表示第一预定时间段(例如，30秒、60秒、90秒等)之后，动态功能行104重新显示由计算系统的用户设置或在软件中设置的默认界面。在一些实施方案中，在显示第一组一个或多个示能表示第一预定时间段(例如，30秒、60秒、90秒等)之后，动态功能行104关闭，直到动态功能行104或与计算系统相关联的键盘或触摸板检测到接触。在一些实施方案中，在显示第一组一个或多个示能表示第一预定时间段(例如，30秒、60秒、90秒等)之后，动态功能行104关闭，直到连接至电源(例如，当动态功能行在由电池供电的外围键盘206(图2A至图2B)中被实现时)。在一些实施方案中，在显示第一组一个或多个示能表示之后并且在第二预定时间段(例如，30秒、60秒、90秒等)没有检测到与第一组一个或多个示能表示相关的用户输入时，动态功能行104重新显示由计算系统的用户设置或在软件中设置的默认界面。在一些实施方案中，当操作系统聚焦或活动用户界面元素与在前景中运行的应用程序不相关联时，动态功能行104重新显示由计算系统的用户设置或在软件中设置的默认界面。
在一些实施方案中，在显示第一组一个或多个示能表示第一预定时间段(例如，30秒、60秒、90秒等)之后并且当计算系统被设置为低功耗模式时，动态功能行104显示一组有限的示能表示，包括例如时间、剩余电池电量、Wi-Fi信号强度等。例如，该组有限的示能表示由计算系统的用户选择或在软件中设置，并且计算系统的用户能够通过系统设置面板来设置计算系统进入低功耗模式。
在一些实施方案中，在第二用户界面上显示的示能表示中的至少一个是能表示为(618)多功能示能表示。在一些实施方案中，多功能示能表示能够响应于在与该多功能示能表示对应的位置处检测到不同的输入来执行两种或更多种功能/操作。例如，在图5J中，动态功能行104在第二用户界面内显示的持久音量控件568为多功能示能表示。
在一些实施方案中，计算系统检测(620)用于选择多功能示能表示的用户触摸输入。根据确定该用户触摸输入对应于第一类型，计算系统执行与多功能示能表示相关联的第一功能。根据确定该用户触摸输入对应于与第一类型不同的第二类型，计算系统执行与多功能示能表示相关联的第二功能。例如，响应于在对应于该多功能示能表示的位置处检测到第一手势(例如，轻击接触)，执行第一功能/操作(例如，使媒体项静音)，以及响应于在对应于该多功能示能表示的位置处检测到第二手势(例如，长按手势)，执行第二功能/操作(例如，显示媒体项的音量滑块或回放控件)。例如，第一手势类型对应于被检测为短于预定时间段(例如，500毫秒、1秒等)的具有一个或多个接触的触摸输入(例如，轻击接触)，并且第二手势类型对应于被检测为长于或等于预定时间段(例如，500毫秒、1秒等)的具有一个或多个接触的触摸输入(例如，长按手势)。
例如，图5J示出动态功能行104在与持久音量控件568对应的位置处接收并检测接触599(例如，长按接触)。继续该示例，图5K示出响应于在图5J中检测到与持久音量控件568对应的位置处的长按手势，动态功能行104显示用于调节在图5H中开始的播客J的回放音量的音量滑块5100。另选地，在一些实施方案中，动态功能行104响应于在图5J中检测到与持久音量控件568对应的位置处的长按手势，显示用于控制播客J的回放的回放控件(例如，暂停、快进、倒退、下一音轨、上一音轨等)，播客J的回放在图5H中开始。例如，图5M示出动态功能行104在与持久音量控件568对应的位置处接收并检测接触5124(例如，轻击接触)。继续该示例，图5N示出响应于在图5M中检测到与持久音量控件568对应的位置处的轻击接触，动态功能行104显示用于指示播客J静音的持久音量控件568。
在一些实施方案中，至少一个系统级示能表示被配置(622)为在选择时使得在触摸屏显示器上显示与系统级功能对应的多个系统级示能表示。在一些实施方案中，至少一个系统级示能表示使得能够访问多个系统级控件/示能表示诸如音量控件和亮度控件、以及其他系统级功能。例如，在图5D中，动态功能行104显示与应用程序A对应的第二组示能表示和/或指示符(例如，控件组B)和至少一个系统级示能表示(例如，示能表示542)。在图5C中，动态功能行104也在与示能表示542对应的位置处检测到接触552(例如，轻击接触)。继续该示例，图5E示出响应于在图5D中检测到对示能表示542的选择，动态功能行104显示持久控件(即，示能表示516和534)、多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)、以及与应用程序A对应的示能表示538。
在一些实施方案中，至少一个系统级示能表示对应于(624)电源控件或离开控件中的一者。在一些实施方案中，无论主显示器102的焦点如何(例如，图5A至图5DDD中的离开示能表示516和电源控件534)，至少一个系统级示能表示均包括动态控件行104上显示的持久控件。当离开示能表示516被激活(例如，经由轻击接触)时，使得执行对应功能(例如，退出当前在主显示器102上聚焦的应用程序)。当被激活(例如，经由轻击接触)时，电源控件534使得在动态功能行104上显示用于使计算系统注销、重新启动或关机的模态警告(例如，图5DDD中的模态警告5308)。
在一些实施方案中，计算系统检测(626)用于选择第一组示能表示中的一个示能表示的用户触摸输入，并且响应于检测到该用户触摸输入，计算系统：显示与应用程序的功能对应的不同组示能表示；并维持对至少一个系统级示能表示的显示。在一些实施方案中，与应用程序对应的第一组一个或多个示能表示包括用于访问与该应用程序相关联的一组工具或功能的单个示能表示。例如，图5B示出响应于在图5A中利用光标504检测到对选择应用程序A图标512的选择，动态功能行104除了显示持久控件(即，示能表示516和534)和多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)之外还显示对应于在主显示器102上聚焦的应用程序A的示能表示538。继续该示例，图5C示出响应于在图5B中检测到对示能表示538的选择，动态功能行104显示与应用程序A对应的第一组示能表示和/或指示符(例如，控件组A)。
在一些实施方案中，计算系统检测(628)用于选择至少一个系统级示能表示的后续用户触摸输入，并且响应于检测到该后续用户触摸输入，计算系统显示与系统级功能对应的多个系统级示能表示、以及与该应用程序对应的至少一个应用程序级示能表示。例如，在图5D中，动态功能行104显示在主显示器102上聚焦的应用程序A对应的第二组示能表示和/或指示符(例如，控件组B)、以及至少一个系统级示能表示(例如，示能表示542)。继续该示例，响应于在图5D中检测到对示能表示542的选择，图5E示出动态功能行104显示持久控件(即，示能表示516和534)、多个系统级示能表示(即，示能表示518、520、522、524、526、528、530和532)、以及与应用程序A对应的示能表示538。
在一些实施方案中，在触摸屏显示器上显示第二用户界面之后，计算系统识别(630)一个或多个用户界面元素间的在主显示器上聚焦的第二活动用户界面元素，并确定第二活动用户界面元素是否对应于由计算设备执行的不同应用程序。根据确定第二活动用户界面元素对应于不同应用程序，计算系统在触摸屏显示器上显示第四用户界面，该第四用户界面包括：(D)与不同应用程序对应的第三组一个或多个示能表示；和(E)与至少一个系统级功能对应的至少一个系统级示能表示。例如，图5F示出动态功能行104显示与在主显示器102上聚焦的用户媒体库的子部分对应的多个专辑示能表示558(例如，专辑示能表示558-A至558-G)、以及至少一个系统级示能表示(例如，示能表示542)。图5F还示出主显示器102在与用户媒体库的播客子部分对应的位置处显示光标504。继续该示例，响应于在图5F中利用光标504检测到对选择播客子部分的选择，图5G示出动态功能行104显示与在主显示器102上聚焦的用户媒体库的播客子部分对应的第一多个播客示能表示560(例如，播客示能表示560-A至560-G)、以及至少一个系统级示能表示(例如，示能表示542)。
在一些实施方案中，计算系统提供用于指示聚焦的不同用户界面元素的听觉提示。在一些实施方案中，主显示器102显示用于指示聚焦的不同用户界面元素的视觉提示。例如，相对于图5G，主显示器102在窗口554内的左侧列中的“播客”文本上方显示星状指示符(未示出)，使得窗口554内的左侧列中的“播客”文本加粗，以不同的颜色或相同的颜色使窗口554内的左侧列中的“播客”文本闪烁，或以其他方式指示该播客子部分现在在主显示器102上聚焦。在一些实施方案中，动态功能行104显示过渡动画，由此多个专辑示能表示558(如图5F中所示)被翻转或滑出，以便显示第一多个播客示能表示560(如图5G中所示)。
在一些实施方案中，在识别第二活动用户界面元素之后，计算系统确定(632)该计算系统是否正在播放媒体项(例如，音频或视频)，其中该媒体项不与不同应用程序相关联，并且根据确定该媒体项正由计算系统播放，计算系统在触摸屏显示器上显示用于控制该媒体项的至少一个持久示能表示(例如，音量控件和/或回放控件)。在一些实施方案中，至少一个示能表示为使得计算系统的用户能够使来自触摸屏显示器媒体项静音和/或取消静音的持久控件，即使焦点改变或媒体被静音和/或在后台播放时也如此。例如，图5I示出响应于在图5H中检测到对发起播客J的回放的播客示能表示560-J的选择，动态功能行104显示持久音量控件568。例如，图5L示出即使当应用程序的电子邮件A在主显示器102上聚焦，动态功能行104也显示持久音量控件568。
在一些实施方案中，该至少一个持久示能表示显示(634)与媒体项对应的反馈(例如，均衡器(EQ)条、运行时指示符等)。例如，图5I示出动态功能行104显示与播客J的回放对应的具有均衡器条的持久音量控件568。类似地，例如，图5N示出即使在播客J的回放被静音时，动态功能行104仍显示具有均衡器条的持久音量控件568。在一些实施方案中，动态功能行104包括基于正被播放的媒体项或某些其他实时信息来持续更新的示能表示，诸如天气指示符、麦克风捕获指示符或Wi-Fi信号强度指示符。
在一些实施方案中，计算设备检测(636)与覆盖按键对应的用户输入，并且响应于检测到该用户输入，计算系统：停止在触摸屏显示器上显示第二用户界面的至少第一组一个或多个示能表示；并且显示第一组默认功能按键。在一些实施方案中，响应于从输入机构(例如，特定物理按键诸如功能按键的致动)或从动态功能行(例如，虚拟按键诸如“离开”示能表示516的选择)接收到信号来检测与覆盖按键对应的用户输入。例如，用户致动“fn”按键以忽略由动态功能行104所显示的当前示能表示并且显示默认的F1、F2、F3、...、F12行。例如，图5ZZ示出响应于从便携式计算系统100的物理按键组106(图1A至1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至2D)接收到与用于覆盖动态功能行104的特定物理按键(例如，功能按键)对应的信号，动态功能行104显示具有示能表示5301(例如，对应于F1、F2、F3、...、F12)、以及持久控件(例如，示能表示516和534)的界面5300。
在一些实施方案中，响应于检测到与覆盖按键对应的用户输入，动态功能行104显示由计算系统的用户设置或在软件中设置的默认界面。例如，该默认界面包括以下各项中的一者：多个功能按键(例如，F1、F2、F3、......、F12)、股市行情自动收录器、滚动的体育比分、滚动的天气预报等。
在一些实施方案中，在显示第一组默认功能按键之后，计算系统检测(638)基本上平行于触摸屏显示器的主要尺寸的方向上的手势，并且响应于检测到该轻扫手势，显示具有至少一个不同功能按键(例如，先前未显示的功能按键)的第二组默认功能按键。例如，对于图5ZZ，计算系统的用户能够通过在动态功能行104上执行基本上水平的轻扫手势(例如，从右到左或从左到右的轻扫手势中的一个轻扫手势)来在动态功能行104上的界面5300内显示附加功能按键(例如，F13、F14、F15、...)。
在一些实施方案中，根据确定活动用户界面元素不与由计算系统所执行的应用程序相关联，计算系统在触摸屏显示器上显示(640)第三用户界面，该第三用户界面包括：(C)与计算系统的操作系统控件对应的第二组一个或多个示能表示，其中该第二组一个或多个示能表示不同于第一组一个或多个示能表示。例如，在图5A中，系统/操作系统当前在主显示器102上聚焦。例如，在主显示器上聚焦的活动用户界面元素与操作系统相关联，诸如音量控件、系统控件(例如，亮度或音量控件)、系统设置、开始菜单、文件浏览器、系统搜索等等。图5A示出动态功能行104显示多个系统级示能表示(例如，示能表示518、520、522、524、526、528、530和532)以及持久示能表示(例如，示能表示516和534)。
在一些实施方案中，第二组一个或多个示能表示为(642)一组扩展的操作系统控件，其包括(B)与至少一个系统级功能对应的至少一个系统级示能表示。例如，图5T示出响应于在图5S中检测到对示能表示542的选择，动态功能行104显示多个系统级示能表示(例如，一组扩展的操作系统控件，其包括示能表示518、520、522、524、526、528、530和532)、以及持久示能表示(例如，示能表示516和534)。
应当理解，对图6A至图6D中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参考本文所述的其他方法(例如，方法700、800、900和1000)所述的其他过程的细节同样以类似的方式适用于以上参考图6A至图6D所述的方法600。
图7A至7C为根据一些实施方案的更新动态输入和输出设备(例如，包括图1A至1B和图2A至2D中的动态功能行104)的方法的流程图。方法700在包括处理器、主显示器、存储器和至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳的计算系统处执行。方法700中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
在一些实施方案中，计算系统为便携式计算系统100(图1A)或台式计算系统200(图2A至图2D)。在一些实施方案中，主显示器为在便携式计算系统100(图1A)的显示器部分110中实现的主显示器102(图1A)。另选地，在一些实施方案中，主显示器为在外围显示设备204(图2A至图2D)中实现的主显示器102(图2A至图2D)。在一些实施方案中，至少部分地包含触摸屏显示器(例如，图1A至图1B中的动态功能行104)和输入机构(例如，图1A至图1B中的物理按键组106)的外壳为便携式计算系统100的主体部分120(图1A至图1B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2A至图2B中的动态功能行104)和输入机构(例如，图2A至图2B中的物理按键组106)的外壳为台式计算系统200的外围键盘206(图2A至图2B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2C中的动态功能行104)和输入机构(例如，图2C中的触摸板108)的外壳为台式计算系统200的第一输入机构212(图2C)。
计算系统在主显示器上显示(702)用于由计算系统所执行的应用程序的第一用户界面。例如，图5P示出主显示器102显示具有与用户通讯录对应的菜单5134的第一用户界面。在图5P中，菜单5134包括与用户通讯录的“所有联系人”组对应的多个联系人的列表(例如，预先存在或自动填充的联系人的列表)，该“所有联系人”组在主显示器102上聚焦，如菜单5134中围绕“所有联系人”组的粗线所示的。例如，图5XX示出主显示器102显示具有被重叠在窗口5166上的文件控件菜单5288的第一用户界面，其中文件控件菜单5288在主显示器102上聚焦。
计算系统在触摸屏显示器上显示(704)第二用户界面，该第二用户界面包括与应用程序对应的第一组一个或多个示能表示，其中该第一组一个或多个示能表示对应于应用程序的第一部分。在一些实施方案中，第一组一个或多个示能表示与应用程序的顶部菜单或文件菜单(即，第一部分或子部分)相关联。例如，图5P示出动态功能行104显示具有与在主显示器102上聚焦的用户通讯录的“所有联系人”组对应的第一多个联系人示能表示5136-A至5136-F(即，第一组示能表示)的第二用户界面。例如，图5XX示出动态功能行104显示具有与在主显示器102上聚焦的文件控件菜单5288对应的第一多个示能表示5290(即，第一组示能表示)的第二用户界面。
计算系统在触摸屏显示器上检测(706)轻扫手势。在第一示例中，图5P示出动态功能行104检测到从第一位置5140-A移动到第二位置5140-B的具有接触5138的从右到左轻扫手势。在另一个示例中，图5XX示出动态功能行104检测到从第一位置5294-A移动到第二位置5294-B的具有接触5292的向上轻扫手势。
根据确定轻扫手势在第一方向(例如，水平)上执行，计算系统在触摸屏显示器上显示(708)与应用程序对应的第二组一个或多个示能表示，其中该第二组一个或多个示能表示中的至少一个示能表示不同于第一组一个或多个示能表示，并且其中该第二组一个或多个示能表示也对应于应用程序的第一部分。在一些实施方案中，响应于检测到第一方向上的轻扫手势，动态功能行显示与应用程序的第一部分对应的不同的第二组示能表示(例如，工具箱或菜单)，该第二组示能表示具有至少一个不同示能表示(例如，工具或项目)，如与也与应用程序的第一部分对应的第一组示能表示相比。例如，响应于在图5P中检测到从右到左轻扫手势，图5Q示出动态功能行104显示与用户通讯录的“所有联系人”组对应的第二多个联系人示能表示5136-E至5136-J(即，第二组示能表示)。
在一些实施方案中，第一方向(710)基本上平行于触摸屏显示器的主要尺寸。例如，参考便携式计算系统100(图1A至1B)，第一方向相对于动态功能行104的主要尺寸和/或物理按键组106为基本上垂直的(例如，竖直的)。
在一些实施方案中，第一方向(712)基本上垂直于触摸屏显示器的主要尺寸。例如，参考便携式计算系统100(图1A至1B)，第一方向相对于动态功能行104的主要尺寸和/或物理按键组106为基本上平行的(例如，水平的)。
根据确定轻扫手势在基本上垂直于第一方向的第二方向(例如，竖直)上执行，计算系统在触摸屏显示器上显示(714)与应用程序对应的第三组一个或多个示能表示，其中该第三组一个或多个示能表示不同于第二组一个或多个示能表示，并且其中第三组一个或多个示能表示对应于与应用程序的第一部分不同的应用程序的第二部分。在一些实施方案中，响应于检测到第二方向上的轻扫手势，动态功能行显示与应用程序的第二部分对应的不同的第三组示能表示(例如，不同的工具箱或菜单)，如与和第一组示能表示相关联的应用程序的第一部分相比。例如，响应于在图5XX中检测到向上轻扫手势，图5YY示出动态功能行104显示与在主显示器102上聚焦的编辑控件菜单5296对应的第二多个示能表示5298(例如，第三组示能表示)。在一些实施方案中，动态功能行104显示过渡动画，由此第一多个示能表示5290(如图5XX中所示)被翻转或滑出，以便显示第二多个播客示能表示598(如图5YY中所示)。
照此，在一个实施方案中，在动态功能行104上检测到的水平轻扫在群组或类别内移动或拖动，并且竖直轻扫改变类别/过滤器。因而，计算系统的用户能够容易地移动导航工具和菜单，而无需将其手从键盘移开至鼠标。这还实现了更有效的信息显示并且实现了更较有效的人机交互。
在一些实施方案中，在检测到轻扫手势之前，在主显示器上的第一用户界面内以紧凑视图显示(716)第二部分，并且根据确定轻扫手势在基本上垂直于第一方向的第二方向上执行，系统在主显示器上的第一用户界面内以放大视图显示第二部分。例如，在图5XX中，由主显示器102以展开模式显示用于照片应用程序的状态托盘502的第一部分(例如，文件控件菜单5288)，并且由主显示器102以紧凑模式显示用于照片应用程序的状态托盘502的第二部分(例如，编辑控件菜单5296)。继续该示例，响应于在图5XX中检测到在第二方向上执行的轻扫手势(例如，具有接触5292的向上轻扫手势)，在图5YY中由主显示器102以展开模式显示用于照片应用程序的状态托盘502的第二部分，并且由主显示器102以紧凑模式显示用于照片应用程序的状态托盘502的第一部分。
在另一个示例中，在图5Q中，由主显示器102以展开模式显示邮件应用程序的菜单5134的第一部分(例如，菜单5134内的用户通讯录的“所有联系人”组)，并且由主显示器102以紧凑模式显示邮件应用程序的菜单5134的第二部分(例如，菜单5134内的用户通讯录的“家人”组)。继续该示例，响应于在图5Q中检测到在第二方向上执行的轻扫手势(例如，具有接触5142的向上轻扫手势)，在图5R中由主显示器102以展开模式显示邮件应用程序的菜单5134的第二部分，并且由主显示器102以紧凑模式显示邮件应用程序的菜单5134的第一部分。
在一些实施方案中，第一部分是(718)是应用程序的菜单、标签、文件夹、工具箱或工具栏中的一者，并且第二部分是应用程序的菜单、标签、文件夹、工具箱或工具栏中的一者。例如，在图5P至5R中，邮件应用程序的菜单5134的第一部分对应于菜单5134内的用户通讯录的“所有联系人”组，并且邮件应用程序的菜单5134的第二部分对应于菜单5134内的用户通讯录的“家人”组。例如，在图5XX至5YY中，用于照片应用程序的状态托盘502的第一部分对应于文件控件菜单5288，并且用于照片应用程序的状态托盘502的第二部分对应于编辑控件菜单5296。
在一些实施方案中，在触摸屏显示器上显示第三组一个或多个示能表示之后，计算系统(720)：在第一用户界面上检测用于选择第一部分的用户输入；并且响应于检测到该用户输入：停止在触摸屏显示器上显示第三组一个或多个示能表示，其中第三组一个或多个示能表示对应于应用程序的第二部分；并且显示第二组一个或多个示能表示，其中该第二组一个或多个示能表示对应于应用程序的第一部分。例如，对于图5YY，在动态功能行104上显示与在主显示器102上聚焦的编辑控件菜单5296对应的第二多个示能表示5298(即，第三组示能表示)之后，主显示器102在与状态托盘502内的文件菜单(未示出)对应的位置处显示光标504。继续该示例，响应于利用光标504检测到对状态托盘502内的文件菜单的选择，动态功能行104停止显示第二多个示能表示5298(即，第三组示能表示)，并且相反显示文件控件菜单5288(即，第二组示能表示)。
在一些实施方案中，第二组一个或多个示能表示和第三组一个或多个示能表示包括(722)与至少一个系统级功能对应的至少一个系统级示能表示。例如，在图5Q中，动态功能行104显示与用户通讯录的“所有联系人”组对应的第二多个联系人示能表示5136-E至5136-J(即，第二组示能表示)、以及至少一个系统级示能表示(例如，示能表示542)。例如，在图5YY中，动态功能行104显示与在主显示器102上聚焦的编辑控件菜单5296对应的第二多个示能表示5298(即，第三组示能表示)、以及至少一个系统级示能表示(例如，示能表示542)。
在一些实施方案中，在主显示器上以全屏模式显示(724)用于由计算系统执行的应用程序的第一用户界面，并且在触摸屏显示器上显示的第一组一个或多个示能表示包括与全屏模式对应的控件。例如，图5EE示出主显示器102在窗口5200内以全屏模式显示照片B，并且还示出动态功能行104显示用于摆正窗口5200内的照片B的取向的控件组5209。例如，响应于检测到第二方向(例如，相对于动态功能行104的主要尺寸为竖直的)上的轻扫手势，动态功能行104显示与裁剪工具5210对应的控件组(例如，如果轻扫手势是向上轻扫手势)或与红眼消除工具5206对应的控件组(例如，如果轻扫手势是向下轻扫手势)。继续该示例，响应于检测到第一方向(例如，相对于动态功能行104的主要尺寸为水平的)上的轻扫手势，动态功能行104调节窗口5200内的照片B的取向。
在另一个示例中，对于图5EE，响应于检测到第二方向(例如，相对于动态功能行104的主要尺寸为竖直的)上的轻扫手势，动态功能行104显示与信息示能表示5178相关联的控件组(例如，如果轻扫手势是向上轻扫手势)或与照片添加示能表示5182相关联的控件组(例如，如果轻扫手势是向下轻扫手势)。继续该示例，响应于检测到第一方向(例如，相对于动态功能行104的主要尺寸为水平的)上的轻扫手势，动态功能行104显示与裁剪工具5210对应的控件组(例如，如果轻扫手势是从右到左轻扫手势)或与红眼消除工具5206对应的控件组(例如，如果轻扫手势是从左到右轻扫手势)。
应当理解，对图7A至图7C中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参考本文所述的其他方法(例如，方法600、800、900和1000)所述的其他过程的细节同样以类似的方式适用于以上参考图7A至7C所述的方法700。
图8A至图8B为根据一些实施方案的在全屏模式下维持应用程序的功能的方法的流程图。方法800在包括处理器、主显示器、存储器和至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳的计算系统处执行。方法800中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
在一些实施方案中，计算系统为便携式计算系统100(图1A)或台式计算系统200(图2A至图2D)。在一些实施方案中，主显示器为在便携式计算系统100(图1A)的显示器部分110中实现的主显示器102(图1A)。另选地，在一些实施方案中，主显示器为在外围显示设备204(图2A至图2D)中实现的主显示器102(图2A至图2D)。在一些实施方案中，至少部分地包含触摸屏显示器(例如，图1A至图1B中的动态功能行104)和输入机构(例如，图1A至图1B中的物理按键组106)的外壳为便携式计算系统100的主体部分120(图1A至图1B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2A至图2B中的动态功能行104)和输入机构(例如，图2A至图2B中的物理按键组106)的外壳为台式计算系统200的外围键盘206(图2A至图2B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2C中的动态功能行104)和输入机构(例如，图2C中的触摸板108)的外壳为台式计算系统200的第一输入机构212(图2C)。
计算系统在主显示器上以正常模式显示(802)用于由计算系统执行的应用程序的第一用户界面，该第一用户界面包括与该应用程序相关联的至少第一组一个或多个示能表示。例如，图5Z示出主显示器102以正常显示模式显示具有用于照片应用程序的窗口5166的第一用户界面。在图5Z中，窗口5166内的所选择的照片B在主显示器102上聚焦，并且窗口5166包括用于对所选择的照片B执行功能/操作的可选示能表示(即，第一组示能表示)：搜索、缩放、幻灯片放映、共享和设置。
计算系统检测(804)用于在主显示器上以全屏模式显示用于应用程序的第一用户界面的至少一部分的用户输入。例如，所检测到的用户输入对应于对在主显示器102或动态功能行104上所显示的全屏视图示能表示或幻灯片放映示能表示的选择。
在一些实施方案中，用于在主显示器上以全屏模式显示用于应用程序的第一用户界面的至少一部分的用户输入为(806)在触摸屏显示器上检测到的触摸输入和在主显示器上的第一用户界面内选择的控件中的至少一者。在第一示例中，图5Z示出主显示器102在与幻灯片放映示能表示对应的位置处显示光标504。在第二示例中，图5BB示出动态功能行104在与全屏示能表示5196对应的位置处接收并检测接触5196(例如，轻击接触)。
响应于检测到该用户输入，计算系统(808)：停止在主显示器上的第一用户界面中显示与应用程序相关联的第一组一个或多个示能表示；在主显示器上以全屏模式显示用于应用程序的第一用户界面的一部分；并且在无需人为干预的情况下，在触摸屏显示器上自动显示用于控制该应用程序的第二组一个或多个示能表示，其中第二组一个或多个示能表示对应于第一组一个或多个示能表示。继续以上第一示例，图5AA示出响应于在图5Z中利用光标504检测到对幻灯片放映示能表示的选择，主显示器102在窗口5188中显示来自用户照片库的所有照片子部分的照片的幻灯片放映。图5AA还示出响应于在图5Z中利用光标504检测到对幻灯片放映示能表示的选择，动态功能行104显示缩略图5192-Y、5192-Z、5192-A、5192-B、5192-C、5192-D和5192-E(即，第二组示能表示)。缩略图5192-Y、5192-Z、5192-A、5192-B、5192-C、5192-D和5192-E对应于用于幻灯片放映的与用户照片库的所有照片子部分相关联的照片序列。在图5AA中，动态功能行104突出显示与照片B对应的示能表示5192-B(例如，使用粗体文本和加粗边框)，以指示照片B当前在主显示器102上聚焦。
继续以上第二示例，图5CC示出响应于在图5BB中检测到对全屏示能表示5196的选择，主显示器102在窗口5200内以全屏模式显示照片B。图5DD还示出响应于在图5CC中检测到对编辑示能表示5180的选择，动态功能行104显示编辑工具组5205(即，第二组示能表示)。
在另一个示例中，当web浏览器应用程序或与web浏览器应用程序对应的用户界面的一部分在主显示器102上聚焦，并且计算系统检测到用于进入全屏模式的用户输入时，主显示器102以全屏模式显示当前活动标签，并且动态功能行104显示与在web浏览器应用程序内打开的标签对应的缩略图、以及至少一个系统级示能表示。例如，计算系统的用户能够通过在动态功能行104上选择与相应标签对应的缩略图来在主显示器102上以全屏模式显示相应标签。
在一些实施方案中，第二组一个或多个示能表示为(810)第一组一个或多个示能表示。例如，第二组示能表示包括与应用程序相关联的第一组示能表示的至少一部分。又如，第二组示能表示包括与应用程序相关联的第一组示能表示。又如，第二组示能表示与和应用程序相关联的第一组示能表示相同。例如，第二组示能表示包括与计算系统所执行的应用程序相关联的控件，诸如照片编辑控件、游戏控件、幻灯片放映控件和预览、web浏览器的当前打开的网页标签等。
在一些实施方案中，第二组一个或多个示能表示包括(812)与全屏模式对应的控件。例如，图5AA示出动态功能行104显示缩略图5192-Y、5192-Z、5192-A、5192-B、5192-C、5192-D和5192-E(即，第二组示能表示)，这些缩略图对应于用于幻灯片放映的与用户照片库的所有照片子部分相关联的照片序列。例如，计算系统的用户能够通过选择示能表示5192中的一个示能表示来向前跳转到特定照片或向后跳转到特定照片。此外，例如，计算系统的用户能够通过在动态功能行104上执行从右到左轻扫手势来在照片序列中向前浏览或通过在动态功能行104上执行从左到右轻扫手势来在照片序列中向后浏览。另外，在图5AA中，动态功能行104显示暂停示能表示5190，当其被激活(例如，经由轻击接触)时使得幻灯片放映暂停，并且还使得主显示器102退出全屏模式。
在一些实施方案中，第二组一个或多个示能表示包括(814)与至少一个系统级功能对应的至少一个系统级示能表示。例如，图5AA示出动态功能行104显示缩略图5192和暂停示能表示5190、以及至少一个系统级示能表示(例如，示能表示542)和持久控件(例如，示能表示516和534)。
在一些实施方案中，计算系统检测(816)用于选择在触摸屏显示器上显示的第二组示能表示中的一个示能表示的用户触摸输入，并且响应于检测到该用户触摸输入，计算系统根据第二组示能表示中的所选择的一个示能表示来改变以全屏模式在主显示器上显示的用于应用程序的第一用户界面的一部分。例如，在图5EE中，计算系统的用户能够通过在滑块5210上或在该一组控件5209内起始的位置处执行从左到右轻扫/拖动手势或从右到左轻扫/拖动手势来调节由主显示器102显示的窗口5200内的照片B的取向。
在一些实施方案中，在主显示器上以全屏模式显示用于应用程序的第一用户界面的一部分之后，计算系统(818)：检测用于退出全屏模式的后续用户输入；并且响应于检测到该后续用户输入：在主显示器上以正常模式显示用于计算系统所执行的应用程序的第一用户界面，该第一用户界面包括与该应用程序相关联的第一组一个或多个示能表示；并且在触摸屏显示器上维持对用于控制该应用程序的第二组一个或多个示能表示的至少一个子组的显示，其中该第二组一个或多个示能表示对应于第一组一个或多个示能表示。在一个示例中，图5AA示出动态功能行104在与暂停示能表示5190对应的位置处接收并检测接触5194(例如，轻击接触)。继续该示例，主显示器102退出全屏模式并且图5BB示出响应于在图5AA中检测到对暂停示能表示5190的选择，主显示器102在窗口5166内以放大视图显示照片B。在另一个示例中，图5EE示出动态功能行104在与离开示能表示516对应的位置处接收并检测接触5216(例如，轻击接触)。继续该示例，主显示器102退出全屏模式并且图5FF示出响应于在图5EE中检测到对离开示能表示516的选择，主显示器102在窗口5166内以放大视图显示照片B。继续该示例，图5FF还示出动态功能行104维持对图5EE所显示的第二组示能表示的至少一个子组的显示。
应当理解，对图8A至图8B中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参考本文所述的其他方法(例如，方法600、700、900和1000)所述的其他过程的细节同样以类似的方式适用于以上参考图8A至8B所述的方法800。
图9A至图9B为根据一些实施方案的在触摸屏显示器上显示通知的方法的流程图。方法900在包括处理器、主显示器、存储器和至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳的计算系统处执行。方法900中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
在一些实施方案中，计算系统为便携式计算系统100(图1A)或台式计算系统200(图2A至图2D)。在一些实施方案中，主显示器为在便携式计算系统100(图1A)的显示器部分110中实现的主显示器102(图1A)。另选地，在一些实施方案中，主显示器为在外围显示设备204(图2A至图2D)中实现的主显示器102(图2A至图2D)。在一些实施方案中，至少部分地包含触摸屏显示器(例如，图1A至图1B中的动态功能行104)和输入机构(例如，图1A至图1B中的物理按键组106)的外壳为便携式计算系统100的主体部分120(图1A至图1B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2A至图2B中的动态功能行104)和输入机构(例如，图2A至图2B中的物理按键组106)的外壳为台式计算系统200的外围键盘206(图2A至图2B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2C中的动态功能行104)和输入机构(例如，图2C中的触摸板108)的外壳为台式计算系统200的第一输入机构212(图2C)。
计算系统在主显示器上显示(902)用于由计算系统所执行的应用程序的第一用户界面。例如，图5TT示出主显示器102在窗口5224内显示第一用户界面，该第一用户界面具有用于标签B的界面(例如，对应于www.website_B.com/home)、以及书签侧边栏。在图5TT中，书签侧边栏在主显示器102上聚焦，如围绕该书签侧边栏的粗线所示的。
计算系统在触摸屏显示器上显示(904)第二用户界面，该第二用户界面包括与应用程序对应的一组一个或多个示能表示。继续以上示例，图5TT示出由于书签侧边栏在主显示器102上聚焦，而动态功能行104显示具有与所有预先存在的书签对应的一组书签示能表示5278的第二用户界面。
在一些实施方案中，在检测到通知之前，计算系统检测(906)用于选择通知设置以便在触摸屏显示器上显示通知而不在主显示器上显示通知的用户输入。在一些实施方案中，计算系统的用户能够在设置面板内指定所接收的通知是否要在主显示器102和动态功能行104中的一者或多者上显示。在一些实施方案中，计算系统在默认情况下在动态功能行104上而不在主显示器102上显示所接收的通知。
计算系统检测(908)通知。在一些实施方案中，通知与应用程序(例如，图5TT中的web浏览器应用程序)相关联。在一些实施方案中，通知与当前正在前景中执行的应用程序相关联或与后台应用程序相关联。例如，通知为以下各项中的一者：模态警告或实时通知，诸如与新接收的电子邮件、即时消息或SMS相关联的警告；与应用程序内的新检测到的事件诸如社交媒体应用程序内的贴子或回复相关联的通知；与由计算系统所执行的应用程序相关联的模态警告，诸如保存/退出对话框或其他提示；等等。
响应于检测到通知，计算系统在触摸屏显示器上的第二用户界面中同时显示(910)与应用程序对应的该一组一个或多个示能表示以及所检测到的通知的至少一部分，其中所检测到的通知不在主显示器上被显示。例如，在一些实施方案中，基于在操作906中所述的通知设置，所检测到的通知的至少一部分被重叠在动态功能行104上显示的第二用户界面上。除此之外和/或另选地，在一些实施方案中，该通知被重叠在由主显示器102显示的第一用户界面上。因此，当在主显示器上显示此类可选控件时，计算系统的用户能够查看通知并对其作出响应，而无需将其手从该一组物理按键移开至另一个输入设备(例如，鼠标)。这种模式切换的减少，例如用户手部在键盘与鼠标之间的模式切换以及用户眼睛在键盘与显示器之间的模式切换提供更直观的用户体验和更有效的人机接口。
例如，图5V示出响应于在图5U中利用光标504检测到对退出示能表示的选择，主显示器102和动态功能行104显示模态警告5156。在图5V中，模态警告5156提示用户在关闭窗口580之前先保存电子邮件草稿，并且包括“保存”示能表示5158、“不保存”示能表示5160、以及“取消”示能表示5162。又如，图5X示出响应于从便携式计算系统100的物理按键组106(图1A至1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至2D)接收到与特定物理按键组合(例如，alt+tab)对应的信号，主显示器102和动态功能行104显示应用程序选择窗口5164。在图5X中，应用程序选择窗口5164使得计算系统的用户能够在当前运行的应用程序之间来回切换，这些应用程序可在后台运行。
再如，图5FF示出响应于计算系统接收到通知5218，动态功能行104显示被重叠在示能表示5178、5180、5182和5184上的通知5218。在图5FF中，通知5218对应于由Suzie S.发送到计算系统的用户的SMS、即时消息等，该通知的内容询问“今晚看电影吗？”再如，图5KK示出响应于在图5JJ中利用光标504检测到对购买示能表示的选择，主显示器102和动态功能行104显示模态警告5240。在图5KK中，在动态功能行104上显示的模态警告5240提示计算系统的用户在动态功能行104上的指纹区域5244中提供其指纹，该模态警告还包括取消示能表示5242，当其被激活(例如，经由轻击接触)时使得取消购买。
再如，图5OO示出响应于计算系统接收到通知5264，主显示器102显示被重叠在窗口5264上的通知5264。在图5OO中，通知5264对应于由MAS发送到计算系统的用户的SMS、即时消息等，该通知的内容询问“已降落了吗？”再如，图5UU示出响应于在图5TT中利用光标504检测到对退出示能表示的选择，动态功能行104显示被重叠在该组书签示能表示5278上的模态警告5280。在图5UU中，模态警告5280提示计算系统的用户确认其打算关闭web浏览器应用程序内的所有打开的标签。再如，图5AAA示出响应于在图5CCC中检测到对电源控件534的选择，动态功能行104显示模态警告5308。在图5DDD中，模态警告5308提示计算系统的用户从注销示能表示5310、重新启动示能表示5312、关机示能表示5314和取消示能表示5316中的一者选择注销/关机选项。
在一些实施方案中，在触摸屏显示器上所显示的通知的一部分提示(912)计算系统的用户选择多个选项中的一个选项，以用于对所检测到的通知作出响应。例如，在图5V中，由主显示器102和动态功能行104显示的模态警告5156提示用户在关闭窗口580之前保存电子邮件草稿，并且包括“保存”示能表示5158、“不保存”示能表示5160和“取消”示能表示5162。又如，在图5UU中，由动态功能行104显示的模态警告5280提示计算系统的用户确认其打算关闭web浏览器应用程序内的所有打开的标签。再如，在图5DDD中，动态功能行104显示的模态警告5308提示计算系统的用户从注销示能表示5310、重新启动示能表示5312、关机示能表示5314和取消示能表示5316中的一者选择注销/关机选项。
在一些实施方案中，在触摸屏显示器上所显示的通知的一部分包括(914)对所检测到的通知的一个或多个建议响应。例如，图5QQ示出响应于在图5PP中检测到通知5264内的位置处的接触5266，动态功能行104显示响应对话框5268。在图5QQ中，响应对话框5268包括对图5OO至图5PP中所示的通知5264的内容的多个预测响应。在图5QQ中，响应对话框5268包括第一预测响应5270(“是的。”)、第二预测响应5272(“没有。”)，和第三预测响应5274(“正在路上！”)。图5QQ还示出动态功能行104在与第一预测响应5270对应的位置处接收并检测接触5276(例如，轻击接触)。例如，响应于对第一预测响应5270的选择，计算系统使得第一预测响应5270(“是的。”)经由与用于将通知5264发送到计算系统的用户的通信模式相同的通信模式(例如，SMS、即时消息等)被发送到MAS。又如，响应于对第一预测响应5270的选择，计算系统使得第一预测响应5270(“是的。”)经由默认通信模式(例如，用户选择的或在软件中设置的)被发送到MAS。
在一些实施方案中，通知对应(916)于传入的即时消息、SMS、电子邮件、语音呼叫或视频通话中的至少一者。例如，在图5FF中，通知5218对应于由Suzie S.发送到计算系统的用户的SMS、即时消息等。又如，在图5LL中，界面5248对应于来自C.Cheung的传入语音呼叫，并且在图5MM中，界面5256对应于C.Cheung与计算系统的用户之间正在进行的语音呼叫。再如，在图5OO至5PP中，通知5264对应于由MAS发送到计算系统的用户的SMS、即时消息等。
在一些实施方案中，通知对应(918)于由计算系统的处理器正在执行的应用程序响应于用于关闭该应用程序或在该应用程序内执行动作的用户输入而发布的模态警告。在第一示例中，图5V示出响应于在图5U中利用光标504检测到对退出示能表示的选择，模态警告5156提示计算系统的用户在关闭窗口580之前保存电子邮件草稿。在第二示例中，图5KK示出响应于在图5JJ中利用光标504检测到对购买示能表示的选择，模态警告5240提示计算系统100的用户提供其指纹来验证购买。在第三示例中，图5UU示出响应于在图5TT中利用光标504检测到对退出示能表示的选择，模态警告5280提示计算系统的用户确认其打算关闭web浏览器应用程序内的所有打开的标签。
在一些实施方案中，该一组一个或多个示能表示包括(920)与至少一个系统级功能对应的至少一个系统级示能表示，并且通知对应于用于选择输入机构的一个或多个部分(例如，alt+tab或另一个键盘组合)或至少一个系统级示能表示(例如，电源控件示能表示)的用户输入。在一个示例中，图5X示出响应于从便携式计算系统100的物理按键组106(图1A至1B)或从台式计算系统200的外围键盘206的物理按键组106(图2A至2D)接收到与特定物理按键组合(例如，alt+tab)对应的信号，动态功能行104显示应用程序选择窗口5164。在另一个示例中，图5DDD示出响应于在图5CCC中检测到对电源控件534的选择，动态功能行104显示模态警告5308。
在一些实施方案中，计算系统在触摸屏显示器上检测(922)与所检测到的通知的一部分对应的用户触摸输入。根据确定该用户触摸输入对应于第一类型(例如，轻扫以忽略)，计算系统停止在触摸屏显示器上的第二用户界面中显示所检测到的通知的一部分。根据确定该用户触摸输入对应于不同于第一类型的第二类型(例如，轻击以执行动作)，计算系统执行与所检测到的通知相关联的动作(例如，开启对话以对新接收到的电子邮件、SMS或IM作出响应；保存文档；退出程序；等等)。例如，图5FF示出动态功能行104检测到从通知5128内的第一位置5222-A到第二位置5222-B的具有接触5220的从左到右轻扫手势。继续该示例，图5GG示出响应于在图5FF中检测到从左到右轻扫手势，动态功能行104停止显示通知5218。又如，图5PP示出动态功能行104在通知5264内的位置处接收并检测接触5266(例如，轻击接触)。继续该示例，图5QQ示出响应于在图5PP中检测到通知5264内的位置处的接触5266，动态功能行104显示响应对话框5268。
应当理解，对图9A至图9B中已经进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参考本文所述的其他方法(例如，方法600、700、800和1000)所述的其他过程的细节同样以类似的方式适用于以上参考图9A至9B所述的方法900。
图10A至图10C为根据一些实施方案的移动用户界面部分的方法的流程图。方法1000在包括处理器、主显示器、存储器和至少部分地包含物理输入机构和与物理输入机构相邻的触摸屏显示器的外壳的计算系统处执行。方法1000中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
在一些实施方案中，计算系统为便携式计算系统100(图1A)或台式计算系统200(图2A至图2D)。在一些实施方案中，主显示器为在便携式计算系统100(图1A)的显示器部分110中实现的主显示器102(图1A)。另选地，在一些实施方案中，主显示器为在外围显示设备204(图2A至图2D)中实现的主显示器102(图2A至图2D)。在一些实施方案中，至少部分地包含触摸屏显示器(例如，图1A至图1B中的动态功能行104)和输入机构(例如，图1A至图1B中的物理按键组106)的外壳为便携式计算系统100的主体部分120(图1A至图1B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2A至图2B中的动态功能行104)和输入机构(例如，图2A至图2B中的物理按键组106)的外壳为台式计算系统200的外围键盘206(图2A至图2B)。另选地，在一些实施方案中，至少部分地包含触摸屏显示器(例如，图2C中的动态功能行104)和输入机构(例如，图2C中的触摸板108)的外壳为台式计算系统200的第一输入机构212(图2C)。
计算系统在主显示器上显示(1002)用户界面，该用户界面包括一个或多个用户界面元素。例如，图5OO示出主显示器102显示位于窗口5224内的标签B的界面和被重叠在窗口5224上的通知5264。在图5OO中，标签B的界面显示网站B的主页(例如，与URL：www.website_B.com/home相关联)。
计算系统识别(1004)一个或多个用户界面元素中的在主显示器上聚焦的活动用户界面元素，其中该活动用户界面元素与由计算系统所执行的应用程序相关联。例如，在图5OO中，标签B的界面在主显示器102上聚焦，如围绕标签B的粗线和标签B的粗体文字所示的。
响应于识别在主显示器上聚焦的活动用户界面元素，计算系统在触摸屏显示器上显示(1006)与该应用程序对应的一组一个或多个示能表示。例如，在图5OO中，动态功能行104显示用于web浏览器应用程序的控件(即，该一组一个或多个示能表示)，包括：地址栏5234中的网站B的主页(例如，www.website_B.com/home)、用于在最近查看的网页之间导航的示能表示5230和5232、用于将当前网页添加到收藏夹或书签列表的示能表示5238，以及用于分别访问标签A和C的示能表示5262-A和5262-B。
计算系统检测(1008)用于移动用户界面的相应部分的用户输入。在一些实施方案中，用户界面的该部分是菜单、工具栏、工具箱、通知等。例如，计算系统检测将菜单拖动到主显示器102底部(或其他用户定义位置)的手势或经由右击动作或其他对应示能表示将菜单移动到动态功能行104的指令。在一个示例中，图5OO示出主显示器102显示计算系统的用户利用光标504将通知5264拖动到主显示器102的右下角中的预定义位置。在另一个示例中，图5SS示出主显示器102显示计算系统的用户利用光标504将书签侧边栏拖动到主显示器102的右下角中的预定义位置。
在一些实施方案中，用户界面的相应部分是(1010)与由计算系统所执行的应用程序对应的菜单。例如，用户界面的相应部分是用于文字处理应用程序的菜单或工具栏。例如，在图5SS中，正由光标504拖动的相应用户界面的相应部分是窗口5224内的书签侧边栏。
在一些实施方案中，用户界面的相应部分是(1012)通知或模态警告中的至少一者。例如，在图5OO中，正由光标504拖动的相应用户界面的相应部分为通知5264。
响应于检测到该用户输入并且根据确定该用户输入满足预定义动作标准，计算系统(1014)：停止在主显示器上显示用户界面的相应部分；停止在触摸屏显示器上显示该一组一个或多个示能表示的至少一个子组；以及在触摸屏显示器上显示对用户界面的相应部分的表示。在一个示例中，图5PP示出响应于在图5OO中计算系统的用户利用光标504将通知5264拖动至主显示器102的右下角中的预定义位置，主显示器停止显示通知5264，并且动态功能行104显示被重叠在示能表示5262-A和5262-B上的通知5264。在另一个示例中，图5TT示出响应于在图5SS中计算系统的用户利用光标504将书签侧边栏拖动到主显示器102的右下角中的预定义位置，动态功能行104停止显示如图5SS所示的与web浏览器应用程序相关联的控件，并且显示与所有预先存在的书签对应的一组书签示能表示5278。
在一些实施方案中，当用户输入为将用户界面的相应部分拖动到主显示器的预定义位置的拖动手势时，满足(1016)预定义动作标准。在一些实施方案中，预定义位置为由计算系统的用户所设置或在软件中默认设置的多个预定义位置中的一个预定义位置。在一个示例中，在图5PP中，计算系统的用户利用光标504将通知5264拖动到预定义位置(例如，主显示器102的右下角)。在另一个示例中，在图5SS中，计算系统的用户利用光标504将书签侧边栏拖动到预定义位置(例如，主显示器102的右下角)。
在一些实施方案中，当用户输入是(1018)与将用户界面的相应部分移动到触摸屏显示器对应的预先确定输入时，满足预定义动作标准。例如，主显示器102显示用于文字处理应用程序的窗口以及被重叠在用于文字处理应用程序的窗口上的格式化工具栏。继续该示例，响应于在格式化工具栏上右击之后选择特定显示选项或在格式化工具栏在主显示器102上聚焦时选择特定显示选项，主显示器102停止显示格式化工具栏，并且动态功能行显示格式化工具栏。
在一些实施方案中，对用户界面的相应部分的表示被重叠(1020)在触摸屏显示器的该一组一个或多个示能表示上。例如，图5PP示出响应于在图5OO中计算系统的用户利用光标504将通知5264拖动至主显示器102的右下角中的预定义位置，动态功能行104显示被重叠在示能表示5262-A和5262-B上的通知5264。
在一些实施方案中，该一组一个或多个示能表示包括(1022)与至少一个系统级功能对应的至少一个系统级示能表示，并且在触摸屏显示器上显示对用户界面的相应部分的表示之后，计算系统维持对触摸屏显示器上的所述至少一个系统级示能表示的显示。例如，在图5PP中，动态功能行104显示被重叠在示能表示5262-A和5262-B上的通知5264、以及至少一个系统级示能表示(例如，示能表示542)和持久控件(例如，离开示能表示516和电源控件534)。例如，在图5TT中，动态功能行104显示该一组书签示能表示5278、以及至少一个系统级示能表示(例如，示能表示542)和持久控件(例如，离开示能表示516和电源控件534)。
在一些实施方案中，响应于检测到用户输入并且根据确定用户输入不满足预定义动作标准，计算系统(1024)：维持对主显示器上的用户界面的相应部分的显示；并且维持对触摸屏显示器上的该一组一个或多个示能表示的显示。例如，对于图5OO，如果计算系统的用户利用光标504将通知5264拖动到主显示器102的左下角，则将在主显示器102的左下角显示通知5264，并且动态功能行104将显示通知5264，因为左下角不是预定义位置(例如，右下角是预定义位置)。
应当理解，对图10A至图10C中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参考本文所述的其他方法(例如，方法600、700、800和900)所述的其他过程的细节同样以类似的方式适用于以上参考图10A至10C所述的方法1000。
根据一些实施方案，图11示出了根据各种所述实施方案的原理进行配置的电子设备1100的功能框图。该设备的功能块任选地由进行各种所述实施方案的原则的硬件、软件、固件或其组合来实现。本领域的技术人员应当理解，图11中所述的功能块任选地被组合或被分离为子块，以便实现各种所述实施方案的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。为了便于论述，电子设备1100被实现为其部件对应于电子设备300(图3)的便携式计算系统100(图1A至图1B)。本领域的技术人员将理解电子设备1100还可如何在台式计算系统200(图2A至图2D)内实现。
如图11所示，电子设备1100包括被配置为显示信息的主显示单元1102(例如，图1A和图2A至图2D中的主显示器102)、被配置为接收用户输入的物理输入单元1104、被配置为显示信息的触摸屏显示(TSD)单元1106(本文中有时也被称为“触摸屏显示器”或“触摸屏”)(例如，图1A至图1B和图2A至图2D中的动态功能行104)、被配置为使用一个或多个传感器在触摸屏显示单元1106上接收接触的触敏表面单元1108，以及耦接到主显示单元1102、物理输入单元1104、触摸屏显示单元1106和触敏表面单元1108的处理单元1110。在一些实施方案中，处理单元1110包括：主显示器控制单元1112、触摸屏显示器(TSD)控制单元1114、焦点识别单元1116、确定单元1118、输入检测单元1120、输入类型确定单元1122、执行单元1124和媒体回放确定单元1126。
处理单元1110被配置为：使得在主显示单元1102上显示第一用户界面(例如，使用主显示器控制单元1112)，该第一用户界面包括一个或多个用户界面元素；识别这一个或多个用户界面元素间的在主显示单元1102上聚焦的活动用户界面元素(例如，使用焦点识别单元1116)；以及确定在主显示单元1102上聚焦的活动用户界面元素是否与处理单元1110所执行的应用程序相关联(例如，使用确定单元1118)。根据确定在主显示单元1102上聚焦的活动用户界面元素与应用程序相关联，处理单元1110被配置为使得在触摸屏显示单元1106上显示第二用户界面(例如，使用触摸屏显示器控制单元1114)，该第二用户界面包括：(A)与应用程序对应的第一组一个或多个示能表示；和(B)与至少一个系统级功能对应的至少一个系统级示能表示。
在一些实施方案中，该电子设备进一步包括：(i)主计算单元，该主计算单元包括主显示单元1102、处理单元1110和第一通信电路单元；以及(ii)集成输入单元，该集成输入单元包括触摸屏显示单元1106、触敏表面单元1108、物理输入单元1104，和用于与第一通信电路单元通信的第二通信电路单元，其中集成输入设备与主计算单元不同且分开。
在一些实施方案中，该物理输入单元1104包括多个物理按键。
在一些实施方案中，该物理输入单元1104包括触摸板。
在一些实施方案中，该处理单元1110被配置为在第一用户界面的前景中执行应用程序。
在一些实施方案中，该至少一个系统级示能表示被配置为在选择时使得在触摸屏显示单元1106上显示与系统级功能对应的多个系统级示能表示。
在一些实施方案中，所少一个系统级示能表示对应于电源控件或离开控件中的一者。
在一些实施方案中，在触摸屏显示单元1106上的第二用户界面内所显示的示能表示中的至少一个示能表示为多功能示能表示。
在一些实施方案中，该处理单元1110被配置为：在触敏表面单元1108上检测用于选择多功能示能表示的用户触摸输入(例如，使用输入检测单元1120)；根据确定该用户触摸输入对应于第一类型(例如，使用输入类型确定单元1122)，执行与该多功能示能表示相关联的第一功能(例如，使用执行单元1124)；以及根据确定该用户触摸输入对应于不同于第一类型的第二类型(例如，使用输入类型确定单元1122)，执行与该多功能示能表示相关联的第二功能(例如，使用执行单元1124)。
在一些实施方案中，根据确定活动用户界面元素不与应用程序相关联，该处理单元1110被配置为使得在触摸屏显示单元1106上显示第三用户界面(例如，使用触摸屏显示器控制单元1114)，该第三用户界面包括：(C)与电子设备1100的操作系统控件对应的第二组一个或多个示能表示，其中该第二组一个或多个示能表示不同于第一组一个或多个示能表示。
在一些实施方案中，第二组一个或多个示能表示为一组扩展的操作系统控件，其包括(B)与至少一个系统级功能对应的至少一个系统级示能表示。
在一些实施方案中，该处理单元1110被配置为：(在触敏表面单元1108上检测用于选择第一组示能表示中的一个示能表示的用户触摸输入例如，使用输入检测单元1120)；并且响应于检测到该用户触摸输入：使得在触摸屏显示单元1106上显示与该应用程序的功能对应的不同组示能表示(例如，使用触摸屏显示器控制单元1114)；并且维持对触摸屏显示单元1106上的至少一个系统级示能表示的显示(例如，使用触摸屏显示器控制单元1114)。
在一些实施方案中，该处理单元1110被配置为：在触敏表面单元1108上检测用于选择至少一个系统级示能表示的后续用户触摸输入(例如，使用输入检测单元1120)；并且响应于检测到该后续用户触摸输入，使得在触摸屏显示单元1106上显示与系统级功能对应的多个系统级示能表示和与应用程序对应的至少一个应用程序级示能表示(例如，使用触摸屏显示器控制单元1114)。
在一些实施方案中，该处理单元1110被配置为：在触摸屏显示单元1106上显示第二用户界面之后，识别在主显示单元1102上聚焦的第二活动用户界面元素(例如，使用焦点识别单元1116)；并且确定第二活动用户界面元素是否对应于由处理单元1110所执行的不同应用程序(例如，使用确定单元1118)。根据确定第二活动用户界面元素对应于不同应用程序，该处理单元1110被配置为使得在触摸屏显示单元1106上显示第四用户界面(例如，使用触摸屏显示器控制单元1114)，该第四用户界面包括：(D)与不同应用程序对应的第三组一个或多个示能表示；和(E)与至少一个系统级功能对应的至少一个系统级示能表示。
在一些实施方案中，该处理单元1110被配置为：在识别第二活动用户界面元素之后(例如，使用焦点识别单元1116)，(确定电子设备1100是否正在播放媒体项例如，使用媒体回放确定单元1126)，其中该媒体项不与不同应用程序相关联；并且根据确定电子设备1100正在播放媒体项(例如，使用媒体回放确定单元1126)，使得在触摸屏显示单元1106上的用于控制该媒体项的第四用户界面上显示至少一个持久示能表示(例如，使用触摸屏显示器控制单元1114)。
在一些实施方案中，该至少一个持久示能表示显示与该媒体项对应的反馈。
在一些实施方案中，该处理单元1110被配置为：检测与覆盖按键对应的用户输入(例如，使用输入检测单元1120)；并且响应于检测到该用户输入：停止在触摸屏显示单元1106上显示第二用户界面的至少第一组一个或多个示能表示(例如，使用触摸屏显示器控制单元1114)；并且使得在触摸屏显示单元1106上显示第一组默认功能按键(例如，使用触摸屏显示器控制单元1114)。
在一些实施方案中，该处理单元1110被配置为：在触摸屏显示单元1106上显示第一组默认功能按键之后，检测触敏表面单元1108上的在基本上平行于触摸屏显示单元1106主轴的方向上的手势(例如，使用输入检测单元1120)；并且响应于检测到基本上水平的轻扫手势，使得在触摸屏显示单元1106上显示具有至少一个不同功能按键的第二组默认功能按键(例如，使用触摸屏显示器控制单元1114)。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图3A和图4所描述的)或特定于应用的芯片。
以上参考图6A至图6D所述的操作任选地由图3A至图3B或图11中所描绘的部件来实现。例如，检测操作626和628任选地由事件分类器370、事件识别器380和事件处理程序190来实现。事件分类器370中的事件监视器371在显示系统312被实现为触敏显示器时检测显示系统312上的接触，并且事件分配器模块374将事件信息递送到应用程序340-1。应用程序340-1的相应事件识别器380将事件信息与相应事件定义386进行比较，并且确定触敏显示器上的第一位置处的第一接触是否对应于预定义事件或子事件。当检测到相应预定义事件或子事件时，事件识别器380激活与该事件或子事件的检测相关联的事件处理程序390。事件处理程序390任选地使用或调用数据更新器376或对象更新器377来更新应用程序内部状态392。在一些实施方案中，事件处理程序390访问相应GUI更新器378，以更新由应用程序所显示的内容。类似地，本领域技术人员会清楚地知道基于在图3A至图3B中所示的部件可如何实现其他过程。
根据一些实施方案，图12示出了根据各种所述实施方案的原理进行配置的电子设备1200的功能框图。该设备的功能块任选地由进行各种所述实施方案的原则的硬件、软件、固件或其组合来实现。本领域的技术人员应当理解，图12中所述的功能块任选地被组合或被分离为子块，以便实现各种所述实施方案的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。为了便于论述，电子设备1200被实现为其部件对应于电子设备300(图3)的便携式计算系统100(图1A至图1B)。本领域的技术人员将理解电子设备1200还可如何在台式计算系统200(图2A至图2D)内实现。
如图12所示，电子设备1200包括被配置为显示信息的主显示单元1202(例如，图1A和图2A至图2D中的主显示器102)、被配置为接收用户输入的物理输入单元1204、被配置为显示信息的触摸屏显示(TSD)单元1206(本文中有时也被称为“触摸屏显示器”或“触摸屏”)(例如，图1A至图1B和图2A至图2D中的动态功能行104)、被配置为使用一个或多个传感器在触摸屏显示单元1206上接收接触的触敏表面单元1208，以及耦接到主显示单元1202、物理输入单元1204、触摸屏显示单元1206和触敏表面单元1208的处理单元1210。在一些实施方案中，该处理单元1210包括：主显示器控制单元1212、触摸屏显示器(TSD)控制单元1214、输入检测单元1216和输入类型确定单元1218。
处理单元1210被配置为：使得)在主显示单元1202上显示用于处理单元1210所执行的应用程序的第一用户界面(例如，使用主显示器控制单元1212；使得在触摸屏显示单元1206上显示第二用户界面(例如，使用触摸屏显示器控制单元1214)，该第二用户界面包括与应用程序对应的第一组一个或多个示能表示，其中该第一组一个或多个示能表示对应于应用程序的第一部分；并且检测触敏表面单元1208上的轻扫手势(例如，使用输入检测单元1216)。根据确定该轻扫手势在第一方向(例如，水平)上执行(例如，使用输入类型确定单元1218)，该处理单元1210被配置为使得在触摸屏显示单元1206上显示与应用程序对应的第二组一个或多个示能表示(例如，使用触摸屏显示器控制单元1214)，其中第二组一个或多个示能表示中的至少一个示能表示不同于第一组一个或多个示能表示，并且其中第二组一个或多个示能表示也对应于应用程序的第一部分。根据确定该轻扫手势在基本上垂直于第一方向的第二方向(例如，竖直)上执行(例如，使用输入类型确定单元1218)，该处理单元1210被配置为使得在触摸屏显示单元1206上显示与应用程序对应的第三组一个或多个示能表示(例如，使用触摸屏显示器控制单元1214)，其中该第三组一个或多个示能表示不同于第二组一个或多个示能表示，并且其中第三组一个或多个示能表示对应于与应用程序的第一部分不同的应用程序的第二部分。
在一些实施方案中，在检测到轻扫手势之前，在主显示单元1202上的第一用户界面内以紧凑视图显示第二部分，并且该处理单元1210被配置为根据确定轻扫手势在基本上垂直于第一方向的第二方向上执行，使得在主显示单元1202上的第一用户界面内以放大视图显示第二部分(例如，使用主显示器控制单元1212)。
在一些实施方案中，在主显示单元1202上以全屏模式显示用于应用程序的第一用户界面，并且在触摸屏显示单元1206上显示的第一组一个或多个示能表示包括与全屏模式对应的控件。
在一些实施方案中，该第二组一个或多个示能表示和第三组一个或多个示能表示包括与至少一个系统级功能对应的至少一个系统级示能表示。
在一些实施方案中，在触摸屏显示单元1206上显示第三组一个或多个示能表示之后，该处理单元1210被配置为：在第一用户界面上检测用于选择第一部分的用户输入(例如，使用输入检测单元1216)；并且响应于检测到该用户输入：停止在触摸屏显示单元1206上显示第三组一个或多个示能表示(例如，使用触摸屏显示器控制单元1214)，其中该第三组一个或多个示能表示对应于应用程序的第二部分；并且使得在触摸屏显示单元1206上显示第二组一个或多个示能表示(例如，使用触摸屏显示器控制单元1214)，其中第二组一个或多个示能表示对应于应用程序的第一部分。
在一些实施方案中，该第一方向基本上平行于触摸屏显示单元1206的主要尺寸。
在一些实施方案中，该第一方向基本上垂直于触摸屏显示单元1206的主要尺寸。
在一些实施方案中，该第一部分是应用程序的菜单、标签、文件夹、工具箱或工具栏中的一者，并且第二部分是应用程序的菜单、标签、文件夹、工具箱或工具栏中的一者。
以上参考图7A至图7B所述的操作任选地由图3A至图3B或图12中所描绘的部件来实现。例如，检测操作710任选地由事件分类器370、事件识别器380和事件处理程序190来实现。事件分类器370中的事件监视器371在显示系统312被实现为触敏显示器时检测显示系统312上的接触，并且事件分配器模块374将事件信息递送到应用程序340-1。应用程序340-1的相应事件识别器380将事件信息与相应事件定义386进行比较，并且确定触敏显示器上的第一位置处的第一接触是否对应于预定义事件或子事件。当检测到相应预定义事件或子事件时，事件识别器380激活与该事件或子事件的检测相关联的事件处理程序390。事件处理程序390任选地使用或调用数据更新器376或对象更新器377来更新应用程序内部状态392。在一些实施方案中，事件处理程序390访问相应GUI更新器378来更新应用程序所显示的内容。类似地，本领域技术人员会清楚地知道基于在图3A至图3B中所示的部件可如何实现其他过程。
根据一些实施方案，图13示出了根据各种所述实施方案的原理进行配置的电子设备1300的功能框图。该设备的功能块任选地由进行各种所述实施方案的原则的硬件、软件、固件或其组合来实现。本领域的技术人员应当理解，图13中所述的功能块任选地被组合或被分离为子块，以便实现各种所述实施方案的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。为了便于论述，电子设备1300被实现为其部件对应于电子设备300(图3)的便携式计算系统100(图1A至图1B)。本领域的技术人员将理解电子设备1300还可如何在台式计算系统200(图2A至图2D)内实现。
如图13所示，电子设备1300包括被配置为显示信息的主显示单元1302(例如，图1A和图2A至图2D中的主显示器102)、被配置为接收用户输入的物理输入单元1304、被配置为显示信息的触摸屏显示(TSD)单元1306(本文中有时也被称为“触摸屏显示器”或“触摸屏”)(例如，图1A至图1B和图2A至图2D中的动态功能行104)、被配置为使用一个或多个传感器在触摸屏显示单元1306上接收接触的触敏表面单元1308，以及耦接到主显示单元1302、物理输入单元1304、触摸屏显示单元1306和触敏表面单元1308的处理单元1310。在一些实施方案中，该处理单元1310包括：主显示器控制单元1312、触摸屏显示器(TSD)控制单元1314、输入检测单元1316和改变单元1318。
处理单元1310被配置为：使得在主显示单元1302上以正常模式显示用于处理单元1310所执行的应用程序的第一用户界面(例如，使用主显示器控制单元1312)，该第一用户界面包括与应用程序相关联的第一组一个或多个示能表示；并且检测用于在主显示单元1302上以全屏模式显示用于应用程序的第一用户界面的至少一部分的用户输入(例如，使用输入检测单元1316)。响应于检测到该用户输入，该处理单元1310被配置为：停止在主显示单元1302上的第一用户界面中显示与应用程序相关联的第一组一个或多个示能表示(例如，使用主显示器控制单元1312)；使得在主显示单元1302上以全屏模式显示用于应用程序的第一用户界面的一部分(例如，使用主显示器控制单元1312)；并且在无需人为干预的情况下，使得在触摸屏显示单元1306上自动显示用于控制应用程序的第二组一个或多个示能表示(例如，使用触摸屏显示器控制单元1314)，其中第二组一个或多个示能表示对应于第一组一个或多个示能表示。
在一些实施方案中，该第二组一个或多个示能表示为第一组一个或多个示能表示。
在一些实施方案中，该第二组一个或多个示能表示包括与全屏模式对应的控件。
在一些实施方案中，该处理单元1310被配置为检测用于选择触敏表面单元1308上的第二组示能表示中的一个示能表示的用户触摸输入(例如，使用输入检测单元1316)，并且响应于检测到该用户触摸输入，处理单元1310被配置为根据第二组示能表示中的所选择的一个示能表示来改变正在主显示单元1302上以全屏模式显示的用于应用程序的第一用户界面的一部分(例如，使用改变单元1318)。
在一些实施方案中，在主显示单元1302上以全屏模式显示用于应用程序的第一用户界面的一部分之后，处理单元1310被配置为：检测用于退出全屏模式的后续用户输入(例如，使用输入检测单元1316)；并且响应于检测到该后续用户输入：使得在主显示单元1302上以正常模式显示用于处理单元1310所执行的应用程序的第一用户界面(例如，使用主显示器控制单元1312)，该第一用户界面包括与应用程序相关联的第一组一个或多个示能表示；并且维持对触摸屏显示单元1306上的用于控制所述应用程序的第二组一个或多个示能表示的至少一个子组的显示(例如，使用触摸屏显示器控制单元1314)，其中该第二组一个或多个示能表示对应于第一组一个或多个示能表示。
在一些实施方案中，用于在主显示单元1302上以全屏模式显示用于应用程序的第一用户界面的至少一部分的用户输入是在触敏表面单元1308上所检测到的触摸输入和在主显示单元1302上的第一用户界面内选择的控件中的至少一者。
在一些实施方案中，该第二组一个或多个示能表示包括与至少一个系统级功能对应的至少一个系统级示能表示。
以上参考图8A至图8B所述的操作任选地由图3A至图3B或图13中所描绘的部件来实现。例如，检测操作804和816任选地由事件分类器370、事件识别器380和事件处理程序190来实现。事件分类器370中的事件监视器371在显示系统312被实现为触敏显示器时检测显示系统312上的接触，并且事件分配器模块374将事件信息递送到应用程序340-1。应用程序340-1的相应事件识别器380将事件信息与相应事件定义386进行比较，并且确定触敏显示器上的第一位置处的第一接触是否对应于预定义事件或子事件。当检测到相应预定义事件或子事件时，事件识别器380激活与该事件或子事件的检测相关联的事件处理程序390。事件处理程序390任选地使用或调用数据更新器376或对象更新器377来更新应用程序内部状态392。在一些实施方案中，事件处理程序390访问相应GUI更新器378来更新应用程序所显示的内容。类似地，本领域技术人员会清楚地知道基于在图3A至图3B中所示的部件可如何实现其他过程。
根据一些实施方案，图14示出了根据各种所述实施方案的原理进行配置的电子设备1400的功能框图。该设备的功能块任选地由进行各种所述实施方案的原则的硬件、软件、固件或其组合来实现。本领域的技术人员应当理解，图14中所述的功能块任选地被组合或被分离为子块，以便实现各种所述实施方案的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。为了便于论述，电子设备1400被实现为其部件对应于电子设备300(图3)的便携式计算系统100(图1A至图1B)。本领域的技术人员将理解电子设备1400还可如何在台式计算系统200(图2A至图2D)内实现。
如图14所示，电子设备1400包括被配置为显示信息的主显示单元1402(例如，图1A和图2A至图2D中的主显示器102)、被配置为接收用户输入的物理输入单元1404、被配置为显示信息的触摸屏显示(TSD)单元1406(本文中有时也被称为“触摸屏显示器”或“触摸屏”)(例如，图1A至图1B和图2A至图2D中的动态功能行104)、被配置为使用一个或多个传感器在触摸屏显示单元1406上接收接触的触敏表面单元1408，以及耦接到主显示单元1402、物理输入单元1404、触摸屏显示单元1406和触敏表面单元1408的处理单元1410。在一些实施方案中，该处理单元1410包括：主显示器控制单元1412、触摸屏显示器(TSD)控制单元1414、通知单元1416、输入检测单元1418、输入类型确定单元1420和执行单元1422。
处理单元1410被配置为：使得(在主显示单元1402上显示用于处理单元1410所执行的应用程序的第一用户界面例如，使用主显示器控制单元1412)；使得在触摸屏显示单元1406上显示第二用户界面(例如，使用触摸屏显示器控制单元1414)，该第二用户界面包括与应用程序对应的一组一个或多个示能表示；检测通知(例如，使用通知单元1416)；并且响应于检测到通知，使得在触摸屏显示单元1406上的第二用户界面中同时显示与应用程序对应的该一组一个或多个示能表示和所检测到的通知的至少一部分(例如，使用触摸屏显示器控制单元1414)，其中所检测到的通知不在主显示单元1402上被显示。
在一些实施方案中，在检测通知之前，该处理单元1410被配置为检测用于选择通知设置以便在触摸屏显示单元1406上显示通知而不在主显示单元1402上显示通知的用户输入(例如，使用输入检测单元1418)。
在一些实施方案中，该处理单元1410被配置为检测触敏表面单元1408上的与所检测到的通知的一部分对应的用户触摸输入(例如，使用输入检测单元1418)。根据确定该用户触摸输入对应于第一类型(例如，轻扫手势)(例如，使用输入类型确定单元1420)，该处理单元1410被配置为停止在触摸屏显示单元1406上的第二用户界面中显示所检测到的通知的一部分(例如，使用触摸屏显示器控制单元1414)。根据确定该用户触摸输入对应于不同于第一类型的第二类型(例如，轻击接触)(例如，使用输入类型确定单元1420)，该处理单元1410被配置为执行与所检测到的通知相关联的动作(例如，使用执行单元1422)。
在一些实施方案中，在触摸屏显示单元1406上所显示的通知的一部分提示电子设备1400的用户选择多个选项中的一个选项，以用于对所检测到的通知作出响应。
在一些实施方案中，在触摸屏显示单元1406上所显示的通知的一部分包括对所检测到的通知的一个或多个建议响应。
在一些实施方案中，该通知对应于传入的即时消息、SMS、电子邮件、语音呼叫或视频通话中的至少一者。
在一些实施方案中，该通知对应于处理单元1410正在执行的应用程序响应于用于关闭该应用程序或在该应用程序内执行动作的用户输入而发布的模态警告。
在一些实施方案中，该一组一个或多个示能表示包括与至少一个系统级功能对应的至少一个系统级示能表示，并且通知对应于用于选择输入机构的一个或多个部分或系统级示能表示中的至少一个系统级示能表示的用户输入。
以上参考图9A至图9B所述的操作任选地由图3A至图3B或图14中所描绘的部件来实现。例如，检测操作922任选地由事件分类器370、事件识别器380和事件处理程序190来实现。事件分类器370中的事件监视器371在显示系统312被实现为触敏显示器时检测显示系统312上的接触，并且事件分配器模块374将事件信息递送到应用程序340-1。应用程序340-1的相应事件识别器380将事件信息与相应事件定义386进行比较，并且确定触敏显示器上的第一位置处的第一接触是否对应于预定义事件或子事件。当检测到相应预定义事件或子事件时，事件识别器380激活与该事件或子事件的检测相关联的事件处理程序390。事件处理程序390任选地使用或调用数据更新器376或对象更新器377来更新应用程序内部状态392。在一些实施方案中，事件处理程序390访问相应GUI更新器378来更新应用程序所显示的内容。类似地，本领域技术人员会清楚地知道基于在图3A至图3B中所示的部件可如何实现其他过程。
根据一些实施方案，图15示出了根据各种所述实施方案的原理进行配置的电子设备1500的功能框图。该设备的功能块任选地由进行各种所述实施方案的原则的硬件、软件、固件或其组合来实现。本领域的技术人员应当理解，图15中所述的功能块任选地被组合或被分离为子块，以便实现各种所述实施方案的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。为了便于论述，电子设备1500被实现为其部件对应于电子设备300(图3)的便携式计算系统100(图1A至图1B)。本领域的技术人员将理解电子设备1500还可如何在台式计算系统200(图2A至图2D)内实现。
如图15所示，电子设备1500包括被配置为显示信息的主显示单元1502(例如，图1A和图2A至图2D中的主显示器102)、被配置为接收用户输入的物理输入单元1504、被配置为显示信息的触摸屏显示(TSD)单元1506(本文中有时也被称为“触摸屏显示器”或“触摸屏”)(例如，图1A至图1B和图2A至图2D中的动态功能行104)、被配置为使用一个或多个传感器在触摸屏显示单元1506上接收接触的触敏表面单元1508，以及耦接到主显示单元1502、物理输入单元1504、触摸屏显示单元1506和触敏表面单元1508的处理单元1510。在一些实施方案中，处理单元1510包括：主显示器控制单元1512、触摸屏显示器(TSD)控制单元1514、识别单元1516、输入检测单元1518和确定单元1520。
处理单元1510被配置为：使得(在主显示单元1502上显示用户界面例如，使用主显示器控制单元1512)，该用户界面包括一个或多个用户界面元素；(识别这一个或多个用户界面元素中的在主显示单元1502上聚焦的活动用户界面元例如，使用识别单元1516)素，其中该活动用户界面元素与由处理单元1510所执行的应用程序相关联；并且响应于识别在主显示单元1502上聚焦的活动用户界面元素，使得在触摸屏显示单元1506上显示与应用程序对应的一组一个或多个示能表示(例如，使用触摸屏显示器控制单元1514)。该处理单元1510被配置为：检测用于移动用户界面的相应部分的用户输入(例如，使用输入检测单元1518)；并且响应于检测到该用户输入并且根据确定该用户输入满足预定义动作标准(例如，使用确定单元1520)：停止在主显示单元1502上显示用户界面的相应部分(例如，使用主显示器控制单元1512)；停止在触摸屏显示单元1506上显示该一组一个或多个示能表示的至少一个子组(例如，使用触摸屏显示器控制单元1514)；并且使得在触摸屏显示单元1506上显示对用户界面的相应部分的表示(例如，使用触摸屏显示器控制单元1514)。
在一些实施方案中，用户界面的相应部分是与由处理单元1510所执行的应用程序对应的菜单。
在一些实施方案中，该用户界面的相应部分是通知或模态警告中的至少一者。
在一些实施方案中，当用户输入是将用户界面的相应部分拖动到主显示单元1502的预定义位置的拖动手势时，满足预定义动作标准。
在一些实施方案中，当用户输入是与将用户界面的相应部分移动到触摸屏显示单元1506对应的预先确定输入时，满足预定义动作标准。
在一些实施方案中，响应于检测到用户输入并且根据确定用户输入不满足预定义动作标准(例如，使用确定单元1520)，该处理单元1510被配置为：维持对主显示单元1502上的用户界面的相应部分的显示(例如，使用主显示器控制单元1512)；并且维持对触摸屏显示单元1506上的该一组一个或多个示能表示的显示(例如，使用触摸屏显示器控制单元1514)。
在一些实施方案中，该一组一个或多个示能表示包括与至少一个系统级功能对应的至少一个系统级示能表示，并且该处理单元1510被配置为在触摸屏显示单元1506上显示对用户界面的相应部分的表示之后，维持对触摸屏显示单元1506上的至少一个系统级示能表示的显示(例如，使用触摸屏显示器控制单元1514)。
在一些实施方案中，对用户界面的相应部分的表示被重叠在触摸屏显示单元1506上的该一组一个或多个示能表示上。
以上参考图10A至图10C所述的操作任选地由图3A至图3B或图15中所描绘的部件来实现。例如，检测操作1008任选地由事件分类器370、事件识别器380和事件处理程序190来实现。事件分类器370中的事件监视器371在显示系统312被实现为触敏显示器时检测显示系统312上的接触，并且事件分配器模块374将事件信息递送到应用程序340-1。应用程序340-1的相应事件识别器380将事件信息与相应事件定义386进行比较，并且确定触敏显示器上的第一位置处的第一接触是否对应于预定义事件或子事件。当检测到相应预定义事件或子事件时，事件识别器380激活与该事件或子事件的检测相关联的事件处理程序390。事件处理程序390任选地使用或调用数据更新器376或对象更新器377来更新应用程序内部状态392。在一些实施方案中，事件处理程序390访问相应GUI更新器378来更新应用程序所显示的内容。类似地，本领域技术人员会清楚地知道基于在图3A至图3B中所示的部件可如何实现其他过程。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的示例性的讨论并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所述实施方案。

Claims (9)

1.一种将用户界面部分移动到触敏副显示器的方法，所述方法包括：
在包括一个或多个处理器、存储器、包括主显示器的第一外壳、以及至少部分地包含(i)物理键盘和(ii)不同于所述主显示器的触敏副显示器的第二外壳的计算系统处：
在所述主显示器上显示用户界面，所述用户界面包括具有相应显示大小的第一窗口和第二窗口，以及用户界面元素；
检测指向所述用户界面元素的输入，所述用户界面元素被显示以相邻于在被显示在所述主显示器上的所述用户界面中的所述第一窗口，其中所述输入包括移动；以及
响应于检测到所述移动：
朝所述触敏副显示器移动所述用户界面元素；
停止在所述主显示器上的所述用户界面内显示所述用户界面元素；
停止在所述触敏副显示器上显示一组一个或多个示能表示的至少一个子集；
在所述主显示器上的所述用户界面内保持所述第一窗口和所述第二窗口以其相应的显示大小的显示；以及
在被集成到包含所述物理键盘的所述第二外壳中的所述触敏副显示器上显示先前被显示在所述主显示器上的所述用户界面元素的表示。
2.根据权利要求1所述的方法，其中所述用户界面元素是与由所述计算系统所执行的应用程序相对应的菜单。
3.根据权利要求1所述的方法，其中所述用户界面元素是通知和模态警告中的一者。
4.根据权利要求1所述的方法，其中所述一组一个或多个示能表示包括与至少一个系统级功能相对应的至少一个系统级示能表示，所述方法还包括：
在所述触敏副显示器上显示所述用户界面元素的所述表示之后，在所述触敏副显示器上维持所述至少一个系统级示能表示的显示。
5.根据权利要求1所述的方法，其中所述用户界面的所述表示被重叠在所述触敏副显示器上的所述一组一个或多个示能表示上。
6.根据权利要求1所述的方法，其中：
当所述用户界面元素被显示在所述主显示器上的所述用户界面内时，所述用户界面元素包括相关联的内容；并且
在所述触敏副显示器上显示的所述用户界面元素的所述表示包括所述相关联的内容。
7.根据权利要求1所述的方法，其中：
所述主显示器上显示的所述用户界面中的所述第一窗口和所述第二窗口被显示在所述用户界面内的相应位置，并且
保持所述第一窗口和所述第二窗口以所述相应的显示大小的显示包括保持所述第一窗口和所述第二窗口在所述主显示器上的所述用户界面内的所述相应位置处的显示。
8.一种计算系统，包括：
一个或多个处理器；
第一外壳，所述第一外壳包括主显示器；
第二外壳，所述第二外壳至少部分地包含(i)物理键盘和(ii)不同于所述主显示器的触敏副显示器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括指令，所述指令用于执行根据权利要求1至7中任一项所述的方法或引起根据权利要求1至7中任一项所述的方法的执行。
9.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有包括主显示器的第一外壳以及至少部分地包含(i)物理键盘和(ii)不同于所述主显示器的触敏副显示器的和第二外壳的计算系统的一个或多个处理器执行时，使所述计算系统执行权利要求1至7中任一项所述的方法。
CN202010305200.3A 2014-01-23 2015-01-23 虚拟计算机键盘 Active CN111488110B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201461930663P 2014-01-23 2014-01-23
US61/930,663 2014-01-23
US201562104023P 2015-01-15 2015-01-15
US62/104,023 2015-01-15
CN201580005665.4A CN106233241B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
PCT/US2015/012694 WO2015112868A1 (en) 2014-01-23 2015-01-23 Virtual computer keyboard

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580005665.4A Division CN106233241B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘

Publications (2)

Publication Number Publication Date
CN111488110A CN111488110A (zh) 2020-08-04
CN111488110B true CN111488110B (zh) 2023-03-24

Family

ID=52450641

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202010307686.4A Active CN111488113B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
CN202010307026.6A Active CN111488112B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
CN202010306037.2A Active CN111488111B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
CN202010305200.3A Active CN111488110B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
CN201580005665.4A Active CN106233241B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
CN201610840116.5A Active CN106445184B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202010307686.4A Active CN111488113B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
CN202010307026.6A Active CN111488112B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
CN202010306037.2A Active CN111488111B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201580005665.4A Active CN106233241B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘
CN201610840116.5A Active CN106445184B (zh) 2014-01-23 2015-01-23 虚拟计算机键盘

Country Status (6)

Country Link
US (6) US10606539B2 (zh)
EP (3) EP3872659A1 (zh)
JP (6) JP6255109B2 (zh)
CN (6) CN111488113B (zh)
DK (2) DK179448B1 (zh)
WO (1) WO2015112868A1 (zh)

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9881528B2 (en) 2011-10-13 2018-01-30 Manufacturing Resources International, Inc. Transparent liquid crystal display on display case
US11089134B1 (en) 2011-12-19 2021-08-10 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
US10776103B2 (en) 2011-12-19 2020-09-15 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
US10057400B1 (en) 2012-11-02 2018-08-21 Majen Tech, LLC Lock screen interface for a mobile device apparatus
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
US11431834B1 (en) 2013-01-10 2022-08-30 Majen Tech, LLC Screen interface for a mobile device apparatus
US10051103B1 (en) 2013-01-10 2018-08-14 Majen Tech, LLC Screen interface for a mobile device apparatus
CN110308853B (zh) 2013-06-09 2022-07-15 苹果公司 用于移动用户界面对象的设备、方法和图形用户界面
CN111488113B (zh) 2014-01-23 2023-11-28 苹果公司 虚拟计算机键盘
US11914419B2 (en) 2014-01-23 2024-02-27 Apple Inc. Systems and methods for prompting a log-in to an electronic device based on biometric information received from a user
US20150293530A1 (en) * 2014-02-28 2015-10-15 Invensys Systems, Inc. Manufacturing execution system authorization
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US9633366B2 (en) 2014-06-16 2017-04-25 Manufacturing Resources International, Inc. System for tracking and analyzing display case usage
JP6482578B2 (ja) 2014-06-24 2019-03-13 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ユーザインタフェースにおけるナビゲートのためのカラムインタフェース
CN111078110B (zh) 2014-06-24 2023-10-24 苹果公司 输入设备和用户界面交互
WO2015200535A1 (en) * 2014-06-24 2015-12-30 Google Inc. Methods, systems and media for performing personalized actions on mobile devices associated with a media presentation device
EP3178222B1 (en) 2014-09-02 2018-07-04 Apple Inc. Remote camera user interface
US10649273B2 (en) 2014-10-08 2020-05-12 Manufacturing Resources International, Inc. LED assembly for transparent liquid crystal display and static graphic
US9832847B2 (en) * 2014-10-09 2017-11-28 Manufacturing Resources International, Inc. System for decreasing energy usage of a transparent LCD display case
US10182665B2 (en) 2014-10-15 2019-01-22 Manufacturing Resources International, Inc. System and method for preventing damage to products
CN105786371A (zh) * 2014-12-25 2016-07-20 富泰华工业（深圳）有限公司 电子装置及其界面显示控制方法
KR102314109B1 (ko) * 2015-01-05 2021-10-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
CN104536766B (zh) * 2015-01-09 2018-01-26 京东方科技集团股份有限公司 一种电子设备的控制方法及电子设备
EP3062225B1 (en) * 2015-02-24 2019-07-03 Huawei Technologies Co., Ltd. Multi-operating system device, notification device and methods thereof
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
USD779544S1 (en) * 2015-05-27 2017-02-21 Gamblit Gaming, Llc Display screen with graphical user interface
US10417447B2 (en) * 2015-06-15 2019-09-17 Arris Enterprises Llc Selective display of private user information
KR101675396B1 (ko) * 2015-08-17 2016-11-11 주식회사 티비알 키보드의 버튼 눌림 인식 방법
US10402617B2 (en) * 2015-09-30 2019-09-03 Apple Inc. Input devices incorporating biometric sensors
TW201907279A (zh) 2015-09-30 2019-02-16 美商蘋果公司 具有適應性輸入列之鍵盤
US20170134471A1 (en) * 2015-11-10 2017-05-11 Genband Us Llc Web-Based Client for Providing Real-Time Communications
US10366114B2 (en) * 2015-11-15 2019-07-30 Microsoft Technology Licensing, Llc Providing data presentation functionality associated with collaboration database
JP2017181584A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US11250118B2 (en) 2016-06-12 2022-02-15 Apple Inc. Remote interaction with a device using secure range detection
US11176237B2 (en) * 2016-06-12 2021-11-16 Apple Inc. Modifying security state with secured range detection
DK179757B1 (en) * 2016-06-12 2019-05-08 Apple Inc. User Interface for Camera Effects
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
US10009536B2 (en) * 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US11582215B2 (en) 2016-06-12 2023-02-14 Apple Inc. Modifying security state with secured range detection
US10692407B2 (en) 2016-07-08 2020-06-23 Manufacturing Resources International, Inc. Mirror having an integrated electronic display
US20180034764A1 (en) * 2016-07-29 2018-02-01 Linkedin Corporation Selecting applications for message handling
AU2017100879B4 (en) * 2016-07-29 2017-09-28 Apple Inc. Systems, devices, and methods for dynamically providing user interface controls at touch-sensitive secondary display
KR20180015441A (ko) * 2016-08-03 2018-02-13 엘지전자 주식회사 롤리 키보드
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US10732996B2 (en) * 2016-09-23 2020-08-04 Apple Inc. Dynamic function row constraints
US10394449B2 (en) 2016-09-23 2019-08-27 Apple Inc. Dynamic function row management
US10223128B2 (en) 2016-09-23 2019-03-05 Apple Inc. Booting and power management
US10261667B2 (en) 2016-09-23 2019-04-16 Apple Inc. Dynamic function row item discovery and context
CN109661642A (zh) * 2016-10-07 2019-04-19 惠普发展公司，有限责任合伙企业 具有辅显示设备的键盘
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
KR20230111276A (ko) 2016-10-26 2023-07-25 애플 인크. 전자 디바이스 상의 다수의 콘텐츠 애플리케이션으로부터의콘텐츠를 브라우징하기 위한 사용자 인터페이스
USD943624S1 (en) 2016-10-27 2022-02-15 Apple Inc. Electronic device with pair of display screens or portions thereof each with animated graphical user interface
USD817993S1 (en) * 2016-10-27 2018-05-15 Apple Inc. Display screen or portion thereof with graphical user interface
USD842892S1 (en) * 2016-10-27 2019-03-12 Apple Inc. Electronic device with pair of display screens or portions thereof each with graphical user interface
USD927529S1 (en) 2019-01-11 2021-08-10 Apple Inc. Electronic device with pair of display screens or portions thereof each with graphical user interface
US10848483B2 (en) * 2016-12-08 2020-11-24 Ricoh Company, Ltd. Shared terminal, communication system, and display control method, and recording medium
US11036354B2 (en) * 2016-12-19 2021-06-15 Oracle International Corporation Integrating desktop and mobile devices
CN106775743B (zh) * 2016-12-27 2020-05-19 宇龙计算机通信科技(深圳)有限公司 一种底部托盘与虚拟按键显示方法、装置和终端
USD841673S1 (en) * 2017-01-06 2019-02-26 Honda Motor Co., Ltd. Display screen with graphical user interface
US11678445B2 (en) 2017-01-25 2023-06-13 Apple Inc. Spatial composites
US20180239885A1 (en) * 2017-02-21 2018-08-23 Qualcomm Incorporated User equipment with smart biometric unlock
CN114756781A (zh) * 2017-02-27 2022-07-15 华为技术有限公司 一种显示收藏对象的方法和终端
CN115686136A (zh) 2017-03-29 2023-02-03 苹果公司 具有集成接口系统的设备
CN108664080A (zh) * 2017-03-31 2018-10-16 华硕电脑股份有限公司 控制方法、电子装置及非瞬时电脑可读取记录介质
WO2018195730A1 (zh) * 2017-04-24 2018-11-01 北京小米移动软件有限公司 屏幕控制方法及装置
CN108804000B (zh) * 2017-04-26 2021-07-27 深圳富泰宏精密工业有限公司 电子装置及外接显示器操作方法
US10382372B1 (en) * 2017-04-27 2019-08-13 Snap Inc. Processing media content based on original context
DK179932B1 (en) 2017-05-16 2019-10-11 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR NAVIGATING, DISPLAYING, AND EDITING MEDIA ITEMS WITH MULTIPLE DISPLAY MODES
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10747403B2 (en) 2017-08-07 2020-08-18 International Business Machines Corporation Adaptable user input interface
CN107562347B (zh) * 2017-09-07 2021-04-13 北京小米移动软件有限公司 显示对象的方法和装置
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
KR102389678B1 (ko) 2017-09-09 2022-04-21 애플 인크. 생체측정 인증의 구현
US10496172B2 (en) * 2017-09-27 2019-12-03 Qualcomm Incorporated Method and apparatus for haptic feedback
US10394342B2 (en) 2017-09-27 2019-08-27 Facebook Technologies, Llc Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
CN111279287B (zh) 2017-09-29 2023-08-15 苹果公司 多部件设备外壳
US11194463B2 (en) 2017-11-08 2021-12-07 Google Llc Methods, systems, and media for presenting offset content
US10642317B2 (en) * 2018-01-24 2020-05-05 Dell Products L.P. Clasp with integrated biometric sensor to authenticate a user of a dual-housing device
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10635134B2 (en) 2018-05-11 2020-04-28 Apple Inc. Systems and methods for customizing display modes for a touch-sensitive secondary display
USD896248S1 (en) * 2018-05-12 2020-09-15 Canva Pty Ltd. Display screen or portion thereof with an animated graphical user interface
EP3685253A1 (en) * 2018-05-25 2020-07-29 Apple Inc. Portable computer with dynamic display interface
CN108829304A (zh) 2018-05-29 2018-11-16 维沃移动通信有限公司 一种显示控制方法及终端
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
USD869491S1 (en) * 2018-06-03 2019-12-10 Apple Inc. Electronic device with graphical user interface
USD951243S1 (en) * 2018-08-15 2022-05-10 Asustek Computer Inc. Electronic device with display screen with animated graphical user interface and keyboard
USD947206S1 (en) * 2018-08-15 2022-03-29 Asustek Computer Inc. Electronic device with animated graphical user interface
US11175769B2 (en) 2018-08-16 2021-11-16 Apple Inc. Electronic device with glass enclosure
US11133572B2 (en) 2018-08-30 2021-09-28 Apple Inc. Electronic device with segmented housing having molded splits
US11258163B2 (en) 2018-08-30 2022-02-22 Apple Inc. Housing and antenna architecture for mobile device
US11189909B2 (en) 2018-08-30 2021-11-30 Apple Inc. Housing and antenna architecture for mobile device
US10705570B2 (en) 2018-08-30 2020-07-07 Apple Inc. Electronic device housing with integrated antenna
TWM593701U (zh) * 2018-09-03 2020-04-11 文榮創讀股份有限公司 個人化自動播放設定系統
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10282248B1 (en) 2018-11-27 2019-05-07 Capital One Services, Llc Technology system auto-recovery and optimality engine and techniques
US10275331B1 (en) 2018-11-27 2019-04-30 Capital One Services, Llc Techniques and system for optimization driven by dynamic resilience
CN109743448B (zh) * 2018-12-26 2020-10-16 南京维沃软件技术有限公司 提示方法及终端设备
USD926204S1 (en) 2019-02-15 2021-07-27 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
USD928829S1 (en) * 2019-02-15 2021-08-24 Canva Pty Ltd. Display screen or portion thereof with an animated graphical user interface
WO2020198221A1 (en) 2019-03-24 2020-10-01 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
US11057682B2 (en) 2019-03-24 2021-07-06 Apple Inc. User interfaces including selectable representations of content items
US11962836B2 (en) 2019-03-24 2024-04-16 Apple Inc. User interfaces for a media browsing application
CN114399013A (zh) 2019-04-17 2022-04-26 苹果公司 无线可定位标签
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
US10698701B1 (en) 2019-06-01 2020-06-30 Apple Inc. User interface for accessing an account
CN110727380A (zh) * 2019-08-28 2020-01-24 华为技术有限公司 一种消息提醒方法及电子设备
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11762809B2 (en) * 2019-10-09 2023-09-19 Capital One Services, Llc Scalable subscriptions for virtual collaborative workspaces
KR20210044025A (ko) * 2019-10-14 2021-04-22 삼성전자주식회사 전자 장치 및 그의 멀티 윈도우를 이용한 팝업 윈도우를 처리하는 방법
CN110764858A (zh) * 2019-10-18 2020-02-07 北京百度网讯科技有限公司 显示方法、显示装置和电子设备
USD973677S1 (en) * 2019-11-27 2022-12-27 GE Precision Healthcare LLC Display screen with graphical user interface
USD973676S1 (en) * 2019-11-27 2022-12-27 GE Precision Healthcare LLC Display screen with graphical user interface
USD989773S1 (en) * 2019-11-27 2023-06-20 GE Precision Healthcare LLC Display screen with graphical user interface
EP4107609A1 (en) * 2020-02-21 2022-12-28 Ambu A/S User interface for a medical visualisation system
US11426055B2 (en) 2020-02-21 2022-08-30 Ambu A/S Medical visualisation system including a monitor and a graphical user interface therefore
US11762538B2 (en) 2020-03-10 2023-09-19 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
WO2021225250A1 (ko) * 2020-05-07 2021-11-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US11789539B2 (en) * 2020-05-29 2023-10-17 Mitsubishi Electric Corporation Display
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
US11601419B2 (en) 2020-06-21 2023-03-07 Apple Inc. User interfaces for accessing an account
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
CN113453063B (zh) * 2021-06-18 2023-04-07 Vidaa(荷兰)国际控股有限公司 一种资源播放方法及显示设备
JP2023019653A (ja) * 2021-07-29 2023-02-09 株式会社リコー 機器、表示方法、プログラム
KR20230040093A (ko) * 2021-09-15 2023-03-22 사회복지법인 삼성생명공익재단 영상 컨텐츠를 이용한 바이오피드백 방법, 컴퓨터 프로그램 및 시스템
US20230136004A1 (en) * 2021-10-30 2023-05-04 Quoori Inc. System and method of quoori filmstrip feature
US11630524B1 (en) * 2021-12-09 2023-04-18 Majestic Devices Wireless input output apparatus
EP4273678A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
WO2023229932A1 (en) * 2022-05-23 2023-11-30 Snap Inc. Context cards for media supplementation
US11893960B1 (en) * 2022-08-31 2024-02-06 Dell Products L.P. Information handling system collaborative touchpad display brightness management
US11899923B1 (en) 2022-08-31 2024-02-13 Dell Products L.P. Information handling system collaborative touchpad cursor over control icons

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324821A (zh) * 2007-06-12 2008-12-17 Lg电子株式会社 便携装置
CN101520720A (zh) * 2009-04-08 2009-09-02 李丽丽 一种显示系统及其显示装置
EP2129085A1 (en) * 2008-05-29 2009-12-02 LG Electronics Inc. Transparent display and operation method thereof
CN101727287A (zh) * 2009-12-29 2010-06-09 宇龙计算机通信科技(深圳)有限公司 一种定制信息的提示方法、系统及移动终端
CN101893914A (zh) * 2009-05-22 2010-11-24 Lg电子株式会社 移动终端和使用该移动终端来提供图形用户界面的方法

Family Cites Families (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3956745A (en) 1971-12-16 1976-05-11 The Marconi Company Limited Programmable keyboard arrangements
JP3288085B2 (ja) * 1992-10-23 2002-06-04 株式会社日立製作所 携帯型情報通信装置
US6396483B1 (en) 1996-06-28 2002-05-28 Jeffrey H. Hiller Keyboard incorporating multi-function flat-panel input device and/or display
JPH10124217A (ja) * 1996-10-16 1998-05-15 Hitachi Electron Service Co Ltd 入力機能を有する補助出力表示装置
WO1998044482A1 (en) * 1997-03-31 1998-10-08 Ttsi (Technical Telephone Systems, Inc.) Computer-telephony integration employing an intelligent keyboard and method for same
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6111527A (en) 1998-06-18 2000-08-29 Susel; Irving Expandable keyboard
KR200184982Y1 (ko) * 1999-11-08 2000-06-15 삼성전자주식회사 지문인식기능을 가지는 디스플레이장치
GB2357335B (en) * 1999-12-17 2004-04-07 Nokia Mobile Phones Ltd Fingerprint recognition and pointing device
JP4672108B2 (ja) 2000-06-01 2011-04-20 シャープ株式会社 情報処理装置およびその制御方法
WO2002008850A2 (en) * 2000-07-19 2002-01-31 Young Wan Kim System and method for cardless secure credit transaction processing
US7730401B2 (en) 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US8990713B2 (en) * 2011-09-27 2015-03-24 Z124 Unified desktop triad control user interface for an application manager
JP2003162355A (ja) * 2001-11-26 2003-06-06 Sony Corp タスクの表示切り替え方法及び携帯機器及び携帯通信機器
JP2003339079A (ja) * 2002-05-20 2003-11-28 Ntt Docomo Inc 移動通信端末、プログラム及び記録媒体
JP3892760B2 (ja) 2002-05-31 2007-03-14 株式会社東芝 情報処理装置
US7221330B2 (en) 2002-12-09 2007-05-22 Nokia Corporation Folding terminal with slider to fix terminal in a flat unfolded configuration
JP4402365B2 (ja) * 2003-04-14 2010-01-20 富士通株式会社 端末
US7884804B2 (en) 2003-04-30 2011-02-08 Microsoft Corporation Keyboard with input-sensitive display device
US20040239615A1 (en) 2003-05-27 2004-12-02 International Business Machines Corporation System and method for providing a computer user with alerts using a lighted mouse pad
JP4193669B2 (ja) * 2003-10-14 2008-12-10 ソニー株式会社 通話システム及び画像情報送受信方法
JP2006018613A (ja) * 2004-07-02 2006-01-19 Oki Electric Ind Co Ltd 自動取引装置
US20060020904A1 (en) * 2004-07-09 2006-01-26 Antti Aaltonen Stripe user interface
US7703036B2 (en) * 2004-08-16 2010-04-20 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
US8207816B2 (en) 2005-07-18 2012-06-26 Law Enforcement Intelligent Devices, Llc Biometric access control system
US7838687B2 (en) * 2005-08-29 2010-11-23 Brown University Redox-active polymers and their applications
JP2007289457A (ja) * 2006-04-26 2007-11-08 Matsushita Electric Ind Co Ltd 指紋認証装置および指紋認証方法
JP4736049B2 (ja) * 2006-04-26 2011-07-27 ニプロ株式会社 注射器
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置
JP4702239B2 (ja) * 2006-09-20 2011-06-15 株式会社日立製作所 生体認証装置及びこれを備えた情報処理装置
JP4971768B2 (ja) * 2006-12-07 2012-07-11 キヤノン株式会社 編集装置、編集方法、およびプログラム
US8205150B2 (en) * 2007-01-22 2012-06-19 Cfph, Llc Document changes
CN101252607A (zh) 2007-02-25 2008-08-27 北京三星通信技术研究有限公司 带有扩展显示屏的滑盖式手机
EP1990744B1 (en) * 2007-05-09 2013-01-23 Research In Motion Limited User interface for editing photo tags
US8078984B2 (en) * 2007-06-19 2011-12-13 Microsoft Corporation Virtual keyboard text replication
US8078885B2 (en) * 2007-07-12 2011-12-13 Innovation Investments, Llc Identity authentication and secured access systems, components, and methods
KR101369676B1 (ko) 2007-07-25 2014-03-04 엘지전자 주식회사 휴대용 컴퓨터의 보조 입출력 장치 및 이를 이용한애플리케이션의 실행 방법
JP5012376B2 (ja) * 2007-09-28 2012-08-29 ブラザー工業株式会社 カラオケ用リモコン
US20110047459A1 (en) * 2007-10-08 2011-02-24 Willem Morkel Van Der Westhuizen User interface
EP2221714A1 (en) * 2007-12-11 2010-08-25 Panasonic Corporation Automatic focus shifting device and method thereof
JP4697551B2 (ja) * 2007-12-21 2011-06-08 ソニー株式会社 通信装置、入力制御方法及び入力制御プログラム
CN101232678A (zh) * 2007-12-27 2008-07-30 华为技术有限公司 一种菜单选择的方法和终端
JP2009169735A (ja) 2008-01-17 2009-07-30 Sharp Corp 情報処理表示装置
US8776198B2 (en) 2008-02-01 2014-07-08 Oracle International Corporation Techniques for non-unique identity establishment
US20090201254A1 (en) * 2008-02-08 2009-08-13 Elliot Rais Transportable/convertible desktop computer
JP5567783B2 (ja) 2008-03-27 2014-08-06 オリンパスイメージング株式会社 画像表示装置
TWI360775B (en) 2008-04-22 2012-03-21 Htc Corp Method and apparatus for operating user interface
JP4171770B1 (ja) 2008-04-24 2008-10-29 任天堂株式会社 オブジェクト表示順変更プログラム及び装置
CN101571785B (zh) * 2008-04-29 2013-03-27 宏达国际电子股份有限公司 用户界面的操作方法、装置及储存媒体
US8099332B2 (en) * 2008-06-06 2012-01-17 Apple Inc. User interface for application management for a mobile device
KR101485392B1 (ko) * 2008-06-19 2015-01-23 엘지전자 주식회사 휴대 단말기
JP2011018085A (ja) 2008-06-19 2011-01-27 Panasonic Corp 情報処理装置
JP2010009534A (ja) 2008-06-30 2010-01-14 Fujitsu Ltd 電子装置及び表示方法
US20100037064A1 (en) * 2008-08-06 2010-02-11 Allen Ku Method of encryption and decryption and a keyboard apparatus integrated with functions of memory card reader and fingerprint encryption/decryption
CN101382842A (zh) 2008-08-22 2009-03-11 合肥工业大学 单行按键超小型键盘及其复用键值的切换方法
JP2010066918A (ja) 2008-09-09 2010-03-25 Nec Personal Products Co Ltd 情報処理装置および表示制御方法
US9026462B2 (en) * 2008-09-30 2015-05-05 Apple Inc. Portable point of purchase user interfaces
JP5526397B2 (ja) 2008-10-28 2014-06-18 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
JP5278948B2 (ja) 2008-12-01 2013-09-04 シャープ株式会社 オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム
CN101441525B (zh) 2008-12-13 2010-06-02 旭丽电子(广州)有限公司 电脑键盘
US9842356B2 (en) * 2008-12-17 2017-12-12 Iii Holdings 1, Llc System, method, apparatus and computer program product for interfacing a multi-card radio frequency (RF) device with a mobile communications device
US20100156595A1 (en) * 2008-12-24 2010-06-24 Kwok Fong Wong Control Panel for Controlling Information Processing System
KR101569776B1 (ko) * 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
JP2010183500A (ja) * 2009-02-09 2010-08-19 Sony Corp 情報処理装置および方法、並びにプログラム
US9852761B2 (en) * 2009-03-16 2017-12-26 Apple Inc. Device, method, and graphical user interface for editing an audio or video attachment in an electronic message
US20100265182A1 (en) * 2009-04-20 2010-10-21 Microsoft Corporation Context-based state change for an adaptive input device
CN101876879B (zh) 2009-04-29 2012-09-19 深圳富泰宏精密工业有限公司 双轴式滑动界面应用系统及方法
KR101587211B1 (ko) * 2009-05-25 2016-01-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP4910119B2 (ja) * 2009-07-01 2012-04-04 テクトロニクス・インターナショナル・セールス・ゲーエムベーハー 測定装置の制御方法
JP5571200B2 (ja) 2010-01-26 2014-08-13 タッチチューンズ ミュージック コーポレイション 改善されたユーザインターフェースを備えたデジタルジュークボックス装置および関連手法
CN102279698A (zh) * 2010-01-29 2011-12-14 诺基亚公司 虚拟键盘、输入方法和相关的存储介质
EP2355017A1 (en) * 2010-02-04 2011-08-10 Research In Motion Limited Method for advanced email thread management
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
WO2011130422A2 (en) * 2010-04-13 2011-10-20 Visa International Service Association Mobile phone as a switch
JP2012004747A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 電子機器および画像表示方法
JP2012003508A (ja) 2010-06-16 2012-01-05 Toshiba Corp 情報処理装置、方法及びプログラム
US8248373B2 (en) 2010-06-18 2012-08-21 Microsoft Corporation Contextual control of dynamic input device
JP5023193B2 (ja) * 2010-06-28 2012-09-12 株式会社東芝 情報処理装置
KR101688942B1 (ko) * 2010-09-03 2016-12-22 엘지전자 주식회사 다중 디스플레이에 기반한 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
US20120068933A1 (en) * 2010-09-17 2012-03-22 Microsoft Corporation Interactive keyboard with multiple different key arrangements
JP5269851B2 (ja) * 2010-09-27 2013-08-21 富士フイルム株式会社 画像編集装置及びその画像編集方法並びにそのプログラム
US8548992B2 (en) * 2010-10-28 2013-10-01 Cary Scott Abramoff User interface for a digital content management system
US20120253985A1 (en) * 2010-11-08 2012-10-04 Kwift SAS Method and system for extraction and accumulation of shopping data
CN103502920B (zh) * 2011-01-05 2015-10-21 雷蛇(亚太)私人有限公司 使用可显示的键盘、辅助键盘和/或其它用户输入设备管理、选择和更新可视界面内容的系统及方法
US9369635B1 (en) 2011-01-07 2016-06-14 Apptopus, Inc. Director/camera communication system and method for wireless multi-camera video production
JP2012160111A (ja) * 2011-02-02 2012-08-23 Itoki Corp メッセージ表示システム、メッセージ表示装置及びメッセージ表示プログラム
EP3734407A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
US8467663B2 (en) * 2011-02-18 2013-06-18 Apple Inc. Video context popups
EP2686758B1 (en) 2011-03-17 2020-09-30 Laubach, Kevin Input device user interface enhancements
EP2500807A1 (en) * 2011-03-18 2012-09-19 Research In Motion Limited Portable electronic device including touch-sensitive display and method of entering text via virtual keyboard
US9256719B2 (en) * 2011-05-18 2016-02-09 Nextgenid, Inc. Multi-biometric enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems
US8627096B2 (en) 2011-07-14 2014-01-07 Sensible Vision, Inc. System and method for providing secure access to an electronic device using both a screen gesture and facial biometrics
TWI461963B (zh) * 2011-08-17 2014-11-21 Wistron Corp 電腦鍵盤及其控制方法
US9933935B2 (en) * 2011-08-26 2018-04-03 Apple Inc. Device, method, and graphical user interface for editing videos
US8922476B2 (en) * 2011-08-31 2014-12-30 Lenovo (Singapore) Pte. Ltd. Information handling devices with touch-based reflective display
US20130067545A1 (en) * 2011-09-13 2013-03-14 Sony Computer Entertainment America Llc Website Security
JP5908691B2 (ja) * 2011-09-28 2016-04-26 京セラ株式会社 携帯電子機器
US9043411B2 (en) * 2011-09-29 2015-05-26 Microsoft Technology Licensing, Llc Inline message composing with visible list view
US9454186B2 (en) * 2011-09-30 2016-09-27 Nokia Technologies Oy User interface
JP5930363B2 (ja) * 2011-11-21 2016-06-08 株式会社ソニー・インタラクティブエンタテインメント 携帯情報機器およびコンテンツ表示方法
US9147181B2 (en) * 2011-12-07 2015-09-29 International Business Machines Corporation Pre-transmission contextual electronic message prompting
US9400893B2 (en) 2011-12-15 2016-07-26 Facebook, Inc. Multi-user login for shared mobile devices
US20130173925A1 (en) * 2011-12-28 2013-07-04 Ester Yen Systems and Methods for Fingerprint-Based Operations
EP2660692A1 (en) * 2012-04-30 2013-11-06 BlackBerry Limited Configurable touchscreen keyboard
CN202562233U (zh) * 2012-05-02 2012-11-28 刘方旭 一种电加热压缩空气升温置换罐
US20130322705A1 (en) 2012-05-30 2013-12-05 Google Inc. Facial and fingerprint authentication
KR101909030B1 (ko) 2012-06-08 2018-10-17 엘지전자 주식회사 비디오 편집 방법 및 이를 위한 디지털 디바이스
EP2685555B1 (en) * 2012-07-12 2016-09-28 BlackBerry Limited A tri-band antenna for noncellular wireless applications
US20190056828A1 (en) 2012-09-06 2019-02-21 Google Inc. User interface transitions
US9696879B2 (en) 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
TW201413564A (zh) * 2012-09-20 2014-04-01 Hon Hai Prec Ind Co Ltd 桌面切換系統及方法
US20140095551A1 (en) 2012-09-28 2014-04-03 Interactive Memories, Inc. Methods for Optimizing Storage Space and Reducing Redundancy in Data Reproduction for Data Stored for Creating Image-Based Products through an Electronic Interface
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
CN104969527A (zh) 2012-12-07 2015-10-07 优特设备有限公司 向设备驱动器发布通知数据
EP2742869A1 (en) * 2012-12-12 2014-06-18 Samsung Medison Co., Ltd. Ultrasound apparatus and method of inputting information into the same
JP6525888B2 (ja) 2013-01-04 2019-06-05 ジョンソン コントロールズ テクノロジー カンパニーＪｏｈｎｓｏｎ Ｃｏｎｔｒｏｌｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｍｐａｎｙ コンテキストに基づいた車両ユーザインターフェースの再構成
CN103235688A (zh) * 2013-04-17 2013-08-07 昆山富泰科电脑有限公司 一种在智能设备通知栏快捷处理消息的方法与图形用户界面
KR102147686B1 (ko) 2013-06-21 2020-08-26 삼성전자주식회사 오브젝트 실행 장치 및 방법
KR20150007910A (ko) 2013-07-11 2015-01-21 삼성전자주식회사 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
CN111488113B (zh) 2014-01-23 2023-11-28 苹果公司 虚拟计算机键盘
US11237710B2 (en) 2014-06-30 2022-02-01 Lenovo (Singapore) Pte. Ltd. Multi-function slide control
KR102358749B1 (ko) 2014-12-26 2022-02-07 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US20170315704A1 (en) 2016-05-02 2017-11-02 Microsoft Technology Licensing, Llc Application user interfaces with scrollable color palettes
AU2017100879B4 (en) 2016-07-29 2017-09-28 Apple Inc. Systems, devices, and methods for dynamically providing user interface controls at touch-sensitive secondary display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324821A (zh) * 2007-06-12 2008-12-17 Lg电子株式会社 便携装置
EP2129085A1 (en) * 2008-05-29 2009-12-02 LG Electronics Inc. Transparent display and operation method thereof
CN101520720A (zh) * 2009-04-08 2009-09-02 李丽丽 一种显示系统及其显示装置
CN101893914A (zh) * 2009-05-22 2010-11-24 Lg电子株式会社 移动终端和使用该移动终端来提供图形用户界面的方法
CN101727287A (zh) * 2009-12-29 2010-06-09 宇龙计算机通信科技(深圳)有限公司 一种定制信息的提示方法、系统及移动终端

Also Published As

Publication number Publication date
US10613808B2 (en) 2020-04-07
JP2018173974A (ja) 2018-11-08
EP3130999A1 (en) 2017-02-15
CN111488111A (zh) 2020-08-04
DK179448B1 (da) 2018-10-11
JP6255109B2 (ja) 2017-12-27
US20170010847A1 (en) 2017-01-12
DK179303B1 (en) 2018-04-23
US20170010846A1 (en) 2017-01-12
CN111488112B (zh) 2024-03-08
JP6359056B2 (ja) 2018-07-18
CN111488110A (zh) 2020-08-04
CN111488113B (zh) 2023-11-28
JP2023126782A (ja) 2023-09-12
JP2021168168A (ja) 2021-10-21
DK201670555A1 (zh) 2016-07-26
EP3872659A1 (en) 2021-09-01
US20170010771A1 (en) 2017-01-12
JP6728275B2 (ja) 2020-07-22
US10908864B2 (en) 2021-02-02
CN111488112A (zh) 2020-08-04
JP2020144878A (ja) 2020-09-10
US20200225902A1 (en) 2020-07-16
CN111488113A (zh) 2020-08-04
US10754603B2 (en) 2020-08-25
CN106233241B (zh) 2020-03-31
DK201670559A1 (en) 2016-07-27
JP6908753B2 (ja) 2021-07-28
US20220244900A1 (en) 2022-08-04
JP2017504128A (ja) 2017-02-02
US20210048967A1 (en) 2021-02-18
US11321041B2 (en) 2022-05-03
CN106445184B (zh) 2019-05-17
CN106233241A (zh) 2016-12-14
CN106445184A (zh) 2017-02-22
EP3097472A1 (en) 2016-11-30
EP3130999B1 (en) 2019-01-23
CN111488111B (zh) 2023-10-20
US10606539B2 (en) 2020-03-31
WO2015112868A1 (en) 2015-07-30
JP2017027605A (ja) 2017-02-02
EP3097472B1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
US11321041B2 (en) Systems, devices, and methods for dynamically providing user interface controls at a touch-sensitive secondary display
US20240061557A1 (en) Device, Method, and Graphical User Interface for Providing Navigation and Search Functionalities
US20210019028A1 (en) Method, device, and graphical user interface for tabbed and private browsing
US10831337B2 (en) Device, method, and graphical user interface for a radial menu system
US20220222093A1 (en) User interface for a touch screen device in communication with a physical keyboard
US20160291858A1 (en) Device, Method, and Graphical User Interface for Adjusting the Appearance of a Control
US11914419B2 (en) Systems and methods for prompting a log-in to an electronic device based on biometric information received from a user

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant