CN113939799A - 用于音频消息的用户界面 - Google Patents

用于音频消息的用户界面 Download PDF

Info

Publication number
CN113939799A
CN113939799A CN202180003575.7A CN202180003575A CN113939799A CN 113939799 A CN113939799 A CN 113939799A CN 202180003575 A CN202180003575 A CN 202180003575A CN 113939799 A CN113939799 A CN 113939799A
Authority
CN
China
Prior art keywords
user interface
media
displaying
accessory
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180003575.7A
Other languages
English (en)
Inventor
A·S·金
P·L·科夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA202070617A external-priority patent/DK202070617A1/en
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202111652452.4A priority Critical patent/CN114327354A/zh
Publication of CN113939799A publication Critical patent/CN113939799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开整体涉及管理音频消息。在一些示例中，描述了用于录制和发送音频消息的用户界面。在一些示例中，描述了用于显示通知的用户界面。在一些示例中，描述了用于显示视觉指示的用户界面。在一些示例中，描述了用于管理外部设备的用户界面。在一些示例中，描述了用于回放音频消息的用户界面。

Description

用于音频消息的用户界面
相关申请的交叉引用
本专利申请要求提交于2020年5月11日标题为“USER INTERFACE FOR AUDIOMESSAGE”的美国临时专利申请序列号63/023,225、提交于2020年6月21日标题为“USERINTERFACE FOR AUDIO MESSAGE”的美国临时专利申请序列号63/041,979、提交于2020年10月12日标题为“USER INTERFACE FOR AUDIO MESSAGE”的美国临时专利申请序列号63/090,632、提交于2020年9月22日标题为“USER INTERFACE FOR AUDIO MESSAGE”的丹麦专利申请序列号PA 2020 70617的优先权，这些专利申请的内容据此全文以引用方式并入。
技术领域
本公开整体涉及计算机用户界面，更具体地，涉及用于管理音频消息的技术。
背景技术
用户发送即时消息以使用字母数字文本与其他用户通信。此类消息传递技术通常要求用户使用键盘输入文本或要求设备将音频转录成文本以在随后发送。用户使用移动设备与外部设备进行交互。此类交互通常很麻烦，并且需要用户单独地与多个外部设备进行交互。
发明内容
用于使用电子设备来管理音频消息的当前技术通常很麻烦且效率低下。例如，一些现有技术使用复杂且耗时的用户界面，该用户界面可包括多次按键或击键。现有技术需要比所需更多的时间，这导致浪费用户的时间和设备能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，本技术为电子设备提供了用于管理音频消息的更快、更有效的方法和界面。此类方法和界面任选地补充或替换用于管理消息的其他方法。此类方法和界面减少对用户所造成的认知负担，并且产生更有效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。此类方法和界面使得被传输的消息能够包括消息的音调(例如，傲慢、严肃、刻薄、悲伤、愉快)而不仅仅包括消息的字词，并且通过说话人自己的声音使得接收人能够识别消息的说话人。此类方法和界面还减少或消除了使用键盘提供输入或使用输入校正转录的需要。
用于管理移动设备处的外部设备的状态的当前技术通常很麻烦且效率低下。例如，一些现有技术使用复杂且耗时的用户界面，该用户界面可包括多次按键或击键。现有技术需要比所需更多的时间，这导致浪费用户的时间和设备能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，本技术为电子设备提供了更快、更有效的方法和界面，以用于管理外部设备。此类方法和界面任选地补充或替换用于管理外部设备的其他方法，诸如允许用户经由单个输入管理单个外部设备或同时管理外部设备。此类方法和界面减少对用户所造成的认知负担，并且产生更有效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。
根据一些实施方案，描述了一种方法。该方法在与显示生成部件通信的计算机系统处执行。该方法包括：经由显示生成部件显示第一用户界面，该第一用户界面包括：第一可选用户界面对象，其中对该第一可选用户界面对象的选择发起用于录制第一音频消息并将该第一音频消息发送到一组外部设备的过程，其中该组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和第一附件控制用户界面对象，该第一附件控制用户界面对象对应于第一外部附件设备，其中对该第一附件控制用户界面对象的选择发起用于传输改变该第一外部附件设备的状态的指令的过程；在显示该第一用户界面时，接收对应于显示第二用户界面的请求的输入；以及响应于接收到显示该第二用户界面的请求，显示该第二用户界面，其中该第二用户界面包括：第二可选用户界面对象，其中对该第二可选用户界面对象的选择发起用于录制第二音频消息并将该第二音频消息发送到该第二组一个或多个外部设备而不将该第二音频消息发送到该第一组一个或多个外部设备的过程；和第二附件控制用户界面对象，该第二附件控制用户界面对象对应于第二外部附件设备，其中对该第二附件控制用户界面对象的选择发起用于传输改变该第二外部附件设备的状态的指令的过程。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由显示生成部件显示第一用户界面，该第一用户界面包括：第一可选用户界面对象，其中对该第一可选用户界面对象的选择发起用于录制第一音频消息并将该第一音频消息发送到一组外部设备的过程，其中该组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和第一附件控制用户界面对象，该第一附件控制用户界面对象对应于第一外部附件设备，其中对该第一附件控制用户界面对象的选择发起用于传输改变该第一外部附件设备的状态的指令的过程；在显示该第一用户界面时，接收对应于显示第二用户界面的请求的输入；以及响应于接收到显示该第二用户界面的请求，显示该第二用户界面，其中该第二用户界面包括：第二可选用户界面对象，其中对该第二可选用户界面对象的选择发起用于录制第二音频消息并将该第二音频消息发送到该第二组一个或多个外部设备而不将该第二音频消息发送到该第一组一个或多个外部设备的过程；和第二附件控制用户界面对象，该第二附件控制用户界面对象对应于第二外部附件设备，其中对该第二附件控制用户界面对象的选择发起用于传输改变该第二外部附件设备的状态的指令的过程。
根据一些实施方案，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由显示生成部件显示第一用户界面，该第一用户界面包括：第一可选用户界面对象，其中对该第一可选用户界面对象的选择发起用于录制第一音频消息并将该第一音频消息发送到一组外部设备的过程，其中该组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和第一附件控制用户界面对象，该第一附件控制用户界面对象对应于第一外部附件设备，其中对该第一附件控制用户界面对象的选择发起用于传输改变该第一外部附件设备的状态的指令的过程；在显示该第一用户界面时，接收对应于显示第二用户界面的请求的输入；以及响应于接收到显示该第二用户界面的请求，显示该第二用户界面，其中该第二用户界面包括：第二可选用户界面对象，其中对该第二可选用户界面对象的选择发起用于录制第二音频消息并将该第二音频消息发送到该第二组一个或多个外部设备而不将该第二音频消息发送到该第一组一个或多个外部设备的过程；和第二附件控制用户界面对象，该第二附件控制用户界面对象对应于第二外部附件设备，其中对该第二附件控制用户界面对象的选择发起用于传输改变该第二外部附件设备的状态的指令的过程。
根据一些实施方案，描述了一种计算机系统。该计算机系统包括：一个或多个处理器，其中该计算机系统与显示生成部件通信；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由显示生成部件显示第一用户界面，该第一用户界面包括：第一可选用户界面对象，其中对该第一可选用户界面对象的选择发起用于录制第一音频消息并将该第一音频消息发送到一组外部设备的过程，其中该组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和第一附件控制用户界面对象，该第一附件控制用户界面对象对应于第一外部附件设备，其中对该第一附件控制用户界面对象的选择发起用于传输改变该第一外部附件设备的状态的指令的过程；在显示该第一用户界面时，接收对应于显示第二用户界面的请求的输入；以及响应于接收到显示该第二用户界面的请求，显示该第二用户界面，其中该第二用户界面包括：第二可选用户界面对象，其中对该第二可选用户界面对象的选择发起用于录制第二音频消息并将该第二音频消息发送到该第二组一个或多个外部设备而不将该第二音频消息发送到该第一组一个或多个外部设备的过程；和第二附件控制用户界面对象，该第二附件控制用户界面对象对应于第二外部附件设备，其中对该第二附件控制用户界面对象的选择发起用于传输改变该第二外部附件设备的状态的指令的过程。
根据一些实施方案，描述了一种计算机系统。该计算机系统包括：用于经由与该计算机系统通信的显示生成部件显示第一用户界面的装置，该第一用户界面包括：第一可选用户界面对象，其中对该第一可选用户界面对象的选择发起用于录制第一音频消息并将该第一音频消息发送到一组外部设备的过程，其中该组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和第一附件控制用户界面对象，该第一附件控制用户界面对象对应于第一外部附件设备，其中对该第一附件控制用户界面对象的选择发起用于传输改变该第一外部附件设备的状态的指令的过程；在显示该第一用户界面时，用于接收对应于显示第二用户界面的请求的输入的装置；和响应于接收到显示该第二用户界面的该请求而用于显示该第二用户界面的装置，其中该第二用户界面包括：第二可选用户界面对象，其中对该第二可选用户界面对象的选择发起用于录制第二音频消息并将该第二音频消息发送到该第二组一个或多个外部设备而不将该第二音频消息发送到该第一组一个或多个外部设备的过程；和第二附件控制用户界面对象，该第二附件控制用户界面对象对应于第二外部附件设备，其中对该第二附件控制用户界面对象的选择发起用于传输改变该第二外部附件设备的状态的指令的过程。
根据一些实施方案，描述了一种方法。该方法在与显示生成部件通信的计算机系统处执行。该方法包括：接收对应于第一媒体的第一数据；经由该显示生成部件显示具有对该第一媒体的指示的第一通知，直到第一时间段的结束；在接收到该第一数据之后，接收对应于第二媒体的第二数据，其中该第二媒体不同于该第一媒体；以及根据确定该第二媒体满足一组一个或多个标准，并且根据基于(1)接收到该第二数据的时间和(2)接收到该第一数据的时间的确定，经由该显示生成部件显示具有对该第一媒体的指示的第二通知，直到第二时间段的结束，其中该第一时间段的结束不同于该第二时间段的结束。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：接收对应于第一媒体的第一数据；经由该显示生成部件显示具有对该第一媒体的指示的第一通知，直到第一时间段的结束；在接收到该第一数据之后，接收对应于第二媒体的第二数据，其中该第二媒体不同于该第一媒体；以及根据确定该第二媒体满足一组一个或多个标准，并且根据基于(1)接收到该第二数据的时间和(2)接收到该第一数据的时间的确定，经由该显示生成部件显示具有对该第一媒体的指示的第二通知，直到第二时间段的结束，其中该第一时间段的结束不同于该第二时间段的结束。
根据一些实施方案，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：接收对应于第一媒体的第一数据；经由该显示生成部件显示具有对该第一媒体的指示的第一通知，直到第一时间段的结束；在接收到该第一数据之后，接收对应于第二媒体的第二数据，其中该第二媒体不同于该第一媒体；以及根据确定该第二媒体满足一组一个或多个标准，并且根据基于(1)接收到该第二数据的时间和(2)接收到该第一数据的时间的确定，经由该显示生成部件显示具有对该第一媒体的指示的第二通知，直到第二时间段的结束，其中该第一时间段的结束不同于该第二时间段的结束。
根据一些实施方案，描述了一种计算机系统。该计算机系统包括：一个或多个处理器，其中该计算机系统与显示生成部件通信；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：接收对应于第一媒体的第一数据；经由该显示生成部件显示具有对该第一媒体的指示的第一通知，直到第一时间段的结束；在接收到该第一数据之后，接收对应于第二媒体的第二数据，其中该第二媒体不同于该第一媒体；以及根据确定该第二媒体满足一组一个或多个标准，并且根据基于(1)接收到该第二数据的时间和(2)接收到该第一数据的时间的确定，经由该显示生成部件显示具有对该第一媒体的指示的第二通知，直到第二时间段的结束，其中该第一时间段的结束不同于该第二时间段的结束。
根据一些实施方案，描述了一种计算机系统。该计算机系统包括：用于接收对应于第一媒体的第一数据的装置；用于经由与该计算机系统通信的生成部件显示具有对该第一媒体的指示的第一通知直到第一时间段的结束的装置；用于在接收到该第一数据之后接收对应于第二媒体的第二数据的装置，其中该第二媒体不同于该第一媒体；和根据确定该第二媒体满足一组一个或多个标准，并且根据基于(1)接收到该第二数据的时间和(2)接收到该第一数据的时间的确定，用于经由该显示生成部件显示具有对该第一媒体的指示的第二通知直到第二时间段的结束的装置，其中该第一时间段的结束不同于该第二时间段的结束。
根据一些实施方案，描述了一种方法。该方法在具有一个或多个麦克风、一个或多个扬声器和一个或多个显示设备的电子设备处执行。该方法包括：经由该一个或多个麦克风接收语音输入；以及显示该语音输入的视觉指示，其中：根据确定该语音输入的一部分对应于要传输到一个或多个设备的语音输入，经由该一个或多个显示设备显示该视觉指示包括以第一组一个或多个颜色显示该视觉指示；并且根据确定该语音输入不包括将该语音输入的任何部分传输到其他设备的指令，经由该一个或多个显示设备显示该视觉指示包括以不同于该第一组一个或多个颜色的第二组一个或多个颜色显示该视觉指示。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由具有一个或多个麦克风、一个或多个扬声器和一个或多个显示设备的电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由该一个或多个麦克风接收语音输入；以及显示该语音输入的视觉指示，其中：根据确定该语音输入的一部分对应于要传输到一个或多个设备的语音输入，经由该一个或多个显示设备显示该视觉指示包括以第一组一个或多个颜色显示该视觉指示；并且根据确定该语音输入不包括将该语音输入的任何部分传输到其他设备的指令，经由该一个或多个显示设备显示该视觉指示包括以不同于该第一组一个或多个颜色的第二组一个或多个颜色显示该视觉指示。
根据一些实施方案，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由具有一个或多个麦克风、一个或多个扬声器和一个或多个显示设备的电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由该一个或多个麦克风接收语音输入；以及显示该语音输入的视觉指示，其中：根据确定该语音输入的一部分对应于要传输到一个或多个设备的语音输入，经由该一个或多个显示设备显示该视觉指示包括以第一组一个或多个颜色显示该视觉指示；并且根据确定该语音输入不包括将该语音输入的任何部分传输到其他设备的指令，经由该一个或多个显示设备显示该视觉指示包括以不同于该第一组一个或多个颜色的第二组一个或多个颜色显示该视觉指示。
根据一些实施方案，描述了一种电子设备。该电子设备包括：一个或多个麦克风；一个或多个扬声器；一个或多个显示设备；一个或多个处理器；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由该一个或多个麦克风接收语音输入；以及显示该语音输入的视觉指示，其中：根据确定该语音输入的一部分对应于要传输到一个或多个设备的语音输入，经由该一个或多个显示设备显示该视觉指示包括以第一组一个或多个颜色显示该视觉指示；并且根据确定该语音输入不包括将该语音输入的任何部分传输到其他设备的指令，经由该一个或多个显示设备显示该视觉指示包括以不同于该第一组一个或多个颜色的第二组一个或多个颜色显示该视觉指示。
根据一些实施方案，描述了一种电子设备。该电子设备包括：一个或多个麦克风；一个或多个扬声器；一个或多个显示设备；用于经由该一个或多个麦克风接收语音输入的装置；和用于显示该语音输入的视觉指示的装置，其中：根据确定该语音输入的一部分对应于要传输到一个或多个设备的语音输入，经由该一个或多个显示设备显示该视觉指示包括以第一组一个或多个颜色显示该视觉指示；并且根据确定该语音输入不包括将该语音输入的任何部分传输到其他设备的指令，经由该一个或多个显示设备显示该视觉指示包括以不同于该第一组一个或多个颜色的第二组一个或多个颜色显示该视觉指示。
根据一些实施方案，描述了一种方法。该方法在计算机系统处执行，其中该计算机系统与显示生成部件和一个或多个输入设备通信。该方法包括：经由该显示生成部件显示第一状态(指示符)，该第一状态(指示符)指示第一附件类型的多个附件设备处于第一状态，其中该第一附件类型的该多个附件设备包括：第一附件设备，该第一附件设备属于该第一附件类型并且处于该第一状态；和第二附件设备，该第二附件设备属于该第一附件类型并且处于该第一状态，其中该第二附件设备不同于该第一附件设备；在显示该第一状态指示符时，检测手势；以及响应于检测到该手势：根据确定该手势是第一类型的手势并且指向该第一状态指示符，使得该第一附件设备和该第二附件设备改变为不同于该第一状态的第二状态；以及根据确定该手势是不同于该第一类型的手势的第二类型的手势并且指向该第一状态指示符，经由该显示生成部件显示对应于该第一附件设备的第一附件控制用户界面对象，其中对该第一附件控制用户界面对象的选择使得该第一附件设备改变为该第二状态而不使得该第二附件设备改变为该第二状态。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中该计算机系统与显示生成部件和一个或多个输入设备通信，该一个或多个程序包括用于执行以下操作的指令：经由该显示生成部件显示第一状态(指示符)，该第一状态(指示符)指示第一附件类型的多个附件设备处于第一状态，其中该第一附件类型的该多个附件设备包括：第一附件设备，该第一附件设备属于该第一附件类型并且处于该第一状态；和第二附件设备，该第二附件设备属于该第一附件类型并且处于该第一状态，其中该第二附件设备不同于该第一附件设备；在显示该第一状态指示符时，检测手势；以及响应于检测到该手势：根据确定该手势是第一类型的手势并且指向该第一状态指示符，使得该第一附件设备和该第二附件设备改变为不同于该第一状态的第二状态；以及根据确定该手势是不同于该第一类型的手势的第二类型的手势并且指向该第一状态指示符，经由该显示生成部件显示对应于该第一附件设备的第一附件控制用户界面对象，其中对该第一附件控制用户界面对象的选择使得该第一附件设备改变为该第二状态而不使得该第二附件设备改变为该第二状态。
根据一些实施方案，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中该计算机系统与显示生成部件和一个或多个输入设备通信，该一个或多个程序包括用于执行以下操作的指令：经由该显示生成部件显示第一状态(指示符)，该第一状态(指示符)指示第一附件类型的多个附件设备处于第一状态，其中该第一附件类型的该多个附件设备包括：第一附件设备，该第一附件设备属于该第一附件类型并且处于该第一状态；和第二附件设备，该第二附件设备属于该第一附件类型并且处于该第一状态，其中该第二附件设备不同于该第一附件设备；在显示该第一状态指示符时，检测手势；以及响应于检测到该手势：根据确定该手势是第一类型的手势并且指向该第一状态指示符，使得该第一附件设备和该第二附件设备改变为不同于该第一状态的第二状态；以及根据确定该手势是不同于该第一类型的手势的第二类型的手势并且指向该第一状态指示符，经由该显示生成部件显示对应于该第一附件设备的第一附件控制用户界面对象，其中对该第一附件控制用户界面对象的选择使得该第一附件设备改变为该第二状态而不使得该第二附件设备改变为该第二状态。
根据一些实施方案，描述了一种计算机系统。该计算机系统包括：一个或多个处理器，其中该计算机系统与显示生成部件和一个或多个输入设备通信；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由该显示生成部件显示第一状态(指示符)，该第一状态(指示符)指示第一附件类型的多个附件设备处于第一状态，其中该第一附件类型的该多个附件设备包括：第一附件设备，该第一附件设备属于该第一附件类型并且处于该第一状态；和第二附件设备，该第二附件设备属于该第一附件类型并且处于该第一状态，其中该第二附件设备不同于该第一附件设备；在显示该第一状态指示符时，检测手势；以及响应于检测到该手势：根据确定该手势是第一类型的手势并且指向该第一状态指示符，使得该第一附件设备和该第二附件设备改变为不同于该第一状态的第二状态；以及根据确定该手势是不同于该第一类型的手势的第二类型的手势并且指向该第一状态指示符，经由该显示生成部件显示对应于该第一附件设备的第一附件控制用户界面对象，其中对该第一附件控制用户界面对象的选择使得该第一附件设备改变为该第二状态而不使得该第二附件设备改变为该第二状态。
根据一些实施方案，描述了一种计算机系统。该计算机系统包括：用于经由该显示生成部件显示第一状态(指示符)的装置，该第一状态(指示符)指示第一附件类型的多个附件设备处于第一状态，其中该第一附件类型的该多个附件设备包括：第一附件设备，该第一附件设备属于该第一附件类型并且处于该第一状态；和第二附件设备，该第二附件设备属于该第一附件类型并且处于该第一状态，其中该第二附件设备不同于该第一附件设备；用于在显示该第一状态指示符时检测手势的装置；和响应于检测到该手势，用于执行以下操作的装置：根据确定该手势是第一类型的手势并且指向该第一状态指示符，使得该第一附件设备和该第二附件设备改变为不同于该第一状态的第二状态；以及根据确定该手势是不同于该第一类型的手势的第二类型的手势并且指向该第一状态指示符，经由该显示生成部件显示对应于该第一附件设备的第一附件控制用户界面对象，其中对该第一附件控制用户界面对象的选择使得该第一附件设备改变为该第二状态而不使得该第二附件设备改变为该第二状态。
根据一些实施方案，描述了一种方法。该方法在与显示生成部件和一个或多个输入设备通信的计算机系统处执行。该方法包括：经由该显示生成部件显示媒体用户界面，该媒体用户界面包括：在第一位置处的第一媒体消息的第一表示，和在不同于该第一位置的第二位置处的第二媒体消息的第二表示；响应于显示该媒体用户界面并且不基于对应于该媒体用户界面的用户输入，播放该第一媒体消息；以及响应于检测到从头到尾播放该第一媒体消息的完成：显示该第二媒体消息的该第二表示，而不经由该显示生成部件显示对应于该第一媒体消息的表示。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中该计算机系统与显示生成部件和一个或多个输入设备通信，该一个或多个程序包括用于以下操作的指令：经由该显示生成部件显示媒体用户界面，该媒体用户界面包括：在第一位置处的第一媒体消息的第一表示，和在不同于该第一位置的第二位置处的第二媒体消息的第二表示；响应于显示该媒体用户界面并且不基于对应于该媒体用户界面的用户输入，播放该第一媒体消息；以及响应于检测到从头到尾播放该第一媒体消息的完成：显示该第二媒体消息的该第二表示，而不经由该显示生成部件显示对应于该第一媒体消息的表示。
根据一些实施方案，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中该计算机系统与显示生成部件和一个或多个输入设备通信，该一个或多个程序包括用于以下操作的指令：经由该显示生成部件显示媒体用户界面，该媒体用户界面包括：在第一位置处的第一媒体消息的第一表示，和在不同于该第一位置的第二位置处的第二媒体消息的第二表示；响应于显示该媒体用户界面并且不基于对应于该媒体用户界面的用户输入，播放该第一媒体消息；以及响应于检测到从头到尾播放该第一媒体消息的完成：显示该第二媒体消息的该第二表示，而不经由该显示生成部件显示对应于该第一媒体消息的表示。
根据一些实施方案，描述了一种计算机系统。该计算机系统包括：一个或多个处理器，其中该计算机系统与显示生成部件和一个或多个输入设备通信；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由该显示生成部件显示媒体用户界面，该媒体用户界面包括：在第一位置处的第一媒体消息的第一表示，和在不同于该第一位置的第二位置处的第二媒体消息的第二表示；响应于显示该媒体用户界面并且不基于对应于该媒体用户界面的用户输入，播放该第一媒体消息；以及响应于检测到从头到尾播放该第一媒体消息的完成：显示该第二媒体消息的该第二表示，而不经由该显示生成部件显示对应于该第一媒体消息的表示。
根据一些实施方案，描述了一种计算机系统。该计算机系统与显示生成部件和一个或多个输入设备通信。该计算机系统包括：用于经由该显示生成部件显示媒体用户界面的装置，该媒体用户界面包括：在第一位置处的第一媒体消息的第一表示，和在不同于该第一位置的第二位置处的第二媒体消息的第二表示；响应于显示所述媒体用户界面并且不基于对应于所述媒体用户界面的用户输入，用于播放所述第一媒体消息的装置；和响应于检测到从头到尾播放该第一媒体消息的完成而用于以下操作的装置：显示该第二媒体消息的该第二表示，而不经由该显示生成部件显示对应于该第一媒体消息的表示。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
因此，为设备提供了更快、更高效的方法和界面用于管理音频消息，从而提高了此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于管理音频消息的其他方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出了根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出了根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的针对便携式多功能设备上应用程序的菜单的示例性用户界面。
图4B示出了根据一些实施方案的针对具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A示出了根据一些实施方案的个人电子设备。
图5B是示出了根据一些实施方案的个人电子设备的框图。
图5C-图5D示出了根据一些实施方案的具有触敏显示器和强度传感器的个人电子设备的示例性部件。
图5E-图5H示出了根据一些实施方案的个人电子设备的示例性部件和用户界面。
图5I示出了根据一些实施方案的电子设备。
图5J是示出了根据一些实施方案的电子设备的框图。
图6是示出了根据一些实施方案的物理结构和一组示例性设备的示意图。
图7A至图7AI示出了根据一些实施方案的用于发送音频消息的示例性用户界面。
图8A至图8B是示出了根据一些实施方案的用于发送音频消息的方法的流程图。
图9A至图9AC示出了根据一些实施方案的用于显示通知的示例性用户界面。
图10是示出了根据一些实施方案的用于显示通知的方法的流程图。
图11A至图11R示出了根据一些实施方案的用于显示视觉指示的示例性用户界面。
图12是示出了根据一些实施方案的用于显示视觉指示的方法的流程图。
图13A至图13N示出了根据一些实施方案的用于管理外部设备的示例性用户界面。
图14是示出了根据一些实施方案的用于管理外部设备的方法的流程图。
图15A至图15F示出了根据一些实施方案的用于回放音频消息的示例性用户界面。
图16是示出了根据一些实施方案的用于回放音频消息的方法的流程图。
具体实施方式
以下描述阐述了示例性方法、参数等。然而，应当认识到，此类描述并非意在限制本公开的范围，而是作为对示例性实施方案的描述来提供。
需要提供用于管理音频消息的高效的方法和界面的电子设备。用于管理音频消息的技术提高了设备的效率(例如，减少不必要的显示)，增加了关于外部设备提供的信息(例如，显示音频消息的源)，并且改善了隐私性(通过向用户提供关于所接收的音频输入的设备状态的视觉反馈)。此类技术可减轻使用音频消息的用户的认知负担，从而提高生产率。此外，此类技术可减少以其他方式浪费在冗余用户输入上的处理器功率和电池功率。
下面，图1A至图1B、图2、图3、图4A至图4B以及图5A至图5J提供了用于执行用于发送和接收音频消息的技术的示例性设备的描述。图6是示出了根据一些实施方案的用于执行用于发送和接收音频消息的技术的物理结构和一组示例性设备的示意图。
图7A至图7AI示出了根据一些实施方案的用于发送音频消息的示例性用户界面。图8A至图8B是示出了根据一些实施方案的用于发送音频消息的方法的流程图。图7A至图7AI中的用户界面用于示出下文描述的过程，包括图8A至图8B中的过程。
图9A至图9AC示出了根据一些实施方案的用于显示通知的示例性用户界面。图10是示出了根据一些实施方案的用于显示通知的方法的流程图。图9A至图9AC中的用户界面用于示出包括图10中的过程的下文描述的过程。
图11A至图11R示出了用于显示视觉指示的示例性用户界面。图12是示出了用于显示视觉指示的方法的流程图。图11A至图11R中的用户界面用于示出下文所述的过程，包括图12中的过程。
图13A至图13N示出了用于管理设备状态的示例性用户界面。图14是示出了用于管理设备状态的方法的流程图。图13A至图13N中的用户界面用于示出下文所述的过程，包括图14中的过程。
图15A至图15F示出了根据一些实施方案的用于回放音频消息的示例性用户界面。图16是示出了根据一些实施方案的用于回放音频消息的方法的流程图。图15A至图15F中的用户界面用于示出下文所述的过程，包括图16中的过程。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
尽管以下描述使用术语“第一”、“第二”等来描述各种元件，但这些元件不应受术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一触摸可被命名为第二触摸并且类似地第二触摸可被命名为第一触摸，而不脱离各种所述实施方案的范围。第一触摸和第二触摸两者均为触摸，但是它们不是同一触摸。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
根据上下文，术语“如果”任选地被解释为意指“当……时”、“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的
Figure BDA0003378298340000161
设备、iPod
Figure BDA0003378298340000162
设备、和
Figure BDA0003378298340000163
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，该电子设备任选地包括一个或多个其他物理用户界面设备，诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序，诸如以下中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出了根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器112有时为了方便被叫做“触摸屏”，并且有时被称为或被叫做“触敏显示器系统”。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个接触强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如，在触敏表面(诸如设备100的触敏显示器系统112或设备300的触摸板355)上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量值被组合(例如，加权平均)以确定所估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中，接触力或压力的替代物测量被转换成估计的力或压力，并且估计的力或压力用于确定是否已超过强度阈值(例如，强度阈值是以压力的单位进行测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在实地面积有限的尺寸更小的设备上本来不可访问的附加设备功能，该尺寸更小的设备用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件，诸如旋钮或按钮)。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件以硬件、软件、或硬件与软件两者的组合来实现，包括一个或多个信号处理和/或专用集成电路。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。存储器控制器122任选地控制设备100的其他部件访问存储器102。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。在一些实施方案中，外围设备接口118、CPU120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路108任选地包括用于诸如通过近程通信无线电部件来检测近场通信(NFC)场的熟知的电路。无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗(BTLE)、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE802.11b、IEEE 802.11g、IEEE 802.11n和/或IEEE802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)，或者包括在本文档提交日期时还未开发出的通信协议的任何其他适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110与可移除音频输入/输出外围设备之间的接口，该外围设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触摸屏112和其他输入控制设备116耦接到外围设备接口118。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、深度相机控制器169、强度传感器控制器159、触觉反馈控制器161，以及用于其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入控制设备116接收电信号/将电信号发送到该其他输入控制设备。该其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等。在一些另选实施方案中，输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口以及指向设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113音量控制的增大/减小按钮。该一个或多个按钮任选地包括下压按钮(例如，图2中的206)。在一些实施方案中，电子设备是(例如，经由无线通信、经由有线通信)与一个或多个输入设备进行通信的计算机系统。在一些实施方案中，该一个或多个输入设备包括触敏表面(例如，触控板，作为触敏显示器的一部分)。在一些实施方案中，该一个或多个输入设备包括一个或多个相机传感器(例如，一个或多个光学传感器164和/或一个或多个深度相机传感器175)，诸如用于跟踪用户的手势(例如，手部手势)作为输入。在一些实施方案中，一个或多个输入设备与该计算机系统集成。在一些实施方案中，一个或多个输入设备与该计算机系统分开。
快速按下下压按钮任选地脱离触摸屏112的锁定或者任选地开始使用触摸屏上的手势来对设备进行解锁的过程，如在2005年12月23日提交的名称为“Unlocking a Deviceby Performing Gestures on an Unlock Image”的美国专利申请11/322,549(即，美国专利No.7,657,849)中所述的，该美国专利申请据此全文以引用方式并入本文。长按下压按钮(例如206)任选地使设备100开机或关机。一个或多个按钮的功能任选地为用户可定制的。触摸屏112用于实现虚拟按钮或软按钮以及一个或多个软键盘。
触敏显示器112提供设备和用户之间的输入接口和输出接口。显示控制器156从触摸屏112接收电信号和/或将电信号发送到触摸屏112。触摸屏112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出任选地与用户界面对象对应。
触摸屏112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在触摸屏112上的用户界面对象(例如，一个或多个软键、图标、网页或图像)的交互。在示例性实施方案中，触摸屏112与用户之间的接触点对应于用户的手指。
触摸屏112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触摸屏112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在示例性实施方案中，使用投射式互电容感测技术，诸如在来自Apple Inc.(Cupertino,California)的
Figure BDA0003378298340000221
和iPod
Figure BDA0003378298340000222
中使用的技术。
触摸屏112的一些实施方案中的触敏显示器任选地类似于以下美国专利中描述的多点触敏触摸板：6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman等人)和/或美国专利公开2002/0015024A1，该每个专利据此全文以引用方式并入。然而，触摸屏112显示来自设备100的视觉输出，而触敏触摸板不提供视觉输出。
在一些实施方案中，触摸屏112的触敏显示器如以下专利申请所述：(1)提交于2006年5月2日的名称为“Multipoint Touch Surface Controller”的美国专利申请No.11/381,313；(2)2004年5月6日提交的名称为“Multipoint Touchscreen”的美国专利申请No.10/840,862；(3)2004年7月30日提交的名称为“Gestures For Touch Sensitive InputDevices”的美国专利申请No.10/903,964；(4)2005年1月31日提交的名称为“Gestures ForTouch Sensitive Input Devices”的美国专利申请No.11/048,264；(5)2005年1月18日提交的名称为“Mode-Based Graphical User Interfaces For Touch Sensitive InputDevices”的美国专利申请No.11/038,590；(6)2005年9月16日提交的名称为“VirtualInput Device Placement On A Touch Screen User Interface”的美国专利申请No.11/228,758；(7)2005年9月16日提交的名称为“Operation Of A Computer With A TouchScreen Interface”的美国专利申请No.11/228,700；(8)2005年9月16日提交的名称为“Activating Virtual Keys Of A Touch-Screen Virtual Keyboard”的美国专利申请No.11/228,737；以及(9)2006年3月3日提交的名称为“Multi-Functional Hand-HeldDevice”的美国专利申请No.11/367,749。所有这些申请全文以引用方式并入本文。
触摸屏112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏具有约160dpi的视频分辨率。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等来与触摸屏112接触。在一些实施方案中，将用户界面设计为主要通过基于手指的接触和手势来工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板。在一些实施方案中，触摸板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触摸板任选地是与触摸屏112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出了耦接到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块)，光学传感器164任选地捕获静态图像或视频。在一些实施方案中，光学传感器位于设备100的后部上，与设备前部上的触摸屏显示器112相背对，使得触摸屏显示器能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，光学传感器位于设备的前部上，使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取该用户的图像以用于视频会议。在一些实施方案中，光学传感器164的位置可由用户改变(例如，通过旋转设备外壳中的透镜和传感器)，使得单个光学传感器164与触摸屏显示器一起使用，以用于视频会议和静态图像和/或视频图像采集两者。
设备100任选地还包括一个或多个深度相机传感器175。图1A示出了耦接到I/O子系统106中的深度相机控制器169的深度相机传感器。深度相机传感器175从环境接收数据以从视点(例如，深度相机传感器)创建场景内的对象(例如，面部)的三维模型。在一些实施方案中，结合成像模块143(也称为相机模块)，深度相机传感器175可选地用于确定由成像模块143捕获的图像的不同部分的深度图。在一些实施方案中，深度相机传感器位于设备100的前部，使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取具有深度信息的用户图像以用于视频会议，并且捕捉具有深度图数据的自拍。在一些实施方案中，深度相机传感器175位于设备的后部，或者设备100的后部和前部。在一些实施方案中，深度相机传感器175的位置可由用户改变(例如，通过旋转设备外壳中的透镜和传感器)，使得深度相机传感器175与触摸屏显示器一起使用以用于视频会议和静态图像和/或视频图像采集两者。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了耦接到I/O子系统106中的强度传感器控制器159的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的后部上，与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个接近传感器166。图1A示出了耦接到外围设备接口118的接近传感器166。另选地，接近传感器166任选地耦接到I/O子系统106中的输入控制器160。接近传感器166任选地如以下美国专利申请中所述的那样执行：No.11/241,839，名称为“Proximity Detector In Handheld Device”；No.11/240,788，名称为“ProximityDetector In Handheld Device”；No.11/620,702，名称为“Using Ambient Light SensorTo Augment Proximity Sensor Output”；No.11/586,862，名称为“Automated ResponseTo And Sensing Of User Activity In Portable Devices”；以及No.11/638,251，名称为“Methods And Systems For Automatic Configuration Of Peripherals”，这些美国专利申请据此全文以引用方式并入本文。在一些实施方案中，当多功能设备被置于用户的耳朵附近时(例如，当用户正在进行电话呼叫时)，接近传感器关闭并且禁用触摸屏112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了耦接到I/O子系统106中的触觉反馈控制器161的触觉输出发生器。触觉输出发生器167任选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合物、压电致动器、静电致动器或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的后部上，与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个加速度计168。图1A示出了耦接到外围设备接口118的加速度计168。另选地，加速度计168任选地耦接到I/O子系统106中的输入控制器160。加速度计168任选地如以下美国专利公开中所述的那样执行：美国专利公开No.20050190059，名称为“Acceleration-based Theft Detection System for PortableElectronic Devices”和美国专利公开No.20060017692，名称为“Methods AndApparatuses For Operating A Portable Device Based On An Accelerometer”，这两个美国专利公开均全文以引用方式并入本文。在一些实施方案中，基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除了加速度计168之外还包括磁力仪和GPS(或GLONASS或其他全球导航系统)接收器，以用于获取关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施方案中，存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102(图1A)或370(图3)存储设备/全局内部状态157，如图1A和图3中所示。设备/全局内部状态157包括以下中的一者或多者：活动应用程序状态，其指示哪些应用程序(如果有的话)当前是活动的；显示状态，其指示什么应用程序、视图或其他信息占据触摸屏显示器112的各个区域；传感器状态，包括从设备的各个传感器和输入控制设备116获得的信息；以及关于设备的位置和/或姿态的位置信息。
操作系统126(例如，Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动器，并且促进各种硬件部件和软件部件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件组件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备，或间接地通过网络(例如，互联网、无线LAN等)进行耦接。在一些实施方案中，外部端口是与
Figure BDA0003378298340000261
(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如，30针)连接器。
接触/运动模块130任选地检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击式转盘)的接触。接触/运动模块130包括各种软件部件以用于执行与接触检测相关的各种操作，诸如确定是否已经发生了接触(例如，检测手指按下事件)、确定接触强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已经停止(例如，检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触)或者多点同时接触(例如，“多点触摸”/多个手指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触控板上的接触。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外，在一些具体实施中，向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块130任选地检测由用户进行的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测手指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标的位置处)检测手指抬起(抬离)事件。作为另一个示例，在触敏表面上检测手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上呈现和显示图形的各种已知的软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，其非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件，该指令由触觉输出发生器167用于响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置，并提供该信息以供在各种应用程序中使用(例如提供给电话138以供在基于位置的拨号中使用；提供给相机143作为图片/视频元数据；以及提供给提供基于位置的服务的应用，诸如天气桌面小程序、本地黄页桌面小程序和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·视频播放器模块；
·音乐播放器模块；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获取的其他桌面小程序、以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·视频和音乐播放器模块152，其合并视频播放器模块和音乐播放器模块；
·记事本模块153；
·地图模块154；以及/或者
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、和文本输入模块134，联系人模块137任选地用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：向通讯录添加一个或多个姓名；从通讯录删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议模块139、电子邮件140或IM 141进行的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，电话模块138任选地用于输入与电话号码对应的字符序列、访问联系人模块137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话，以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、文本输入模块134、联系人模块137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，即时消息模块141包括用于以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如，使用短消息服务(SMS)或多媒体消息服务(MMS)协议以用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或MMS和/或增强消息服务(EMS)中所支持的其他附件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE或IMPS发送的消息)两者。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块，健身支持模块142包括用于创建健身(例如，具有时间、距离和/或卡路里燃烧目标)的可执行指令；与健身传感器(运动设备)进行通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132和图像管理模块144，相机模块143包括用于以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征，或从存储器102删除静态图像或视频。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，浏览器模块147包括用于根据用户指令来浏览互联网，包括搜索、链接至、接收和显示网页或其部分，以及链接至网页的附件和其他文件的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序创建器模块150任选地被用户用于创建桌面小程序(例如，将网页的用户指定部分转变为桌面小程序)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式诸如MP3或AAC文件存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，备忘录模块153包括用于根据用户指令来创建和管理备忘录、待办事项等的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154任选地用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾驶方向、与特定位置处或附近的商店及其他兴趣点有关的数据，以及其他基于位置的数据)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括用于执行以下操作的指令：允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口124所连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件，以及以其他方式管理一种或多种文件格式诸如H.264的在线视频。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。在线视频应用程序的其他描述可见于2007年6月20日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国临时专利申请No.60/936,562和2007年12月31日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国专利申请No.11/968,067，这两个专利申请的内容据此全文以引用方式并入本文。
上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在本专利申请中所述的方法(例如，本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(例如，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。例如，视频播放器模块任选地与音乐播放器模块组合成单个模块(例如，图1A中的视频和音乐播放器模块152)。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子组。此外，存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，触摸板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触控板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触控板。
图1B是示出了根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A)或存储器370(图3)包括事件分类器170(例如，在操作系统126中)以及相应的应用程序136-1(例如，前述应用程序137至151、155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时被显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，触敏显示器112上的用户触摸，作为多点触摸手势的一部分)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(例如，形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块172识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在又一个实施方案中，事件分类器170是独立模块，或者是存储在存储器102中的另一个模块(诸如，接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块为诸如用户界面工具包或应用程序136-1从中继承方法和其他属性的更高级别的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且根据事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中，事件(187)中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一触摸(触摸开始)、预先确定时长的第一抬离(触摸结束)、被显示对象上的预先确定时长的第二触摸(触摸开始)以及预先确定时长的第二抬离(触摸结束)。在另一个示例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器112上显示三个用户界面对象的应用程序视图中，当在触敏显示器112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，相应事件(187)的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频播放器模块中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建并更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178，或具有对该数据更新器、该对象更新器和该GUI更新器的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触控板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏112的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案以及下文所述的其他实施方案中，用户能够通过例如利用一根或多根手指202(在图中未按比例绘制)或一支或多支触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。另选地，在一些实施方案中，菜单按钮被实现为被显示在触摸屏112上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏112、菜单按钮204、用于使设备开机/关机和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在另选的实施方案中，设备100还通过麦克风113接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触摸屏112上的接触的强度的一个或多个接触强度传感器165，和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一条或多条通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于上文参考图1A所述的触觉输出发生器167)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器和/或接触强度传感器(类似于上文参考图1A所述的接触强度传感器165))。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM，或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中存储的程序、模块和数据结构类似的程序、模块和数据结构或其子集。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中的上述元素中的每个元素任选地存储于先前提到的存储器设备的一个或多个存储器设备中。上述模块中的每个模块对应于用于执行上述功能的指令集。上述模块或程序(例如，指令集)不必被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选地存储上文未描述的附加模块和数据结构。
现在将注意力转到任选地在例如便携式多功能设备100上实现的用户界面的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元件或者其子集或超集：
·无线通信诸如蜂窝信号和Wi-Fi信号的信号强度指示符402；
·时间404；
·蓝牙指示符405；
·电池状态指示符406；
·具有针对常用应用程序的图标的托盘408，该图标诸如：
○电话模块138的被标记为“电话”的图标416，该图标416任选地包括未接来电或语音信箱的数量的指示符414；
○电子邮件客户端模块140的被标记为“邮件”的图标418，该图标418任选地包括未读电子邮件的数量的指示符410；
○浏览器模块147的标记为“浏览器”的图标420；以及
○视频和音乐播放器模块152(也称为iPod(苹果公司(AppleInc.)的商标)模块152)的被标记为“iPod”的图标422；以及
·其他应用的图标，诸如：
○IM模块141的被标记为“消息”的图标424；
○日历模块148的被标记为“日历”的图标426；
○图像管理模块144的被标记为“照片”的图标428；
○相机模块143的被标记为“相机”的图标430；
○在线视频模块155的被标记为“在线视频”的图标432；
○股市桌面小程序149-2的被标记为“股市”的图标434；
○地图模块154的被标记为“地图”的图标436；
○天气桌面小程序149-1的被标记为“天气”的图标438；
○闹钟桌面小程序149-4的被标记为“时钟”的图标440；
○健身支持模块142的被标记为“健身支持”的图标442；
○记事本模块153的标记为“记事本”的图标444；以及
○设置应用程序或模块的被标记为“设置”的图标446，该图标提供对设备100及其各种应用程序136的设置的访问。
应当指出的是，图4A中示出的图标标签仅是示例性的。例如，视频和音乐播放器模块152的图标422被标记“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450(例如，触摸屏显示器112)分开的触敏表面451(例如，图3的平板电脑或触摸板355)的设备(例如，图3的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如，传感器359中的一个或多个传感器)和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器357。
尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出以下示例中的一些示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表面(例如，图4B中的451)具有与显示器(例如，450)上的主轴(例如，图4B中的453)对应的主轴(例如，图4B中的452)。根据这些实施方案，设备检测在与显示器上的相应位置对应的位置(例如，在图4B中，460对应于468并且462对应于470)处与触敏表面451的接触(例如，图4B中的460和462)。这样，当触敏表面(例如，图4B中的451)与多功能设备的显示器(例如，图4B中的450)分开时，由设备在该触敏表面上检测到的用户输入(例如，接触460和462以及它们的移动)被该设备用于操纵该显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替代。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
图5A示出了示例性个人电子设备500。设备500包括主体502。在一些实施方案中，设备500可包括相对于设备100和300(例如，图1A至图4B)所述的特征中的一些或全部特征。在一些实施方案中，设备500具有在下文中称为触摸屏504的触敏显示屏504。作为触摸屏504的替代或补充，设备500具有显示器和触敏表面。与设备100和300的情况一样，在一些实施方案中，触摸屏504(或触敏表面)任选地包括用于检测所施加的接触(例如，触摸)强度的一个或多个强度传感器。触摸屏504(或触敏表面)的一个或多个强度传感器可提供表示触摸的强度的输出数据。设备500的用户界面可基于触摸的强度来对触摸作出响应，这意味着不同强度的触摸可调用设备500上的不同用户界面操作。
用于检测和处理触摸强度的示例性技术见于例如以下相关专利申请中：2013年5月8日提交的名称为“Device,Method,and Graphical User Interface for DisplayingUser Interface Objects Corresponding to an Application”的国际专利申请序列No.PCT/US2013/040061，发布为WIPO专利公开No.WO/2013/169849；以及2013年11月11日提交的名称为“Device,Method,and Graphical User Interface for TransitioningBetween Touch Input to Display Output Relationships”的国际专利申请序列No.PCT/US2013/069483，发布为WIPO专利公开No.WO/2014/105276，该每个专利申请据此全文以引用方式并入。
在一些实施方案中，设备500具有一个或多个输入机构506和508。输入机构506和508(如果包括的话)可以是物理形式的。物理输入机构的示例包括下压按钮和可旋转机构。在一些实施方案中，设备500具有一个或多个附接机构。此类附接机构(如果包括的话)可允许将设备500与例如帽子、眼镜、耳环、项链、衬衣、夹克、手镯、表带、手链、裤子、皮带、鞋子、钱包、背包等附接。这些附接机构允许用户穿戴设备500。
图5B示出了示例性个人电子设备500。在一些实施方案中，设备500可包括参考图1A、图1B和图3所述的部件中的一些或全部部件。设备500具有总线512，该总线将I/O部分514与一个或多个计算机处理器516和存储器518操作性地耦接。I/O部分514可连接到显示器504，该显示器可具有触敏部件522并且任选地具有强度传感器524(例如，接触强度传感器)。此外，I/O部分514可与通信单元530连接，用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无线通信技术来接收应用程序和操作系统数据。设备500可包括输入机构506和/或508。例如，输入机构506任选地是可旋转输入设备或者可按压输入设备以及可旋转输入设备。在一些示例中，输入机构508任选地是按钮。
在一些示例中，输入机构508任选地是麦克风。个人电子设备500任选地包括各种传感器，诸如GPS传感器532、加速度计534、定向传感器540(例如，罗盘)、陀螺仪536、运动传感器538和/或其组合，所有这些设备均可操作地连接到I/O部分514。
个人电子设备500的存储器518可包括一个或多个非暂态计算机可读存储介质以用于存储计算机可执行指令，这些计算机可执行指令在由一个或多个计算机处理器516执行时例如可使得计算机处理器执行下述技术，包括过程800(图8A至图8B)、1000(图10)、1200(图12)、1400(图14)和1600(图16)。计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。在一些示例中，存储介质是暂态计算机可读存储介质。在一些示例中，存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘，以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备500不限于图5B的部件和配置，而是可包括多种配置中的其他部件或附加部件。
如本文所用，术语“示能表示”是指任选地在设备100、300和/或500(图1A、图3和图5A至图5B)的显示屏上显示的用户交互式图形用户界面对象。例如，图像(例如，图标)、按钮和文本(例如，超链接)任选地各自构成示能表示。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3中的触摸板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调节。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏112)的一些具体实施中，在触摸屏上所检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，由接触进行的按压输入)时，该特定用户界面元素根据所检测到的输入而被调节。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制的以便递送与用户界面的用户预期的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触控板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬离之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者：接触的强度的最大值、接触的强度的均值、接触的强度的平均值、接触的强度的前10％处的值、接触的强度的半最大值、接触的强度的90％最大值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特征强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值任选地包括第一强度阈值和第二强度阈值。在该示例中，特征强度未超过第一阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，而特征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特征强度与一个或多个阈值之间的比较来确定是否要执行一个或多个操作(例如，是执行相应操作还是放弃执行相应操作)而不是用于确定执行第一操作还是第二操作。
图5C示出了利用多个强度传感器524A-524D检测触敏显示屏504上的多个接触552A-552E。图5C还包括强度图，其相对于强度单位示出了强度传感器524A-524D的当前强度测量值。在该示例中，强度传感器524A和524D的强度测量值均是9个强度单位，并且强度传感器524B和524C的强度测量值均是7个强度单位。在一些具体实施中，累积强度是多个强度传感器524A-524D的强度测量值之和，在该示例中是32个强度单位。在一些实施方案中，每个接触都被分配了相应强度，即累积强度的一部分。图5D示出了基于其与力554中心的距离而向接触552A-552E分配累积强度。在该示例中，接触552A、552B和552E中的每个接触都被分配以累积强度的8个强度单位的接触的强度，并且接触552C和552D的中每个接触都被分配以累积强度的4个强度单位的接触的强度。更一般地，在一些具体实施中，每个接触j都根据预定义的数学函数Ij＝A·(Dj/ΣDi)被分配相应强度Ij，其为累积强度A的一部分，其中Dj是相应接触j距力中心的距离，并且ΣDi是所有相应接触(例如，i＝1到最后)距力中心的距离之和。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5C-图5D所述的操作。在一些实施方案中，接触的特征强度基于接触的一个或多个强度。在一些实施方案中，强度传感器用于确定单个特征强度(例如，单个接触的单个特征强度)。应当指出，强度图不是所显示用户界面的部分，而是包括在图5C-图5D中以辅助读者。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面任选地接收连续的轻扫接触，该连续的轻扫接触从起始位置过渡并到达结束位置，在该结束位置处，接触强度增加。在该示例中，接触在结束位置处的特征强度任选地仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触的部分)。在一些实施方案中，在确定接触的特征强度之前任选地向轻扫接触的强度应用平滑算法。例如，平滑化算法任选地包括以下各项中的一种或多种：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷，以实现确定特征强度的目的。
任选地相对于一个或多个强度阈值诸如接触检测强度阈值、轻按压强度阈值、深按压强度阈值和/或一个或多个其他强度阈值来表征触敏表面上的接触强度。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。
接触特征强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度有时被称为“轻按压”输入。接触特征强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度有时被称为“深按压”输入。接触特征强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度有时被称为检测到触摸表面上的接触。接触特征强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中，接触检测强度阈值为零。在一些实施方案中，接触检测强度阈值大于零。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值(例如，相应按压输入的“向下冲程”)来执行相应操作。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值(例如，相应按压输入的“向上冲程”)来执行相应操作。
图5E-图5H示出了对手势的检测，手势包括与接触562的强度从低于图5E中的轻按压强度阈值(例如，“ITL”)的强度增大到高于图5H中的深按压强度阈值(例如，“ITD”)的强度对应的按压输入。在所显示的包括预定义区域574中显示的应用图标572A-572D的用户界面570上，在与应用2对应的应用图标572B上方显示光标576时，在触敏表面560上检测利用接触562执行的手势。在一些实施方案中，在触敏显示器504上检测到手势。强度传感器检测触敏表面560上的接触的强度。该设备确定接触562的强度在深按压强度阈值(例如，“ITD”)以上达到峰值。在触敏表面560上保持接触562。响应于检测到手势，并且根据在手势期间强度升高到深按压强度阈值(例如，“ITD”)以上的接触562，显示最近为应用2打开的文档的缩比表示578A-578C(例如，缩略图)，如图5F-图5H所示。在一些实施方案中，与一个或多个强度阈值相比，强度是接触的特征强度。应当指出，针对接触562的强度图不是所显示用户界面的部分，而是包括在图5E-图5H中以辅助读者。
在一些实施方案中，表示578A-578C的显示包括动画。例如，表示578A一开始显示于应用图标572B的附近，如图5F所示。随着动画的进行，表示578A向上移动，并在应用图标572B附近显示表示578B，如图5G中所示。然后，表示578A向上移动，578B朝表示578A向上移动，并且在应用图标572B附近显示表示578C，如图5H中所示。表示578A-578C在图标572B上方形成阵列。在一些实施方案中，动画根据接触562的强度进展，如图5F-图5G中所示，其中表示578A-578C出现并随着接触562的强度向深按压强度阈值(例如，“ITD”)增大而向上移动。在一些实施方案中，动画进展所依据的强度是接触的特征强度。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5E-图5H所述的操作。
在一些实施方案中，设备采用强度滞后以避免有时被称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值(例如，相应按压输入的“向上冲程”)来执行相应操作。类似地，在一些实施方案中，仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触强度增大或接触强度减小)来执行相应操作。
为了容易解释，任选地，响应于检测到以下各种情况中的任一种情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触强度增大到高于按压输入强度阈值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触强度减小到低于按压输入强度阈值、和/或接触强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。
图5I示出了示例性电子设备580。设备580包括主体580A。在一些实施方案中，设备580可包括相对于设备100、300和500(例如，图1A至图5B)所述的特征中的一些或全部特征。在一些实施方案中，设备580具有一个或多个扬声器580B(隐藏在主体580A中)、一个或多个麦克风580C、一个或多个触敏表面580D以及一个或多个显示器580E。另选地或作为显示器和触敏表面580D的补充，该设备还具有触敏显示器(也被称为触摸屏)。与设备100、300和500的情况一样，在一些实施方案中，触敏表面580D(或触摸屏)任选地包括用于检测所施加的接触(例如，触摸)的强度的一个或多个强度传感器。触敏表面580D(或触摸屏)的所述一个或多个强度传感器可提供表示触摸的强度的输出数据。设备580的用户界面可基于触摸的强度来对这些触摸作出响应，这意味着不同强度的触摸可调用设备580上的不同用户界面操作。在一些实施方案中，所述一个或多个显示器580E是一个或多个发光二极管(LED)。例如，显示器可以是单个LED、LED群集(例如，红色、绿色和蓝色的LED)、多个分立LED、多个分立LED群集或一个或多个LED的其他布置。例如，显示器580E可以是以圆形(例如，环形)布置的九个分立LED群集的阵列。在一些示例中，所述一个或多个显示器包含一个或多个另一种类型的发光元件。
图5J描绘了示例性个人电子设备580。在一些实施方案中，设备580可包括相对于图1A、图1B、图3和图5A至图5B所述的部件中的一些或全部部件。设备580具有将I/O部分594与一个或多个计算机处理器596和存储器598操作性地耦接的总线592。I/O部分594可连接到显示器582，该显示器可具有触敏部件584并且任选地具有强度传感器585(例如，接触强度传感器)。在一些实施方案中，触敏部件584是与显示器582分离的部件。此外，I/O部分594可与通信单元590连接，以用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无线通信技术来接收应用程序和操作系统数据。设备580可包括输入机构588。在一些示例中，输入机构588任选地是按钮。在一些示例中，输入机构588任选地是麦克风。输入机构588任选地是多个麦克风(例如，麦克风阵列)。
电子设备580包括用于输出音频的扬声器586。设备580可包括音频电路(例如，在I/O部分594中)，该音频电路接收音频数据、将音频数据转换为电信号，并且将电信号传输给扬声器586。扬声器586将电信号转换为人类可听到的声波。该音频电路(例如，在I/O部分594中)还接收由麦克风(例如，输入机构588)从声波转换的电信号。该音频电路(例如，在I/O部分594中)将该电信号转换为音频数据。音频数据任选地由I/O部分594检索自和/或传输至存储器598和/或RF电路(例如，在通信单元590中)。
个人电子设备580的存储器598可包括一个或多个非暂态计算机可读存储介质以用于存储计算机可执行指令，这些计算机可执行指令在由一个或多个计算机处理器596执行时例如可使得计算机处理器执行下述技术，包括过程800(图8A至图8B)、1000(图10)、1200(图12)、1400(图14)和1600(图16)。计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。在一些示例中，存储介质是暂态计算机可读存储介质。在一些示例中，存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘，以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备580不限于图5J的部件和配置，而是可包括多种配置的其他部件或附加部件。
现在将注意力转到在电子设备(诸如便携式多功能设备100、设备300或设备500)上实现的用户界面(“UI”)以及相关联的过程的实施方案。
图6包括示意图600，示出了根据一些实施方案的物理结构和一组示例性设备。图6用于示出下文描述的过程，包括图8A和图8B、图10和图12中的过程。
示意图600包括住宅602和一组设备(例如，设备646、设备604等)。住宅602包括多个房间，诸如厨房602a、餐厅602b、卧室602c、客厅602d和日光室602e。厨房602a在住宅602的左上部分，并且餐厅602b在厨房602a和卧室602c之间，其中卧室602c在餐厅602b的右侧。厨房602a和餐厅602b之间不存在壁，而餐厅602b和卧室602c之间存在壁。客厅602d位于住宅602的左下部分，并且日光室602e位于住宅602的右下部分。在一些实施方案中，住宅602包括除图6中所描绘的那些房间之外的房间并且/或者排除图6中所描绘的房间。虽然示意图600描绘了住宅，但应当认识到，这仅仅是示例，并且本文所述的技术可与其他类型的物理结构诸如办公楼、酒店、公寓等一起工作。
如图6所示，住宅602中的每个房间具有至少一个设备。然而，在一些实施方案中，住宅602中的房间不具有设备。
如图6所示，John的电话604在厨房602a中，放在炉灶和水槽之间的柜台上。在餐厅602b中，餐厅扬声器616安置在餐厅桌子上。在卧室602c中，个人平板电脑634放在床上，卧室扬声器636安置在与床相邻的床头柜上，并且卧室灯632定位在床的相对侧上。在客厅602d中，客厅扬声器646和客厅扬声器648位于电视机的相对侧上，并且客厅灯642定位于电视机屏幕的前方。在日光室602e中，日光室扬声器656和日光室扬声器658定位在房间的相对侧上。
如图6所示，计算机设备674和Jane的电话684在住宅602之外。计算机设备674定位在汽车仪表盘内，该汽车离住宅602距离670；并且Jane的电话684离住宅602距离680，并且当前由Jane持有。在一些实施方案中，计算机设备674连接到电子设备诸如蜂窝电话(例如，类似于John的电话604和/或Jane的电话684的个人电话)，并且电子设备向计算机设备674提供指令，这些指令使得计算机设备674显示视觉内容。距离670和680离住宅大于阈值距离(例如，1米、5米、10米)，使得计算机设备674和Jane的电话684不被认为是在对应于住宅602的位置中(例如，不在住宅602的地理围栏内或不连接到与该住宅相关联(例如，设置在该住宅内)的无线网络)。
在该示例中，图6中所示的扬声器(例如，餐厅扬声器616、卧室扬声器636、客厅扬声器646、客厅扬声器648、日光室扬声器656和日光室扬声器658)、灯(例如，卧室灯632和客厅灯642)和个人设备(例如，John的电话604、平板电脑634、计算机设备674和Jane的电话684)被分配给住宅602(例如，编程地映射到(例如，通过与住宅602相关联的用户账户，诸如John的用户账户或Jane的用户账户)对应于该住宅的组)。
此外，每个单独的扬声器和灯也被分配给其所在的房间(例如，映射到对应于其所在的房间)。例如，餐厅扬声器616被分配给餐厅602b(例如，编程地映射到对应于该餐厅的分组)；卧室扬声器636和卧室灯632被分配给卧室602c；客厅灯642、客厅扬声器646和客厅扬声器648被分配给客厅602d；并且日光室扬声器656和日光室扬声器658被分配给日光室602e。在一些实施方案中，对应于每个房间的每个组也被分配给住宅602。因此，映射到住宅602的房间的设备也同时映射到住宅602。
外部设备不能被分配给对应于不同房间的两个不同组设备。例如，不能同时将餐厅扬声器616分配给厨房602a(例如，对应于厨房602a的组)和餐厅602b。然而，各自被分配给相应房间的两组设备可被映射到(相同的)区。在该示例中，娱乐区660被分配给图6中的客厅602d和图6中的日光室602e。在该示例中，娱乐区660不是住宅602c中的物理房间；然而，娱乐区被编程地定义为分配给日光室客厅602d和日光室602e。在一些实施方案中，两个不同的区共享一组设备(例如，包括一些重叠设备，并且每个区包括一些非重叠设备)。例如，分配给日光室602e的一组设备可被映射到娱乐区660和饮食区(例如，其中分配给餐厅602b和日光室602e的一组设备被分配给了饮食区)。
在该示例中，个人设备(例如，John的电话604、平板电脑634和Jane的电话684)未被编程地映射到对应于房间的组而仅被映射到对应于住宅的组。
在一些实施方案中，图6所示的扬声器、灯和个人设备(例如，John的电话604、平板电脑634和Jane的电话684)是彼此直接连接或经由一个或多个网络(例如，无线网络(例如，蓝牙、NFC、Wi-Fi、4G等)彼此间接连接的智能设备。在一些实施方案中，其他智能设备，诸如智能器具、智能恒温器、智能插头插座等连接至一个或多个网络。在一些实施方案中，该一个或多个个人设备还可包括其他类型的个人设备，诸如智能手表、膝上型电脑、台式电脑等。
图7A至图7AI示出了根据一些实施方案的用于发送音频消息的示例性电子设备和用户界面。这些附图中的用户界面用于示出下文所述的过程，包括图8A至图8B中的过程。
图7A示出了显示用户界面702的电子设备700。在图7A中，电子设备700是便携式多功能设备，并且具有上面关于设备100、200、300和500中的一个或多个设备描述的一个或多个部件。相对于下图，在一些实施方案中，设备700在离住宅602小于预先确定的距离的位置处操作；然而，在其他实施方案中，设备700在离住宅602大于预先确定的距离的位置处操作。在一些实施方案中，设备700连接到与住宅602相关联的网络(例如，无线网络)，使得设备700连接到位于住宅602中的至少一个设备(例如，扬声器、灯)所连接到的同一无线网络。在一些实施方案中，多于一个无线网络与住宅602相关联。在一些实施方案中，设备700连接到那些网络中的至少一个网络。在一些实施方案中，设备700不连接到与住宅602相关联的该一个或多个网络。因此，设备700可发送音频组播消息并与住宅602内的设备通信，无论设备700离住宅602或设备700所连接的网络的距离如何。
虽然该描述通常将消息称为组播消息(或音频组播消息)，但应当认识到，此类消息任选地使用(1)组播通信、(2)广播通信、(3)单播通信或(4)它们的任何组合(例如，(1)第一设备(例如，控制器)向第二设备(例如，住宅中的集线器)发送单播通信，并且(2)第二设备向一个或多个第三设备(例如，住宅内的一个或多个附件设备和/或一个或多个个人设备)发送组播或广播通信(例如，包括来自单播通信的内容)。在一些实施方案中，组播通信是发送到多个接收方的通信。在一些实施方案中，广播通信是传输到信道或网络上的设备的通信。在一些实施方案中，广播通信是传输到信道或网络上的所有设备的通信。在一些实施方案中，单播通信是传输到单个接收人的通信。在此类实施方案中，当需要将内容发送到多个设备时，发送多个单播通信。
在一些实施方案中，广播通信是传输到信道或网络上的所有设备的通信。在此类实施方案中，当需要将内容发送到多个设备时，发送多个单播通信。
如图7A所示，用户界面702包括应用程序图标704，诸如住宅应用程序图标704a。应用程序图标704中的每个应用程序图标对应于应用程序，使得当选择应用程序图标时，该选择将使得设备700显示相应应用程序的用户界面。例如，住宅应用程序图标704a对应于住宅应用程序。在图7A处，设备700在对应于住宅应用程序图标704a的位置处检测轻击手势750a(例如，选择)。
如图7B所示，响应于检测到轻击手势750a，设备700显示住宅应用程序的用户界面710。用户界面710是用于控制分配给住宅602的多个外部设备的用户界面。用户界面710包括住宅位置标识符712、状态信息714、宏控件716、外部设备控件718、导航控件722、住宅组播指令724和住宅组播示能表示726(例如，可选用户界面对象)。
住宅位置标识符712是对应于住宅602的名称。在该示例中，位置标识符是住宅602的地址(例如，“123大街”)的一部分。在一些实施方案中，位置标识符是别名，诸如分配给住宅的别名。在一些实施方案中，别名是系统创建的别名。在一些实施方案中，别名是用户创建的别名。在一些实施方案中，位置标识符由设备700或外部设备的用户设置。在一些实施方案中，位置标识符是图形用户界面对象，诸如图像。
状态信息714包括关于分配给住宅602的设备中的一些设备的当前状态的信息。这里，状态信息714指示住宅602中的至少一个灯打开。在一些实施方案中，状态信息714包括关于多个设备的状态的信息(例如，“卧室风扇打开”)。
如图7B所示，在住宅位置标识符712和状态信息714下方存在两行宏控件716。宏控件716是用于发起相应宏的示能表示(例如，可选用户界面对象)。在一些实施方案中，相应宏使得一个或多个外部设备执行动作。例如，“晚安”宏控件在被选择时使得一个或多个灯关闭，一个或多个扬声器停止回放媒体，和/或一个或多个门闩锁锁定。
另外，在图7B中，用户界面710包括在宏控件716下方的用于外部设备控件718的行。在图7B中，两行外部设备控件718跨三列延伸，因此总共显示六个外部设备控件(例如，其中每个相应行上显示三个设备控件)。在一些实施方案中，用户可能要控制更少的外部设备，从而需要更少的外部设备控件718。在其他实施方案中，用户可能要控制更多的外部设备，从而需要更多的外部设备控件718。在一些实施方案中，当要显示的外部设备控件718多于可用屏幕空间时，屏幕滚动(例如，上下滚动或左右滚动)以显示所有外部设备控件。外部设备控件718包括餐厅扬声器控件718a、客厅灯控件718b、客厅扬声器控件718c、日光室扬声器控件718d、卧室扬声器控件718e和卧室灯控件718f。另外，外部设备控件718中的每个外部设备控件包括表示每个相应外部设备的当前状态的状态信息。例如，餐厅扬声器控件718a的状态信息指示餐厅扬声器616当前正在播放媒体(在该示例中未由状态信息714表示)，并且客厅灯控件718b的状态信息指示客厅灯642当前关闭(在该示例中由状态信息714表示)。
外部设备控件718中的每个外部设备控件在被选择时控制分配给住宅602的至少一个设备。例如，餐厅扬声器控件718a在被选择时使得餐厅扬声器616播放或暂停音乐。在一些实施方案中，当选择餐厅扬声器控件718a时，餐厅扬声器控件718a上的状态信息改变以示出餐厅扬声器616已暂停媒体的回放(例如，如卧室扬声器控件718e所示)或停止媒体的回放。外部设备控件718中的一些外部设备控件在被选择时控制多个设备。例如，日光室扬声器控件718d在被选择时使得日光室扬声器656和658播放或暂停媒体的回放，并且日光室扬声器控件718d上显示的状态信息相应地改变。外部设备控件718中的一些外部设备控件不是扬声器设备控件。例如，外部设备控件718包括客厅灯控件718b，该客厅灯控件在被选择时使得客厅灯642打开/关闭并且客厅灯控件718b上显示的状态信息相应地改变。
在一些实施方案中，外部设备控件718选自也被分配给住宅602的一组其他外部控件。例如，图7B中所示的六个控件可选自也分配给住宅602的10、20或50(或大于6的任何其他数量)个外部控件的组。在一些实施方案中，基于确定这些外部设备控件中的每个外部设备控件是收藏控件来选择外部设备控件718。在一些实施方案中，基于外部设备控件(或外部设备)是否是最近使用的、最频繁使用的、新添加的、被指定为收藏的、重要的外部设备控件(例如，经由检测一个或多个输入)等或它们的任何组合来确定外部设备是否是收藏控件。
位于用户界面710底部的是导航控件722。导航控件722包括住宅导航控件722a、房间导航控件722b和自动化导航控件722c。导航控件722中的每个导航控件在被选择时使得设备700显示用于住宅应用程序的不同用户界面。
如图7B所示，用户界面710包括与住宅组播示能表示726相邻的住宅组播指令724。在图7B中，住宅组播指令724指示用户应选择(例如，“轻击”)住宅组播示能表示726，以便将要组播的音频消息发送到分配给住宅602的一个或多个设备。在图7B处，设备700在对应于住宅组播示能表示726的位置处检测轻击手势750b。
响应于检测到轻击手势750b，设备700发起用于将音频组播消息发送到分配给住宅602的一个或多个设备的过程。在一些实施方案中，该过程包括显示图7C、图7D和图7E中描绘的用户界面，如下所述。在一些实施方案中，该过程包括显示图7C1中描绘的用户界面，如下所述。
如图7C所示，响应于检测到轻击手势750b，用户界面730包括住宅目的地标识符732、退出示能表示734和组播录制示能表示736。住宅目的地标识符732指示音频组播消息指向分配给住宅602的一组设备(例如，将接收音频组播消息)。退出示能表示734是用于退出用户界面730的示能表示。在一些实施方案中，当选择退出示能表示734时，设备700停止显示用户界面730并重新显示用户界面710，如图7B所示。在图7C处，设备700在对应于组播录制示能表示736的位置处检测轻击手势750c。
如图7D所示，响应于检测到轻击手势750c，设备700显示用户界面740。用户界面740包括同样包括在用户界面730中的住宅目的地标识符732和退出示能表示734。此外，用户界面740还包括音频状态条742和音频波744a。
另外，在图7D处，设备700还响应于检测到轻击手势750c而开始录制音频组播消息。经由设备700的一个或多个麦克风检测音频组播消息的音频。从一个或多个外部源(例如，诸如用户语音)检测音频组播消息的音频。这里，由音频波744a表示所录制的音频，当设备700接收到更多音频输入时，该音频波在一个时间段内填充音频状态条742。
如图7D所示，响应于检测到轻击手势750c，设备700在先前在图7C中显示组播录制示能表示736的位置处显示组播录制停止示能表示746。在图7D处，设备700在对应于组播录制停止示能表示746的位置处检测轻击手势750d。
如图7E所示，响应于检测到轻击手势750d，设备700显示用户界面750。在图7E处，响应于检测到轻击手势750d，设备700已停止录制或捕获来自一个或多个外部源的音频。因此，用户界面750包括主要由音频波744a填充的音频状态条742，该音频波表示所录制的音频组播消息的至少一部分。如图7E所示，用户界面750包括音频组播消息回放示能表示752和音频组播消息删除示能表示754(例如，除了包括住宅目的地标识符732、退出示能表示734、音频状态条742、音频波744a之外)。在一些实施方案中，响应于检测到对音频组播消息回放示能表示752的选择，设备700将发起音频组播消息的回放。在一些实施方案中，响应于检测到对音频组播消息删除示能表示754的选择，设备700将删除音频组播消息。在一些实施方案中，响应于检测到对音频组播消息删除示能表示754的选择，设备700重新显示用户界面710、730和/或740。
如图7E所示，响应于检测到轻击手势750d，设备700在先前在图7D中显示组播停止录制示能表示746的位置(也是在图7C中显示组播录制示能表示736的位置)处显示组播发送示能表示756。
作为图7C、图7D和图7E所述流程的替代形式，设备700可响应于检测到图7B中的轻击手势750b而显示图7C1中所示的用户界面。如图7C1所示，响应于检测到轻击手势750b，设备700显示用户界面741并且自动开始录制音频组播消息(例如，在未检测到任何另外的手势诸如轻击手势750c的情况下)。如图7C1所示，用户界面741包括住宅目的地标识符732、退出示能表示734、音频波744a、组播发送示能表示747，设备700使用与上文关于图7C、7D和7E所述的那些技术类似的技术来显示这些示能表示。例如，在图7C1中，音频波744a是动态的，并且相对于在录制音频的时间长度内当前正在录制的音频的一个或多个特征(例如，音量水平、音高、音调)随时间推移而改变。在一些实施方案中，当在录制音频的时间长度内正在录制音频时，音频波744a向左移动。
在一些实施方案中，使用图7B的用户界面710或图7C1的用户界面741来录制音频，而不是通过图7C、图7D和图7E所述的流程和/或通过图7C所述的流来录制音频。例如，响应于在住宅组播示能表示726上检测到保持手势，设备700开始录制音频组播消息。在此类示例中，当保持手势终止(例如，释放)时停止录制，使得住宅组播示能表示726被替换为发送示能表示(例如，类似于组播发送示能表示756)。在一些实施方案中，当保持手势终止时，音频作为组播消息自动发送。在一些实施方案中，当保持手势终止时，住宅组播指令724被替换为用于播放音频的示能表示(例如，类似于音频状态条742)和用于删除音频的示能表示(例如，类似于音频组播消息删除示能表示754)。在另一个示例中，响应于在住宅组播示能表示726上检测到轻击手势，住宅组播示能表示726以类似于组播录制示能表示736的方式操作(例如，替换为停止示能表示(类似于组播录制停止示能表示746))。在此类示例中，响应于在停止示能表示上检测到轻击手势，(1)停止示能表示被替换为发送示能表示(例如，类似于组播发送示能表示756)，并且(2)住宅组播指令724被替换为用于播放音频的示能表示(例如，类似于音频状态条742)和用于删除音频的示能表示(例如，类似于音频组播消息删除示能表示754)。在图7E处，设备700在对应于组播发送示能表示756的位置处检测轻击手势750e，或者在图7C1中，设备700在对应于组播发送示能表示747的位置处检测轻击手势750c1。
如图7F所示，响应于检测到轻击手势750e或轻击手势750c1(或发送示能表示上的轻击手势，如先前段落所述)，设备700使得音频组播消息被组播(发送)到分配给住宅602的一组外部设备。此类发送任选地包括(1)将包括音频组播消息的消息发送到另一设备(例如，位于住宅内的设备)，以及(2)该另一设备将音频组播消息发送到该组外部设备(在一些实施方案中，该另一设备识别该组外部设备而不是设备700)。提供表706以示出音频组播消息指向的外部设备。例如，“所接收的音频组播消息”列中的复选标记指示音频组播消息指向(例如，发送到)复选标记的相应行上的外部设备，并且“所接收的音频组播消息”列中的虚线指示音频组播消息不指向(例如，不发送到)虚线的相应行上的外部设备。
在图7F中，表706示出音频组播消息指向每个扬声器(例如，餐厅扬声器616、卧室扬声器636、客厅扬声器646、客厅扬声器648、日光室扬声器656和日光室扬声器658)(并且由每个扬声器接收)。值得注意的是，音频组播消息也指向个人设备(例如，John的电话604、平板电脑634和Jane的电话684)。在一些实施方案中，音频组播消息指向个人设备，无论个人设备是否位于对应于住宅的位置(例如，与距离670和680是否超过阈值距离无关)。例如，音频组播消息指向图6中位于住宅602内部的John的电话604和平板电脑634。此外，音频组播消息也指向位于住宅602外部(分别离住宅602距离670和距离680)的计算机设备674和Jane的电话684。在一些实施方案中，音频组播消息是否指向个人设备取决于个人设备是否被包括在住宅的网络中(例如，当个人设备被包括在住宅的网络中时，音频组播消息指向个人设备)。
图7F中的表706还指示音频组播消息不指向一些外部设备(并且因此这些外部设备未接收到音频组播消息)，尽管它们被分配给住宅602。例如，表706示出了音频组播消息不指向卧室灯632和客厅灯642。在一些实施方案中，音频组播消息不指向一些类型的外部设备，无论外部设备是否被分配给音频组播消息正被发送到的一组设备。在一些实施方案中，这些类型的外部设备包括不具有一个或多个音频输入设备(例如，麦克风)和/或一个或多个音频输出设备(例如，扬声器)的设备。在一些实施方案中，这些类型的外部设备包括在音频消息被发送时(或之前)不活动、未通电或不工作的设备。
如图7F所示，在检测到轻击手势750e或轻击手势750c1(或发送示能表示上的轻击手势，如上所述)之后的某个时间点处，设备700重新显示用户界面710。在一些实施方案中，在检测到轻击手势750e或轻击手势750c1之后(例如，在检测到轻击手势750e或轻击手势750c1之后的预先确定的时间段之后)(或发送示能表示上的轻击手势，如上所述(例如，在检测到轻击手势之后的预先确定的时间段之后))，在设备700未检测到任何附加输入的情况下，显示用户界面710。在一些实施方案中，在检测到一个或多个附加输入(诸如在图7E中的退出示能表示734上检测到的轻击手势输入)时，显示用户界面710。
在一些实施方案中，响应于检测到对应于客厅灯控件718b的位置处的轻击手势750f1，设备700将发送使得客厅灯642打开(或如果当前状态为打开，则使其关闭)的指令。在一些实施方案中，响应于检测到对应于客厅扬声器控件718c的位置处的轻击手势750f2，设备700将发送使得客厅扬声器646和648(或它们中的至少一者)发起媒体的回放(例如，或者如果当前状态为正在播放则暂停媒体的回放)的指令。在图7F处，设备700在对应于房间导航示能表示722b的位置处检测轻击手势750f3。
如图7G所示，响应于检测到轻击手势750f3，设备700显示住宅应用程序的用户界面760并且指示房间导航控件722b(例如，在图7G中加粗)而不是住宅导航控件722a(例如，在图7G中未加粗)被选择。用户界面760是用于控制分配给客厅602d的多个外部设备的用户界面，如客厅位置标识符762所指示的。用户界面710包括宏控件766、外部设备控件768、导航控件722、客厅组播指令774和客厅组播示能表示776。用户界面760的这些元素是用于客厅的设备的特定控件，不同于用户界面710的用作整个住宅的设备的控件的元素。在一些实施方案中，用户界面760的这些元素中的一个或多个元素具有与上述(例如，在图7B中)用户界面710的元素中的一个或多个元素类似的目的或功能。在一些实施方案中，用户界面760包括状态信息，该状态信息包括分配给客厅602d的设备的当前状态。在一些实施方案中，设备700在用户界面710上接收到轻扫手势之后显示住宅应用程序的用户界面760。
值得注意的是，住宅应用程序中的用户界面(例如，用户界面710和760)以分级结构布置。例如，用户界面710是分级结构的顶部节点并且包括用于被分配给住宅602的一组外部设备的控件。并且，在显示用户界面710时，可以检测到使得设备700显示用户界面760的输入(例如，单个输入(例如，轻击手势750f))，该用户界面760是分级结构中的下部节点并且包括用于被分配给住宅602中的相应房间(例如，客厅602d)(而不是其他房间)的一组外部设备的控件。
如图7G所示，外部设备控件768包括客厅扬声器控件768a、客厅灯控件768b、客厅开关(例如，灯开关)控件768c和客厅电视控件768d。在图7G中，客厅扬声器控件768a和客厅灯控件768b使得其相应外部设备中的每个外部设备在被选择时执行与客厅灯设备控件718b和客厅扬声器设备控件718c将使得其相应外部设备执行的动作相同的动作(例如，在图7B中)。因此，在该示例中，客厅扬声器控件768a和客厅灯控件768b实际上是与客厅扬声器设备控件718c和客厅灯设备控件718b相同的控件，尽管它们在视觉上看起来不同于其相应对应物中的每个对应物。在一些实施方案中，客厅扬声器控件768a和客厅灯控件768b并未在视觉上看起来不同于客厅扬声器设备控件718c和客厅灯设备控件718b。
当与图7B中显示的外部设备控件718相比时，外部设备控件768包括在图7B中显示为外部设备控件718的一部分的至少一个外部设备控件(例如，客厅扬声器控件768a和客厅灯控件768b)以及未显示为外部设备控件718的一部分的至少一个外部设备控件(例如，客厅开关控件768c和客厅电视控件768d)。换句话讲，可从用户界面710和760控制至少一个外部设备(例如，客厅扬声器646和648)，并且可仅从用户界面710和用户界面760中的仅一者控制至少一个外部设备(例如，卧室扬声器636和用户界面760中的客厅电视)。在一些实施方案中，响应于检测到对应于客厅灯控件768b的位置处的轻击手势750g1，设备700将发送使得客厅灯642打开(或如果当前状态为打开，则使其关闭)的指令。在一些实施方案中，响应于检测到对应于客厅扬声器控件768a的位置处的轻击手势750g2，设备700将发送使得客厅扬声器646和648(或它们中的至少一者)发起媒体的回放(例如，或者如果当前状态为正在播放则暂停媒体的回放)的指令。
另外，在图7B中外部设备控件718被指定为住宅602的一组收藏控件，而在图7G中外部设备控件768是分配给客厅602d的一组所有控件。在图7B中，用户界面760不包括未分配给客厅602d的任何外部设备。例如，在用户界面760上不显示餐厅扬声器设备控件718a、日光室扬声器设备控件718d、卧室扬声器设备控件718e和卧室灯设备控件718f。在一些实施方案中，响应于检测到轻击手势750f3，显示用于控制另一房间(例如，诸如卧室、日光室、厨房)的多个外部设备的用户界面。在一些实施方案中，响应于在图7G处检测到的一个或多个输入(例如，轻扫输入)，显示用于控制另一房间的多个外部设备的用户(界面)。
如图7G所示，用户界面760包括与客厅组播示能表示776相邻的客厅组播指令774。在图7G中，客厅组播指令774指示用户应选择(例如，“轻击”)客厅组播示能表示776，以便将要组播的音频组播消息发送到分配给客厅602d的一个或多个设备。这里，客厅组播示能表示776并未在视觉上看起来不同于住宅组播示能表示726(例如，在图7B中)，并且显示在设备700上的与在图7B中显示的住宅组播示能表示726相同的位置。在一些实施方案中，客厅组播示能表示776在视觉上看起来不同于住宅组播示能表示726。在图7G处，设备700在对应于客厅组播示能表示776的位置处检测轻击手势750g3。
响应于检测到轻击手势750g3，设备700发起用于将音频组播消息发送到分配给客厅602d的一个或多个设备的过程。在一些实施方案中，该过程包括显示如图7H所示的用户界面780A。在一些实施方案中，该过程包括设备700显示与图7C1的用户界面741类似的用户界面，该用户界面响应于检测到轻击手势750g3而显示。在一些实施方案中，该过程包括设备700显示与图7C1的用户界面741类似的用户界面，以录制音频组播消息以发送到分配给客厅602d的一组设备。在一些实施方案中，该过程包括设备700显示如下文在图7H至图7J中所述的用户界面，其中音频被录制并发送到分配给客厅602d的一组设备。
如图7H所示，响应于检测到轻击手势750g3，用户界面780a类似于图7C中的用户界面730，使得用户界面780a也包括退出示能表示734和组播录制示能表示736。然而，用户界面780a包括客厅目的地标识符782而不是住宅目的地标识符732。客厅目的地标识符782指示分配给客厅602d的一组设备将接收经由用户界面780a发送的组播消息。在一些实施方案中，用户界面780a不列出作为该组一部分的设备的各个名称/标识符。在一些实施方案中，上面关于用户界面730讨论的一种或多种技术可以应用于用户界面780a。
转到图7K，在一些实施方案中，响应于检测到轻击手势750g3并且根据确定分配给客厅602d的一个或多个(或所有)外部设备(例如，扬声器)不可用(例如，不活动或关闭)，显示用户界面780b。如图7K所示，用户界面780b包括不可用指示788以指示分配给客厅602d的外部设备中的一个或多个外部设备不可用(或全部不可用，并且当少于全部不可用时不包括该不可用指示)，并且组播录制示能表示736被显示为变暗或变灰。在图7K处，响应于检测到轻击手势750k，设备700继续显示用户界面780b(例如，直到分配给客厅602d的一个或多个外部设备可用)，因为组播录制示能表示736被禁用。在一些实施方案中，响应于设备700检测到图7C中的轻击手势750c，显示与用户界面780b类似的用户界面。
返回到图7H，设备700在对应于组播录制示能表示736的位置处接收轻击手势750h。
如图7I所示，响应于接收到轻击手势750h，设备700开始(例如，使用设备700的麦克风)录制来自一个或多个外部源的音频，并且显示与图7D中的用户界面740类似的用户界面784。与用户界面740类似，用户界面784包括退出示能表示734、音频状态条742和组播录制停止示能表示746。然而，用户界面784包括音频波744b，该音频波表示正在录制音频并且该音频不同于图7D中录制的由音频波744a表示的音频。用户界面784还包括客厅目的地标识符782而不是住宅目的地标识符732。在一些实施方案中，上面关于用户界面740讨论的一种或多种技术可以应用于用户界面784。在图7I处，设备700在对应于组播录制停止示能表示746的位置处检测轻击手势750i。
如图7J所示，响应于检测到轻击手势750i，设备700显示用户界面786并停止录制或捕获来自一个或多个外部源的音频。用户界面786类似于用户界面750，不同的是当前显示音频波744b(而不是音频波744a)并且显示客厅目的地标识符782(而不是住宅目的地标识符732)。在一些实施方案中，上面关于用户界面750讨论的一种或多种技术可以应用于用户界面786。在图7J处，设备700在对应于组播发送示能表示756的位置处检测轻击手势750j(或与如上所述图7C1的用户界面741类似的用户界面上的轻击手势(例如，类似于轻击手势750c1))。
在一些实施方案中，设备700响应于检测到轻击手势750j(或与如上所述图7C1的用户界面741类似的用户界面上的轻击手势(例如，类似于轻击手势750c1)，显示用户界面790，如图7L所示。当确定音频组播消息不能递送到分配给客厅602d的外部设备中的一个或多个(或全部)外部设备时，设备700显示用户界面790。用户界面790包括未递送指示791以指示音频组播消息未递送到目标外部设备。在一些实施方案中，响应于设备700检测到图7E中的轻击手势750e或图7C1中的轻击手势750c1，显示与用户界面790类似的用户界面。
在一些实施方案中，用户界面730、740、750、780a、780b、784、786和790中的一者或多者包括用于交换所录制的音频组播消息的预期目标(例如，改变目的地标识符)的示能表示。例如，在发起用于将音频组播消息发送到第一组设备(例如，分配给住宅602的设备)的过程之后(诸如在示出图7J时，并且在与图7C1的用户界面741类似的用户界面上接收到输入750j或轻击手势(例如，类似于轻击手势750c1)之前)，设备700可检测对用于将所录制的音频组播消息的预期目标从第一组设备交换到第二组设备(例如，分配给餐厅602b的设备)的示能表示(例如，或用于交换预期目标的多个示能表示)的选择。
在一些实施方案中，音频被录制并从与图7C1的用户界面741类似的、响应于检测到轻击手势750g而显示的用户界面发送。在一些实施方案中，从图7G中的用户界面760来录制音频，而不是通过图7H至图7J中所述的流来录制音频。例如，响应于在客厅组播示能表示776上检测到保持手势，设备700开始录制音频组播消息。在此类示例中，当保持手势终止(例如，释放)时停止录制，使得客厅组播示能表示776被替换为发送示能表示(例如，类似于组播发送示能表示756)。在此类示例中，客厅组播指令774被替换为用于播放音频的示能表示(例如，类似于音频状态条742)和用于删除音频的示能表示(例如，类似于音频组播消息删除示能表示754)。在另一个示例中，响应于在客厅组播示能表示776上检测到轻击手势，客厅组播示能表示776以类似于组播录制示能表示736的方式操作(例如，替换为停止示能表示(类似于组播录制停止示能表示746))。在此类示例中，响应于在停止示能表示上检测到轻击手势，停止示能表示被替换为发送示能表示(例如，类似于组播发送示能表示756)，并且客厅组播指令774被替换为用于播放音频的示能表示(例如，类似于音频状态条742)和用于删除音频的示能表示(例如，类似于音频组播消息删除示能表示754)。
如图7M的表706所示，响应于检测到轻击手势750j(或如先前段落所述的发送示能表示上的轻击手势，或与如上所述图7C1的用户界面741类似的用户界面上的轻击手势(例如，类似于轻击手势750c1))，设备700使得音频组播消息被组播(发送或指向)到分配给客厅602d的一组外部设备。此类发送任选地包括(1)将包括音频组播消息的消息发送到另一设备(例如，位于客厅内的设备)，以及(2)该另一设备将音频组播消息发送到该组外部设备(在一些实施方案中，该另一设备识别该组外部设备而不是设备700)。如表706所示，音频组播消息仅指向接收音频组播消息的客厅扬声器646和648。值得注意的是，音频组播消息不指向个人设备(例如，John的电话604、平板电脑634和Jane的电话684)，因为个人设备未被分配给对应于房间的组(例如，个人设备未被分配给对应于客厅602d的组)。另外，音频组播消息不指向客厅灯642，因为出于上述类似原因(例如，在图7F中)客厅灯642不是可接收音频组播消息的那类型的外部设备。
在图7M处，设备700检测语音输入792a，包括短语“嘿，助理，组播‘你好’”。在检测到语音输入792a的一部分之后的某时，设备700显示具有指示794a的用户界面794(例如，该指示显示在用户界面794的左侧)。这里，指示794a是语音输入792a的一部分的响应。指示794a是读作“我能帮您做些什么？”的文本。在一些实施方案中，设备700输出包括指示794a的可听版本的媒体。
在图7N处，在显示图7M中的用户界面794之后，设备700在用户界面794的右侧上显示指示794b。此外，设备700在用户界面794的左侧上并且在指示794b下方显示指示794c。指示794b是读作“嘿，助理，组播‘你好’”的文本，其是对应于包括在语音输入792a中的可听短语的文本。另外，指示794c是读作“好的，我已将您的组播发送到123大街”的文本。值得注意的是，123大街是住宅602的标识符(例如，图7B中的住宅位置标识符712)。在一些实施方案中，设备700输出包括响应794c的可听版本的媒体。
如图7N中的表706所示，在检测到语音输入792a之后，设备700将音频组播消息指向(例如，发送)到分配给住宅602的一个或多个设备，如上文关于图7F所述。表706示出音频组播消息(例如，“你好”)指向住宅的每个扬声器(例如，餐厅扬声器616、卧室扬声器636、客厅扬声器646、客厅扬声器648、日光室扬声器656和日光室扬声器658)，并且音频组播消息(例如，“你好”)指向住宅的个人设备(例如，John的电话604、平板电脑634、Jane的电话684)，无论设备是否位于对应于住宅的位置和/或设备是否连接到与住宅相关联的网络(如上所述)。
如图7O所示，在显示图7N中的用户界面794之后的某时，设备700显示用户界面710。在显示用户界面710时，设备700检测对应于图7O处的卧室扬声器控件718e的位置处的手势750o(例如，长按压手势)。
如图7P所示，响应于检测到手势750o，设备700显示用户界面796，其包括用于控制卧室扬声器636的多个设置示能表示(例如，房间设置(例如，其中在图7P中选择了卧室以示出卧室扬声器636被分配给卧室602c)、收藏设置(例如，其中在图7P中选择了“包含在收藏夹”，这可使得卧室扬声器控件718e被显示在用户界面710上))。如图7P所示，设置示能表示中的一个设置示能表示是组播设置示能表示796a，其包括对卧室扬声器636被配置为接收组播消息的指示。在图7P处，设备700在对应于组播设置示能表示796a的位置处检测轻击手势750p。
如图7Q所示，响应于检测到轻击手势750p，设备700显示包括组播设置切换键798a的用户界面798。在图7Q中，组播设置切换键798a指示卧室扬声器636被配置为接收组播消息(例如，圆圈显示在设置切换键的右侧)。在图7Q处，设备700在对应于组播设置示能表示798a的位置处检测轻击手势750q。
如图7R所示，响应于检测到轻击手势750q，设备700改变组播切换键798a的状态(例如，将圆圈移动到设置切换键的左侧)以指示卧室扬声器636未被配置为接收组播消息。在一些实施方案中，可选择图7P中的组播设置示能表示796a以将设置从打开改变为关闭，而无需导航到不同的用户界面(例如，用户界面798)。
在图7S处，设备700检测语音输入792b，包括短语“嘿，助理，组播‘你好’到日光室”。在检测到语音输入792b的一部分之后的某时，设备700显示具有指示794d的用户界面794(例如，该指示显示在用户界面794的左侧)。这里，指示794d是语音输入792b的一部分的响应。指示794d是读作“我能帮您做些什么？”的文本。在一些实施方案中，设备700输出包括指示794d的可听版本的媒体。
在图7T处，在显示图7S中的用户界面794之后，设备700在用户界面794的右侧上显示指示794e，并且在用户界面794的左侧上(并且在指示794e下方)显示指示794f。指示794e是读作“嘿，助理，组播‘你好’到日光室”的文本，其是对应于包括在语音输入792b中的可听短语的文本。另外，指示794f是读作“好的，我已将您的组播发送到日光室”的文本。值得注意的是，“日光室”是图6中分配给日光室602e的一组设备的标识符。
如图7T中的表706所示，在检测到语音输入792b之后，设备700将音频组播消息指向(例如，发送)到分配给日光室602e的一个或多个设备。表706示出音频组播消息(例如，“你好”)指向日光室扬声器656和日光室扬声器658，并且音频组播消息(例如，“你好”)不指向其他设备。值得注意的是，语音输入792b包括标识符(例如，“日光室”)，而语音792a不包括标识符。因此，在一些实施方案中，当检测到没有标识符的语音输入时，设备700将音频组播消息发送到分配给默认组的该组设备。在一些实施方案中，默认组是对应于住宅(例如，诸如住宅602)的组，如上文相对于图7N所述。
在图7U处，设备700检测语音输入792c，包括短语“嘿，助理，组播‘你好’到娱乐区”。在检测到语音输入792c的一部分之后的某时，设备700显示具有指示794g的用户界面794(例如，该指示显示在用户界面794的左侧)。这里，指示794g是语音输入792c的一部分的响应。指示794g是读作“我能帮您做些什么？”的文本。在一些实施方案中，设备700输出包括指示794g的可听版本的媒体。
在图7V处，在显示图7U中的用户界面794之后的某时，设备700在用户界面794的左侧(并且在指示794h下方)显示指示794i。指示794i是读作“好的，我已将您的组播发送到娱乐区”的文本。区是多组设备的标识符。这里，娱乐区660被分配给对应于图6中的日光室602e的该组设备和对应于图6中的客厅602d的该组设备。
如图7V中的表706所示，在检测到语音输入792c之后，设备700将音频组播消息指向(例如，发送)到分配给娱乐区的一个或多个设备。表706示出音频组播消息(例如，“你好”)指向客厅扬声器646、客厅扬声器648、日光室扬声器656和日光室扬声器658，并且音频组播消息(例如，“你好”)不指向其他设备。
如图7V所示，设备700还显示组播通知708a，其指示已经从分配给日光室602e的该组设备接收到新的音频组播消息。新的音频组播消息是对图7T中发送的音频组播消息的回复。
在图7W处，设备700检测语音输入792d，包括短语“嘿，助理，组播‘我们很快就要走了’”。
在图7X处，在检测到语音输入792d之后的某时，设备700在用户界面794的左侧上并且在指示794i下方显示指示794j。指示794j是读作：“嘿，助理，组播‘我们很快就要走了’”的文本。该文本对应于语音输入792d中包括的可听短语。这里，语音输入792d不包括标识符。另外，在图7X处，设备700还在用户界面794的右侧上并且在指示794j下显示指示794k。指示794k是读作：“好的，我已将您的组播发送到日光室”的文本。
如图7X中的表706所示，在检测到语音输入792d之后，设备700发起用于将音频组播消息(例如，“我们很快就要走了”)发送到分配给日光室的该组设备的过程。具体地讲，在语音输入792d未包括日光室的标识符的情况下，设备700将音频组播消息指向(例如，发送)到分配给日光室602e的一个或多个设备。因此，因为在接收到组播通知708a之后的预先确定的时间段内检测到语音输入792d，所以设备700智能地将下一个检测到的音频组播消息指向日光室而不是默认组(对应于住宅602的组)。在一些实施方案中，因为在离先前组播消息被发送到日光室的预先确定的时间内接收到语音输入702d，所以设备700智能地将下一个检测到的音频组播消息路由到日光室而不是默认组。在一些实施方案中，两个不同的区可共享至少一组设备(例如，分配给特定房间的同一组设备)。
如图7X所示，设备700还显示组播通知708b，其指示已经从分配给日光室602e的该组设备接收到音频组播消息。这里，设备700在10:19接收到该消息。
在图7Y处，设备700检测语音输入792e，包括短语“嘿，助理，组播‘我们去吃饭吧’”，并且显示具有指示794l的用户界面794。指示794l读作“我能帮您做些什么？”在图7Y处，此时时间是10:30(例如，自显示图7X中的用户界面以来已经过去了11分钟)。
在图7Z处，在显示图7Y中的用户界面794之后，设备700在用户界面794的右侧上显示指示794m，并且在用户界面794的左侧上(并且在指示794m下方)显示指示794n。指示794m是读作“嘿，助理，组播‘我们去吃饭吧’”的文本，其是对应于包括在语音输入792e中的音频短语的文本。另外，指示794n是读作“好的，我已将您的组播发送到123大街”的文本。
如图7Z中的表706所示，在检测到语音输入792e之后，在语音输入792e未包括住宅602的标识符的情况下，设备700将音频组播消息(例如，“我们去吃饭吧”)指向(例如，发送)到分配给住宅602的一个或多个设备。这里，因为自接收到组播通知708b以来已经过去了超过预先确定的时间段，所以设备700智能地将下一个检测到的音频组播消息路由到默认组(对应于住宅602的组)而不是日光室602e。在一些实施方案中，因为在离先前组播消息被发送到日光室602e的预先确定的时间内未接收到语音输入702e，所以设备700智能地将检测到的音频组播消息路由到默认组。
此外，如图7Z中的表706所示，图7Z的组播消息(不同于图7N)不指向卧室扬声器636，因为卧室扬声器636的组播设置响应于检测到图7Q中的轻击手势750q而关闭了。
在显示图7Z中的用户界面794之后的某个时间，设备700显示如图7AA所示的用户界面710。在图7AA中，设备700检测对应于住宅设置示能表示928的位置处的轻击手势750aa，该位置在图7AA中的住宅位置标识符712上方。
如图7AB所示，响应于检测到轻击手势750aa，设备700显示用户界面797。用户界面797包括具有被分配给住宅应用程序的一个或多个个人设备(例如，对应于住宅602a的组)的一群人797a。用户界面797还包括组播许可示能表示797b。在图7AB处，设备700在对应于组播许可示能表示797b的位置处检测轻击手势750ab。
如图7AC所示，响应于检测到轻击手势750ab，设备700显示用户界面799，该用户界面包括何时允许将音频组播消息发送到个人设备的多个选项。在图7AC中，这些选项包括从不选项799a、在家选项799b和随时选项799c。在图7AC中，选择了随时选项799c。因此，在一些实施方案中，设备700被配置为在任何时间接收组播消息，无论设备700的位置如何。在一些实施方案中，响应于在对应于从不选项799a的位置处检测到轻击手势750c1，设备700被配置为从不接收组播消息，无论设备700的位置如何。在一些实施方案中，响应于在对应于在家选项799b的位置处检测到轻击手势750c2，设备700被配置为仅在设备700处于对应于住宅602的位置处或住宅602内(例如，在离住宅的阈值距离内或相对于设备是否连接到与住宅602相关联的一个或多个网络)时接收组播消息。在一些实施方案中，当选择了在家选项799b时，当设备700诸如计算机设备674和Jane的电话684离住宅距离670和距离680时，如果那些距离大于阈值距离，则设备700将不接收音频组播消息。在一些实施方案中，可选择并显示一个或多个选项，诸如仅在设备远离住宅时接收消息的选项。在一些实施方案中，当选择了在家选项799b时，当设备700连接到与住宅602相关联的一个或多个网络(例如，连接到住宅Wi-Fi网络)时，设备700将接收音频组播消息；并且当选择了在家选项799b时，当设备700未连接到与住宅602相关联的一个或多个网络时(例如，未连接到住宅Wi-Fi网络)，设备700将不接收音频组播消息(例如，无论设备的位置如何)。
图7AD至图7AE示出了用于在具有比设备700更大屏幕的设备诸如平板电脑634上显示上述用户界面的示例性用户界面。图7AD中的用户界面711对应于上面讨论的用户界面710。此外，图7AE中的用户界面731对应于上面讨论的用户界面730。然而，可使用与上文针对图7A至图7AC所述的那些技术类似的一种或多种技术在平板电脑634上显示和转换上文所述的用户界面中的任一个用户界面。
图7AF至图7AH示出了用于在具有比设备700更小屏幕的设备诸如智能手表701上显示上述用户界面的示例性用户界面。图7AF中的用户界面713对应于上面讨论的用户界面710。此外，图7AG中的用户界面741对应于上面讨论的用户界面740。此外，图7AH中的用户界面751对应于上面讨论的用户界面750。然而，可使用与上文针对图7A至图7AC所述的那些技术类似的一种或多种技术在智能手表701上显示和转换上文所述的用户界面中的任一个用户界面。
如图7AI所示，设备700显示用户界面795。在一些实施方案中，用户界面795是图7AC的用户界面799的替代形式，并且用户界面795任选地响应于检测到图7AB所示的轻击手势750ab而显示(例如，根据确定所有者类型的用户账户登录到设备700中，如下文进一步详细所述)。用户界面795包括何时允许将音频组播消息发送到个人设备诸如设备700的多个选项。在图7AI中，选项包括从不选项799a、在家选项799b和随时选项799c，每个选项具有与上文相对于图7AC的799a至799c所述相同的功能。
在一些实施方案中，作为住宅602的一部分(例如，被配置为经由住宅602的该一个或多个网络访问设备)的每个个人设备登录到与住宅602相关联的各个用户账户中的一个用户账户。用户账户为三种类型的账户中的一种账户：所有者类型、管理员类型和共享用户类型。基于住宅602的所有者类型的用户账户登录到设备700，设备700显示用于控制住宅602的组播消息设置的附加控件(例如，选项795a-795f)。
组播设置选项795a-795c用于配置登录到用户账户的个人设备可使用(例如，发送和/或接收)与住宅602相关联的组播消息特征。如图7AI所示，组播设置选项795a-795b被配置为使得分别登录到Jane Appleseed和Emma Appleseed的用户账户的个人设备被允许(例如，被启用)发送和/或接收组播消息(例如，圆圈显示在设置切换键的右侧)。相比之下，组播设置选项795c被配置为使得登录到Marie Smith的用户账户的个人设备不被允许(例如，不被启用)发送和/或接收组播消息(例如，圆圈显示在设置切换键的左侧)。响应于在组播设置选项795a-795c中的任一个选项上检测到轻击手势，设备700改变(例如，切换)相应用户账户发送和/或接收组播消息的对应许可(例如，从启用发送/接收改变为不启用发送/接收，或者从不启用发送/接收改变为启用发送/接收)。
组播设置选项795d-795f用于配置与住宅602相关联的哪些设备(和/或分配给住宅602的相应区域的哪些设备组)可使用(例如，发送和/或接收)组播消息，诸如也相对于图7Q至图7R所述。如图7AI所示，组播设置选项795d和795f被配置为使得分别允许(例如，启用)日光室扬声器656和658(分配给日光室602e)以及客厅扬声器646和648(分配给客厅602d)发送和/或接收组播消息(例如，圆圈显示在设置切换键的右侧)。相比之下，组播设置选项795e被配置为使得卧室扬声器636(例如，分配给卧室602c)不被允许(例如，不被启用)发送和/或接收组播消息(例如，圆圈显示在设置切换键的左侧)。响应于在组播设置选项795d-795f中的任一个选项上检测到轻击手势，设备700改变(例如，切换)相应设备发送和/或接收组播消息的对应许可(例如，从启用发送/接收改变为不启用发送/接收，或者从不启用发送/接收改变为启用发送/接收)。因此，登录到属于所有者类型的用户账户的设备被启用以配置个人设备和住宅602的设备是否可以发送/接收组播消息。
图8A至图8B是示出了根据一些实施方案的用于发送音频消息的方法的流程图。方法800在与显示生成部件(例如，触敏显示器)通信的计算机系统(例如，100、300、500、634、674、700、701、850)处执行。方法800中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法800提供了根据一些实施方案的用于发送音频消息的直观方式。该方法减少了用户发送音频消息的认知负担，从而创建更有效的人机界面。针对电池驱动的计算设备，使得用户能够更快速且更有效地发送音频消息节省了功率并且增加了电池两次充电之间的时间间隔。
计算机系统经由显示生成部件显示(802)第一用户界面(例如，730)(例如，用于控制一组外部设备的用户界面)。第一用户界面包括(例如，包括显示)：第一可选用户界面对象(例如，726)，其中对该第一可选用户界面对象的选择发起(例如，用户界面730、740和750)用于(例如，在计算机系统处经由麦克风)录制第一音频消息并将该第一音频消息发送到一组外部设备(例如，图7F中的706)(例如，该组外部设备中的每个外部设备)的过程，其中该组外部设备包括第一组一个或多个外部设备(例如，616)和第二组一个或多个外部设备(例如，646、648)。在一些实施方案中，在显示该第一可选用户界面对象时，该计算机系统接收对应于对该第一可选用户界面对象的选择的输入，并且响应于接收到对应于对该第一可选用户界面对象的该选择的该输入，该计算机系统显示用于录制音频消息并将该音频消息发送到该第一组一个或多个设备和该第二组一个或多个设备(例如，该组外部设备)的用户界面。在一些实施方案中，该第一组一个或多个设备不同于该第二组一个或多个设备。在一些实施方案中，用于控制该组外部设备的该用户界面包括显示对应于该第一组一个或多个设备和该第二组一个或多个设备的多个表示和/或附件控制用户界面对象。在一些实施方案中，该多个附件控制用户界面对象对应于该第一组一个或多个设备，并且该第二组一个或多个设备是一组一个或多个可选用户界面对象。在一些实施方案中，该多个附件控制用户界面对象中的每个对象在被选择时使得该组外部设备中的相应附件设备执行一个或多个功能和/或改变该相应附件设备的状态。在一些实施方案中，该组外部设备包括不在该第一组一个或多个设备(例如，智能扬声器)或该第二组一个或多个设备(例如，智能扬声器)中的一种类型的外部电子设备(例如，蜂窝电话、平板电脑)。在一些实施方案中，一组外部设备与最高级别位置(或目的地)(例如，第一类型的位置)(例如，住宅位置、企业、办公室(例如，作为最高级别位置的位置(例如，定义位于由最高级别位置的位置定义的区域和/或周边内的一个或多个位置(例如，子位置)和/或一个或多个区域(或区)的位置、位于位置分级结构的最高级别的位置、(例如，以编程方式)链接到一个或多个位置(例如，子位置)和/或一个或多个区域(或区)的位置)))相关联。在一些实施方案中，一组外部设备包括该第一组设备(例如，子组设备)和该第二组设备(例如，子组设备)。在一些实施方案中，子组设备与子位置相关联(例如，位于最高级别位置(例如，在最高级别位置的边界、区域内或周边；以及/或者(例如，由用户)定义、标识和/或(例如，以编程方式)链接到做高级别位置)的房间和/或最高级别位置中的区(例如，由最高级别位置内(例如，在最高级别位置的边界、区域内或周边，以及/或者(例如，由用户)定义、标识和/或链接)的两个或多个子位置定义的位置)(例如，在最高级别位置内包括客厅和餐厅的娱乐区、在最高级别位置内包括两个或多个卧室、客厅和浴室的个人区))。在一些实施方案中，目标组与子组设备相关联而不与最高级别组相关联。
该第一用户界面包括对应于第一外部附件设备的第一附件控制用户界面对象(例如，718中的一者)(例如，可选用户界面对象)，其中对该第一附件控制用户界面对象的选择(例如，750f1、750f2)发起用于传输(例如，选择使得传输指令)改变该第一外部附件设备的状态的指令(例如，使得门锁定或解锁，使得灯打开或关闭)的过程。在一些实施方案中，响应于接收到输入，该计算机系统发起用于传输(例如，选择使得传输指令)改变该第一外部附件设备的状态的指令的过程，并且该第一附件控制用户界面对象的视觉外观从第一视觉外观改变为不同于该第一视觉外观的第二视觉外观(例如，从受按压状态到不受按压状态(或反之亦然)、从第一颜色到第二颜色、一个或多个差异字符(例如，“开”到“关”(或反之亦然)))。
在显示该第一用户界面(例如，和该第一用户界面)时，该计算机系统接收(804)对应于显示第二用户界面(例如，760)(例如，用于控制该第二组一个或多个外部设备(例如，而不控制该第一组一个或多个外部设备)的用户界面)的请求的输入(例如，750f3)(例如，单个用户输入(例如，可选用户界面对象或图标上的轻击输入，该可选用户界面对象或图标将导航到用于控制该第二组一个或多个外部设备的该用户界面)或在显示该第一可选用户界面对象时接收的多个用户输入)。在一些实施方案中，当该计算机系统接收到对用于显示该第二用户界面的可选用户界面对象的选择时，该计算机系统接收显示该第二用户界面的请求。
响应于接收到显示该第二用户界面的请求，该计算机系统显示(806)该第二用户界面(例如，760)。该第二用户界面包括(例如，包括显示)第二可选用户界面对象(812)(例如，776)，其中对该第二可选用户界面对象的选择发起用于录制第二音频消息并将该第二音频消息发送到该第二组一个或多个外部设备(例如，646、648)，而不将该第二音频消息发送到该第一组一个或多个外部设备(例如，图7M中的706)的过程(例如，用户界面780a、784和786a)。该第二用户界面包括对应于第二外部附件设备(例如，642、646、648)(例如，不对应于该第一组一个或多个设备)的第二附件控制用户界面对象(814)(例如，768中的一者)(例如，可选用户界面对象)，其中对该第二附件控制用户界面对象的选择(例如，750g1、750g2)发起用于传输(例如，选择使得传输指令)改变该第二外部附件设备的状态的指令的过程。在一些实施方案中，响应于接收到输入，该计算机系统发起用于传输(例如，选择使得传输指令)改变该第二外部附件设备的状态的指令的过程，并且该第二附件控制用户界面对象的视觉外观从第一视觉外观改变为不同于该第一视觉外观的第二视觉外观(例如，从受按压状态到不受按压状态(或反之亦然)、从第一颜色到第二颜色、一个或多个差异字符(例如，“开”到“关”(或反之亦然)))。在一些实施方案中，响应于接收到显示该第二用户界面的请求，该计算机系统停止显示该第一用户界面和第一用户界面对象。在一些实施方案中，该第二可选用户界面对象替换该第一可选用户界面对象。在一些实施方案中，该第二可选用户界面对象显示在与先前显示该第一可选用户界面对象的位置相同的位置处。在一些实施方案中，该第二用户界面替换该第一用户界面的显示。在一些实施方案中，该计算机系统不能从该第二用户界面控制(例如，不能使得外部设备改变状态)该第一组一个或多个外部设备(例如，不显示对应于该第一组一个或多个设备中的一个设备的附件控制用户界面对象)。在一些实施方案中，该第一用户界面包括显示对应于该第一组一个或多个外部设备的一组一个或多个表示和/或附件控制用户界面对象(而不显示对应于该第二组一个或多个外部设备的一组一个或多个表示)。在一些实施方案中，附件控制用户界面对象中的每个对象在被选择时使得相应设备执行一个或多个功能或改变该相应设备的状态。在一些实施方案中，在显示该第二可选用户界面对象时，该计算机系统接收对应于对该第二可选用户界面对象的选择的输入，并且响应于接收到对应于对该第二可选用户界面对象的该选择的该输入，该计算机系统显示用于录制音频消息并将该音频消息发送到该第二组一个或多个外部设备而不将该音频消息发送到该第一组一个或多个外部设备的用户界面。在一些实施方案中，在显示该第二可选用户界面对象时，该计算机系统接收对应于显示用于控制该第一组一个或多个外部设备(例如，而不控制该第二组一个或多个外部设备)的用户界面(包括显示可选用户界面对象)的请求的用户输入，该可选用户界面对象在被选择时发起用于录制音频消息并将该音频消息发送到该第一组一个或多个外部设备而不将该音频消息发送到该第二组一个或多个外部设备的过程。在一些实施方案中，音频消息包括在计算机系统处录制的音频。在一些实施方案中，用于录制音频消息并将该音频消息发送到外部设备的过程包括使用该计算机系统(例如，使用与该计算机系统通信的麦克风)录制该音频消息。在一些实施方案中，该音频消息包括该计算机系统的用户的语音音频。提供分级用户界面以控制分级控件集，其中每个用户界面对应于相应分级结构中的节点，为用户提供关于控件分级结构中的可经由相应用户界面进行控制的设备组的视觉反馈，以及关于用户可如何直观地导航到用于控制另一相应设备组的另一相应用户界面的视觉反馈。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，该第一外部附件设备(例如，718b)不同于该第二外部附件设备(例如，768c)。在一些实施方案中，该第一外部附件设备是分组在“住宅”组下但不是“餐厅”类别的一部分的外部设备(例如，位于卧室中的灯)，并且该第二外部附件设备是分组在“住宅”组“餐厅”类别下的外部设备(例如，位于餐厅中的灯)。相比之下，在一些实施方案中，该第一外部附件设备是与该第二外部附件设备相同的设备(例如，它们是位于餐厅中的同一个灯，或者它们是位于餐厅中的同一个智能扬声器)。
在一些实施方案中，该第一可选用户界面对象(例如，726)(例如，在显示为该第一用户界面的一部分时)经由该显示生成部件(例如，在该显示生成部件上)显示在第一位置(例如，726和776的位置)处，并且该第二可选用户界面对象(例如，776)(例如，在显示为该第二用户界面的一部分时)经由该显示生成部件(例如，在该显示生成部件上)显示在该第一位置(例如，726和776的位置)处。在一些实施方案中，在显示该第一用户界面时接收的该输入使得该第二可选用户界面对象替换该第一可选用户界面对象的显示。当满足规定条件时，在相同位置处提供该第一可选用户界面或该第二可选用户界面对象允许用户快速定位用于组播的可选用户界面对象，而不必识别该可选用户界面对象的任何不同操作特征(例如，特定可选用户界面对象向其发送录制音频消息的哪个特定组设备将是可选的)。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，该第一外部附件设备(例如，646、648)(例如，智能扬声器，其中可使用该第一附件控制用户界面对象来配置音乐的回放)包括在该组外部设备中(例如，可从该第一用户界面配置该第一外部附件设备，并且使用该第一可选用户界面对象将(在计算机系统处录制的)音频发送到该第一外部附件设备)。在一些实施方案中，该第一用户界面包括对应于第三外部附件设备(例如，642)的第三附件控制用户界面对象(例如，718b)(例如，可选用户界面对象)。在一些实施方案中，对该第三附件控制用户界面对象的选择发起用于传输(例如，选择使得传输指令)改变该第三外部附件设备的状态的指令的过程(例如，使得门锁定或解锁，使得灯打开或关闭)。在一些实施方案中，该第三外部附件设备(例如，642)不包括在该组外部设备中，并且对该第一可选用户界面对象(例如，776)的选择不发起用于将该第一音频消息发送(和/或录制)到该第三外部附件设备(例如，图7F中的706)的过程。在一些实施方案中，第一用户界面包括用于可被控制(例如，打开/关闭)但不被发送第一音频消息(例如，因为外部附件设备不具有用于回放音频消息的扬声器)的一些外部附件设备的附件控制用户界面对象，并且第一用户界面包括用于可被控制(例如，打开/关闭)并且被发送第一音频消息(例如，因为外部附件设备具有用于回放音频消息的扬声器)的一些外部附件设备的附件控制用户界面对象。在一些实施方案中，第二用户界面包括用于可被控制(例如，打开/关闭)但不被发送第二音频消息(例如，因为外部附件设备不具有用于回放音频消息的扬声器)的一些外部附件设备的附件控制用户界面对象，并且第二用户界面包括用于可被控制(例如，打开/关闭)并且被发送第二音频消息(例如，因为外部附件设备具有用于回放音频消息的扬声器)的一些外部附件设备的附件控制用户界面对象。在一些实施方案中，第一组一个或多个外部设备(例如，卧室组中音频消息发送到的设备)不包括第一外部附件设备(例如，卧室组中音频消息不发送到的灯)，并且第二组外部设备(例如，餐厅组中音频消息发送到的设备)不包括第二外部附件设备(例如，餐厅组中音频消息不发送到的灯)。因此，在一些实施方案中，音频消息不被传输到所有可使用附件控制用户界面对象控制的设备，这些附件控制用户界面对象在被选择时使得相应附件设备执行一个或多个功能和/或改变相应附件设备的状态。在一些实施方案中，可使用相应附件控制用户界面对象控制(以执行一个或多个功能和/或改变相应附件设备的状态)的外部设备包括在该组外部设备中(例如，第一组外部设备或第二组外部设备)并且因此音频消息可被传输到该外部设备并且该外部设备可被单独地控制。
在一些实施方案中，第一用户界面对应于最高级别位置(例如，602)(例如，建筑物、住宅)，并且第二用户界面对应于第一类型(例如，602a-602e)(例如，建筑物的房间、住宅中的餐厅)的第一子位置(例如，602d)。在一些实施方案中，第二组一个或多个外部设备(例如，646、648)对应于第一子位置(例如，602d)(例如，第二组一个或多个外部设备已被分配给第一类型的子位置)。在一些实施方案中，第二组一个或多个外部设备(例如，646、648)(中的任一个外部设备)不能对应于第二子位置(例如，602a、602b、602c或602e)(例如，基于对应于第一子位置(例如，602a-602e)的第二组一个或多个外部设备的第一类型(例如，结构的任何其他房间)的任何子位置(除第一子位置之外))。在一些实施方案中，第一用户界面对应于最高级别位置，并且第二用户界面对应于最高级别位置的子位置(例如，住宅的房间)。在一些实施方案中，第一房间和第二房间是区(例如，分组在一起的房间集合)的一部分。在一些实施方案中，第二组一个或多个外部设备是(例如，由用户)识别为位于第二用户界面所对应的房间中的设备。
在一些实施方案中，第一用户界面对应于最高级别位置(例如，建筑物、住宅)，并且第二用户界面对应于第二类型的第三子位置(例如，娱乐区(例如，602d和602e))(例如，第一区、主楼层)，该第三子位置对应于第一类型(例如，602a-602e)的多个(例如，602a-602e)子位置(例如，多个房间)。在一些实施方案中，基于包括在第一类型的多个子位置(例如，602a-602e)(例如，建筑物的多个房间，包括第一房间(例如，住宅中的餐厅)和第二房间(例如，住宅中的卧室))中的第二组一个或多个外部设备，该第二组一个或多个外部设备对应于第三子位置。在一些实施方案中，第一用户界面对应于最高级别位置，并且第二用户界面对应于最高级别位置的子位置(例如，住宅的多个房间)。在一些实施方案中，第二组一个或多个外部设备包括分配给第一房间的至少一个设备和分配给第二房间的至少一个设备。在一些实施方案中，最高级别位置对应于第三子位置不与之对应的至少一个设备(例如，住宅包括未包括在第三子位置中的一些设备)。
在一些实施方案中，第二外部附件设备与第二类型的第三子位置(例如，娱乐区(例如，602d和602e))(例如，第一区)相关联(例如，相对应)。在一些实施方案中，第二外部附件设备(例如，646、648)还与不同于第三子位置的第二类型的第四子位置(例如，第二区)(例如，娱乐区(例如，602d和602e))相关联(例如，相对应)。在一些实施方案中，第二区是子位置(例如，住宅的多个房间)。在一些实施方案中，第二区与不与关联于第一区的外部附件设备相关联。在一些实施方案中，计算机系统可发起用于录制消息并将消息发送到各个区的过程。第一区和第二区可对应于不同组的设备，其中一些设备对应于第一区和第二区两者，并且其中一些设备对应于第一区或第二区中的仅一者。
在一些实施方案中，第二组一个或多个外部设备(例如，646、648)与第一位置(例如，602d)(例如，房间、子位置、区)相关联，并且其中用于录制第二音频消息并将该第二音频消息发送到第二组一个或多个外部设备而不将该第二音频消息发送到第一组一个或多个外部设备的过程包括显示对第一位置(例如，782)的指示(例如，文本指示、图形指示)(例如，指定音频消息将被传输到的房间或区的名称的文本)。在一些实施方案中，用于录制和发送音频消息的过程包括显示对位置的指示，该位置对应于相应音频消息将被发送到的外部设备。在一些实施方案中，第一用户界面对应于最高级别位置(例如，建筑物诸如住宅)，并且第二用户界面对应于最高级别位置的子位置(例如，住宅的房间、住宅的区)。在一些实施方案中，通过显示第二用户界面，计算机系统检测对第二可选用户界面对象的选择(例如，轻击、按压并保持)。在一些实施方案中，响应于检测到对第二可选用户界面对象的选择，计算机系统显示录制用户界面(例如，通过替换第二用户界面的全部或部分)，该录制用户界面同时包括：录制用户界面对象(例如，可选录制按钮)，其中对录制用户界面对象的选择(例如，轻击、按压并保持)使得通过录制由计算机系统检测到的音频来录制音频消息；和对子位置的指示(例如，文本指示、图形指示)(例如，指定音频消息将被传输到的房间或区的名称的文本)。在一些实施方案中，第二用户界面包括对子位置的指示。显示对与音频消息旨在被组播到的一组设备相关联的位置的指示为用户提供了关于用于录制和发送音频消息的过程的状态的视觉反馈。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，作为发起用于录制音频消息并将该音频消息发送到外部设备的过程的一部分，计算机系统自动发起(例如，不需要对应于发起音频录制的请求的居间用户输入)新音频消息的录制并显示包括对音频正在录制的动态指示(例如，744a)的录制用户界面(例如，741)。
在一些实施方案中，计算机系统检测对录制用户界面对象的选择(例如，轻击、按压并保持)。响应于检测到对录制用户界面对象的选择，计算机系统录制音频消息。在录制音频消息之后(并且在传输音频消息之前)，计算机系统提供改变消息将被传输到的外部设备的选项。在一些实施方案中，计算机系统接收对下拉示能表示的激活，并且作为响应，显示一个或多个子位置(每个子位置对应于相应一组外部设备)。计算机系统接收对一个或多个子位置中的一个子位置的选择以及对传输音频消息的确认。作为响应，计算机系统将音频消息传输到对应于选定子位置的相应一组外部设备，而不是传输到对应于第二用户界面的第二组一个或多个外部设备。
在一些实施方案中，该组外部设备包括个人移动电子设备(例如，604、634、684)(例如，智能电话、蜂窝电话、手表)。在一些实施方案中，个人移动电子设备不包括在第一组一个或多个设备中，并且不包括在第二组一个或多个外部设备中。在一些实施方案中，个人移动电子设备不分配给最高级别位置的任何子位置，而是最高级别位置的成员。因此，在一些实施方案中，选择第一可选用户界面对象发起用于录制音频消息并将该音频消息发送到一组外部设备的过程，该组外部设备包括个人移动电子设备(以及作为最高级别位置的成员的任何其他个人移动电子设备)。
在一些实施方案中，第二组一个或多个外部设备不包括个人移动电子设备(例如，604、634、684)(例如，智能电话、蜂窝电话、手表)。在一些实施方案中，个人移动电子设备不包括在第一组一个或多个设备中，并且不包括在第二组一个或多个设备中。在一些实施方案中，该组外部设备包括个人移动电子设备，并且因此从第一用户界面发送的音频消息被传输到个人移动电子设备(并且任选地，传输到作为住宅一部分的其他移动设备)。在一些实施方案中，从第二用户界面(或对应于子位置的任何用户界面)发送的音频消息不被传输到个人移动电子设备(并且任选地，也不被传输到作为住宅一部分的其他移动设备)。在一些实施方案中，计算机系统不允许将个人移动电子设备分配给最高级别位置的任何子位置，但允许将个人移动电子设备分配给最高级别位置。因此，在一些实施方案中，选择第二可选用户界面对象发起录制音频消息并将该音频消息发送到第二组一个或多个设备的过程，该第二组一个或多个设备不包括个人移动电子设备(或作为最高级别位置的成员的任何其他个人移动电子设备)。
在一些实施方案中，在显示第二用户界面之后，计算机系统接收禁止将音频消息发送到第二组一个或多个外部设备(例如，638)的输入(例如，750q)(例如，用户输入；设置用户界面上的输入)。在一些实施方案中，响应于接收到禁止将音频消息发送到第二组一个或多个外部设备的输入，计算机系统禁止(例如，768a)经由对第一可选用户界面对象(例如，726)的选择以及经由对第二可选用户界面对象(例如，776)的选择将音频消息发送到第二组一个或多个外部设备(例如，不禁止经由对第一可选用户界面对象的选择将音频消息发送到第一组一个或多个外部设备)。在一些实施方案中，在禁止将音频消息发送到第二组一个或多个外部设备之后，导航回到第一用户界面并接收对第一可选用户界面对象的选择发起用于录制音频消息并将该音频消息发送到第一组一个或多个外部设备而不将该音频消息发送到第二组一个或多个外部设备的过程。在一些实施方案中，响应于接收到禁止将音频消息发送到第二组一个或多个外部设备的输入，计算机系统从该组外部设备移除第二组一个或多个外部设备。在一些实施方案中，在禁止将音频消息发送到第二组一个或多个外部设备之后，导航回到第二用户界面并接收对第二可选用户界面对象的选择不发起用于录制音频消息并将该音频消息发送到任何设备的过程。在一些实施方案中，在禁止将音频消息发送到第二组一个或多个外部设备之后，第二用户界面不包括第二可选用户界面对象(或包括用户界面对象的不可选/禁用版本)，使得不可发起用于录制音频消息并将该音频消息发送到第二组一个或多个外部设备的过程。
在一些实施方案中，第一用户界面对应于最高级别位置(例如，602)(例如，建筑物诸如住宅)，并且第二用户界面对应于最高级别位置(例如，602)的子位置(例如，602a-602d)(例如，住宅的房间、住宅的区)。在一些实施方案中，计算机系统(例如，在不显示第一用户界面且不显示第二用户界面时)在与该计算机系统通信的麦克风(例如，该计算机系统的麦克风)处接收(808)包括对数字助理的自然语言请求的音频输入(例如，792a-792e)，该音频输入包括：发起用于传输音频消息的过程的指令(例如，包括术语“组播”)、位置标识符(例如，最高级别位置、子位置)和音频消息(例如，在发起用于传输音频消息的过程的指令之后接收到的和/或在位置标识符之后接收到的音频消息)。在一些实施方案中，根据确定位置标识符对应于最高级别位置(例如，782a)，计算机系统在不与一组外部设备中的任何设备建立双向音频通信信道(例如，不建立全双工音频通信信道)的情况下传输(810)(例如，组播)音频消息以用于在该组外部设备处回放，该组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备。在一些实施方案中，根据确定位置标识符对应于子位置(例如，792b、792c)：计算机系统在不与一组外部设备中的任何设备建立双向音频通信信道的情况下传输(812)(例如，组播)音频消息以用于在第二组一个或多个外部设备处回放而不用于在第一组一个或多个外部设备处回放。在一些实施方案中，计算机系统将位置标识符与音频消息一起传输，使得远程设备(例如，服务器、一组外部设备中的外部设备)可将音频消息分发给与相应外部设备对应的外部设备。
在一些实施方案中，作为发起用于录制音频消息并将该音频消息发送到外部设备的过程的一部分，计算机显示录制用户界面(例如，730、740、750)(例如，通过替换第二用户界面的全部或部分)，该录制用户界面同时包括：录制用户界面对象(例如，736)(例如，可选录制按钮)，其中对录制用户界面对象的选择(例如，750c)(例如，当音频消息完成时轻击然后按压结束，在陈述音频消息时按压并保持，轻击并允许计算机系统识别音频消息的结束)使得通过录制由计算机系统检测到的音频来录制音频消息；和发送用户界面对象(例如，756)(例如，可选发送按钮)，其中对第二用户界面对象的选择(例如，750e)(例如，轻击)使得计算机系统将音频消息发送到外部设备。在一些实施方案中，录制用户界面同时还包括对位置(例如，最高级别位置、子位置；指定音频消息将被传输到的房间或区的名称的文本)的指示(例如，文本指示、图形指示)，该位置对应于音频消息将被发送到的外部设备。
在一些实施方案中，计算机系统与包括麦克风的一个或多个输入设备通信。在一些实施方案中，作为用于录制第一音频消息并将该第一音频消息发送到一组外部设备的过程(例如，用户界面730、740、750)的一部分，计算机系统经由麦克风接收第二音频输入。在一些实施方案中，计算机系统将第一音频消息传输到一组外部设备，其中第一音频消息基于第二音频输入(例如，包括第二音频输入的录制)。
需注意，上文相对于方法800所述的过程(例如，图8A至图8B)的详情也以类似方式适用于下文所述的方法。例如，方法800任选地包括以下参考方法1000和1200所述的各种方法的一个或多个特性。例如，计算机系统可以是相同的系统。又如，在方法800中发送的音频消息可以是在1000中接收的媒体。又如，在方法1200中传输的语音输入可与在方法1000中接收的媒体相同。为了简明起见，这些详情在下文中不再重复。
图9A至图9AC示出了根据一些实施方案的用于显示通知的示例性设备和示例性用户界面。些附图中的用户界面用于示出下文所述的包括图10中的过程的过程。
本文通常参考图9A至图9AC使用短语“组播消息”和/或“音频组播消息”来指代使用与图7A至图7AH、图8A至图8B、图11A至图11F和图12所述的技术类似的技术从设备发送的组播消息。然而，如本文所用，组播消息和/或音频组播消息不一定旨在包括使用设备700的其他特征发送的组播通信。
图9A示出了显示用户界面900的电子设备700。在图9A中，电子设备700是便携式多功能设备，并且具有上面关于设备100、200、300和500中的一个或多个设备描述的一个或多个部件。相对于下面描述的附图，在一些实施方案中，设备700在离住宅602小于阈值距离的位置处操作；然而，在其他实施方案中，设备700在离住宅602大于阈值距离的位置处操作。
如图9A所示，用户界面900是对应于住宅应用程序的设置用户界面，如上所述(例如，在图6和图7A至图7AH中)。这里，设置用户界面是Cam Appleseed、注册到设备700的人(例如，用户)和由住宅应用程序识别的人(例如，图7AB中的一群人797a)所用的设置页面。如图9A所示，设备700当前被配置为接收组播通知，这在图9A中由组播选项被启用900a示出。由于启用了组播选项900a，设备700将接收组播通知，如图9B至图9X所示。在一些实施方案中，设备700在对应于组播选项900a的位置处检测轻击手势950a。在一些实施方案中，响应于检测到轻击手势950a(或一个或多个后续轻击手势)，设备700将组播选项900a从被启用改变为被禁用，并且设备700未被配置为接收基于本文所述的流发送的组播消息。因此，在一些实施方案中，当禁用组播选项900a时，设备700不接收组播消息。
图9B至图9H示出了在启用组播选项900a时，在一个时间段内显示组播通知和非组播通知。具体地讲，图9B至图9H示出了除非在预先确定的时间段内接收到同样指向该特定目标组设备的新组播通知，否则指向(例如，对应于)特定目标组设备的组播通知(例如，使用本文所述的方法发送的组播消息)衰减或停止显示(例如，在预先确定的时间段之后)。在一些实施方案中，特定目标组设备是分配给住宅(例如，图6中的住宅602)、房间(例如，图6中的餐厅602b、卧室602c)或区(例如，例如关于图7U所述的“娱乐区”)的一组设备。
例如，在图9B中，在上午10:00，设备700接收到数据，指示新闻应用程序已发布更新的内容。
如图9B所示，响应于接收到该数据，设备700显示包括新闻通知902的用户界面。在图9B中，新闻通知902不是组播通知。因此，无论组播选项900a是被启用还是被禁用，都显示新闻通知902。换句话讲，组播选项900a的状态不影响新闻通知902，因为该新闻通知不是组播通知。
在上午10:02，设备700接收到数据，指示已将新音频组播消息发送(例如，指向设备包括电子设备700)到住宅602(“住宅目标组”)。在一些实施方案中，该数据包括目标组标识符(例如，“住宅”)作为新音频组播消息的接收器。
如图9C所示，响应于接收到该数据，设备700显示组播通知904，该组播通知表示在上午10:02接收到数据。在图9C中，组播通知904与新闻通知902同时显示。组播通知904包括应用程序指示904a、通知类型指示904b、发送人指示904c、目标指示904d和接收时间指示904e。
应用程序指示904a指示正在提供通知的应用程序。这里，应用程序指示904a包括被分配给住宅应用程序并且类似于图7A中的住宅图标704a的图形表示图标。
通知类型指示904b指示通知的通知类型。这里，通知类型是组播通知。
发送人指示904c指示音频组播消息的发送人。这里，发送人是向已发起用于发送音频组播消息的过程的设备(例如，住宅目标组中的设备)注册的人John。在一些实施方案中，当发送人是人时，通过一个或多个设备使用一个或多个语音识别算法来分析对应于音频组播消息的语音输入，从而建立发送人的身份。在一些实施方案中，当发送人的身份不可建立为人时，发送人指示904c指示发送人是设备(例如，“客厅扬声器”)，诸如发送音频组播消息的设备。在一些实施方案中，当人未向发起用于发送音频组播消息的过程的发送人设备注册和/或多个人向发起用于发送音频组播消息的过程的设备注册时，发送人未被建立为人，例如，未在发送人设备处建立人。
在一些实施方案中，如相对于图9Z至图9AC所示和所述，基于音频组播消息的发送人的用户账户的类型(例如，所有者类型、管理员类型和共享用户类型)和登录到显示设备700的用户账户的类型，经由发送人指示904c来识别发送人(例如，如图9C所示的“John”、如图9Z所示的“Jane”)或不识别发送人(例如，如图9AA所示的“某人”)。
目标指示904d指示音频组播消息对应的目标组设备。这里，目标指示904d是住宅目标组(例如，“来自住宅”)。在一些实施方案中，目标组(其对应于音频组播消息)是由音频组播消息的发送人识别的组，如上文关于图7E至图7F、图7J至图7M和图7S至图7U所述。在一些实施方案中，由音频组播消息的发送人基于一个或多个用户输入(例如，语音输入(例如，792a-729d)和/或手势(例如，750b和750g3)来识别目标组。在一些实施方案中，当在设备700处接收到回复消息时，基于初始音频组播消息来识别目标组。例如，在某些情况下，诸如当设备700先前已将初始音频组播消息指向分配给卧室602c的一组设备时，设备700可接收具有对应于卧室602c的目标组的回复音频组播消息。
接收时间指示904e指示何时显示通知(或者，在一些实施方案中，何时接收到对应于通知的数据)。这里，接收时间指示904e示出了“现在”或在上午10:02显示通知。
如图9D所示，在上午10:09，设备700继续显示新闻通知902并停止显示组播通知904。在一些实施方案中，在停止显示组播通知之后，通知904不显示在设备700的任何用户界面上。在一些实施方案中，在停止显示组播通知之后的任何其他时间，通知904不显示在图9D中的用户界面上。在一些实施方案中，设备接收用户输入以查看未读通知(例如，尚未由用户执行的通知)，并且作为响应，显示新闻通知902而不显示组播通知904。
如图9D所示，设备700停止显示组播通知904(即使当显示器打开时)，因为在组播通知904的衰减周期(例如，1秒、30秒、60秒、300秒等)结束之前(和/或在预先确定的时间段内)未接收到与对应于住宅目标组的新音频组播消息对应的数据。另一方面，设备700继续显示新闻通知902，因为新闻通知902不是组播通知，并且(在显示器打开时)不会在预先确定的时间段一过去就停止显示。
图9E至图9H示出了除了上文关于图9B至图9D所述的示例之外的技术的示例。在图9B至图9D中，组播通知的衰减时间段(例如，预先确定的时间段)为五分钟，这仅作示意性的说明。在一些实施方案中，衰减周期短于或长于五分钟。
在10:10，设备700接收到三组不同的数据。第一组数据指示已接收到对应于住宅目标组的新音频组播消息。第二组数据指示已接收到对应于分配给卧室602c的一组设备(“卧室目标组”)的新音频组播消息。第三组数据指示已接收到对应于分配给娱乐区的一组设备(“娱乐区目标组”)(例如，分配给客厅602d和日光室602e的一组设备的组合)的新音频组播消息。
在一些实施方案中，第一组数据表示对应于住宅目标组的初始音频组播消息或回复音频组播消息(例如，对设备700发送的初始音频组播消息的回复)。在一些实施方案中，第二组数据和第三组数据表示回复音频组播消息，即，响应于单独发送到每个相应目标组的初始音频组播消息而接收的音频组播消息。在一些实施方案中，第二组数据和第三组数据不是从其相应目标组接收的初始消息，因为设备700未被分配给区或房间目标组，并且不可接收从那些目标组发送的初始消息，如上(例如，关于图7M、图7T、图7V和图7X)所述。
如图9E所示，响应于接收到三组数据，设备700显示组播通知906a、908a和910。设备700还继续显示新闻通知902。如图9E所示，通知显示在通知列表中。最早的通知显示在列表的底部(例如，新闻通知902)，并且最新的通知显示在列表的顶部(例如，组播通知910)。因此，当通知906a、908a和910大致同时显示时，通知906a、908a和910分别以图9E所示的次序显示。在一些实施方案中，通知以不同的次序或以不同的布置显示。
如图9E所示，通知906a指示音频组播消息已由“John”从住宅目标组发送；通知908a指示音频组播消息已由“Jane”从卧室目标组发送；并且通知910指示音频组播消息已由“Emma”从娱乐区目标组发送。如图9E所示，所有三个新组播通知包括时间接收指示“现在”，因为在上午10:10新近接收到数据(或新近显示数据)。然而，新闻通知902的时间接收指示是“10分钟前”，因为在10:00接收到其数据(或显示通知)。
在上午10:11，设备700接收到数据，指示已接收到对应于住宅目标组的新音频组播消息。
如图9F所示，因为在组播通知906a的衰减周期到期之前(例如，在显示组播通知906a或在图9E中接收到第一数据之后的预先确定的时间段内)接收到指示对应于住宅目标组的新音频组播消息的数据(例如，在10:11接收到数据)，响应于接收到新数据，设备700显示组播通知906b。值得注意的是，设备700不更新通知906a和910的显示并且继续显示这些通知，因为尚未接收到指示对应于其相应目标组的新音频组播消息的数据并且这些通知的衰减周期尚未到期(例如，在未接收到对应于其目标组的新组播消息的数据的情况下这些通知被显示尚未超过五分钟)。
组播通知906b是组播通知906a的更新版本，设备700在图9F中停止显示组播通知906a。重新看图9E，组播通知906a指示John发送了对应于住宅目标组的组播消息。返回到图9F，组播通知906b还包括John发送了对应于住宅目标组的较早组播消息(最初由通知906a表示的组播消息)的信息(例如，通知906b中的“John”)。此外，组播通知906b还包括另一人已发送对应于住宅目标组的组播消息的信息。因此，组播通知906b包括关于两个音频组播消息的信息，即，组播通知906b包括表示对应于住宅目标组的第一音频组播消息的发送人(“John”)的信息，以及表示对应于住宅目标组的第二音频组播消息的发送人(例如，“另一人”)的信息。
如图9F所示，组播通知906b显示在列表的顶部，其时间接收指示为现在，因为它是最近的通知。值得注意的是，在图9F中组播通知906b的时间接收指示改变以反映接收到对应于住宅目标组的新音频组播消息的时间(例如，在10:11接收到数据)，尽管在图9E中在上午10:10首次显示了组播通知906a(或首次接收到对应于组播通知906a的数据)。在一些实施方案中，组播通知906a与组播通知906b同时显示。在一些实施方案中，当组播通知906a与组播通知906b同时显示时，组播通知906a的时间接收指示被更新为表示“现在”。在一些实施方案中，更新组播通知906a的时间指示延长组播通知906a的衰减周期。在一些实施方案中，在图9F处接收数据延长了组播通知906a的衰减周期(例如，或组播通知906a的内容，因为组播通知906b包括表示由组播通知906a表示的音频组播消息的内容)。
如图9F所示，以从最近到最早的顺序分别列出的通知910、908a和902位于组播通知906b下方。此外，在图9F中通知910、908a和902的时间接收指示已更新以反映每个通知已分别显示的时间长度(或自接收到对应于每个相应通知的数据以来已经过的时间)。
在上午10:12，设备700接收到数据，指示已接收到对应于卧室目标组的新音频组播消息。
如图9G所示，因为在组播通知908b的衰减周期到期之前(例如，在显示组播通知906b或在图9E中接收到第二数据之后的预先确定的时间段内)接收到指示对应于卧室目标组的新音频组播消息的数据(例如，在10:12接收到数据)，响应于接收到该数据，设备700显示组播通知908b。值得注意的是，设备700不更新通知908b和910并且继续显示通知908b和910，因为尚未接收到指示对应于其相应目标组的新音频组播消息的数据并且这些通知的衰减周期尚未到期。在一些实施方案中，使用与上文在图9F中关于组播通知906b所述的那些技术类似的技术来显示组播通知908b。
组播通知908b是组播通知908a的更新版本，设备700在图9G中停止显示组播通知908a。重新看图9E，组播通知908a指示Jane发送了对应于卧室目标组的组播消息。返回到图9G，组播通知908b指示Jane已发送了对应于卧室目标组的两个组播消息。这里，组播通知908b显示表示由相应发送人发送的与组播通知908a相比通知的量增加的内容，而不是组播通知908b包括新发送人。在一些实施方案中，组播通知908a包括从卧室目标组接收的通知的量的表示，无论是否有不同发送人已发送新组播消息。
如图9H所示，组播通知908b显示在列表的顶部，并且通知906b、910和902以从最近到最早的次序显示在组播通知908b下方。
如图9H所示，在上午10:15，设备700停止显示组播通知910，因为组播通知910的衰减周期已到期。换句话讲，在从组播通知910初始显示以来预先确定的时间量内(或在通知910的衰减周期结束之前)，设备700尚未接收到指示对应于组播通知910的目标组(例如，“娱乐区”)的新音频组播消息的数据，(或接收到指示对应于娱乐目标组的音频组播消息的数据)。因此，参考图9E，设备700继续显示表示第一组数据的内容(例如，组播通知906b中的John)和表示第二组数据的内容(例如，组播通知908b中的组播中的一个)，并且不再显示表示第三组数据的内容(例如，组播通知910)，因为在每个相应通知的衰减周期结束之前接收到对应于第一组数据和第二组数据中指示的相应目标组的数据，而在组播通知910的衰减周期结束之前未接收到对应于第三组数据中指示的目标组的数据。
图9I至图9P示出了用于回放所接收的音频组播消息的用户界面。具体地讲，图9I至图9K示出了响应于单个输入而自动回放多个音频组播消息的场景。此外，图9L至图9P示出了一种场景，其中从一组其他所接收的音频组播消息中选择一个所接收的音频组播消息并回放。在图9H处，设备700在对应于组播通知906b的位置处检测轻击手势950h。
如图9I所示，响应于检测到轻击手势950h，设备700显示用户界面920。用户界面920是用于显示组播通知906b中指示的音频组播消息的用户界面，这些音频组播消息是对应于住宅目标组的音频组播消息(如图9I中的“来自住宅的组播”所示)。用户界面920包括图形发送人指示924a和图形发送人指示924b，其中每一者表示组播通知906b中表示的音频组播消息中的一个音频组播消息。这里，图形发送人指示924a大于图形发送人指示924b并且在用户界面的中心，这指示对应于图形发送人指示924a的音频组播消息当前被选择用于回放。图形发送人指示924a是扬声器设备的图像，并且表示与在图9F中在上午10:11接收的由“另一人”发送的音频组播消息对应的数据。并且图形发送人指示924b是John的图像(即，797a，其包括图7AB中的John A.的图像)，并且表示与在图9E中在上午10:10接收的由John发送的音频组播消息对应的数据。在一些实施方案中，音频消息以它们被接收的次序被显示(例如，在图9E中图形发送人指示924b和图形发送人指示924b中被切换)。用户界面920还包括当前发送人指示922a(或最大图形发送人指示)，其指示分配给扬声器或设备的名称，并且显示在用户界面中间。这里，当前发送人指示922a指示扬声器具有名称“客厅”，并且来自发送人的音频组播消息当前正在播放或当前可通过对回放示能表示926的选择来回放。此外，设备700还显示剩余指示928和计数指示930，该剩余指示显示当前选定音频组播消息具有可回放的十秒的长度，该计数指示表示选定音频组播消息是对应于住宅目标组的总数为2的音频组播消息中的消息1。在一些实施方案中，当启用设置以允许音频组播消息的转录时，用户界面920包括当前选定音频组播消息的文本表示929a(例如，可滚动转录副本)。下一个示能表示934a在被激活时使得设备700跳到下一个音频组播消息。
如图9I所示，设备700接收数据，该数据指示已接收到对应于卧室目标组的新音频组播消息，并且响应于接收到该数据而显示组播通知940。在一些实施方案中，设备700基于该接收到的数据来更新通知列表，如下文关于图9L所讨论的。在图9I处，设备700在对应于回放示能表示926的位置处接收轻击手势950i。
如图9J至图9K所示，响应于检测到轻击手势950i，设备700发起媒体的回放。如图9J所示，设备700回放对应于住宅目标组的最近接收(例如，在上图9F中在10:11处接收)的音频组播消息。在图9J中，在回放当前选定音频组播消息(例如，在10:11接收自“另一人”的音频组播消息)时，设备700显示时间指示932并更新指示928和930。如图9K所示，设备700当前正在回放对应于住宅目标组的第一音频组播消息(例如，在上图9E中在10:10处接收自John的第一音频组播消息)。值得注意的是，在完成对应于住宅目标组的最近音频组播消息的回放之后，(例如，在检测到轻击手势950i之后未接收到附加输入的情况下)设备700自动回放第一音频组播消息。在一些实施方案中，音频组播消息的回放次序颠倒，其中在自动播放第二音频组播消息之前播放第一音频组播消息。在一些实施方案中，当启用设置以允许音频组播消息的转录时，用户界面920继续包括当前正在播放的音频组播消息的文本表示929b(例如，可滚动转录副本)。先前的示能表示934b在被激活时使得设备700跳到先前音频组播消息。
在一些实施方案中，如相对于图9Z至图9AC所示和所述，基于音频组播消息的发送人的用户账户的类型(例如，所有者类型、管理员类型和共享用户类型)和登录到显示设备700的用户账户的类型，经由发送人指示922b和图形发送人指示924b来识别发送人(例如，如图9K所示的“John”、如图9Z所示的“Jane”)或不识别发送人(例如，如图9AA所示的“某人”)。
如图9L所示，在显示图9K中的用户界面之后的某时，设备700重新显示通知列表。这里，通知902b已停止显示。在一些实施方案中，通知902b已停止显示，因为在对应于通知和/或9J至图9K中回放的音频组播消息中的一个或多个音频组播消息的位置处检测到手势。在一些实施方案中，通知902b停止显示，因为在接收到对应于住宅目标组的新组播之前该通知的衰减周期(例如，在上午10:16)已结束。
在图9L中，设备700还正在显示组播通知908c并且已停止显示组播通知908b。组播通知908c是组播通知908b的更新版本，其已被更新为对应于图9I中接收的音频组播消息的参考数据，该音频组播消息在图9I中由组播通知940表示。因此，虽然组播通知908b包括指示已接收到对应于卧室目标组的两个组播通知的内容，但组播通知908c已被更新为包括指示已接收到对应于卧室目标组的三个组播通知的内容。在图9L中，设备700在对应于组播通知908c的位置处检测按压并保持手势950l。在一些实施方案中，设备700在继续检测(或保持)手势时检测按压并保持手势950l。在一些实施方案中，设备700在手势已被释放之后检测按压并保持手势。
如图9M所示，响应于检测到按压并保持手势950l，设备700显示用户界面960(例如，在按压并保持手势950l结束之后、在继续检测按压并保持手势950l的同时)。用户界面960包括与用户界面920类似(如上文关于图9I至图9K所讨论的)的用户界面元素。然而，用户界面960具有比用户界面920更小的面积。虽然用户界面960是用于回放来自卧室目标组的音频组播消息的用户界面，但是设备700可使用如上文关于用户界面920所述的一种或多种技术。在一些实施方案中，响应于在打开示能表示962上检测到用户输入950m1，设备700停止显示用户界面960并显示尺寸与用户界面920类似的用户界面。在图9M中，设备700在对应于用户界面960的位置处检测轻扫手势950m2。在一些实施方案中，当启用设置以允许音频组播消息的转录时，用户界面960包括当前选定或当前正在播放的音频组播消息的文本表示929c-929e(例如，相应可滚动转录副本)。
如图9N所示，响应于检测到第一手势(例如，轻扫手势950m2)，设备700将当前选定音频组播消息从对应于卧室目标组的最近接收的音频组播消息(例如，其中在图9I中接收到其对应数据)改变为对应于卧室目标组的第二最近接收的音频组播消息(例如，其中在图9G中接收到其对应数据)。在图9N中，设备700在对应于用户界面960的位置处检测轻扫手势950n。
如图9O所示，响应于检测到第二手势(例如，轻扫手势950n)，设备700将当前选定音频组播消息从对应于卧室目标组的第二最近接收的音频组播消息(例如，其中在图9F中接收到其对应数据)改变为对应于卧室目标组的第一接收的音频组播消息(例如，其中在图9E中接收到其对应数据)。在图9O中，设备700在对应于用户界面960的位置处(例如，回放示能表示926上)检测轻击手势950o。
如图9P所示，响应于检测到轻击手势950o，设备700发起对应于卧室目标组的(例如，当前选定的)第一接收的音频组播消息的回放，而不发起其他音频组播消息的回放。在一些实施方案中，在图9P(或图9I至图9J)处，设备700在对应于组播示能表示736的位置处检测轻击手势950p；并且，响应于在对应于组播示能表示736的位置处检测到轻击手势950p，设备700经由一个或多个输入设备开始录制媒体，如上(例如，在图7C和图7I中)所述。在一些实施方案中，在图9P中，设备700检测用于发送对应于卧室目标组的音频组播消息的一个或多个语音输入，诸如语音输入720a(如上所述)，以便重播给Jane。
图9Q至图9V示出了用于在具有比设备700更小显示器的设备诸如智能手表701上显示上述用户界面的示例性用户界面。上文所讨论的用户界面中的任一个用户界面可使用与上文针对图9A至图9P所讨论的那些技术类似的一种或多种技术在智能手表701(例如，用户界面970、972、974、976、978和980)(或平板电脑634)上显示和转换。
参照图9Q至图9V，在一些实施方案中，当电子设备701的显示器处于低功率模式(例如，显示器关闭、显示器处于降低亮度模式)时，电子设备701接收第一音频组播消息(例如，来自John)。响应于接收到第一音频组播消息，设备701任选地生成触觉输出以向设备701的用户指示已接收到音频组播消息。在接收到第一音频组播消息之后(并且任选地不显示对应于第一音频组播消息的通知)，电子设备701接收第二音频组播消息(例如，来自外部设备，诸如来自住宅扬声器)。响应于接收到第二音频组播消息，设备701任选地生成第二触觉输出以向设备701的用户指示已接收到第二音频组播消息。在生成第二触觉输出之后，设备701检测(例如，基于检测到的加速度计信息)第一用户输入(例如，手腕抬起手势)。响应于检测到第一用户输入(并且任选地，根据确定在生成第二触觉输出之后预先确定的时间内检测到第一用户输入)，电子设备显示图9R的用户界面972(例如，通过任选地首先显示图9Q的用户界面970，然后以动画方式转换为图9R的用户界面972)。
在图9R中，用户界面972是对应于第一音频组播消息和第二音频组播消息两者的通知。用户界面972包括第一音频组播消息的发送人的图形发送人指示972a(例如，图像和/或头像)和文本发送人指示972b(例如，名称)。用户界面972还包括第二音频组播消息的发送人的图形发送人指示972c(例如，图像和/或头像)。用户界面972包括组播示能表示736和回放示能表示926。
在图9R处，电子设备701检测轻击手势(例如，950r或950q)。响应于轻击手势并且根据确定轻击手势(例如，轻击手势950q)对应于(例如，打开)回放示能表示926，电子设备701开始第一音频组播消息的回放(在不需要另外的用户输入的情况下)，如图9S所示。例如，回放进度指示符972e被显示为与图形发送人指示972a相邻(或作为其一部分)。回放进度指示符972e的长度随着继续回放而增加，并且图形发送人指示符972a的圆周由回放进度指示符972e遍历的部分指示当前正在播放的音频组播消息的回放完成的百分比。在完成第一音频组播消息的回放之后并且不需要(或未接收到)附加用户输入的情况下，电子设备701自动开始第二音频组播消息的回放，如图9T的用户界面976所示。用户界面976包括第二音频组播消息的发送人的图形发送人指示972c(其现在已放大到大于972a)和文本发送人指示972d。例如，回放进度指示符972e被显示为与图形发送人指示972c相邻(或作为其一部分)。回放进度指示符972e的长度随着继续回放而增加，并且图形发送人指示符972c的圆周由回放进度指示符972e遍历的部分指示当前正在播放的音频组播消息的回放完成的百分比。在一些实施方案中，响应于用户输入950q，在自动播放第一音频组播消息之前播放第二音频组播消息(在需要和/或接收到附加用户输入的情况下)。在一些实施方案中，当启用设置以允许音频组播消息的转录时，用户界面972-976包括当前选定/播放的音频组播消息的文本表示929f-929g(例如，可滚动转录副本)。
如图9U所示，响应于轻击手势(例如，轻击手势950r)并且根据确定轻击手势(例如，轻击手势950r)对应于(例如，打开)组播示能表示736，设备701经由设备701的一个或多个输入设备(例如，麦克风)开始录制媒体(例如，音频组播消息)，如用户界面978中所示并且如上文(例如，参考7C和图7I)进一步所述。在录制媒体时，电子设备701在完成示能表示747上检测轻击输入950S。在一些实施方案中，响应于在完成示能表示747上检测到轻击输入950s，电子设备701停止录制媒体并将所录制的媒体作为组播消息发送(例如，响应于所接收的组播消息)，如参考图7C1进一步详细描述的。在一些实施方案中，响应于在完成示能表示747上检测到轻击输入950s，电子设备701停止录制媒体并显示包括发送示能表示756的用户界面980。发送示能表示756在被激活时使得电子设备701将所录制的媒体作为组播消息发送，如参考图7D至图7E进一步详细描述的。
图9W至图9X示出了用于在设备诸如计算机设备674上显示上述用户界面的示例性用户界面。如上所述，在一些实施方案中，计算机设备674与一个或多个设备通信，该一个或多个设备为计算机设备674发送指令以显示一个或多个用户界面。上文所讨论的用户界面中的任一个用户界面可使用与上文针对图9A至图9P所讨论的那些技术类似的一种或多种技术在计算机设备674(例如，用户界面996和998)上显示和转换。例如，设备674接收音频组播消息，并且作为响应，显示通知996a。设备674在通知996a上检测轻击输入，并且作为响应，显示用户界面998。进一步响应于在通知996a上检测到轻击输入(并且在未接收到另外的用户输入的情况下)，设备674开始音频组播消息的回放，如图9X所示。在一些实施方案中，响应于在通知996a上检测到轻击输入并且根据确定通知996a对应于多个组播消息，设备674在不需要另外的用户输入的情况下自动回放多个组播消息。
图9Y示出了当选择单个音频组播消息进行回放时的示例性用户界面920(例如，使得显示用户界面920的激活通知对应于单个音频组播消息而不对应于多个音频组播消息)。与图9I的用户界面920相比，因为多个消息不可用于和/或不被选择用于回放，所以图9Y的用户界面920不包括附加图形发送人指示924b并且不包括下一个示能表示934a。在一些实施方案中，当启用设置以允许音频组播消息的转录时，用户界面920包括音频组播消息的文本表示920a(例如，可滚动转录副本)。
图9Z至图9AC示出了用于显示发送人指示和图形发送人指示的示例性用户界面。发送人指示和图形发送人指示任选地识别音频组播消息的发送人或者用作通用标识符以保持发送人的匿名性(例如，避免对共享用户可见)，如2020年5月11日提交的标题为“TECHNIQUES FOR RELAYING AUDIO MESSAGES TO DEVICES(用于将音频消息中继到设备的技术)”的美国临时专利申请序列号63/022,908中更详细地描述的，该临时专利申请的内容据此以引用方式并入本文并一起附随。
在一些实施方案中，基于音频组播消息的发送人的用户账户的类型(例如，所有者类型、管理员类型和共享用户类型)和登录到显示设备(例如，700和/或703)的用户账户的类型中的一者或两者，为接收人(例如，接收设备的用户和/或接收设备)识别音频多播消息的发送人或者将音频多播消息的发送人对接收人保持匿名。例如，驻留在住宅中的母亲和父亲均可具有所有者类型的用户账户，住宅中的孩子可具有管理员类型的用户账户，并且住宅中的保姆、园丁和其他助理或访客可与共享用户类型相关联。
在一些实施方案中，根据发送人属于所有者类型，共享用户查看发送人的身份(例如，发送人指示和/或图形发送人指示)。从作为管理员或共享用户的发送人接收音频组播消息的共享用户被通知音频组播消息，而不被提供发送人的身份(例如，不具有识别用户账户和/或发送人名称的发送人指示和/或图形发送人指示)以保持发送人匿名。例如，为了保持发送人匿名，电子设备703任选地显示“某人”发送具有通用图形发送人指示的音频组播消息的通用发送人指示，即使发送人的身份信息在接收人的设备或用户帐户的联系人列表(或联系人应用程序)中，如图9AA和图9AC所示并在下文详细描述。下表提供了用于是否为特定类型的接收人/观看人识别音频组播消息的发送人的示例性模型。
所有者发送人 管理员发送人 共享用户发送人
所有者接收人 是 是 是
管理员接收人 是 是 是
共享用户接收人 是 否 否
如上表所示，所有者和管理员被提供他们接收到的音频组播消息的发送人的身份，无论发送人是所有者、管理员还是共享用户。当发送人是所有者时，向共享用户提供发送人的身份，并且当发送人是管理员或共享用户时，不向共享用户提供发送人的身份，从而当管理员和共享用户的音频组播消息指向共享用户时，为管理员和共享用户提供匿名性和附加安全性。
图9Z和图9AA分别示出了由电子设备700和703接收的相同音频组播消息。该音频组播消息是从属于管理员(或共享用户)类型的用户发送的。在图9Z处，因为电子设备700登录到属于所有者类型(或另选地，属于管理员类型)的账户，所以用户界面960识别发送人(例如，经由发送人指示960a(“Jane”)和/或图形发送人指示960b(Jane的图像)。在图9AA处，因为电子设备703登录到属于共享用户类型的账户，所以用户界面960不识别发送人，而是提供发送人的通用指示(例如，经由发送人指示960c(“某人”)和/或图形发送人指示960d(通用轮廓图像))，从而为发送人提供匿名性和附加安全性。
类似于图9Z和图9AA，图9AB和图9AC分别示出了由电子设备701和705接收的相同音频组播消息。该音频组播消息是从属于管理员(或共享用户)类型的用户发送的。在图9AB处，因为电子设备701登录到属于所有者类型(或另选地，属于管理员类型)的账户，所以用户界面973识别发送人(例如，经由发送人指示973a(“Jane”)和/或图形发送人指示973b(Jane的图像)。在图9AC处，因为电子设备705登录到属于共享用户类型的账户，所以用户界面973不识别发送人，而是提供发送人的通用指示(例如，经由发送人指示973c(“某人”)和/或图形发送人指示973d(通用轮廓图像))，从而为发送人提供匿名性和附加安全性。
图10是示出了根据一些实施方案的用于使用计算机系统显示通知的方法的流程图。方法1000在与显示生成部件通信的计算机系统(例如，100、300、500、634、674、700、701、850)处执行。方法1000中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法1000提供了用于显示通知的直观方式。该方法减轻了用户在查看通知时的认知负担，从而创建了一种更有效的人机界面。对于电池驱动的计算设备，使得用户能够更快且更有效地访问通知节省了功率并增加了电池两次充电之间的时间间隔。
计算机系统接收(1002)对应于第一媒体的第一数据。
计算机系统(例如，响应于接收到第一数据)经由显示生成部件显示(1004)具有对第一媒体(例如，904b、904c)的指示的第一通知(例如，906a、908a、910)(例如，对应于第一数据的通知)(例如，可选择以发起播放第一媒体的过程的通知)，直到第一时间段(例如，预先确定的第一时间段)的结束。
在接收到第一数据之后(例如，在开始显示第一通知之后)，计算机系统接收(1006)对应于第二媒体的第二数据，其中第二媒体(例如，图9J中的932)不同于第一媒体(例如，图9K中的932)。
根据确定第二媒体满足一组一个或多个标准(并且在一些实施方案中，该一个或多个标准包括当第二媒体指向与第一媒体相同的目标组时满足的标准)，并且根据基于(1)接收到第二数据的时间和(2)接收到第一数据的时间的确定(例如，确定在接收到第一数据之后的预定义时间量内接收到第二数据)，(例如，响应于接收到第二数据)经由显示生成部件显示(1008)，直到第二时间段的结束。在一些实施方案中，第二时间段基于第二数据的接收。在一些实施方案中，第二时间段不基于第一数据的接收。在一些实施方案中，第二时间段是预先确定的第二时间段，具有对第一媒体(例如，图9K中的932)的指示(例如，906b中的指示(例如，“John”、908b中的指示(例如，“2”))的第二通知(例如，906b、908b、908c)(例如，对应于至少第一数据的通知)(例如，可选择以发起播放至少第一媒体的过程的通知)(例如，指示接收到至少第一数据的通知)，其中第一时间段的结束不同于第二时间段的结束。在一些实施方案中，第二通知是第一通知。在一些实施方案中，第二通知不同于第一通知(例如，第二通知是组合(1)对应于第一媒体的信息和(2)对应于第二媒体的信息的通知)。在一些实施方案中，在第一时间段之后显示(例如，初始显示)第二通知。在一些实施方案中，在自接收到第一媒体预先确定的时间内接收到第二媒体时，延长显示对应于第一媒体的信息的时间长度。在一些实施方案中，基于接收到第一数据的时间与接收到第二数据的时间之间的差值来确定第二时间段。在一些实施方案中，媒体(例如，第一媒体、第二媒体)是在另一设备处录制并传输到一组设备的音频消息，该组设备包括接收第一数据和第二数据的计算机系统。在一些实施方案中，一组一个或多个标准包括当在第一媒体的显示周期(例如，通知有效的持续时间、通知将在通知集合中显示的持续时间)结束之前接收到第二媒体时满足的标准。在一些实施方案中，一组一个或多个标准包括当在停止显示第一通知之前接收到第二媒体(例如，经由激活第一通知、经由接收清除第一通知的用户输入)时满足的标准。当满足某些标准时，动态地显示包括指示的第二通知，该指示包括在与第二通知相关的第一通知中，这为用户提供了关于第二通知和第一通知之间的关系的反馈，同时还允许包括在第一通知中的指示即使在第一通知已停止显示的情况下也继续显示。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，在接收到第二数据时显示第一通知(例如，906a)(例如，根据确定第二媒体满足一组一个或多个标准)。在一些实施方案中，作为显示第二通知(例如，906b)的一部分，计算机系统停止显示第一通知(例如，在图9E中)。在一些实施方案中，根据确定第二媒体满足一组一个或多个标准(并且在一些实施方案中，该一个或多个标准包括当第二媒体指向与第一媒体相同的目标组时满足的标准)，并且根据确定在接收到第一数据之后的预定义时间量内接收到第二数据，停止显示第一通知。当第二通知包括关于第一通知的信息时，停止显示第一通知，这为用户提供了关于第一通知中的信息的反馈，而不会使用户界面杂乱。为用户提供改进的视觉反馈增强了设备的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一媒体是第一音频消息(例如，图9K中的932)(例如，在外部设备处(使用麦克风)录制并由外部设备传输到一组设备的音频消息、指向(例如，传输到)包括计算机系统的多个外部设备的音频消息)。在一些实施方案中，第二音频消息是指向(或传输)到第二多个外部设备(例如，与多个外部设备相同、与多个外部设备不同)的第二音频消息。显示与已组播的音频消息相关联的通知为用户提供了关于通知类型的视觉反馈，这使得用户识别通知将衰减并且需要在预先确定的时间段内对通知进行响应。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一通知(例如，904)包括对第一媒体(例如，图9K中的932)指向的(例如，对应于媒体的第一数据被传输到的)一组多个外部设备的指示(例如，904d)。在一些实施方案中，第一数据识别第一媒体指向的一组多个外部设备。在一些实施方案中，多个外部设备包括计算机系统。显示包括对第一媒体指向的一组设备的指示的通知为用户提供了关于发送和/或将接收重播消息的设备的反馈。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，响应于接收到第一数据，计算机系统将第一通知(例如，906a)添加到通知(例如，9B至图9H中显示的通知)集合(例如，可访问以进行显示的通知集合，其响应于请求显示通知集合、最近通知的列表的用户输入而显示)，直到第一时间段(例如，预先确定的第一时间段)的结束。在一些实施方案中，根据到达第一时间段的结束，计算机系统从通知集合中移除第一通知(例如，904)。在一些实施方案中，根据在第一时间段的结束之前接收到对应于第二媒体的第二数据并且根据确定第二媒体满足一组一个或多个标准，计算机系统从通知集合中移除第一通知(例如，906a)；并且将第二通知(例如，906b)添加到通知集合中。在一些实施方案中，根据在第一预先确定的时间段的结束之前接收到对应于媒体的数据并且根据确定第二媒体不满足一组一个或多个标准：将第二通知添加到通知集合中而不从通知集合中移除第一通知。在一些实施方案中，根据满足第一通知的结束显示条件，计算机系统从通知集合中移除第一通知。当在特定时间段内未接收到与通知相关的附加数据(例如，没有更新或没有新媒体)时，选择移除通知，这允许设备避免向用户提供会使UI杂乱的过期通知(例如，旧的、不相关的通知)，而不需要用户手动删除通知。在一组条件已经被满足而不需要另外的用户输入时执行最优操作增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该计算机系统/与该计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该计算机系统而减少了电力使用并且延长了该计算机系统的电池寿命。
在一些实施方案中，第一数据识别第一媒体指向(例如，传输到)的目标组多个外部设备。在一些实施方案中，在显示对应于第一媒体的通知(例如，906a、908a、910)(例如，第一通知)(例如，并且该通知在被激活时发起用于播放第一媒体(例如，第一音频消息)的过程)时，计算机系统接收(1010)对应于第三媒体的第三数据。在一些实施方案中，响应于(1012)接收到对应于第三媒体的第三数据并且根据确定第三媒体满足一组一个或多个标准(其中，在一些实施方案中，该一个或多个标准包括当媒体指向与第一媒体相同的目标组设备时满足的标准)，计算机系统延长(1014)显示对应于第一媒体的通知(例如，第一通知、第二通知)(例如，并且该通知在被激活时发起用于播放第一媒体(例如，第一音频消息)的过程)的持续时间(例如，图9F中的906b)。在一些实施方案中，响应于(1012)接收到对应于第三媒体的第三数据并且根据确定第三媒体不满足一组一个或多个标准(例如，第三媒体指向与第一媒体相比不同的一组目标设备)，计算机系统放弃(1016)延长显示对应于第一媒体的通知(例如，图9F中的908a、910)的持续时间。在一些实施方案中，当计算机系统接收到对应于满足一组一个或多个标准的媒体的附加数据时，只要紧接在前的响应于满足该组一个或多个标准的媒体而显示的通知尚未基于到达时间段的结束而停止显示，设备就继续延长经由显示生成部件显示通知的持续时间。因此，当接收到指向同一组目标设备(例如，外部设备)的音频消息时，只要最近接收到的音频消息未达到用于显示的对应预先确定的时间段，就继续显示该音频消息链的通知。基于是否已在预先确定的时间段内接收到与通知相关的更新的信息来选择是否延长通知的衰减周期，这允许设备提供新鲜(例如，新的、相关的)通知，同时避免向用户提供会使UI杂乱的过期通知(例如，旧的、不相关的通知)，而不需要用户手动更新/删除通知。在一组条件已经被满足而不需要另外的用户输入时执行最优操作增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该计算机系统/与该计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该计算机系统而减少了电力使用并且延长了该计算机系统的电池寿命。
在一些实施方案中，根据确定第二媒体满足一组一个或多个标准，(例如，满足该组一个或多个标准的)第二通知包括基于(例如，指示)由第二通知表示的包括第一媒体的(例如，在908a和908b中)媒体数量(例如，音频消息的数量)的指示符(例如，数字)。在一些实施方案中，通知链中的第一通知之后的每个后续通知包括对由正在显示的通知表示的媒体数量(例如，音频消息的数量)的指示。例如，如果通知是链中的第5个通知，则通知指示通知对应于5个所接收的媒体(例如，5个音频消息)。在一些实施方案中，根据确定第二媒体不满足一组一个或多个标准，(例如，满足该组一个或多个标准的)第二通知不包括基于(例如，指示)由第二通知表示的包括第一媒体的媒体数量(例如，音频消息的数量)的指示符(例如，数字)。更新对已从目标组设备接收的媒体项(音频组播消息(例如，被组播到一个或多个设备的音频消息)的数量的指示为用户提供了关于当前状态的反馈，即针对相应目标组设备已接收的媒体项的数量。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第二通知包括对第一媒体的指示。在一些实施方案中，在显示第二通知(例如，602b)时，计算机系统接收指向第二通知的输入(例如，950h)。在一些实施方案中，响应于接收到指向第二通知的输入(例如，并且根据确定第二媒体满足一组一个或多个标准)，计算机系统发起用于回放第一媒体和第二媒体的过程(例如，图9I至图9J中的920、922)(例如，显示用于回放第一媒体和第二媒体的用户界面、开始回放第一媒体以及随后回放第二媒体)。在一些实施方案中，发起用于回放第一媒体和第二媒体的过程包括自动(例如，响应于接收到指向第二通知的输入而无需中间用户输入)回放第一媒体以及随后回放第二媒体并且显示用于回放第一媒体的用户界面(例如，741)。在一些实施方案中，响应于接收到指向第二通知的输入并且根据确定第二媒体不满足一组一个或多个标准，作为发起用于回放第二媒体而不回放第一媒体的过程的一部分(例如，显示用于回放第二媒体而不是第一媒体的用户界面)，计算机系统开始回放第二媒体，并且随后不自动回放第一媒体。在一些实施方案中，根据确定第二媒体不满足一组一个或多个标准并且在显示第一通知时，计算机系统接收指向第一通知的输入，并且响应于接收到指向第一通知的输入，发起用于回放第一媒体而不回放第二媒体的过程。
在一些实施方案中，第二媒体满足一组一个或多个标准(例如，第二媒体指向与第一媒体相同的外部设备)。在一些实施方案中，在显示第二通知(例如，908c)时，计算机系统接收指向第二通知的输入(例如，950l)。在一些实施方案中，响应于接收到指向第二通知的输入(例如，并且根据确定第二媒体满足一组一个或多个标准)，计算机系统显示用于回放第一媒体的用户界面(例如，960)(例如，作为发起用于回放第一媒体和第二媒体的过程的一部分)，其中用于回放第一媒体的用户界面包括录制用户界面对象(例如，可选录制按钮)。在一些实施方案中，对录制(例如，736)用户界面对象的选择(例如，950p)使得根据确定第一数据识别第一媒体指向(例如，传输)到的第一组多个外部设备(例如，卧室设备)，计算机系统发起用于将音频消息传输到第一组(例如，而不是第二组)多个外部设备的过程(例如，730、740、750)。在一些实施方案中，对录制(例如，736)用户界面对象的选择(例如，950p)使得根据确定第一数据识别第一媒体指向(例如，传输)到的不同于第一组的第二组多个外部设备(例如，住宅设备)，计算机系统发起用于将音频消息传输到第二组(例如，而不是第一组)多个外部设备的过程(例如，780a、784、786a)。在一些实施方案中，计算机系统检测对录制用户界面对象的选择(例如，轻击、按压并保持)，并且响应于检测到对录制用户界面对象的选择，发起对应的操作，如上所述。在一些实施方案中，一组外部设备与最高级别位置(或目的地)(例如，第一类型的位置)(例如，住宅位置、企业、办公室(例如，作为最高级别位置的位置(例如，定义位于由最高级别位置的位置定义的区域和/或周边内的一个或多个位置(例如，子位置)和/或一个或多个区域(或区)的位置、位于位置分级结构的最高级别的位置、(例如，以编程方式)链接到一个或多个位置(例如，子位置)和/或一个或多个区域(或区)的位置)))相关联。在一些实施方案中，发起用于传输音频消息的过程包括通过录制由计算机系统检测到的音频来录制音频消息。在一些实施方案中，用于回放第一媒体的用户界面包括对组(例如，最高级别位置、子位置)的指示(例如，文本指示、图形指示)(例如，指定音频消息将被传输到的房间或区的名称的文本)。
在一些实施方案中，在显示用于回放第一媒体的用户界面(例如，960)(例如，作为发起用于回放第一媒体和第二媒体的过程的一部分)时，计算机系统(例如，经由一个或多个输入设备、使用触敏表面)接收用户输入(例如，950i、950m2、950n)。在一些实施方案中，响应于接收到用户输入并且根据确定用户输入(例如，950i)指向对播放用户界面对象的选择(例如，在显示为用于回放第一媒体的用户界面的一部分的播放按钮上的轻击)，计算机系统回放第一媒体(并且任选地，随后自动回放第二媒体并切换到用于回放第二媒体的用户界面)。在一些实施方案中，响应于接收到用户输入并且根据确定用户输入是指向用于回放第一媒体的用户界面的轻扫手势(例如，950m2、950n)(例如，用于回放第一媒体的用户界面上的向左轻扫手势)，计算机系统将用于回放第一媒体的用户界面的显示替换为用于回放第二媒体的用户界面(例如，包括用于播放第二媒体而不播放第一媒体的播放按钮)的显示。在一些实施方案中，响应于接收到用户输入并且根据确定用户输入(例如，950i)指向对播放用户界面对象的选择(例如，在显示为用于回放第一媒体的用户界面的一部分的播放按钮上的轻击)，计算机系统回放第二媒体(例如，对应于通知的最近接收的媒体)并且随后回放第一媒体。
在一些实施方案中，在显示用于回放第一媒体的用户界面(例如，图15B至图15E的720)(例如，作为发起用于回放第一媒体和第二媒体的过程的一部分)时以及在回放第一媒体时，计算机系统接收输入。在一些实施方案中，响应于接收到用户输入并且根据确定用户输入指向用于回放第一媒体的用户界面上的第一位置(例如，用户界面720上的位置736)，计算机系统显示用于发送和录制新媒体(例如，一个或多个音频组播消息)(并且任选地，自动开始录制用于发送的音频)的用户界面(例如，741)。在一些实施方案中，响应于接收到用户输入并且根据确定用户输入指向用于回放第一媒体的用户界面上的第二位置(例如，位置1534)，计算机系统将用于回放第一媒体(例如，对应于1524a)的用户界面的显示替换为用于回放第二媒体(例如，对应于1524b)的用户界面的显示，其中用于回放第一媒体的用户界面上的第二位置不同于用于回放第一媒体的用户界面上的第一位置。根据确定用户输入指向第一位置并且是轻击输入，计算机系统自动录制音频(例如，经由一个或多个麦克风)，直到检测到后续输入(例如，在与第一位置相同的位置中(或第一位置附近)检测到的后续输入)。根据确定用户输入指向第一位置并且是按压并保持手势，计算机系统自动录制音频(例如，经由一个或多个麦克风)，直到检测到用户输入的结束。在一些实施方案中，在显示第二通知时，计算机系统接收指向第二通知的输入(例如，950h)。在一些实施方案中，响应于接收到指向第二通知的输入，计算机系统停止显示第二通知。在一些实施方案中，一旦第二通知被激活，就从通知集合(例如，用户可访问以用于显示的通知、响应于请求显示通知集合的用户输入而显示的通知、在计算机系统处接收的最近通知的列表)中移除第二通知。在一些实施方案中，通知集合继续包括其他通知(例如，电子邮件通知、即时消息通知)。当通知已被交互时，选择移除通知，这允许设备避免向用户提供会使UI杂乱的过期通知(例如，旧的、不相关的通知)，而不需要用户手动删除通知。在一组条件已经被满足而不需要另外的用户输入时执行最优操作增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该计算机系统/与该计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该计算机系统而减少了电力使用并且延长了该计算机系统的电池寿命。
在一些实施方案中，计算机系统显示用于配置是否将计算机系统包括在接收对应于指向位置(例如，最高级别位置(住宅)、子位置(住宅的房间)的媒体的数据的一组多个外部设备(例如，接收指向住宅的外部设备的音频消息的设备)中的用户界面，其中用于配置是否将计算机系统包括在组中的用户界面包括：第一选项(例如，799c)，该第一选项用于(例如，始终)将计算机系统包括在接收对应于指向该位置的媒体的数据的该组多个外部设备(例如，接收指向住宅的外部设备的音频消息的设备)中，无论计算机系统的当前物理位置如何(例如，如由计算机系统的位置传感器所确定的)；和第二选项(例如，799a)，该第二选项用于不(例如，从不)将计算机系统包括在接收对应于指向该位置的媒体的数据的该组多个外部设备(例如，接收指向住宅的外部设备的音频消息的设备)中，无论计算机系统的当前物理位置如何(例如，如由计算机系统的位置传感器所确定的)。在一些实施方案中，用户可将计算机系统配置为注册/取消注册以接收对应于媒体的数据，或者基于对应于媒体的所接收的数据来启用/禁用通知的显示。
在一些实施方案中，计算机系统显示用于配置是否将计算机系统包括在接收对应于指向位置(例如，最高级别位置(住宅)、子位置(住宅的房间)的媒体的数据的一组多个外部设备(例如，接收指向住宅的外部设备的音频消息的设备)中的用户界面，其中用于配置是否将计算机系统包括在组中的用户界面包括：第三选项(例如，77b)，该第三选项用于在计算机系统(例如，700)当前处于对应于该位置的物理位置(例如，在住宅的地理围栏内、在住宅的特定房间内，如由计算机系统的位置传感器所确定的)时，将计算机系统(例如，700)包括在接收对应于指向该位置的媒体的数据的该组多个外部设备(例如，接收指向住宅的外部设备的音频消息的设备)中；并且在计算机系统(例如，700)当前未处于对应于该位置的物理位置(例如，在住宅的地理围栏内、在住宅的特定房间内，如由计算机系统的位置传感器所确定的)时，不将计算机系统(例如，700)包括在接收对应于指向该位置的媒体的数据的该组多个外部设备(例如，接收指向住宅的外部设备的音频消息的设备)中。在一些实施方案中，用户可提供输入以将计算机系统配置为在计算机系统位于某个位置时仅接收对应于指向该位置的一组设备的媒体的数据(和/或仅显示指向该位置的一组设备的通知)(例如，计算机系统在位于住宅中时仅获取指向住宅的消息，在计算机系统位于某个房间中时仅获取指向该房间的消息)。
在一些实施方案中，显示具有对第一媒体的指示(例如，对应于第一数据的通知)的第一通知(例如，不需要被选择的通知)(例如，指示接收到第一数据的通知)包括同时显示第二录制用户界面对象(例如，736)(例如，可选用户界面对象(例如，录制按钮))和第二播放用户界面对象(例如，926)(例如，可选用户界面对象(例如，播放按钮))。计算机系统(例如，经由一个或多个输入设备、使用触敏表面)接收第二用户输入(例如，轻击950q、950r)。响应于接收到第二用户输入并且根据确定第二用户输入(例如，950r)指向对第二录制用户界面对象(例如，736)的选择(例如，在录制按钮(例如，作为通知的一部分和/或与通知同时显示的按钮)上的轻击)，计算机系统(例如，在接收到第二用户输入之后不需要和/或未接收到附加输入的情况下)录制音频消息(例如，通过录制(例如，经由与计算机系统(和/或其部分)通信的一个或多个麦克风和/或输入设备)检测到的音频)。响应于接收到第二用户输入并且根据确定第二用户输入指向对第二播放用户界面对象(例如，926)的选择(例如，在播放按钮(例如，作为通知的一部分和/或与通知同时显示的按钮)上的轻击)，计算机系统(例如，不需要和/或未接收到附加输入的情况下)回放第一媒体。
在一些实施方案中，在用户手腕抬起时显示通知，并且不需要附加输入来显示附加用户界面对象。在一些实施方案中，在检测到(例如，接收到)轻击手势和/或轻扫(例如，向下轻扫)手势之后显示通知。在一些实施方案中，录制用户界面对象和播放用户界面对象在通知内。
在一些实施方案中，在发起用于录制音频消息的过程之后，计算机系统显示音频消息正在录制的动态(例如，实时)波形表示。在一些实施方案中，在发起用于录制音频消息的过程之后，计算机系统(例如，在显示动态波形表示的同时)显示完成用户界面对象(例如，可选用户界面对象(例如，完成按钮))。在一些实施方案中，完成用户界面对象替换第二录制用户界面对象。在一些实施方案中，计算机在完成用户界面对象上接收输入并停止录制检测到的音频。在一些实施方案中，响应于在完成用户界面对象上接收到输入，计算机系统传输(例如，发送)所录制的音频消息。
基于第二用户输入所指向的内容来执行不同动作(例如，发起用于录制音频消息或回放第一媒体的过程)，这通过允许用户在查看通知时发起录制音频消息或回放所接收的媒体，为用户提供了对设备的更多控制而不需要附加输入。提供附加控制选项增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，显示具有对第一媒体的指示(例如，对应于至少第一数据的通知)的第二通知(例如，972)(例如，不需要被选择的通知)(例如，指示接收到至少第一数据的通知)包括同时显示第三录制用户界面对象(例如，736)(例如，可选用户界面对象(例如，录制按钮))和第三播放用户界面对象(例如，926)(例如，可选用户界面对象(例如，播放按钮))。计算机系统(例如，701)(例如，经由一个或多个输入设备、使用触敏表面)接收第三用户输入(例如，轻击950q、950r)。响应于接收到第三用户输入并且根据确定第三用户输入(例如，950r)指向对第三录制用户界面对象(例如，736)的选择(例如，在录制按钮(例如，作为通知的一部分和/或与通知同时显示的按钮)上的轻击)，计算机系统(例如，在接收到第三用户输入之后不需要和/或未接收到附加输入的情况下)录制音频消息(例如，通过录制(例如，经由与计算机系统(和/或其部分)通信的一个或多个麦克风和/或输入设备)检测到的音频)。响应于接收到第三用户输入并且根据确定第三用户输入(例如，950q)执行对第三播放用户界面对象(例如，926)的选择(例如，在播放按钮(例如，作为通知的一部分和/或与通知同时显示的按钮)上的轻击)，在接收到第三用户输入之后未接收到附加用户输入(例如，不需要和/或未接收到用于回放媒体的附加用户输入(例如，不需要和/或未接收到指向用于回放媒体的一个或多个示能表示的附加用户输入(例如，在播放第一媒体之后用于播放第二媒体的轻扫)；不需要和/或未接收到对用户界面对象(例如，下一个按钮)的选择))的情况下，计算机系统(例如，在接收到第三用户输入之后不需要(例如，和/或未接收到)附加用户输入的情况下)回放第一媒体和第二媒体(例如，顺序地回放第一媒体和第二媒体(例如，回放第一媒体，然后回放第二媒体))。
在一些实施方案中，在用户手腕抬起时显示通知，并且不需要附加输入来显示附加用户界面对象。在一些实施方案中，在检测到(例如，接收到)轻击手势和/或轻扫(例如，向下轻扫)手势之后显示通知。在一些实施方案中，录制用户界面对象和播放用户界面对象在通知内。
在一些实施方案中，在接收到第三用户输入之后未接收到附加输入的情况下，顺序地回放第一媒体和第二媒体。在一些实施方案中，对于具有对第一媒体的指示的第三通知，在没有附加用户输入的情况下，对播放用户界面对象的选择发起用于回放第一媒体、第二媒体和第三媒体的过程。在一些实施方案中，使用如下文关于图15A至图15F和图16所述的一种或多种技术回放第一媒体和第二媒体。
基于第二用户输入所指向的内容来执行不同动作，这通过允许用户在查看通知时发起录制音频消息或回放所接收的媒体，为用户提供了对设备的更多控制而不需要附加输入。提供附加控制选项增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在接收到指向对播放界面对象的选择的用户输入之后(并且在未接收到另外的用户输入的情况下)回放第一媒体和第二媒体，这减少了播放第一媒体和第二媒体所需的输入数量，并且允许用户在没有附加用户输入的情况下听到这两个媒体。减少执行操作所需的输入数量增强了该计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该计算机系统/与该计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该计算机系统而减少了电力使用并且延长了该计算机系统的电池寿命。
在一些实施方案中，显示具有对第一媒体的指示的第一通知包括同时显示发送人(例如，第一媒体的发送人)的视觉表示(例如，972a)(例如，头像和/或图像(例如，来源于计算机系统的联系人应用程序)；由发送人使用的外部设备的图形表示)和发送人的名称(例如，972b)(例如，文本和/或来源于计算机系统的联系人应用程序；由发送人使用的外部设备的位置的文本表示、设备名称的文本表示)。在一些实施方案中，发送人是发起所接收的媒体的录制的个体和/或录制所接收的媒体的设备。
显示发送人的视觉表示和发送人的名称通过允许用户快速识别第一媒体的发送人并识别如何回复第一媒体的特定发送人，从而为用户提供了增强的反馈。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，同时显示具有对第一媒体的指示的第二通知以及第一发送人(例如，972a)和任选地第二发送人(例如，972c)的视觉表示。在一些实施方案中，同时显示具有对第一媒体的指示的第二通知以及第一发送人的名称(例如，972b)和任选地第二发送人的名称。在一些实施方案中，响应于检测到(例如，接收到)手腕抬起手势，显示第一通知。在一些实施方案中，响应于检测到轻击手势和/或轻扫(例如，向下轻扫)手势，显示第一通知。在一些实施方案中，响应于检测到手腕抬起手势，显示第二通知。在一些实施方案中，响应于检测到轻击手势，显示第二通知。
在一些实施方案中，(例如，在显示图9Q的用户界面之前)计算机系统的显示生成部件处于低功率状态(例如，降低的显示亮度或显示器关闭)。在计算机系统的显示生成部件处于低功率状态时，计算机系统接收对应于第一媒体的第一数据。响应于在显示生成部件处于低功率状态时接收到第一数据，计算机系统任选地执行触觉输出，(例如，基于显示生成部件处于低功率状态)而不经由显示生成部件显示对应于第一媒体的通知。
在一些实施方案中，(例如，在显示图9Q的用户界面之前)在接收到对应于第一媒体的第一数据之后(并且未显示对应于第一媒体的通知的情况下)，计算机系统接收对应于第二媒体的第二数据，该第二媒体不同于第一媒体。响应于在显示生成部件处于低功率状态时接收到第二数据，计算机系统任选地执行第二触觉输出，(例如，基于显示生成部件处于低功率状态)而不显示对应于第一媒体的通知并且不显示对应于第二媒体的通知。在接收到第二数据之后(并且在显示对应于第一媒体或第二媒体的通知之前)，计算机系统接收第一用户输入(例如，手势，诸如使用计算机系统(例如，智能手表)的加速度计检测到的；和/或对应于用户将计算机系统抬起到特定取向(例如，观察位置/取向)的手腕抬起手势)。
在一些实施方案中，响应于检测到第一用户输入(并且任选地，根据确定在第二触觉输出之后预先确定的时间量内接收到第一用户输入)，显示生成部件任选地退出低功率状态(例如，转换为标准功率状态和/或显示生成部件停止以降低的显示亮度操作(例如，变得更亮))，并且计算机系统经由显示生成部件显示：对应于第一媒体和第二媒体的通知(例如，972)(例如，包括对第一媒体的指示(例如，972a)和对第二媒体的指示(例如，972c))。通知(例如，972)包括录制用户界面对象(例如，736)(例如，可选用户界面对象(例如，录制按钮))和播放用户界面对象(例如，926)(例如，可选用户界面对象(例如，播放按钮))的同时显示。通知(例如，972)任选地还包括第一媒体的发送人的一个或多个指示符(例如，图形图像和/或名称)(例如，972a-972b)以及第二媒体的发送人的一个或多个指示符(例如，图形图像和/或名称)(例如，972c)。通知任选地还包括第一媒体(例如，其部分)的口述音频的文本转录副本(例如，929f)(例如，经由用户输入可滚动，诸如在转录副本上的轻扫输入和/或对计算机系统的表冠的旋转)(例如，不包括第二媒体的口述音频的文本转录副本)。
在一些实施方案中，在显示通知(例如，972)时，计算机系统(例如，701)(例如，经由一个或多个输入设备；和/或使用触敏表面)接收第二用户输入(例如，950q、950r)(例如，轻击输入)。响应于接收到第二用户输入并且根据确定第二用户输入(例如，950r)指向对录制用户界面对象(例如，736)的选择(例如，在录制按钮(例如，显示为通知的一部分的按钮)上的轻击)，计算机系统(例如，在接收到第二用户输入之后不需要和/或未接收到附加输入的情况下)开始录制音频消息(例如，通过录制(例如，经由与计算机系统(和/或其部分)通信的一个或多个麦克风和/或输入设备)检测到的；和/或指向第一发送人和第二发送人的音频)(例如，如图9U所示)。响应于接收到第二用户输入并且根据确定第二用户输入(例如，950q)指向对播放用户界面对象(例如，926)的选择(例如，在播放按钮(例如，显示为通知的一部分的按钮)上的轻击)，计算机系统在不需要(和/或未接收到)附加输入的情况下回放第一媒体和第二媒体(例如，如图9S至图9T所示)。
因此，在不需要(或未接收到)附加用户输入的情况下，第一用户输入使得显示通知，并且第二用户输入(例如，950q)在指向播放用户界面对象(例如，926)时使得回放第一媒体，之后回放第二媒体。任选地，响应于检测到第一用户输入(例如，手腕抬起手势)并且根据确定在第二触觉输出之后预先确定的时间量内未接收到第一用户输入，计算机系统(例如，701)放弃经由显示生成部件显示对应于第一媒体和第二媒体的通知(例如，972)。在一些实施方案中，图9R至图9T中的发送人指示符972(例如，图形图像和/或名称)的显示和动画与相对于图15B至图15F所示和所述的那些(例如，1524)相同。
需注意，上面参考方法1000(例如，图10)所述的过程的详情也以类似方式适用于下文/上文所述的方法。例如，方法1000任选地包括上文/下文参考方法800和1200所述的各种方法的一个或多个特性。例如，计算机系统可以是相同的系统。又如，在方法800中发送的音频消息可以是在方法1000中接收的媒体。又如，在方法1200中传输的语音输入可与在方法1000中接收的媒体相同。为了简明起见，这些详情在下文中不再重复。
图11A至图11R示出了用于管理视觉显示器的电子设备和示例性用户界面。这些附图中的用户界面用于示出下文所述的过程，包括图12中的过程。
图11A至图11R示出了一种场景，其中当设备1100确定应将语音输入的一部分作为音频组播消息传输到一个或多个外部设备时设备1100显示具有第一类型的视觉内容(例如，单色灯)的视觉指示，并且其中当设备1100不能确定应将语音输入的一部分作为音频组播消息被传输到一个或多个外部设备(例如，确定不应将语音输入的任何部分作为音频组播消息传输到一个或多个外部设备)时设备1100显示具有第二类型的视觉内容(例如，多色灯)的视觉指示。下面仅出于示例性目的描述第一类型的视觉内容和第二类型的视觉内容。第一类型的视觉内容和第二类型的视觉内容不同，以向用户提供视觉指示：说出的语音输入是否将潜在地被组播到一个或多个外部设备。
图11A示出了位于人前方的桌子上的位置中的电子设备1100。设备1100是智能扬声器并且包括设备580的一个或多个特征。例如，设备1100包括一个或多个显示器1102，该一个或多个显示器包括一个或多个显示器580E的一个或多个部件。显示器1102包括多个LED。在一些实施方案中，设备1100包括设备100、300或500的一个或多个特征。在图11A中，仅出于示例性目的，设备1100与住宅602和客厅602d相关联。因此，在图11A中，设备1100是客厅扬声器646和648中的一者，如上文关于图6所述。在一些实施方案中，设备1100与住宅602中的另一房间(或另一住宅)相关联。
如图11A所示，设备1100处于不活动状态(例如，睡眠状态、低功率状态、设备1100未经由显示器1102显示视觉内容的状态)，使得显示器1102不显示视觉内容(例如，视觉指示)。在一些实施方案中，当设备1100不显示视觉内容时，显示器1102的LED不亮。
图11A至图11L示出了设备1100响应于接收到语音输入而显示视觉内容，该语音输入包括要组播到一个或多个目标组设备的信息。在一些实施方案中，上文关于设备700接收图7M至图7N和图7S至图7Z的语音输入所述的一种或多种类似技术可应用于接收语音输入的设备1100，如下所述(或反之亦然)。
图11B至图11F示出了设备1100从站在设备1100前方的人接收语音输入。图11B至图11F中，由设备1100接收的语音输入是“嘿，助理，组播‘你想在客厅中播放什么音乐？’”。图11B至图11F中接收的语音输入可以自然说话的方式或以另一种方式接收。图11B至图11F被示出为提供设备1100可如何对语音输入的不同部分作出反应的示例性实施方案。
在图11B处，设备1100经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150b。这里，此人已经说出短语“嘿，助理”。
如图11B所示，响应于接收到语音输入部分1150b，设备1100改变为活动状态(例如，唤醒状态、通电状态、显示器1102显示视觉内容的状态)，使得设备1100经由显示器1102显示视觉内容。在图11B中，设备1100显示多色的视觉内容(例如，视觉指示)(例如，灯)，其表示为显示器1102上的不同类型的盘(例如，图11B中1102的黑色盘、白色盘和图案化盘)。在图11B中，设备1100显示多色的视觉内容，因为设备1100尚未确定是否应将语音输入的一部分作为音频组播消息传输到一个或多个外部设备。
在图11C处，设备1100经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150c。这里，此人已经说出短语“组播”。
如图11C所示，响应于接收到语音输入部分1150c，设备1100保持活动状态。在图11C中，设备1100显示单色的视觉内容(例如，图11B中1102的黑色盘而不存在任何其他类型的盘)，因为设备1100已确定应将语音输入的一部分作为音频组播消息传输到一个或多个外部设备。这里，设备1100确定应将语音输入的该部分作为音频组播消息传输(例如，组播)，因为设备1100检测到指令短语(例如，“组播”)指示此人正在发布组播命令(例如，用于组播音频消息的命令)。
在图11D处，设备1100经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150d。这里，此人已经说出短语“什么音乐”。
如图11D所示，响应于接收到语音输入部分1150d，设备1100保持活动状态。在图11D中，基于确定应将语音输入的一部分作为音频组播消息传输到一个或多个外部设备，设备1100继续显示单色的视觉内容(例如，如上文关于图11C所述)。在一些实施方案中，设备1100确定应将语音输入的一部分传输到分配给住宅602的一个或多个设备(例如，出于与上文关于图7M至图7N所述类似的原因)。在一些实施方案中，设备1100基于语音输入的一部分是否基于语音输入对应于组标识符(例如，“住宅”、“客厅”、“娱乐区”、“到餐厅”)而被分配给一组设备来确定要将语音输入的一部分传输到的该一个或多个设备。
值得注意的是，当与图11C相比时，图11D中由设备1100显示的视觉内容的图案不同于图11C中由设备1100显示的视觉内容的图案。如图11C至图11D所示，设备1100经由显示器1102显示对此人的语音作出反应的不同视觉内容。换句话讲，由于“组播”和“什么音乐”是不同的短语，因此设备1100改变视觉内容的图案。在一些实施方案中，设备1100基于语音内容的该部分的速度、清晰度、音量、音高、音调和/或节奏(例如，节拍)来改变视觉内容的图案，使得语音内容的不同部分产生视觉内容的不同图案。在一些实施方案中，设备1100基于语音内容的该部分的速度、清晰度、音量、音高、音调和/或节奏(例如，节拍)来改变视觉内容的颜色饱和度、亮度、尺寸或位置。在一些实施方案中，设备1100不改变视觉内容的图案和/或不对人的语音作出反应。
在图11E中，设备1100继续经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150e。这里，此人已经说出短语“你想播放”。
如图11E所示，响应于接收到语音输入部分1150e，设备1100保持活动状态。在图11E中，基于确定应将语音输入的一部分传输到一个或多个外部设备，设备1100继续显示单色的视觉内容。此外，设备1100改变视觉内容的图案，因为语音输入部分1150e不同于语音输入部分1150d。
在图11F中，设备1100继续经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150f。这里，此人已经说出短语“在客厅中？”。
如图11F所示，响应于接收到语音输入部分1150f，设备1100保持活动状态。在图11F中，基于确定应将语音输入的一部分传输到一个或多个外部设备，设备1100继续显示单色的视觉内容。此外，设备1100改变视觉内容的图案，因为语音输入部分1150f不同于语音输入部分1150e。
在图11F处，设备1100检测图11B至图11F中接收的语音输入的结束。在图11F处，响应于检测到语音输入的结束，设备1100将语音输入的一个或多个部分作为音频组播消息发送到一个或多个外部设备。在一些实施方案中，音频组播消息包括1150c-1150d(例如，“你想在客厅中播放什么音乐？”)。在一些实施方案中，音频组播消息不包括语音输入部分1150b(“嘿，助理”)和/或1150c(“组播”)，因为确定语音输入部分1150b和/或1150c对应于语音输入的命令部分。在一些实施方案中，当输入包括对应于目标组标识符(例如，“住宅”或“客厅”)的部分时，目标组标识符(不是语音输入的对应于目标组标识符的部分)与音频组播消息(例如，作为纯文本)一起传输，但不由一个或多个外部设备作为音频输出。在一些实施方案中，由一个或多个外部设备输出的音频组播消息听起来像人声(是说出语音输入的人的录音的回放)，并且不是经由设备的计算机生成的语音。
如图11G所示，设备1100提供(例如，输出)输出1154g，该输出指示语音输入的一部分已被发送为对应于住宅602的目标组标识符(例如，如上文关于住宅位置标识符712所述的“123主街”)。当输出1154g时，由于确定应将(例如，在图11B至图11F中接收的)语音输入的一部分作为音频组播消息传输到一个或多个外部设备，设备1100显示单色的视觉内容。在一些实施方案中，在输出音频确认1154g时，设备1100显示多色视觉内容，无论该确定如何。
如图11H所示，设备1100改变为非活动状态。在图11I中，设备1100经由分配给住宅602的外部设备中的一个或多个外部设备接收对应于来自Jane的音频组播消息的数据。
如图11I所示，响应于接收到音频组播消息(并且未接收到(不依赖)用户输入)，设备1100提供输出1154i，该输出是前导音调或钟声。如图11J所示，在提供输出1154i之后，设备1100提供输出1154j，该输出对应于在图11I处接收的音频组播消息。
如图11I至图11J所示，在提供输出1150i和输出1150j时，设备1100显示单色的视觉内容。设备1100显示单色的视觉内容，因为设备1100正在输出音频组播消息。如图11I至图11J所示，设备1100还显示相同图案的视觉内容。因此，在如图11I至图11J中，设备1100不基于输出1150i和输出1150j的不同内容来改变视觉内容。在一些实施方案中，设备1100基于输出1150i和输出1150j的不同内容来改变视觉内容。在一些实施方案中，设备1100以设备1100的当前音量水平(例如，系统音量水平)提供输出11541150i和/或输出1150j。在一些实施方案中，以设备1100的音量水平提供输出1154i和/或输出1150j中的一者，而不以设备1100的音量水平提供另一者。在一些实施方案中，设备1100在一个时间段内接收多个音频组播消息，并且在播放音频组播消息中的每个音频组播消息之前输出相同(或不同)的前导音调。在一些实施方案中，设备1100在一个时间段内接收多个音频组播消息，并且在播放(例如，由目标组设备分组的)每组音频组播消息之前输出相同(或不同)的前导音调。
如图11J所示，由设备1100提供的音频消息说道：“Jane从住宅回复：放爵士乐怎么样？”。这里，由设备1100提供的音频消息包括目标标识符；在一些实施方案中，不包括目标标识符。
在图11K处，设备1100经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150k。这里，此人已经说出短语“嘿，助理，回复‘没问题’”。
如图11K所示，设备1100显示单色的视觉内容(例如，图11K中1102的黑色盘)，因为设备1100已确定应将语音输入部分1150k的一部分作为音频组播消息传输到一个或多个外部设备。在一些实施方案中，设备1100进行该确定，因为在设备1100提供了输出1150j(例如，图11J中接收的音频组播消息)之后预先确定的时间(例如，1秒、2秒、30秒、60秒)内接收到语音输入部分1150k。在一些实施方案中，设备1100进行该确定，因为语音输入部分1150k包括短语“回复”和/或在设备1100提供了输出1150j之后第二预先确定的时间量内包括短语“回复”。在一些实施方案中，第二预先确定的时间段大于第一预先确定的时间段。
如图11L所示，设备1100改变为非活动状态。
图11M至图11R示出了设备1100响应于接收到语音输入而显示视觉内容，该语音输入不包括要组播到一个或多个目标组设备的信息。
图11M至图11O示出了设备1100从站在设备1100前方的人接收语音输入。图11M至图11O中由设备1100接收的语音输入是“嘿，助理，在客厅中播放爵士音乐”。图11M至图11O中接收的语音输入可以自然说话的方式或以另一种方式接收。图11M至图11O被示出为提供设备1100可如何对语音输入的不同部分作出反应的示例性实施方案。
在图11M处，设备1100经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150m。这里，此人已经说出短语“嘿，助理”。如图11M所示，响应于接收到语音输入部分1150m，设备1100使用与上文在图11B中所述的那些技术类似的一种或多种技术改变为活动状态。此外，设备1100显示多色的视觉内容(例如，灯)，因为设备1100尚未确定是否应将语音输入的一部分作为音频组播消息传输到一个或多个外部设备。
在图11N处，设备1100经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150n。这里，此人已经说出短语“播放爵士音乐”。如图11N所示，响应于接收到语音输入部分1150n，设备1100显示多色的视觉内容(例如，灯)，因为设备1100尚未确定是否应将语音输入的一部分作为音频组播消息传输到一个或多个外部设备。
在图11O处，设备1100经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150o。这里，此人已经说出短语“在客厅中”。如图11O所示，响应于接收到语音输入部分1150o，设备1100显示多色的视觉内容(例如，灯)，因为设备1100尚未确定是否应将语音输入的一部分作为音频组播消息传输到一个或多个外部设备。
在图11M至图11O中，设备1100的视觉内容对语音输入无反应。在一些实施方案中，当设备1100尚未确定应将语音输入的一部分作为音频组播消息传输到一个或多个外部设备时，设备1100不改变视觉内容的图案。在一些实施方案中，无论该确定如何，设备1100都改变视觉内容的图案以对不同语音输入部分作出反应。
如图11P所示，设备1100提供(例如，输出)输出1154p，其指示设备1100现在正在播放爵士乐电台。当提供输出1154g时，由于确定不应将(例如，在图11M至图11O中接收的)语音输入的一部分作为音频组播消息传输到一个或多个外部设备，设备1100显示多色的视觉内容(例如，视觉指示)。在图11P中，设备1100仍输出爵士音乐。
如图11Q所示，在输出爵士音乐时，设备1100改变为非活动状态。
如图11R所示，设备1100经由设备1100的一个或多个麦克风从站在设备1100前方的人接收语音输入部分1150r。这里，此人已经说出短语“暂停”。如图11R所示，响应于接收到语音输入部分1150r，设备1100显示多色的视觉内容(例如，灯)，因为设备1100尚未确定应将语音输入的一部分(例如，已经确定不应将语音输入的任何部分)作为音频组播消息传输到一个或多个外部设备。在图11R处，响应于接收到“暂停”指令，设备1100还停止输出爵士音乐并暂停对应于爵士音乐的媒体。
图12是示出了根据一些实施方案的用于使用电子设备显示视觉指示的方法的流程图。方法1200在具有一个或多个麦克风、一个或多个扬声器和一个或多个显示设备的设备(例如，100、300、500、634、674、700、701、850)处执行。方法1200中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法1200提供了用于显示视觉指示的直观方式。该方法减轻了用户在确定给到设备的命令的类型时的认知负担，从而创建了一种更有效的人机界面。针对电池驱动的计算设备，使得用户能够更快且更有效地识别命令的类型节省了功率并增加了电池两次充电之间的间隔。
电子设备经由一个或多个麦克风接收(1202)语音输入(例如，1150a-1150r)。
电子设备显示(1204)语音输入的视觉指示(例如，经由1102显示的灯)，其中：根据确定语音输入(例如，1150b-1150f、1150r)的一部分对应于要传输到一个或多个设备(例如，和/或传输(例如，组播)到多个设备)的语音输入(例如，并且在一些实施方案中，语音输入的另一部分(例如，语音输入的不传输的一部分)对应于第一类型的命令(例如，发起用于将语音输入中的至少一些传输到多个外部设备的命令(例如，个人设备(例如，蜂窝电话)、外部附件设备(例如，智能家居附件设备(例如，智能(例如，智慧)灯泡、恒温器、门锁、开门器(例如，车库开门器)、扬声器、电视、电源插座、电源板、相机、电器(例如，冰箱、炉灶)))))，经由一个或多个显示设备显示(1206)视觉指示(例如，图11B至图11F、图11K中的1102)包括以第一组一个或多个颜色显示视觉指示；并且根据确定语音输入(例如，1150m-1150o、1150r)不包括将语音输入的任何部分传输(例如，组播指令)到其他设备(例如，输出语音输入的一部分，诸如通过其他设备(例如，多个其他设备)的扬声器)(例如，语音输入的另一部分是第二类型的命令)，经由一个或多个显示设备显示(1210)视觉指示(例如，图11M至图11O、图11R中的1102)包括以不同于第一组一个或多个颜色的第二组一个或多个颜色显示视觉指示。在一些实施方案中，第一类型的命令是发起用于将语音输入中的至少一些(例如，语音输入的要传输的部分)传输到多个外部设备的过程的命令。在一些实施方案中，将语音输入中的至少一些传输到多个设备使得该多个外部设备中的两个或更多个外部设备输出(例如，自动(例如，在没有居间用户输入的情况下)输出)语音输入中的一些。在一些实施方案中，多个外部设备包括不同类型(例如，个人设备、外部附件设备)的外部电子设备。在一些实施方案中，与第一组相关联的多个设备与最高级别位置(或目的地)(例如，第一类型的位置)(例如，住宅位置、企业、办公室(例如，作为最高级别位置的位置(例如，定义位于由最高级别位置的位置定义的区域和/或周边内的一个或多个位置(例如，子位置)和/或一个或多个区域(或区)的位置、位于位置层次结构的最高级别的位置、(例如，以编程方式)链接到一个或多个位置(例如，子位置)和/或一个或多个区域(或区)的位置)))相关联。在一些实施方案中，第一组设备可包括多个子组设备。在一些实施方案中，子组设备与子位置相关联或映射到子位置(例如，位于最高级别位置(例如，在最高级别位置的边界、区域内或周边；以及/或者(例如，由用户)定义、标识和/或(例如，以编程方式)链接到做高级别位置)的房间和/或最高级别位置中的区(例如，由最高级别位置内(例如，在最高级别位置的边界、区域内或周边，以及/或者(例如，由用户)定义、标识和/或链接)的两个或多个子位置定义的位置)(例如，在最高级别位置内包括客厅和餐厅的娱乐区、在最高级别位置内包括两个或多个卧室、客厅和浴室的个人区))。在一些实施方案中，第一用户界面是控制用户界面。在一些实施方案中，多个设备与多个子组设备相关联。在一些实施方案中，在经由一个或多个麦克风接收语音输入时继续显示视觉指示。在一些实施方案中，在经由一个或多个麦克风接收语音输入时最初显示视觉指示之后停止显示视觉指示。在一些实施方案中，第二类型的命令不是发起用于将语音输入中的至少一些传输到多个外部设备(例如，扬声器、个人设备(例如，蜂窝电话)的过程的命令。在一些实施方案中，在经由一个或多个麦克风接收语音输入时继续显示视觉指示。在一些实施方案中，在经由一个或多个麦克风接收语音输入时最初显示视觉指示之后停止显示视觉指示。当确定要将语音输入的一部分传输到一个或多个设备时，显示具有第一组颜色的视觉指示，这为用户提供了关于是否将在外部电子设备处回放语音输入的一部分的反馈，使得用户可以意识到其他人可能潜在地听到他们的话语。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。当确定用户的语音输入不包括要将语音输入的任何部分传输到其他设备的指令时，显示具有第二组一个或多个颜色(例如，不同于第一组一个或多个颜色)的视觉指示，这为用户提供了用户的话语将不会被其他外部设备处的个人听到的保证。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，请求电子设备检索信息(例如，检索信息，诸如天气、对一个或多个查询的回答)或改变电子设备的一个或多个状态(例如，改变音频状态(例如，接听/拨打电话、调节音量)、媒体回放的状态(例如，暂停、播放、快进、倒回、跳过、改组媒体)、开/关状态中的一者或多者)的语音输入(例如，1150m-1150o)是不包括将语音输入的任何部分传输到其他设备的指令的语音输入。
在一些实施方案中，对应于要传输到一个或多个设备的语音输入的语音输入(例如，1150b-1150f、1150k)包括(1208)一组设备的标识符(例如，位置、子位置、对应于组(“住宅”)或类别(例如，组内的“餐厅”、“客厅”、“日光室”)的位置)。在一些实施方案中，语音输入包括一组设备的标识符和将被传输到该组设备的音频消息。在一些实施方案中，不包括将语音输入的任何部分传输到其他设备的指令的语音输入(例如，1150m-1150o、1150r)不包括(1212)一组设备的标识符。在一些实施方案中，语音输入不包括一组设备的标识符，并且音频消息不被传输到该组设备。
在一些实施方案中，第一组一个或多个颜色(例如，图11C至图11F中的1102)是单色，并且第二组一个或多个颜色(例如，图11M至图11O中的1102)是多个颜色。在一些实施方案中，单色不包括在多个颜色中。当满足不同的规定条件时将不同的视觉效果应用于电子设备，这允许用户快速识别他们的话语是否将被传输并且由外部电子设备回放。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，作为以第一组一个或多个颜色显示视觉指示(例如，图11C至图11F中的1102)的一部分，电子设备显示动画(例如，图11C至图11F中的1102)(例如，灯的图案(例如，空间图案))，该动画在一个时间段(例如，1秒、5秒、10秒)内(例如，基于接收到语音输入的时间量)基于语音输入(例如，基于语音输入的输入参数(诸如，音量、音调和/或音高)的值的改变)而改变(例如，在尺寸、亮度、饱和度和/或位置上改变)。
在一些实施方案中，作为显示动画(例如，图11C至图11F中的1102)的一部分，电子设备基于语音输入的音量或音高中的一者或多者来改变(例如，增大或减小)视觉指示(例如，图11C至图11F中的1102)的亮度、尺寸、颜色饱和度或位置中的一者或多者。在一些实施方案中，随着语音输入的音量和/或音高增大/减小，视觉指示的亮度、尺寸、颜色饱和度中的一者或多者增大/减小。在一些实施方案中，随着语音输入的节奏(例如，节拍)加快/减慢，动画的节奏(例如，节拍)加快/减慢。在一些实施方案中，随着语音输入的音量和/或音高增大/减小，视觉指示占据显示设备的更多/更少的区域。更新视觉指示的视觉特征(例如，亮度、尺寸、颜色饱和度或位置)以反映用户的语音输入的改变(例如，语音输入的音量或音高的改变)，这为用户提供了关于用户的语音输入的各种特征的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，电子设备接收对应于用于回放的多个音频消息的数据。在一些实施方案中，对应于用于回放的多个音频消息的数据包括一组设备的标识符(例如，对应于组(“住宅”)或类别(例如，组内的“餐厅”、“客厅”、“日光室”)的位置)。在一些实施方案中，多个音频消息支持多个标识符，其中每个标识符对应于不同的组或类别。在一些实施方案中，响应于接收到对应于用于回放的多个音频消息的数据，电子设备输出前导音调(例如，1154i)(例如，叮铃或铃声、所有音频消息的前导音调或钟声)，然后输出多个音频消息中的每个相应音频消息(例如，并且然后输出一组设备的标识符)。在一些实施方案中，先输出标识符，然后输出对应于标识符(例如，该标识符识别目标组设备)的一组音频消息。在输出已被组播的不同音频消息之前输出相同的前导音调提醒接收人音频消息是组播类型的音频消息。提供改进的音频反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，电子设备接收对应于用于回放的音频消息(例如，音频组播消息)的数据。在一些实施方案中，对应于用于回放的音频消息的数据包括与一组设备相关联的标识符(例如，对应于组(“住宅”)或类别(例如，组内的“餐厅”、“客厅”、“日光室”)的位置)。在一些实施方案中，响应于接收到数据，电子设备在没有用户输入的情况下(例如，经由电子设备的扬声器)自动输出(例如，1154j)音频消息。在一些实施方案中，输出音频消息包括输出一组设备的标识符(例如，对应于组(“住宅”)或类别(例如，组内的“餐厅”、“客厅”、“日光室”)的位置)。
在一些实施方案中，响应于接收到数据，在输出音频消息之前显示第二视觉指示(例如，图11I中的1102)。在一些实施方案中，当音频消息是传输到多个设备(例如，一组设备)的音频消息时，第二视觉指示具有第一视觉外观(例如，颜色、尺寸、亮度)。在一些实施方案中，当音频消息是传输到电子设备而不传输到其他设备的音频消息时，第二视觉指示具有与第一视觉外观不同的第二视觉外观。
在一些实施方案中，电子设备接收对应于用于回放的音频消息(例如，音频组播消息)的数据。在一些实施方案中，对应于用于回放的音频消息的数据包括与一组设备相关联的标识符(例如，对应于组(“住宅”)或类别(例如，组内的“餐厅”、“客厅”、“日光室”)的位置)。在一些实施方案中，(例如，响应于用户请求而自动)输出音频消息。在一些实施方案中，在输出音频消息时，电子设备同时显示不基于音频消息的一个或多个特征(例如，音量、音高、音调、节奏(例如，节拍))而改变的视觉指示(例如，图11J中的1102)。
在一些实施方案中，基于电子设备的音量水平(例如，系统级音频水平)(例如，当前音量水平)来输出(例如，1154j)音频消息。在一些实施方案中，电子设备在显示视觉指示(例如，图11B至图11F中的1102)之前不显示视觉内容(例如，图11A中的1102)(例如，任何灯(例如，没有LED打开))。在一些实施方案中，在显示视觉指示之前，电子设备处于非活动显示状态(例如，LED不亮)。在一些实施方案中，在显示视觉指示时，电子设备处于活动显示状态(例如，一些LED亮)。当未接收到语音输入时，不显示视觉内容，这为用户提供了未接收到语音输入以及用户的任何话语都未被传输并且由其他外部设备回放的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，电子设备停止(1214)显示视觉指示(例如，图11G中的1102)，包括停止经由一个或多个显示设备显示视觉内容(例如，图11H中的1102)。在一些实施方案中，在停止显示视觉内容之后，电子设备处于非活动显示状态。当未接收到语音输入时，不显示视觉内容，这为用户提供了未接收到语音输入的视觉反馈，并且因为设备处于不活动状态而延长了设备的电池寿命。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，视觉指示(例如，图11G中的1102)不与另一视觉指示(例如，对应于与视觉指示所对应的状态或过程(例如，组播过程或用于发送/接收音频组播消息的过程)不同的状态或过程的视觉指示)(例如，或其他视觉内容)同时显示。一次仅提供一个视觉指示为用户清晰地提供了关于电子设备的状态以及用户的话语是否正在被传输并且由其他外部设备回放。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，视觉指示(例如，图11G中的1102))是灯指示(例如，1102中的LED)，该灯指示基于与电子设备通信的一个或多个应用程序(例如，在电子设备上执行的一个或多个应用程序或者向电子设备发送数据或从电子设备接收数据的一个或多个外部应用程序)的状态(例如，组播过程或用于发送/接收音频组播消息的过程、与电子设备的状态相关联的过程、与电子设备的状态相关联的过程的状态)来提供不同灯光。
需注意，上文相对于方法1200所述的过程(例如，图12)的详情也以类似方式适用于上文所述的方法。例如，方法1200任选地包括上文参考方法800和1000所述的各种方法的一个或多个特性。例如，计算机系统可以是相同的系统。又如，在方法800中发送的音频消息可以是在方法1000中接收的媒体。又如，在方法1200中传输的语音输入可与在方法1000中接收的媒体相同。为了简明起见，这些详情在下文中不再重复。
图13A至图13N示出了根据一些实施方案的用于管理外部设备的示例性电子设备和用户界面。这些附图中的用户界面用于示出下文所述的过程，包括图14中的过程。
图13A示出了显示用户界面710的电子设备700。在一些实施方案中，设备700可与如上(例如，在图7A至图7AH中)所述的住宅602相关(例如，与一个或多个网络通信或不通信，该一个或多个网络与住宅相关、定位在相对于住宅的物理位置处、与被分配给住宅的一个或多个设备交互等)。用户界面710是用于控制分配给住宅602的多个外部设备的用户界面。用户界面710包括住宅位置标识符712、宏控件716、外部设备控件718、导航控件722、住宅组播指令724和住宅组播示能表示726(例如，可选用户界面对象)，它们具有一个或多个特征并且可以如上关于图7A至图7AH所述的方式进行响应。
用户界面710还包括状态指示符1314。状态指示符中的每个状态指示符包括关于当前分配给住宅602的设备中的一些设备(例如，上面已关于图6描述了其中的一些设备)的当前状态的信息。如图13A所示，状态指示符1314包括一氧化碳状态指示符1314a、警报状态指示符1314b、账户错误状态指示符1314c、更新可用状态指示符1314d和定时器状态指示符1314e的一部分(分别从左到右)。一氧化碳状态指示符1314a指示一个或多个一氧化碳检测器或传感器已检测到住宅602中存在一氧化碳，并且因此，该一个或多个一氧化碳检测器或传感器处于一氧化碳检测状态，例如，警报“打开”状态，检测一氧化碳泄漏。警报状态指示符1314b指示与住宅602相关的一个或多个警报已被触发，并且因此该一个或多个警报处于活动状态，例如，触发或警报状态。账户错误状态指示符1314c指示设备700当前具有与住宅602相关联的账户的问题，诸如设备700当前未登录到与住宅602相关联的账户，或者设备700具有连接到分配给住宅602的一个或多个已知外部设备的问题。更新可用状态指示符1314d指示更新的软件可用于安装在一个或多个外部设备和/或设备700(例如，包含对应于住宅应用程序的一个或多个功能的软件)上。定时器状态指示符1314e指示一个或多个定时器当前处于活动状态。此外，定时器状态指示符1314e指示至少一个定时器(或多个定时器的总时间的总和)处于自定时器(或多个定时器)初始设置的时间起过去约0％的时间的状态。具体地讲，该状态由剩余时间指示1314e1表示，其覆盖定时器状态指示符1314e的周边的大约100％。
每个状态指示符包含与状态指示符(例如，一氧化碳状态指示符1314a)相关联的名称(例如，“一氧化碳”)，并且可与至少一个特定视觉特征(例如，颜色(例如，红色、灰色等)、图案、形状等)一起显示。在一些实施方案中，状态指示符中的一个或多个状态指示符包括处于由状态指示符表示的状态(例如，活动、警报或需要注意)的特定类型的设备(例如，一氧化碳检测器或传感器)的数量的表示。每个状态指示符还可包括状态指示符的状态的快速视觉表示。
在图13A中，每个状态指示符在特定状态指示符类别内(例如，包括在特定状态指示符类别内、作为特定状态指示符类别的一部分或属于特定状态指示符类别)，并且基于相应状态指示符中的每个相应状态指示符所对应的相应状态指示符类别依次序显示状态指示符。在图13A中，状态指示符的特定状态指示符类别表示状态指示符的紧急性(或重要性)。在一个状态指示符类别内的状态指示符可具有一个或多个特征，该一个或多个特征不同于在不同状态指示符类别内的状态指示符的一个或多个特征。如图13A所示，一氧化碳状态指示符1314a和警报状态指示符1314b属于第一状态指示符类别(例如，最紧急类别、警报类别)，并且以第一颜色(例如，红色，如竖直阴影线所示)显示。在一些实施方案中，第一状态指示符类别指示应尽快寻址与特定状态指示符相关联的外部设备。接下来，在图13A中，账户错误状态指示符1314c和更新可用状态指示符1314d属于第二状态指示符类别(例如，第二最紧急类别，即没有第一状态指示符类别那么紧急的状态指示符类别、需要动作的类别)，并且以与属于第一类别的状态指示符的颜色不同的颜色(例如，如没有阴影线所示)显示。在图13A中，定时器状态指示符1314e属于第三状态指示符类别(例如，第三最紧急类别，即没有第二状态指示符类别那么紧急的状态指示符类别)。定时器状态指示符1314e包括与对应于定时器状态指示符1314e的定时器状态相关的一个或多个动态元件(例如，剩余时间指示1314e1)。在一些实施方案中，实时更新一个或多个动态元件(例如，剩余时间指示1314e1)(例如，如下面参考图13B进一步解释的)。在一些实施方案中，属于第一状态指示符类别和/或第二状态指示符类别的状态指示符不具有与一个或多个外部设备的对应于相应状态指示符的特定状态相关的一个或多个动态元件。
在一些实施方案中，当确定将需要显示新状态指示符时，设备700将在与新状态指示符属于相同状态指示符类别的状态指示符之后(或之前或之中)显示新状态指示符。例如，当确定应显示新状态指示符并且新状态指示符属于第二状态指示符类别时，设备700在更新可用状态指示符1314d和定时器状态指示符1314e之间显示新状态指示符(例如，而不是在所有显示的状态指示符1314的开始和/或结束处增补新状态指示符)。因此，新状态指示符显示在设备700上与状态指示符的紧急性相关的位置处，以允许用户基于与其他显示的状态指示符的相关紧急性相比的新状态指示符的相关紧急性来识别新状态指示符和/或与新状态指示符交互。在图13A中，设备700在对应于状态指示符1314的位置处检测手势1350a。
在图13B处，设备700确定手势1350a是向左轻扫手势。如图13B所示，因为设备700已确定手势1350a是轻扫手势，所以如果存在比可以在设备700上(例如，在与状态指示符1314相同的区域内)显示的状态指示符更多的状态指示符，则设备700同时显示附加状态指示符。具体地讲，设备700将先前在图13A上显示的状态指示符1314(例如，沿手势1350a的方向)向左移动，使得一氧化碳状态指示符1314a、警报状态指示符1314b和账户错误状态指示符1314c停止显示，更新可用状态指示符1314d和定时器状态指示符1314e已分别替换一氧化碳状态指示符1314a和警报状态指示符1314b，并且在图13B中新显示气候状态指示符1314f、门锁状态指示符1314g和灯状态指示符1314h的一部分。
如图13B所示，定时器状态指示符1314e包括动态元件，即剩余时间指示1314e1。当查看图13A至图13B时，剩余时间指示1314e1(例如，不是响应于用户输入而是响应于时间流逝)从图13A中围绕定时器状态指示符1314e的周边约100％移动到图13B中围绕定时器状态指示符1314e的周边约75％，因为定时器在图13A中的13分钟处开始并运行直到图13B中剩下大约10分钟。
在图13B中，气候状态指示符1314f属于第三状态指示符类别中，该第三状态指示符类别与如上面关于图13A所讨论的定时器状态指示符1314e所属的状态类别相同。气候状态指示符1314f表示对应于多个不同类型的外部设备(例如，空气质量传感器、温度、湿度传感器)的状态的状态指示符。气候状态指示符1314f指示由一个或多个气候控制设备(或者其中设置一个或多个气候控制设备)检测到的平均温度为68度，由一个或多个湿度传感器检测到的平均湿度为40％，并且由一个或多个空气质量传感器检测到的平均空气质量为良好。此外，状态指示符1314f还指示恒温器控件正在使得加热系统被激活(例如，房间正在由恒温器控件正在控制的设备加热)，这由状态指示1314f上的向上箭头指示。在一些实施方案中，当状态指示符1314f包括向下指向的箭头时，状态指示符1314f指示恒温器控件正在使得空调系统被激活(例如，房间正在由恒温器控件正在控制的设备冷却)。在一些实施方案中，当状态指示符1314f包括虚线时，状态指示符1314f指示恒温器控件未使得空调系统或加热系统被激活(例如，检测到房间正处于恒温器所设置的指定温度)。在图13B中，设备700在对应于状态指示符1314的位置处检测手势1350b。
在图13C处，设备700确定手势1350b是向左轻扫手势。如图13C所示，因为设备700已确定手势1350b是轻扫手势，所以设备700显示附加状态指示符。具体地讲，设备700将先前在图13B上显示的状态指示符1314向左移动，使得更新可用状态指示符1314d、定时器状态指示符1314e和气候状态指示符1314f停止显示，门锁状态指示符1314g、灯状态指示符1314h已经向左滑动，并且在图13C处新显示开窗状态指示符1314i、门传感器状态指示符1314j和运动传感器状态指示符1314k。在确定手势1350b是向右轻扫手势的实施方案中，设备700将状态指示符向右移动以显示先前显示的状态指示符中的一个或多个状态指示符(例如，图13A中显示的一氧化碳状态指示符1314a、警报状态指示符1314b)。
在图13C中，门锁状态指示符1314g、灯状态指示符1314h和开窗状态指示符1314i属于第四状态指示符类别(例如，第四最紧急类别，即没有第三状态指示符类别那么紧急的状态指示符类别、快速动作状态指示符类别)。虽然如上所述，某些状态类型的类别是预定义的，但在一些实施方案中，可经由一个或多个用户输入指定特定类型的状态指示符的类别。在一些实施方案中，设备700显示用于特定类型的设备(例如，灯)和/或特定类型的状态指示符的一个或多个设置，该一个或多个设置允许用户设置与特定类型的设备和/或特定类型的状态指示符(例如，最重要、第二最重要、第三最紧急等)相关的状态指示符的状态类别。
属于第四状态指示符类别的状态指示符指示处于特定状态的特定类型的外部设备的数量。例如，如图13B所示，门锁状态指示符1314g指示两个门锁处于解锁状态。又如，在图13C中，灯状态指示符1314h指示五个灯处于活动(或打开)状态，并且开窗状态指示符1314i指示七个百叶窗(例如，窗帘、遮光板)处于打开状态。值得注意的是，属于第四状态指示符类别的状态指示符排除关于处于不同状态的相同类型的设备的信息。例如，分配给住宅602的客厅桌灯关闭(例如，如客厅桌灯控件718g所指示的)。在图13C中，灯状态指示符1314h不包括关于客厅桌灯的信息，因为客厅桌灯关闭(如下文相对于图13D至图13F进一步详细解释的)。
图13C至图13H示出了由设备700检测到的指向状态指示符(例如，属于第四状态指示符类别的状态指示符)的不同手势。具体地讲，图13C至图13H示出了指向灯状态指示符1314h的不同手势。然而，如本文所述，类似的技术可应用于指向其他状态指示符(诸如门锁状态指示符1314g和开窗状态指示符1314i)的手势。在图13C处，设备700检测指向灯状态指示符1314h(例如，在灯状态指示符上、在对应于灯状态指示符的位置处)的手势1350c。
在图13D处，设备700确定手势1350c是按压并保持手势(例如，检测到持续超过预先确定的时间段的手势)。如图13D所示，因为设备700已确定手势1350c是按压并保持手势，所以设备700显示用户界面1340(例如，不同于在确定手势1350b是轻扫手势时显示附加状态指示符)。如图13D所示，用户界面1340已经替换了先前在图13C中显示的用户界面710。
如图13D所示，用户界面1340包括用于分配给住宅602的灯(例如，照明设备)的外部设备控件718，因为灯状态指示符1314h指示分配给住宅602的一个或多个灯的状态。如图13D所示，显示在用户界面1340上的外部设备控件718以每个相应外部设备控件被分配给的房间或住宅602的一部分(例如，“卧室”、“餐厅”、“客厅”、“门廊”)排列。例如，卧室灯控件718f和卧室夜灯控件718h被分配给住宅602的卧室(例如，602c)并且显示在用户界面1340上“卧室”标题下方，餐厅灯控件718i被分配给住宅602的餐厅(例如，602b)并且显示在用户界面1340上“餐厅”标题下方，客厅灯控件718b和客厅桌灯控件718g被分配给住宅602的客厅(例如，602d)并且显示在用户界面1340上“客厅”标题下方，并且门廊灯控件718j被分配给住宅602的门廊并且显示在用户界面1340上“门廊”标题下方。
值得注意的是，如图13D所示，卧室灯控件1718f、卧室夜灯控件718h、餐厅灯控件718i、客厅灯控件718b和门廊灯控件718j各自指示它们所对应的相应设备(例如，灯泡)打开或激活。换句话讲，对应于卧室灯控件1718f、卧室夜灯控件718h、餐厅灯控件718i、客厅灯控件718b和门廊灯控件718j的设备打开并且指示如图13C中的灯状态指示符1314h所示的“五个灯打开”指示中的一个灯。此外，当查看灯状态指示符1314h时，不存在对第六灯的指示和/或第六灯的状态，尽管在用户界面1340上示出了六个灯。即使仅五个灯打开或活动并且在灯状态指示符1314h中被识别，但住宅可具有与住宅相关联的更多灯，例如不活动或关闭的灯。在一些具体实施中，在显示灯的详细状态时，用户界面1340显示所有灯的详细状态。在图13D中，客厅桌灯被显示为具有与其他灯不同的视觉指示(例如，指示客厅桌灯控件718g关闭)。在一些实施方案中，用户界面1340不包括图13D上的客厅桌灯控件718g，因为客厅桌灯不处于由图13C中的灯状态指示符1314h表示的其他灯控件的相同状态。在一些实施方案中，当用户界面1340不包括图13D中的客厅灯控件718g时，响应于接收到客厅桌灯的状态已改变为打开(例如，当有人物理地打开客厅桌灯时)或由灯状态指示符1314h表示的其他灯控件的相同状态的指示，设备700可在用户界面1340上显示客厅灯控件718g。在图13D中，设备700检测指向卧室灯控件718f的轻击手势1350d。
在图13E处，响应于检测到轻击手势1350d，设备700传输使得卧室灯632改变状态(例如，关闭)的指令并且更新卧室灯控件718f的视觉外观。如图13E所示，卧室灯控件718f指示对应于卧室灯控件718f的卧室灯(例如，卧室灯632)关闭，例如处于非活动状态，而不是打开，例如处于如图13D所示的活动状态。值得注意的是，在图13D至图13E处用户界面1340上显示的其他灯控件未改变。响应于检测到轻击手势1350d，设备700发送使得卧室灯632改变状态而不使得由其他灯控件表示的其他灯改变状态的指令。因此，用户界面1340允许用户使得由每个相应控件表示的每个设备单独地执行动作(例如，改变设备的状态)而不使得其他设备执行该动作。在图13E中，设备700检测指向完成示能表示1342的轻击手势1350e。
如图13F所示，响应于检测到轻击手势1350e，设备700停止显示用户界面1340并且重新显示具有状态指示符1314的用户界面710。如图13F所示，灯状态指示符1314h被更新以反映住宅602中四个灯打开，而不是如图13C中的灯状态指示符1314h所指示的五个灯打开。因此，一些状态指示符被更新以指示当前处于特定状态的设备的数量(例如，设备是否已经从该特定状态改变或者设备是否已经改变为该特定状态)。此外，在图13F中，在用户界面710上卧室灯控件718f也已经改变以反映卧室灯关闭，而显示在用户界面710上的其他灯控件(例如，客厅灯控件718b和客厅桌灯控件718g)与它们如图13C所示的相应外观相比没有改变。因此，响应于设备700检测到指向经由用户界面1340显示的设备控件的手势(例如，手势1350d)，显示在用户界面710上的设备控件也被更新。在图13F中，设备700检测指向灯状态指示符1314h的手势1350f。
在图13G处，设备700确定手势1350f是轻击手势(例如，检测到持续小于预先确定的时间段的手势、不同于手势1350a-1350c的手势)。在图13G中，因为设备700已确定手势1350f是轻击手势，所以设备700传输使得在图13F中由灯状态指示符1314h指示为打开的四个灯关闭(或改变状态)的指令。因此，在图13G中，卧室夜灯控件718h、餐厅灯控件718i、客厅灯控件718b和门廊灯控件718j关闭。如图13G所示，因为设备700已确定手势1350f是轻击手势，所以设备700改变灯状态指示符1314h的视觉外观(例如，与图13F中没有阴影线相比，由图13G中新引入的阴影线示出)，并且更新灯状态指示符1314h以指示四个灯已关闭。值得注意的是，如图13G所示，客厅灯控件718b和客厅桌灯控件718g也改变为指示其相应的对应设备已关闭。因此，在图13G处，设备700响应于状态指示符上的单个手势(例如，轻击)而改变多个设备(例如，分配给不同房间的设备)的状态，这不同于设备700响应于外部设备控件上的相同类型的手势(例如，轻击)而仅改变一个设备的状态(例如，如上文关于图13D中的手势1350d所述的)。此外，在图13G处，设备700通过执行相同动作(例如，打开灯、锁定门、关闭百叶窗)来使得多个设备改变状态，该相同动作基于由轻击手势指向的状态指示符指示的设备类型(例如，灯、门锁、百叶窗调节器)。如图13G所示，因为图13H中的手势1350f是指向灯状态指示符1314h的轻击手势，所以设备700不改变其他状态指示符的状态，不传输使得对应于其他状态指示符的其他设备改变状态的指令，并且保持其他状态指示符的外观(例如，当与图13F至图13G比较时)不变。
在图13H中，设备700确定自检测到手势1350f以来已经过去预先确定的时间段，而设备700未检测到指向灯状态指示符1314h的另一手势。如图13H所示，因为确定自检测到手势1350f以来已经过去预先确定的时间段，所以设备700停止显示灯状态指示符1314h并且将开窗状态指示符1314i、门传感器状态指示符1314j和运动传感器状态指示符1314k向左移动，以便填充先前由灯状态指示符1314h占据的空间。例如，开窗状态指示符1314i与图13G中的灯状态指示符1314h相邻，并且开窗状态指示符1314i占据由图13H中的灯状态指示符1314h腾出的位置。因为状态指示符中的一些状态指示符已向左移位，所以新显示附加状态指示符，即光传感器状态指示符1314k。门传感器状态指示符1314j、运动传感器状态指示符1314k和光传感器状态指示符1314k属于第五状态指示符类别(例如，最五最紧急类别，即没有第四状态指示符类别那么紧急的状态指示符类别、传感器状态指示符类别)。门传感器状态指示符1314j指示分配给住宅602的门传感器已检测到门半开。运动传感器状态指示符1314k指示分配给住宅602的一个或多个运动传感器已检测到运动。光传感器状态指示符1314l指示分配给住宅602的一个或多个门传感器已检测到一个或多个门打开。在一些实施方案中，当在预先确定的时间段过去之前检测到指向灯状态指示符1314h的手势时，设备700传输使得四个灯改变回打开状态的指令，并且更新灯状态指示符1314h以指示四个灯打开(例如，如图13F所示)。这种在与状态指示符相关联的附件已经从紧急或活动状态改变之后的预先确定的时间段内仍可查看状态指示符的能力为用户提供了容易地撤消附件的状态改变的机会。在一些实施方案中，当在预先确定的时间段过去之前检测到指向灯状态指示符1314h的手势时，设备700保持灯状态指示符1314h的显示，无论在接收到附加手势之前经过的时间量多少。在这些实施方案中的一些实施方案中，设备700保持灯状态指示符1314h的显示，因为灯状态指示符1314h正在指示灯中的一个或多个灯返回到初始状态，该初始状态是当灯状态指示符1314h首次显示在用户界面710上时(例如，在图13B中)该一个或多个灯所处的状态。在图13H处，设备700在房间导航控件722b上检测轻击手势1350h。
如图13I所示，响应于检测到轻击手势1350h，设备700显示住宅应用程序的用户界面1360并且指示选择房间导航控件722b被选择(例如，如粗体所示)。用户界面1360是用于控制分配给如卧室标识符1368所指示的卧室602c的多个外部设备的用户界面。在一些实施方案中，设备700可使用如上文关于显示图7G的用户界面760所述的一种或多种技术，以便显示图13I的用户界面1360。在一些实施方案中，用户界面1360可另选地响应于检测到图7F中的轻击手势750f3而被显示，并且/或者用户界面760可另选地响应于检测到图13H中的轻击手势1350h而被显示。
如图13I所示，用户界面1360包括比图13A至图13C以及图13F至图13H中显示的状态指示符减少的一组状态指示符。用户界面1360包括减少的一组状态指示符，因为确定用户界面1360上显示的相应状态指示符对应于分配给卧室602c的至少一个设备。换句话讲，当显示用于控制分配给卧室602c的多个外部设备的用户界面1360时，设备700停止显示不对应于分配给卧室602c的至少一个设备的状态指示符。
如图13I所示，减少的一组状态指示符包括一氧化碳状态指示符1314a、气候状态指示符1314f和开窗状态指示符1314i。值得注意的是，图13I的气候状态指示符1314f指示与分配给卧室的恒温器相关的温度，但不指示图13B的气候状态指示符1314f所指示的湿度和/或空气质量信息。这里，图13I的气候状态指示符1314f不指示湿度和/或空气质量信息，因为没有湿度和空气质量传感器被分配给卧室。然而，图13I的气候状态指示符1314f指示与恒温器控件相关的温度，因为至少一个恒温器被分配给卧室。此外，图13I的状态指示符1314f还继续指示(例如，当与图13B的1314f相比时)恒温器控件正在使得加热系统被激活(例如，房间正在由恒温器控件正在控制的设备加热)，这由图13I的状态指示1314f上的向上箭头指示。因此，当导航到对应于住宅602的不同部分或房间的用户界面时，对应于相同类型的多个设备的状态指示符可停止显示关于这些类型中的一个或多个类型的设备的信息。此外，图13I的开窗状态指示符1314i已改变为指示一扇窗打开，而不是如图13H所示指示七扇窗打开。图13I的开窗状态指示符1314i已改变为指示一扇窗打开，因为仅一扇卧室窗具有分配给卧室602c的百叶窗调节器设备。在图13I处，设备700检测指向开窗状态指示符1314i的按压并保持手势1350i。
如图13J所示，响应于检测到按压并保持手势1350i，设备700显示包括百叶窗可调节控件1318i的用户界面1370。在图13J中，设备700在百叶窗可调节控件1318i上检测手势1350j(向下轻扫手势)。如图13K所示，响应于检测到手势1350j，设备700向分配给卧室602c的百叶窗调节器设备传输指令，该指令使得百叶窗调节器从100％打开(如图13J的指示1372所示)改变为58％打开(例如，如图13K的指示1372所示)。
值得注意的是，在图13J中，设备700显示百叶窗可调节控件1318i，其中对百叶窗可调节控件1318i的选择将百叶窗调节器设备的状态改变为：与由百叶窗可调节控件1318i指示的状态(例如，“打开”，100％打开)不同的状态以及与由百叶窗可调节控件1318i指示的状态(例如，“打开”)相反的状态(例如，“关闭”，0％打开)。因此，对百叶窗可调节控件1318i的选择允许用户将百叶窗调节器设备改变为与该状态不同的状态，其中用户可通过图13I中指向开窗状态指示符1314i的轻击手势来改变百叶窗调节器设备。在一些实施方案中，当图13I的开窗状态指示符1314i指示多于预先确定数量的设备时，设备700显示与图13D的用户界面1340类似的用户界面。因此，当图13I的窗状态指示符1314i指示多于预先确定数量的设备时，显示控制多个设备的多个控件，并且对相应控件中的一个控件的选择使得设备改变为相反状态(例如，开/关状态、打开/关闭状态、锁定/解锁状态)。在一些实施方案中，设备700显示允许用户在状态指示符指示少于预先确定数量的设备时比指示多于预先确定数量的设备时对一个或多个设备具有更多(或不同)控制的控件。在一些实施方案中，与在状态指示符指示多于预先确定数量的设备处于特定状态时显示用于特定设备的控件数量相比，当状态指示符指示少于预先确定数量的设备并且在状态指示符上检测到轻击并保持手势时，设备700显示更多的用于控制特定设备的控件。
图13L至图13N示出了响应于检测到指向其他状态指示符的手势而显示的示例性用户界面。在一些实施方案中，指向其他状态指示符的手势可以是与手势1350c相同类型的手势(例如，按压并保持手势)或与手势1350f相同类型的手势(例如，轻击手势)以显示图13L至图13N的用户界面。因此，在一些实施方案中，设备700响应于检测到任一类型的手势(例如，按压并保持手势或轻击手势)而显示图13L至图13N的相应用户界面。
图13L示出了显示用户界面1382的设备700。响应于设备700检测到指向图13A的一氧化碳状态指示符1314a的手势，显示用户界面1370。如图13L所示，用户界面1382包括外部设备控件718，其中每个外部设备控件指示分配给住宅602的一氧化碳设备的状态。如用户界面1382所示，卧室一氧化碳传感器被触发(例如，如卧室一氧化碳控件718k所指示)，并且厨房一氧化碳传感器和客厅一氧化碳传感器未被触发(如一氧化碳控件718l-718m所指示)。因此，响应于设备700检测到指向属于除第四状态指示符类别之外的状态指示符类别的状态指示符(例如，一氧化碳状态指示符1314a)的手势，设备700显示对应于相应类别的状态指示符的特定类型的设备控件，其中设备控件具有指示对应于相应控件的设备所处的状态的一个或多个视觉外观。在一些实施方案中，使用与上文关于图13D至图13E所述的那些技术类似的技术来显示用户界面1370。
图13M示出了显示用户界面1384的设备700。响应于设备700检测到指向图13B中的气候状态指示符1314f的手势，显示用户界面1384。如图13L所示，用户界面1384包括对应于多种类型的设备的控件，因为气候状态指示符1314f指示多种类型的设备的状态(例如，如上文关于图13B所述)。例如，在图13L中，用户界面1384包括用于控制恒温器设备的控件(例如，卧室恒温器控件718n和客厅恒温器控件718r)、用于控制空气质量传感器的控件(例如，厨房空气质量传感器控件718o和客厅空气质量传感器控件718r)以及用于控制湿度传感器的控件(例如，厨房湿度传感器控件718p)。
图13N示出了显示用户界面1386的设备700。响应于设备700检测到指向图13H中的运动传感器状态指示符1314k的手势，显示用户界面1386。如图13N所示，用户界面1386包括对应于分配给住宅602的运动传感器的控件。使用与上文关于图13D至图13E和图13L所述的那些技术类似的技术来显示用户界面1386。
图14是示出了根据一些实施方案的用于使用计算机系统管理外部设备的方法的流程图。方法1400在与显示生成部件(例如，显示器)和一个或多个输入设备(例如，触敏显示器屏幕)通信的计算机系统(例如，100、300、500、634、674、700、701、850)处执行。方法1400中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法1400提供了用于管理外部设备的直观方式。该方法减少了用户管理外部设备的认知负担，从而创建了一种更有效的人机界面。对于电池驱动的计算设备，使得用户能够更快更有效地识别设备状态并且增加了电池两次充电之间的时间间隔。
计算机系统经由显示生成部件显示(例如，1402)第一状态指示符(例如，1314g、1314h、1314i)(例如，作为显示第一用户界面(例如，用于控制一组附件设备的用户界面)的一部分，该第一用户界面包括(例如，包括显示))，该第一状态指示符指示(例如，图形表示和对应文本(例如，2个灯泡打开))第一附件设备类型的多个附件设备(例如，灯泡、窗、开关、插座、锁(例如，门锁、窗锁)、电视机)处于第一状态(例如，开、关、打开、关闭、锁定、解锁)。第一附件类型的多个附件设备包括：第一附件设备(1404)，该第一附件设备属于第一附件类型并且处于第一状态；和第二附件设备(1406)，该第二附件设备属于第一附件类型并且处于第一状态，其中该第二附件设备不同于该第一附件设备。在一些实施方案中，第一状态指示符不指示未处于第一状态(例如，处于第二状态)的第一附件类型的附件设备(例如，第一状态指示符(例如，在被选择时)不指示或控制未处于第一状态(例如，处于第二状态)的第一附件类型的一个或多个设备)。在一些实施方案中，第一状态指示符不指示附件类型不是第一附件类型的附件设备，无论附件类型不是第一附件类型的附件设备的当前状态如何。
计算机系统在显示第一状态指示符时，计算机系统(例如，经由一个或多个输入设备)检测(1408)手势(例如，1350a-1350c、1350f)。
响应于(1410)检测到手势并且根据确定该手势是第一类型的手势(例如，1350f)(例如，轻击手势)并且指向第一状态指示符(例如，1350h)(例如，在第一状态指示符上、在对应于第一状态指示符的位置处)，计算机系统使得(1412)(例如，经由发起过程(并且在一些实施方案中，过程包括将一个或多个指令传输到一个或多个设备(例如，服务器、与多个设备包括第一附件设备和第二附件设备通信的集线器设备、第一附件设备、第二附件设备)))第一附件设备(例如，执行改变第一附件设备的状态的动作)和第二附件设备(例如，执行改变第二附件设备的状态的动作)改变为与第一状态不同(例如，相反(例如，开/关、锁定/解锁、打开/关闭))的第二状态。在一些实施方案中，作为使得第一附件设备和第二附件设备处于第二状态的一部分，计算机系统(例如，在检测到手势之前)不使得处于第二状态(或不同于第一状态的任何状态)的一个或多个附件设备执行任何动作和/或改变状态。
响应于(1410)检测到手势并且根据确定该手势是不同于第一类型的手势的第二类型的手势(例如，1350c)(例如，长按压手势)并且指向第一状态指示符(例如，1314h)，计算机系统经由显示生成部件显示(1414)对应于第一附件设备的第一附件控制用户界面对象(例如，718b、718f-718j)(例如，作为显示第二用户界面的一部分)，其中对该第一附件控制用户界面对象的选择(例如，1350d)(例如，经由作为第一类型的手势(例如，轻击手势)的手势)使得(例如，经由发起过程(并且在一些实施方案中，过程包括将指令传输到一个或多个设备(例如，服务器、与多个附件设备(包括第一附件设备和第二附件设备)通信的集线器设备、第一附件设备(而不是第二附件设备))))第一附件设备(例如，执行改变第一附件设备的状态的动作)改变为第二状态而不使得第二附件设备改变为第二状态(例如，在完成使得第一附件设备处于第一状态之后，第二附件设备继续处于第一状态)。在一些实施方案中，在显示对应于第一附件设备的第一附件控制用户界面对象时，计算机系统检测指向第一附件控制用户界面对象的手势(例如，指向第一附件控制用户界面对象的第一类型的手势)；并且响应于检测到指向第一附件控制用户界面对象的手势，计算机系统使得第一附件设备(例如，执行改变第一附件设备的动作)处于第二状态而不使得第二附件设备处于第二状态(例如，在完成使得第一附件设备处于第一状态之后，第二附件设备继续处于第一状态)。在一些实施方案中，响应于检测到指向第一状态指示符的手势并且根据确定该手势是不同于第一手势的第二手势(例如，长按压手势)，计算机系统经由显示生成部件显示对应于第三附件设备的第三附件控制用户界面对象，其中第三附件设备属于第一附件设备类型并且不处于第一状态(例如，处于第二状态)；并且响应于检测到指向第三附件控制用户界面对象的手势，计算机系统使得第三附件设备处于第一状态(例如，执行改变第三附件设备的动作)而不改变第一附件设备和第二附件设备的状态(例如，不使得第一附件设备和第二附件设备处于第二状态)。在一些实施方案中，第二用户界面不包括对应于不是第一类型(例如，不同于第一附件类型的第二附件类型)的附件设备的附件控制用户界面对象(例如，或任何附件控制用户界面对象)。在一些实施方案中，响应于检测到指向第一状态指示符的手势并且根据确定该手势是不同于第一手势的第二手势(例如，长按压手势)，计算机系统不显示附件类型与经由第二用户界面显示的第一附件类型不同的附件控制用户界面对象。在一些实施方案中，响应于检测到指向第一状态指示符的手势并且根据确定该手势是不同于第一手势的第二手势(例如，长按压手势)，计算机系统停止显示第一状态指示符。当手势指向第一状态指示符时，基于检测到的手势的类型来执行不同的操作，这为用户提供了更多的控制选项，而不会使用户界面杂乱。提供对该系统的附加控制而不由于附加显示的控件使UI杂乱增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。使得第一附件设备和第二附件设备改变为不同于第一状态的第二状态为用户提供了使得多个设备改变状态的一个控件，这减少了使得多个设备改变状态所需的输入的数量。减少执行操作所需的输入数量增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，根据确定手势是不同于第一类型的手势的第二类型的手势(例如，1350c)并且指向第一状态指示符(例如，1314h)，计算机系统经由显示生成部件显示并且在显示第一附件控制用户界面对象(例如，718b、718f-718j)的同时显示对应于第二附件设备的第二附件控制用户界面对象(例如，718b、718f-718j)。在一些实施方案中，对第二附件控制用户界面对象的选择(例如，经由作为第一类型的手势(例如，轻击手势)的手势)使得(例如，经由过程(并且在一些实施方案中，过程包括将指令传输到一个或多个设备(例如，服务器、与多个附件设备(包括第一附件设备和第二附件设备)通信的集线器设备、第二附件设备(而不是第一附件设备))))第二附件设备改变为第二状态而不使得第一附件设备改变为第二状态。在一些实施方案中，在显示对应于第二附件设备的第二附件控制用户界面对象时，计算机系统检测指向第一附件控制用户界面对象的手势(例如，指向第一附件控制用户界面对象的第一类型的手势)；并且响应于检测到指向第二附件控制用户界面对象的手势，计算机系统使得第二附件设备(例如，执行改变第二附件设备的动作)处于第二状态而不使得第一附件设备处于第二状态(例如，在完成使得第二附件设备处于第一状态之后，第一附件设备继续处于第一状态)。在一些实施方案中，响应于检测到指向第二附件控制用户界面对象的手势，将第二附件控制用户界面对象从具有第一视觉外观(例如，文本、尺寸、颜色、受按压状态(例如，不受按压、受按压)修改为不同于第一视觉外观的第二视觉外观(例如，文本、尺寸、颜色、受按压状态(例如，不受按压、受按压)。在显示对应于第一附件设备的第一附件控件的同时显示对应于第二附件设备的第二附件控制用户界面对象(例如，根据确定手势是不同于第一类型的手势的第二类型的手势并且指向第一状态指示符)，为用户提供了更多的控制选项以控制各个附件设备而不使用户界面杂乱。提供对该系统的附加控制而不由于附加显示的控件使UI杂乱增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，在第二状态指示符(例如，1314g、1314i)与第一状态指示符同时显示时检测手势，该第二状态指示符指示不同于第一附件类型的第二附件类型的多个附件设备处于第三状态，第二附件类型的该多个附件设备包括：第三附件设备，该第三附件设备属于第二附件类型并且处于第三状态(例如，与第一状态和第二状态不同的状态)；和第四附件设备，该第四附件设备属于第二附件类型并且处于第三状态。在一些实施方案中，第二附件类型并且处于第二状态的第三附件设备和第二附件类型并且处于第二状态的第四附件设备不同于第一附件设备和第二附件设备。在一些实施方案中，根据确定手势是第一类型的手势(例如，类似于1350f)(例如，轻击手势)并且指向第二状态指示符(例如，1314g、1314i)(例如，在第二状态指示符上、在对应于第二状态指示符的位置处)，计算机系统(例如，经由过程发起过程(并且在一些实施方案中，过程包括将一个或多个指令传输到一个或多个设备(例如，服务器、与多个设备包括第一附件设备、第二附件设备、第三附件设备和第四附件设备通信的集线器设备)))使得第三附件设备和第四附件设备改变为不同于第三状态的第四状态(例如，而不使得第一附件设备和第二附件设备改变为不同状态(例如，与第一状态不同(例如，相反(例如，开/关、锁定/解锁、打开/关闭))的第二状态))。在一些实施方案中，根据确定手势是第二类型的手势(例如，类似于1350c)(例如，按压并保持手势)并且指向第二状态指示符(例如，1314g、1314i)(例如，在第二状态指示符上、在对应于第二状态指示符的位置处)，计算机系统经由显示生成部件显示对应于第三附件设备的第三附件控制用户界面对象(例如，作为显示第二用户界面的一部分)。在一些实施方案中，对第三附件控制用户界面对象的选择(例如，经由作为第一类型的手势(例如，轻击手势)的手势)使得(例如，经由过程(并且在一些实施方案中，过程包括将指令传输到一个或多个设备(例如，服务器、与多个附件设备(例如，包括第一附件设备、第二附件设备、第三附件设备和第四附件设备)通信的集线器设备、第三附件设备(而不是第四附件设备))))第三附件设备(例如，执行改变第一附件设备的状态的动作)改变为第四状态而不使得第四附件设备改变为第四状态(并且在一些实施方案中，不经由显示生成部件显示对应于第一附件设备的第一附件控制用户界面对象(例如，作为显示第二用户界面的一部分)和/或第二附件控制用户界面对象)(例如，在已经使得第三附件设备处于第四状态之后，第四附件设备继续处于第三状态)。在一些实施方案中，根据确定手势是第二类型的手势(例如，按压并保持手势)并且指向第二状态指示符(例如，在第二状态指示符上、在对应于第二状态指示符的位置处)，计算机系统在显示第三附件控制用户界面对象的同时显示第四附件控制用户界面对象。在一些实施方案中，当选择第四附件控制用户界面对象时，计算机系统(例如，经由过程(并且在一些实施方案中，过程包括将指令传输到一个或多个设备(例如，服务器、与多个附件设备(包括第一附件设备、第二附件设备、第三附件设备和第四附件设备)通信的集线器设备、第四附件设备(而不是第三附件设备))))使得第四附件设备改变为第四状态而不使得第三附件设备改变为第四状态。基于手势指向的状态指示符和检测到的手势的类型来执行不同的操作为用户提供了更多的控制选项以控制不同的附件设备类型，而不会使用户界面杂乱。提供对该系统的附加控制而不由于附加显示的控件使UI杂乱增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。使得第三附件设备和第四附件设备改变为第四状态为用户提供了使得多个设备改变状态的一个控件并且减少了使得多个设备改变状态所需的输入的数量。减少执行操作所需的输入数量增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，根据确定第五附件设备(例如，图13A中由718b表示的设备)属于第一附件设备类型并且第五附件设备(例如，图13A中由718b表示的设备)处于第一状态，第一附件类型的多个附件设备包括(例如，如1314h所指示)第五附件设备(例如，该第五附件设备不同于第一附件设备和第二附件设备)。在一些实施方案中，根据确定第五附件设备(例如，图13A中的718g表示的设备)属于第一附件设备类型并且第五附件设备(例如，图13A中的718g表示的设备)不处于第一状态，第一附件类型的多个附件设备不包括(例如，如1314h所指示)第五附件设备。在一些实施方案中，根据确定第五附件设备不属于第一附件设备类型并且第五附件设备处于第一状态，第五附件类型的多个附件设备不包括第五附件设备。在一些实施方案中，根据确定第五附件设备不属于第一附件设备类型并且第五附件设备不处于第一状态，第一附件类型的多个附件设备不包括第五附件设备。提供控制处于第一状态的第一附件设备类型的附件设备并且不控制不处于第一状态的第一附件设备类型的附件设备的状态指示符自动为用户提供了将会控制满足某些规定条件的附件设备的状态指示符。在一组条件已经被满足而不需要进一步的用户输入时执行操作增强了系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，第一类型的手势是轻击手势(例如，1350f)(例如，(例如，经由一个或多个输入设备)检测到持续小于预先确定的时间段的手势)。在一些实施方案中，第二类型的手势是按压并保持手势(例如，1350c)(例如，(例如，经由一个或多个输入设备)检测到持续超过预先确定的时间段的手势)。
在一些实施方案中，响应于检测到手势并且根据确定该手势是第三类型的手势(例如，1350a)(例如，轻扫手势，沿某个方向(例如，横向方向)移动的手势)(例如，并且指向第一状态指示符)，计算机系统(例如，通过滚动状态指示符)显示先前未显示的状态指示符(例如，图13B中的1314f)(例如，先前未显示的状态指示符指示附件类型不同于第一附件设备类型的多个附件设备处于相同状态)。在一些实施方案中，根据确定手势是第三类型的手势，(例如，通过将第一状态指示符滚动出视图)停止显示第一状态指示符。在一些实施方案中，根据确定手势是第三类型的手势，(例如，在手势的方向上(例如，向左、向右、向上、向下等))移动多个显示的状态指示符，使得在移动多个状态指示符之后，在检测到第三类型的手势之前未显示的一个或多个状态指示符显示时，停止显示第一状态指示符。在一些实施方案中，在检测到手势之后保持显示不是状态指示符的一个或多个控件(例如，场景控件、外部附件设备控件)。当第三类型的手势指向第一状态指示符时执行不同的操作为用户提供了更多的控制选项(例如，更多的状态指示符)，而不会使用户界面杂乱。提供对该系统的附加控制而不由于附加显示的控件使UI杂乱增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，作为使得第一附件设备和第二附件设备改变为第二状态的一部分，计算机系统使得第一附件设备和第二附件设备执行基于第一附件类型(例如，灯、门锁、百叶窗、温度控件)的某种类型的动作(例如，关闭灯、解锁门锁、打开百叶窗到一定百分比、关闭空调/加热器)。使得第一附件设备和第二附件设备执行基于第一附件类型的某种类型的动作允许计算机系统使得执行基于某些规定条件的特定动作。在一组条件已经被满足而不需要进一步的用户输入时执行操作增强了系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，在检测到手势之前，计算机系统显示与第一状态指示符相邻的第三状态指示符(例如，1314b)(例如，该第三状态指示符指示第二附件类型(例如，不同于第一附件类型)的多个附件设备处于第三状态)和与第三状态指示符(例如，1314e)相邻的第四状态指示符(例如，1314c)(例如，该第四状态指示符指示第三附件类型(例如，不同于第二附件类型和第一附件类型)。在一些实施方案中，基于对应于每个相应状态指示符的相应状态指示符类别(每个相应状态指示符所属的相应状态指示符类别)(例如，警报(例如，CO、CO2、烟雾、泄漏、警报)、需要动作的(例如，附件未响应、账户错误、电池电量低、更新可用)、重要状态(重要事项：住宅温度、开门或开窗)、快速动作(例如，这些类别将使附件的状态反转，门解锁、窗打开、5个灯打开、2个风扇打开)、传感器(例如，湿度水平、光照水平“34勒克斯”等))依次序显示第一状态指示符、第三状态指示符和第四状态指示符。在一些实施方案中，在依次序显示第一状态指示符、第三状态指示符和第四状态指示符时，计算机系统接收应显示第五状态指示符的指示(例如，不同附件设备类型(例如，不同于由第一状态指示符、第二状态指示符和第三状态指示符指示的附件设备类型)中的一者或多者的状态已改变)；并且响应于接收到应显示第五状态指示符的指示：(1)根据确定第五状态指示符属于第一状态指示符类别(例如，与第一状态指示符相同的状态指示符类别)，计算机系统在第一位置(例如，与第一状态指示符相邻的位置)处显示第五状态指示符；(2)根据确定第五状态指示符属于第二状态指示符类别(例如，与第一状态指示符类别不同的状态指示符类别)(例如，与第三状态指示符相同的状态指示符类别)，在不同于第一位置的第二位置(例如，与第三状态指示符相邻的位置)处显示第五状态指示符；以及(3)根据确定第五状态指示符属于第三状态指示符类别(例如，与第一状态指示符类别和第三状态指示符类别不同的状态指示符类别)(例如，与第四状态指示符相同的状态指示符类别)，在不同于第一位置和第二位置的第三位置(例如，与第四状态指示符相邻的位置)处显示第五状态指示符。基于其相应类别依次序显示状态指示符为用户提供了关于特定状态指示符的重要性或类别的增强反馈，并且允许用户快速识别特定状态指示符所对应的类别。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，计算机系统检测第一附件类型的相应附件设备的状态的改变。在一些实施方案中，响应于检测到第一附件类型的相应附件设备的状态的改变并且根据确定相应附件设备的状态已改变为第一状态，计算机系统将相应附件设备添加到处于第一状态的第一附件类型的多个附件设备(例如，灯泡、窗、开关、插座、锁(例如，门锁、窗锁)、电视机)。在一些实施方案中，响应于检测到第一附件类型的相应附件设备的状态的改变并且根据确定相应附件设备的状态已改变为第二状态(或者，另选地，改变为非第一状态)，计算机系统从处于第一状态的第一附件类型的多个附件设备(例如，灯泡、窗、开关、插座、锁(例如，门锁、窗锁)、电视机)中移除相应附件设备。因此，当检测到相应类型的附加附件处于相应状态时，将附加附件添加到相应状态指示符，使得通过激活状态指示符来控制附加附件；当检测到相应类型的一些附件不再处于相应状态时，从相应状态指示符中移除这些附件，使得无法通过激活状态指示符来控制移除的附件。基于附件的状态更新多个附件设备允许系统使用户能够快速改变相同类型和状态的附件的状态，并且能够单独访问附件(例如，经由按压并保持)。提供对该系统的附加控制而不由于附加显示的控件使UI杂乱增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，第一状态指示符包括对基于处于第一状态的第一附件类型的附件设备的当前数量而显示(或更新)的附件设备数量的指示。在一些实施方案中，在检测到手势之前，第一状态指示符包括对第一附件设备(例如，属于第一附件类型并且处于第一状态的附件设备)数量的指示。在一些实施方案中，根据确定第十附件设备属于第一附件设备类型并且已改变为处于第一状态，计算机系统更新第一状态指示符以包括对第二附件设备(例如，属于第二附件类型并且处于第二状态的附件设备)数量的指示，该指示不同于对第一附件设备数量的指示。在一些实施方案中，根据确定第二附件已改变为不处于第一状态，计算机系统更新第一状态指示符以包括对第三附件设备数量的指示，该指示不同于对第一附件设备数量的指示和对第二附件设备数量的指示。在一些实施方案中，第二附件设备数量大于第一附件设备数量，并且第三附件设备数量小于第一附件设备数量。显示包括基于当前附件设备数量的指示的状态指示符允许用户快速识别由状态指示符指示的状态所对应的设备的数量，并且向用户提供了关于该状态指示符上的输入可能潜在影响的设备数量的增强反馈。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，根据确定手势是第一类型的手势(例如，1350f)并且指向第一状态指示符(例如，1350h)，计算机系统在预先确定的时间段(例如，1秒、5秒、30秒)(例如，在检测到手势之后预先确定的时间段)之后停止显示第一状态指示符(例如，在图13H中已停止显示图13G中的1350h)。在一些实施方案中，根据确定在接收到第一类型的手势之后并且在预先确定的时间之前接收到作为第一类型的手势的第二手势，放弃停止显示第一状态指示符。在一些实施方案中，根据确定手势是第一类型的手势并且指向第一状态指示符，并且根据确定状态指示符属于第一类别，当由状态指示符表示的附件设备已改变为特定状态(例如，在第二预先确定的时间段之后灯关闭、门锁定、警报不活动等)时和/或在预先确定的时间段之后，计算机系统停止显示状态指示符。在一些实施方案中，根据确定手势是第一类型的手势并且指向第一状态指示符，并且根据确定状态指示符属于不同于第一类别的第二类别，当由状态指示符表示的附件设备已改变为特定状态(例如，在第二预先确定的时间段之后灯关闭、门锁定、警报不活动等)时和/或在预先确定的时间段之后，计算机系统不停止显示状态指示符。在检测到第一类型的手势的输入之后停止显示状态指示符为用户提供了已执行动作以改变经由状态指示符控制的附件设备的状态的视觉反馈。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，当检测到手势时，在第一位置处显示第一状态指示符(例如，1314h)。在一些实施方案中，根据确定手势是第一类型的手势(例如，1350f)并且指向第一状态指示符(例如，1314h)，计算机系统停止在第一位置处显示第一状态指示符(例如，1314h)并且在第一位置处显示第六状态指示符(例如，图13H中的1314i)(例如，不同于第一状态指示符)。在一些实施方案中，在检测到手势之前，第六状态指示符与第一状态指示符相邻。在一些实施方案中，在第一位置处显示与第一状态指示符不同的状态指示符包括经由动画将与第一状态指示符不同的状态指示符从第三位置移动到第一位置。在检测到第一类型的手势的输入之后停止显示状态指示符并且在该状态指示符的位置中显示相邻状态指示符减少了删除状态指示符并且在显示器上(例如，经由显示生成部件)显示新状态指示符(例如，相邻状态指示符)所需的输入的数量。减少执行操作所需的输入数量增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，根据确定手势是第一类型的手势(例如，1350i)并且指向第一状态指示符(例如，1314h)，计算机系统在视觉上更新第一状态指示符(例如，图13G中的1314h)，使得第一状态指示符从指示第一附件类型的多个附件设备处于第一状态(例如，或以第一视觉外观显示)改变为指示第一附件类型的多个附件设备已改变状态(例如，不处于第一状态，处于第二状态(例如，或以不同于第一视觉外观的第二视觉外观显示))。在一些实施方案中，在视觉上更新之后预先确定的时间段停止显示第一状态指示符。在一些实施方案中，根据确定手势是第二类型的手势(或第三类型的手势)并且指向第一状态指示符，计算机系统放弃更新第一状态指示符以指示第一附件类型的多个附件设备处于第二状态(和/或保持第一状态指示符(例如，以)指示第一附件类型的多个附件设备处于第一状态)。更新状态指示符以指示在检测到第一类型的手势的输入之后多个附件设备已改变状态为用户提供了已执行动作以改变经由状态指示符控制的附件设备的状态的视觉反馈。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，在第一用户界面(例如，710)上显示第一状态指示符(例如，1314h)。在一些实施方案中，计算机系统接收(例如，当在第一用户界面上显示第一状态指示符时)显示不同于第一用户界面(例如，710)的第二用户界面(例如，1360)的请求(例如，1350h)。在一些实施方案中，响应于接收到显示第二用户界面的请求(例如，1350h)，计算机系统显示包括状态指示符(例如，图13I中的1350i)的第二用户界面(例如，1360)，该状态指示符指示第一附件类型的一个或多个附件设备处于第一状态，其中：根据确定第二用户界面(例如，1360)(例如，当前显示的用户界面)对应于第一组附件设备(例如，分配给表示建筑物(例如，住宅)的部分(例如，房间(例如，卧室、客厅、办公室、车库)、门廊)的组的一组设备)并且第一附件设备对应于第一组附件设备(例如，并且当第一附件设备处于第一状态时)，第一附件类型的该一个或多个附件设备包括第一附件设备；并且根据确定第二用户界面(例如，1360)(例如，当前显示的用户界面)对应于第一组附件设备并且第一附件设备不对应于第一组附件设备(例如，并且当第一附件设备处于第一状态时)，第一附件类型的该一个或多个附件设备不包括第一附件设备。在一些实施方案中，响应于接收到显示第二用户界面的请求，计算机系统停止显示包括第一用户界面的第一用户界面。当满足某些规定条件时(例如，基于包括状态指示符的用户界面是否对应于一组附件设备以及与该状态指示符相关(例如，相同的状态和附件类型)的特定设备是否对应于该组附件设备)显示指示多个设备的状态的状态指示符，这自动为用户提供了指示与对应于特定组附件设备的用户界面相关的多个设备的状态指示符。在一组条件已经被满足而不需要进一步的用户输入时执行操作增强了系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。基于包括状态指示符的用户界面是否对应于一组附件设备以及与该状态指示符相关(例如，相同的状态和附件类型)的特定设备是否对应于该组附件设备，显示指示多个设备的状态的状态指示符，这为用户提供了关于状态指示符指示正在显示与特定用户界面相关的设备的视觉反馈。为用户提供改进的视觉反馈增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，在检测到手势(例如，1350a-1350c和1350f)之前，显示指示第三附件类型的一个或多个附件设备处于第七状态(例如，开/关、打开、关闭)的第八状态指示符。在一些实施方案中，一个或多个附件设备包括第三附件类型的第八附件设备。在一些实施方案中，根据确定手势(例如，1350f、1350i)是第二类型的手势(例如，按压并保持手势)并且指向第八状态指示符(例如，1314h)(例如，在第八状态指示符上、在对应于第八状态指示符的位置处)并且根据确定第八状态指示符(例如，图13I中的1314h)对应于(和/或指示)少于预先确定数量(例如，少于2个)的处于第七状态的第三附件类型的附件设备(例如，仅1个处于第七状态的第三附件类型的附件)，计算机系统显示对应于第八附件设备的第八附件控制用户界面对象(例如，1318)(例如，具有比第九附件控制用户界面对象更好的控制和/或精度)。在一些实施方案中，对第八附件控制用户界面对象的选择使得第八附件设备改变为第八状态(例如，80％亮度、20％亮度、40％打开、20％打开，与第七状态不完全相反的状态，对应于可由设备表示的与对应于第七状态的特征(例如，开/关)不同的特征(例如，灯的颜色(例如，蓝色、红色、绿色、黄色、白色))的状态)。在一些实施方案中，根据确定手势(例如，1350f、1350i)是第二类型的手势(例如，按压并保持手势)并且指向第八状态指示符(例如，1314h)(例如，在第八状态指示符上、在对应于第八状态指示符的位置处)并且根据确定第八状态指示符(例如，图13I中的1314h)对应于(例如，和/或指示)不少于预先确定数量(例如，2个或更多个)的处于第七状态的第三附件类型的附件设备，计算机系统显示对应于第八附件设备的第九附件控制用户界面对象(例如，控件例如718h)。在一些实施方案中，对第九附件控制用户界面对象的选择使得第八附件设备改变为不同于第八状态的第九状态(例如，开/关、打开/关闭、与第七状态相反的状态)(例如，不显示第八附件控制用户界面对象)。在一些实施方案中，与当确定第八状态指示符指示少于预先确定数量(例如，2个)的处于第七状态的第三附件类型时相比，当确定第八状态指示符指示少于预先确定数量(例如，2个)的处于第七状态的第三附件类型的附件设备时，对应于第八附件设备的附件用户界面控制对象的数量较大。在一些实施方案中，第八附件控制用户界面对象大于第九附件控制用户界面对象。基于由状态指示符表示的控件的数量，显示在被选择时以不同方式改变附件设备的控件允许设备在一些情况下提供附加或不同的控件而不会使UI杂乱。提供对该系统的附加控制而不由于附加显示的控件使UI杂乱增强了该系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该系统/与该系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该系统的电池寿命。
在一些实施方案中，根据对应于单个附件设备的相应状态指示符(例如，第八状态指示符)，相应状态指示符包括附件设备的名称(例如，字母数字文本)。根据对应于多个附件设备的相应状态指示符(例如，第八状态指示符)，相应状态指示符包括对所表示的附件设备的数量的指示(例如，数字表示)。
在一些实施方案中，计算机系统在另一类型的状态指示符(例如，1314a-1314f和1314j-1314l)(例如，气候控件、传感器(例如，不同类型的传感器可组合在单个状态指示符中))上检测轻击，并且响应于检测到轻击，显示用于控制与该另一类型的状态指示符相关的多个设备类型的用户界面(例如，1382、1384、1386)。在一些实施方案中，在其上检测到轻击之后，设备700不停止显示其他类型的控件。
需注意，上文相对于方法1400所述的过程(例如，图14)的详情也以类似方式适用于上文所述的方法。例如，方法1400任选地包括上文参考方法800和1000所述的各种方法的一个或多个特性。又如，方法800中发送的音频消息可以是如上文关于方法1400所述的改变或更多状态指示符。为了简明起见，这些详情在下文中不再重复。
图15A至图15F示出了根据一些实施方案的用于回放音频消息的示例性用户界面。这些附图中的用户界面用于示出下文所述的过程，包括图16中的过程。
图15A示出了设备700显示包括示能表示704的用户界面702。如图15A所示，在用户界面702的一部分上显示组播通知1502。组播通知1502指示已将来自John和其他三个人的音频组播消息发送到分配给住宅602的一组设备包括设备700。换句话讲，因为设备700被分配给住宅602，所以设备700已接收到来自John和其他三个人的音频组播消息。组播通知1502包括播放表示1504。在一些实施方案中，播放表示1504是可选的。在一些实施方案中，组播通知1502可包括一个或多个特征，如上文关于上述其他组播消息所述(例如，组播通知708a、组播通知708、组播通知904、组播通知906a、组播通知906b、组播通知908a、组播通知908b、组播通知908c、组播通知910)。在一些实施方案中，上述其他组播消息可包括组播通知1502的一个或多个特征(例如，播放表示1504)。在图15A处，设备700在组播通知1502上检测轻击手势1550a。
图15B至图15F示出了用于(例如，自动地)回放音频组播消息的示例性用户界面。在一些实施方案中，可显示关于图15B至图15F描述的用户界面以替代中上述一个或多个用户界面，诸如图9I至图9J的用户界面和/或图9M至图9P的用户界面。
如图15B所示，响应于检测到轻击手势1550a，设备700显示覆盖在用户界面702的一部分上的用户界面1520，并且自动地(例如，在检测到轻击手势1550a之后没有居间用户输入的情况下)发起从John接收的音频组播消息的回放，如当前发送人指示1322a所指示的。在一些实施方案中，作为发起音频回放的一部分，设备700经由电子耦接到设备700的一个或多个扬声器输出音频。
如图15B所示，用户界面1520包括组播住宅标识符1532，其指示正在回放发送到与住宅602相关联的一组设备的音频组播消息。用户界面1520还包括组播录制示能表示736、当前发送人指示1522a、图形发送人指示1524和计数指示930。在一些实施方案中，设备700使用上述一种或多种技术来显示组播录制示能表示736、当前发送人指示1522a、图形发送人指示1524和计数指示930并根据它们操作，如上所述设备700使用所述一种或多种技术来分别显示上述组播录制示能表示736、当前发送人指示922a-922b、图形发送人指示924a-924b和计数指示930显示并根据它们操作。在一些实施方案中，当启用设置以允许音频组播消息的转录时，用户界面1520包括当前选定音频组播消息的文本表示1520a-1520d(例如，可滚动转录副本)。在图15B的示例中，显示为用户界面1522的一部分的文本表示1520a仅包括音频组播消息的转录副本的一部分。响应于在文本表示1520a上接收到向上轻扫手势，将文本表示1520a的附加部分(例如，底部部分)滚动到视图中并且将文本表示1520a的部分(例如，顶部部分)滚动出视图。因此，可在有限的显示区域中显示较长的转录副本。
在一些实施方案中，如相对于图9Z至图9AC所示和所述，基于音频组播消息的发送人的用户账户的类型(例如，所有者类型、管理员类型和共享用户类型)和登录到显示设备700的用户账户的类型，经由发送人指示1522a和图形指示1524a来识别发送人(例如，如图15B所示的“John”、如图9Z所示的“Jane”)或不识别发送人(例如，如图9AA所示的“某人”)。
重新看图15A，通知1502指示了接收到要回放的四个音频组播消息(例如，“John和其他3个人”)。因此，在图15B中，用户界面1520包括对应于所接收消息的一部分的图形发送人指示1524。在图15B中，图形发送人指示1524包括图形发送人指示1524a-1524c。图形指示1524a对应于从“John”接收的第一音频组播消息。图形指示1524b对应于在第一音频组播消息之后接收(或发送)的第二音频组播消息。图形指示1524c对应于在第二音频组播消息之后接收(或发送)的第三音频组播消息。值得注意的是，在图15A中，用户界面1520不包括对应于第四音频组播消息的图形指示，因为已确定不应同时显示多于预先确定数量(例如，三个)的图形指示。
图形指示1524a-1524c对应于由不同用户(或设备)发送的不同组播消息，这些不同组播消息由描绘不同表示的图形指示1524a-1524c示出。图形指示1524a包括第一音频组播消息的发送人(例如，“John”)(例如，确定的发送人)的视觉表示。图形指示1524b包括录制第二音频组播消息的设备(例如，扬声器)的视觉表示。图形指示1524c包括对应于第三音频组播消息的发送人(例如，“EA”代表“Emma Appleseed”，她是与住宅602相关联的人，如图7AB所示)的文本的视觉表示。图形指示1524b包括设备的视觉表示而不是发送人的视觉表示，因为不能确定产生第二音频组播消息的人。图形指示1524c包括文本的视觉表示而不是用户的视觉表示，因为设备700不能访问用户(例如，Emily)的视觉表示。在一些实施方案中，当确定对应于图形指示的音频组播消息由同一发送人发送时，多个图形指示包括相同的视觉表示。
如图15B所示，图形指示1524a是在用户界面1520上显示的最大图形指示，并且与音频指示1524a1(例如，围绕图形指示1524a的圆圈)一起显示。如当前发送人指示1522a所指示，当前正在回放来自John的第一音频组播消息。因此，图形指示1524a是最大图形表示，并且与音频指示1524a1一起显示以指示当前正在回放来自John的音频组播消息。在一些实施方案中，音频指示1524a1是动态的，并且其尺寸根据正在回放的第一音频组播消息而改变。图形指示1524b是显示在用户界面1520上的第二最大图形指示，因为第二音频组播消息是要由设备700回放的队列中的下一个音频组播消息。图形指示1524c是显示在用户界面1520上的第三最大图形指示，因为第三音频组播消息是要由设备700回放的队列中排在第二音频组播消息之后的下一个音频组播消息。在图15B中，设备700确定第一音频组播消息将在预先确定的时间段(例如，0秒、1秒)内结束(或者下一个消息(例如，第二消息)将在预先确定的时间段内开始)。
响应于确定第一音频组播消息将在预先确定的时间段内结束(或已经结束)(例如，在没有用户输入的情况下，基于跳过示能表示1534上的轻击手势)，设备700使图形指示1524b-1524c逆时针旋转并且停止显示图形指示1524a。如图15C所示，响应于确定第一音频组播消息将在预先确定的时间段内结束(或已经结束)，图形指示1524b显示在先前在图15B中显示图形表示1524a的位置处，并且图形指示1524c显示在先前在图15B中显示图形表示1524b的位置处。如图15C所示，图形指示1524a以与先前在图15B中显示图形指示1524b相同的尺寸显示，并且图形指示1524c以与先前在图15B中显示图形指示1524b相同的尺寸显示。
如图15C所示，当前发送人指示1522b已替换先前在图15B中显示的当前发送人指示1522a。因此，在图15C处，设备700当前正在回放第二音频组播消息，因为在显示图15C的用户界面1520以前第一音频组播消息的回放已完成。如图15C所示，图形指示1524b现在与音频指示1524b1一起显示，该音频指示使用与上文关于音频指示1524a1所述的那些技术类似的技术来显示。如图15C所示，图形指示1524c不具有围绕图形指示1524c的音频指示，因为设备700当前未输出第三音频组播消息(例如，对应于图形指示1524c的音频组播消息)。在一些实施方案中，当在显示15B的用户界面1520和显示图15C的用户界面1520之间转换时，设备700显示图形指示1524b-1524c的尺寸逐渐增大的动画。
如图15C所示，因为设备700已停止显示图形指示1524a(例如，第一音频组播消息已结束)，所以设备700新显示图形指示1524d，该图形指示对应于由Jane发送的第四音频组播消息(如图15E中的当前发送人指示1522d所示)。图形指示1524d以与图15B的图形指示1524c相同的尺寸和相同的位置显示(例如，因为现在图形指示1524d在用于音频回放的队列中排第二)。在图15C处，设备700确定第二音频组播消息将在预先确定的时间段(例如，0秒至1秒)内结束(或者下一个消息(例如，第三音频组播消息)将在预先确定的时间段内开始)(或已经结束)。
响应于确定第二音频组播消息将在预先确定的时间段内结束(或已经结束)，设备700使图形指示1524c-1524d逆时针旋转并且停止显示图形指示1524b。如图15D所示，响应于确定第二音频组播消息将在预先确定的时间段内结束，图形指示1524c以先前在图15C中显示图形表示1524b的位置和尺寸显示，并且图形指示1524d以先前在图15C中显示图形表示1524c的位置和尺寸显示。
如图15D所示，当前发送人指示1522c已替换先前在图15C中显示的当前发送人指示1522b。因此，在图15D中，设备700当前正在回放第三音频组播消息，因为在显示图15D的用户界面1520以前第二音频组播消息的回放已完成。在第二音频组播消息的回放结束之后预先确定的时间段，在没有居间输入的情况下，设备700自动回放第三音频组播消息。在一些实施方案中，设备700在回放的组播消息之间播放预先确定的声音(例如，钟声、蜂鸣、音调)。例如，设备700可以先播放第一声音然后自动开始回放第二音频组播消息，并且可以先播放第二声音(例如，相同的钟声)然后自动开始回放第三音频组播消息。在一些实施方案中，设备700在回放预先确定的声音时(之后或之前)转换用户界面(例如，图15C的用户界面1520转换为图15D的用户界面1520)。在一些实施方案中，响应于在图15C的跳过示能表示1534上检测到输入，设备700(在到达第二音频消息的结束之前)结束(例如，在图15C中正在回放的)第二音频消息的回放，并且开始第三音频消息的回放并转换用户界面(例如，图15C的用户界面1520转换为图15D的用户界面1520)。在图15D处，设备700确定第三音频组播消息将在预先确定的时间段(例如，0秒至1秒)内结束(或者下一个消息(例如，第四音频组播消息)将在预先确定的时间段内开始)(或已经结束)。
响应于确定第三音频组播消息将在预先确定的时间段内结束(或已经结束)，设备700使图形指示1524d逆时针移动(例如，改变其位置)并放大并且停止显示图形指示1524c。如图15E所示，因为图形指示1524d是唯一显示的图形指示，所以设备700将图形指示1524d的尺寸增加到比先前显示图形指示1524c的尺寸更大的尺寸。在一些实施方案中，与图15B中的图形指示1524a的位置相比，图形指示1524d在图15E中显示在不同位置处(例如，在1524的中心处)。如图15E所示，当前发送人指示1522d已替换先前在图15D中显示的当前发送人指示1522c。因此，在图15E中，设备700当前正在回放第四音频组播消息(例如，对应于图形指示1524d的音频组播消息)，因为在显示图15E的用户界面1520以前第三音频组播消息的回放已完成。在第三音频组播消息的回放结束之后预先确定的时间段，在没有居间输入的情况下，设备700自动回放第四音频组播消息(例如，一旦第三音频组播消息已结束立即回放第四音频组播消息)。
如图15F所示，在确定第四音频消息的回放已结束之后，设备700更新用户界面1520以包括图形指示1524a-1524c，而不回放附加媒体(或组播音频消息)。除了重新显示图形指示1524a-1524c之外，设备700还显示回放示能表示926。在一些实施方案中，响应于在回放示能表示926上检测到轻击手势1550f1，设备700发起第一音频组播消息的回放，并且重复上面在图15B至图15E中所述的流程。在一些实施方案中，响应于在组播示能表示组播录制示能表示736上检测到轻击手势1550f2(或按压并保持手势)，设备700显示用于录制音频消息并将该音频消息发送到与住宅602相关联的一组设备的用户界面(例如，以回复组播音频消息(例如，第一音频组播消息、第二音频组播消息、第三音频组播消息、第四音频组播消息)发送到的该组设备)。因此，在一些实施方案中，响应于在组播录制示能表示736上检测到轻击手势，设备700显示图7C1的用户界面741、图7C的用户界面730或图7D的用户界面740。在一些实施方案中，组播录制示能表示736上的轻击手势开始音频录制，直到检测到结束录制输入(例如，另一个轻击手势)。一旦检测到结束录制输入，就将所录制的音频消息发送到该组设备。在一些实施方案中，在组播录制示能表示736上检测按压并保持手势。当检测到按压并保持手势时，音频录制开始。一旦检测到按压并保持手势的结束(例如，抬离)，就结束音频录制，并且将所录制的音频消息发送到该组设备。在一些实施方案中，检测图15B至图15E中的任何用户界面中的组播录制示能表示736的激活(例如，轻击手势、轻击并保持手势)使得当前回放消息的回放停止并开始用于录制音频消息以发送到一组设备的过程。
图16是示出了根据一些实施方案的用于使用计算机系统回放音频消息的方法的流程图。方法1600在与显示生成部件(例如，集成显示器、连接显示器)和一个或多个输入设备(例如，触敏表面)通信的计算机系统(例如，100、300、500、634、674、700、701、850)处执行。方法1600中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法1600提供了用于播放媒体内容的直观方式。该方法减轻了用户在播放媒体消息时的认知负担，从而创建了一种更有效的人机界面。对于电池驱动的计算设备，使得用户能够更快更有效地播放媒体节省了功率并且增加了电池两次充电之间的时间间隔。
计算机系统(例如，700)经由显示生成部件显示(1602)媒体用户界面(例如，1520)，该媒体用户界面包括：在第一位置处的第一媒体消息(例如，音频媒体；视觉媒体；视听媒体)的第一表示(1604)(例如，图15B中的1524a)，和在不同于该第一位置的第二位置处的第二媒体消息的第二表示(1606)(例如，图15B中的1524b)。在一些实施方案中，媒体用户界面包括一组媒体(例如，该组媒体在有序集中)中的多个媒体消息(例如，其中一些、不是全部)的表示。
响应于显示媒体用户界面并且不基于对应于媒体用户界面(例如，1520)的用户输入，计算机系统(例如，700)播放(1608)第一媒体消息(例如，输出第一媒体消息的音频和/或视频)。
响应于检测到从头到尾播放第一媒体消息的完成(例如，通过播放直到第一媒体消息的结束到达第一媒体消息的结束)，计算机系统(例如，700)显示(1610)第二媒体消息的第二表示(例如，1524b)(例如，如图15C所示)，而不经由显示生成部件显示对应于第一媒体消息的表示(例如，1524a)(例如，任何表示)(例如，如图15C所示)。
在不同位置处显示各种媒体消息的表示为用户提供了关于媒体消息的次序以及例如哪个媒体消息当前正在播放以及哪个媒体消息将下一个播放的反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，基于有序集的次序以不同的尺寸显示多个媒体消息(例如，其中一些、不是全部、其中三个)的表示。在一些实施方案中，在有序集中媒体消息排得越靠前，对应媒体消息的表示越大(例如，当前正在播放的媒体消息的表示最大，下一个要播放的媒体消息的表示次大，以此类推)。因此，媒体消息的次序反映在其对应的显示表示的相对尺寸中。
根据一些实施方案，在第一位置处显示第一媒体消息(例如，音频媒体；视觉媒体；视听媒体)的第一表示(例如，图15B中的1524a)包括显示在第一位置处并且以第一尺寸(例如，如图15B所示)显示第一媒体消息(例如，音频媒体；视觉媒体；视听媒体)的第一表示(例如，1524a)。根据一些实施方案，在第二位置处显示第二媒体消息的第二表示(例如，图15B中的1524b)包括在第二位置处并且以不同于(例如，小于)第一尺寸(例如，如图15B所示)的第二尺寸显示第二媒体消息的第二表示(例如，1524b)。
以不同尺寸显示各种媒体消息的表示为用户提供了关于媒体消息的次序(例如，尺寸越大在有序集中越靠前)以及例如哪个媒体消息当前正在播放以及哪个媒体消息将下一个播放的反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
根据一些实施方案，计算机系统(例如，700)经由显示生成部件，在第一位置处显示第一媒体消息的第一表示并且在第二位置处显示第二媒体消息的第二表示的同时：以不同于第一尺寸(并且任选地，不同于第二尺寸)的第三尺寸(例如，与第二尺寸相同，小于第二尺寸)并且在不同于第一位置和第二位置的第三位置处显示第三媒体消息的第三表示(例如，1524c)。响应于检测到从头到尾播放第一媒体消息的完成(例如，通过播放直到第一媒体消息的结束到达第一媒体消息的结束)：计算机系统(例如，700)以第一尺寸并且在第一位置处显示第二媒体消息的第二表示(例如，1524b)(例如，如图15C所示)，而不经由显示生成部件显示第一媒体消息的第一表示(例如，1524a)；并且计算机系统(例如，700)以第二尺寸并且在第二位置处显示第三媒体消息的第三表示(例如，1524c)(例如，如图15C所示)。
在不同位置并且以不同尺寸显示各种媒体消息的表示为用户提供了关于要播放的媒体消息的次序的反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
根据一些实施方案，计算机系统(例如，700)(例如，经由无线网络)接收对应于媒体消息(例如，一组媒体，第一媒体消息、第二媒体消息、第三媒体消息和第四媒体消息)的数据(例如，第一数据、第二数据、第三数据和第四数据)，所述媒体消息包括：第一媒体消息，该第一媒体消息是来自第一远程用户的第一(例如，音频)消息(例如，指向目标组设备(例如，住宅(例如，住宅自动化系统)的多个设备)，包括计算机系统)，和第二媒体消息，该第二媒体消息是来自不同于第一远程用户的第二远程用户的第二(例如，音频)消息(例如，指向目标组设备(例如，住宅(例如，住宅自动化系统)的多个设备)，包括计算机系统)。计算机系统(例如，700)(例如，响应于接收到数据，直到时间段的结束(如上面进一步详细描述的))经由显示生成部件显示对应于媒体消息的通知(例如，1502)。在显示通知(例如，1502)时，计算机系统(例如，700)经由一个或多个输入设备接收对通知的选择(例如，1550a)(例如，激活在锁定屏幕上显示的通知，该通知对应于一组媒体，该组媒体在有序集中)。在一些实施方案中，响应于接收到对通知(例如，1502)的选择(例如，1550a)，发生显示媒体用户界面。在一些实施方案中，响应于接收到对通知(例如，1502)的选择(例如，1550a)，发生播放第一媒体消息。
响应于对通知的选择而显示媒体用户界面并自动播放第一媒体消息使计算机系统能够响应于相同的输入而执行两种功能(显示和回放)，从而减少计算机系统接收附加输入以开始回放的需要。减少执行操作所需的输入数量增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一表示(例如，1524a)、第二表示(例如，1524b)和第三表示(例如，1524c)不显示在一行中(例如，第一位置、第二位置和第三位置不全部在一行上)。在一些实施方案中，显示的媒体的表示(例如，当移除表示和添加新表示时)不显示在一行中。
根据一些实施方案，第一尺寸大于第二尺寸。在一些实施方案中，第二尺寸大于第三尺寸。在一些实施方案中，第二尺寸和第三尺寸是相同的尺寸。在一些实施方案中，当前正在播放的媒体文件的表示(例如，图15B中的1524a、图15C中的1524b)以比多个其他(例如，全部)显示的媒体消息的表示的尺寸更大的尺寸显示。
以越来越大的尺寸显示各种媒体消息的表示为用户提供了关于媒体消息的次序的反馈。例如，媒体消息的表示越大，在媒体消息的有序集中该对应媒体消息排得越靠前，其中(例如)最大的表示是当前正在播放的媒体项。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
根据一些实施方案，响应于检测到从头到尾播放第一媒体消息的完成(例如，通过播放直到第一媒体消息的结束到达第一媒体消息的结束)，在未接收到(或不需要)另外的用户输入的情况下，播放第二媒体消息(例如，输出第二媒体的音频和/或视频)。在一些实施方案中，结合以第一尺寸并且在第一位置处显示第二媒体消息的第二表示，播放第二媒体消息。
响应于第一媒体消息的完成而自动播放第二媒体消息消除了计算机系统接收附加输入以开始第二媒体消息的回放的需要。减少执行操作所需的输入数量增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到播放第二媒体消息的完成(例如，到达第二媒体消息的结束；跳过第一媒体的剩余部分)，在未接收到(或不需要)另外的用户输入的情况下，计算机系统播放第三媒体消息(例如，输出第三媒体消息的音频和/或视频)。在一些实施方案中，结合以第一尺寸并且在第一位置处显示第三媒体消息的第三表示，播放第三媒体消息。在一些实施方案中，在检测到播放第二媒体消息完成之后，不显示第五媒体的第五表示。
根据一些实施方案，在检测到从头到尾播放第一媒体消息的完成之前，第四媒体消息(例如，音频媒体；视觉媒体；视听媒体)的第四表示(例如，1524d)不与第一媒体的第一表示同时显示(例如，在媒体用户界面中，如图15B所示)。在(例如，响应于)检测到从头到尾播放第一媒体消息的完成(例如，通过播放直到第一媒体消息的结束到达第一媒体消息的结束)之后(在一些实施方案中，响应于检测到播放第一媒体消息的完成)，计算机系统(例如，700)经由显示生成部件(例如，以第三尺寸并且在第三位置处)显示：第四媒体消息的第四表示(例如，1524d)(例如，在媒体用户界面(例如，1520)中)(在一些实施方案中，第四媒体消息与媒体消息的第二表示和第三表示同时显示)。
显示一组媒体消息中的第一预先确定数量的媒体消息的表示，而不显示该组媒体中的附加媒体消息的表示直到媒体消息被播放并且所播放的媒体消息的表示被移除，这为用户提供了附加媒体消息可用于回放而不会使用户界面杂乱的反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当初始显示媒体用户界面时(例如，响应于对显示通知的选择)，媒体用户界面包括第一表示、第二表示和第三表示，而不包括第四表示。
在一些实施方案中，响应于检测到播放第三媒体消息的完成(例如，到达第三媒体消息的结束；跳过第三媒体消息的剩余部分)，在未接收到(或不需要)另外的用户输入的情况下，以不同于(例如，大于)第一尺寸的尺寸并且在不同于第一位置的位置处显示第四媒体消息的第四表示(例如，1524d)，并且播放第四媒体消息(例如，如图15E所示)。
根据一些实施方案，在播放第二媒体消息时，计算机系统(例如，700)在媒体用户界面(例如，1520)中显示下一个媒体用户界面对象(例如，1534)，该下一个媒体用户界面对象在被激活时(例如，检测到轻击)使得第二媒体消息的播放完成(例如，停止播放当前正在播放的媒体消息；放弃播放第二媒体消息的剩余部分；跳过第二媒体消息的剩余部分)(并且任选地，开始播放第三媒体消息)。在播放第二媒体消息时，计算机系统(例如，700)经由一个或多个输入设备接收对下一个媒体用户界面对象(例如，1534)的激活(例如，轻击)。响应于接收到对下一个媒体用户界面对象(例如，1534)的激活，计算机系统(例如，700)经由显示生成部件在第一位置处(并且任选地，以第一尺寸)显示第三媒体消息的第三表示，而不经由显示生成部件显示第二媒体消息的第二表示。在一些实施方案中，结合在第一位置处以第一尺寸显示第三媒体消息的第三表示，播放第三媒体消息。在一些实施方案中，下一个媒体用户界面对象在被激活时使得当前正在播放的媒体消息完成。在一些实施方案中，检测到当前正在播放的媒体消息的完成(例如，除了当前正在播放的媒体消息是一组媒体中的最后一个媒体消息之外)使得该技术继续播放有序集中的下一个媒体消息。在一些实施方案中，响应于接收到对下一个媒体用户界面对象(例如，1534)的激活，计算机系统停止播放第二媒体消息(例如，不从头到尾播放第二媒体消息到其结束)并且播放第三媒体消息。
显示下一个媒体用户界面对象使计算机系统能够接收用户输入以跳过到播放下一个媒体消息，而不花费额外的时间播放当前正在播放的媒体消息的剩余部分。为用户提供此附加控制增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统(例如，在播放第二媒体的同时)不显示先前媒体用户界面对象(例如，在媒体用户界面中)，该先前媒体用户界面对象在被激活时(例如，检测到轻击)使得(例如，第二)媒体消息的播放完成并且开始播放先前(例如，第一)媒体消息。在一些实施方案中，当(例如，一组媒体中的)最后一个(例如，第四个)媒体消息正在播放时(例如，如图15E所示)，计算机系统放弃显示下一个媒体用户界面对象。
在一些实施方案中，第一媒体消息、第二媒体消息和第三媒体消息是一组媒体的一部分。根据一些实施方案，在(例如，响应于检测到完成)播放最后一个媒体消息之后(例如，在播放或跳过该组媒体的所有媒体消息之后)，计算机系统(例如，700)经由显示生成部件在媒体用户界面中显示重播用户界面对象(例如，926，在第一位置处、在显示第四媒体消息的第四表示的位置处)，该重播用户界面对象在被激活时(例如，1550f1，检测到轻击)播放第一媒体消息(例如，输出第一媒体消息的音频和/或视频)然后继续播放后续媒体消息(例如，第二媒体消息、第三媒体消息和第四媒体消息)。在一些实施方案中，对重播用户界面对象的激活再次重新开始重播一组媒体的媒体消息的过程。在一些实施方案中，在播放(例如，一组媒体中的)最后一个媒体消息之后，计算机系统(例如，在预定义的持续时间过去之后)从计算机系统删除第一媒体消息、第二媒体消息和第三媒体消息(并且任选地，第四媒体消息)(或者以其他方式使用户不能访问媒体消息)。
显示重播用户界面对象(例如，重播按钮)以重播一组媒体消息中的媒体消息允许用户重播(并且重新收听、重新观看)媒体消息，而不需要单独选择每个媒体消息进行回放。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
根据一些实施方案，第一媒体消息、第二媒体消息和第三媒体消息(并且任选地，第四媒体消息)指向目标组设备(例如，住宅(例如，住宅自动化系统)的多个设备)，包括计算机系统。根据一些实施方案，计算机系统(例如，700)经由显示生成部件在媒体用户界面中显示组播示能表示(例如，736)，该组播示能表示在被激活(例如，1550f2，检测到轻击)时，发起用于将音频组播消息发送到目标组设备的过程。在一些实施方案中，用于发送音频组播消息的过程包括显示图7C1的用户界面并且相对于图7C1描述该过程。在一些实施方案中，一个或多个设备是作为第一媒体消息、第二媒体消息和第三媒体消息指向的一组电子设备的一部分的电子设备。
显示组播示能表示以发起用于将音频组播消息发送到一个或多个设备的过程为用户提供了响应包括消息的媒体消息的能力，而不需要单独选择哪些用户/设备将接收消息，从而减少了用户作出响应需要提供的输入的数量。减少执行操作所需的输入数量增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，用于发送音频组播消息的过程包括在计算机系统处录制音频消息。在一些实施方案中，使音频消息可用于在计算机系统处回放(例如，作为一组媒体的一部分)。在一些实施方案中，结合发送音频组播消息，计算机系统从计算机系统删除第一媒体消息、第二媒体消息和第三媒体消息(并且任选地，第四媒体消息)(或者以其他方式使用户不能访问媒体消息)。
根据一些实施方案，在播放相应媒体消息(例如，第一媒体消息、第二媒体消息)时，计算机系统(例如，700)经由显示生成部件并且在媒体用户界面中显示从其接收相应媒体消息的相应用户的名称(例如，1524a、1524b、1524c、1524d)。在一些实施方案中，当正在播放的媒体消息改变时，相应用户的名称被替换(例如，先前名称、当前名称、下一个名称显示在相同位置)。
显示从其接收当前正在播放的媒体的相应用户的名称为用户提供了关于计算机系统从其接收当前正在播放的媒体消息的源的反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
根据一些实施方案，当前正在播放的媒体消息的表示(例如，图15B中的1524a、图15C中的1524b)以第一背景颜色(例如，绿色)显示，该第一背景颜色不同于当前未播放的媒体消息的相应显示表示(例如，图15B中的1524b和1524c、图15C中的1524c和1524d)的背景颜色。
根据一些实施方案，媒体消息是音频消息(例如，组播音频消息)。在一些实施方案中，音频消息(例如，第一媒体消息)是在外部设备处(使用麦克风)录制并由外部设备传输到一组设备的音频消息和/或指向(例如，传输到)包括计算机系统的多个外部设备的音频消息。在一些实施方案中，第二媒体消息是指向(或传输)到第二多个外部设备(例如，与多个外部设备相同、与多个外部设备不同)的第二音频消息。
自动回放(例如，依次序)会话的多个音频消息使计算机系统能够输出会话(例如，多个参与者之间的音频会话)，而不需要用户单独选择要回放的特定音频消息，从而减少了所需输入的数量。减少执行操作所需的输入数量增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示一组媒体中的媒体消息的总计数(例如，图15B中的930的“1/4”中的“4”)。在一些实施方案中，显示当前正在播放的媒体的编号(例如，图15B中的930的“1/4”中的“1”，一组媒体的有序集中的编号)(例如，连同总计数)(例如，如图15D中的“3/4”)。
在一些实施方案中，媒体消息(例如，第一媒体消息)对应于多用户设备(例如，为多个用户配置的设备、非为特定用户配置的设备)。在一些实施方案中，媒体消息(例如，第二媒体消息)对应于单用户设备(例如，为单个用户配置的设备)。在一些实施方案中，在播放对应于用户的媒体消息的同时显示媒体消息的对应用户的视觉指示符(例如，1522a、1524a、1522c、1524c)。在一些实施方案中，在播放对应于多用户设备的媒体消息时，显示指示多用户设备的视觉指示符(例如，1522b、1524b)。
需注意，上文相对于方法1600(例如，图16)所述的过程的详情也以类似的方式适用于上文所述的方法。例如，方法1600任选地包括上文参考方法800、1000和1400所述的各种方法的特征中的一个或多个特征。又如，方法800的音频消息可以与方法1600中发送的音频消息相同。又如，相对于方法800描述的显示的通知可以是在方法1600中显示的相同通知。又如，相对于方法1200传输到一个或多个设备的语音输入可以是在方法1600的计算机系统处接收和播放的相同音频消息。为了简明起见，本文不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择并描述这些实施方案是为了最好地解释这些技术的原理及其实际应用程序。本领域的其他技术人员由此能够最好地利用这些技术以及具有适合于所预期的特定用途的各种修改的各种实施方案。
虽然参照附图对本公开以及示例进行了全面的描述，但应当注意，各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类变化和修改被认为被包括在由权利要求书所限定的本公开和示例的范围内。
如上所述，本技术的一个方面是采集和使用可从各种源获得的数据，以改善向用户递送的视觉内容(例如，视觉指示)或任何其他内容，该内容为用户提供关于语音输入是否将作为音频消息发送到一个或多个设备的信息。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。
本公开认识到在本发明技术中使用个人信息数据可用于使用户受益。例如，个人信息数据可用于改善指示的显示，使得相应用户可确定语音输入是否将作为音频消息传输。因此，使用此类个人信息数据使得用户能够对发送音频消息进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在从用户接收语音输入的情况下，本发明的技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如，用户可基于显示的指示来选择不提供要作为音频消息发送的语音输入。又如，用户可基于显示的指示来选择限制对应于语音输入的音频消息的内容。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低限度的个人信息(例如，与用户相关联的设备所请求的内容、对音频消息传输服务可用的其他非个人信息或公开可用信息)来向用户显示视觉指示。

Claims (101)

1.一种方法，包括：
在与显示生成部件通信的计算机系统处：
经由所述显示生成部件显示第一用户界面，所述第一用户界面包括：
第一可选用户界面对象，其中对所述第一可选用户界面对象的选择发起用于录制第一音频消息并将所述第一音频消息发送到一组外部设备的过程，其中所述一组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和
第一附件控制用户界面对象，所述第一附件控制用户界面对象对应于第一外部附件设备，其中对所述第一附件控制用户界面对象的选择发起用于传输改变所述第一外部附件设备的状态的指令的过程；
在显示所述第一用户界面时，接收对应于显示第二用户界面的请求的输入；以及
响应于接收到显示所述第二用户界面的所述请求，显示所述第二用户界面，其中所述第二用户界面包括：
第二可选用户界面对象，其中对所述第二可选用户界面对象的选择发起用于录制第二音频消息并将所述第二音频消息发送到所述第二组一个或多个外部设备而不将所述第二音频消息发送到所述第一组一个或多个外部设备的过程；和
第二附件控制用户界面对象，所述第二附件控制用户界面对象对应于第二外部附件设备，其中对所述第二附件控制用户界面对象的选择发起用于传输改变所述第二外部附件设备的状态的指令的过程。
2.根据权利要求1所述的方法，其中所述第一外部附件设备不同于所述第二外部附件设备。
3.根据权利要求1至2中任一项所述的方法，其中所述第一可选用户界面对象经由所述显示生成部件被显示在第一位置处，并且所述第二可选用户界面对象经由所述显示生成部件被显示在所述第一位置处。
4.根据权利要求1至3中任一项所述的方法，其中：
所述第一外部附件设备被包括在所述一组外部设备中；
所述第一用户界面包括对应于第三外部附件设备的第三附件控制用户界面对象，其中对所述第三附件控制用户界面对象的选择发起用于传输改变所述第三外部附件设备的状态的指令的过程；并且
所述第三外部附件设备不被包括在所述一组外部设备中，并且对所述第一可选用户界面对象的选择不发起用于将所述第一音频消息发送到所述第三外部附件设备的过程。
5.根据权利要求1至4中任一项所述的方法，其中所述第一用户界面对应于最高级别位置，并且所述第二用户界面对应于第一类型的第一子位置，其中所述第二组一个或多个外部设备对应于所述第一子位置，并且其中基于所述第二组一个或多个外部设备对应于所述第一子位置，使得所述第二组一个或多个外部设备不能对应于所述第一类型的第二子位置。
6.根据权利要求1至5中任一项所述的方法，其中所述第一用户界面对应于最高级别位置，并且所述第二用户界面对应于第二类型的第三子位置，所述第三子位置对应于第一类型的多个子位置，其中基于所述第二组一个或多个外部设备被包括在所述第一类型的所述多个子位置中，所述第二组一个或多个外部设备对应于所述第三子位置。
7.根据权利要求6所述的方法，其中所述第二外部附件设备与所述第二类型的所述第三子位置相关联，并且其中所述第二外部附件设备还与不同于所述第三子位置的所述第二类型的第四子位置相关联。
8.根据权利要求1至6中任一项所述的方法，其中所述第二组一个或多个外部设备与第一位置相关联，并且其中用于录制所述第二音频消息并将所述第二音频消息发送到所述第二组一个或多个外部设备而不将所述第二音频消息发送到所述第一组一个或多个外部设备的所述过程包括显示所述第一位置的指示。
9.根据权利要求1至8中任一项所述的方法，其中所述一组外部设备包括个人移动电子设备。
10.根据权利要求1至9中任一项所述的方法，其中所述第二组一个或多个外部设备不包括个人移动电子设备。
11.根据权利要求1至10中任一项所述的方法，还包括：
在显示所述第二用户界面之后，接收用于禁止将音频消息发送到所述第二组一个或多个外部设备的输入；以及
响应于接收到用于禁止将音频消息发送到所述第二组一个或多个外部设备的所述输入，禁止经由对所述第一可选用户界面对象的选择以及经由对所述第二可选用户界面对象的选择将音频消息发送到所述第二组一个或多个外部设备。
12.根据权利要求1至11中任一项所述的方法，其中所述第一用户界面对应于最高级别位置，并且所述第二用户界面对应于所述最高级别位置的子位置，所述方法还包括：
在与所述计算机系统通信的麦克风处接收包括对数字助理的自然语言请求的音频输入，所述音频输入包括：
发起用于传输音频消息的过程的指令；
位置标识符；和
音频消息；
根据确定所述位置标识符对应于所述最高级别位置：
在不与所述一组外部设备中的任何设备建立双向音频通信信道的情况下，传输所述音频消息以用于在所述一组外部设备处回放，所述一组外部设备包括所述第一组一个或多个外部设备和所述第二组一个或多个外部设备；以及
根据确定所述位置标识符对应于所述子位置：
在不与所述一组外部设备中的任何设备建立双向音频通信信道的情况下，传输所述音频消息以用于在所述第二组一个或多个外部设备处回放而不用于在所述第一组一个或多个外部设备处回放。
13.根据权利要求1至12中任一项所述的方法，其中发起用于录制音频消息并将所述音频消息发送到外部设备的过程包括：
在没有另外的用户输入的情况下，发起新音频消息的所述录制；以及
显示包括对正在录制所述音频的动态指示的录制用户界面。
14.根据权利要求1至13中任一项所述的方法，其中所述计算机系统与包括麦克风的一个或多个输入设备通信，并且其中用于录制所述第一音频消息并将所述第一音频消息发送到所述一组外部设备的所述过程包括：
经由所述麦克风接收第二音频输入；以及
将所述第一音频消息传输到所述一组外部设备，其中所述第一音频消息基于所述第二音频输入。
15.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至14中任一项所述的方法的指令。
16.一种计算机系统，包括：
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至14中任一项所述的方法的指令。
17.一种计算机系统，包括：
用于执行根据权利要求1至14中任一项所述的方法的装置。
18.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中所述计算机系统与显示生成部件通信，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件显示第一用户界面，所述第一用户界面包括：
第一可选用户界面对象，其中对所述第一可选用户界面对象的选择发起用于录制第一音频消息并将所述第一音频消息发送到一组外部设备的过程，其中所述一组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和
第一附件控制用户界面对象，所述第一附件控制用户界面对象对应于第一外部附件设备，其中对所述第一附件控制用户界面对象的选择发起用于传输改变所述第一外部附件设备的状态的指令的过程；
在显示所述第一用户界面时，接收对应于显示第二用户界面的请求的输入；以及
响应于接收到显示所述第二用户界面的所述请求，显示所述第二用户界面，其中所述第二用户界面包括：
第二可选用户界面对象，其中对所述第二可选用户界面对象的选择发起用于录制第二音频消息并将所述第二音频消息发送到所述第二组一个或多个外部设备而不将所述第二音频消息发送到所述第一组一个或多个外部设备的过程；和
第二附件控制用户界面对象，所述第二附件控制用户界面对象对应于第二外部附件设备，其中对所述第二附件控制用户界面对象的选择发起用于传输改变所述第二外部附件设备的状态的指令的过程。
19.一种计算机系统，包括：
一个或多个处理器，其中所述计算机系统与显示生成部件通信；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
经由所述显示生成部件显示第一用户界面，所述第一用户界面包括：
第一可选用户界面对象，其中对所述第一可选用户界面对象的选择发起用于录制第一音频消息并将所述第一音频消息发送到一组外部设备的过程，其中所述一组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和
第一附件控制用户界面对象，所述第一附件控制用户界面对象对应于第一外部附件设备，其中对所述第一附件控制用户界面对象的选择发起用于传输改变所述第一外部附件设备的状态的指令的过程；
在显示所述第一用户界面时，接收对应于显示第二用户界面的请求的输入；以及
响应于接收到显示所述第二用户界面的所述请求，显示所述第二用户界面，其中所述第二用户界面包括：
第二可选用户界面对象，其中对所述第二可选用户界面对象的选择发起用于录制第二音频消息并将所述第二音频消息发送到所述第二组一个或多个外部设备而不将所述第二音频消息发送到所述第一组一个或多个外部设备的过程；和
第二附件控制用户界面对象，所述第二附件控制用户界面对象对应于第二外部附件设备，其中对所述第二附件控制用户界面对象的选择发起用于传输改变所述第二外部附件设备的状态的指令的过程。
20.一种计算机系统，包括：
用于经由与所述计算机系统通信的显示生成部件显示第一用户界面的装置，所述第一用户界面包括：
第一可选用户界面对象，其中对所述第一可选用户界面对象的选择发起用于录制第一音频消息并将所述第一音频消息发送到一组外部设备的过程，其中所述一组外部设备包括第一组一个或多个外部设备和第二组一个或多个外部设备；和
第一附件控制用户界面对象，所述第一附件控制用户界面对象对应于第一外部附件设备，其中对所述第一附件控制用户界面对象的选择发起用于传输改变所述第一外部附件设备的状态的指令的过程；
在显示所述第一用户界面时，用于接收对应于显示第二用户界面的请求的输入的装置；和
响应于接收到显示所述第二用户界面的所述请求，用于显示所述第二用户界面的装置，其中所述第二用户界面包括：
第二可选用户界面对象，其中对所述第二可选用户界面对象的选择发起用于录制第二音频消息并将所述第二音频消息发送到所述第二组一个或多个外部设备而不将所述第二音频消息发送到所述第一组一个或多个外部设备的过程；和
第二附件控制用户界面对象，所述第二附件控制用户界面对象对应于第二外部附件设备，其中对所述第二附件控制用户界面对象的选择发起用于传输改变所述第二外部附件设备的状态的指令的过程。
21.一种方法，包括：
在与显示生成部件通信的计算机系统处：
接收对应于第一媒体的第一数据；
经由所述显示生成部件显示具有所述第一媒体的指示的第一通知，直到第一时间段的结束；
在接收到所述第一数据之后，接收对应于第二媒体的第二数据，其中所述第二媒体不同于所述第一媒体；以及
根据确定所述第二媒体满足一组一个或多个标准，并且根据基于(1)接收到所述第二数据的时间和(2)接收到所述第一数据的时间的确定，经由所述显示生成部件显示具有所述第一媒体的指示的第二通知，直到第二时间段的结束，其中所述第一时间段的结束不同于所述第二时间段的结束。
22.根据权利要求21所述的方法，其中在接收到所述第二数据的所述时间处正在显示所述第一通知，并且其中显示所述第二通知包括停止显示所述第一通知。
23.根据权利要求21至22中任一项所述的方法，其中所述第一媒体是第一音频消息。
24.根据权利要求21至23中任一项所述的方法，其中所述第一通知包括对所述第一媒体所指向的一组多个外部设备的指示。
25.根据权利要求21至24中任一项所述的方法，所述方法还包括：
响应于接收到所述第一数据，将所述第一通知添加到通知集合中，直到所述第一时间段的结束；
根据到达所述第一时间段的所述结束：
从所述通知集合中移除所述第一通知；以及
根据在所述第一时间段的所述结束之前接收到对应于所述第二媒体的所述第二数据并且根据确定所述第二媒体满足所述一组一个或多个标准：
从所述通知集合中移除所述第一通知；以及
将所述第二通知添加到所述通知集合中。
26.根据权利要求21至25中任一项所述的方法，其中所述第一数据识别所述第一媒体所指向的多个外部设备的目标组，所述方法还包括：
在显示对应于所述第一媒体的通知时，接收对应于第三媒体的第三数据；以及
响应于接收到对应于所述第三媒体的所述第三数据：
根据确定所述第三媒体满足所述一组一个或多个标准，延长显示对应于所述第一媒体的所述通知的持续时间；以及
根据确定所述第三媒体不满足所述一组一个或多个标准，放弃延长显示对应于所述第一媒体的所述通知的所述持续时间。
27.根据权利要求21至26中任一项所述的方法，其中：
根据所述确定所述第二媒体满足所述一组一个或多个标准，所述第二通知包括基于由所述第二通知表示的包括所述第一媒体的媒体数量的指示符。
28.根据权利要求21至27中任一项所述的方法，其中所述第二通知包括所述第一媒体的所述指示，所述方法还包括：
在显示所述第二通知时，接收指向所述第二通知的输入；以及
响应于接收到指向所述第二通知的所述输入，发起用于回放所述第一媒体和所述第二媒体的过程。
29.根据权利要求21至28中任一项所述的方法，其中所述第二媒体满足所述一组一个或多个标准，所述方法还包括：
在显示所述第二通知时，接收指向所述第二通知的输入；以及
响应于接收到指向所述第二通知的所述输入，显示用于回放所述第一媒体的用户界面，其中用于回放所述第一媒体的所述用户界面包括录制用户界面对象；并且
其中对所述录制用户界面对象的选择使得：
根据确定所述第一数据识别所述第一媒体所指向的第一组多个外部设备，发起用于将音频消息传输到所述第一组多个外部设备的过程；以及
根据确定所述第一数据识别所述第一媒体所指向的不同于所述第一组的第二组多个外部设备，发起用于将音频消息传输到所述第二组多个外部设备的过程。
30.根据权利要求21至29中任一项所述的方法，还包括：
在显示用于回放所述第一媒体的用户界面时以及在回放所述第一媒体时，接收用户输入；
响应于接收到所述用户输入并且根据确定所述用户输入指向用于回放所述第一媒体的所述用户界面上的第一位置，显示用于录制和发送新媒体的用户界面；以及
响应于接收到所述用户输入并且根据确定所述用户输入指向用于回放所述第一媒体的所述用户界面上的第二位置，将用于回放所述第一媒体的所述用户界面的显示替换为用于回放所述第二媒体的用户界面的显示，其中用于回放所述第一媒体的所述用户界面上的所述第二位置不同于用于回放所述第一媒体的所述用户界面上的所述第一位置。
31.根据权利要求21至30中任一项所述的方法，所述方法还包括：
在显示所述第二通知时，接收指向所述第二通知的输入；以及
响应于接收到指向所述第二通知的所述输入，停止显示所述第二通知。
32.根据权利要求21至31中任一项所述的方法，还包括：
显示用于配置是否将所述计算机系统包括在接收对应于指向位置的媒体的数据的一组多个外部设备中的用户界面，其中用于配置是否将所述计算机系统包括在组中的所述用户界面包括：
第一选项，所述第一选项用于将所述计算机系统包括在接收对应于指向所述位置的媒体的数据的所述一组多个外部设备中，无论所述计算机系统的当前物理位置如何；和
第二选项，所述第二选项用于不将所述计算机系统包括在接收对应于指向所述位置的媒体的数据的所述一组多个外部设备中，无论所述计算机系统的所述当前物理位置如何。
33.根据权利要求21至32中任一项所述的方法，还包括：
显示用于配置是否将所述计算机系统包括在接收对应于指向位置的媒体的数据的一组多个外部设备中的用户界面，其中用于配置是否将所述计算机系统包括在组中的所述用户界面包括：
第三选项，所述第三选项用于：
在所述计算机系统当前处于对应于所述位置的物理位置时，将所述计算机系统包括在接收对应于指向所述位置的媒体的数据的所述一组多个外部设备中；并且
在所述计算机系统当前未处于对应于所述位置的所述物理位置时，不将所述计算机系统包括在接收对应于指向所述位置的媒体的数据的所述一组多个外部设备中。
34.根据权利要求21至33中任一项所述的方法，其中显示具有所述第一媒体的所述指示的所述第一通知包括同时显示第二录制用户界面对象和第二播放用户界面对象，所述方法还包括：
接收第二用户输入；以及
响应于接收到所述第二用户输入：
根据确定所述第二用户输入指向对所述第二录制用户界面对象的选择，录制音频消息；以及
根据确定所述第二用户输入指向对所述第二播放用户界面对象的选择，回放所述第一媒体。
35.根据权利要求21至33中任一项所述的方法，其中显示具有所述第一媒体的所述指示的所述第二通知包括同时显示第三录制用户界面对象和第三播放用户界面对象，所述方法还包括：
接收第三用户输入；以及
响应于接收到所述第三用户输入：
根据确定所述第三用户输入指向对所述第三录制用户界面对象的选择，录制音频消息；以及
根据确定所述第三用户输入指向对所述第三播放用户界面对象的选择，在接收到所述第三用户输入之后没有接收到附加用户输入的情况下，回放所述第一媒体和所述第二媒体。
36.根据权利要求21至35中任一项所述的方法，其中显示具有所述第一媒体的所述指示的所述第一通知包括同时显示发送人的视觉表示和所述发送人的名称。
37.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求21至36中任一项所述的方法的指令。
38.一种计算机系统，包括：
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求21至36中任一项所述的方法的指令。
39.一种计算机系统，包括：
用于执行根据权利要求21至36中任一项所述的方法的装置。
40.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中所述计算机系统与显示生成部件通信，所述一个或多个程序包括用于以下操作的指令：
接收对应于第一媒体的第一数据；
经由所述显示生成部件显示具有所述第一媒体的指示的第一通知，直到第一时间段的结束；
在接收到所述第一数据之后，接收对应于第二媒体的第二数据，其中所述第二媒体不同于所述第一媒体；以及
根据确定所述第二媒体满足一组一个或多个标准，并且根据基于(1)接收到所述第二数据的时间和(2)接收到所述第一数据的时间的确定，经由所述显示生成部件显示具有所述第一媒体的指示的第二通知，直到第二时间段的结束，其中所述第一时间段的结束不同于所述第二时间段的结束。
41.一种计算机系统，包括：
一个或多个处理器，其中所述计算机系统与显示生成部件通信；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
接收对应于第一媒体的第一数据；
经由所述显示生成部件显示具有所述第一媒体的指示的第一通知，直到第一时间段的结束；
在接收到所述第一数据之后，接收对应于第二媒体的第二数据，其中所述第二媒体不同于所述第一媒体；以及
根据确定所述第二媒体满足一组一个或多个标准，并且根据基于(1)接收到所述第二数据的时间和(2)接收到所述第一数据的时间的确定，经由所述显示生成部件显示具有所述第一媒体的指示的第二通知，直到第二时间段的结束，其中所述第一时间段的结束不同于所述第二时间段的结束。
42.一种计算机系统，包括：
用于接收对应于第一媒体的第一数据的装置；
用于经由与所述计算机系统通信的生成部件显示具有所述第一媒体的指示的第一通知直到第一时间段的结束的装置；
用于在接收到所述第一数据之后接收对应于第二媒体的第二数据的装置，其中所述第二媒体不同于所述第一媒体；和
根据确定所述第二媒体满足一组一个或多个标准，并且根据基于(1)接收到所述第二数据的时间和(2)接收到所述第一数据的时间的确定，用于经由所述显示生成部件显示具有所述第一媒体的指示的第二通知直到第二时间段的结束的装置，其中所述第一时间段的结束不同于所述第二时间段的结束。
43.一种方法，包括：
在具有一个或多个麦克风、一个或多个扬声器和一个或多个显示设备的电子设备处：
经由所述一个或多个麦克风接收语音输入；以及
显示所述语音输入的视觉指示，其中：
根据确定所述语音输入的一部分对应于要被传输到一个或多个设备的语音输入，经由所述一个或多个显示设备显示所述视觉指示包括以第一组一个或多个颜色显示所述视觉指示；并且
根据确定所述语音输入不包括将所述语音输入的任何部分传输到其他设备的指令，经由所述一个或多个显示设备显示所述视觉指示包括以不同于所述第一组一个或多个颜色的第二组一个或多个颜色显示所述视觉指示。
44.根据权利要求43所述的方法，其中请求所述电子设备检索信息或改变所述电子设备的一个或多个状态的语音输入是不包括将所述语音输入的任何部分传输到其他设备的所述指令的所述语音输入。
45.根据权利要求43至44中任一项所述的方法，其中：
对应于要被传输到所述一个或多个设备的语音输入的所述语音输入包括一组设备的标识符；并且
不包括将所述语音输入的任何部分传输到其他设备的所述指令的所述语音输入不包括所述一组设备的所述标识符。
46.根据权利要求43至45中任一项所述的方法，其中所述第一组一个或多个颜色是单色，并且所述第二组一个或多个颜色是多个颜色。
47.根据权利要求43至46中任一项所述的方法，其中以所述第一组一个或多个颜色显示所述视觉指示包括显示基于所述语音输入在时间段内改变的动画。
48.根据权利要求43至47中任一项所述的方法，其中显示所述动画包括基于所述语音输入的音量或音高中的一者或多者来改变所述视觉指示的亮度、尺寸、颜色饱和度或位置中的一者或多者。
49.根据权利要求43至48中任一项所述的方法，还包括：
接收对应于用于回放的多个音频消息的数据；以及
响应于接收到对应于用于回放的所述多个音频消息的所述数据，在输出所述多个音频消息中的每个相应音频消息之前输出前导音调。
50.根据权利要求43至49中任一项所述的方法，还包括：
接收对应于用于回放的音频消息的数据；以及
响应于接收到所述数据，在没有用户输入的情况下自动输出所述音频消息。
51.根据权利要求50所述的方法，还包括：
响应于接收到所述数据，在输出所述音频消息之前显示第二视觉指示。
52.根据权利要求43至51中任一项所述的方法，还包括：
接收对应于用于回放的音频消息的数据；
输出所述音频消息；以及
在输出所述音频消息时，同时显示不基于所述音频消息的一个或多个特征而改变的视觉指示。
53.根据权利要求52中任一项所述的方法，其中基于所述电子设备的音量水平来输出所述音频消息。
54.根据权利要求43至53中任一项所述的方法，其中在显示所述视觉指示之前，所述电子设备不显示视觉内容。
55.根据权利要求43至54中任一项所述的方法，还包括：
停止显示所述视觉指示包括停止经由所述一个或多个显示设备显示视觉内容。
56.根据权利要求43至55中任一项所述的方法，其中所述视觉指示不与另外的视觉指示同时显示。
57.根据权利要求43至56中任一项所述的方法，其中所述视觉指示是光指示，所述光指示基于与所述电子设备通信的一个或多个应用程序的状态来提供不同的光。
58.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由具有一个或多个麦克风、一个或多个扬声器和一个或多个显示设备的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求43至57中任一项所述的方法的指令。
59.一种电子设备，包括：
一个或多个麦克风；
一个或多个扬声器；
一个或多个显示设备；
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求43至57中任一项所述的方法的指令。
60.一种电子设备，包括：
一个或多个麦克风；
一个或多个扬声器；
一个或多个显示设备；和
用于执行根据权利要求43至57中任一项所述的方法的装置。
61.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由具有一个或多个麦克风、一个或多个扬声器和一个或多个显示设备的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
经由所述一个或多个麦克风接收语音输入；以及
显示所述语音输入的视觉指示，其中：
根据确定所述语音输入的一部分对应于要被传输到一个或多个设备的语音输入，经由所述一个或多个显示设备显示所述视觉指示包括以第一组一个或多个颜色显示所述视觉指示；并且
根据确定所述语音输入不包括将所述语音输入的任何部分传输到其他设备的指令，经由所述一个或多个显示设备显示所述视觉指示包括以不同于所述第一组一个或多个颜色的第二组一个或多个颜色显示所述视觉指示。
62.一种电子设备，包括：
一个或多个麦克风；
一个或多个扬声器；
一个或多个显示设备；
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
经由所述一个或多个麦克风接收语音输入；以及
显示所述语音输入的视觉指示，其中：
根据确定所述语音输入的一部分对应于要被传输到一个或多个设备的语音输入，经由所述一个或多个显示设备显示所述视觉指示包括以第一组一个或多个颜色显示所述视觉指示；并且
根据确定所述语音输入不包括将所述语音输入的任何部分传输到其他设备的指令，经由所述一个或多个显示设备显示所述视觉指示包括以不同于所述第一组一个或多个颜色的第二组一个或多个颜色显示所述视觉指示。
63.一种电子设备，包括：
一个或多个麦克风；
一个或多个扬声器；
一个或多个显示设备；
用于经由所述一个或多个麦克风接收语音输入的装置；和
显示所述语音输入的视觉指示的装置，其中：
根据确定所述语音输入的一部分对应于要被传输到一个或多个设备的语音输入，经由所述一个或多个显示设备显示所述视觉指示包括以第一组一个或多个颜色显示所述视觉指示；并且
根据确定所述语音输入不包括将所述语音输入的任何部分传输到其他设备的指令，经由所述一个或多个显示设备显示所述视觉指示包括以不同于所述第一组一个或多个颜色的第二组一个或多个颜色显示所述视觉指示。
64.一种方法，包括：
在计算机系统处，其中所述计算机系统与显示生成部件和一个或多个输入设备通信：
经由所述显示生成部件显示第一状态指示符，所述第一状态指示符指示第一附件类型的多个附件设备处于第一状态，其中所述第一附件类型的所述多个附件设备包括：
第一附件设备，所述第一附件设备为所述第一附件类型并且处于所述第一状态；和
第二附件设备，所述第二附件设备为所述第一附件类型并且处于所述第一状态，其中所述第二附件设备不同于所述第一附件设备；
在显示所述第一状态指示符时，检测手势；以及
响应于检测到所述手势：
根据确定所述手势是第一类型的手势并且指向所述第一状态指示符，使得所述第一附件设备和所述第二附件设备改变为不同于所述第一状态的第二状态；以及
根据确定所述手势是不同于所述第一类型的手势的第二类型的手势并且指向所述第一状态指示符，经由所述显示生成部件显示对应于所述第一附件设备的第一附件控制用户界面对象，其中对所述第一附件控制用户界面对象的选择使得所述第一附件设备改变为所述第二状态而不使得所述第二附件设备改变为所述第二状态。
65.根据权利要求64所述的方法，还包括：
根据所述确定所述手势是不同于所述第一类型的手势的所述第二类型的手势并且指向所述第一状态指示符，经由所述显示生成部件并且在显示所述第一附件控制用户界面对象的同时显示对应于所述第二附件设备的第二附件控制用户界面对象，其中对所述第二附件控制用户界面对象的选择使得所述第二附件设备改变为所述第二状态而不使得所述第一附件设备改变为所述第二状态。
66.根据权利要求64至65中任一项所述的方法，其中在第二状态指示符与所述第一状态指示符同时显示时检测所述手势，所述第二状态指示符指示不同于所述第一附件类型的第二附件类型的多个附件设备处于第三状态，所述第二附件类型的所述多个附件设备包括：
第三附件设备，所述第三附件设备为所述第二附件类型并且处于所述第三状态；和
第四附件设备，所述第四附件设备为所述第二附件类型并且处于所述第三状态；并且
所述方法还包括：
根据确定所述手势是所述第一类型的手势并且指向所述第二状态指示符，使得所述第三附件设备和所述第四附件设备改变为不同于所述第三状态的第四状态；以及
根据确定所述手势是所述第二类型的手势并且指向所述第二状态指示符，经由所述显示生成部件显示对应于所述第三附件设备的第三附件控制用户界面对象，其中对所述第三附件控制用户界面对象的选择使得所述第三附件设备改变为所述第四状态而不使得所述第四附件设备改变为所述第四状态。
67.根据权利要求64至66中任一项所述的方法，其中：
根据确定第五附件设备为所述第一附件设备类型并且所述第五附件设备处于所述第一状态，所述第一附件类型的所述多个附件设备包括所述第五附件设备；并且
根据确定所述第五附件设备为所述第一附件设备类型并且所述第五附件设备不处于所述第一状态，所述第一附件类型的所述多个附件设备不包括所述第五附件设备。
68.根据权利要求64至67中任一项所述的方法，其中：
所述第一类型的手势是轻击手势；并且
所述第二类型的手势是按压并保持手势。
69.根据权利要求64至68中任一项所述的方法，还包括：
响应于检测到所述手势：
根据确定所述手势是第三类型的手势，显示先前未显示的状态指示符。
70.根据权利要求64至69中任一项所述的方法，其中使得所述第一附件设备和所述第二附件设备改变为所述第二状态包括使得所述第一附件设备和所述第二附件设备执行基于所述第一附件类型的类型的动作。
71.根据权利要求64至70中任一项所述的方法，还包括：
在检测到所述手势之前，显示与所述第一状态指示符相邻的第三状态指示符和与所述第三状态指示符相邻的第四状态指示符，其中基于对应于每个相应状态指示符的相应状态指示符类别依次序显示所述第一状态指示符、所述第三状态指示符和第四状态指示符。
72.根据权利要求64至71中任一项所述的方法，还包括：
根据确定所述手势是所述第一类型的手势并且指向所述第一状态指示符，在预先确定的时间段之后停止显示所述第一状态指示符。
73.根据权利要求64至72中任一项所述的方法，其中：
当检测到所述手势时，在第一位置处显示所述第一状态指示符；并且
所述方法还包括：
根据确定所述手势是所述第一类型的手势并且指向所述第一状态指示符，停止在所述第一位置处显示所述第一状态指示符并且在所述第一位置处显示第六状态指示符，其中在检测到所述手势之前，所述第六状态指示符与所述第一状态指示符相邻。
74.根据权利要求64至73中任一项所述的方法，还包括：
根据所述确定所述手势是所述第一类型的手势并且指向所述第一状态指示符，在视觉上更新所述第一状态指示符，使得所述第一状态指示符从指示所述第一附件类型的所述多个附件设备处于所述第一状态改变为指示所述第一附件类型的所述多个附件设备已改变状态。
75.根据权利要求64至74中任一项所述的方法，其中：
在第一用户界面上显示所述第一状态指示符；并且
所述方法还包括：
接收显示不同于所述第一用户界面的第二用户界面的请求；以及
响应于接收到显示所述第二用户界面的所述请求：
显示包括状态指示符的所述第二用户界面，所述状态指示符指示所述第一附件类型的一个或多个附件设备处于所述第一状态，其中：
根据确定所述第二用户界面对应于第一组附件设备并且所述第一附件设备对应于所述第一组附件设备，所述第一附件类型的所述一个或多个附件设备包括所述第一附件设备；并且
根据确定所述第二用户界面对应于所述第一组附件设备并且所述第一附件设备不对应于所述第一组附件设备，所述第一附件类型的所述一个或多个附件设备不包括所述第一附件设备。
76.根据权利要求64至75中任一项所述的方法，还包括：
在检测到所述手势之前，显示指示第三附件类型的一个或多个附件设备处于第七状态的第八状态指示符，其中所述一个或多个附件设备包括所述第三附件类型的第八附件设备；并且
所述方法还包括：
根据确定所述手势是所述第二类型的手势并且指向所述第八状态指示符：
根据确定所述第八状态指示符对应于少于预先确定数量的处于所述第七状态的所述第三附件类型的附件设备，显示对应于所述第八附件设备的第八附件控制用户界面对象，其中对所述第八附件控制用户界面对象的选择使得所述第八附件设备改变为第八状态；以及
根据确定所述第八状态指示符对应于不少于所述预先确定数量的处于所述第七状态的所述第三附件类型，显示对应于所述第八附件设备的第九附件控制用户界面对象，其中对所述第九附件控制用户界面对象的选择使得所述第八附件设备改变为不同于所述第八状态的第九状态。
77.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中所述计算机系统与显示生成部件和一个或多个输入设备通信，所述一个或多个程序包括用于执行根据权利要求64至76中任一项所述的方法的指令。
78.一种计算机系统，包括：
一个或多个处理器，其中所述计算机系统与显示生成部件和一个或多个输入设备通信；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求64至76中任一项所述的方法的指令。
79.一种计算机系统，包括：
用于执行根据权利要求64至76中任一项所述的方法的装置。
80.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中所述计算机系统与显示生成部件和一个或多个输入设备通信，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件显示第一状态，所述第一状态指示第一附件类型的多个附件设备处于第一状态，其中所述第一附件类型的所述多个附件设备包括：
第一附件设备，所述第一附件设备为所述第一附件类型并且处于所述第一状态；和
第二附件设备，所述第二附件设备为所述第一附件类型并且处于所述第一状态，其中所述第二附件设备不同于所述第一附件设备；
在显示所述第一状态指示符时，检测手势；以及
响应于检测到所述手势：
根据确定所述手势是第一类型的手势并且指向所述第一状态指示符，使得所述第一附件设备和所述第二附件设备改变为不同于所述第一状态的第二状态；以及
根据确定所述手势是不同于所述第一类型的手势的第二类型的手势并且指向所述第一状态指示符，经由所述显示生成部件显示对应于所述第一附件设备的第一附件控制用户界面对象，其中对所述第一附件控制用户界面对象的选择使得所述第一附件设备改变为所述第二状态而不使得所述第二附件设备改变为所述第二状态。
81.一种计算机系统，包括：
一个或多个处理器，其中所述计算机系统与显示生成部件和一个或多个输入设备通信；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
经由所述显示生成部件显示第一状态，所述第一状态指示第一附件类型的多个附件设备处于第一状态，其中所述第一附件类型的所述多个附件设备包括：
第一附件设备，所述第一附件设备为所述第一附件类型并且处于所述第一状态；和
第二附件设备，所述第二附件设备为所述第一附件类型并且处于所述第一状态，其中所述第二附件设备不同于所述第一附件设备；
在显示所述第一状态指示符时，检测手势；以及
响应于检测到所述手势：
根据确定所述手势是第一类型的手势并且指向所述第一状态指示符，使得所述第一附件设备和所述第二附件设备改变为不同于所述第一状态的第二状态；以及
根据确定所述手势是不同于所述第一类型的手势的第二类型的手势并且指向所述第一状态指示符，经由所述显示生成部件显示对应于所述第一附件设备的第一附件控制用户界面对象，其中对所述第一附件控制用户界面对象的选择使得所述第一附件设备改变为所述第二状态而不使得所述第二附件设备改变为所述第二状态。
82.一种计算机系统，包括：
用于经由所述显示生成部件显示第一状态的装置，所述第一状态指示第一附件类型的多个附件设备处于第一状态，其中所述第一附件类型的所述多个附件设备包括：
第一附件设备，所述第一附件设备为所述第一附件类型并且处于所述第一状态；和
第二附件设备，所述第二附件设备为所述第一附件类型并且处于所述第一状态，其中所述第二附件设备不同于所述第一附件设备；
用于在显示所述第一状态指示符时检测手势的装置；和
响应于检测到所述手势而用于以下操作的装置：
根据确定所述手势是第一类型的手势并且指向所述第一状态指示符，使得所述第一附件设备和所述第二附件设备改变为不同于所述第一状态的第二状态；以及
根据确定所述手势是不同于所述第一类型的手势的第二类型的手势并且指向所述第一状态指示符，经由所述显示生成部件显示对应于所述第一附件设备的第一附件控制用户界面对象，其中对所述第一附件控制用户界面对象的选择使得所述第一附件设备改变为所述第二状态而不使得所述第二附件设备改变为所述第二状态。
83.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的计算机系统处：
经由所述显示生成部件显示媒体用户界面，所述媒体用户界面包括：
在第一位置处的第一媒体消息的第一表示，和
在不同于所述第一位置的第二位置处的第二媒体消息的第二表示；
响应于显示所述媒体用户界面并且不基于对应于所述媒体用户界面的用户输入，播放所述第一媒体消息；以及
响应于检测到从头到尾播放所述第一媒体消息的完成：
显示所述第二媒体消息的所述第二表示，而不经由所述显示生成部件显示对应于所述第一媒体消息的表示。
84.根据权利要求83所述的方法，其中：
在所述第一位置处显示所述第一媒体消息的所述第一表示包括在所述第一位置处并且以第一尺寸显示所述第一媒体消息的所述第一表示；并且
在所述第二位置处显示所述第二媒体消息的所述第二表示包括在所述第二位置处并且以不同于所述第一尺寸的第二尺寸显示所述第二媒体消息的所述第二表示。
85.根据权利要求83至84中任一项所述的方法，还包括：
经由所述显示生成部件，在所述第一位置处显示所述第一媒体消息的所述第一表示并且在所述第二位置处显示所述第二媒体消息的所述第二表示的同时：
以不同于所述第一尺寸的第三尺寸并且在不同于所述第一位置和所述第二位置的第三位置处显示第三媒体消息的第三表示；以及
响应于检测到从头到尾播放所述第一媒体消息的完成：
以所述第一尺寸并且在所述第一位置处显示所述第二媒体消息的所述第二表示，而不经由所述显示生成部件显示所述第一媒体消息的所述第一表示；以及
以所述第二尺寸并且在所述第二位置处显示所述第三媒体消息的所述第三表示。
86.根据权利要求83至85中任一项所述的方法，还包括：
接收对应于媒体消息的数据，所述媒体消息包括所述第一媒体消息和所述第二媒体消息，所述第一媒体消息是来自第一远程用户的第一消息，所述第二媒体消息是来自不同于所述第一远程用户的第二远程用户的第二消息；
经由所述显示生成部件显示对应于所述媒体消息的通知；
在显示所述通知时，经由所述一个或多个输入设备接收对所述通知的选择；
其中响应于接收到对所述通知的选择，发生显示所述媒体用户界面；并且
其中响应于接收到对所述通知的选择，发生播放所述第一媒体消息。
87.根据权利要求83至86中任一项所述的方法，其中所述第一尺寸大于所述第二尺寸和所述第三尺寸。
88.根据权利要求83至87中任一项所述的方法，还包括：
响应于检测到从头到尾播放所述第一媒体消息的完成，在没有接收到另外的用户输入的情况下，播放所述第二媒体消息。
89.根据权利要求83至88中任一项所述的方法，其中在检测到从头到尾播放所述第一媒体消息的完成之前，第四媒体消息的第四表示不与所述第一媒体的所述第一表示同时显示，所述方法还包括：
在检测到从头到尾播放所述第一媒体消息的完成之后，经由所述显示生成部件显示所述第四媒体消息的所述第四表示。
90.根据权利要求88至89中任一项所述的方法，还包括：
在播放所述第二媒体消息时，在所述媒体用户界面中显示下一个媒体用户界面对象，所述下一个媒体用户界面对象在被激活时使得所述第二媒体消息的播放完成；
在播放所述第二媒体消息时，经由所述一个或多个输入设备接收对所述下一个媒体用户界面对象的激活；以及
响应于接收到对所述下一个媒体用户界面对象的激活，经由所述显示生成部件在所述第一位置处显示所述第三媒体消息的所述第三表示，而不经由所述显示生成部件显示所述第二媒体消息的所述第二表示。
91.根据权利要求83至90中任一项所述的方法，还包括：
在播放最后媒体消息之后，经由所述显示生成部件在所述媒体用户界面中显示重播用户界面对象，所述重播用户界面对象在被激活时播放所述第一媒体消息然后继续播放后续媒体消息。
92.根据权利要求83至91中任一项所述的方法，其中所述第一媒体消息、所述第二媒体消息和所述第三媒体消息指向包括所述计算机系统的目标组设备，所述方法还包括：
经由所述显示生成部件在所述媒体用户界面中显示组播示能表示，所述组播示能表示在被激活时发起用于将音频组播消息发送到所述目标组设备的过程。
93.根据权利要求83至92中任一项所述的方法，还包括：
在播放相应媒体消息时，经由所述显示生成部件并且在所述媒体用户界面中显示从其接收所述相应媒体消息的相应用户的名称。
94.根据权利要求83至93中任一项所述的方法，其中以第一背景颜色显示当前正在播放的媒体消息的表示，所述第一背景颜色不同于当前未播放的媒体消息的相应显示表示的背景颜色。
95.根据权利要求83至94中任一项所述的方法，其中所述媒体消息是音频消息。
96.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中所述计算机系统与显示生成部件和一个或多个输入设备通信，所述一个或多个程序包括用于执行根据权利要求83至95中任一项所述的方法的指令。
97.一种计算机系统，包括：
一个或多个处理器，其中所述计算机系统与显示生成部件和一个或多个输入设备通信；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求83至95中任一项所述的方法的指令。
98.一种计算机系统，包括：
用于执行根据权利要求83至95中任一项所述的方法的装置。
99.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序，其中所述计算机系统与显示生成部件和一个或多个输入设备通信，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件显示媒体用户界面，所述媒体用户界面包括：
在第一位置处的第一媒体消息的第一表示，和
在不同于所述第一位置的第二位置处的第二媒体消息的第二表示；
响应于显示所述媒体用户界面并且不基于对应于所述媒体用户界面的用户输入，播放所述第一媒体消息；以及
响应于检测到从头到尾播放所述第一媒体消息的完成：
显示所述第二媒体消息的所述第二表示，而不经由所述显示生成部件显示对应于所述第一媒体消息的表示。
100.一种计算机系统，包括：
一个或多个处理器，其中所述计算机系统与显示生成部件和一个或多个输入设备通信；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
经由所述显示生成部件显示媒体用户界面，所述媒体用户界面包括：
在第一位置处的第一媒体消息的第一表示，和
在不同于所述第一位置的第二位置处的第二媒体消息的第二表示；
响应于显示所述媒体用户界面并且不基于对应于所述媒体用户界面的用户输入，播放所述第一媒体消息；以及
响应于检测到从头到尾播放所述第一媒体消息的完成：
显示所述第二媒体消息的所述第二表示，而不经由所述显示生成部件显示对应于所述第一媒体消息的表示。
101.一种计算机系统，所述计算机系统与显示生成部件和一个或多个输入设备通信，所述计算机系统包括：
用于经由所述显示生成部件显示媒体用户界面的装置，所述媒体用户界面包括：
在第一位置处的第一媒体消息的第一表示，和
在不同于所述第一位置的第二位置处的第二媒体消息的第二表示；
响应于显示所述媒体用户界面并且不基于对应于所述媒体用户界面的用户输入，用于播放所述第一媒体消息的装置；和
响应于检测到从头到尾播放所述第一媒体消息的完成而用于以下操作的装置：
显示所述第二媒体消息的所述第二表示，而不经由所述显示生成部件显示对应于所述第一媒体消息的表示。
CN202180003575.7A 2020-05-11 2021-05-11 用于音频消息的用户界面 Pending CN113939799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111652452.4A CN114327354A (zh) 2020-05-11 2021-05-11 用于音频消息的用户界面

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US202063023225P 2020-05-11 2020-05-11
US63/023,225 2020-05-11
US202063041979P 2020-06-21 2020-06-21
US63/041,979 2020-06-21
DKPA202070617 2020-09-22
DKPA202070617A DK202070617A1 (en) 2020-05-11 2020-09-22 User interface for audio message
US202063090632P 2020-10-12 2020-10-12
US63/090,632 2020-10-12
PCT/US2021/031760 WO2021231412A1 (en) 2020-05-11 2021-05-11 User interface for audio message

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111652452.4A Division CN114327354A (zh) 2020-05-11 2021-05-11 用于音频消息的用户界面

Publications (1)

Publication Number Publication Date
CN113939799A true CN113939799A (zh) 2022-01-14

Family

ID=76181304

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180003575.7A Pending CN113939799A (zh) 2020-05-11 2021-05-11 用于音频消息的用户界面
CN202111652452.4A Pending CN114327354A (zh) 2020-05-11 2021-05-11 用于音频消息的用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111652452.4A Pending CN114327354A (zh) 2020-05-11 2021-05-11 用于音频消息的用户界面

Country Status (3)

Country Link
EP (2) EP4283452A3 (zh)
CN (2) CN113939799A (zh)
WO (1) WO2021231412A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
WO2023235594A1 (en) * 2022-06-03 2023-12-07 Apple Inc. User interfaces for managing a time-based event
WO2023235557A1 (en) * 2022-06-03 2023-12-07 Apple Inc. User interfaces for managing accessories

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
EP2256605B1 (en) 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US8462961B1 (en) * 2004-05-27 2013-06-11 Singlewire Software, LLC Method and system for broadcasting audio transmissions over a network
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9977591B2 (en) * 2013-10-01 2018-05-22 Ambient Consulting, LLC Image with audio conversation system and method
KR102277752B1 (ko) * 2014-01-06 2021-07-16 삼성전자주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
US10444715B2 (en) * 2014-05-01 2019-10-15 Belkin International, Inc. Controlling settings and attributes related to operation of devices in a network
US11113022B2 (en) * 2015-05-12 2021-09-07 D&M Holdings, Inc. Method, system and interface for controlling a subwoofer in a networked audio system
KR102383130B1 (ko) * 2016-01-18 2022-04-08 삼성전자주식회사 기능을 제어하는 방법 및 이를 지원하는 전자 장치
US10310725B2 (en) * 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
US20200186378A1 (en) * 2017-05-19 2020-06-11 Curtis Wayne Six Smart hub system
EP3639630B1 (en) * 2017-06-15 2024-06-12 Lutron Technology Company LLC Communicating with and controlling load control systems

Also Published As

Publication number Publication date
EP3959590A1 (en) 2022-03-02
WO2021231412A1 (en) 2021-11-18
EP3959590B1 (en) 2024-03-06
EP4283452A2 (en) 2023-11-29
EP4283452A3 (en) 2024-02-28
CN114327354A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
US11079913B1 (en) User interface for status indicators
US20220004356A1 (en) User interface for audio message
CN114168103B (zh) 用于音频媒体控件的用户界面
CN112506346B (zh) 用于管理可控外部设备的用户界面
EP3959590B1 (en) User interface for accessory control
US20240069711A1 (en) User interfaces for managing accessories
JP7236585B2 (ja) 音声メッセージのためのユーザインタフェース
CN117957518A (zh) 媒体控件用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination