JP2021179948A - 音声メッセージのためのユーザインタフェース - Google Patents

音声メッセージのためのユーザインタフェース Download PDF

Info

Publication number
JP2021179948A
JP2021179948A JP2020159840A JP2020159840A JP2021179948A JP 2021179948 A JP2021179948 A JP 2021179948A JP 2020159840 A JP2020159840 A JP 2020159840A JP 2020159840 A JP2020159840 A JP 2020159840A JP 2021179948 A JP2021179948 A JP 2021179948A
Authority
JP
Japan
Prior art keywords
user interface
media
accessory
display
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020159840A
Other languages
English (en)
Other versions
JP7121780B2 (ja
Inventor
アンドリュー スンヒョン キム，
Seunghyun Kim Andrew
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA202070617A external-priority patent/DK202070617A1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2021179948A publication Critical patent/JP2021179948A/ja
Priority to JP2022125792A priority Critical patent/JP7236585B2/ja
Application granted granted Critical
Publication of JP7121780B2 publication Critical patent/JP7121780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

【課題】音声メッセージを記録し、外部デバイスにマルチキャストする処理において、指定された複数の外部デバイスを制御するためのユーザインタフェースを提供する。【解決手段】ユーザインタフェースは、ホームに関連する指定された複数の外部デバイスと、デバイスの状態を示す状態インジケータを表示する。スワイプジェスチャが行われると追加の状態インジケータを表示する。押圧及び保持ジェスチャが行われると、対応する各々のデバイスの作動状態等を示す画面に移行する。タップジェスチャの検出に応答して、デバイスの状態を変化させる。【選択図】図１４

Description

（関連出願の相互参照）
本出願は、２０２０年５月１１日に出願され、「ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＦＯＲ ＡＵＤＩＯ ＭＥＳＳＡＧＥ」と題された米国仮特許出願第６３／０２３，２２５号に関するものであり、その内容は参照によりその全体が本明細書に組み込まれる。
本開示は、概して、コンピュータユーザインタフェースに関し、より具体的には、音声メッセージを管理するための技術に関する。
ユーザは、英数字文字を使用して、他のユーザと通信するためにインスタントメッセージを送信する。このようなメッセージング技術は、典型的には、ユーザがキーボードを使用して文字を入力するか、又はデバイスがその後に送信される文字に音声を音声表記することを必要とする。ユーザは、モバイル機器を使用して外部デバイスと対話する。このような双方向作用は、多くの場合、煩雑であり、ユーザが複数の外部デバイスと個別に対話することを必要とする。
電子デバイスを使用して音声メッセージを管理するための現在の技術は、概して煩雑であり、非効率である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技術は、必要以上の時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、本技術は、音声メッセージを管理するための、より速く、より効率的な方法及びインタフェースを電子デバイスに提供する。そのような方法及びインタフェースは、メッセージを管理するための他の方法を任意選択的に補完する又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減させ、より効率的なヒューマン−マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。そのような方法及びインタフェースは、メッセージの単なる言葉ではなくメッセージの階調（例えば、重要性、重大性、皮肉さ、悲しさ、陽気さ）を含むメッセージを送信することを可能にし、受信者が、スピーカの独自の音声によってメッセージのスピーカを認識することを可能にする。このような方法及びインタフェースはまた、キーボードを使用して入力を提供する、又は入力を使用して音声表記を訂正する必要性を低減又は排除する。
モバイル機器で外部デバイスの状態を管理するための現在の技術は、概して煩雑であり、非効率である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技術は、必要以上の時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、本技術は、外部デバイスを管理するための、より速く、より効率的な方法及びインタフェースを電子デバイスに提供する。そのような方法及びインタフェースは、任意選択的に、ユーザが、単一の入力を介して、個々の外部デバイスを管理するか、又は外部デバイスを同時に管理することを可能にするなどの、外部デバイスを管理するための他の方法を補完するか、又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減させ、より効率的なヒューマン−マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。
一部の実施形態によれば、方法が記載される。本方法は、ディスプレイ生成構成要素と通信するコンピュータシステムで実行される。本方法は、ディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示することと、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信することと、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示することであって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始すること、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始することを含む、表示することとを含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ生成構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示し、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信し、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示することであって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始すること、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始することを含む、表示する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、ディスプレイ生成構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示し、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信し、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示することであって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始すること、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始することを含む、表示する、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上のプロセッサであって、コンピュータがディスプレイ生成構成要素と通信するものと１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示し、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信し、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示することであって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始すること、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始することを含む、表示する、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、コンピュータシステムと通信するディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示するための手段と、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信するための手段と、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示するための手段であって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始するもの、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、手段とを備える。
一部の実施形態によれば、方法が記載される。本方法は、ディスプレイ生成構成要素と通信するコンピュータシステムで実行される。本方法は、第１のメディアに対応する第１のデータを受信することと、ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示することと、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、第２のメディアが第１のメディアとは異なる、第２のデータを受信することと、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示することであって、第１の時間周期の端部が第２の時間周期の端部と異なる、第２の通知を表示することとを含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、第１のメディアに対応する第１のデータを受信し、ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示し、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、第２のメディアが第１のメディアとは異なる、第２のデータを受信することと、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示することであって、第１の時間周期の端部が第２の時間周期の端部と異なる、第２の通知を表示することとを含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、ディスプレイ構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、第１のメディアに対応する第１のデータを受信し、ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示し、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、第２のメディアが第１のメディアとは異なる、第２のデータを受信することと、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示することであって、第１の時間周期の端部が第２の時間周期の端部と異なる、第２の通知を表示することとを含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上のプロセッサであって、コンピュータシステムがディスプレイ構成要素と通信するものと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、１つ以上のプログラムは、第１のメディアに対応する第１のデータを受信し、ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示し、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、第２のメディアが第１のメディアとは異なる、第２のデータを受信することと、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示することであって、第１の時間周期の端部が第２の時間周期の端部と異なる、第２の通知を表示することとを含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、第１のメディアに対応する第１のデータを受信するための手段と、コンピュータシステムと通信する生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示するための手段と、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信するための手段であって、第２のメディアが第１のメディアとは異なる手段と、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示するための手段であって、第１の時間周期の端部が第２の時間周期の端部と異なる手段とを備える。
一部の実施形態によれば、方法が記載される。本方法は、１つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスで実行される。本方法は、１つ以上のマイクロフォンを介して音声入力を受信することと、音声入力の視覚的な指示を表示することであって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を表示することを含むこととを含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、１つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、１つ以上のマイクロフォンを介して音声入力を受信し、音声入力の視覚的な指示を表示することであって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を有する視覚的な指示を表示することを含む、音声入力の視覚的な指示を表示する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、１つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、１つ以上のマイクロフォンを介して音声入力を受信し、音声入力の視覚的な指示を表示することであって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を有する視覚的な指示を表示することを含む、音声入力の視覚的な指示を表示する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、１つ以上のマイクロフォンと、１つ以上のスピーカと、１つ以上のディスプレイ装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリを備え、１つ以上のプログラムは、１つ以上のマイクロフォンを介して音声入力を受信し、音声入力の視覚的な指示を表示することであって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を有する視覚的な指示を表示することを含む、音声入力の視覚的な指示を表示する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、１つ以上のマイクロフォンと、１つ以上のスピーカと、１つ以上のディスプレイ装置と、１つ以上のマイクロフォンを介して音声入力を受信するための手段と、音声入力の視覚的な指示を表示する手段であって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を表示することを含む手段とを備える。
一部の実施形態によれば、方法が記載される。本方法は、コンピュータシステムで実行されるものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信する。本方法は、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む、第１の状態を表示することと、第１の状態インジケータを表示している間に、ジェスチャを検出することと、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することとを含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む、第１の状態を表示し、第１の状態インジケータを表示している間に、ジェスチャを検出し、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む、第１の状態を表示し、第１の状態インジケータを表示している間に、ジェスチャを検出し、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上のプロセッサであって、コンピュータシステムがディスプレイ生成構成要素及び１つ以上の入力デバイスと通信するものと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む、第１の状態を表示し、第１の状態インジケータを表示している間に、ジェスチャを検出し、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示するための手段であって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む手段と、第１の状態インジケータを表示している間に、ジェスチャを検出するための手段と、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示するための手段であって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる手段とを備える。
一部の実施形態によれば、方法が記載される。本方法は、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信するコンピュータシステムで実行される。本方法は、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示することと、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生することと、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示することとを含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示し、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生し、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示し、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生し、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示する、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上のプロセッサであって、コンピュータシステムがディスプレイ生成構成要素及び１つ以上の入力デバイスと通信するものと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示し、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生し、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示する、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信する。コンピュータシステムは、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示するための手段と、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生するための手段と、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示するための手段とを備える。
これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
このため、音声メッセージを管理するための、より速く、より効率的な方法及インタフェースがデバイスに提供され、それによって、このようなデバイスの有効性、効率、及びユーザ満足度が増す。そのような方法及びインタフェースは、音声メッセージを管理するための他の方法を補完する又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態に係るタッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係るイベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に係るタッチスクリーンを有するポータブル多機能デバイスを示す。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係るポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインタフェースを示す。
いくつかの実施形態に係るディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインタフェースを示す。
いくつかの実施形態に係るパーソナル電子デバイスを示す。
いくつかの実施形態に係るパーソナル電子デバイスを示すブロック図である。
いくつかの実施形態に係るタッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。 いくつかの実施形態に係るタッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。
いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。
いくつかの実施形態に係る電子デバイスを示す。
いくつかの実施形態に係る電子デバイスを示すブロック図である。
いくつかの実施形態に係る、物理的構造及び例示的なデバイスの１組を示す図である。
いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、音声メッセージを送信するための方法を示すフロー図である。 いくつかの実施形態に係る、音声メッセージを送信するための方法を示すフロー図である。
いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、通知を表示するための方法を示すフロー図である。
いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、視覚的な指示を表示するための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、視覚的な指示を表示するための方法を示すフロー図である。
いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、外部デバイスを管理するための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、外部デバイスを管理するための方法を示すフロー図である。
いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、音声メッセージを再生するための方法を示すフロー図である。 実施形態の説明
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供されることを認識されたい。
音声メッセージを管理するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。音声メッセージを管理するための技術は、デバイスの効率を増大させ（例えば、不必要な表示を低減する）、外部デバイスの周囲に提供される情報を増大させ（例えば、音声メッセージのソースを表示すること）、（オーディオ入力を受信したデバイスの状態のユーザに視覚的フィードバックを提供することによって）プライバシーを増大させる。このような技術は、音声メッセージを使用するユーザの認識的負担を軽減し、それにより、生産性を高めることができる。更に、このような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減させることができる。
以下の図１Ａ〜１Ｂ、図２、図３、図４Ａ〜４Ｂ、及び図５Ａ〜５Ｊでは、音声メッセージを送信及び受信するための技術を実行するための例示的なデバイスについて説明する。図６は、いくつかの実施形態に係る、音声メッセージを送信及び受信するための技術を実行するための物理的構造及び例示的なデバイスの１組を示す図である。
図７Ａ〜７ＡＨは、いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。図８Ａ〜８Ｂは、いくつかの実施形態に係る、音声メッセージを送信するための方法を示すフロー図である。図７Ａ〜７ＡＨのユーザインタフェースは、図８Ａ〜８Ｂのプロセスを含む、後述のプロセスを示すために使用される。
図９Ａ〜９Ｘは、いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。図１０は、いくつかの実施形態に係る、通知を表示するための方法を示すフロー図である。図９Ａ〜９Ｘのユーザインタフェースは、図１０のプロセスを含む、後述するプロセスを示すために使用される。
図１１Ａ〜１１Ｒは、視覚的な指示を表示するための例示的なユーザインタフェースを示す。図１２は、視覚的な指示を表示するための方法を示すフロー図である。図１１Ａ〜１１Ｒのユーザインタフェースは、図１２のプロセスを含む、後述のプロセスを示すために使用される。
図１３Ａ〜１３Ｎは、デバイスの状態を管理するための例示的なユーザインタフェースを示す。図１４は、デバイスの状態を管理するための方法を示すフロー図である。図１３Ａ〜１３Ｎのユーザインタフェースは、図１４のプロセスを含む、後述のプロセスを示すために使用される。
図１５Ａ〜１５Ｆは、いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。図１６は、いくつかの実施形態に係る、音声メッセージを再生するための方法を示すフロー図である。図１５Ａ〜１５Ｆのユーザインタフェースは、図１６のプロセスを含む、後述のプロセスを示すために使用される。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「〜の場合（if）」という用語は、任意選択的に、文脈に応じて、「〜とき（when）」若しくは「〜とき（upon）」、又は「〜と判定したことに応じて（in response to determining）」若しくは「〜を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「〜と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応じて、「〜と判定したとき（upon determining）」若しくは「〜と判定したことに応じて（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応じて（in response to detecting [the stated condition or event]）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションに対応する。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係るタッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求の範囲では、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装例では、複数の力センサからの力測定値は、接触の推定される力を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装例では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装例では、接触力又は圧力に対する代理測定は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超過したかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的制御部を介して）受信するための面積が制限されている、低減されたサイズのデバイス上で、通常であればユーザによってアクセスすることが不可能であり得る追加のデバイス機能への、ユーザのアクセスが可能となる。
本明細書及び特許請求の範囲において使用される場合、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実施される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上で実施される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field Communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、動き通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、エボリューションデータオンリ（Evolution,Data-Only、ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈローエネルギ（Bluetooth Low Energy、ＢＴＬＥ（登録商標））、ワイヤレスフィデリティ（Wireless Fidelity、Ｗｉ−Ｆｉ（登録商標））（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／若しくはＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ（登録商標）、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレベレイジングエクステンションのためのセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適した通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び、他の入力デバイス若しくは制御デバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的な実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量コントロールのための上下ボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
全体として参照により本明細書に組み込まれている、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン１１２のロックを係合解除し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをアンロックするプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押下は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体として参照により本明細書に組み込まれている、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許公報第２００２／００１５０２４Ａ１号という米国特許に記載されているマルチタッチ感知タッチパッドに類似している。しかしながら、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」という出願に記載されている。これらの出願は全て、全体として参照により本明細書に組み込まれている。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指による接触及びジェスチャを主に扱うように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど精密でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２又はタッチスクリーンによって形成されるタッチ感知面の拡張部とは別個のタッチ感知面である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用することが有効である。いくつかの実施形態では、光センサは、デバイスの前面に配置し、したがってユーザの画像が、任意選択的に、テレビ会議のために入手され、ユーザは、他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができ、したがって単一の光センサ１６４が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び／又はビデオ画像の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の深度カメラセンサ１７５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内の対象物（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされた画像の種々の部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、深度情報を有するユーザの画像が、任意選択的に、テレビ会議のために取得されるように、及び、深度マップデータを有する自撮り画像をキャプチャするように、デバイス１００の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、あるいはデバイス１００の背面及び前面に配置されている。いくつかの実施形態では、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、したがって深度カメラセンサ１７５が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び／又はビデオ画像の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体として参照により本明細書に組み込まれている、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように機能するものであり、これらの出願は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに配置される場合（例えば、ユーザが電話通話を行っている場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。代わりに、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体として参照により本明細書に組み込まれている、米国特許公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ−ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計１６８に加えて、磁気計並びにデバイス１００の場所及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置情報、のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込み型オペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイスの制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは類似であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２（ディスプレイコントローラ１５６と連携して）及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が生じたか否かを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したか否かを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットが、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス１００の物理ハードウェアを変化させることなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変化させることなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装例では、デバイスのユーザは、強度閾値のセットのうちの１つ以上を調整するソフトウェア設定が提供される（例えば、システムレベルのクリック「強度」パラメータによって、個々の強度閾値を調整すること、及び／又は複数の強度閾値を一度に調整することによる）。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的な影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性）を変化させる構成要素を含めて、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じて、デバイス１００上の１つ以上の場所で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置に基づくダイヤル発呼で使用するために電話１３８へ、写真／ビデオのメタデータとしてカメラ１４３へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●任意選択的に気象ウィジェット１４９−１、株式ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９−６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は、
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、連絡先モジュール１３７は、任意選択的に、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、実際の住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／又は促進することなどを含めて、アドレス帳又は連絡先リスト（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶される）を管理するために使用される。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、会話の実施、会話が終了したときの通話停止又はハングアップのために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザ命令に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザ命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、それぞれのインスタントメッセージの送信（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連携して、トレーニングサポートモジュール１４２は、トレーニング（例えば、時間、距離、及び／又はカロリー燃焼目標を有する）を作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）のキャプチャ及びメモリ１０２内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ１０２からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連携して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像の配置、修正（例えば、編集）、あるいはその他の操作、ラベル付け、削除、提示（例えば、デジタルスライドショー又はアルバムにおける）、及び記憶のための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ブラウザモジュール１４７は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含めて、ユーザ命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、カレンダモジュール１４８は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダアイテム、ｔｏ ｄｏリストなど）を作成し、表示し、修正し、記憶するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットモジュール１４９は、任意選択的にユーザによってダウンロード及び使用されるミニアプリケーション（例えば、気象ウィジェット１４９−１、株式ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９−６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットクリエータモジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザ命令に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）に一致するメモリ１０２内の文字、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索するための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（例えば、タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザ命令に従ってメモ、ｔｏ ｄｏリストなどを作成及び管理するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、地図モジュール１５４は、任意選択的に、ユーザ命令に従って、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の場所又はその付近の店舗及び他の対象地点に関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、受信（例えば、ストリーミング及び／又はダウンロードによる）、再生（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上）、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容が全体として参照により本明細書に組み込まれている、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」において見ることができる。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した１つ以上の機能及び本出願に記載する方法（例えば、本明細書に記載するコンピュータにより実装される方法及び他の情報処理方法）を実行する実行可能な命令のセットに対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は他の形で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュール及びデータ構造体のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係るイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）と、それぞれのアプリケーション１３６−１（例えば、前述のアプリケーション１３７〜１５１、１５５、３８０〜３９０のうちのいずれか）とを含む。
イベントソータ１７０は、イベント情報を受信し、イベント情報が伝送されるアプリケーション１３６−１、及びアプリケーション１３６−１のアプリケーションビュー１９１を判定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビュー（単数又は複数）を示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソータ１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６−１が実行を再開するときに使用すべき再開情報、アプリケーション１３６−１によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション１３６−１の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ１１２上のユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示するとき、サブイベントが１つ以上のビュー内のどこで行われたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウインドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントシーケンス内の第１のサブイベント）が行われる最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、このヒットビューは、典型的には、ヒットビューとして特定されたのと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を伝送する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６−１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６−１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの任意の１つ以上は、ユーザインタフェースキット、又は、アプリケーション１３６−１が方法及び他の属性を継承する上位レベルのオブジェクト対象などの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上が、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、このイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７−１）及びイベント２（１８７−２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント１（１８７−１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７−２）の定義は、表示されたオブジェクト対象上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ１１２にわたるタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２上に３つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されたとき、イベント比較部１８４は、ヒットテストを実行して、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新し、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択で含む。いくつかの実装例又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００はまた、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンを含む。前述したように、メニューボタン２０４は、任意選択的に、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６へナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２上に表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替的実施形態では、デバイス１００はまた、マイクロフォン１１３を介して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力も受け入れる。デバイス１００はまた、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７を含む。
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を含む入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、典型的には、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０と、タッチパッド３５５と、デバイス３００上に触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して前述した触知出力生成器１６７に類似している）と、センサ３５９（例えば、図１Ａを参照して前述した接触強度センサ１６５に類似している光、加速度、近接、タッチ感知、及び／又は接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造体を任意選択的に記憶する。
次に、任意選択的に例えばポータブル多機能デバイス１００上で実施されるユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態に係るポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ−Ｆｉ（登録商標）信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８：
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の登録商標）モジュール１５２とも呼ばれるビデオ及び音楽プレーヤモジュール１５２のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン：
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株式」とラベル付けされた、株式ウィジェット１４９−２のアイコン４３４、
○「地図」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９−１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９−４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６についての設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２のためのアイコン４２２は、「音楽」又は「音楽プレーヤ」と表示される。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対する触知出力を生成する１つ以上の触知出力生成器３５７を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の１次軸（例えば、図４Ｂの４５３）に対応する１次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの動き）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられるが、一部の実施形態では、指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりの）マウスクリックに続けた、（例えば、接触の移動の代わりの）スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ〜４Ｂ）に関して説明する特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下ではタッチスクリーン５０４、を有する。あるいは、又はタッチスクリーン５０４に加えて、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出及び処理する例示的な技法は、例えば、それぞれ全体として参照により本明細書に組み込まれている、国際特許第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際特許第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」という関連出願に見られる。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的機構とすることができる。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、アイウェア、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０に接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構５０８は、任意選択的にボタンである。
いくつかの例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はこれらの組み合わせなどの様々なセンサを含み、これらのセンサは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含み得、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス８００（図８Ａ〜８Ｂ）、プロセス１０００（図１０）、プロセス１２００（図１２）、プロセス１４００（図１４）、及びプロセス１６００（図１６）を含めた、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ−ｒａｙ（登録商標）技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書では、「アフォーダンス」という用語は、任意選択的にデバイス１００、３００、及び／又は５００（図１Ａ、図３、及び図５Ａ〜５Ｂ）のディスプレイスクリーン上に表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及び文字（例えば、ハイパーリンク）はそれぞれ、意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の場所マーカーを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、タッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を有効化するタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の場所で入力（例えば、接触による押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装例では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによる）なく、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域へ動かされ、これらの実装例では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる特有の形態に関わらず、フォーカスセレクタは、概して、ユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）であり、ユーザの意図する対話をユーザインタフェースによって通信するように、ユーザによって制御される（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによる）。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する既定の期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。いくつかの実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１組の１つ以上の強度閾値は、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超過しない特性強度を有する接触は、第１の動作をもたらし、第１の強度閾値を超過するが第２の強度閾値を超過しない特性強度を有する接触は、第２の動作をもたらし、第２の閾値を超過する特性強度を有する接触は、第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか）を判定するために使用される。
図５Ｃは、複数の強度センサ５２４Ａ〜５２４Ｄによってタッチ感知ディスプレイスクリーン５０４上で複数の接触５５２Ａ〜５５２Ｅを検出することを示す。図５Ｃは、追加として、強度単位に対する強度センサ５２４Ａ〜５２４Ｄの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ５２４Ａ及び５２４Ｄの強度測定値はそれぞれ９強度単位であり、強度センサ５２４Ｂ及び５２４Ｃの強度測定値はそれぞれ７強度単位である。いくつかの実装形態では、集約強度は、複数の強度センサ５２４Ａ〜５２４Ｄの強度測定値の和であり、この例では３２強度単位である。いくつかの実施形態では、各接触に、集約強度の一部分であるそれぞれの強度が割り当てられる。図５Ｄは、力の中心５５４からの距離に基づいて、集約強度を接触５５２Ａ〜５５２Ｅに割り当てることを示す。この例では、接触５５２Ａ、５５２Ｂ、及び５５２Ｅのそれぞれに、集約強度の８強度単位の接触の強度が割り当てられ、接触５５２Ｃ及び５５２Ｄのそれぞれに、集約強度の４強度単位の接触の強度が割り当てられる。より一般的には、いくつかの実装例では、各接触ｊは、所定の数学関数Ｉｊ＝Ａ・（Ｄｊ／ΣＤｉ）に従って、合計の強度Ａの一部分である、それぞれの強度Ｉｊが割り当てられ、ここで、Ｄｊは、力の中心からそれぞれの接触ｊまでの距離であり、ΣＤｉは、力の中心から全てのそれぞれ接触（例えば、ｉ＝１から最後まで）までの距離の和である。図５Ｃ〜図５Ｄを参照して説明した動作は、デバイス１００、３００又は５００と類似若しくは同一の電子デバイスを使用して行うことができる。いくつかの実施形態では、接触の特性強度は、接触の１つ以上の強度に基づいている。いくつかの実施形態では、強度センサは、単一の特性強度（例えば、単一の接触の単一の特性強度）を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｃ〜図５Ｄに含まれていることに留意されたい。
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始場所から遷移して終了場所に到達する連続するスワイプ接触を受信し、その時点で接触の強度が増大する。この例では、終了場所での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了場所の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下の強度閾値、深い押下の強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、それを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫している。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への、接触の特性強度の増大は、「軽い押圧」の入力と呼ばれることがある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への、接触の特性強度の増大は、「深い押圧」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値は、ゼロより大きい。
本明細書に記載する一部の実施形態では、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは複数の接触）によって実行されたそれぞれの押圧入力を検出したことに応じて、１つ以上の動作が実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押圧入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押圧入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）を検出したことに応じて実行される。
図５Ｅ〜５Ｈは、図５Ｅの軽い押圧の強度閾値（例えば、「ＩＴＬ」）を下回る強度から、図５Ｈの深い押圧の強度閾値（例えば、「ＩＴＤ」）を上回る強度への、接触５６２の強度の増大に対応する押圧入力を含むジェスチャの検出を示す。接触５６２によって実行されるジェスチャは、タッチ感知面５６０上で検出され、既定領域５７４内に表示されたアプリケーションアイコン５７２Ａ〜５７２Ｄを含む表示ユーザインタフェース５７０上では、アプリ２に対応するアプリケーションアイコン５７２Ｂの上にカーソル５７６が表示される。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ５０４上に検出される。強度センサは、タッチ感知面５６０上の接触の強度を検出する。デバイスは、接触５６２の強度が深い押圧の強度閾値（例えば、「ＩＴＤ」）を上回ってピークに達したと判定する。接触５６２は、タッチ感知面５６０上で維持される。ジェスチャの検出に応答して、ジェスチャ中に深い押圧の強度閾値（例えば、「ＩＴＤ」）を上回る強度を有する接触５６２に従って、図５Ｆ〜５Ｈに示すように、アプリ２に対して最近開いた文書の縮尺が低減された表現５７８Ａ〜５７８Ｃ（例えば、サムネイル）が表示される。いくつかの実施形態では、１つ以上の強度閾値と比較される強度は、接触の特性強度である。接触５６２に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｅ〜５Ｈに含まれていることに留意されたい。
いくつかの実施形態では、表現５７８Ａ〜５７８Ｃの表示は、アニメーションを含む。例えば、図５Ｆに示すように、表現５７８Ａが、アプリケーションアイコン５７２Ｂに近接して最初に表示される。アニメーションが進むにつれて、図５Ｇに示すように、表現５７８Ａは上方へ動き、表現５７８Ｂが、アプリケーションアイコン５７２Ｂに近接して表示される。次いで、図５Ｈに示すように、表現５７８Ａが上方へ動き、表現５７８Ｂが表現５７８Ａに向かって上方へ動き、表現５７８Ｃが、アプリケーションアイコン５７２Ｂに近接して表示される。表現５７８Ａ〜５７８Ｃは、アイコン５７２Ｂの上にアレイを形成する。いくつかの実施形態では、アニメーションは、図５Ｆ〜５Ｇに示すように、接触５６２の強度に従って進行し、接触５６２の強度が深い押圧の強度閾値（例えば、「ＩＴＤ」）に向かって増大するにつれて、表現５７８Ａ〜５７８Ｃが現れ、上方へ動く。いくつかの実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図５Ｅ〜５Ｈを参照して説明する動作は、デバイス１００、３００、又は５００に類似又は同一の電子デバイスを使用して実行することができる。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）を検出したことに応答して実行される。類似して、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押圧入力（例えば、状況に依存して、接触の強度の増大又は接触の強度の減少）を検出したことに応答して実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力、又は押圧入力を含むジェスチャに応答して実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応答してトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応答して実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応答して実行される。
図５Ｉは、例示的な電子デバイス５８０を示す。デバイス５８０は、本体５８０Ａを含む。いくつかの実施形態では、デバイス５８０は、デバイス１００、３００、及び５００（例えば、図１Ａ〜５Ｂ）に関して説明する特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５８０は、１つ以上のスピーカ５８０Ｂ（本体５８０Ａに隠す）、１つ以上のマイクロフォン５８０Ｃ、１つ以上のタッチ感知面５８０Ｄ、及び１つ以上のディスプレイ５８０Ｅを有する。代替の場合、又はディスプレイ及びタッチ感知面５８０Ｄに加えて、デバイスは、タッチ感知ディスプレイ（タッチスクリーンとも呼ばれる）を有する。デバイス１００、３００、及び５００と同様に、いくつかの実施形態では、タッチ感知面５８０Ｄ（又はタッチスクリーン）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを含む。タッチ感知面５８０Ｄ（又はタッチスクリーン）の１つ以上の強度センサによって、タッチの強度を表す出力データが提供され得る。デバイス５８０のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５８０上で異なるユーザインタフェース動作を呼び出すことができることを意味する。いくつかの実施形態では、１つ以上のディスプレイ５８０Ｅは、１つ以上の発光ダイオード（ＬＥＤ）である。例えば、ディスプレイは、単一のＬＥＤ、ＬＥＤクラスタ（例えば、赤色、緑色、及び青色ＬＥＤ）、複数の分離ＬＥＤ、複数の分離ＬＥＤクラスタ、又は１つ以上のＬＥＤの他の配置であり得る。例えば、ディスプレイ５８０Ｅは、円形状（例えば、リング）に配置された９個の分離ＬＥＤクラスタのアレイであってもよい。いくつかの実施例では、１つ以上のディスプレイは、別のタイプの発光要素のうちの任意の１つ以上から構成される。
図５Ｊは、例示的なパーソナル電子デバイス５８０を図示する。いくつかの実施形態では、デバイス５８０は、図１Ａ、図１Ｂ、図３、及び図５Ａ〜５Ｂに関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５８０は、Ｉ／Ｏセクション５９４を１つ以上のコンピュータプロセッサ５９６及びメモリ５９８に動作可能に結合するバス５９２を有する。Ｉ／Ｏセクション５９４は、ディスプレイ５８２に接続することができ、ディスプレイは、タッチ感知式構成要素５８４と、任意選択的に強度センサ５８５（例えば、接触強度センサ）とを有することができる。いくつかの実施形態では、タッチ感知式構成要素５８４は、ディスプレイ５８２とは別個の構成要素である。加えて、Ｉ／Ｏセクション５９４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技術を使用してアプリケーション及びオペレーティングシステムデータを受信するための通信ユニット５９０に接続することができる。デバイス５８０は、入力メカニズム５８８を含むことができる。いくつかの例では、入力メカニズム５８８は、任意選択的にボタンである。いくつかの例では、入力メカニズム５８８は、任意選択的にマイクロフォンである。入力メカニズム５８８は任意選択的に、複数のマイクロフォン（例えば、マイクロフォンアレイ）である。
電子デバイス５８０は、音声を出力するスピーカ５８６を含む。デバイス５８０は、音声データを受信し、音声データを電気信号に変換し、電気信号をスピーカ５８６に送信するオーディオ回路（例えば、Ｉ／Ｏセクション５９４内）を含むことができる。スピーカ５８６は、電気信号を人間の可聴音波に変換する。オーディオ回路（例えば、Ｉ／Ｏセクション５９４内）はまた、マイクロフォン（例えば、入力メカニズム５８８）によって音波から変換された電気信号を受信する。オーディオ回路（例えば、Ｉ／Ｏセクション５９４内）は、電気信号を音声データに変換する。音声データは、任意選択的に、Ｉ／Ｏセクション５９４によって、（例えば、通信ユニット５９０の）メモリ５９８及び／又はＲＦ回路５９０から取得され、並びに／若しくはメモリ１０２及び／又はＲＦ回路１０８に送信される。
パーソナル電子デバイス５８０のメモリ５９８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含み得、それらの命令は、１つ以上のコンピュータプロセッサ５９６によって実行されると、例えば、コンピュータプロセッサに、プロセス８００（図８Ａ〜８Ｂ）、プロセス１０００（図１０）、プロセス１２００（図１２）、プロセス１４００（図１４）、及びプロセス１６００（図１６）を含めた、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ−ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５８０は、図５Ｊの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上で実装されるユーザインタフェース（「ＵＩ」）及び関連付けるプロセスの実施形態に注意を向ける。
図６は、いくつかの実施形態に係る物理的構造及び例示的なデバイスの１組を示す、図６００を含む。図６は、図８Ａ〜８Ｂ、図１０及び図１２のプロセスを含む、以下に説明するプロセスを例示するために使用される。
図６００は、ホーム６０２及び１組のデバイス（例えば、デバイス６４６、デバイス６０４など）を含む。ホーム６０２は、キッチン６０２ａ、ダイニングルーム６０２ｂ、寝室６０２ｃ、リビングルーム６０２ｄ、及びサンルーム６０２ｅなどの、複数の部屋を含む。キッチン６０２ａはホーム６０２の左上部分にあり、ダイニングルーム６０２ｂはキッチン６０２ａと寝室６０２ｃの間にあり、ここで寝室６０２ｃはダイニングルーム６０２ｂの右にある。キッチン６０２ａ及びダイニングルーム６０２ｂは、それらの間に壁を有していないが、ダイニングルーム６０２ｂと寝室６０２ｃの間は壁を有している。リビングルーム６０２ｄは、ホーム６０２の左下部分にあり、サンルーム６０２ｅは、ホーム６０２の右下部分にある。いくつかの実施形態では、ホーム６０２は、図６に図示される部屋以外の部屋を含み、及び／又は図６に図示される部屋を除外する。図６００はホームを図示しているが、これは単に一例であり、本明細書に記載される技術は、オフィスビル、ホテル、アパートなどの他のタイプの物理的構造体で機能することができることを認識されたい。
図６に示すように、ホーム６０２の各部屋は、少なくとも１つのデバイスを有する。しかしながら、いくつかの実施形態では、ホーム６０２の部屋は、デバイスを有さない。
図６に示すように、ジョンの電話６０４は、ストーブとヒケの間のカウンター上に位置するキッチン６０２ａにある。ダイニングルーム６０２ｂでは、ダイニングルームスピーカ６１６は、ダイニングルームテーブル上に位置している。寝室６０２ｃでは、ベッド上にパーソナルタブレット６３４が位置しており、寝室スピーカ６３６がベッドに隣接するナイトスタンド上に位置しており、寝室光６３２はベッドの反対側に配置される。リビングルーム６０２ｄでは、リビングルームスピーカ６４６及びリビングルームスピーカ６４８は、テレビの反対側にあり、リビングルームランプ６４２はテレビスクリーンの前に位置付けられる。サンルーム６０２ｅでは、サンルームスピーカ６５６及びサンルームスピーカ６５８は、部屋の両側に配置されている。
図６に示すように、コンピュータデバイス６７４及びジェーンの電話６８４は、ホーム６０２の外側にある。コンピュータデバイス６７４は、ホーム６０２から距離６７０である自動車のダッシュボード内の位置であり、ジェーンの電話６８４は、ホーム６０２から離れた距離６８０であり、現在、ジェーンの手元にある。いくつかの実施形態では、コンピュータデバイス６７４は、携帯電話（例えば、ジョンの電話６０４及び／又はジェーンの電話６８４に類似したパーソナルフォン）などの電子デバイスに接続され、電子デバイスは、コンピュータデバイス６７４にビジュアルコンテンツを表示させる命令をコンピュータデバイス６７４に提供する。距離６７０及び距離６８０は、ホームから離れた（例えば、１、５、１０メートル）閾値距離を超えているため、コンピュータデバイス６７４及びジェーンの電話６８４は、ホーム６０２に対応する場所にあるとは見なされない（例えば、ホーム６０２のジオフェンス内にないか、又はホーム６０２に関連付けられた（例えば、内に設定された）無線ネットワークに接続されていない）。
この例では、図６に示すスピーカ（例えば、ダイニングルームスピーカ６１６、寝室スピーカ６３６、リビングルームスピーカ６４６、リビングルームスピーカ６４８、サンルームスピーカ６５６、及びサンルームスピーカ６５８）、光（例えば、寝室光６３２及びリビングルームランプ６４２）、及びパーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、コンピュータデバイス６７４、及びジェーンの電話６８４）は、（例えば、ジョンのユーザアカウント又はジェーンのユーザアカウントなどのホーム６０２に関連付けられたユーザアカウントによって）ホーム６０２に（例えば、対応するグループに）指定される（例えば、プログラムでマッピングされる）。
加えて、それぞれ個々のスピーカ及び光はまた、それが配置された部屋に指定される（例えば、対応するグループにマッピングされる）。例えば、ダイニングルームスピーカ６１６には、ダイニングルーム６０２ｂに（例えば、対応するグループにプログラムでマッピングされる）指定される。寝室スピーカ６３６及び寝室光６３２は、寝室６０２ｃに指定される。リビングルームランプ６４２、リビングルームスピーカ６４６、及びリビングルームスピーカ６４８は、リビングルーム６０２ｄに指定され、サンルームスピーカ６５６及びサンルームスピーカ６５８はサンルーム６０２ｅに指定される。いくつかの実施形態では、各部屋に対応する各グループもまた、ホーム６０２に指定される。したがって、ホーム６０２の部屋にマッピングされるデバイスもまた、ホーム６０２に同時にマッピングされる。
外部デバイスは、異なる部屋に対応する２つの異なるデバイスグループに指定され得ない。例えば、ダイニングルームスピーカ６１６は、キッチン６０２ａ（例えば、キッチン６０２ａに対応するグループ）及びダイニングルーム６０２ｂに同時に指定され得ない。しかしながら、それぞれの部屋にそれぞれ指定された２つのグループのデバイスは、（同じ）ゾーンにマッピングすることができる。この例では、娯楽ゾーン６６０は、図６のリビングルーム６０２ｄ及び図６のサンルーム６０２ｅに指定される。この例では、娯楽ゾーン６６０は、ホーム６０２ｃの物理的部屋ではない。しかしながら、娯楽ゾーンは、サンルームリビングルーム６０２ｄ及びサンルーム６０２ｅに指定されるものとしてプログラムで定義される。いくつかの実施形態では、２つの異なるゾーンは、デバイスのグループを共有する（例えば、いくつかの重畳するデバイスを含み、それぞれがいくつかの非重畳デバイスを含む）。例えば、サンルーム６０２ｅに指定されたデバイスのグループは、娯楽ゾーン６６０及び摂食ゾーンにマッピングすることができる（例えば、摂食ゾーンは、ダイニングルーム６０２ｂ及びサンルーム６０２ｅに指定されたデバイスのグループに指定される）。
この例では、パーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、及びジェーンの電話６８４）は、部屋に対応するグループにプログラムマッピングされず、ホームに対応するグループにのみマッピングされる。
いくつかの実施形態では、図６に示すスピーカ、光、及びパーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、ジェーンの電話６８４）は、１つ以上のネットワーク（例えば、無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、Ｗｉ−Ｆｉ、４Ｇなど））を介して互いに直接的に接続された、又は間接的に接続されたスマートデバイスである。いくつかの実施形態では、スマートアプライアンス、スマートサーモスタット、スマートプラグアウトレットなどの他のスマートデバイスは、１つ以上のネットワークに接続される。いくつかの実施形態では、１つ以上のパーソナルデバイスはまた、スマートウォッチ、ラップトップコンピュータ、デスクトップなどの他のタイプのパーソナルデバイスを含むことができる。
図７Ａ〜７ＡＨは、いくつかの実施形態に係る、音声メッセージを送信するための例示的な電子デバイス及びユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図８Ａ〜８Ｂにおけるプロセスを含む、以下で説明するプロセスを例示するために使用される。
図７Ａは、ユーザインタフェース７０２を表示する電子デバイス７００を示す。図７Ａでは、電子デバイス７００は、ポータブル多機能デバイスであり、デバイス１００、２００、３００、及び５００のうちの任意の１つ以上に関して上述した１つ以上の構成要素を有する。以下の図に関して、いくつかの実施形態では、デバイス７００は、ホーム６０２から離れた所定の距離未満の場所で動作している。しかしながら、他の実施形態では、デバイス７００は、ホーム６０２から離れた所定の距離よりも遠い場所で動作している。いくつかの実施形態では、デバイス７００は、ホーム６０２に関連付けられたネットワーク（例えば、無線ネットワーク）に接続され、そのため、デバイス７００は、ホーム６０２に位置する少なくとも１つのデバイス（例えば、スピーカ、光）が接続される同じ無線ネットワークに接続される。いくつかの実施形態では、２つ以上の無線ネットワークは、ホーム６０２に関連付けられる。いくつかの実施形態では、デバイス７００は、それらのネットワークのうちの少なくとも１つに接続される。いくつかの実施形態では、デバイス７００は、ホーム６０２に関連付けられた１つ以上のネットワークに接続されない。したがって、デバイス７００は、デバイス７００がホーム６０２又はデバイス７００が接続されているネットワークからの距離に関わりなく、音声マルチキャストメッセージを送信し、ホーム６０２内のデバイスと通信することができる。
この説明は多くの場合、マルチキャストメッセージ（又は音声マルチキャストメッセージ）としてメッセージを指すが、このようなメッセージは任意選択的に、（１）マルチキャスト通信、（２）ブロードキャスト通信、（３）ユニキャスト通信、（４）又はこれらの任意の組み合わせを使用して送信される（例えば、（１）第１のデバイス（例えば、コントローラ）は、ユニキャスト通信を第２のデバイス（例えば、ホームのハブ）に送信し、（２）第２のデバイスは、（例えば、ユニキャスト通信からのコンテンツを含む）マルチキャスト又はブロードキャスト通信のいずれかを１つ以上の第３のデバイス（例えば、ホーム及び／又は１つ以上のパーソナルデバイス内の１つ以上のアクセサリデバイス）に送信する）。いくつかの実施形態では、マルチキャスト通信は、複数の受信者に送信される通信である。いくつかの実施形態では、ブロードキャスト通信は、チャネル又はネットワーク上のデバイスに送信される通信である。いくつかの実施形態では、ブロードキャスト通信は、チャネル又はネットワーク上の全てのデバイスに送信される通信である。いくつかの実施形態では、ユニキャスト通信は、単一の受信者に送信される通信である。そのような実施形態では、コンテンツが複数のデバイスに送信される必要がある場合、複数のユニキャスト通信が送信される。
いくつかの実施形態では、ブロードキャスト通信は、チャネル又はネットワーク上の全てのデバイスに送信される通信である。そのような実施形態では、コンテンツが複数のデバイスに送信される必要がある場合、複数のユニキャスト通信が送信される。
図７Ａに示すように、ユーザインタフェース７０２は、ホームアプリケーションアイコン７０４ａなどのアプリケーションアイコン７０４を含む。アプリケーションアイコン７０４のそれぞれは、アプリケーションアイコンが選択されると、デバイス７００にそれぞれのアプリケーションのユーザインタフェースを表示させるように、アプリケーションに対応する。例えば、ホームアプリケーションアイコン７０４ａは、ホームアプリケーションに対応する。図７Ａでは、デバイス７００は、ホームアプリケーションアイコン７０４ａに対応する場所でタップジェスチャ７５０ａ（例えば、選択）を検出する。
図７Ｂに示すように、タップジェスチャ７５０ａの検出に応答して、デバイス７００は、ホームアプリケーションのユーザインタフェース７１０を表示する。ユーザインタフェース７１０は、ホーム６０２に指定された複数の外部デバイスを制御するためのユーザインタフェースである。ユーザインタフェース７１０は、ホーム場所識別子７１２、状態情報７１４、マクロ制御７１６、外部デバイス制御７１８、ナビゲーション制御７２２、ホームマルチキャスト命令７２４、及びホームマルチキャストアフォーダンス７２６（例えば、選択可能なユーザインタフェースオブジェクト対象）を含む。
ホーム場所識別子７１２は、ホーム６０２に対応する名前である。この例では、場所識別子は、ホーム６０２のアドレス（例えば、「メインストリート１２３番地」）の一部である。いくつかの実施形態では、場所識別子は、ホームに指定されたエイリアスなどのエイリアスである。いくつかの実施形態では、エイリアスは、システム作成エイリアスである。いくつかの実施形態では、エイリアスは、ユーザ作成エイリアスである。いくつかの実施形態では、場所識別子は、デバイス７００のユーザ又は外部デバイスによって設定される。いくつかの実施形態では、場所識別子は、画像などのグラフィカルユーザインタフェースオブジェクト対象である。
状態情報７１４は、ホーム６０２に指定されたデバイスの一部の現在の状態に関する情報を含む。ここで、状態情報７１４は、少なくとも１つの光がホーム６０２にあることを示す。いくつかの実施形態では、状態情報７１４は、複数のデバイス（例えば、「寝室ファンオン」）の状態に関する情報を含む。
図７Ｂに示すように、ホーム場所識別子７１２及び状態情報７１４の下に２行のマクロ制御７１６が存在する。マクロ制御７１６は、それぞれのマクロを開始するためのアフォーダンス（例えば、選択可能なユーザインタフェースオブジェクト対象）である。いくつかの実施形態では、それぞれのマクロは、１つ以上の外部デバイスにアクションを実行させる。例えば、「おやすみ」マクロ制御は、選択されると、１つ以上の光をオフにさせる、１つ以上のスピーカに再生メディアを停止させる、及び／又は１つ以上のデッドボルトロックをロックさせる。
更に、図７Ｂでは、ユーザインタフェース７１０は、マクロ制御７１６の下の外部デバイス制御７１８のための行を含む。図７Ｂでは、外部デバイス制御７１８の２つの行は３列にわたって延在するため、合計６つの表示がある（例えば、３つのデバイス制御がそれぞれの対応する行上にある場合）。いくつかの実施形態では、ユーザは、より少ない外部デバイス制御７１８を必要とする制御のために、より少ない外部デバイスを有することができる。他の実施形態では、ユーザは、より多くの外部デバイス制御７１８を必要とする制御のために、より多くの外部デバイスを有することができる。いくつかの実施形態では、利用可能なスクリーンスペースよりも外部デバイス制御７１８が表示されると、スクリーンは、全ての外部デバイス制御を表示するために、スクロールする（例えば、上下又は左及び右）。外部デバイス制御７１８は、ダイニングルームスピーカ制御７１８ａ、リビングルームランプ制御７１８ｂ、リビングルームスピーカ制御７１８ｃ、サンルームスピーカ制御７１８ｄ、寝室スピーカ制御７１８ｅ、及び寝室光制御７１８ｆを含む。更に、外部デバイス制御７１８のそれぞれは、それぞれ対応する外部デバイスの現在の状態を表す状態情報を含む。例えば、ダイニングルームスピーカ制御７１８ａの状態情報は、ダイニングルームスピーカ６１６がメディアを現在再生中であり（この例では状態情報７１４によって表されていない）、リビングルームランプ制御７１８ｂの状態情報は、リビングルームランプ６４２が現在オフであることを示す（この例では状態情報７１４によって表される）。
外部デバイス制御７１８のそれぞれは、選択されたときに、ホーム６０２に指定された少なくとも１つのデバイスを制御する。例えば、ダイニングルームスピーカ制御７１８ａを選択すると、ダイニングルームスピーカ６１６に音楽を再生又は休止させる。いくつかの実施形態では、ダイニングルームスピーカ制御７１８ａが選択されると、ダイニングルームスピーカ制御７１８ａの状態情報は変化して、ダイニングルームスピーカ６１６がメディアの再生を休止したこと（例えば、寝室スピーカ制御７１８ｅによって示すように）、又はメディアの再生を停止していることを示す。外部デバイス制御７１８のいくつかは、選択されたときに複数のデバイスを制御する。例えば、サンルームスピーカ制御７１８ｄは、選択されると、サンルームスピーカ６５６及び６５８にメディアの再生を再生又は休止させ、サンルームスピーカ制御７１８ｄ上に表示される状態情報はそれに応じて変化する。外部デバイス制御７１８のいくつかは、スピーカデバイス制御ではない。例えば、外部デバイス制御７１８は、リビングルームランプ制御７１８ｂを含み、選択されると、リビングルームランプ制御７１８ｂに、リビングルームランプ６４２をオン／オフにさせ、リビングルームランプ制御７１８ｂ上に表示される状態情報はそれに応じて変化する。
いくつかの実施形態では、外部デバイス制御７１８は、ホーム６０２にも指定された他の外部制御のグループから選択される。例えば、図７Ｂに示す６つの制御は、ホーム６０２にも指定された１０、２０、又は５０（又は６よりも多い任意の他の数）の外部制御から選択することができる。いくつかの実施形態では、外部デバイス制御７１８は、これらの外部デバイス制御のそれぞれがお気に入りの制御であるという判定に基づいて選択される。いくつかの実施形態では、外部デバイスがお気に入りの制御であるかどうかの判定は、外部デバイス制御（又は外部デバイス）が直近に使用された、最も頻繁に使用された、新しく追加された、お気に入りの重要な外部デバイス制御として指定された（例えば、１つ以上の入力の検出を介して）、など、又はこれらの任意の組み合わせに基づいている。
ユーザインタフェース７１０の下部は、ナビゲーション制御７２２である。ナビゲーション制御７２２は、ホームナビゲーション制御７２２ａ、部屋ナビゲーション制御７２２ｂ、及び自動化ナビゲーション制御７２２ｃを含む。ナビゲーション制御７２２のそれぞれは、選択されると、デバイス７００に、ホームアプリケーションのための異なるユーザインタフェースを表示させる。
図７Ｂに示すように、ユーザインタフェース７１０は、ホームマルチキャストアフォーダンス７２６に隣接するホームマルチキャスト命令７２４を含む。図７Ｂでは、ホームマルチキャスト命令７２４は、ホーム６０２に指定された１つ以上のデバイスにマルチキャストされる音声メッセージを送信するために、ホームマルチキャストアフォーダンス７２６をユーザが選択（例えば、「タップ」）する必要があることを示す。図７Ｂでは、デバイス７００は、ホームマルチキャストアフォーダンス７２６に対応する場所でタップジェスチャ７５０ｂを検出する。
タップジェスチャ７５０ｂの検出に応答して、デバイス７００は、音声マルチキャストメッセージをホーム６０２に指定された１つ以上のデバイスに送信するためのプロセスを開始する。いくつかの実施形態では、プロセスは、以下で説明するように、図７Ｃ、図７Ｄ、及び図７Ｅに図示されるユーザインタフェースを表示することを含む。いくつかの実施形態では、プロセスは、以下で説明するように、図７Ｃ１に図示されるユーザインタフェースを表示することを含む。
図７Ｃに示すように、タップジェスチャ７５０ｂの検出に応答して、ユーザインタフェース７３０は、ホーム宛先識別子７３２、終了アフォーダンス７３４、及びマルチキャスト記録アフォーダンス７３６を含む。ホーム宛先識別子７３２は、音声マルチキャストメッセージが、ホーム６０２に指定されたデバイスのグループに向けられたことを示す（例えば、音声マルチキャストメッセージを受信する）。終了アフォーダンス７３４は、ユーザインタフェース７３０から出るためのアフォーダンスである。いくつかの実施形態では、終了アフォーダンス７３４が選択されると、デバイス７００は、図７Ｂに図示すように、ユーザインタフェース７３０の表示を中止し、ユーザインタフェース７１０を再表示する。図７Ｃでは、デバイス７００は、マルチキャスト記録アフォーダンス７３６に対応する場所でタップジェスチャ７５０ｃを検出する。
図７Ｄに示すように、タップジェスチャ７５０ｃの検出に応答して、デバイス７００はユーザインタフェース７４０を表示する。ユーザインタフェース７４０は、ユーザインタフェース７３０にも含まれていた、ホーム宛先識別子７３２と終了アフォーダンス７３４を含む。加えて、ユーザインタフェース７４０はまた、音声状態バー７４２及び音声波７４４ａを含む。
更に、図７Ｄでは、デバイス７００はまた、タップジェスチャ７５０ｃの検出に応答して、音声マルチキャストメッセージの記録を開始する。音声マルチキャストメッセージの音声は、デバイス７００の１つ以上のマイクロフォンを介して検出される。音声マルチキャストメッセージの音声は、１つ以上の外部ソース（例えば、ユーザ音声など）から検出される。ここで、記録された音声は音声波７４４ａによって表され、それは、デバイス７００によってより多くのオーディオ入力が受信されると、時間のある期間にわたって音声状態バー７４２を充填する。
図７Ｄに示すように、タップジェスチャ７５０ｃの検出に応答して、デバイス７００は、マルチキャスト記録アフォーダンス７３６が以前に図７Ｃに表示された位置で、マルチキャスト記録停止アフォーダンス７４６を表示する。図７Ｄでは、デバイス７００は、マルチキャスト記録停止アフォーダンス７４６に対応する場所でタップジェスチャ７５０ｄを検出する。
図７Ｅに示すように、タップジェスチャ７５０ｄの検出に応答して、デバイス７００はユーザインタフェース７５０を表示する。図７Ｅでは、タップジェスチャ７５０ｄの検出に応答して、デバイス７００は、１つ以上の外部ソースからの音声の記録又はキャプチャを中止している。したがって、ユーザインタフェース７５０は、記録された音声マルチキャストメッセージの少なくとも一部を表す、音声波７４４ａによってほとんど充填された音声状態バー７４２を含む。図７Ｅに示すように、ユーザインタフェース７５０は、音声マルチキャストメッセージ再生アフォーダンス７５２及び音声マルチキャストメッセージ削除アフォーダンス７５４を含む（例えば、ホーム宛先識別子７３２、終了アフォーダンス７３４、音声状態バー７４２、音声波７４４ａを含むことに加えて）。いくつかの実施形態では、音声マルチキャストメッセージ再生アフォーダンス７５２の選択の検出に応答して、デバイス７００は、音声マルチキャストメッセージの再生を開始する。いくつかの実施形態では、音声マルチキャストメッセージ削除アフォーダンス７５４の選択の検出に応答して、デバイス７００は、音声マルチキャストメッセージを削除する。いくつかの実施形態では、音声マルチキャストメッセージ削除アフォーダンス７５４の選択の検出に応じて、デバイス７００は、ユーザインタフェース７１０、７３０、及び／又は７４０を再表示する。
図７Ｅに示すように、タップジェスチャ７５０ｄの検出に応答して、デバイス７００は、マルチキャスト記録停止アフォーダンス７４６が図７Ｄに以前に表示された位置（図７Ｃではマルチキャスト記録アフォーダンス７３６が表示された位置）で、マルチキャスト送信アフォーダンス７５６を表示する。
図７Ｃ、図７Ｄ、及び図７Ｅに記載されたフローの代替の場合、デバイス７００は、図７Ｂでのタップジェスチャ７５０ｂの検出に応答して、図７Ｃ１に示すユーザインタフェースを表示することができる。図７Ｃ１に示すように、タップジェスチャ７５０ｂの検出に応答して、デバイス７００は、ユーザインタフェース７４１を表示し、（例えば、タップジェスチャ７５０ｃなどの任意の更なるジェスチャを検出することなく）音声マルチキャストメッセージの記録を自動的に開始する。図７Ｃ１に示すように、ユーザインタフェース７４１は、図７Ｃ、図７Ｄ、及び図７Ｅに関連して上述したものと類似の技術を使用してデバイス７００が表示する、ホーム宛先識別子７３２、終了アフォーダンス７３４、音声波７４４ａ、マルチキャスト送信アフォーダンス７４７を含む。例えば、図７Ｃ１では、音声波７４４ａは動的であり、音声が記録されている時間の長さにわたって現在記録されている音声の１つ以上の特性（例えば、レベル、ピッチ、階調）に関して経時的に変化する。いくつかの実施形態では、音声が記録されている時間の長さにわたって音声が記録されている際、音声波７４４ａは左に移動する。
いくつかの実施形態では、音声は、７Ｃ、７Ｄ、及び７Ｅに記載されたフローを通して、及び／又は図７Ｃに記載されたフローを通す代わりに、図７Ｂのユーザインタフェース７１０又は図７Ｃ１のユーザインタフェース７４１を使用して記録される。例えば、ホームマルチキャストアフォーダンス７２６上での保持ジェスチャの検出に応答して、デバイス７００は、音声マルチキャストメッセージの記録を開始する。そのような例では、記録は、保持ジェスチャが終了する（例えば、解放される）ときに停止され、ホームマルチキャストアフォーダンス７２６を送信アフォーダンス（例えば、マルチキャスト送信アフォーダンス７５６と類似）で置き換えることが発生する。いくつかの実施形態では、保持ジェスチャが終了すると、音声はマルチキャストメッセージとして自動的に送信される。いくつかの実施形態では、保持ジェスチャが終了すると、ホームマルチキャスト命令７２４は、音声を再生するためのアフォーダンス（例えば、音声状態バー７４２と類似）及び音声を削除するためのアフォーダンス（例えば、音声マルチキャストメッセージ削除アフォーダンス７５４と類似）に置き換えられる。別の例では、ホームマルチキャストアフォーダンス７２６上でのタップジェスチャの検出に応答して、ホームマルチキャストアフォーダンス７２６は、マルチキャスト記録アフォーダンス７３６と類似に動作する（例えば、（マルチキャスト記録停止アフォーダンス７４６と類似の）停止アフォーダンスと置き換えられる）。そのような例では、停止アフォーダンス上でのタップジェスチャの検出に応答して、（１）停止アフォーダンスは、（例えば、マルチキャスト送信アフォーダンス７５６と類似の）送信アフォーダンスと置き換えられ、（２）ホームマルチキャスト命令７２４は、音声を再生するための（例えば、音声状態バー７４２と類似の）アフォーダンス及び（例えば、音声マルチキャストメッセージ削除アフォーダンス７５４と類似の）音声を削除するためのアフォーダンスと置き換えられる。図７Ｅで、デバイス７００は、マルチキャスト送信アフォーダンス７５６に対応する場所でタップジェスチャ７５０ｅを検出し、又は図７Ｃ１でデバイス７００、デバイスは、マルチキャスト送信アフォーダンス７４７に対応する場所でタップジェスチャ７５０ｃ１を検出する。
図７Ｆに示すように、タップジェスチャ７５０ｅ又はタップジェスチャ７５０ｃ１（又は、先の段落で説明したような送信アフォーダンス上のタップジェスチャ）の検出に応答して、デバイス７００は、音声マルチキャストメッセージを、ホーム６０２に指定された１組の外部デバイスにマルチキャスト（送信）させる。そのような送信は任意選択的に、（１）音声マルチキャストメッセージを含むメッセージを別のデバイス（例えば、ホーム内に配置されたデバイス）に送信すること、及び（２）他のデバイスが、音声マルチキャストメッセージを１組の外部デバイスに送信すること（いくつかの実施形態では、他のデバイスは、デバイス７００の代わりに、外部デバイスの１組を識別する）を含む。表７０６は、音声マルチキャストメッセージが向けられた外部デバイスを示すために提供される。例えば、「受信した音声マルチキャストメッセージ」列のチェックマークは、音声マルチキャストメッセージがチェックマークのそれぞれの行上の外部デバイスに向けられ（例えば、送信され）たことを示し、「受信した音声マルチキャストメッセージ」列のダッシュは、音声マルチキャストメッセージがダッシュのそれぞれの列上の外部デバイスに向けられなかった（例えば、送信されていない）ことを示す。
図７Ｆでは、表７０６は、音声マルチキャストメッセージが各スピーカ（例えば、ダイニングルームスピーカ６１６、寝室スピーカ６３６、リビングルームスピーカ６４６、リビングルームスピーカ６４８、サンルームスピーカ６５６、及びサンルームスピーカ６５８）に向けられた（及び受信された）ことを示す。特に、音声マルチキャストメッセージはまた、パーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、及びジェーンの電話６８４）にも向けられた。いくつかの実施形態では、音声マルチキャストメッセージは、パーソナルデバイスがホームに対応する場所にあったかどうか関係なく（例えば、距離６７０及び６８０が閾値距離を超えるかどうかに関係なく）パーソナルデバイスに向けられる。例えば、音声マルチキャストメッセージは、図６では、ホーム６０２の内側に位置するジョンの電話６０４及びタブレット６３４に向けられた。加えて、音声マルチキャストメッセージはまた、ホーム６０２の外側にある、コンピュータデバイス６７４及びジェーンの電話６８４（それぞれ、ホーム６０２から距離６７０及び距離６８０離れている）に向けられた。いくつかの実施形態では、音声マルチキャストメッセージは、パーソナルデバイスがホームのネットワークに含まれているかどうかに依存するパーソナルデバイスに向けられる（例えば、パーソナルデバイスがホームのネットワークに含まれている場合には、音声マルチキャストメッセージはパーソナルデバイスに向けられる）。
図７Ｆの表７０６はまた、音声マルチキャストメッセージが、いくつかの外部デバイスに向けられていなかった（したがって、音声マルチキャストメッセージを受信しなかった）ことを示すが、それらはホーム６０２に指定されている。例えば、表７０６は、音声マルチキャストメッセージが寝室光６３２及びリビングルームランプ６４２に向けられていないことを示す。いくつかの実施形態では、音声マルチキャストメッセージは、音声マルチキャストメッセージが送信されているデバイスのグループに指定されているかどうかにかかわらず、音声マルチキャストメッセージは、いくつかのタイプの外部デバイスに向けられない。いくつかの実施形態では、これらのタイプの外部デバイスは、１つ以上のオーディオ入力デバイス（例えば、マイクロフォン）及び／又は１つ以上のオーディオ出力機器（例えば、スピーカ）を有さないデバイスを含む。いくつかの実施形態では、これらのタイプの外部デバイスは、音声メッセージが送信される時間（又は時間の前）に、非アクティブであるか、給電されていない、又は機能しないデバイスを含む。
図７Ｆに示すように、タップジェスチャ７５０ｅ又はタップジェスチャ７５０ｃ１（又は上述のように、送信アフォーダンス上のタップジェスチャ）を検出した後のある時点で、デバイス７００は、ユーザインタフェース７１０を再表示する。いくつかの実施形態では、ユーザインタフェース７１０は、デバイス７００がタップジェスチャ７５０ｅ又はタップジェスチャ７５０ｃ１を検出した後に任意の追加入力を検出することなく（例えば、タップジェスチャ７５０ｅ又はタップジェスチャ７５０ｃ１（又は、送信アフォーダンス上のタップジェスチャ）を検出した後の所定の時間の期間後に）（上述のように、（例えば、タップジェスチャを検出した後の所定の時間の期間後に））表示される。いくつかの実施形態では、ユーザインタフェース７１０は、図７Ｅの終了アフォーダンス７３４上で検出されるタップジェスチャ入力などの、１つ以上の追加入力が検出されると、ユーザインタフェース７１０が表示される。
いくつかの実施形態では、リビングルームランプ制御７１８ｂに対応する場所でのタップジェスチャ７５０ｆ１の検出に応答して、デバイス７００は、リビングルームランプ６４２をオン（又は現在の状態がオンであった場合はオフ）にする命令を送信する。いくつかの実施形態では、リビングルームスピーカ制御７１８ｃに対応する場所でのタップジェスチャ７５０ｆ２の検出に応答して、デバイス７００は、リビングルームスピーカ６４６及び６４８（又はそれらのうちの少なくとも１つ）に、メディアの再生を開始させる（例えば、又は現在の状態が再生している場合にメディアの再生を休止させる）命令を送信する。図７Ｆで、デバイス７００は、部屋ナビゲーションアフォーダンス７２２ｂに対応する場所でタップジェスチャ７５０ｆ３を検出する。
図７Ｇに示すように、タップジェスチャ７５０ｆ３の検出に応答して、デバイス７００は、ホームアプリケーションのユーザインタフェース７６０を表示し、ホームナビゲーション制御７２２ａ（例えば、図７Ｇでは太字ではない）の代わりに、ホームナビゲーション制御７２２ｂ（例えば、図７Ｇでは太字）が選択されていることを示す。ユーザインタフェース７６０は、リビングルーム場所識別子７６２によって示されるように、リビングルーム６０２ｄに指定された複数の外部デバイスを制御するためのユーザインタフェースである。ユーザインタフェース７１０は、マクロ制御７６６、外部デバイス制御７６８、ナビゲーション制御７２２、リビングルームマルチキャスト命令７７４、及びリビングルームマルチキャストアフォーダンス７７６を含む。ユーザインタフェース７６０のこれらの要素は、ホーム全体のデバイスの制御であるユーザインタフェース７１０の要素とは対照的に、リビングルームのデバイスのための特定の制御である。いくつかの実施形態では、ユーザインタフェース７６０のこれらの要素のうちの任意の１つ以上は、上述した（例えば、図７Ｂの）ユーザインタフェース７１０の要素のうちの任意の１つ以上に類似の目的又は機能性を有する。いくつかの実施形態では、ユーザインタフェース７６０は、リビングルーム６０２ｄに指定されたデバイスの現在の状態を含む状態情報を含む。いくつかの実施形態では、デバイス７００は、ユーザインタフェース７１０上でスワイプジェスチャを受信した後に、ホームアプリケーションのユーザインタフェース７６０を表示する。
特に、ホームアプリケーションのユーザインタフェース（例えば、ユーザインタフェース７１０及び７６０）は、階層にレイアウトされる。例えば、ユーザインタフェース７１０は、階層の上位ノードであり、ホーム６０２に指定された外部デバイスのグループのための制御を含む。ユーザインタフェース７１０を表示している間、デバイス７００にユーザインタフェース７６０を表示させる入力（例えば、単一の入力（例えば、タップジェスチャ７５０ｆ））を検出することができ、それは、階層の下位ノードであり、ホーム６０２のそれぞれの部屋（例えば、リビングルーム６０２ｄ）（及び他の部屋ではない）に指定された、外部デバイスのグループのための制御を含む。
図７Ｇに示すように、外部デバイス制御７６８は、リビングルームスピーカ制御７６８ａ、リビングルームランプ制御７６８ｂ、リビングルームスイッチ（例えば、光スイッチ）制御７６８ｃ、及びリビングテレビ制御７６８ｄを含む。図７Ｇでは、リビングルームスピーカ制御７６８ａ及びリビングルームランプ制御７６８ｂは、選択されると、リビングルームランプデバイス制御７１８ｂ及びリビングルームスピーカデバイス制御７１８ｃが、それらのそれぞれの外部デバイスに（例えば、図７Ｂで）実行させるアクションではなく、対応する外部デバイスのそれぞれに、同じアクションを実行させる。したがって、この例では、リビングルームスピーカ制御７６８ａ及びリビングルームランプ制御７６８ｂは、リビングルームスピーカデバイス制御７１８ｃ及びリビングルームランプデバイス制御７１８ｂと効果的に同じ制御であるが、それらはそれらに対応する部品のそれぞれとは視覚的に外観が異なる。いくつかの実施形態では、リビングルームスピーカ制御７６８ａ及びリビングルームランプ制御７６８ｂは、リビングルームスピーカデバイス制御７１８ｃ及びリビングルームランプデバイス制御７１８ｂと視覚的に外観が異なって見えない。
図７Ｂに表示された外部デバイス制御７１８と比較すると、外部デバイス制御７６８は、図７Ｂの外部デバイス制御７１８の一部として表示された少なくとも１つの外部デバイス制御（例えば、リビングルームスピーカ制御７６８ａ及びリビングルームランプ制御７６８ｂ）、及び表示されていない少なくとも１つの外部デバイス制御（例えば、リビングルームスイッチ制御７６８ｃ及びリビングルームテレビ制御７６８ｄ）を含む。換言すれば、少なくとも１つの外部デバイス（例えば、リビングルームスピーカ６４６及び６４８）は、ユーザインタフェース７１０及び７６０から制御することができ、少なくとも１つの外部デバイス（例えば、寝室スピーカ６３６及びユーザインタフェース７６０のリビングルームテレビ）は、ユーザインタフェース７１０及びユーザインタフェース７６０のうちの１つのみからのみ制御することができる。いくつかの実施形態では、リビングルームランプ制御７６８ｂに対応する場所でのタップジェスチャ７５０ｇ１の検出に応答して、デバイス７００は、リビングルームランプ６４２をオン（又は現在の状態がオンであった場合はオフ）にする命令を送信する。いくつかの実施形態では、リビングルームスピーカ制御７６８ａに対応する場所でのタップジェスチャ７５０ｇ２の検出に応答して、デバイス７００は、リビングルームスピーカ６４６及び６４８（又はそれらのうちの少なくとも１つ）に、メディアの再生を開始させる（例えば、又は現在の状態が再生している場合にメディアの再生を休止させる）命令を送信する。
加えて、外部デバイス制御７１８は、図７Ｂのホーム６０２のお気に入りの制御の１組であると指定されているが、外部デバイス制御７６８は、図７Ｇのリビングルーム６０２ｄに指定された全ての制御の１組である。図７Ｂでは、ユーザインタフェース７６０は、リビングルーム６０２ｄに指定されていない外部デバイスを全く含まない。例えば、ダイニングルームスピーカ制御７１８ａ、サンルームスピーカデバイス制御７１８ｄ、寝室スピーカデバイス制御７１８ｅ、及び寝室光デバイス制御７１８ｆは、ユーザインタフェース７６０上に表示されない。いくつかの実施形態では、タップジェスチャ７５０ｆ３の検出に応答して、別の部屋（例えば、寝室、サンルーム、キッチンなど）のための複数の外部デバイスを制御するためのユーザインタフェースが表示される。いくつかの実施形態では、別の部屋のための複数の外部デバイスを制御するためのユーザは、図７Ｇで検出される１つ以上の入力（例えば、スワイプ入力）に応答して表示される。
図７Ｇに示すように、ユーザインタフェース７６０は、リビングルームマルチキャストアフォーダンス７７６に隣接するリビングルームマルチキャスト命令７７４を含む。図７Ｇでは、リビングルームマルチキャスト命令７７４は、ユーザがリビングルーム６０２ｄに指定された１つ以上のデバイスにマルチキャストされる音声マルチキャストメッセージを送信するために、リビングルームマルチキャストアフォーダンス７７６を選択（例えば、「タップ」）する必要があることを示す。ここで、リビングルームマルチキャストアフォーダンス７７６は、（例えば、図７Ｂの）ホームマルチキャストアフォーダンス７２６とは視覚的に外観が異なって見えず、ホームマルチキャストアフォーダンス７２６が図７Ｂで表示されたデバイス７００上の同じ位置に表示される。いくつかの実施形態では、リビングルームマルチキャストアフォーダンス７７６は、ホームマルチキャストアフォーダンス７２６と視覚的に外観が異なるように見える。図７Ｇでは、デバイス７００は、リビングルームマルチキャストアフォーダンス７７６に対応する場所でタップジェスチャ７５０ｇ３を検出する。
タップジェスチャ７５０ｇ３の検出に応答して、デバイス７００は、音声マルチキャストメッセージをリビングルーム６０２ｄに指定された１つ以上のデバイスに送信するためのプロセスを開始する。いくつかの実施形態では、プロセスは、図７Ｈに図示するような、ユーザインタフェース７８０ａを表示することを含む。いくつかの実施形態では、プロセスは、デバイス７００がタップジェスチャ７５０ｇ３の検出に応答して表示される、図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェースを表示することを含む。いくつかの実施形態では、プロセスは、デバイス７００が図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェースを表示して、リビングルーム６０２ｄに指定されたデバイスのグループに送信する音声マルチキャストメッセージを記録することを含む。いくつかの実施形態では、プロセスは、図７Ｈ〜７Ｊに後述するように、デバイス７００がユーザインタフェースを表示することを含み、ここで音声が記録され、リビングルーム６０２ｄに指定されたデバイスのグループに送信される。
図７Ｈに示すように、タップジェスチャ７５０ｇ３の検出に応答して、ユーザインタフェース７８０ａは、ユーザインタフェース７８０ａが終了アフォーダンス７３４及びマルチキャスト記録アフォーダンス７３６も含むように、図７Ｃのユーザインタフェース７３０と類似である。しかしながら、ユーザインタフェース７８０ａは、ホーム宛先識別子７３２の代わりに、リビングルーム宛先識別子７８２を含む。リビングルーム宛先識別子７８２は、リビングルーム６０２ｄに指定されたデバイスのグループが、ユーザインタフェース７８０ａを介して送信されたマルチキャストメッセージを受信することを示す。いくつかの実施形態では、ユーザインタフェース７８０ａは、グループの一部であるデバイスの個々の名前／識別子をリスト表示しない。いくつかの実施形態では、ユーザインタフェース７３０に関して上述した１つ以上の技術をユーザインタフェース７８０ａに適用することができる。
図７Ｋを参照すると、いくつかの実施形態では、ユーザインタフェース７８０ｂは、タップジェスチャ７５０ｇ３の検出に応答して、リビングルーム６０２ｄに指定された１つ以上の（又は全ての）外部デバイス（例えば、スピーカ）が利用できない（例えば、非アクティブ又はオフである）という判定に従って表示される。図７Ｋに示されるように、ユーザインタフェース７８０ｂは、リビングルーム６０２ｄに指定された外部デバイスのうちの任意の１つ以上が利用不可能であり（又は、全てで全て未満が利用不可能である場合ではない）、マルチキャスト記録アフォーダンス７３６が、グレー表示又はグレーアウトとして表示されることを示すための利用不可能な示唆７８８を含む。図７Ｋでは、タップジェスチャ７５０ｋの検出に応答して、デバイス７００は、マルチキャスト記録アフォーダンス７３６が無効化されるため、ユーザインタフェース７８０ｂの表示を継続する（例えば、リビングルーム６０２ｄに指定された１つ以上の外部デバイスが利用可能になるまで）。いくつかの実施形態では、図７Ｃでデバイス７００がタップジェスチャ７５０ｃを検出したことに応答して、ユーザインタフェース７８０ｂと類似のユーザインタフェースが表示される。
図７Ｈに戻ると、デバイス７００は、マルチキャスト記録アフォーダンス７３６に対応する場所でタップジェスチャ７５０ｈを受信する。
図７Ｉに示すように、タップジェスチャ７５０ｈの受信に応答して、デバイス７００は、１つ以上の外部ソースから（例えば、デバイス７００のマイクロフォンを使用して）音声の記録を開始し、図７Ｄのユーザインタフェース７４０と類似のユーザインタフェース７８４を表示する。ユーザインタフェース７４０のように、ユーザインタフェース７８４は、終了アフォーダンス７３４、音声状態バー７４２、及びマルチキャスト記録停止アフォーダンス７４６を含む。しかしながら、ユーザインタフェース７８４は、音声波７４４ａによって表される図７Ｄに記録された音声から記録されている、異なる音声を表す音声波７４４ｂを含む。ユーザインタフェース７８４はまた、ホーム宛先識別子７３２の代わりに、リビングルーム宛先識別子７８２を含む。いくつかの実施形態では、ユーザインタフェース７４０に関して上述した１つ以上の技術をユーザインタフェース７８４に適用することができる。図７Ｉでは、デバイス７００は、マルチキャスト記録停止アフォーダンス７４６に対応する場所でタップジェスチャ７５０ｉを検出する。
図７Ｊに示すように、タップジェスチャ７５０ｉの検出に応答して、デバイス７００は、ユーザインタフェース７８６を表示し、１つ以上の外部ソースからの音声の記録又はキャプチャを停止する。ユーザインタフェース７８６は、（音声波７４４ａの代わりに）表示されている音声波７４４ｂ、及び（ホーム宛先識別子７３２の代わりに）表示されているリビングルーム宛先識別子７８２を除いて、ユーザインタフェース７５０と類似している。いくつかの実施形態では、ユーザインタフェース７５０に関して上述した１つ以上の技術をユーザインタフェース７８６に適用することができる。図７Ｊでは、デバイス７００は、マルチキャスト送信アフォーダンス７５６に対応する場所でタップジェスチャ７５０ｊ（又は、上述したように、図７Ｃ１のユーザインタフェース７４１と類似したユーザインタフェース上でのタップジェスチャ（例えば、タップジェスチャ７５０ｃ１と類似））を検出する。
いくつかの実施形態では、デバイス７００は、図７Ｌに示すように、タップジェスチャ７５０ｊ（又は、上述したように、図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェース上でのタップジェスチャ（例えば、タップジェスチャ７５０ｃ１と類似）の検出に応答して、ユーザインタフェース７９０を表示する。デバイス７００は、音声マルチキャストメッセージがリビングルーム６０２ｄに指定された外部デバイスの１つ以上（又は全て）に伝送することができないとの判定のとき、ユーザインタフェース７９０を表示する。ユーザインタフェース７９０は、音声マルチキャストメッセージが目標化された外部デバイスに伝送されなかったことを示すために、示唆７９１を伝送しない。いくつかの実施形態では、デバイス７００が図７Ｅのタップジェスチャ７５０ｅ又は図７Ｃ１のタップジェスチャ７５０ｃ１を検出したことに応答して、ユーザインタフェース７９０と類似のユーザインタフェースが表示される。
いくつかの実施形態では、ユーザインタフェース７３０、７４０、７５０、７８０ａ、７８０ｂ、７８４、７８６、及び７９０のうちの任意の１つ以上は、記録された音声マルチキャストメッセージの意図された目標をスワップするためのアフォーダンスを含む（例えば、宛先識別子を変更する）。例えば、音声マルチキャストメッセージを第１のグループのデバイス（例えば、ホーム６０２に指定されたデバイス）に送信するためのプロセスの開始後（図７Ｊを示す間、及び上述のような図７Ｃ１のユーザインタフェース７４１に類似のユーザインタフェース上の入力７５０ｊ又は（例えば、タップジェスチャ７５０ｃ１と類似の）タップジェスチャを受信する前などの）、デバイス７００は、記録された音声マルチキャストメッセージの意図された目標（例えば、又は意図された目標をスワップするための複数のアフォーダンス）を第１のグループのデバイスから第２のグループのデバイス（例えば、ダイニングルーム６０２ｂに指定されたデバイス）へとスワップするためのアフォーダンスの選択を検出することができる。
いくつかの実施形態では、音声は、タップジェスチャ７５０ｇの検出に応答して表示される、図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェースから記録され、送信される。いくつかの実施形態では、音声は、図７Ｈ〜７Ｊに記載されたフローの代わりに、図７Ｇのユーザインタフェース７６０から記録される。例えば、リビングルームマルチキャストアフォーダンス７７６上での保持ジェスチャの検出に応答して、デバイス７００は、音声マルチキャストメッセージの記録を開始する。そのような例では、記録は、保持ジェスチャが終了する（例えば、解放される）ときに停止され、リビングルームマルチキャストアフォーダンス７７６を送信アフォーダンス（例えば、マルチキャスト送信アフォーダンス７５６と類似）で置き換えることが発生する。そのような例では、リビングルームマルチキャスト命令７７４は、音声を再生するためのアフォーダンス（例えば、音声状態バー７４２と類似）及び音声を削除するためのアフォーダンス（例えば、音声マルチキャストメッセージ削除アフォーダンス７５４と類似）に置き換えられる。別の例では、リビングルームマルチキャストアフォーダンス７７６上でのタップジェスチャの検出に応答して、リビングルームマルチキャストアフォーダンス７７６は、マルチキャスト記録アフォーダンス７３６と類似に動作する（例えば、（マルチキャスト記録停止アフォーダンス７４６と類似の）停止アフォーダンスと置き換えられる）。そのような例では、停止アフォーダンス上でのタップジェスチャの検出に応答して、停止アフォーダンスは、（例えば、マルチキャスト送信アフォーダンス７５６と類似の）送信アフォーダンスと置き換えられ、リビングルームマルチキャスト命令７７４は、音声を再生するための（例えば、音声状態バー７４２と類似の）アフォーダンス及び（例えば、音声マルチキャストメッセージ削除アフォーダンス７５４と類似の）音声を削除するためのアフォーダンスと置き換えられる。
図７Ｍの表７０６に示すように、タップジェスチャ７５０ｊ（若しくは、先の段落で説明したような、送信アフォーダンス上のタップジェスチャ又は上述のように図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェース上のタップジェスチャ（例えば、タップジェスチャ７５０ｃ１と類似））の検出に応答して、デバイス７００は、音声マルチキャストメッセージを、リビングルーム６０２ｄに指定された１組の外部デバイスにマルチキャスト（送信又は方向付け）させる。そのような送信は任意選択的に、（１）音声マルチキャストメッセージを含むメッセージを別のデバイス（例えば、リビングルームに配置されたデバイス）に送信すること、及び（２）他のデバイスが、音声マルチキャストメッセージを１組の外部デバイスに送信すること（いくつかの実施形態では、他のデバイスは、デバイス７００の代わりに、外部デバイスの１組を識別する）を含む。表７０６に示すように、音声マルチキャストメッセージは、音声マルチキャストメッセージを受信する、リビングルームスピーカ６４６及び６４８のみに向けられる。特に、音声マルチキャストメッセージは、パーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、及びジェーンの電話６８４）に向けられていない、その理由は、パーソナルデバイスが部屋に対応するグループに指定されていない（例えば、パーソナルデバイスは、リビングルーム６０２ｄに対応するグループに指定されていない）ためである。更に、音声マルチキャストメッセージは、リビングルームランプ６４２に向けられない、その理由は、リビングルームランプ６４２が、上述した（例えば、図７Ｆの）類似の理由のために音声マルチキャストメッセージを受信することができる外部デバイスのタイプではないためである。
図７Ｍでは、デバイス７００は、フレーズ「ヘイ、アシスタント、マルチキャストこんにちは」を含む音声入力７９２ａを検出する。音声入力７９２ａの一部を検出した後しばらくして、デバイス７００はユーザインタフェース７９４に示唆７９４ａ（例えば、ユーザインタフェース７９４の左側）を表示する。ここで、示唆７９４ａは、音声入力７９２ａの一部の応答である。示唆７９４ａは、「ご用件は何でしょうか？」と書いてある文字である。いくつかの実施形態では、デバイス７００は、示唆７９４ａの可聴バージョンを含むメディアを出力する。
図７Ｎでは、図７Ｍのユーザインタフェース７９４を表示した後、デバイス７００は、ユーザインタフェース７９４の右側に示唆７９４ｂを表示する。加えて、デバイス７００は、ユーザインタフェース７９４の左側及び示唆７９４ｂの下に示唆７９４ｃを表示する。示唆７９４ｂは、音声入力７９２ａに含まれる可聴フレーズに対応する文字である「ヘイ、アシスタント、マルチキャストこんにちは」と書いてある文字である。加えて、示唆７９４ｃは、「ＯＫ、あなたのマルチキャストをメインストリート１２３番地に送りました」と書いてある文字である。特に、メインストリート１２３番地は、ホーム６０２の識別子（例えば、図７Ｂのホーム場所識別子７１２）である。いくつかの実施形態では、デバイス７００は、応答７９４ｃの可聴バージョンを含むメディアを出力する。
図７Ｎの表７０６に示すように、音声入力７９２ａを検出した後、図７Ｆに関連して上述したように、デバイス７００は、音声マルチキャストメッセージをホーム６０２に指定された１つ以上のデバイスに向ける（例えば、送信する）。表７０６は、（上述のように）デバイスがホームに対応する場所にあるかどうかにかかわらず、及び／又はデバイスがホームに関連付けられたネットワークに接続されているかどうかにかかわらず、音声マルチキャストメッセージ（例えば、「こんにちは」）がホームの各スピーカ（例えば、ダイニングルームスピーカ６１６、寝室スピーカ６３６、リビングルームスピーカ６４６、リビングルームスピーカ６４８、サンルームスピーカ６５６、及びサンルームスピーカ６５８）に向けられ、音声マルチキャストメッセージ（例えば、「こんにちは」）が、ホームのパーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、ジェーンの電話６８４）に向けられたことを示す。
図７Ｏに示すように、図７Ｎでユーザインタフェース７９４を表示した後しばらくして、デバイス７００は、ユーザインタフェース７１０を表示する。ユーザインタフェース７１０を表示している間に、デバイス７００は、図７Ｏで寝室スピーカ制御７１８ｅに対応する場所で、ジェスチャ７５０ｏ（例えば、長押しジェスチャ）を検出する。
図７Ｐに示すように、ジェスチャ７５０ｏの検出に応答して、デバイス７００は、寝室スピーカ６３６を制御するための複数の設定アフォーダンスを含むユーザインタフェース７９６を表示する（例えば、部屋設定（例えば、寝室スピーカ６３６が寝室６０２ｃに指定されていることを示すために寝室が図７Ｐで選択されている場合）、お気に入りの設定（例えば、お気に入りに含まれる場所が図７Ｐで選択され、これにより、寝室スピーカ制御７１８ｅをユーザインタフェース７１０上に表示させることができる））。図７Ｐに示すように、設定アフォーダンスのうちの１つはマルチキャスト設定アフォーダンス７９６ａであり、これは、寝室スピーカ６３６がマルチキャストメッセージを受信するように構成されているという示唆を含む。図７Ｐでは、デバイス７００は、マルチキャスト設定アフォーダンス７９６ａに対応する場所でタップジェスチャ７５０ｐを検出する。
図７Ｑに示すように、タップジェスチャ７５０ｐの検出に応答して、デバイス７００は、マルチキャスト設定トグル７９８ａを含む、ユーザインタフェース７９８を表示する。図７Ｑでは、マルチキャスト設定トグル７９８ａは、寝室スピーカ６３６がマルチキャストメッセージ（例えば、設定トグルの右側に表示された円）を受信するように構成されていることを示す。図７Ｑでは、デバイス７００は、マルチキャスト設定アフォーダンス７９８ａに対応する場所でタップジェスチャ７５０ｑを検出する。
図７Ｒに示すように、タップジェスチャ７５０ｑ、デバイス７００の検出に応答して、マルチキャストトグル７９８ａの状態を変更し（例えば、設定トグルの左側に円を移動させる）、寝室スピーカ６３６がマルチキャストメッセージを受信するように構成されていないことを示す。いくつかの実施形態では、図７Ｐのマルチキャスト設定アフォーダンス７９６ａは、異なるユーザインタフェース（例えば、ユーザインタフェース７９８）にナビゲートすることなく、オンからオフへの設定を変更するように選択可能である。
図７Ｓでは、デバイス７００は、フレーズ「ヘイ、アシスタント、サンルームへのマルチキャスト、こんにちは」を含む音声入力７９２ｂを検出する。音声入力７９２ｂの一部を検出した後しばらくして、デバイス７００はユーザインタフェース７９４に示唆７９４ｄ（例えば、ユーザインタフェース７９４の左側）を表示する。ここで、示唆７９４ｄは、音声入力７９２ｂの一部の応答である。示唆７９４ｄは、「ご用件は何でしょうか？」と書いてある文字である。いくつかの実施形態では、デバイス７００は、示唆７９４ｄの可聴バージョンを含むメディアを出力する。
図７Ｔでは、図７Ｓでユーザインタフェース７９４を表示した後、デバイス７００は、ユーザインタフェース７９４の右側に示唆７９４ｅを表示し、ユーザインタフェース７９４の左側（及び示唆７９４ｅの下）に示唆７９４ｆを表示する。示唆７９４ｅは、音声入力７９２ｂに含まれる可聴フレーズに対応する文字である「ヘイ、アシスタント、サンルームへのマルチキャスト、こんにちは」と書いてある文字である。加えて、示唆７９４ｆは、「ＯＫ、あなたのマルチキャストをサンルームに送りました」と書いてある文字である。特に、「サンルーム」は、図６のサンルーム６０２ｅに指定されるデバイスのグループの識別子である。
図７Ｔの表７０６に示すように、音声入力７９２ｂを検出した後、デバイス７００は、音声マルチキャストメッセージをサンルーム６０２ｅに指定された１つ以上のデバイスに向ける（例えば、送信する）。表７０６は、音声マルチキャストメッセージ（例えば、「こんにちは」）が、サンルームスピーカ６５６及びサンルームスピーカ６５８に向けられ、音声マルチキャストメッセージ（例えば、「こんにちは」）が他のデバイスに向けられていないことを示す。特に、音声入力７９２ｂは、識別子（例えば、「サンルーム」）を含んでいるが、音声７９２ａは識別子を含んでいなかった。したがって、いくつかの実施形態では、音声入力が識別子なしで検出されると、デバイス７００は、音声マルチキャストメッセージを既定のグループに指定されたデバイスのグループに送信する。いくつかの実施形態では、既定のグループは、図７Ｎに関連して上述したように、ホームに対応するグループ（例えば、ホーム６０２を有するなど）である。
図７Ｕでは、デバイス７００は、フレーズ「ヘイ、アシスタント、娯楽ゾーンへのマルチキャスト、こんにちは」を含む音声入力７９２ｃを検出する。音声入力７９２ｃの一部を検出した後しばらくして、デバイス７００はユーザインタフェース７９４に示唆７９４ｇ（例えば、ユーザインタフェース７９４の左側）を表示する。ここで、示唆７９４ｇは、音声入力７９２ｃの一部の応答である。示唆７９４ｇは、「ご用件は何でしょうか？」と書いてある文字である。いくつかの実施形態では、デバイス７００は、示唆７９４ｇの可聴バージョンを含むメディアを出力する。
図７Ｖでは、図７Ｕのユーザインタフェース７９４を表示した後しばらくして、デバイス７００は、ユーザインタフェース７９４の左側（及び示唆７９４ｈの下）に示唆７９４ｉを表示する。示唆７９４ｉは、「ＯＫ、あなたのマルチキャストを娯楽ゾーンに送りました」と書いてある文字である。ゾーンは、複数のデバイスのグループの識別子である。ここで、娯楽ゾーン６６０は、図６のサンルーム６０２ｅに対応するデバイスのグループ、及び図６のリビングルーム６０２ｄに対応するデバイスのグループに指定される。
図７Ｖの表７０６に示すように、音声入力７９２ｃを検出した後、デバイス７００は、音声マルチキャストメッセージを娯楽ゾーンに指定された１つ以上のデバイスに向ける（例えば、送信する）。表７０６は、音声マルチキャストメッセージ（例えば、「こんにちは」）が、リビングルームスピーカ６４６、リビングルームスピーカ６４８、サンルームスピーカ６５６、及びサンルームスピーカ６５８に向けられ、音声マルチキャストメッセージ（例えば、「こんにちは」）が他のデバイスに向けられていないことを示す。
図７Ｖに示すように、デバイス７００はまた、新しい音声マルチキャストメッセージが、サンルーム６０２ｅに指定されたデバイスのグループから受信されたことを示す、マルチキャスト通知７０８ａも表示する。新しい音声マルチキャストメッセージは、図７Ｔで送信された音声マルチキャストメッセージへの返信である。
図７Ｗでは、デバイス７００は、フレーズ「ヘイ、アシスタント、マルチキャスト、もうすぐ立ち去るつもりである」を含む音声入力７９２ｄを検出する。
図７Ｘでは、音声入力７９２ｄを検出した後しばらくして、デバイス７００は、ユーザインタフェース７９４の左側及び示唆７９４ｉの下に示唆７９４ｊを表示する。示唆７９４ｊは、「ヘイ、アシスタント、マルチキャスト、もうすぐ立ち去るつもりである」と書いてある文字である。この文字は、音声入力７９２ｄに含まれる可聴フレーズに対応する。ここで、音声入力７９２ｄは、識別子を含まない。加えて、図７Ｘでは、デバイス７００はまた、ユーザインタフェース７９４の右側及び示唆７９４ｊの下に表示７９４ｋを表示する。示唆７９４ｋは、「ＯＫ、あなたのマルチキャストをサンルームに送りました」と書いてある文字である。
図７Ｘの表７０６に示すように、音声入力７９２ｄを検出した後、デバイス７００は、音声マルチキャストメッセージをサンルームに指定されたデバイスのグループに送信するためのプロセス（例えば、「もうすぐ立ち去るつもりである」）を開始する。具体的には、デバイス７００は、サンルームの識別子を含む音声入力７９２ｄなしに、音声マルチキャストメッセージをサンルーム６０２ｅに指定された１つ以上のデバイスに向ける（例えば、送信する）。したがって、マルチキャスト通知７０８ａを受信した後の所定の時間の期間内に音声入力７９２ｄが検出されたため、デバイス７００は、既定のグループ（ホーム６０２に対応するグループ）の代わりに、次の検出された音声マルチキャストメッセージをサンルームにインテリジェントに向ける。いくつかの実施形態では、デバイス７００は、前のマルチキャストメッセージがサンルームに送信されたときから所定の時間内に音声入力７０２ｄが受信されたため、次に検出された音声マルチキャストメッセージを、既定のグループの代わりに、サンルームにインテリジェントに送信する。いくつかの実施形態では、２つの異なるゾーンは、少なくとも１つのデバイスのグループ（例えば、特定の部屋に指定された同じグループのデバイス）を共有することができる。
図７Ｘに示すように、デバイス７００はまた、音声マルチキャストメッセージが、サンルーム６０２ｅに指定されたデバイスのグループから受信されたことを示す、マルチキャスト通知７０８ｂも表示する。ここで、デバイス７００は、１０：１９にこのメッセージを受信する。
図７Ｙでは、デバイス７００は、フレーズ「ヘイ、アシスタント、マルチキャスト、ディナーに行きましょう」を含む音声入力７９２ｅを検出し、示唆７９４ｌを有するユーザインタフェース７９４を表示する。示唆７９４ｌは、「ご用件は何でしょうか？」と書いてある。図７Ｙでは、時間は現在、１０：３０である（例えば、図７Ｘのユーザインタフェースが表示されてから１１分が経過した）。
図７Ｚでは、図７Ｙでユーザインタフェース７９４を表示した後、デバイス７００は、ユーザインタフェース７９４の右側に示唆７９４ｍを表示し、ユーザインタフェース７９４の左側（及び示唆７９４ｍの下）に示唆７９４ｎを表示する。示唆７９４ｍは、音声入力７９２ｅに含まれる音声フレーズに対応する文字である「ヘイ、アシスタント、マルチキャスト、ディナーに行きましょう」と書いてある文字である。加えて、示唆７９４ｎは、「ＯＫ、あなたのマルチキャストをメインストリート１２３番地に送りました」と書いてある文字である。
図７Ｚの表７０６に示すように、音声入力７９２ｅを検出した後、デバイス７００は、音声マルチキャストメッセージ（例えば、「ディナーに行きましょう」）をホーム６０２に指定された１つ以上のデバイスに向ける（例えば、送信する）が、ホーム６０２の識別子を含む音声入力７９２ｅはない。ここで、マルチキャスト通知７０８ｂが受信されてから所定の時間の期間よりも長い時間が経過したため、デバイス７００は、次の検出された音声マルチキャストメッセージを、サンルーム６０２ｅの代わりに、既定のグループ（ホーム６０２に対応するグループ）にインテリジェントに送信する。いくつかの実施形態では、デバイス７００は、前のマルチキャストメッセージがサンルーム６０２ｅに送信されたときから所定の時間内に音声入力７０２ｅが受信されなかったため、検出された音声マルチキャストメッセージを、既定のグループにインテリジェントに送信する。
更に、図７Ｚの表７０６に示すように、（図７Ｎとは対照的に）図７Ｚのマルチキャストメッセージは、図７Ｑのタップジェスチャ７５０ｑの検出に応答して、寝室スピーカ６３６のマルチキャスト設定がオフされたため、寝室スピーカ６３６には向けられなかった。
図７Ｚでユーザインタフェース７９４を表示した後しばらくして、デバイス７００は図７ＡＡに示すようにユーザインタフェース７１０を表示する。図７ＡＡでは、デバイス７００は、図７ＡＡのホーム場所識別子７１２の上方にある、ホーム設定アフォーダンス９２８に対応する場所でタップジェスチャ７５０ａａを検出する。
図７ＡＢに示すように、タップジェスチャ７５０ａａの検出に応答して、デバイス７００はユーザインタフェース７９７を表示する。ユーザインタフェース７９７は、ホームアプリケーションに指定された１つ以上のパーソナルデバイスを有する人々７９７ａのグループ（例えば、ホーム６０２ａに対応するグループ）を含む。ユーザインタフェース７９７はまた、マルチキャスト許可アフォーダンス７９７ｂを含む。図７ＡＢでは、デバイス７００は、マルチキャスト許可アフォーダンス７９７ｂに対応する場所でタップジェスチャ７５０ａｂを検出する。
図７ＡＣに示すように、タップジェスチャ７５０ａｂの検出に応答して、デバイス７００は、音声マルチキャストメッセージがパーソナルデバイスに送信されることを可能にすべきタイミングの複数のオプションを含む、ユーザインタフェース７９９を表示する。図７ＡＣでは、オプションはネバーオプション７７９ａ、アットホームオプション７７９ｂ、及び任意の時間オプション７９９ｃを含む。図７ＡＣでは、任意の時間オプション７９９ｃが選択される。したがって、いくつかの実施形態では、デバイス７００は、デバイス７００の場所に関わりなく、任意の時間にマルチキャストメッセージを受信するように構成される。いくつかの実施形態では、ネバーオプション７７９ａに対応する場所でのタップジェスチャ７５０ｃ１の検出に応答して、デバイス７００は、デバイス７００の場所に関わりなく、マルチキャストメッセージを決して受信しないように構成される。いくつかの実施形態では、アットホームオプション７９９ｂに対応する場所でのタップジェスチャ７５０ｃ２の検出に応答して、デバイス７００は、デバイス７００がホーム６０２に対応する又はホーム６０２内の場所にある間に、マルチキャストメッセージのみを受信するように構成されている（例えば、ホームの閾値距離内、又はデバイスがホーム６０２に関連付けられた１つ以上のネットワークに接続されているかどうかに関する）。いくつかの実施形態では、デバイス７００が距離６７０及び距離６８０、ホームから離れているとき、コンピュータデバイス６７４及びジェーンの電話６８４などのデバイス７００は、それらの距離が閾値距離よりも長い場合には、ホームオプション７９９ｂで選択されたときに、音声マルチキャストメッセージを受信しない。いくつかの実施形態では、デバイスがホームから離れている間に、メッセージのみを受信するオプションなどの１つ以上のオプションが選択可能であり、表示される。いくつかの実施形態では、デバイス７００がホーム６０２に関連付けられた１つ以上のネットワークに接続される（例えば、ホームＷｉ−Ｆｉネットワークに接続される）と、デバイス７００は、アットホームオプション７９９ｂが選択されたときに、音声マルチキャストメッセージを受信し、デバイス７００がホーム６０２に関連付けられた１つ以上のネットワークに接続されていない（例えば、ホームＷｉ−Ｆｉネットワークに接続されていない）と、デバイス７００は、アットホームオプション７９９ｂが選択されたときにも（例えば、デバイスの場所に関わりなく）、音声マルチキャストメッセージを受信しない。
図７ＡＤ〜７ＡＥは、タブレット６３４などのデバイス７００よりも大きなスクリーンを有するデバイス上で上述したユーザインタフェースを表示するための例示的なユーザインタフェースを示す。図７ＡＤのユーザインタフェース７１１は、上述のユーザインタフェース７１０に対応する。加えて、図７ＡＥのユーザインタフェース７３１は、上述のユーザインタフェース７３０に対応する。しかしながら、上述したユーザインタフェースのいずれかは、図７Ａ〜７ＡＣのために上述したものと１つ以上の類似の技術を使用して、タブレット６３４上で表示及び遷移することができる。
図７ＡＦ〜７ＡＨは、スマートウォッチ７０１などのデバイス７００よりも小さいスクリーンを有するデバイス上に上述のユーザインタフェースを表示するための例示的なユーザインタフェースを示す。図７ＡＦのユーザインタフェース７１３は、上述のユーザインタフェース７１０に対応する。その上、図７ＡＧのユーザインタフェース７４１は、上述のユーザインタフェース７４０に対応する。更に、図７ＡＨのユーザインタフェース７５１は、上述のユーザインタフェース７５０に対応する。しかしながら、上述したユーザインタフェースのいずれかは、図７Ａ〜７ＡＣのために上述したものと１つ以上の類似の技術を使用して、スマートウォッチ７０１上で表示及び遷移することができる。
図８Ａ〜８Ｂは、いくつかの実施形態に係る、音声メッセージを送信するための方法を示すフロー図である。方法８００は、ディスプレイ生成構成要素（例えば、タッチ感知ディスプレイ）と通信するコンピュータシステム（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法８００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法８００は、いくつかの実施形態に係る、音声メッセージを送信するための直観的方法を提供する。本方法は、音声メッセージを送信するユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが音声メッセージをより高速かつより効率的に送信することを有効化することにより、電力が節約され、バッテリ充電の間隔が増す。
コンピュータシステムは（８０２）、ディスプレイ生成構成要素を介して、第１のユーザインタフェース（例えば、７３０）（例えば、１組の外部デバイスを制御するためのユーザインタフェース）を表示する。第１のユーザインタフェースは、第１の選択可能なユーザインタフェースオブジェクト対象（例えば、７２６）を含み（例えば、ディスプレイを含む）、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、第１の音声メッセージを１組の外部デバイス（例えば、図７Ｆの７０６）（例えば、１組の外部デバイスの各外部デバイス）に記録（例えば、マイクロフォンを介してコンピュータシステムで）し、送信するためのプロセス（例えば、ユーザインタフェース７３０、７４０、及び７５０）を開始し、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組（例えば、６１６）と、１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）とを含む。いくつかの実施形態では、第１の選択可能なユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、第１の選択可能なユーザインタフェースオブジェクト対象の選択に対応する入力を受信し、第１の選択可能なユーザインタフェースオブジェクト対象の選択に対応する入力の受信に応答して、コンピュータシステムは、１つ以上のデバイスの第１の１組及び１つ以上のデバイスの第２の１組（例えば、外部デバイスの１組）に音声メッセージを記録し、送信するためのユーザインタフェースを表示する。いくつかの実施形態では、１つ以上のデバイスの第１の１組は、１つ以上のデバイスの第２の１組とは異なる。いくつかの実施形態では、１組の外部デバイスを制御するためのユーザインタフェースは、１つ以上のデバイスの第１の１組及び１つ以上のデバイスの第２の１組に対応する複数の表現及び／又はアクセサリ制御ユーザインタフェースオブジェクト対象を表示することを含む。いくつかの実施形態では、複数のアクセサリ制御ユーザインタフェースオブジェクト対象は、１つ以上のデバイスの第１の１組に対応し、１つ以上のデバイスの第２の１組は１つ以上の選択可能なユーザインタフェースオブジェクト対象の１組である。いくつかの実施形態では、複数のアクセサリ制御ユーザインタフェースオブジェクト対象のそれぞれは、選択されると、１組の外部デバイスのそれぞれのアクセサリデバイスに、１つ以上の機能を実行させる、及び／又はそれぞれのアクセサリデバイスの状態を変更させる。いくつかの実施形態では、１組の外部デバイスは、１つ以上のデバイス（例えば、スマートスピーカ）の第１の１組又は１つ以上のデバイス（例えば、スマートスピーカ）の第２の１組にないタイプの外部電子デバイス（例えば、セルラー電話、タブレットコンピュータ）を含む。いくつかの実施形態では、外部デバイスの１組は、トップレベルの場所（又は宛先）（例えば、第１のタイプの場所）（例えば、ホーム場所、ビジネス、オフィス（トップレベルの場所にある場所（例えば、１つ以上の場所を定義する場所（例えば、サブ場所）及び／又はトップレベルの場所の場所によって定義されるエリア及び／又は周辺部内にある１つ以上の領域（又はゾーン）、場所の階層のトップレベルにある場所、１つ以上の場所（例えば、サブ位置）に（例えば、プログラムで）リンクされた場所及び／又は１つ以上の領域（又はゾーン）））に関連付けられている。いくつかの実施形態では、外部デバイスの１組は、デバイスの第１のグループ（例えば、デバイスのサブグループ）及びデバイスの第２のグループ（例えば、デバイスのサブグループ）を含む。いくつかの実施形態では、デバイスのサブグループは、トップレベルの場所のサブ場所（例えば、トップレベルの場所の境界、領域、若しくは周辺に、及び／又はトップレベルの場所に定義され、特定され、及び／又はリンクされ（例えば、プログラムでリンクされ）（例えば、ユーザによって）配置された部屋）及び／又はトップレベルの場所内（例えば、トップレベルの場所の境界、エリア、又は周辺部内及び／又は（例えば、ユーザによって）定義され、特定され、及び／又はリンクされた）のゾーン（例えば、２つ以上のサブ場所によって定義される場所）（トップレベルの場所内で（例えば、トップレベルの場所内にリビングルーム及びダイニングルームを含む娯楽ゾーン、トップレベルの場所内に２つ以上の寝室、リビングルーム、バスルームを含むパーソナルゾーン）に関連付けられる。いくつかの実施形態では、目標グループは、デバイスのサブグループに関連付けられ、デバイスのトップレベルグループではない。
第１のユーザインタフェースは、第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８の１つ）（例えば、選択可能なユーザインタフェースオブジェクト対象）を含み、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択（例えば、７５０ｆ１、７５０ｆ２）は、第１の外部アクセサリデバイスの状態を変更する（例えば、ドアをロック又はロック解除させ、光をオン又はオフにする）ための命令を送信するプロセス（例えば、選択によって命令の送信を引き起こす）を開始する。いくつかの実施形態では、入力の受信に応答して、コンピュータシステムは、第１の外部アクセサリデバイスの状態を変更するための命令を送信するプロセス（例えば、選択によって命令の送信を引き起こす）を開始し、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の視覚的見掛けを第１の視覚的見掛けから、第１の視覚的見掛けとは異なる第２の視覚的見掛けに変更する（例えば、押圧した押された状態（又はその逆）、第１の色から第２の色に、１つ以上の差分文字（例えば、「オンからオフ」（又はその逆）））。
コンピュータシステムは、第１のユーザインタフェース（例えば、第１のユーザインタフェース）を表示している間に、第２のユーザインタフェース（例えば、７６０）を表示する要求に対応する入力（例えば、７５０ｆ３）（例えば、単一のユーザ入力（例えば、１つ以上の外部デバイスの第２の１組を制御するためのユーザインタフェースにナビゲーションする選択可能なユーザインタフェースオブジェクト対象又はアイコン上のタップ入力）又は第１の選択可能なユーザインタフェースオブジェクト対象が表示されている間に受信される複数のユーザ入力）を受信する（８０４）（例えば、１つ以上の外部デバイスの第２の１組を制御するためのユーザインタフェース（例えば、１つ以上の外部デバイスの第１の１組を制御することなく））。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムが第２のユーザインタフェースを表示するための選択可能なユーザインタフェースオブジェクト対象の選択を受信すると、第２のユーザインタフェースを表示する要求を受信する。
第２のユーザインタフェースを表示する要求の受信に応答して、コンピュータシステムは、第２のユーザインタフェース（例えば、７６０）を表示する（８０６）。第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象（８１２）（例えば、７７６）を含み（例えば、表示することを含む）、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組（例えば、図７Ｍの７０６）に送信することなく、第２の音声メッセージを１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）に記録し、送信するためのプロセス（例えば、ユーザインタフェース７８０ａ、７８４、及び７８６ａ）を開始する。第２のユーザインタフェースは、（例えば、１つ以上のデバイスの第１の１組に対応せずに）第２の外部アクセサリデバイス（例えば、６４２、６４６、６４８）に対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象（８１４）（例えば、７６８のうちの１つ）（例えば、選択可能なユーザインタフェースオブジェクト対象）を含み、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択（例えば、７５０ｇ１、７５０ｇ２）は、第２の外部アクセサリデバイスの状態を変更するための命令（例えば、選択によって命令の送信を引き起こす）を送信するプロセスを開始する。いくつかの実施形態では、入力の受信に応答して、コンピュータシステムは、第２の外部アクセサリデバイスの状態を変更するための命令を送信するプロセス（例えば、選択によって命令の送信を引き起こす）を開始し、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の視覚的見掛けを第１の視覚的見掛けから、第１の視覚的見掛けとは異なる第２の視覚的見掛けに変更する（例えば、押圧した押された状態（又はその逆）、第１の色から第２の色に、１つ以上の差分文字（例えば、「オンからオフ」（又はその逆）））。いくつかの実施形態では、第２のユーザインタフェースを表示する要求の受信に応答して、コンピュータシステムは、第１のユーザインタフェース及び第１のユーザインタフェースオブジェクト対象の表示を中止する。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象は、第１の選択可能なユーザインタフェースオブジェクト対象に置き換わる。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象は、第１の選択可能なユーザインタフェースオブジェクト対象が以前に表示された場所と同じ場所で表示される。いくつかの実施形態では、第２のユーザインタフェースは、第１のユーザインタフェースの表示に置き換わる。いくつかの実施形態では、コンピュータシステムは、第２のユーザインタフェースからの１つ以上の外部デバイスの第１の１組（例えば、アクセサリ制御ユーザインタフェースオブジェクト対象は、表示されない、１つ以上のデバイスの第１の１組のうちの１つに対応する）を制御することができない（例えば、外部デバイスを状態変更させることができない）。いくつかの実施形態では、第１のユーザインタフェースは、１つ以上の外部デバイスの第１の１組に対応する１つ以上の表現及び／又はアクセサリ制御ユーザインタフェースオブジェクト対象の１組を（１つ以上の外部デバイスの第２の１組に対応する１つ以上の表現の１組を表示することなく）表示することを含む。いくつかの実施形態では、アクセサリ制御ユーザインタフェースオブジェクト対象のそれぞれは、選択されると、それぞれのデバイスに１つ以上の機能を実行させるか、又はそれぞれのデバイスの状態を変更させる。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、第２の選択可能なユーザインタフェースオブジェクト対象の選択に対応する入力を受信し、第２の選択可能なユーザインタフェースオブジェクト対象の選択に対応する入力の受信に応答して、コンピュータシステムは、音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく、１つ以上の外部デバイスの第２の１組に音声メッセージを記録し、送信するためのユーザインタフェースを表示する。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、選択可能なユーザインタフェースオブジェクト対象を表示することを含む１つ以上の外部デバイスの第１の１組を（例えば、１つ以上の外部デバイスの第２の１組を制御することなく）制御するためのユーザインタフェースを表示する要求に対応するユーザ入力（例えば、スワイプ入力）を受信し、それは、選択されると、音声メッセージを１つ以上の外部デバイスの第２の１組に送信することなく、音声メッセージを１つ以上の外部デバイスの第１の１組に記録し、送信するためのプロセスを開始する。いくつかの実施形態では、音声メッセージは、コンピュータシステムで記録される音声を含む。いくつかの実施形態では、音声メッセージを外部デバイスに記録し、送信するプロセスは、コンピュータシステムを使用して（例えば、コンピュータシステムと通信するマイクロフォンを使用して）音声メッセージを記録することを含む。いくつかの実施形態では、音声メッセージは、コンピュータシステムのユーザの声の音声を含む。制御の１組を制御する階層的ユーザインタフェースを提供することで、各ユーザインタフェースがそれぞれの階層のノードに対応することが、デバイスの別のそれぞれの１組を制御するための別のユーザインタフェースにユーザがどのように直感的にナビゲーションすることができるかに関する視覚的フィードバックと共に、それぞれのユーザインタフェースを介して制御することができる、制御の階層のデバイスの１組に関する視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−シスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１の外部アクセサリデバイス（例えば、７１８ｂ）は、第２の外部アクセサリデバイス（例えば、７６８ｃ）とは異なる。いくつかの実施形態では、第１の外部アクセサリデバイスは、「ホーム」グループの下にグループ化されるが、「ダイニングルーム」カテゴリ（例えば、寝室に位置する光）の一部ではなく、第２の外部アクセサリデバイスは、「ホーム」グループ、「ダイニングルーム」カテゴリ（例えば、ダイニングルームに位置する光）の両方の下にグループ化される外部デバイスである。対照的に、いくつかの実施形態では、第１の外部アクセサリデバイスは、第２の外部アクセサリデバイスと同じデバイスである（例えば、それらは、ダイニングルームに配置された同じ光であるか、又はそれらは、ダイニングルームに配置された同じスマートスピーカである）。
いくつかの実施形態では、第１の選択可能なユーザインタフェースオブジェクト対象（例えば、７２６）（例えば、第１のユーザインタフェースの一部として表示されている間）は、ディスプレイ生成構成要素を介して（例えば、ディスプレイ生成構成要素上に）、第１の場所（例えば、７２６及び７７６の場所）で表示され、第２の選択可能なユーザインタフェースオブジェクト対象（例えば７７６）（例えば、第２のユーザインタフェースの一部として表示されている間）は、ディスプレイ生成構成要素を介して（例えば、ディスプレイ生成構成要素上に）、第１の場所（例えば、７２６及び７７６の場所）で表示される。いくつかの実施形態では、第１のユーザインタフェースを表示している間に受信された入力は、第２の選択可能なユーザインタフェースオブジェクト対象で第１の選択可能なユーザインタフェースオブジェクト対象の表示を置き換えさせる。予め定められた条件が満たされたときに、第１の選択可能なユーザインタフェース又は第２の選択可能なユーザインタフェースオブジェクト対象を同じ場所で提供することにより、ユーザは、選択可能なユーザインタフェースオブジェクト対象の任意の異なる動作特性（例えば、デバイスのどの特定の１組が選択可能、特定の選択可能なユーザインタフェースオブジェクト対象が記録の音声メッセージを送信する）を識別することを必要とせずに、マルチキャストのための選択可能なユーザインタフェースオブジェクト対象を素早くに突き止めることができる。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１の外部アクセサリデバイス（例えば、６４６、６４８）（例えば、スマートスピーカであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を使用して音楽の再生が構成することができるもの）が１組の外部デバイスに含まれる（例えば、第１の外部アクセサリデバイスは第１のユーザインタフェースから構成可能で、音声（コンピュータシステムで記録された）は第１の選択可能なユーザインタフェースオブジェクト対象を使用して第１の外部アクセサリデバイスに送信される）。いくつかの実施形態では、第１のユーザインタフェースは、第３の外部アクセサリデバイス（例えば、６４２）に対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８ｂ）（例えば、選択可能なユーザインタフェースオブジェクト対象）を含む。いくつかの実施形態では、第３のアクセサリ制御ユーザインタフェースオブジェクト対象の選択は、第３の外部アクセサリデバイスの状態を変更する（例えば、ドアをロック又はロック解除させ、光をオン又はオフにする）命令を送信する（例えば、選択によって命令の送信を引き起こす）プロセスを開始する。いくつかの実施形態では、第３の外部アクセサリデバイス（例えば、６４２）は、１組の外部デバイスに含まれず、第１の選択可能なユーザインタフェースオブジェクト対象（例えば、７７６）の選択は、第１の音声メッセージを第３の外部アクセサリデバイス（例えば、７Ｆの７０６）に送信する（及び／又は記録する）ためのプロセスを開始しない。いくつかの実施形態では、第１のユーザインタフェースは、制御され得る（例えば、オン／オフにされる）が、第１の音声メッセージが送信されない（例えば、外部アクセサリデバイスが、音声メッセージを再生するためのスピーカを有さないため）いくつかの外部アクセサリデバイスのアクセサリ制御ユーザインタフェースオブジェクト対象を含み、及び第１のユーザインタフェースは、制御され得る（例えば、オン／オフにされる）、かつ第１の音声メッセージが送信される（例えば、外部アクセサリデバイスが音声メッセージの再生のためのスピーカを有するため）いくつかの外部アクセサリデバイスのアクセサリ制御ユーザインタフェースオブジェクト対象を含む。いくつかの実施形態では、第２のユーザインタフェースは、制御され得る（例えば、オン／オフにされる）が、第２の音声メッセージが送信されない（例えば、外部アクセサリデバイスが、音声メッセージを再生するためのスピーカを有さないため）いくつかの外部アクセサリデバイスのアクセサリ制御ユーザインタフェースオブジェクト対象を含み、及び第２のユーザインタフェースは、制御され得る（例えば、オン／オフにされる）、かつ第２の音声メッセージが送信される（例えば、外部アクセサリデバイスが音声メッセージの再生のためのスピーカを有するため）いくつかの外部アクセサリデバイスのアクセサリ制御ユーザインタフェースオブジェクト対象を含む。いくつかの実施形態では、１つ以上の外部デバイスの第１の１組（例えば、音声メッセージが送信される寝室グループのデバイス）は、第１の外部アクセサリデバイス（例えば、音声メッセージが送信されない寝室グループの光）を含まず、及び外部デバイスの第２の１組（例えば、音声メッセージが送信されるダイニングルームのデバイス）は、第２の外部アクセサリデバイス（例えば、音声メッセージが送信されないダイニングルームグループの光）を含まない。したがって、いくつかの実施形態では、音声メッセージは、アクセサリ制御ユーザインタフェースオブジェクト対象を使用して制御することができる全てのデバイスに必ずしも送信されず、それは、選択されると、それぞれのアクセサリデバイスに１つ以上の機能を実行させる、及び／又はそれぞれのアクセサリデバイスの状態を変更させる。いくつかの実施形態では、それぞれのアクセサリ制御ユーザインタフェースオブジェクト対象を使用して（１つ以上の機能を実行するため、及び／又はそれぞれのアクセサリデバイスの状態を変更するために）制御することができる外部デバイスは、１組の外部デバイス（例えば、外部デバイスの第１又は第２の１組）に含まれ、したがって、音声メッセージをその外部デバイスに送信することができ、外部デバイスを別個に制御することができる。
いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所（例えば、６０２）（例えば、構造、ホーム）に対応し、第２のユーザインタフェースは、第１のタイプ（例えば、６０２ａ〜６０２ｅ）（例えば、構造の部屋、家のダイニングルーム）の第１のサブ場所（例えば、６０２ｄ）に対応する。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）は、第１のサブ場所（例えば、６０２ｄ）に対応する（例えば、１つ以上の外部デバイスの第２の１組は、第１のタイプのサブ場所に指定されている）。いくつかの実施形態では、（例えば、任意の）１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）は、第１のサブ場所に対応する１つ以上の外部デバイス（例えば、６０２ａ〜６０２ｅ）の第２の１組に基づいて、第１のタイプ（例えば、構造の任意の他の部屋）の第２のサブ場所（例えば、６０２ａ、６０２ｂ、６０２ｃ、又は６０２ｅ）（例えば、第１のサブ場所以外の任意のサブ場所）に対応するように作ることができない。いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所に対応し、第２のユーザインタフェースは、トップレベルの場所のサブ場所（例えば、ホームの部屋）に対応する。いくつかの実施形態では、第１の部屋及び第２の部屋は、ゾーン（例えば、一緒にグループ化された部屋の集合）の一部である。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組は、第２のユーザインタフェースが対応する部屋に位置する（例えば、ユーザによって）識別されるデバイスである。
いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所（例えば、構造、ホーム）に対応し、第２のユーザインタフェースは、第１のタイプ（例えば、６０２ａ〜６０２ｅ）（例えば、複数の部屋）の複数（例えば、６０２ａ〜６０２ｅ）のサブ場所に対応する第２のタイプ（娯楽ゾーン（例えば、６０２ｄ及び６０２ｅ））（例えば、第１のゾーン、メインフロア）の第３のサブ場所に対応する。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組は、第１のタイプの複数のサブ場所（例えば、６０２ａ〜６０２ｅ）に含まれる１つ以上の外部デバイスの第２の１組に基づいて、第３のサブ場所に対応する（例えば、第１の部屋（例えば、ホームのダイニングルーム）及び第２の部屋（例えば、ホームの寝室）を含む、構造体の複数の部屋）。いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所に対応し、第２のユーザインタフェースは、トップレベルの場所のサブ場所（例えば、ホームの複数の部屋）に対応する。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組は、第１の部屋に指定された少なくとも１つのデバイスと第２の部屋に指定された少なくとも１つのデバイスとを含む。いくつかの実施形態では、トップレベルの場所は、第３のサブ場所が対応しない少なくとも１つのデバイスに対応する（例えば、ホームは、第３のサブ場所内に含まれないいくつかのデバイスを含む）。
いくつかの実施形態では、第２の外部アクセサリデバイスは、第２のタイプの第３のサブ場所（例えば、娯楽ゾーン（例えば、６０２ｄ及び６０２ｅ））（例えば、第１のゾーン）に関連付けられる（例えば、対応する）。いくつかの実施形態では、第２の外部アクセサリデバイス（例えば、６４６、６４８）はまた、第３のサブ場所とは異なる第２のタイプ（例えば、娯楽ゾーン（例えば、６０２ｄ及び６０２ｅ））の第４のサブ場所（例えば、第２のゾーン）に関連付けられる（例えば、対応する）。いくつかの実施形態では、第２のゾーンは、サブ場所（例えば、ホームの複数の部屋）である。いくつかの実施形態では、第２のゾーンは、第１のゾーンに関連付けられていない外部アクセサリデバイスと関連付けられる。いくつかの実施形態では、コンピュータシステムは、様々なゾーンにメッセージを記録し、送信するためのプロセスを開始することができる。第１のゾーン及び第２のゾーンは、デバイスの異なる１組に対応することができ、そのうちのいくつかは第１のゾーン及び第２のゾーンの両方に対応し、そのうちのいくつかは、第１のゾーン又は第２のゾーンのうちの１つのみに対応する。
いくつかの実施形態では、１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）は、第１の場所（例えば、６０２ｄ）（例えば、部屋、サブ場所、ゾーン）に関連付けられたものであって、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく、第２の音声メッセージを１つ以上の外部デバイスの第２の１組に記録し、送信するためのプロセスは、第１の場所（例えば、７８２）（例えば、音声メッセージが送信される部屋又はゾーンの名前を指定する文字）の示唆（例えば、文字示唆、グラフィカル示唆）を表示することを含む。いくつかの実施形態では、音声メッセージを記録し、送信するためのプロセスは、それぞれの音声メッセージが送信される外部デバイスに対応する場所の示唆を表示することを含む。いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所（例えば、ホームなどの構造）に対応し、第２のユーザインタフェースは、トップレベルの場所のサブ場所（例えば、ホームの部屋、ホームのゾーン）に対応する。いくつかの実施形態では、第２のユーザインタフェースを表示すると、コンピュータシステムは、第２の選択可能なユーザインタフェースオブジェクト対象の選択（例えば、タップオン、押圧、及び保持）を検出する。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象の選択の検出に応答して、コンピュータシステムは、記録ユーザインタフェースオブジェクト対象（例えば、選択可能な記録ボタン）であって、記録ユーザインタフェースの選択（例えば、タップ、押圧、及び保持）が、コンピュータシステムによって検出された音声を記録することによって、音声メッセージの記録を生じさせるもの、及びサブ場所（例えば、音声メッセージが送信される部屋又はゾーンの名前を指定する文字）の示唆（例えば、文字示唆、グラフィカル示唆）を同時に含む記録ユーザインタフェースを（例えば、第２のユーザインタフェースの全て又は一部を置き換えることによって）表示する。いくつかの実施形態では、第２のユーザインタフェースは、サブ場所の示唆を含む。音声メッセージがマルチキャストされることが意図されているデバイスのグループに関連付けられた場所の示唆を表示することにより、ユーザに、音声メッセージを記録し、送信するためのプロセスの状態に関する視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、音声メッセージを外部デバイスに記録し、送信するためのプロセスを開始することの一部として、コンピュータシステムは、自動的に（例えば、音声の記録を開始する要求に対応するユーザ入力を介在させることなく）、新しい音声メッセージの記録を行い、記録されている音声の動的示唆（例えば、７４４ａ）を含む記録ユーザインタフェース（例えば、７４１）を表示する。
いくつかの実施形態では、コンピュータシステムは、記録ユーザインタフェースオブジェクト対象の選択（例えば、タップ、押圧、及び保持）を検出する。記録ユーザインタフェースオブジェクト対象の選択の検出に応答して、コンピュータシステムは、音声メッセージを記録する。音声メッセージを記録した後（及び音声メッセージを送信する前に）、コンピュータシステムは、メッセージが送信される外部デバイスを変更するオプションを提供する。いくつかの実施形態では、コンピュータシステムは、ドロップダウンアフォーダンスのアクティブ化を受信し、それに応じて、１つ以上のサブ場所（それぞれは、それぞれの外部デバイスの１組に対応する）を表示する。コンピュータシステムは、１つ以上のサブ場所のうちの１つの選択及び音声メッセージを送信する確認を受信する。それに応じて、コンピュータシステムは、第２のユーザインタフェースに対応する１つ以上の外部デバイスの第２の１組ではなく、選択されたサブ場所に対応する外部デバイスのそれぞれの１組に音声メッセージを送信する。
いくつかの実施形態では、１組の外部デバイスは、パーソナルモバイル電子装置（例えば、６０４、６３４、６８４）（例えば、スマートフォン、携帯電話、携帯時計）を含む。いくつかの実施形態では、パーソナルモバイル電子装置は、１つ以上のデバイスの第１の１組に含まれず、１つ以上の外部デバイスの第２の１組に含まれない。いくつかの実施形態では、パーソナルモバイル電子装置は、トップレベルの場所の任意のサブ場所に全く指定されないが、トップレベルの場所のメンバーである。したがって、いくつかの実施形態では、第１の選択可能なユーザインタフェースオブジェクト対象を選択することにより、パーソナルモバイル電子装置（及び、トップレベルの場所のメンバーである任意の他のパーソナルモバイル電子装置）を含む、１組の外部デバイスに音声メッセージを記録し、送信するプロセスが開始される。
いくつかの実施形態では、１つ以上の外部デバイスの第２の１組は、パーソナルモバイル電子装置（例えば、６０４、６３４、６８４）（例えば、スマートフォン、携帯電話、携帯時計）を含まない。いくつかの実施形態では、パーソナルモバイル電子装置は、１つ以上のデバイスの第１の１組に含まれず、１つ以上のデバイスの第２の１組に含まれない。いくつかの実施形態では、１組の外部デバイスは、パーソナルモバイル電子装置を含み、したがって、第１のユーザインタフェースから送信された音声メッセージは、パーソナルモバイル電子装置（及び、任意選択的に、ホームの一部である他のモバイル機器）に送信される。いくつかの実施形態では、第２のユーザインタフェース（又はサブ場所に対応する任意のユーザインタフェース）から送信された音声メッセージは、パーソナルモバイル電子装置に送信されない（及び、任意選択的に、ホームの一部である他のモバイル機器にも送信されない）。いくつかの実施形態では、コンピュータシステムは、パーソナルモバイル電子装置をトップレベルの場所の任意のサブ場所に指定することを拒否するが、パーソナルモバイル電子装置をトップレベルの場所に指定することを可能にする。したがって、いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象を選択することにより、パーソナルモバイル電子装置（又は、トップレベルの場所のメンバーである任意の他のパーソナルモバイル電子装置）を含まない、１つ以上のデバイスの第２の１組に音声メッセージを記録し、送信するプロセスが開始される。
いくつかの実施形態では、コンピュータシステムは、第２のユーザインタフェースを表示した後に、入力（例えば、７５０ｑ）（例えば、ユーザ入力、設定ユーザインタフェース上の入力）を受信し、１つ以上の外部デバイスの第２の１組（例えば、６３８）に音声メッセージを送信することを無効にする。いくつかの実施形態では、音声メッセージを１つ以上の外部デバイスの第２の１組に送信することを無効にするための入力の受信に応答して、コンピュータシステムは、第１の選択可能なユーザインタフェースオブジェクト対象（例えば、７２６）の選択を介し（例えば、第１の選択可能なユーザインタフェースオブジェクト対象の選択を介して、１つ以上の外部デバイスの第１の１組への音声メッセージの送信を無効にすることなく）、及び第２の選択可能なユーザインタフェースオブジェクト対象（例えば、７７６）の選択を介して１つ以上の外部デバイスの第２の１組に音声メッセージを送信することを無効にする（例えば、７６８ａ）。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組への音声メッセージの送信を無効にした後、第１のユーザインタフェースへナビゲートし、第１の選択可能なユーザインタフェースオブジェクト対象の選択を受信することにより、音声メッセージを１つ以上の外部デバイスの第２の１組に送信することなく、１つ以上の外部デバイスの第１の１組に音声メッセージを記録し、送信するプロセスが開始される。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組に音声メッセージを送信することを無効にするための入力の受信に応答して、コンピュータシステムは、１つ以上の外部デバイスの第２の１組を外部デバイスの１組から除去する。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組への音声メッセージの送信を無効にした後に、第２のユーザインタフェースへナビゲートし、第２の選択可能なユーザインタフェースオブジェクト対象の選択を受信することで、音声メッセージを任意のデバイスに記録し、送信するプロセスは開始されない。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組への音声メッセージの送信を無効にした後、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象を含まない（又は、ユーザインタフェースオブジェクト対象の非選択可能／無効化バージョンを含む）、それにより、音声メッセージを１つ以上の外部デバイスの第２の１組に記録し、送信するプロセスを開始することができない。
いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所（例えば、６０２）（例えば、ホームなどの構造）に対応し、第２のユーザインタフェースは、トップレベルの場所（例えば、６０２）のサブ場所（例えば、６０２ａ〜６０２ｄ）（例えば、ホームの部屋、ホームのゾーン）に対応する。いくつかの実施形態では、コンピュータシステムは、（例えば、第１のユーザインタフェースを表示しておらず、第２のユーザインタフェースを表示していない間）、コンピュータシステム（例えば、コンピュータシステムのマイクロフォン）と通信するマイクロフォンで、デジタルアシスタントの自然言語要求を含むオーディオ入力（例えば、７９２ａ〜７９２ｅ）を受信し（８０８）、オーディオ入力は、音声メッセージ（例えば、「マルチキャスト」という用語を含む）、場所識別子（例えば、トップレベルの場所、サブ場所）、及び音声メッセージ（例えば、音声メッセージを送信するプロセスを開始するための命令の後に受信される、及び／又は場所の識別子の後に受信される）を含む。いくつかの実施形態では、場所識別子がトップレベルの場所（例えば、７８２ａ）に対応するとの判定に従って、コンピュータシステムは、双方向音声通信チャネルを確立することなく（全二重音声通信チャネルを確立することなく）、音声メッセージを、１つ以上の外部デバイスの第１の１組及び１つ以上の外部デバイスの第２の１組を含む、外部デバイスの１組での再生のため、外部デバイスの１組の任意のデバイスに送信する（８１０）（例えば、マルチキャスト）。いくつかの実施形態では、場所識別子がサブ場所（例えば、７９２ｂ、７９２ｃ）に対応するとの判定に従って、コンピュータシステムは、１つ以上の外部デバイスの第２の１組で再生し、１つ以上の外部デバイスの第１の１組で再生しないために、外部デバイスの１組の任意のデバイスとの全二重音声通信チャネルを確立することなく、音声メッセージを送信する（８１２）（例えば、マルチキャスト）。いくつかの実施形態では、コンピュータシステムは、リモート装置（例えば、サービス、外部デバイスの１組の外部デバイス）が、それぞれの外部デバイスに対応する外部デバイスに音声メッセージを分配することができるように、音声メッセージと共に場所識別子を送信する。
いくつかの実施形態では、外部デバイスに音声メッセージを記録し、送信するためのプロセスを開始することの一部が含まれるときに、コンピュータは、記録ユーザインタフェースオブジェクト対象（例えば、７３６）（例えば、選択可能な記録ボタン）であって、記録ユーザインタフェースオブジェクト対象の選択（例えば、７５０ｃ）（例えば、タップしてから、音声メッセージが完了したら端部を押圧する、音声メッセージを発声している間に押圧して保持する、タップして、コンピュータシステムが音声メッセージの端部を識別することを可能にする）が、コンピュータシステムによって検出された音声を記録することによって、音声メッセージの記録を生じさせるもの、及び送信ユーザインタフェースオブジェクト対象（例えば、７５６）（例えば、選択可能な送信ボタン）であって、第２のユーザインタフェースオブジェクト対象の選択（例えば、７５０ｅ）（例えば、タップ）が、コンピュータシステムに、外部デバイスに音声メッセージを送信させるものを同時に含む、記録ユーザインタフェース（例えば、７３０、７４０、７５０）を（例えば、第２のユーザインタフェースの全て又は一部を置き換えることによって）表示する。いくつかの実施形態では、記録ユーザインタフェースはまた、音声メッセージが送信される外部デバイスに対応する、場所（例えば、トップレベルの場所、サブ場所、音声メッセージが送信される部屋又はゾーンの名前を指定する文字）の示唆（例えば、文字示唆、グラフィカル示唆）を同時に含む。
いくつかの実施形態では、コンピュータシステムは、マイクロフォンを含む１つ以上の入力デバイスと通信する。いくつかの実施形態では、第１の音声メッセージを１組の外部デバイスに記録し、送信するためのプロセス（例えば、ユーザインタフェース７３０、７４０、７５０）の一部として、コンピュータシステムは、マイクロフォンを介して、第２のオーディオ入力を受信する。いくつかの実施形態では、コンピュータシステムは、第１の音声メッセージを１組の外部デバイスに送信するものであって、第１の音声メッセージは、第２のオーディオ入力（例えば、の記録を含む）に基づく。
方法８００（例えば、図８Ａ〜８Ｂ）に関して上述したプロセスの詳細は、後述する方法にも同様に当てはまることに留意されたい。例えば、方法８００は、任意選択的に、方法１０００及び１２００に関して後述する様々な方法の特性のうちの任意の１つ以上を含む。例えば、コンピュータシステムは、同じシステムであってもよい。別の例では、方法８００で送信された音声メッセージは、１０００で受信したメディアとすることができる。別の例では、方法１２００で送信された音声入力は、方法１０００で受信したメディアと同じであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図９Ａ〜９Ｘは、いくつかの実施形態に係る、通知を表示するための例示的なデバイス及び例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１０のプロセスを含む後述のプロセスを例示するために使用される。
「マルチキャストメッセージ」及び／又は「音声マルチキャストメッセージ」というフレーズは、図７Ａ〜７ＡＨ、図８Ａ〜８Ｂ、図１１Ａ〜１１Ｆ、及び図１２に記載されているのと類似の技術を使用して、デバイスから送信されるマルチキャストメッセージを指すために、本明細書では、図９Ａ〜９Ｘに関して概して使用される。しかしながら、本明細書で使用するとき、マルチキャストメッセージ及び／又は音声マルチキャストメッセージは、必ずしもデバイス７００の他の特徴を使用して送信されるマルチキャスト通信を含むことを意図するものではない。
図９Ａは、ユーザインタフェース９００を表示する電子デバイス７００を示す。図９Ａでは、電子デバイス７００は、ポータブル多機能デバイスであり、デバイス１００、２００、３００、及び５００のうちの任意の１つ以上に関して上述した１つ以上の構成要素を有する。以下に説明する図に関して、いくつかの実施形態では、デバイス７００は、ホーム６０２から離れた閾値距離未満の場所で動作している。しかしながら、他の実施形態では、デバイス７００は、ホーム６０２から離れた閾値距離よりも遠い場所で動作している。
図９Ａに示すように、ユーザインタフェース９００は、上述のように（例えば、図６及び図７Ａ〜７ＡＨ）、ホームアプリケーションに対応する設定ユーザインタフェースである。ここで、設定ユーザインタフェースは、デバイス７００に登録されている人物（例えば、ユーザ）、及びホームアプリケーション（例えば、図７ＡＢの人々７９７ａのグループ）によって認識されている人物（例えば、ユーザ）である、カムアップルシードの設定ページである。図９Ａに示すように、デバイス７００は、図９Ａで有効化されているマルチキャストオプション９００ａによって示される、マルチキャスト通知を受信するように構成されている。マルチキャストオプション９００ａが有効化されるため、マルチキャスト通知は、図９Ｂ〜９Ｘに示されるようにデバイス７００によって受信される。いくつかの実施形態では、デバイス７００は、マルチキャストオプション９００ａに対応する場所でタップジェスチャ９５０ａを検出する。いくつかの実施形態では、タップジェスチャ９５０ａ（又は１つ以上の後続のタップジェスチャ）の検出に応答して、デバイス７００は、マルチキャストオプション９００ａを有効化から無効化に変更し、デバイス７００は、本明細書に記載されるフローに基づいて送信されるマルチキャストメッセージを受信するように構成されていない。したがって、いくつかの実施形態では、マルチキャストオプション９００ａが無効化されると、デバイス７００はマルチキャストメッセージを受信しない。
図９Ｂ〜９Ｈは、ある時間の期間にわたって表示されているマルチキャスト通知及び非マルチキャスト通知を示し、同時にマルチキャストオプション９００ａが有効化されている。具体的には、図９Ｂ〜９Ｈは、デバイスの特定の目標グループにも向けられる新しいマルチキャスト通知が、所定の時間の期間内に受信されない限り、表示の消滅又は中止（例えば、所定の時間の期間後）のデバイスの特定の目標グループに向けられる（例えば、それに対応する）そのマルチキャスト通知（例えば、本明細書に記載の方法を使用して送信されるマルチキャストメッセージ）を示す。いくつかの実施形態では、デバイスの特定の目標グループは、ホーム（例えば、図６のホーム６０２）、部屋（例えば、図６のダイニングルーム６０２ｂ、寝室６０２ｃ）、又はゾーン（例えば、例えば図７Ｕに関連して説明されるような「娯楽ゾーン」）に指定されたデバイスのグループである。
例えば、図９Ｂでは、１０：００ ＡＭで、デバイス７００は、更新されたコンテンツがニュースアプリケーションによって公開されたことを示すデータを受信する。
図９Ｂに示すように、データの受信に応答して、デバイス７００は、ニュース通知９０２を含むユーザインタフェースを表示する。図９Ｂでは、ニュース通知９０２はマルチキャスト通知ではない。したがって、ニュース通知９０２は、マルチキャストオプション９００ａが有効化されているか無効にされているかにかかわらず、表示される。換言すれば、マルチキャストオプション９００ａの状態は、マルチキャスト通知ではないため、ニュース通知９０２に影響を与えない。
１０：０２ ＡＭで、デバイス７００は、新しい音声マルチキャストメッセージが（例えば、電子デバイス７００を含むデバイスに向けられて）ホーム６０２に送信されたことを示すデータ（「ホーム目標グループ」）を受信する。いくつかの実施形態では、データは、新しい音声マルチキャストメッセージの受信機としての目標グループ識別子（例えば、「ホーム」）を含む。
図９Ｃに示すように、データの受信に応答して、デバイス７００は、１０：０２ ＡＭで受信したデータを表す、マルチキャスト通知９０４を表示する。図９Ｃでは、マルチキャスト通知９０４は、ニュース通知９０２と同時に表示される。マルチキャスト通知９０４は、アプリケーション示唆９０４ａ、通知タイプ示唆９０４ｂ、送信者示唆９０４ｃ、目標示唆９０４ｄ、及び受信示唆の時間９０４ｅを含む。
アプリケーション示唆９０４ａは、通知を提供するアプリケーションを示す。ここで、アプリケーション示唆９０４ａは、ホームアプリケーションに指定され、図７Ａのホームアイコン７０４ａと類似している、グラフィカル表現アイコンを含む。
通知タイプ示唆９０４ｂは、通知の通知タイプを示す。ここで、通知タイプはマルチキャスト通知である。
送信者示唆９０４ｃは、音声マルチキャストメッセージの送信者を示す。ここで、送信者は、音声マルチキャストメッセージを送信するプロセスを開始したデバイス（例えば、ホーム目標グループにあるデバイス）と登録されている人物、ジョンである。いくつかの実施形態では、送信者が人物である場合、送信者の識別情報は、１つ以上の音声識別アルゴリズムを使用して、音声マルチキャストメッセージに対応する音声入力を分析する１つ以上のデバイスによって確立される。いくつかの実施形態では、送信者の識別情報が人物として確立できない場合、送信者示唆９０４ｃは、送信者が、音声マルチキャストメッセージを送信するデバイスなどのデバイス（例えば、「リビングスピーカ」）であることを示す。いくつかの実施形態では、送信者が人物として確立されておらず、例えば、人物が、音声マルチキャストメッセージを送信するためのプロセスを開始した送信者デバイスと登録されていないとき、及び／又は複数の人々が、音声マルチキャストメッセージを送信するためのプロセスを開始した送信者デバイスと登録されているときに、人物は送信者デバイスで確立されていない。
目標示唆９０４ｄは、音声マルチキャストメッセージが対応するデバイスの目標グループを示す。ここで、目標示唆９０４ｄは、ホーム目標グループ（例えば、「ホームから」）である。いくつかの実施形態では、（音声マルチキャストメッセージに対応する）目標グループは、図７Ｅ〜７Ｆ、図７Ｊ〜７Ｍ、及び図７Ｓ〜７Ｕに関連して上述したように、音声マルチキャストメッセージの送信者によって識別されるグループである。いくつかの実施形態では、目標グループは、１つ以上のユーザ入力（例えば、音声入力（例えば、７９２ａ〜７２９ｄ）及び／又はジェスチャ（例えば、７５０ｂ及び７５０ｇ３）に基づいて、音声マルチキャストメッセージの送信者によって識別される。いくつかの実施形態では、返信メッセージがデバイス７００で受信されるとき、目標グループは、最初の音声マルチキャストメッセージに基づいて識別される。例えば、デバイス７００は、デバイス７００が寝室６０２ｃに指定されたデバイスのグループに最初の音声マルチキャストメッセージを以前に向けた場合など、ある状況では寝室６０２ｃに対応する目標グループを有する返信音声マルチキャストメッセージを受信することができる。
受信示唆９０４ｅの時間は、通知が表示されたとき（又は、いくつかの実施形態では、通知に対応するデータが受信されたとき）を示す。ここで、受信示唆９０４ｅの時間は、通知が「ＮＯＷ（現在）」又は１０：０２ ＡＭで表示されたことを示す。
図９Ｄに示すように、１０：０９ ＡＭに、デバイス７００は、ニュース通知９０２の表示を継続し、マルチキャスト通知９０４の表示を中止する。いくつかの実施形態では、通知９０４は、マルチキャスト通知が表示されることを中止した後に、デバイス７００のユーザインタフェース上に全く表示されない。いくつかの実施形態では、通知９０４は、マルチキャスト通知が表示されることを中止した後の任意の他の時点で、図９Ｄのユーザインタフェース上に表示されない。いくつかの実施形態では、デバイスは、保留中の通知（例えば、ユーザによって影響を受けていない通知）を検視するためにユーザ入力を受信し、それに応じて、マルチキャスト通知９０４を表示することなく、新しい通知９０２を表示する。
図９Ｄに示すように、デバイス７００は、マルチキャスト通知９０４の減衰期間（例えば、１秒、３０秒、６０秒、３００秒など）の終了前（及び／又は所定の時間の期間内）、ホーム目標グループに対応する新しい音声マルチキャストメッセージに対応するデータが受信されないため、マルチキャスト通知９０４の表示を中止する（ディスプレイがオンの場合でも）。他方、デバイス７００は、ニュース通知９０２がマルチキャスト通知ではなく、所定の時間の期間が経過すると（及び、ディスプレイがオンである場合）、デバイス７００は、ニュース通知９０２の表示を継続する。
図９Ｅ〜９Ｈは、図９Ｂ〜９Ｄに関連して上述した例に加えて、技術の例を示す。図９Ｂ〜９Ｄでは、マルチキャスト通知（例えば、所定の時間の期間）の減衰期間は、例示目的のみのために５分である。いくつかの実施形態では、減衰期間は５分より短く、又は長い。
１０：１０に、デバイス７００では、データの３つの異なる１組を受信する。データの第１の１組は、ホーム目標グループに対応する新しい音声マルチキャストメッセージが受信されたことを示す。データの第２の１組は、寝室６０２ｃに指定されたデバイスのグループ（「寝室目標グループ」）に対応する新しい音声マルチキャストメッセージが受信されたことを示す。データの第３の１組は、娯楽ゾーン（「娯楽ゾーン目標グループ」）に指定されたデバイスのグループ（「娯楽ゾーン目標グループ」）（例えば、リビングルーム６０２ｄ及びサンルーム６０２ｅに指定されたデバイスのグループの組み合わせ）に対応する新しい音声マルチキャストメッセージが受信されたことを示す。
いくつかの実施形態では、データの第１の１組は、ホーム目標グループに対応する、最初の音声マルチキャストメッセージ又は返信音声マルチキャストメッセージ（例えば、デバイス７００が送信した最初の音声マルチキャストメッセージへの返信）を表す。いくつかの実施形態では、データの第２の１組のデータ及びデータの第３の１組は、それぞれ対応する目標グループに別々に送信された最初の音声マルチキャストメッセージに応答して受信される、返信音声マルチキャストメッセージ、すなわち、音声マルチキャストメッセージを表す。いくつかの実施形態では、データの第２の１組のデータ及びデータの第３の１組は、上述のように（例えば、図７Ｍ、図７Ｔ、図７Ｖ、及び図７Ｘ）、デバイス７００がゾーン又は部屋の目標グループに指定されておらず、それらの目標グループから送信される最初のメッセージを受信することができないため、それぞれの目標グループから受信される最初のメッセージではない。
図９Ｅに示すように、３つのデータの１組の受信に応答して、デバイス７００はマルチキャスト通知９０６ａ、９０８ａ、及び９１０を表示する。デバイス７００はまた、ニュース通知９０２を表示し続ける。図９Ｅに示すように、通知は通知リストに表示される。リスト（例えば、ニュース通知９０２）の下部に最も古い通知が表示され、最も新しい通知はリストの最上部にある（例えば、マルチキャスト通知９１０）。したがって、通知９０６ａ、９０８ａ、及び９１０は、ほぼ同時に表示されたが、通知９０６ａ、９０８ａ、及び９１０は、図９Ｅに示す順序でそれぞれ表示された。いくつかの実施形態では、通知は、異なる順序で、又は異なる配列で表示される。
図９Ｅに示すように、通知９０６ａは、音声マルチキャストメッセージがホーム目標グループから「ジョン」によって送信されたことを示す。通知９０８ａは、音声マルチキャストメッセージが寝室目標グループから「ジェーン」によって送信されたことを示し、通知９１０は、音声マルチキャストメッセージが、娯楽ゾーン目標グループから「エマ」によって送信されたことを示す。図９Ｅに示すように、新しいマルチキャスト通知のうちの３つ全ては、データが１０：１０ ＡＭに最近受信された（又は最近表示された）ため、「ＮＯＷ」の時間受信示唆を含む。しかしながら、そのデータが１０：００に受信された（又は通知が表示された）ため、ニュース通知９０２の時刻受信示唆は「１０分前」である。
１０：１１ ＡＭには、デバイス７００は、ホーム目標グループに対応する新しい音声マルチキャストメッセージが受信されたことを示すデータを受信する。
図９Ｆに示すように、新しいデータの受信に応答して、デバイス７００は、ホーム目標グループに対応する新しい音声マルチキャストメッセージを示すデータが受信されたため（例えば、１０：１１で受信したデータ）、マルチキャスト通知９０６ａの減衰期間が満了する前（例えば、マルチキャスト通知９０６ａを表示した、又は図９Ｅの第１のデータを受信した後の所定の時間の期間内）に、マルチキャスト通知９０６ｂを表示する。特に、デバイス７００は、通知９０６ａ及び９１０のディスプレイを更新せず、それらのそれぞれの目標グループに対応する新しい音声マルチキャストメッセージを示すデータが受信されておらず、その減衰期間が満了していない（例えば、それらは、それらの目標グループに対する新しいマルチキャストメッセージに対応するデータを受信することなく、５分を超えて表示されていない）ので、これらの通知の表示を継続する。
マルチキャスト通知９０６ｂは、デバイス７００が図９Ｆに表示を中止した、マルチキャスト通知９０６ａの更新バージョンである。図９Ｅを再び見ると、マルチキャスト通知９０６ａは、ジョンがホーム目標グループに対応するマルチキャストメッセージを送信したことを示す。図９Ｆに戻ると、マルチキャスト通知９０６ｂはまた、ホーム目標グループに対応する以前のマルチキャストメッセージ（通知９０６ａによる当初の表現のマルチキャストメッセージ）をジョンが送信した情報（例えば、通知９０６ｂの「ジョン」）も含む。加えて、マルチキャスト通知９０６ｂは、もう一方がホーム目標グループに対応するマルチキャストメッセージを送信した情報を含む。したがって、マルチキャスト通知９０６ｂは、２つの音声マルチキャストメッセージに関する情報を含み、すなわち、マルチキャスト通知９０６ｂは、ホーム目標グループに対応する第１の音声マルチキャストメッセージの送信者（「ジョン」）、及びホーム目標グループに対応する第２の音声マルチキャストメッセージの送信者（例えば、「もう一方」）を表す情報を含む。
図９Ｆに示すように、マルチキャスト通知９０６ｂは、直近の通知であるため、現在の時間受信示唆と共にリストの最上部に表示される。特に、ホーム目標グループに対応する新しい音声マルチキャストメッセージが受信された時間（例えば、１０：１１に受信されたデータ）を反映するために、図９Ｆでマルチキャスト通知９０６ｂの時間受信示唆が変更されるが、マルチキャスト通知９０６ａは図９Ｅでは１０：１０に最初に表示された（又は、マルチキャスト通知９０６ａに対応するデータが最初に受信された）。いくつかの実施形態では、マルチキャスト通知９０６ａはマルチキャスト通知９０６ｂと同時に表示される。いくつかの実施形態では、マルチキャスト通知９０６ａがマルチキャスト通知９０６ｂと同時に表示されるとき、マルチキャスト通知９０６ａの時刻受信示唆は、「ＮＯＷ」と書かれるように更新される。いくつかの実施形態では、マルチキャスト通知９０６ａの時刻表示を更新することにより、マルチキャスト通知９０６ａの減衰期間が延長される。いくつかの実施形態では、図９Ｆでのデータの受信は、マルチキャスト通知９０６ａ（例えば、又はマルチキャスト通知９０６ｂがマルチキャスト通知９０６ａによって表される音声マルチキャストメッセージを表すコンテンツを含むため、マルチキャスト通知９０６ａのコンテンツ）の減衰期間を延長する。
図９Ｆに示すように、直近から少なくとも最近にそれぞれリスト表示される通知９１０、９０８ａ、及び９０２は、マルチキャスト通知９０６ｂの下にある。加えて、通知９１０、９０８ａ、及び９０２の時間受信示唆は、それぞれがそれぞれ表示された時間の長さ（又は各それぞれの通知に対応するデータが受信されたために経過した時間）を反映するように、図９Ｆで更新されている。
１０：１２ ＡＭには、デバイス７００は、寝室目標グループに対応する新しい音声マルチキャストメッセージが受信されたことを示すデータを受信する。
図９Ｇに示すように、データの受信に応答して、デバイス７００は、寝室目標グループに対応する新しい音声マルチキャストメッセージを示すデータが受信されたため（例えば、１０：１２で受信したデータ）、マルチキャスト通知９０８ｂの減衰期間が満了する前（例えば、マルチキャスト通知９０６ｂを表示した、又は図９Ｅの第２のデータを受信した後の所定の時間の期間内）に、マルチキャスト通知９０８ｂを表示する。特に、デバイス７００は通知９０８ｂ及び９１０を更新せず、それらのそれぞれの目標グループに対応する新しい音声マルチキャストメッセージを示すデータが受信されておらず、それらの減衰期間が満了していないため、通知９０８ｂ及び９１０を表示し続ける。いくつかの実施形態では、マルチキャスト通知９０８ｂは、マルチキャスト通知９０６ｂに関して図９Ｆで上述したものと類似の技術を使用して表示される。
マルチキャスト通知９０８ｂは、デバイス７００が図９Ｇに表示を中止した、マルチキャスト通知９０８ａの更新バージョンである。図９Ｅを再び見ると、マルチキャスト通知９０８ａは、ジェーンが寝室目標グループに対応するマルチキャストメッセージを送信したことを示す。図９Ｇに戻ると、マルチキャスト通知９０８ｂは、２つのマルチキャストメッセージが、寝室目標グループに対応するジェーンによって送信されたことを示す。ここで、新しい送信者を含むマルチキャスト通知９０８ｂの代わりに、マルチキャスト通知９０８ｂは、マルチキャスト通知９０８ａと比較すると、それぞれの送信者によって送信された通知の増加量を表すコンテンツを表示する。いくつかの実施形態では、マルチキャスト通知９０８ａは、異なる送信者が新しいマルチキャストメッセージを送信したかどうかに関係なく、寝室目標グループから受信された通知の量の表現を含む。
図９Ｈに示されるように、マルチキャスト通知９０８ｂがリストの最上部に表示され、通知９０６ｂ、９１０、及び９０２は、直近から少なくとも最近の順序でマルチキャスト通知９０８ｂの下に表示される。
図９Ｈに示すように、１０：１５ ＡＭに、マルチキャスト通知９１０の減衰期間が満了したため、デバイス７００はマルチキャスト通知９１０の表示を中止する。換言すれば、デバイス７００は、マルチキャスト通知９１０が最初に表示された（又は、娯楽目標グループに対応する音声マルチキャストメッセージを示すデータが受信された）ときの所定の時間内（又は、通知９１０の減衰期間の終了前）に、マルチキャスト通知９１０の目標グループ（例えば、「娯楽ゾーン」）に対応する新しい音声マルチキャストメッセージを示すデータを受信していない。したがって、図９Ｅを参照すると、デバイス７００は、データの第１及び第２の１組に示されたそれぞれの目標グループに対応するデータが各それぞれの通知の減衰期間が終了する前に受信され、一方、データの第３の１組に示された目標グループに対応するデータが、マルチキャスト通知９１０の減衰期間が終了する前に受信されなかったため、データの第１の１組を表すコンテンツ（例えば、マルチキャスト通知９０６ｂのジョン）及びデータの第２の１組を表すコンテンツ（例えば、マルチキャスト通知９０８ｂのマルチキャストのうちの１つ）を表示し続け、データの第３の１組を表すコンテンツをもはや表示しない（例えば、マルチキャスト通知９１０）。
図９Ｉ〜９Ｐは、受信した音声マルチキャストメッセージの再生のためのユーザインタフェースを示す。具体的には、図９Ｉ〜９Ｋは、複数の音声マルチキャストメッセージが、単一の入力に応答して自動的に再生されるシナリオを示す。加えて、図９Ｌ〜９Ｐは、１つの受信された音声マルチキャストメッセージが、他の受信された音声マルチキャストメッセージのグループから選択され、再生されるシナリオを示す。図９Ｈでは、デバイス７００は、マルチキャスト通知９０６ｂに対応する場所でタップジェスチャ９５０ｈを検出する。
図９Ｉに示すように、タップジェスチャ９５０ｈの検出に応答して、デバイス７００は、ユーザインタフェース９２０を表示する。ユーザインタフェース９２０は、（図９Ｉで「ホームからのマルチキャスト」によって示されるように）ホーム目標グループに対応する音声マルチキャストメッセージである、マルチキャスト通知９０６ｂに示される音声マルチキャストメッセージを表示するためのユーザインタフェースである。ユーザインタフェース９２０は、マルチキャスト通知９０６ｂで表される音声マルチキャストメッセージのうちの１つをそれぞれ表す、グラフィカル送信者示唆９２４ａ及びグラフィカル送信者示唆９２４ｂを含む。ここで、グラフィカル送信者示唆９２４ａはグラフィカル送信者示唆９２４ｂよりも大きく、ユーザインタフェースの中央では、グラフィカル送信者示唆９２４ａに対応する音声マルチキャストメッセージが現在再生のために選択されていることを示す。グラフィカル送信者示唆９２４ａは、スピーカデバイスの画像であり、図９Ｆで１０：１１ ＡＭに受信された「もう一方」によって送信された音声マルチキャストメッセージに対応するデータを表す。グラフィカル送信者示唆９２４ｂはジョンの画像（すなわち、図７ＡＢのジョンＡ．の画像を含む７９７ａ）であり、データの代表は、図９Ｅで１０：１０ ＡＭに受信されたジョンによって送信された音声マルチキャストメッセージに対応する。いくつかの実施形態では、音声メッセージは、受信された順序で表示される（例えば、図９Ｅでは、グラフィカル送信者示唆９２４ｂ及びグラフィカル送信者示唆９２４ｂが切り替えられる）。ユーザインタフェース９２０は、ユーザインタフェース（又は最大のグラフィカル送信者示唆）の中央に表示されるスピーカ又はデバイスに指定された名前を示す、現在の送信者示唆９２２ａを更に含む。ここで、現在の送信者示唆９２２ａは、スピーカが「リビングルーム」の名前を有し、送信者からの音声マルチキャストメッセージが現在再生中であるか、又は再生アフォーダンス９２６の選択によって現在再生され得ることを示す。加えて、デバイス７００はまた、現在選択されている音声マルチキャストメッセージが、再生することができる１０秒の長さを有することを示す、残りの示唆９２８、及び選択された音声マルチキャストメッセージが、ホーム目標グループに対応する音声マルチキャストメッセージの総数のうちの２つのメッセージ１であることを表すカウント示唆９３０を表示する。いくつかの実施形態では、設定が音声マルチキャストメッセージの音声表記を可能にすることが有効なとき、ユーザインタフェース９２０は、現在選択されている音声マルチキャストメッセージの文字表現を含む。
図９Ｉに示すように、デバイス７００は、寝室目標グループに対応する新しい音声マルチキャストメッセージが受信されたことを示すデータを受信し、データの受信に応答してマルチキャスト通知９４０を表示する。いくつかの実施形態では、デバイス７００は、以下の図９Ｌに関連して説明されるように、この受信されたデータに基づいて通知のリストを更新する。図９Ｉでは、デバイス７００は、再生アフォーダンス９２６に対応する場所でタップジェスチャ９５０ｉを検出する。
図９Ｊ〜９Ｋに示すように、タップジェスチャ９５０ｉの検出に応答して、デバイス７００は、メディアの再生を開始する。図９Ｊに示すように、デバイス７００は、ホーム目標グループに対応する最後に受信した音声マルチキャストメッセージを再生する（例えば、上記の図９Ｆで１０：１１に受信した）。図９Ｊでは、現在選択されている音声マルチキャストメッセージ（例えば、１０：１１に受信した「もう一方」からの音声マルチキャストメッセージ）を再生している間に、デバイス７００は、時刻表示９３２を表示し、示唆９２８及び９３０を更新する。図９Ｋに示すように、デバイス７００は、現在、ホーム目標グループに対応する第１の音声マルチキャストメッセージを再生している（例えば、上記の図９Ｅのジョンから１０：１０に受信した）。特に、デバイス７００は、ホーム目標グループに対応する最後の音声マルチキャストメッセージの再生を完了した後に（例えば、タップジェスチャ９５０ｉを検出した後に追加入力を受信することなく）、自動的に第１の音声マルチキャストメッセージを再生する。
図９Ｌに示すように、図９Ｋでユーザインタフェースを表示した後しばらくして、デバイス７００は通知のリストを再表示する。ここで、通知９０２ｂは表示を中止している。いくつかの実施形態では、通知９０２ｂは、通知に対応する場所でジェスチャが検出されたこと及び／又は音声マルチキャストメッセージのうちの任意の１つ以上が図９Ｊ〜９Ｋで再生されたことから表示を中止している。いくつかの実施形態では、その減衰期間が、ホーム目標グループに対応する新しいマルチキャストが受信される前に（例えば、１０：１６ ＡＭで）終了したため、通知９０２ｂは表示を中止する。
図９Ｌでは、デバイス７００はまた、マルチキャスト通知９０８ｃを表示しており、マルチキャスト通知９０８ｂの表示を中止している。マルチキャスト通知９０８ｃは、図９Ｉで受信した音声マルチキャストメッセージに対応する参照データに更新されたマルチキャスト通知９０８ｂの更新バージョンであり、図９Ｉではマルチキャスト通知９４０によって表された。したがって、マルチキャスト通知９０８ｂは、寝室目標グループに対応する２つのマルチキャスト通知が受信されたことを示すコンテンツを含んでいるが、マルチキャスト通知９０８ｃは、寝室目標グループに対応する３つのマルチキャスト通知が受信されたことを示すコンテンツを含むように更新されている。図９Ｌでは、デバイス７００は、マルチキャスト通知９０８ｃに対応する場所で押圧及び保持ジェスチャ９５０ｌを検出する。いくつかの実施形態では、デバイス７００は、ジェスチャが検出（又は保持）され続けている間に、押圧及び保持ジェスチャ９５０ｌを検出する。いくつかの実施形態では、デバイス７００は、ジェスチャが解放された後に、押圧及び保持ジェスチャを検出する。
図９Ｍに示すように、押圧及び保持ジェスチャ９５０ｌの検出に応答して、デバイス７００は、（例えば、押圧及び保持ジェスチャ９５０ｌを検出し続けながら、押圧及び保持ジェスチャ９５０ｌの終了後）ユーザインタフェース９６０を表示する。ユーザインタフェース９６０は、（図９Ｉ〜９Ｋに関連して上述したように）ユーザインタフェース９２０に類似のユーザインタフェース要素を含む。しかしながら、ユーザインタフェース９６０は、ユーザインタフェース９２０よりも小さいエリアを有する。ユーザインタフェース９６０が寝室目標グループから音声マルチキャストメッセージを再生するためのユーザインタフェースである間、デバイス７００は、ユーザインタフェース９２０に関して上述したような１つ以上の技術を使用することができる。いくつかの実施形態では、開いているアフォーダンス９６２上のユーザ入力９５０ｍ１の検出に応答して、デバイス７００は、ユーザインタフェース９６０の表示を中止し、ユーザインタフェース９２０と類似のサイズのユーザインタフェースを表示する。図９Ｍでは、デバイス７００は、ユーザインタフェース９６０に対応する場所でスワイプジェスチャ９５０ｍ２を検出する。
図９Ｎに示すように、第１のジェスチャ（例えば、スワイプジェスチャ９５０ｍ２）の検出に応答して、デバイス７００は、現在選択されている音声マルチキャストメッセージを、寝室目標グループに対応する最後に受信された音声マルチキャストメッセージ（例えば、その対応するデータが図９Ｉで受信された場合）から寝室目標グループに対応する第２の最後に受信された音声マルチキャストメッセージ（例えば、その対応するデータが図９Ｇで受信された場合）に変更する。図９Ｎでは、デバイス７００は、ユーザインタフェース９６０に対応する場所でスワイプジェスチャ９５０ｎを検出する。
図９Ｏに示すように、第２のジェスチャ（例えば、スワイプジェスチャ９５０ｎ）の検出に応答して、デバイス７００は、現在選択されている音声マルチキャストメッセージを、寝室目標グループに対応する第２の最後に受信された音声マルチキャストメッセージ（例えば、その対応するデータが図９Ｆで受信された場合）から寝室目標グループに対応する第１に受信された音声マルチキャストメッセージ（例えば、その対応するデータが図９Ｅで受信された場合）に変更する。図９Ｏでは、デバイス７００は、ユーザインタフェース９６０（例えば、再生アフォーダンス９２６上）に対応する場所でタップジェスチャ９５０ｏを検出する。
図９Ｐに示すように、タップジェスチャ９５０ｏ、デバイス７００の検出に応答して、デバイス７００は、他の音声マルチキャストメッセージの再生を開始することなく、寝室目標グループに対応する第１に受信された音声マルチキャストメッセージ（例えば、現在選択されている）の再生を開始する。いくつかの実施形態では、図９Ｐ（又は９Ｉ〜９Ｊ）で、デバイス７００は、マルチキャストアフォーダンス７３６に対応する場所でタップジェスチャ９５０ｐを検出し、タップジェスチャ９５０ｐの検出に応答して、マルチキャストアフォーダンス７３６に対応する場所で、デバイス７００は、上述のように（例えば、図７Ｃ及び図７Ｉ）、１つ以上の入力デバイスを介して、メディアの記録を開始する。いくつかの実施形態では、図９Ｐでは、デバイス７００は、（上述のように）音声入力７２０ａなどの１つ以上の音声入力を検出して、ジェーンに再生するために、寝室目標グループに対応する音声マルチキャストメッセージを送信する。
図９Ｑ〜９Ｖは、スマートウォッチ７０１などのデバイス７００よりも小さいディスプレイを有するデバイス上に上述のユーザインタフェースを表示するための例示的なユーザインタフェースを示す。上述したユーザインタフェースのいずれかは、図９Ａ〜９Ｐのために上述したものと１つ以上の類似の技術を使用して、スマートウォッチ７０１（例えば、ユーザインタフェース９７０、９７２、９７４、９７６、９７８、及び９８０）（又はタブレット６３４）上で表示及び遷移することができる。
図９Ｗ〜９Ｘは、コンピュータデバイス６７４などのデバイス上で上述したユーザインタフェースを表示するための例示的なユーザインタフェースを示す。上述のように、いくつかの実施形態では、コンピュータデバイス６７４は、１つ以上のユーザインタフェースを表示するためのコンピュータデバイス６７４の命令を送信する１つ以上のデバイスと通信する。上述したユーザインタフェースのいずれかは、図９Ａ〜９Ｐのために上述したものと１つ以上の類似の技術を使用して、コンピュータデバイス６７４（例えば、ユーザインタフェース９９６及び９９８）上で表示及び遷移することができる。
図１０は、いくつかの実施形態に係る、コンピュータシステムを使用した通知を表示するための方法を示すフロー図である。方法１０００は、ディスプレイ生成構成要素と通信するコンピュータシステム（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法１０００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１０００は、通知を表示するための直観的方法を提供する。この方法は、通知を検視する際のユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的に通知にアクセスすることを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
コンピュータシステムは、第１のメディアに対応する第１のデータを受信する（１００２）。
コンピュータシステムは、（例えば、第１のデータの受信に応答して）ディスプレイ生成構成要素を介して、第１の時間周期の端部（例えば、所定の第１の時間周期）まで、第１のメディア（例えば、９０４ｂ、９０４ｃ）（例えば、第１のデータに対応する通知）（例えば、第１のメディアを再生するプロセスを開始するために選択可能な通知）の示唆を有する第１の通知（例えば、９０６ａ、９０８ａ、９１０）を表示する（１００４）。
コンピュータシステムは、第１のデータを受信した後（例えば、第１の通知のディスプレイの開始後）、第２のメディアに対応する第２のデータを受信するものであって（１００６）、第２のメディア（例えば、９Ｊの９３２）は、第１のメディア（例えば、９Ｋの９３２）とは異なる。
コンピュータシステムは、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い（及び、いくつかの実施形態では、１つ以上の基準は、第２のメディアが第１のメディアと同じ目標グループに向けられたときに満たされる基準を含み）、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定（例えば、第２のデータが、第１のデータが受信された後に所定の時間内に受信されたとの判定）に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで（例えば、第２のデータの受信に応答して）表示する（１００８）。いくつかの実施形態では、第２の時間周期は、第２のデータの受信に基づく。いくつかの実施形態では、第２の時間周期は、第１のデータの受信に基づくものではない。いくつかの実施形態では、第２の時間周期は、所定の第２の時間周期である）、第１のメディア（例えば、９Ｋの９３２）（例えば、少なくとも第１のデータに対応する通知）（例えば、少なくとも第１のメディアを再生するためのプロセスを開始するために選択可能な通知）（例えば、少なくとも第１のデータの受信を示す通知）の示唆（例えば、９０６ｂの示唆（例えば、「ジョン」）、９０８ｂ（例えば、「２」））を有する第２の通知（例えば、９０６ｂ、９０８ｂ、９０８ｃ）、ここで、第１の時間周期の端部は、第２の時間周期の端部と異なる。いくつかの実施形態では、第２の通知は、第１の通知である。いくつかの実施形態では、第２の通知は、第１の通知とは異なる（例えば、第２の通知は、（１）第１のメディアに対応する情報と、（２）第２のメディアに対応する情報とを組み合わせる通知である）。いくつかの実施形態では、第２の通知は、第１の時間周期の後に表示される（例えば、最初に表示される）。いくつかの実施形態では、第２のメディアの受信が第１のメディアの受信の所定時間内であるとき、第１のメディアに対応する情報が表示される時間の長さが延長される。いくつかの実施形態では、第２の時間周期は、第１のデータが受信されたときと第２のデータが受信されたときとの間の差に基づいて決定される。いくつかの実施形態では、メディア（例えば、第１のメディア、第２のメディア）は、別のデバイスで記録され、第１のデータ及び第２のデータを受信するコンピュータシステムを含む、デバイスのグループに送信された音声メッセージである。いくつかの実施形態では、１つ以上の基準の１組は、第１のメディアのディスプレイ期間（例えば、通知が有効である持続時間、通知が通知の集合に表示される持続時間）の端部の前に第２のメディアが受信されたときに満たされる基準を含む。いくつかの実施形態では、１つ以上の基準の１組は、（例えば、第１の通知のアクティブ化を介して、第１の通知をクリアするユーザ入力を介して）第１の通知を表示することを停止する前に第２のメディアが受信されたときに満たされる基準を含む。特定の基準が満たされたときに第２の通知に関連した第１の通知に含まれる通知を含む第２の通知を動的に表示することにより、ユーザに、第２の通知と第１の通知の間の関係についてのフィードバックを提供し、同時にまた、第１の通知の表示を中止した場合であっても、第１の通知に含まれる示唆を表示し続けることを可能にする。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１の通知（例えば、９０６ａ）は、第２のデータが受信される時に（例えば、第２のメディアが１つ以上の基準の１組を満たすとの判定に従って）表示されている。いくつかの実施形態では、第２の通知（例えば、９０６ｂ）の表示の一部として、コンピュータシステムは、第１の通知の表示を中止する（例えば、図９Ｅで）。いくつかの実施形態では、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い（及び、いくつかの実施形態では、１つ以上の基準は、第２のメディアが第１のメディアと同じ目標グループに向けられたときに満たされる基準を含む）、及び第２のデータが第１のデータが受信された後の所定の時間内に受信されたとの判定に従って、第１の通知の表示を停止する。第２の通知が第１の通知に関する情報を含むときに第１の通知を表示することを停止することにより、ユーザインタフェースを乱すことなく、第１の通知の情報に関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１のメディアは、第１の音声メッセージ（例えば、９Ｋの９３２）（例えば、外部デバイスで（マイクロフォンを使用して）記録され、外部デバイスによってデバイスのグループに送信される音声メッセージ、コンピュータシステムを含む複数の外部デバイスに向けられた（例えば、送信された）音声メッセージ）である。いくつかの実施形態では、第２の音声メッセージは、第２の複数の外部デバイス（例えば、複数の外部デバイスとは異なる、複数の外部デバイスと同じ）に向けられた（又は送信された）第２の音声メッセージである。マルチキャストされた音声メッセージに関連付けられた通知を表示することは、通知のタイプに関する視覚的フィードバックをユーザに提供し、これにより、通知が減衰し、所定の時間の期間に応答される必要があることをユーザに識別させる。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１の通知（例えば、９０４）は、第１のメディア（例えば、９Ｋの９３２）が（例えば、メディアに対応する第１のデータが送信された）複数の外部デバイスのグループの示唆（例えば、９０４ｄ）を含む。いくつかの実施形態では、第１のデータは、第１のメディアが向けられた複数の外部デバイスのグループを識別する。いくつかの実施形態では、複数の外部デバイスはコンピュータシステムを含む。第１のメディアが向けられたデバイスのグループの示唆を含む通知を表示することにより、ユーザに、再生メッセージを送信及び／又は受信するデバイスに関するフィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１のデータの受信に応答して、コンピュータシステムは、第１の時間周期（例えば、所定の第１の時間周期）の端部まで、第１の通知（例えば、９０６ａ）を通知の集合（例えば、図９Ｂ〜９Ｈに表示された通知）（例えば、通知の集合の表示を要求するユーザ入力に応答して表示され、ディスプレイのためにアクセス可能な通知の集合、最近の通知のリスト表示）に追加する、いくつかの実施形態では、第１の時間周期の端部に到達することに従い、コンピュータシステムは、通知の集合から第１の通知（例えば、９０４）を除去する。いくつかの実施形態では、第１の時間周期の端部の前に、第２のメディアに対応する第２のデータを受信することに従い、及び第２のメディアが１つ以上の基準の１組を満たすとの判定に従って、コンピュータシステムは、通知の集合から第１の通知（例えば、９０６ａ）を除去し、通知の集合に第２の通知（例えば、９０６ｂ）を追加する。いくつかの実施形態では、第１の所定の時間周期の端部の前に、メディアに対応するデータを受信することに従い、及び第２のメディアが１つ以上の基準の１組を満たさないとの判定に従って、通知の集合から第１の通知を除去することなく、通知の集合に第２の通知を追加する。いくつかの実施形態では、コンピュータシステムは、第１の通知のためにディスプレイの端部条件が満たされることに従って、通知の集合から第１の通知を除去する。通知に関連する追加のデータ（例えば、更新なし、又は新たなメディアなし）が特定の時間の期間内に受信されていないときに通知を削除することを選択することにより、デバイスは、ユーザが通知を手動で削除することを必要とせずに、ＵＩを乱すユーザに失効（例えば、古い、非関連）通知を提供することを回避することができる。更なるユーザ入力を必要とせずに１組の状態が満たされた場合に最適化された動作を実行することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１のデータは、第１のメディアが向けられた（例えば、送信された）複数の外部デバイスの目標グループを識別する。いくつかの実施形態では、第１のメディア（例えば、及び、通知がアクティブ化されるとき、第１のメディア（例えば、第１の音声メッセージ）を再生するためのプロセスを開始する）に対応する通知（例えば、９０６ａ、９０８ａ、９１０）（例えば、第１の通知）を表示している間に、コンピュータシステムは、第３のメディアに対応する第３のデータを受信する（１０１０）。いくつかの実施形態では、第３のメディアに対応する第３のデータの受信に応答し（１０１２）、及び第３のメディアが１つ以上の基準の１組を満たすとの判定に従って（いくつかの実施形態では、１つ以上の基準は、メディアが第１のメディアと同じデバイスの目標グループに向けられたときに満たされる基準を含む）、コンピュータシステムは、第１のメディア（例えば、及び、通知がアクティブ化すると、第１のメディア（例えば、第１の音声メッセージ）を再生するためのプロセスを開始する）に対応する通知（例えば、第１の通知、第２の通知）が表示される（例えば、図９Ｆの９０６ｂ）間、持続時間を延長する（１０１４）。いくつかの実施形態では、第３のメディアに対応する第３のデータの受信に応答し（１０１２）、及び第３のメディアが１つ以上の基準の１組を満たさないとの判定に従って（例えば、第３のメディアは、第１のメディアと比較して、目標デバイスの異なる１組に向けられた）、コンピュータシステムは、第１のメディアに対応する通知が表示される間（例えば、図９Ｆの９０８ａ、９１０）持続時間を延長することを取り止める（１０１６）。いくつかの実施形態では、コンピュータシステムが１つ以上の基準の１組を満たすメディアに対応する追加のデータを受信すると、デバイスは、１つ以上の基準の１組を満たすメディアに応答して表示された直前の通知が、時間周期の端部に到達することに基づいて表示されることをまだ中止していない限り、ディスプレイ生成構成要素を介して通知が表示される間、持続時間を延長し続ける。したがって、音声メッセージが、目標デバイス（例えば、外部デバイス）の同じ１組に向けられて受信されると、音声メッセージのそのチェーンに関する通知は、直近に受信された音声メッセージが、ディスプレイのための対応する所定の時間周期に到達しない限り、継続して表示される。通知に関連する更新された情報が所定の時間の期間受信されたかどうかに基づいて、通知の減衰期間を延長するかどうかを選択することにより、ユーザが通知を手動で更新／削除する必要なしに、デバイスは新規の（例えば、新しい、関連する）通知をユーザに提供すると同時に、ＵＩを乱すユーザへの失効通知（例えば、古い、非関連）の提供を回避することができる。更なるユーザ入力を必要とせずに１組の状態が満たされた場合に最適化された動作を実行することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第２のメディアが１つ以上の基準の１組を満たすとの判定に従って、第２の通知（例えば、１つ以上の基準の１組を満たす）は、第２の通知によって表される第１のメディア（例えば、音声メッセージの数）を含む、メディアの数（例えば、９０８ａ及び９０８ｂ）に基づく（例えば、を示す）インジケータ（例えば、数）を含む。いくつかの実施形態では、通知のチェーンの第１の通知の後の後続の通知それぞれは、表示されている通知によって表されるメディアの数（例えば、音声メッセージの数）の示唆を含む。例えば、通知がチェーンの第５の通知である場合、通知は、通知が５つの受信されたメディア（例えば、５つの音声メッセージ）に対応することを示す。いくつかの実施形態では、第２のメディアが１つ以上の基準の１組を満たさないとの判定に従って、第２の通知（例えば、１つ以上の基準の１組を満たす）は、第２の通知によって表される第１のメディア（例えば、音声メッセージの数）を含む、メディアの数に基づく（例えば、を示す）インジケータ（例えば、数）を含まない。デバイスの目標グループから受信されたメディアアイテムの数（音声マルチキャストメッセージ（例えば、１つ以上のデバイスにマルチキャストされた音声メッセージ））の示唆を更新することにより、現在の状態、デバイスの遵守された目標グループに対して受信されたメディアアイテムの数に関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第２の通知は、第１のメディアの示唆を含む。いくつかの実施形態では、第２の通知（例えば、６０２ｂ）を表示している間に、コンピュータシステムは、第２の通知に向けられた入力（例えば、９５０ｈ）を受信する。いくつかの実施形態では、第２の通知に向けられた入力の受信に応答して（例えば、及び第２のメディアが１つ以上の基準の１組を満たすとの判定に従って）、コンピュータシステムは、第１のメディア及び第２のメディアを再生するためのプロセスを開始する（例えば、図９Ｉ〜９Ｊの９２０、９２２）（例えば、第１のメディア及び第２のメディアを再生する、第１のメディア及びその後に第２のメディアの再生を開始するためのユーザインタフェースを表示する）。いくつかの実施形態では、第１及び第２のメディアを再生するためのプロセスを開始することは自動的に（例えば、ユーザ入力の介在なしに第２の通知に向けられた入力の受信に応答して）、第１のメディア、その後、第２のメディアを再生し、第１のメディアを再生するためのユーザインタフェース（例えば、７４１）を表示することを含む。いくつかの実施形態では、第２の通知に向けられた入力の受信に応答し、及び第２のメディアが１つ以上の基準の１組を満たさないとの判定に従って、第１のメディアを再生することなく第２のメディアを再生するためのプロセスを開始することの一部として（例えば、第２のメディアを再生し、第１のメディアを再生しないユーザインタフェースを表示する）、コンピュータシステムは、第２のメディアの再生を開始し、その後に第１のメディアを自動的には再生しない。いくつかの実施形態では、第２のメディアが１つ以上の基準の１組を満たさないという判定に従って、第１の通知を表示している間に、コンピュータシステムは、第１の通知に向けられた入力を受信し、第１の通知に向けられた入力の受信に応答して、第２のメディアを再生することなく第１のメディアを再生するためのプロセスを開始する。
いくつかの実施形態では、第２のメディアは、１つ以上の基準の１組を満たす（例えば、第２のメディアは、第１のメディアと同じ外部デバイスに向けられる）。いくつかの実施形態では、第２の通知（例えば、９０８ｃ）を表示している間に、コンピュータシステムは、第２の通知に向けられた入力（例えば、９５０ｌ）を受信する。いくつかの実施形態では、第２の通知に向けられた入力の受信に応答して（例えば、第２のメディアが１つ以上の基準の１組を満たすとの判定に従って）、コンピュータシステムは、第１のメディアを再生するためのユーザインタフェースを表示するものであって（例えば、９６０）（例えば、第１のメディア及び第２のメディアを再生するためのプロセスを開始することの一部として）、第１のメディアを再生するためのユーザインタフェースは、記録ユーザインタフェースオブジェクト対象（例えば、選択可能な記録ボタン）を含む。いくつかの実施形態では、記録（例えば、７３６）ユーザインタフェースオブジェクト対象の選択（例えば、９５０ｐ）によって、第１のデータが第１のメディアが向けられた（例えば、送信された）複数の外部デバイスの第１のグループ（例えば、寝室デバイス）を識別するとの判定に従い、コンピュータシステムは、音声メッセージを複数の外部デバイスの第１のグループ（例えば、及び第２のグループではない）に送信するためのプロセス（例えば、７３０、７４０、７５０）を開始する。いくつかの実施形態では、記録（例えば、７３６）ユーザインタフェースオブジェクト対象の選択（例えば、９５０ｐ）によって、第１のデータが第１のメディアが向けられた（例えば、送信された）、第１のグループとは異なる、複数の外部デバイスの第２のグループ（例えば、ホームデバイス）を識別するとの判定に従い、コンピュータシステムは、音声メッセージを複数の外部デバイスの第２のグループ（例えば、及び第１のグループではない）に送信するためのプロセス（例えば、７８０ａ、７８４、７８６ａ）を開始する。いくつかの実施形態では、コンピュータシステムは、記録ユーザインタフェースオブジェクト対象の選択（例えば、タップ、押圧、及び保持）を検出し、記録ユーザインタフェースオブジェクト対象の選択の検出に応答して、上述のように、対応する動作を開始する。いくつかの実施形態では、外部デバイスの１組は、トップレベルの場所（又は宛先）（例えば、第１のタイプの場所）（例えば、ホーム場所、ビジネス、オフィス（トップレベルの場所にある場所（例えば、１つ以上の場所を定義する場所（例えば、サブ場所）及び／又はトップレベルの場所の場所によって定義されるエリア及び／又は周辺部内にある１つ以上の領域（又はゾーン）、場所の階層のトップレベルにある場所、１つ以上の場所（例えば、サブ位置）に（例えば、プログラムで）リンクされた場所及び／又は１つ以上の領域（又はゾーン）））に関連付けられている。いくつかの実施形態では、音声メッセージを送信するためのプロセスを開始することは、コンピュータシステムによって検出された音声を記録することによって、音声メッセージを記録することを含む。いくつかの実施形態では、第１のメディアを再生するためのユーザインタフェースは、グループ（例えば、トップレベルの場所、サブ場所）の示唆（例えば、文字示唆、グラフィカル示唆）（例えば、音声メッセージが送信される部屋又はゾーンの名前を指定する文字）を含む。
いくつかの実施形態では、第１のメディアを再生するためのユーザインタフェース（例えば、９６０）を表示している間に（例えば、第１のメディア及び第２のメディアを再生するためのプロセスを開始することの一部として）表示している間に、コンピュータシステムは、（例えば、タッチ感知面を使用して、１つ以上の入力デバイスを介して）ユーザ入力を受信する（例えば、９５０ｉ、９５０ｍ２、９５０ｎ）。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力（例えば、９５０ｉ）が再生ユーザインタフェースオブジェクト対象の選択に向けられたとの判定に従って（例えば、第１のメディアを再生するためのユーザインタフェースの一部として表示される再生ボタン上のタップ）、コンピュータシステムは、第１のメディアを再生する（及び、任意選択的に、自動的にその後、第２のメディアを再生し、第２のメディアを再生するためにユーザインタフェースに切り替える）。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力が、第１のメディアを再生するためのユーザインタフェースに向けられたスワイプジェスチャ（例えば、９５０ｍ２、９５０ｎ）（例えば、第１のメディアを再生するためのユーザインタフェース上の左スワイプジェスチャ）との判定に従って、コンピュータシステムは、第１のメディアを再生するためのユーザインタフェースのディスプレイを第２のメディアを再生するためのユーザインタフェースのディスプレイ（例えば、第１のメディアを再生することなく第２のメディアを再生するための再生ボタンを含む）に置き換える。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力（例えば、９５０ｉ）が再生ユーザインタフェースオブジェクト対象の選択に向けられたとの判定に従って（例えば、第１のメディアを再生するためのユーザインタフェースの一部として表示される再生ボタン上のタップ）、コンピュータシステムは、第２のメディア（例えば、通知に対応する直近に受信されたメディア）を再生し、その後、第１のメディアを再生する。
いくつかの実施形態では、第１のメディアを再生する（例えば、第１のメディア及び第２のメディアを再生するためのプロセスを開始することの一部として）ためのユーザインタフェース（例えば、図１５Ｂ〜１５Ｅの７２０）を表示している間、及び第１のメディアを再生している間に、コンピュータシステムは入力を受信する。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力が第１のメディアを再生するためのユーザインタフェース上の第１の場所（例えば、ユーザインタフェース７２０上の７３６の場所）に向けられたとの判定に従って、コンピュータシステムは、新しいメディア（例えば、１つ以上の音声マルチキャストメッセージ）を送信し、記録する（及び、任意選択的に、送信のために音声を自動的に記録する）ためのユーザインタフェース（例えば、７４１）を表示する。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力が第１のメディアを再生するためのユーザインタフェース上の第２の場所（例えば、１５３４の場所）に向けられたとの判定に従って、コンピュータシステムは、（例えば、１５２４ａに対応する）第１のメディアを再生するためのユーザインタフェースのディスプレイを、（例えば、１５２４ｂに対応する）第２のメディアを再生するためのユーザインタフェースのディスプレイに置き換えるものであって、第１のメディアを再生するためのユーザインタフェース上の第２の場所は、第１のメディアを再生するためのユーザインタフェース上の第１の場所とは異なる。ユーザ入力が第１の場所に向けられ、タップ入力であるとの判定に従って、コンピュータシステムは、後続の入力（例えば、第１の場所と同じ場所（又は第１の場所の近く）で検出される後続の入力）が検出されるまで（例えば、１つ以上のマイクロフォンを介して）音声を自動的に記録する。ユーザ入力が第１の場所に向けられ、押圧及び保持ジェスチャであるとの判定に従って、コンピュータシステムは、ユーザ入力の端部が検出されるまで（例えば、１つ以上のマイクロフォンを介して）音声を自動的に記録する。いくつかの実施形態では、第２の通知を表示している間に、コンピュータシステムは、第２の通知に向けられた入力（例えば、９５０ｈ）を受信する。いくつかの実施形態では、第２の通知に向けられた入力の受信に応答して、コンピュータシステムは、第２の通知の表示を中止する。いくつかの実施形態では、第２の通知がアクティブ化されると、第２の通知は、（例えば、ディスプレイのためにユーザがアクセス可能な、通知の集合を表示することを要求するユーザ入力に応答して表示される、コンピュータシステムで受信された最近の通知のリスト表示）通知の集合から除去される。いくつかの実施形態では、通知の集合は、他の通知（例えば、電子メール通知、インスタントメッセージング通知）を引き続き含む。通知が対話されたときに通知の除去を選択することにより、デバイスは、ユーザが通知を手動で削除することを必要とせずに、ＵＩを乱すユーザに失効通知（例えば、古い、非関連）を提供することを回避することを可能にする。更なるユーザ入力を必要とせずに１組の状態が満たされた場合に最適化された動作を実行することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、場所（例えば、トップレベルの場所（ホーム）、サブ場所（ホームの部屋）に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステムを含むかどうかを構成するためのユーザインタフェースを表示するものであって、グループのコンピュータシステムを含むかどうかを構成するためのユーザインタフェースは、コンピュータシステムの現在の物理的位置に関係なく（例えば、コンピュータシステムの場所センサによって判定されるように）、場所に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステムを（例えば、常に）含む、第１のオプション（例えば、７９９ｃ）、及び、コンピュータシステムの現在の物理的位置に関係なく（例えば、コンピュータシステムの場所センサによって判定されるように）、場所に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステムを（例えば、決して）含まない第２のオプション（例えば、７９９ａ）を含む。いくつかの実施形態では、ユーザは、メディアに対応するデータを受信するために登録／登録解除する、又はメディアに対応する受信したデータに基づいて通知のディスプレイを有効／無効にするように、コンピュータシステムを構成することができる。
いくつかの実施形態では、コンピュータシステムは、場所（例えば、トップレベルの場所（ホーム）、サブ場所（ホームの部屋）に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループに対応するデータを受信する複数の外部デバイスのグループにコンピュータシステムを含むかどうかを構成するためのユーザインタフェースを表示するものであって、コンピュータシステムをグループに含むかどうかを構成するためのユーザインタフェースは、コンピュータシステム（例えば、７００）が、現在、場所に対応する（例えば、ホームのジオフェンスされた周辺部内の、ホームの特定の部屋内の、コンピュータシステムの場所センサによって判定されたような）物理的場所にあるとき、場所に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステム（例えば、７００）を含み、及びコンピュータシステム（例えば、７００）が、現在、場所に対応する（例えば、ホームのジオフェンスされた周辺部内の、ホームの特定の部屋内の、コンピュータシステムの場所センサによって判定されたような）物理的場所にないとき、場所に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステム（例えば、７００）を含まない、第３のオプション（例えば、７７ｂ）を含む。いくつかの実施形態では、ユーザは、コンピュータシステムがその場所にあるときには、場所のデバイスのグループに向けられたメディアに対応するデータのみを受信する（及び／又は通知のみを表示する）ようにシステムを構成する入力を提供できる（例えば、コンピュータシステムがホームにあるときには、ホームに向けられたメッセージのみを取得する、コンピュータシステムがその部屋にあるときには、部屋に向けられたメッセージのみを取得する）。
方法１０００（例えば、図１０）に関して上記したプロセスの詳細はまた、後述／前述の方法にも同様の方法で適用可能であることに留意されたい。例えば、方法１０００は、任意選択的に、方法８００及び１２００に関して前述／後述した様々な方法の特性のうちの任意の１つ以上を含む。例えば、コンピュータシステムは、同じシステムであってもよい。別の例では、方法８００で送信された音声メッセージは、方法１０００で受信したメディアとすることができる。別の例では、方法１２００で送信された音声入力は、方法１０００で受信したメディアと同じであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１１Ａ〜１１Ｒは、視覚的なディスプレイを管理するための電子デバイス及び例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１２のプロセスを含む後述のプロセスを例示するために使用される。
図１１Ａ〜１１Ｒは、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定する場合、デバイス１１００は第１のタイプ（例えば、単一色の光）のビジュアルコンテンツを有する視覚的な指示を表示する、及びデバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定できない（例えば、音声入力のどの部分も、音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきではないと判定する）場合、デバイス１１００は第２のタイプ（例えば、複数色の光）のビジュアルコンテンツを有する視覚的な指示を表示するシナリオを示す。第１及び第２のタイプのビジュアルコンテンツは、例示のみを目的として以下に説明される。第１及び第２のタイプのビジュアルコンテンツは、発言された音声入力が１つ以上の外部デバイスに可能性としてマルチキャストされるかどうかの視覚的な指示をユーザに提供する。
図１１Ａは、人物の前に位置するテーブル上の位置にある電子デバイス１１００を示す。デバイス１１００はスマートスピーカであり、デバイス５８０の１つ以上の特徴を含む。例えば、デバイス１１００は、１つ以上のディスプレイ５８０Ｅの１つ以上の構成要素を含む１つ以上のディスプレイ１１０２を含む。ディスプレイ１１０２は、複数のＬＥＤを含む。いくつかの実施形態では、デバイス１１００は、デバイス１００、３００、又は５００の１つ以上の特徴を含む。図１１Ａでは、デバイス１１００は、例示のみの目的のために、ホーム６０２及びリビングルーム６０２ｄと関連付けられている。したがって、図１１Ａでは、デバイス１１００は、図６に関連して上述したようなリビングルームスピーカ６４６及び６４８のうちの１つである。いくつかの実施形態では、デバイス１１００は、ホーム６０２（又は別のホーム）の別の部屋に関連付けられる。
図１１Ａに示すように、デバイス１１００は、不活性状態（例えば、スリープ状態、低電力状態、デバイス１１００が、ディスプレイ１１０２を介して、ビジュアルコンテンツを表示していない状態）にあり、それにより、ディスプレイ１１０２はビジュアルコンテンツ（例えば、視覚的な指示）を表示していない。いくつかの実施形態では、デバイス１１００がビジュアルコンテンツを表示していない場合、ディスプレイ１１０２のＬＥＤは点灯しない。
図１１Ａ〜１１Ｌは、デバイスの１つ以上の目標グループにマルチキャストされる情報を含む音声入力の受信に応答して、ビジュアルコンテンツを表示するデバイス１１００を示す。いくつかの実施形態では、図７Ｍ〜７Ｎ及び図７Ｓ〜７Ｚの音声入力を受信するデバイス７００に関連して上述した１つ以上の類似技術は、以下に説明するように、音声入力を受信するデバイス１１００に適用することができる（又はその逆）。
図１１Ｂ〜１１Ｆは、デバイス１１００の前に立っている人物からの音声入力を受信するデバイス１１００を示す。図１１Ｂ〜１１Ｆのデバイス１１００によって受信された音声入力は「ヘイ、アシスタント、マルチキャスト、どの音楽をリビングルームで再生したいですか？」である。図１１Ｂ〜１１Ｆで受信した音声入力は、自然発音又は別の方法で受信することができる。図１１Ｂ〜１１Ｆは、デバイス１１００が音声入力の異なる部分にどのように反応し得るかの例示的な実施形態を提供するために示されている。
図１１Ｂでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｂを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「ヘイ、アシスタント」というフレーズを発言している。
図１１Ｂに示すように、音声入力部分１１５０ｂの受信に応答して、デバイス１１００が、ディスプレイ１１０２を介して、ビジュアルコンテンツを表示するように、デバイス１１００は活性状態（例えば、アウェイク状態、電力状態、ディスプレイ１１０２がビジュアルコンテンツを表示されている状態）に変化する。図１１Ｂでは、デバイス１１００は、ディスプレイ１１０２上の異なるタイプのディスク（例えば、図１１Ｂの１１０２の黒色ディスク、白色ディスク、及びパターン化したディスク）によって表される、複数色であるビジュアルコンテンツ（例えば、視覚的な指示）（例えば、光）を表示する。図１１Ｂでは、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないため、デバイス１１００は、複数色であるビジュアルコンテンツを表示する。
図１１Ｃでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｃを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「マルチキャスト」というフレーズを発言している。
図１１Ｃに示すように、音声入力部分１１５０ｃの受信に応答して、デバイス１１００は、活性状態のままである。図１１Ｃでは、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定したため、デバイス１１００は、単一色（例えば、ディスクの他のいずれかのタイプなしの図１１Ｂの１１０２の黒色ディスク）であるビジュアルコンテンツを表示する。ここで、デバイス１１００は、デバイス１１００が、人物がマルチキャストコマンド（例えば、音声メッセージをマルチキャストするコマンド）を発行していることを示す命令（例えば、「マルチキャスト」）フレーズを検出したので、音声入力の部分が音声マルチキャストメッセージとして送信（マルチキャスト）されるべきであると判定する。
図１１Ｄでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｄを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「どんな音楽」というフレーズを発言している。
図１１Ｄに示すように、音声入力部分１１５０ｄの受信に応答して、デバイス１１００は、活性状態のままである。図１１Ｄでは、デバイス１１００は、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであるという判定に基づいて、（例えば、図１１Ｃに関連して上述したように）単一色であるビジュアルコンテンツを表示し続ける。いくつかの実施形態では、デバイス１１００は、音声入力の一部が、（例えば、図７Ｍ〜７Ｎに関連して上述したものと類似の理由で）ホーム６０２に指定された１つ以上のデバイスに送信されるべきであると判定する。いくつかの実施形態では、デバイス１１００は、音声入力の一部がグループ識別子（例えば、「ホーム」、「リビングルーム」、「娯楽ゾーン」、「ダイニングルームへ」）に対応する音声入力に基づくデバイスのグループに指定されているかどうかに基づいて、音声入力の一部を送信する１つ以上のデバイスを判定する。
特に、図１１Ｃと比較すると、図１１Ｄのデバイス１１００によって表示されるビジュアルコンテンツのパターンは、図１１Ｃのデバイス１１００によって表示されるビジュアルコンテンツのパターンとは異なる。図１１Ｃ〜１１Ｄに示されるように、デバイス１１００は、ディスプレイ１１０２を介して、人物の音声に反応する異なるビジュアルコンテンツを表示する。換言すれば、「マルチキャスト」及び「どんな音楽」は異なるフレーズであるため、デバイス１１００はビジュアルコンテンツのパターンを変更する。いくつかの実施形態では、デバイス１１００は、異なる音声コンテンツの部分が異なるビジュアルコンテンツのパターンを生成するように、音声コンテンツの一部の速度、鮮鋭度、音量、ピッチ、階調、及び／又はリズム（例えば、ビート）に基づいて、ビジュアルコンテンツのパターンを変更する。いくつかの実施形態では、デバイス１１００は、音声コンテンツの一部の速度、鮮鋭度、音量、ピッチ、階調、及び／又はリズム（例えば、ビート）に基づいて、ビジュアルコンテンツの彩度、輝度、サイズ、又は位置を変更する。いくつかの実施形態では、デバイス１１００は、ビジュアルコンテンツのパターンを変更しない、及び／又は人物の音声に反応しない。
図１１Ｅでは、デバイス１１００は、デバイス１１００の前に立っている人物から、デバイス１１００の１つ以上のマイクロフォンを介して、音声入力部分１１５０ｅを受信し続ける。ここで、人物は、「あなたが再生したいのは」というフレーズを発言している。
図１１Ｅに示すように、音声入力部分１１５０ｅの受信に応答して、デバイス１１００は、活性状態のままである。図１１Ｅでは、デバイス１１００は、音声入力の一部が１つ以上の外部デバイスに送信されるべきであるという判定に基づいて、単一色であるビジュアルコンテンツを表示し続ける。加えて、音声入力部分１１５０ｅが音声入力部分１１５０ｄとは異なるため、デバイス１１００はビジュアルコンテンツのパターンを変更する。
図１１Ｆでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｆを、デバイス１１００の１つ以上のマイクロフォンを介して受信し続ける。ここで、人物は、「リビングルームで？」というフレーズを発言している。
図１１Ｆに示すように、音声入力部分１１５０ｆの受信に応答して、デバイス１１００は、活性状態のままである。図１１Ｆでは、デバイス１１００は、音声入力の一部が１つ以上の外部デバイスに送信されるべきであるという判定に基づいて、単一色であるビジュアルコンテンツを表示し続ける。加えて、音声入力部分１１５０ｆが音声入力部分１１５０ｅとは異なるため、デバイス１１００はビジュアルコンテンツのパターンを変更する。
図１１Ｆでは、デバイス１１００は、図１１Ｂ〜１１Ｆで受信された音声入力の端部を検出する。図１１Ｆでは、音声入力の端部を検出したことに応答して、デバイス１１００は、音声入力の１つ以上の部分を、音声マルチキャストメッセージとして１つ以上の外部デバイスに送信する。いくつかの実施形態では、音声マルチキャストメッセージは、１１５０ｃ〜１１５０ｄを含む（例えば、「リビングルームで再生したい音楽は何ですか？」）。いくつかの実施形態では、音声入力部分１１５０ｂ及び／又は１１５０ｃが音声入力のコマンド部分に対応するとの判定のため、音声マルチキャストメッセージは、音声入力部分１１５０ｂ（「ヘイ、アシスタント」）及び／又は１１５０ｃ（「マルチキャスト」）を含まない。いくつかの実施形態では、入力が目標グループ識別子（例えば、「ホーム」又は「リビングルーム」）に対応する部分を含むとき、目標グループ識別子（目標グループ識別子に対応する音声入力の部分ではない）は、音声マルチキャストメッセージと共に（例えば、プレーン文字として）送信されるが、１つ以上の外部デバイスによって音声として出力されない。いくつかの実施形態では、１つ以上の外部デバイスによって出力される音声マルチキャストメッセージは、人物のようにサウンドし（音声入力を発言した人物の再生された記録である）、デバイスを介してコンピュータ生成スピーチではない。
図１１Ｇに示すように、デバイス１１００は、音声入力の一部がホーム６０２（例えば、ホーム場所識別子７１２に関連して上述したように「メインストリート１２３番地」）に対応する目標グループ識別子に送られたことを示す、出力１１５４ｇを提供する（例えば、出力する）。出力１１５４ｇを出力するとき、音声入力の一部（例えば、図１１Ｂ〜１１Ｆで受信された）が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであるとの判定により、デバイス１１００は、単一色であるビジュアルコンテンツを表示する。いくつかの実施形態では、デバイス１１００は、この判定に関わりなく、音声確認１１５４ｇを出力するときに、複数色のビジュアルコンテンツを表示する。
図１１Ｈに示すように、デバイス１１００は、不活性状態に変化する。図１１Ｉでは、デバイス１１００は、ホーム６０２に指定された外部デバイスのうちの任意の１つ以上を介して、ジェーンからの音声マルチキャストメッセージに対応するデータを受信する。
図１１Ｉに示すように、音声マルチキャストメッセージの受信に応答して（及び、ユーザ入力を受信せずに（独立して））、デバイス１１００は、イントロダクトリ階調又はチャイムである出力１１５４ｉを提供する。図１１Ｊに示すように、出力１１５４ｉを提供した後、デバイス１１００は、図１１Ｉで受信した音声マルチキャストメッセージに対応する、出力１１５４ｊを提供する。
１１Ｉ〜１１Ｊ図に示すように、デバイス１１００は、出力１１５０ｉ及び出力１１５０ｊを提供するときに、単一色であるビジュアルコンテンツを表示する。デバイス１１００は、デバイス１１００が音声マルチキャストメッセージを出力しているため、単一の色であるビジュアルコンテンツを表示する。図１１Ｉ〜１１Ｊに示すように、デバイス１１００はまた、同じパターンであるビジュアルコンテンツも表示する。したがって、図１１Ｉ〜１１Ｊでは、デバイス１１００は、出力１１５０ｉ及び出力１１５０ｊの異なるコンテンツに基づいてビジュアルコンテンツを変更しない。いくつかの実施形態では、デバイス１１００は、出力１１５０ｉ及び出力１１５０ｊの異なるコンテンツに基づいてビジュアルコンテンツを変更する。いくつかの実施形態では、デバイス１１００は、デバイス１１００の現在の音量レベル（例えば、システム音量レベル）で出力１１５４１１５０ｉ及び／又は出力１１５０ｊを提供する。いくつかの実施形態では、出力１１５４ｉ及び／又は出力１１５０ｊのうちの１つは、デバイス１１００の音量レベルで提供されるが、もう一方はそうではない。いくつかの実施形態では、デバイス１１００は、ある時間の期間内に複数の音声マルチキャストメッセージを受信し、音声マルチキャストメッセージのそれぞれが再生される前に、同じ（又は異なる）イントロダクトリ階調を出力する。いくつかの実施形態では、デバイス１１００は、ある時間の期間内に複数の音声マルチキャストメッセージを受信し、再生される音声マルチキャストメッセージの各（例えば、デバイスの目標グループによってグループ化された）グループの前に、同じ（又は異なる）イントロダクトリ階調を出力する。
図１１Ｊに示すように、デバイス１１００によって提供される音声メッセージは、「ジェーンはホームから返信した：ジャズはどうですか？」と言う。ここで、デバイス１１００によって提供される音声メッセージは、目標識別子を含み、いくつかの実施形態では、含まない。
図１１Ｋでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｋを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「ヘイ、アシスタント、返信する、そのとおり」というフレーズを発言している。
図１１Ｋに示すように、デバイス１１００は、音声入力部分１１５０ｋの一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定したため、デバイス１１００は、単一色（例えば、図１１Ｋの１１０２の黒色ディスク）であるビジュアルコンテンツを表示する。いくつかの実施形態では、デバイス１１００が出力１１５０ｊ（例えば、図１１Ｊで受信した音声マルチキャストメッセージ）を提供した後、音声入力部分１１５０ｋが所定の時間（例えば、１、２、３０、６０秒）以内に受信されたため、デバイス１１００はこの判定を行う。いくつかの実施形態では、デバイス１１００が出力１１５０ｊを提供した後の第２の所定の時間内に、音声入力部分１１５０ｋが「返信」というフレーズを含む、及び／又は「返信」というフレーズを含むため、デバイス１１００はこの判定を行う。いくつかの実施形態では、第２の所定の時間の期間は、第１の所定の時間の期間よりも多い。
図１１Ｌに示すように、デバイス１１００は、不活性状態に変化する。
図１１Ｍ〜１１Ｒは、デバイスの１つ以上の目標グループにマルチキャストされる情報を含まない音声入力の受信に応答して、ビジュアルコンテンツを表示するデバイス１１００を示す。
図１１Ｍ〜１１Ｏは、デバイス１１００の前に立っている人物からの音声入力を受信するデバイス１１００を示した。図１１Ｍ〜１１Ｏのデバイス１１００によって受信された音声入力は、「ヘイ、アシスタント、リビングルームでジャズ音楽を再生してください」である。図１１Ｍ〜１１Ｏで受信した音声入力は、自然発音又は別の方法で受信することができる。図１１Ｍ〜１１Ｏは、デバイス１１００が音声入力の異なる部分にどのように反応し得るかの例示的な実施形態を提供するために示されている。
図１１Ｍでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｍを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「ヘイ、アシスタント」というフレーズを発言している。図１１Ｍに示すように、音声入力部分１１５０ｍの受信に応答して、デバイス１１００は、図１１Ｂで上述したものと類似の１つ以上の技術を使用して、活性状態に変化する。加えて、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないため、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、光）を表示する。
図１１Ｎでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｎを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「ジャズ音楽を再生」というフレーズを発言している。図１１Ｎに示すように、音声入力部分１１５０ｎの受信に応答して、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないため、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、光）を表示する。
図１１Ｏでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｏを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「リビングルームで」というフレーズを発言している。図１１Ｏに示すように、音声入力部分１１５０ｏの受信に応答して、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないため、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、光）を表示する。
図１１Ｍ〜１１Ｏでは、デバイス１１００ビジュアルコンテンツは、音声入力に対して反応性ではない。いくつかの実施形態では、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないとき、デバイス１１００は、ビジュアルコンテンツのパターンを変更しない。いくつかの実施形態では、デバイス１１００は、この判定に関わりなく、異なる音声入力部分に対して反応性があるビジュアルコンテンツのパターンを変更する。
図１１Ｐに示されるように、デバイス１１００は、デバイス１１００が現在のジャズ無線機を再生していることを示す、出力１１５４ｐを提供する（例えば、出力する）。出力１１５４ｇを提供するとき、音声入力の一部（例えば、図１１Ｍ〜１１Ｏで受信された）が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきではないとの判定により、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、視覚的な指示）を表示する。図１１Ｐでは、デバイス１１００はまた、ジャズ音楽も出力する。
図１１Ｑに示すように、ジャズ音楽を出力している間に、デバイス１１００は不活性状態に変化する。
図１１Ｒに示すように、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｒを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「休止する。」というフレーズを発言している。図１１Ｒに示すように、音声入力部分１１５０ｒの受信に応答して、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されない（例えば、音声入力のどの部分もそのようにされるべきではないと判定される）ため、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、光）を表示する。図１１Ｒでは、デバイス１１００はまた、「休止する」命令の受信に応答して、ジャズ音楽を出力することを停止し、ジャズ音楽に対応するメディアを一時停止する。
図１２は、いくつかの実施形態に係る、電子デバイスを使用して視覚的な指示を表示するための方法を示すフロー図である。方法１２００は、１つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有するデバイス（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法１２００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１２００は、視覚的な指示を表示するための直観的方法を提供する。本方法は、デバイスに所与のコマンドのタイプを判定するためのユーザの認識的負担を軽減し、それによって、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的にコマンドのタイプを認識することを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、１つ以上のマイクロフォンを介して音声入力（例えば、１１５０ａ〜１１５０ｒ）を受信する（１２０２）。
電子デバイスは、音声入力の視覚的な表示（例えば、１１０２を介して表示される光）を表示し（１２０４）、ここで、１つ以上のディスプレイデバイスを介して、視覚的な指示（例えば、１１Ｂ〜１１Ｆ、１１Ｋの１１０２）を表示する（１２０６）１つ以上のデバイスに送信される（例えば、及び／又は複数のデバイスに送信される（例えば、マルチキャストされる）（例えば、及び、いくつかの実施形態では、第１のタイプのコマンド（例えば、音声入力の少なくともいくつかを複数の外部デバイス（例えば、パーソナルデバイス（セルラー電話）、外部アクセサリデバイス（例えば、スマートホームアクセサリデバイス（例えば、スマート（例えば、インテリジェントな）電球、サーモスタット、ドアロック、ドアオープナー（例えば、ガレージドアオープナー）、スピーカ、テレビ、電気アウトレット、電源ストリップ、カメラ、アプライアンス（例えば、冷蔵庫、ストーブ））に送信するプロセスを開始するコマンド）に対応する音声入力の別の部分（例えば、送信されない音声入力の一部）））））音声入力に対応する音声入力の一部（例えば、１１５０ｂ〜１１５０ｆ、１１５０ｒ）が、１つ以上の色の第１の１組を有する視覚的な指示を表示することを含むとの判定に従い、及び１つ以上のディスプレイ装置を介して、視覚的な指示（例えば、図１１Ｍ〜１１Ｏ、１１Ｒの１１０２）を表示する（１２１０）、（例えば、音声入力の一部を他のデバイス（例えば、複数の他のデバイス）のスピーカなどによって出力するために）（例えば、音声入力の別の部分は第２のタイプのコマンドである）他のデバイスに音声入力の任意の部分を送信する命令（例えば、マルチキャストする命令）を含まない音声入力（例えば、１１５０ｍ〜１１５０ｏ、１１５０ｒ）が、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を有する視覚的な指示を表示することを含むとの判定に従う。いくつかの実施形態では、第１のタイプのコマンドは、音声入力の少なくともいくつか（例えば、送信される音声入力の部分）を複数の外部デバイスに送信するためのプロセスを開始するコマンドである。いくつかの実施形態では、音声入力のうちの少なくともいくつかを複数のデバイスに送信することで、複数の外部デバイスのうちの２つ以上が、音声入力のいくつかを出力させる（例えば、自動的な（例えば、ユーザ入力を介在させずに）出力）。いくつかの実施形態では、複数の外部デバイスは、外部電子デバイスの異なるタイプ（例えば、パーソナルデバイス、外部アクセサリデバイス）を含む。いくつかの実施形態では、複数のデバイスは、トップレベルの場所（又は宛先）（例えば、第１のタイプの場所）（例えば、ホーム場所、ビジネス、オフィス（トップレベルの場所にある場所（例えば、１つ以上の場所を定義する場所（例えば、サブ場所）及び／又はトップレベルの場所の場所によって定義されるエリア及び／又は周辺部内にある１つ以上の領域（又はゾーン）、場所の階層のトップレベルにある場所、１つ以上の場所（例えば、サブ位置）に（例えば、プログラムで）リンクされた場所及び／又は１つ以上の領域（又はゾーン）））に関連付けられた第１のグループに関連付けられている。いくつかの実施形態では、デバイスの第１グループは、デバイスの複数のサブグループを含むことができる。いくつかの実施形態では、デバイスのサブグループは、トップレベルの場所のサブ場所（例えば、トップレベルの場所の境界、領域、若しくは周辺に、及び／又はトップレベルの場所に定義され、特定され、及び／又はリンクされ（例えば、プログラムでリンクされ）（例えば、ユーザによって）配置された部屋）及び／又はトップレベルの場所内（例えば、トップレベルの場所の境界、エリア、又は周辺部内及び／又は（例えば、ユーザによって）定義され、特定され、及び／又はリンクされた）のゾーン（例えば、２つ以上のサブ場所によって定義される場所）（トップレベルの場所内で（例えば、トップレベルの場所内にリビングルーム及びダイニングルームを含む娯楽ゾーン、トップレベルの場所内に２つ以上の寝室、リビングルーム、バスルームを含むパーソナルゾーン）に関連付けられる。いくつかの実施形態では、第１のユーザインタフェースは、制御ユーザインタフェースである。いくつかの実施形態では、複数のデバイスは、デバイスの複数のサブグループに関連付けられる。いくつかの実施形態では、視覚的な指示は、１つ以上のマイクロフォンを介して音声入力を受信している間、表示され続ける。いくつかの実施形態では、視覚的な指示は、１つ以上のマイクロフォンを介して音声入力を受信している間、最初に表示された後に表示を中止する。いくつかの実施形態では、第２のタイプのコマンドは、音声入力の少なくともいくつかを複数の外部デバイス（例えば、スピーカ、パーソナルデバイス（例えば、セルラー電話）に送信するためのプロセスを開始するコマンドではない。いくつかの実施形態では、視覚的な指示は、１つ以上のマイクロフォンを介して音声入力を受信している間、表示され続ける。いくつかの実施形態では、視覚的な指示は、１つ以上のマイクロフォンを介して音声入力を受信している間、最初に表示された後に表示を中止する。音声入力の一部が１つ以上の機器に送信されるべきであると判定されたときに、第１の１組の色を有する視覚的な指示を表示することにより、その発言が他の人によって可能性として聞こえることができることをユーザが認識できるように、外部電子デバイスで音声入力の一部が再生されるかどうかに関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。ユーザの音声入力が音声入力の任意の部分を他のデバイスに送信する命令を含まないと判定されたときに、（例えば、１つ以上の色の第１の１組とは異なる）１つ以上の色の第２の１組を有する視覚的な指示を表示することにより、ユーザの発言が他の外部デバイスの個々の人によって聞こえないという再保証がユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスが電子デバイスの情報を取得する（例えば、天気、１つ以上のクエリへの回答などの情報を取得する）、又は１つ以上の状態を変更する（例えば、音声状態（電話通話の回答／配置、音量の調整）、メディア再生の状態（例えば、メディアの休止、再生、早送り、巻き戻し、スキップ、シャッフル）、オン／オフ状態のうちの任意の１つ以上を変更する）ことを要求する音声入力（例えば、１１５０ｍ〜１１５０ｏ）は、音声入力のどの部分も他のデバイスに送信する命令を含まない音声入力である。
いくつかの実施形態では、１つ以上のデバイスに送信される音声入力に対応する音声入力（例えば、１１５０ｂ〜１１５０ｆ、１１５０ｋ）は、デバイスのグループの識別子（例えば、場所、サブ場所、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」に対応する場所）を含む（１２０８）。いくつかの実施形態では、音声入力は、デバイスのグループの識別子及びデバイスのグループに送信される音声メッセージを含む。いくつかの実施形態では、音声入力のどの部分も他のデバイスに送信する命令を含まない音声入力（例えば、１１５０ｍ〜１１５０ｏ、１１５０ｒ）は、デバイスのグループの識別子を含まない（１２１２）。いくつかの実施形態では、音声入力はデバイスのグループの識別子を含まず、音声メッセージはデバイスのグループに送信されない。
いくつかの実施形態では、１つ以上の色の第１の１組（例えば、図１１Ｃ〜１１Ｆの１１０２）は、一体色であり、１つ以上の色の第２の１組（例えば、図１１Ｍ〜１１Ｏの１１０２）は、複数の色である。いくつかの実施形態では、一体色は、複数の色に含まれない。異なる予め定められた条件が満たされるときに、異なる視覚効果を電子デバイスに適用することにより、ユーザは、それらの発言が外部電子デバイスによって送信及び再生されるかどうかを素早く認識することができる。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、１つ以上の色の第１の１組を有する視覚的な指示（例えば、図１１Ｃ〜１１Ｆの１１０２）を表示する一部として、電子デバイスは音声入力に基づいて（例えば、音声入力の入力パラメータ（音量、階調、及び／又はピッチなど）の値の変動に基づいて）一定時間（例えば、１、５、１０秒）（例えば、音声入力が受信される時間に基づいて）にわたって（例えば、サイズ、輝度、彩度、及び／又は位置で）変化する（光のパターン（例えば、空間パターン）の）アニメーション（例えば、図１１Ｃ〜１１Ｆの１１０２）を表示する。
いくつかの実施形態では、アニメーションの表示の一部として（例えば、図１１Ｃ〜１１Ｆの１１０２）、電子デバイスは、音声入力の音量又はピッチのうちの任意の１つ以上に基づき、視覚的な指示（例えば、図１１Ｃ〜１１Ｆの１１０２）の輝度、サイズ、色彩度、又は位置のうちの任意の１つ以上を変化させる（例えば、増大又は減少させる）。いくつかの実施形態では、音声入力の音量及び／又はピッチが、視覚的な指示の輝度、サイズ、色彩度のうちの任意の１つ以上を増大／減少させる。いくつかの実施形態では、音声入力のリズム（例えば、ビート）が増大／減少するにつれて、アニメーションのリズム（又はビート）が増加／減少する。いくつかの実施形態では、音声入力の音量及び／又はピッチが増大／減少するにつれて、視覚的な指示は、ディスプレイ装置のエリアをより多く／より少なく占有する。ユーザの音声入力の変化（例えば、音量又は音声入力のピッチの変化）を反映する視覚的な指示の視覚的特性（例えば、輝度、サイズ、色彩度又は位置）を更新することにより、ユーザの音声入力の様々な特性に関する視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子は、再生のための複数の音声メッセージに対応するデータを受信する。いくつかの実施形態では、再生のための複数の音声メッセージに対応するデータは、デバイスのグループの識別子（例えば、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」カテゴリに対応する場所）を含む。いくつかの実施形態では、複数の音声メッセージは、複数の識別子のためのものであり、各識別子は異なるグループ又はカテゴリに対応する。いくつかの実施形態では、再生のための複数の音声メッセージに対応するデータの受信に応答して、電子デバイスは、複数の音声メッセージのそれぞれの対応する音声メッセージを出力する前に（例えば、及びデバイスのグループの識別子を出力する前に）、イントロダクトリ階調（例えば、１１５４ｉ）（例えば、ディンギング又はリンギングサウンド、全ての音声メッセージのイントロダクトリ階調又はチャイム）を出力する。いくつかの実施形態では、識別子は、（例えば、デバイスの目標グループを識別する）識別子に対応する音声メッセージのグループが出力される前に出力される。音声メッセージがマルチキャストタイプの音声メッセージであるマルチキャストアラート受信者である異なる音声メッセージを出力する前に、同じイントロダクトリ階調を出力する。改善された音声フィードバックを提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを削減することによって）ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用することを有効化することによって、デバイスの電力使用量が削減されバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイスは、再生のための音声メッセージ（例えば、音声マルチキャストメッセージ）に対応するデータを受信する。いくつかの実施形態では、再生のための音声メッセージに対応するデータは、デバイスのグループに関連付けられた識別子（例えば、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」カテゴリに対応する場所）を含む。いくつかの実施形態では、データの受信に応答して、電子デバイスは、自動的に、ユーザ入力なしに、音声メッセージを（例えば、電子デバイスのスピーカを介して）出力する（例えば、１１５４ｊ）。いくつかの実施形態では、音声メッセージを出力することは、デバイスのグループの識別子（例えば、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」カテゴリに対応する場所）を出力することを含む。
いくつかの実施形態では、音声メッセージを出力する前に、データの受信に応答して、第２の視覚的な指示（例えば、１１Ｉの１１０２）を表示する。いくつかの実施形態では、第２の視覚的な指示は、音声メッセージが複数のデバイス（例えば、デバイスのグループ）に送信された音声メッセージであるときに、第１の視覚的見掛け（例えば、色、サイズ、輝度）を有する。いくつかの実施形態では、第２の視覚的な指示は、音声メッセージが電子デバイスに送信され、他のデバイスには送信されない音声メッセージであるときに、第１の視覚的見掛けとは異なる第２の視覚的見掛けを有する。
いくつかの実施形態では、電子デバイスは、再生のための音声メッセージ（例えば、音声マルチキャストメッセージ）に対応するデータを受信する。いくつかの実施形態では、再生のための音声メッセージに対応するデータは、デバイスのグループに関連付けられた識別子（例えば、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」カテゴリに対応する場所）を含む。いくつかの実施形態では、音声メッセージを（例えば、ユーザ要求に応答して、自動的に）出力する。いくつかの実施形態では、音声メッセージを出力している間に、電子デバイスは、音声メッセージの１つ以上の特性（例えば、音量、ピッチ、階調、リズム（例えば、ビート））に基づいて変化しない視覚的な指示（例えば、図１１Ｊの１１０２）を同時に表示する。
いくつかの実施形態では、音声メッセージは、電子デバイスの音量レベル（例えば、システムレベルの音声レベル）（例えば、現在の音量レベル）に基づく出力（例えば、１１５４ｊ）である。いくつかの実施形態では、電子デバイスは、視覚的な指示（例えば、図１１Ｂ〜１１Ｆの１１０２）が表示される前に、ビジュアルコンテンツ（例えば、図１１Ａの１１０２）（例えば、任意の光（例えば、どのＬＥＤもオンにされない））を表示していない。いくつかの実施形態では、電子デバイスは、視覚的な指示が表示される前に、非アクティブなディスプレイ状態（例えば、ＬＥＤは点灯していない）にある。いくつかの実施形態では、視覚的な指示を表示している間に、電子デバイスはアクティブなディスプレイ状態にある（例えば、いくつかのＬＥＤは点灯される）。音声入力が受信されていないときにビジュアルコンテンツを表示しないことにより、音声入力が受信されておらず、ユーザによるどの発言も、他の外部デバイスによって送信し、再生されていないという視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスは、視覚的な指示（例えば、図１１Ｇの１１０２）を表示することを中止し（１２１４）、１つ以上のディスプレイ装置を介してビジュアルコンテンツ（例えば、図１１Ｈの１１０２）を表示することを停止することを含む。いくつかの実施形態では、電子デバイスは、ビジュアルコンテンツの表示を停止した後に、非アクティブな表示状態にある。音声入力が受信されていないときにビジュアルコンテンツを表示しないことにより、デバイスが不活性状態にあるため、音声入力が受信されず、デバイスのバッテリ寿命を延ばす視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、視覚的な指示（例えば、図１１Ｇの１１０２）は、別の視覚的な指示（例えば、視覚的な指示が対応する状態又はプロセスとは異なる状態又はプロセス（例えば、マルチキャストプロセス又は音声マルチキャストメッセージを送信／受信するためのプロセス）に対応する視覚的な指示）（例えば、又はビジュアルコンテンツ）と同時に表示されない。一度に１つの視覚的な指示のみを提供することにより、電子デバイスの状態及びユーザの発言が他の外部デバイスによって送信され、再生されているかどうかを明確にすることをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、視覚的な指示（例えば、図１１Ｇの１１０２）は、電子デバイスと通信する（例えば、電子デバイス上若しくは電子デバイスにデータを送信するか又は電子デバイスからデータを受信する１つ以上の外部アプリケーション上で実行する）１つ以上のアプリケーションの状態（例えば、マルチキャストプロセスのための状態、又は音声マルチキャストメッセージを送信／受信するためのプロセス、電子デバイスの状態に関連付けられたプロセス、電子デバイスの状態に関連付けられたプロセス）に基づいて異なる光を提供する光（例えば、１１０２のＬＥＤ）示唆である。
方法１２００に関して上述したプロセス（例えば、図１２）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１２００は、任意選択的に、方法８００及び１０００に関して前述した様々な方法の特性のうちの任意の１つ以上を含む。例えば、コンピュータシステムは、同じシステムであってもよい。別の例では、方法８００で送信された音声メッセージは、方法１０００で受信したメディアとすることができる。別の例では、方法１２００で送信された音声入力は、方法１０００で受信したメディアと同じであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１３Ａ〜１３Ｎは、いくつかの実施形態に係る、外部デバイスを管理するための例示的な電子デバイス及びユーザインタフェースを示す。これらの図のユーザインタフェースは、図１４のプロセスを含む後述のプロセスを例示するために使用される。
図１３Ａは、ユーザインタフェース７１０を表示する電子デバイス７００を示す。いくつかの実施形態では、デバイス７００は、上述（例えば、図７Ａ〜７ＡＨ）のように、ホーム６０２に関連し得る（例えば、関係する、関連する物理的場所に位置している、指定された１つ以上のデバイスと対話するなどの１つ以上のネットワークと通信しているか、又は通信していない）。ユーザインタフェース７１０は、ホーム６０２に指定された複数の外部デバイスを制御するためのユーザインタフェースである。ユーザインタフェース７１０は、１つ以上の特性を有し、図７Ａ〜７ＡＨに関連して上述されているような方法で応答され得る、ホーム場所識別子７１２、マクロ制御７１６、外部デバイス制御７１８、ナビゲーション制御７２２、ホームマルチキャスト命令７２４、及びホームマルチキャストアフォーダンス７２６（例えば、選択可能なユーザインタフェースオブジェクト対象）を含む。
ユーザインタフェース７１０はまた、状態インジケータ１３１４も含む。状態インジケータのそれぞれは、ホーム６０２に現在指定されているデバイスのうちのいくつかの現在の状態に関する情報（例えば、その一部は、図６に関して上述したもの）を含む。図１３Ａに示すように、状態インジケータ１３１４は、一酸化炭素状態インジケータ１３１４ａ、アラーム状態インジケータ１３１４ｂ、アカウントエラー状態インジケータ１３１４ｃ、は、更新利用可能な状態インジケータ１３１４ｄ、及びタイマー状態インジケータ１３１４ｅの一部（それぞれ、左から右へ）を含む。一酸化炭素状態インジケータ１３１４ａは、１つ以上の一酸化炭素検出器又はセンサが、ホーム６０２での一酸化炭素の存在を検出し、したがって、１つ以上の一酸化炭素検出器又はセンサは一酸化炭素検出状態、例えば、アラート「オン」で、一酸化炭素漏洩の検出を示す。アラーム状態インジケータ１３１４ｂは、ホーム６０２に関連する１つ以上のアラームがトリッピングされていることを示し、したがって、１つ以上のアラームがアクティブで、例えば、トリガされた又はアラートされた状態にあることを示す。アカウントエラー状態インジケータ１３１４ｃは、デバイス７００が現在、７００がホーム６０２に関連付けられたアカウントに現在ログインされていないか、又デバイス７００がホーム６０２に指定された１つ以上の既知の外部デバイスに接続する問題を有するなどのホーム６０２に関連付けられたアカウントに関する問題を有することを示す。更新利用可能な状態インジケータ１３１４ｄは、更新されたソフトウェアが、１つ以上の外部デバイス及び／又はデバイス７００（例えば、ホームアプリケーションに対応する１つ以上の機能を含むソフトウェア）にインストールされ得ることを示す。タイマー状態インジケータ１３１４ｅは、１つ以上のタイマーが現在アクティブであることを示す。加えて、タイマー状態インジケータ１３１４ｅは、少なくとも１つのタイマー（又は複数のタイマーの合計時間の総計）が、タイマー（又は複数のタイマー）が最初に設定された時間から時間の約０％が経過した状態であることを示す。具体的には、この状態は、タイマー状態インジケータ１３１４ｅの周辺部の約１００％をカバーする、残りの時刻表示１３１４ｅ１によって表される。
各状態インジケータは、状態インジケータ（例えば、一酸化炭素状態インジケータ１３１４ａ）に関連付けられた名前（例えば、「一酸化炭素）を含み、少なくとも１つの特定の視覚的な特性（例えば、色（例えば、赤色、グレーアウトなど）、パターン、形状など）で表示することができる。いくつかの実施形態では、状態インジケータのうちの任意の１つ以上は、状態インジケータによって表される状態（例えば、アクティブ、警告、又は注意注意）である特定のタイプ（例えば、一酸化炭素検出器又はセンサ）のいくつかのデバイスの表現を含む。各状態インジケータはまた、状態インジケータの状態の迅速な視覚的表現を含んでもよい。
図１３Ａでは、各状態インジケータは、特定の状態インジケータカテゴリ内にあり（例えば、その一部に含まれるか、又はそれに属する）、状態インジケータはそれぞれの状態インジケータのそれぞれが対応するそれぞれの状態インジケータカテゴリに基づく順序で表示される。図１３Ａでは、状態インジケータの特定の状態インジケータカテゴリは、状態インジケータの緊急性（又は重要度）を示す。１つの状態インジケータカテゴリ内にある状態インジケータは、異なる状態インジケータカテゴリ内にある状態インジケータの１つ以上の特性とは異なる１つ以上の特性を有することができる。図１３Ａに示すように、一酸化炭素状態インジケータ１３１４ａ及びアラーム状態インジケータ１３１４ｂは、第１の状態インジケータカテゴリ（例えば、最緊急性のカテゴリ、アラームカテゴリ）にあり、第１の色（例えば、垂直ハッチングによって示されるように、赤色）で表示される。いくつかの実施形態では、第１の状態インジケータカテゴリは、特定の状態インジケータに関連付けられた外部デバイスが可能な限り早くアドレス指定されるべきであることを示す。次に、図１３Ａでは、アカウントエラー状態インジケータ１３１４ｃ及び更新利用可能な状態インジケータ１３１４ｄは、第２の状態インジケータカテゴリ（例えば、第２の最緊急性のカテゴリ、第１の状態インジケータカテゴリよりも緊急性が低い状態インジケータカテゴリ、アクションが必要なカテゴリ）にあり、第１のカテゴリ内の状態インジケータの色とは異なる色で表示される（例えば、ハッチングなしで示される）。図１３Ａでは、タイマー状態インジケータ１３１４ｅは、第３の状態インジケータカテゴリ（例えば、第３の最緊急性のカテゴリ、第２の状態インジケータカテゴリよりも緊急性が低い状態インジケータカテゴリ）にある。タイマー状態インジケータ１３１４ｅは、タイマー状態インジケータ１３１４ｅに対応するタイマーの状態に関連する１つ以上の動的構成要素（例えば、残りの時刻表示１３１４ｅ１）を含む。いくつかの実施形態では、１つ以上の動的構成要素（例えば、残りの時刻表示１３１４ｅ１）は、（例えば、図１３Ｂを参照して以下で更に説明するように）リアルタイムで更新される。いくつかの実施形態では、第１及び／又は第２の状態インジケータカテゴリにある状態インジケータは、それぞれの状態インジケータに対応する１つ以上の外部デバイスの特定の状態に対して１つ以上の動的構成要素を有さない。
いくつかの実施形態では、新しい状態インジケータが表示される必要があると判定されると、デバイス７００は、新しい状態インジケータと同じ状態インジケータカテゴリの状態インジケータの後（又はその前又は間）に新しい状態インジケータを表示する。例えば、新しい状態インジケータが表示されるべきであり、新しい状態インジケータが第２の状態インジケータカテゴリにあると判定されると、デバイス７００は、更新利用可能な状態インジケータ１３１４ｄとタイマー状態インジケータ１３１４ｅの間に新しい状態インジケータを（例えば、表示された状態インジケータ１３１４の全ての開始及び／又は終了時に新しい状態インジケータを付加する代わりに）表示する。したがって、新しい状態インジケータは、状態インジケータの緊急性に関連する位置でデバイス７００上に表示され、ユーザは、他の表示された状態インジケータの関連する緊急性と比較して、新しい状態インジケータの関連する緊急性に基づいて新しい状態インジケータを識別、及び／又は、と対話させることを可能にする。図１３Ａでは、デバイス７００は、状態インジケータ１３１４に対応する場所でタップジェスチャ１３５０ａを検出する。
図１３Ｂでは、デバイス７００は、ジェスチャ１３５０ａが左方向のスワイプジェスチャであると判定する。図１３Ｂに示すように、デバイス７００は、ジェスチャ１３５０ａがスワイプジェスチャであると判定したため、デバイス７００は、デバイス７００上（例えば、状態インジケータ１３１４と同じ領域内）に表示され得るよりも多くの状態インジケータが存在する場合には、追加の状態インジケータを表示する。具体的には、デバイス７００は、図１３Ａに以前に表示された状態インジケータ１３１４を左に（例えば、ジェスチャ１３５０ａの方向に）移動させ、それにより、一酸化炭素状態インジケータ１３１４ａ、アラーム状態インジケータ１３１４ｂ、及びアカウントエラー状態インジケータ１３１４ｃが表示されなくなり、更新利用可能な状態インジケータ１３１４ｄ及びタイマー状態インジケータ１３１４ｅは、それぞれ、一酸化炭素状態インジケータ１３１４ａ及びアラーム状態インジケータ１３１４ｂに置き換えられ、気候状態インジケータ１３１４ｆ、ドアロック状態インジケータ１３１４ｇ、及び光状態インジケータ１３１４ｈの一部は、図１３Ｂに新たに表示される。
図１３Ｂに示すように、タイマー状態インジケータ１３１４ｅは、動的構成要素、残りの時刻表示１３１４ｅ１を含む。図１３Ａ〜１３Ｂを見ると、残りの時刻表示１３１４ｅ１は、図１３Ａではタイマーが１３分で開始し、図１３Ｂでは約１０分の左になるまで実行するので、図１３Ａのタイマー状態インジケータ１３１４ｅの周辺部のおよそ１００％から図１３Ｂのタイマー状態インジケータ１３１４ｅの周辺部のおよそ７５％であるまで（例えば、ユーザ入力に応答しないが、時間が経過したことに応答して）移動する。
図１３Ｂでは、気候状態インジケータ１３１４ｆは、タイマー状態インジケータ１３１４ｅが図１３Ａに関して上述したものと同じ状態カテゴリである第３の状態インジケータカテゴリにある。気候状態インジケータ１３１４ｆは、外部デバイスの複数の異なるタイプ（例えば、空気品質センサ、温度、湿度センサ）の状態に対応する状態インジケータを表す。気候状態インジケータ１３１４ｆは、１つ以上の気候制御機器によって検出される平均温度（又は１つ以上の気候制御機器が設定される）が６８度であり、１つ以上の湿度センサによって検出された平均湿度は４０％であり、１つ以上の空気品質センサによって検出された平均空気品質が良好であることを示す。更に、状態インジケータ１３１４ｆはまた、サーモスタット制御が、加熱システムを起動させる（例えば、サーモスタット制御が制御されているデバイスによって部屋が加熱されている）ことを示し、これは状態示唆１３１４ｆの上向きの矢印によって示される。いくつかの実施形態では、状態インジケータ１３１４ｆが下向きの矢印を含むとき、状態インジケータ１３１４ｆは、サーモスタット制御が空調システムを起動させる（例えば、サーモスタット制御が制御されているデバイスによって部屋が冷却されている）ことを示す。いくつかの実施形態では、状態インジケータ１３１４ｆがダッシュを含むとき、状態インジケータ１３１４ｆは、サーモスタット制御が、空調システム又は加熱システムを起動させないことを示す（例えば、部屋が、サーモスタットが設定される指定温度であることが検出される）。図１３Ｂでは、デバイス７００は、状態インジケータ１３１４に対応する場所でタップジェスチャ１３５０ｂを検出する。
図１３Ｃでは、デバイス７００は、ジェスチャ１３５０ｂが左方向のスワイプジェスチャであると判定する。図１３Ｃに示すように、デバイス７００は、ジェスチャ１３５０ｂがスワイプジェスチャであると判定したため、デバイス７００は、追加の状態インジケータを表示する。具体的には、デバイス７００は、図１３Ｂに以前に表示された状態インジケータ１３１４を左に移動させ、それにより、更新利用可能な状態インジケータ１３１４ｄ、タイマー状態インジケータ１３１４ｅ、及び気候状態インジケータ１３１４ｆが表示されなくなり、ドアロック状態インジケータ１３１４ｇ、光状態インジケータ１３１４ｈは左にスライドし、開放窓状態インジケータ１３１４ｉ、ドアセンサ状態インジケータ１３１４ｊ、及び動きセンサ状態インジケータ１３１４ｋが、図１３Ｃに新たに表示される。ジェスチャ１３５０ｂが右向きのスワイプジェスチャであると判定される実施形態では、デバイス７００は、状態インジケータを右に移動させて、以前に表示された状態インジケータのうちの任意の１つ以上（例えば、図１３Ａに表示された一酸化炭素状態インジケータ１３１４ａ、アラーム状態インジケータ１３１４ｂ）を表示する。
図１３Ｃでは、ドアロック状態インジケータ１３１４ｇ、光状態インジケータ１３１４ｈ、及び開放窓状態インジケータ１３１４ｉは、第４の状態インジケータカテゴリ（例えば、第４の最緊急性のカテゴリ、第３の状態インジケータカテゴリよりも緊急性が低い状態インジケータカテゴリ、クイックアクション状態インジケータカテゴリ）にある。記載されるように、特定の状態タイプのカテゴリは予め定義されているが、いくつかの実施形態では、特定のタイプの状態インジケータのカテゴリは、１つ以上のユーザ入力を介して指定され得る。いくつかの実施形態では、デバイス７００は、特定のタイプのデバイス（例えば、光）並びに／若しくはユーザが特定のタイプのデバイス及び／又は特定のタイプの状態インジケータ（例えば、最重要、２番目に最重要、３番目に最緊急など）に関連する状態インジケータの状態カテゴリを設定することを可能にする特定のタイプの状態インジケータのための１つ以上の設定を表示する。
第４の状態インジケータカテゴリの状態インジケータは、特定のタイプの外部デバイスの数が特定の状態にあることを示す。例えば、図１３Ｂに示すように、ドアロック状態インジケータ１３１４ｇは、２つのドアロックがアンロック状態にあることを示す。別の例として、図１３Ｃでは、光状態インジケータ１３１４ｈは、５つの光がアクティブ（又はオン）状態にあり、開放窓状態インジケータ１３１４ｉが７つの窓ブラインド（例えば、カバー、陰影）が開放状態にあることを示す。特に、第４の状態インジケータカテゴリの状態インジケータは、異なる状態にある同じタイプのデバイスに関する情報を除外する。例えば、ホーム６０２に指定されたリビングルームデスクランプは（例えば、リビングルームデスクランプ制御７１８ｇによって示されるように）オフである。図１３Ｃでは、リビングルームデスクランプがオフであるため、光状態インジケータ１３１４ｈは、リビングルームデスクに関する情報を含まない（図１３Ｄ〜１３Ｆに関連して以下で更に詳細に説明する）。
図１３Ｃ〜１３Ｈは、状態インジケータ（例えば、第４の状態インジケータカテゴリの状態インジケータ）に向けられたデバイス７００によって検出された異なるジェスチャを示す。具体的には、図１３Ｃ〜１３Ｈは、光状態インジケータ１３１４ｈに向けられている異なるジェスチャを示す。しかしながら、本明細書に記載される類似の技術は、ドアロック状態インジケータ１３１４ｇ及び開放窓状態インジケータ１３１４ｉなどの他の状態インジケータに向けられているジェスチャに適用することができる。図１３Ｃでは、デバイス７００は、光状態インジケータ１３１４ｈに対応する（例えば、対応する場所で）ジェスチャ１３５０ｃを検出する。
図１３Ｄでは、デバイス７００は、ジェスチャ１３５０ｃが、押圧及び保持ジェスチャ（例えば、所定の時間の期間を超えて検出されるジェスチャ）であると判定する。図１３Ｄに示すように、デバイス７００が、ジェスチャ１３５０ｃが押圧及び保持ジェスチャであると判定したため、デバイス７００は（例えば、ジェスチャ１３５０ｂがスワイプジェスチャであったと判定されたときに、追加の状態インジケータを表示することとは対照的に）ユーザインタフェース１３４０を表示する。図１３Ｄに示すように、ユーザインタフェース１３４０は、図１３Ｃで以前に表示されたユーザインタフェース７１０に置き換えられている。
図１３Ｄに示すように、光状態インジケータ１３１４ｈは、ホーム６０２に指定された１つ以上の光の状態を示すため、ユーザインタフェース１３４０は、ホーム６０２に指定された光（例えば、照明装置）のための外部デバイス制御７１８を含む。図１３Ｄに示すように、ユーザインタフェース１３４０上に表示される外部デバイス制御７１８は、それぞれの対応する外部デバイス制御が指定されるホーム６０２の部屋又は一部（例えば、「寝室」、「ダイニングルーム」、「リビングルーム」、「ポーチ」）によって順序付けられる。例えば、寝室光制御７１８ｆ及び寝室常夜灯制御７１８ｈは、ホーム６０２の寝室（例えば、６０２ｃ）に指定され、ユーザインタフェース１３４０上の「寝室」見出しの下にあり、ダイニングルーム光制御７１８ｉはホーム６０２のダイニングルーム（例えば、６０２ｂ）に指定され、ユーザインタフェース１３４０上の「ダイニングルーム」見出しの下にあり、リビングルームランプ制御７１８ｂ及びリビングルームデスクランプ制御７１８ｇはホーム６０２のリビングルーム（例えば、６０２ｄ）に指定され、ユーザインタフェース１３４０上の「リビングルーム」見出しの下にあり、ポーチ光制御７１８ｊはホーム６０２のポーチに指定され、ユーザインタフェース１３４０上の「ポーチ」見出しの下にある。
特に、図１３Ｄに示すように、寝室光制御１７１８ｆ、寝室常夜灯制御７１８ｈ、ダイニングルーム光制御７１８ｉ、リビングルームランプ制御７１８ｂ、及びポーチ光制御７１８ｊは、対応するそれぞれのデバイス（例えば、電球）がオン又は作動していることを示す。換言すれば、寝室光制御１７１８ｆ、寝室常夜灯制御７１８ｈ、ダイニングルーム光制御７１８ｉ、リビングルームランプ制御７１８ｂ、及びポーチ光制御７１８ｊに対応するデバイスはオンであり、図１３Ｃの光状態インジケータ１３１４ｈによって示されるような「５つの点灯」示唆のうちの１つを示す。更に、光状態インジケータ１３１４ｈを見ると、６つの光がユーザインタフェース１３４０上に示されているが、第６の光及び／又は第６の光の状態の示唆は存在しない。５つの光のみがオン又はアクティブであり、光状態インジケータ１３１４ｈで識別されても、ホームは、ホームが関連付けられる非アクティブ又はオフである光などのより多くの光を有してもよい。いくつかの実施態様では、ユーザインタフェース１３４０は、光の詳細状態を表示する際に全ての光の詳細状態を示す。図１３Ｄでは、リビングルームデスクランプは、他の光とは異なる視覚的な指示で表示される（例えば、リビングルームデスクランプ制御７１８ｇがオフであることを示す）。いくつかの実施形態では、リビングルームデスクランプが図１３Ｃの光状態インジケータ１３１４ｈによって表される他の光制御と同じ状態にないため、ユーザインタフェース１３４０は、図１３Ｄでリビングルームデスクランプ制御７１８ｇを含まない。いくつかの実施形態では、ユーザインタフェース１３４０が図１３Ｄのリビングルームランプ制御７１８ｇを含まないとき、デバイス７００は、リビングルームランプランプの状態がオンに変化したこと（例えば、誰かがリビングルームデスクランプを物理的にオンにしたとき）の示唆の受信、又は光状態インジケータ１３１４ｈによって表される他の光制御の同じ状態に応答して、ユーザインタフェース１３４０上にリビングルームランプ制御７１８ｇを表示することができる。図１３Ｄでは、デバイス７００は、寝室光制御７１８ｆに向けられたタップジェスチャ１３５０ｄを検出する。
図１３Ｅでは、タップジェスチャ１３５０ｄの検出に応答して、デバイス７００は寝室光６３２の状態を変化させる（例えば、オフにする）命令を送信し、寝室光制御７１８ｆの視覚的見掛けを更新する。図１３Ｅに示すように、寝室光制御７１８ｆは、寝室光制御７１８ｆに対応する寝室光（例えば寝室光６３２）が、図１３Ｄに示すように、例えば、活性状態にあるのとは対照的に、オフ、例えば、不活性状態にあることを示す。特に、ユーザインタフェース１３４０上に表示された他の光制御は、図１３Ｄ〜１３Ｅでは変更されていない。タップジェスチャ１３５０ｄの検出に応答して、デバイス７００は、他の光制御によって表される他の光が状態を変化させることなく、寝室光６３２を変化させる命令を送信する。したがって、ユーザインタフェース１３４０は、ユーザがそれぞれ対応する制御によって表される各デバイスに、他のデバイスにアクションを実行させることなく、アクション（例えば、デバイスの状態を変更する）を個別に実行させることを可能にする。図１３Ｅでは、デバイス７００は、完了アフォーダンス１３４２に向けられたタップジェスチャ１３５０ｅを検出する。
図１３Ｆに示すように、タップジェスチャ１３５０ｅの検出に応答して、デバイス７００はユーザインタフェース１３４０の表示を中止し、状態インジケータ１３１４を有するユーザインタフェース７１０を再表示する。図１３Ｆに示すように、光状態インジケータ１３１４ｈは、図１３Ｃの光状態インジケータ１３１４ｈによって示されるように、５つの光がオンであるとは対照的に、ホーム６０２で４つの光がオンであることを反映するように更新される。したがって、いくつかの状態インジケータは、現在特定の状態（例えば、デバイスがその特定の状態から変更されたかどうか、又はデバイスがその特定の状態に変更されたかどうか）にあるデバイスの数を示すように更新される。更に、図１３Ｆでは、寝室光制御７１８ｆはまた、ユーザインタフェース７１０上に表示された他の光制御（例えば、リビングルームランプ制御７１８ｂ及びリビングルームデスクランプ制御７１８ｇ）が、図１３Ｃに示すように、それらのそれぞれの外観と比較したときに変化していない間、寝室光がオフであることを反映するためにユーザインタフェース７１０上で変化している。したがって、ユーザインタフェース７１０上に表示されたデバイス制御はまた、デバイス７００が、ユーザインタフェース１３４０を介して表示されたデバイス制御に向けられたジェスチャ（例えば、ジェスチャ１３５０ｄ）を検出したことに応答して更新される。図１３Ｆでは、デバイス７００は、光状態インジケータ１３１４ｈに向けられたジェスチャ１３５０ｆを検出する。
図１３Ｇでは、デバイス７００は、ジェスチャ１３５０ｆがタップジェスチャ（例えば、所定の時間の期間未満で検出されるジェスチャ、ジェスチャ１３５０ａ〜１３５０ｃとは異なるジェスチャ）であると判定する。図１３Ｇでは、デバイス７００は、ジェスチャ１３５０ｆがタップジェスチャであると判定したため、デバイス７００は、図１３Ｆの光状態インジケータ１３１４ｈによってオンとして示される４つの光をオフにする（又は、状態を変更する）命令を送信する。したがって、寝室常夜灯制御７１８ｈ、ダイニングルーム光制御７１８ｉ、リビングルームランプ制御７１８ｂ、及びポーチ光制御７１８ｊが図１３Ｇではオフである。図１３Ｇに示すように、デバイス７００は、ジェスチャ１３５０ｆがタップジェスチャであると判定したため、デバイス７００は、光状態インジケータ１３１４ｈの視覚的見掛けを変更し（例えば、図１３Ｆのハッチングなしと比較して図１３Ｇでは新たに導入されたハッチングによって示される）、光状態インジケータ１３１４ｈを更新して、４つの光がオフされたことを示す。特に、図１３Ｇに示すように、リビングルームランプ制御７１８ｂ及びリビングルームデスクランプ制御７１８ｇもまた、それらのそれぞれの対応するデバイスがオフになったことを示すように変更される。したがって、図１３Ｇでは、デバイス７００は、状態インジケータ上の単一のジェスチャ（例えば、タップ）に応答して、複数のデバイス（例えば、異なる部屋に指定されたデバイス）の状態を変更し、これは、（例えば、図１３Ｄのジェスチャ１３５０ｄに関して上述したように）外部デバイス制御上の同じタイプのジェスチャ（例えば、タップ）に応答して、１つのデバイスの状態を変更するだけであるデバイス７００とは異なるものである。更に、図１３Ｇでは、デバイス７００は、タップジェスチャが向けられた状態インジケータによって示されるデバイス（例えば、光、ドアロック、窓ブラインド調整器）のタイプに基づく同じアクション（例えば、光のオン、ドアのロック、ブラインドの閉鎖）を実行することによって、複数のデバイスの状態を変更させる。図１３Ｇに示すように、図１３Ｈのジェスチャ１３５０ｆは、光状態インジケータ１３１４ｈに向けられたタップジェスチャであるため、デバイス７００は、他の状態インジケータの状態を変更せず、他の状態インジケータに対応する他のデバイスが状態を変更する命令を送信せず、他の状態インジケータの外観を維持する（例えば、図１３Ｆ〜１３Ｇを比較するとき）。
図１３Ｈでは、デバイス７００が光状態インジケータ１３１４ｈに向けられた別のジェスチャを検出することなく、デバイス７００はジェスチャ１３５０ｆが検出されたことから、所定の時間の期間が経過したと判定する。図１３Ｈに示すように、ジェスチャ１３５０ｆが検出されたことから所定の時間の期間が経過したと判定されるので、デバイス７００は、光状態インジケータ１３１４ｈの表示を中止し、光状態インジケータ１３１４ｈによって以前に占有されていた空間を満たすために、開放窓状態インジケータ１３１４ｉ、ドアセンサ状態インジケータ１３１４ｊ、及び動きセンサ状態インジケータ１３１４ｋを左に移動させる。例えば、開放窓状態インジケータ１３１４ｉは、図１３Ｇの光状態インジケータ１３１４ｈに隣接し、開放窓状態インジケータ１３１４ｉは、図１３Ｈの光状態インジケータ１３１４ｈによって空けられた場所を占有する。状態インジケータのいくつかが左に偏移されているため、追加の状態インジケータ、光センサ状態インジケータ１３１４ｋが新たに表示される。ドアセンサ状態インジケータ１３１４ｊ、動きセンサ状態インジケータ１３１４ｋ及び光センサ状態インジケータ１３１４ｋは、第５の状態インジケータカテゴリ（例えば、第５の最緊急性のカテゴリ、第４の状態インジケータカテゴリよりも緊急性が低い状態インジケータカテゴリ、センサ状態インジケータカテゴリ）にある。ドアセンサ状態インジケータ１３１４ｊは、ホーム６０２に指定されたドアセンサが、ドアが半開きであることを検出したことを示す。動きセンサ状態インジケータ１３１４ｋは、ホーム６０２に指定された１つ以上の動きセンサによって動きが検出されたことを示す。光センサ状態インジケータ１３１４ｌは、１つ以上のドアセンサが、ホーム６０２に指定された１つ以上のドアが開放していることを検出したことを示す。いくつかの実施形態では、光状態インジケータ１３１４ｈに向けられたジェスチャが所定の時間の期間が経過する前に検出されると、デバイス７００は、４つの光をオン状態に変更し、光状態インジケータ１３１４ｈを更新して、（例えば、図１３Ｆに示すように）４つの光がオンであることを示す。状態インジケータに関連付けられたアクセサリが緊急又は活性状態から変化した後の所定の時間の期間、状態インジケータを引き続き検視するこの能力は、ユーザにアクセサリの状態変化を容易にアンドゥする機会をユーザに提供する。いくつかの実施形態では、光状態インジケータ１３１４ｈに向けられたジェスチャが所定の時間の期間が経過する前に検出されると、デバイス７００は、追加のジェスチャが受信される前に過ぎる時間に関わりなく、光状態インジケータ１３１４ｈの表示を維持する。これらの実施形態のいくつかでは、光状態インジケータ１３１４ｈが最初にユーザインタフェース７１０上に表示されたとき（例えば、図１３Ｂ）、１つ以上の光が入っていた最初の状態に光のうちの任意の１つ以上が戻ることを、光状態インジケータ１３１４ｈが示すので、デバイス７００は、光状態インジケータ１３１４ｈのディスプレイを維持する。図１３Ｈでは、デバイス７００は、部屋ナビゲーション制御７２２ｂ上でタップジェスチャ１３５０ｈを検出する。
図１３Ｉに示すように、タップジェスチャ１３５０ｈの検出に応答して、デバイス７００は、ホームアプリケーションのユーザインタフェース１３６０を表示し、部屋ナビゲーション制御７２２ｂが（例えば、ボールドで示されるように）選択されていることを示す。ユーザインタフェース１３６０は、寝室識別子１３６８によって示されるように、寝室６０２ｃに指定された複数の外部デバイスを制御するためのユーザインタフェースである。いくつかの実施形態では、デバイス７００は、図１３Ｉのユーザインタフェース１３６０を表示するために、図７Ｇのユーザインタフェース７６０を表示することに関連して上述したような１つ以上の技術を使用することができる。いくつかの実施形態では、ユーザインタフェース１３６０は、図７Ｆのタップジェスチャ７５０ｆ３の検出に応答して代替的に表示することができ、及び／又はユーザインタフェース７６０は、図１３Ｈのタップジェスチャ１３５０ｈの検出に応答して代替の表示をすることができる。
図１３Ｉに示すように、ユーザインタフェース１３６０は、図１３Ａ〜１３Ｃ及び１３Ｆ〜１３Ｈに表示された状態インジケータよりも、状態インジケータの低減された１組を含む。ユーザインタフェース１３６０は、ユーザインタフェース１３６０上に表示されたそれぞれの状態インジケータが寝室６０２に指定された少なくとも１つのデバイスに対応すると判定されるので、状態インジケータの低減された１組を含む。換言すれば、寝室６０２ｃに指定された複数の外部デバイスを制御するためのユーザインタフェース１３６０を表示するとき、デバイス７００は、寝室６０２ｃに指定された少なくとも１つの装置に対応しない状態インジケータの表示を中止する。
図１３Ｉに示すように、状態インジケータの低減された１組は、一酸化炭素状態インジケータ１３１４ａ、気候状態インジケータ１３１４ｆ、及び開放窓状態インジケータ１３１４ｉを含む。特に、図１３Ｉの気候状態インジケータ１３１４ｆは、寝室に指定されているが、図１３Ｂの気候状態インジケータ１３１４ｆが示した湿度及び／又は空気品質情報を示していないサーモスタットに関連する温度を示す。ここで、湿度及び空気品質センサが寝室に指定されていないため、図１３Ｉの気候状態インジケータ１３１４ｆは湿度及び／又は空気品質情報を示さない。しかしながら、図１３Ｉの気候状態インジケータ１３１４ｆは、少なくとも１つのサーモスタットが寝室に指定されているため、サーモスタット制御に関連する温度を示す。更に、図１３Ｉの状態インジケータ１３１４ｆは更に、サーモスタット制御が、加熱システムを起動させる（例えば、サーモスタット制御が制御されているデバイスによって部屋が加熱されている）ことを示し続け（例えば、図１３Ｂの１３１４ｆと比較したとき）、これは図１３Ｉの状態示唆１３１４ｆの上向きの矢印によって示される。したがって、同じタイプの複数のデバイスに対応する状態インジケータは、ホーム６０２の異なる部分又は部屋に対応するユーザインタフェースにナビゲートするときに、デバイスのタイプのうちの任意の１つ以上に関する情報の表示を中止することができる。更に、図１３Ｉの開放窓状態インジケータ１３１４ｉは、図１３Ｈに示すように、７つの窓が開いていることを示すのとは対照的に、１つの窓が開いていることを示すように変更されている。図１３Ｉの開放窓状態インジケータ１３１４ｉは、１つの寝室窓のみが寝室６０２ｃに指定された窓ブラインド調整器を有するため、１つの窓が開いていることを示すように変更されている。図１３Ｉでは、デバイス７００は、開放窓状態インジケータ１３１４ｉに向けられた押圧及び保持ジェスチャ１３５０ｉを検出する。
押圧及び保持ジェスチャ１３５０ｉの検出に応答して、図１３Ｊに示すように、デバイス７００は、窓ブラインド調整可能な制御１３１８ｉを含むユーザインタフェース１３７０を表示する。図１３Ｊでは、デバイス７００は、窓ブラインド調節可能な制御１３１８ｉ上でのジェスチャ１３５０ｊ（スワイプダウンジェスチャ）を検出する。図１３Ｋに示すように、ジェスチャ１３５０ｊを検出したことに応答して、デバイス７００は、窓ブラインド調整器に、（図３１Ｊの示唆１３７２によって示されるように）１００％の開放状態から、（例えば、図１３Ｋの示唆１３７２によって示されるように）５８％の開放状態に変更させる、寝室６０２ｂに指定された窓ブラインド調整器デバイスに命令を送る。
特に、図１３Ｊでは、デバイス７００は、窓ブラインド調整可能な制御１３１８ｉを表示し、ここで窓ブラインド調節可能な制御１３１８ｉの選択によって、窓ブラインド調整器の状態が窓ブラインド調節可能な制御１３１８ｉによって示される（例えば、「開放」１００％開いている）状態とは異なる状態及び窓ブラインド調節可能な制御１３１８ｉによって示され状態（例えば、「開放」）とは反対の状態（例えば、「閉鎖」０％開いている）に変更される。したがって、窓ブラインド選択可能な制御１３１８ｉを選択することにより、ユーザが、図１３Ｉの開放窓状態インジケータ１３１４ｉの方向にタップジェスチャを向けることによって、窓ブラインド調整器を変更することができる状態とは異なる状態に窓ブラインド調整器を変更することをユーザに可能にする。いくつかの実施形態では、デバイス７００は、図１３Ｉの開放窓状態インジケータ１３１４ｉが、所定の数を超えるデバイスを示すときに、図１３Ｄのユーザインタフェース１３４０と類似のユーザインタフェースを表示する。したがって、図１３Ｉの窓状態インジケータ１３１４ｉによって示される所定の数を超えるデバイスが存在する場合、複数のデバイスを制御する複数の制御が表示され、それぞれの制御のうちの１つの選択により、デバイスを反対状態（例えば、オン／オフ状態、開閉状態、ロック／アンロック状態）に変更させる。いくつかの実施形態では、デバイス７００は、状態インジケータによって示される所定の数を超えるデバイスが存在する場合よりも、所定の数未満のデバイスが存在する場合に、ユーザが１つ以上のデバイスの上に、より多くの（又は異なる）制御を有することを可能にする制御を表示する。いくつかの実施形態では、状態インジケータによって示される所定の数未満のデバイスが存在し、状態インジケータ上でタップアンドホールドジェスチャが検出されと、デバイス７００は、所定の数を超えるデバイスが状態インジケータによって特定の状態にあることが示されるとき、特定のデバイスに対して表示される制御の数よりも、特定のデバイスを制御するためのより多くの制御を表示する。
図１３Ｌ〜１３Ｎは、他の状態インジケータに向けられたジェスチャの検出に応答して表示される例示的なユーザインタフェースを示す。いくつかの実施形態では、他の状態インジケータに向けられたジェスチャは、図１３Ｌ〜１３Ｎのそれぞれのユーザインタフェースを表示するために、ジェスチャ１３５０ｃ（例えば、押圧及び保持ジェスチャ）と同じタイプのジェスチャ又はジェスチャ１３５０ｆ（例えば、タップジェスチャ）と同じタイプのジェスチャであり得る。したがって、いくつかの実施形態では、デバイス７００は、ジェスチャのいずれかのタイプ（例えば、押圧及び保持ジェスチャ又はタップジェスチャ）の検出に応答して、図１３Ｌ〜１３Ｎのそれぞれのユーザインタフェースを表示する。
図１３Ｌは、ユーザインタフェース１３８２を表示するデバイス７００を示す。ユーザインタフェース１３７０は、デバイス７００が図１３Ａの一酸化炭素状態インジケータ１３１４ａに向けられたジェスチャを検出したことに応答して表示される。図１３Ｌに示すように、ユーザインタフェース１３８２は、外部デバイス制御７１８を含み、ここで各外部デバイス制御は、ホーム６０２に指定された一酸化炭素デバイスの状態を示す。ユーザインタフェース１３８２によって示すように、寝室一酸化炭素センサが（例えば、寝室一酸化炭素制御７１８ｋによって示されるように）トリガされ、キッチン一酸化炭素センサ及びリビングルーム一酸化炭素センサは、（一酸化炭素センサ７１８ｌ〜７１８ｍによって示されるように）トリガされていない。したがって、デバイス７００が第４の状態インジケータカテゴリ（例えば、一酸化炭素状態インジケータ１３１４ａ）以外の状態インジケータカテゴリの状態インジケータに向けられたジェスチャの検出に応答して、デバイス７００は、それぞれのカテゴリの状態インジケータに対応する特定のタイプのデバイス制御を表示し、ここでデバイス制御は、それぞれの制御に対応するデバイスがある状態を示す１つ以上の視覚的見掛けを有する。いくつかの実施形態では、ユーザインタフェース１３７０は、図１３Ｄ〜１３Ｅに関連して上述したものと類似の技術を使用して表示される。
図１３Ｍは、ユーザインタフェース１３８４を表示するデバイス７００を示す。ユーザインタフェース１３８４は、デバイス７００が図１３Ｂの気候状態インジケータ１３１４ｆに向けられたジェスチャを検出したことに応答して表示される。図１３Ｌに示すように、ユーザインタフェース１３８４は、気候状態インジケータ１３１４ｆが、（例えば、図１３Ｂに関して上述したように）複数のタイプのデバイスの状態を示すため、複数のタイプのデバイスに対応する制御を含む。例えば、図１３Ｌでは、ユーザインタフェース１３８４は、サーモスタットデバイスを制御するための制御（例えば、寝室サーモスタット制御７１８ｎ及びリビングルームサーモスタット制御７１８ｒ）、空気品質センサを制御するための制御（例えば、キッチン空気品質センサ制御７１８ｏ及びリビングルーム空気品質センサ制御７１８ｒ）、及び湿度センサを制御するための制御（例えば、キッチン湿度センサ制御７１８ｐ）を含む。
図１３Ｎは、ユーザインタフェース１３８６を表示するデバイス７００を示す。ユーザインタフェース１３８６は、デバイス７００が図１３Ｈの動きセンサ状態インジケータ１３１４ｋに向けられたジェスチャを検出したことに応答して表示される。１３Ｎに示すように、ユーザインタフェース１３８６は、ホーム６０２に指定された動きセンサに対応する制御を含む。ユーザインタフェース１３８６は、図１３Ｄ〜１３Ｅ及び１３Ｌに関連して上述したものと類似の技術を使用して表示される。
図１４は、いくつかの実施形態に係る、コンピュータシステムを使用して外部デバイスを管理するための方法を示すフロー図である。方法１４００は、ディスプレイ生成構成要素（例えば、ディスプレイ）及び１つ以上の入力デバイス（例えば、タッチ感知ディスプレイスクリーン）と通信するコンピュータシステム（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法１４００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１４００は、外部デバイスを管理するための直観的方法を提供する。本方法は、外部デバイスを管理するためのユーザの認識的負担を軽減し、それによって、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的にデバイス状態を認識することを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
コンピュータシステムは、第１のアクセサリタイプの複数のアクセサリデバイス（例えば、電球、窓、スイッチ、アウトレット、ロック（例えば、ドアロック、窓ロック）、テレビ）が第１の状態（例えば、オン、オフ、開放、閉鎖、ロック、アンロック）にあることを示す（例えば、グラフィカル表現及び対応する文字（例えば、２つの電球がオンである））第１の状態インジケータ（例えば、１３１４ｇ、１３１４ｈ、１３１４ｉ）を、ディスプレイ生成構成要素を介して（（例えば、表示を含む）含む第１のユーザインタフェース（例えば、アクセサリデバイスの１組を制御するためのユーザインタフェース）の表示の一部として）表示する（例えば、１４０２）。第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイス（１４０４）、及び第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイス（１４０６）を含み、ここで第２のアクセサリデバイスは、第１のアクセサリデバイスとは異なる。いくつかの実施形態では、第１の状態インジケータは、第１の状態にない第１のアクセサリタイプのアクセサリデバイス（例えば、第２の状態）（例えば、第１の状態インジケータは、第１の状態にない（例えば、第２の状態の）第１のアクセサリタイプの１つ以上のデバイスを（例えば、選択されたときに）示さない又は制御しない）を示さない。いくつかの実施形態では、第１の状態インジケータは、第１のアクセサリタイプではないアクセサリタイプのアクセサリデバイスの現在の状態に関わらず、第１のアクセサリタイプではないアクセサリタイプのアクセサリデバイスを示さない。
コンピュータシステムは、第１の状態インジケータを表示している間に、コンピュータシステムはジェスチャ（例えば、１３５０ａ〜１３５０ｃ、１３５０ｆ）を（例えば、１つ以上の入力デバイスを介して）検出する（１４０８）。
ジェスチャの検出（１４１０）に応答し、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｆ）（例えば、タップジェスチャ）で、第１の状態インジケータ（例えば、１３５０ｈ）に（例えば、対応する場所で）向けられたとの判定に従って、コンピュータシステムは、第１のアクセサリデバイス（例えば、第１のアクセサリデバイスの状態を変更するアクションを実行するために）及び第２のアクセサリデバイスを（例えば、第２のアクセサリデバイスの状態を変更するアクションを実行するために）第１の状態とは異なる（例えば、（例えば、オン／オフ、ロック／アンロック、開閉）の反対）第２の状態に変更させる（１４１２）（例えば、プロセスを開始することを介して（及び、いくつかの実施形態では、プロセスは、１つ以上の命令を１つ以上のデバイス（例えば、サーバ、第１のアクセサリデバイス及び第２のアクセサリデバイスを含む複数のデバイスと通信するハブデバイス、第１のアクセサリデバイス、第２のアクセサリデバイス）に送信すること含む）。いくつかの実施形態では、第１のアクセサリデバイス及び第２のアクセサリデバイスを第２の状態にすることの一部として、コンピュータシステムは、（例えば、ジェスチャが検出される前に）第２の状態（又は、第１の状態とは異なる任意の状態）にある１つ以上のアクセサリデバイスに、任意のアクションを実行させない、及び／又は状態を変更させない。
ジェスチャの検出に（１４１０）応答し、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャ（例えば、１３５０ｃ）（例えば、長押しジェスチャ）で、第１の状態インジケータ（例えば、１３１４ｈ）に向けられたとの判定に従って、コンピュータシステムは、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８ｂ、７１８ｆ〜７１８ｊ）（例えば、第２のユーザインタフェースの表示の一部として）を表示し（１４１４）、ここで、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択（例えば、１３５０ｄ）（第１のタイプのジェスチャ（例えば、タップジェスチャ）であるジェスチャを介して）によって、（例えば、第１のアクセサリデバイスの状態を変更するアクションを実行するために）第１のアクセサリデバイスを、第２のアクセサリデバイスを第２の状態に変更させることなく（例えば、第１のアクセサリデバイスを第１の状態にすることを完了した後に、第２のアクセサリデバイスは第１の状態であり続ける）第２の状態に変更させる（例えば、プロセスを開始することを介して（及び、いくつかの実施形態では、プロセスは、命令を１つ以上のデバイス（例えば、サーバ、複数のアクセサリデバイス（例えば、第１及び第２のアクセサリデバイスを含む）と通信するハブデバイス、第１のアクセサリデバイス（第２のアクセサリデバイスではない））。いくつかの実施形態では、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャを検出し（例えば、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられた第１のタイプのジェスチャ）、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャの検出に応答して、コンピュータシステムは、（例えば、第１のアクセサリデバイスを変更するアクションを実行するために）第１のアクセサリデバイスを、第２のアクセサリデバイスを第２の状態にすることなく、第２の状態に変更するアクションを実行させる（例えば、第１のアクセサリデバイスを第１の状態にすることを完了した後に、第２のアクセサリデバイスは第１の状態であり続ける）。いくつかの実施形態では、第１の状態インジケータに向けられたジェスチャの検出に応答し、ジェスチャが第１のジェスチャとは異なる第２のジェスチャ（例えば、長押しジェスチャ）であるとの判定に従って、コンピュータシステムは、ディスプレイ生成構成要素を介して、第３のアクセサリデバイスに対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象を表示し、ここで第３のアクセサリデバイスは第１のアクセサリデバイスタイプで、第１の状態にはない（例えば、第２の状態にある）、及び第３のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャの検出に応答して、コンピュータシステムは、第３のアクセサリデバイスを、第１のアクセサリデバイス及び第２のアクセサリデバイスの状態を変更することなく（例えば、第１のアクセサリデバイス及び第２のアクセサリデバイスを第２の状態にすることなく）、（例えば、第３のアクセサリデバイスを変更するアクションを実行するために）第１の状態にする。いくつかの実施形態では、第２のユーザインタフェースは、第１のタイプではない（例えば、第１のアクセサリタイプとは異なる第２のアクセサリタイプの）アクセサリデバイスに対応する（例えば、又は任意の）アクセサリ制御ユーザインタフェースオブジェクト対象を含まない。いくつかの実施形態では、第１の状態インジケータに向けられたジェスチャの検出に応答し、ジェスチャが、第１のジェスチャとは異なる第２のジェスチャ（例えば、長押しジェスチャ）であるとの判定に従って、コンピュータシステムは、第１のアクセサリタイプとは異なるアクセサリタイプからなり、第２のユーザインタフェースを介して表示されるアクセサリ制御ユーザインタフェースオブジェクト対象を表示しない）。いくつかの実施形態では、第１の状態インジケータに向けられたジェスチャの検出に応答し、ジェスチャが第１のジェスチャとは異なる第２のジェスチャ（例えば、長押しジェスチャ）であるとの判定に従って、コンピュータシステムは、第１の状態インジケータの表示を中止する。ジェスチャが第１の状態インジケータに向けられるとき、検出されたジェスチャのタイプに基づいて異なる動作を実行することにより、ユーザには、ユーザインタフェースを乱すことなく、より多くの制御オプションが提供される。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。第１のアクセサリデバイス及び第２のアクセサリデバイスを、第１の状態とは異なる第２の状態に変更させることにより、複数のデバイスが状態を変化させる１つの制御をユーザに提供し、これにより、複数のデバイスに状態を変更させるために必要な入力の数が低減される。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、（例えば、システムを操作する／システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用を低減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、ジェスチャが、第１のタイプのジェスチャとは異なり、第１の状態インジケータ（例えば、１３１４ｈ）に向けられた第２のタイプのジェスチャ（例えば、１３５０ｃ）であるとの判定に従って、コンピュータシステムは、ディスプレイ生成構成要素を介し、第１のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８ｂ、７１８ｆ〜７１８ｊ）と同時に、第２のアクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８ｂ、７１８ｆ〜７１８ｊ）を表示する。いくつかの実施形態では、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の（例えば、第１のタイプのジェスチャ（例えば、タップジェスチャ）を介しての）選択によって、（例えば、プロセスを介して（及び、いくつかの実施形態では、プロセスは１つ以上のデバイス（例えば、サーバ、複数のアクセサリデバイス（例えば、第１及び第２のアクセサリデバイスを含む）と通信するハブデバイス、第２のアクセサリデバイス（第１のアクセサリデバイスではない）に命令を送信することを含む）第２のアクセサリデバイスを、第１のアクセサリデバイスを第２の状態に変更させることなく、第２の状態に変更させる。いくつかの実施形態では、第２のアクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャを検出し（例えば、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられた第１のタイプのジェスチャ）、第２のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャの検出に応答して、コンピュータシステムは、（例えば、第２のアクセサリデバイスを変更するアクションを実行するために）第２のアクセサリデバイスを、第１のアクセサリデバイスを第２の状態にすることなく、第２の状態に変更するアクションを実行させる（例えば、第２のアクセサリデバイスを第１の状態にすることを完了した後に、第１のアクセサリデバイスは第１の状態であり続ける）。いくつかの実施形態では、第２のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャの検出に応答して、第２のアクセサリ制御ユーザインタフェースオブジェクト対象は、第１の視覚的見掛け（例えば、文字、サイズ、色、押圧された状態（例えば、押し下げられた、押圧））を有することから、第１の視覚的見掛けとは異なる第２の視覚的見掛け（例えば、文字、サイズ、色、押圧された状態（例えば、押し下げられた、押圧））に変更される。第１のアクセサリデバイスに対応する第１のアクセサリ制御と同時に第２のアクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することは（例えば、ジェスチャが第１のタイプのジェスチャとは異なり、第１の状態インジケータに向けられた第２のタイプのジェスチャであるとの判定に従って）、ユーザインタフェースを乱すことなく個々のアクセサリデバイスを制御するためのより多くの制御オプションをユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、ジェスチャは、第１の状態インジケータと共に、第１のアクセサリタイプとは異なる、第２のアクセサリタイプの複数のアクセサリデバイスが第３の状態にあることを示す第２の状態インジケータ（例えば、１３１４ｇ、１３１４ｉ）を同時に表示している間に検出され、第２のアクセサリタイプの複数のアクセサリデバイスは、第２のアクセサリタイプであり、第３の状態（例えば、第１の状態及び第２の状態とは異なる状態）にある第３のアクセサリデバイス及び第２のアクセサリタイプであり、第３の状態にある第４のアクセサリデバイスを含む。いくつかの実施形態では、第２のアクセサリタイプであり、第２の状態にある第３のアクセサリデバイス及び第２のアクセサリタイプであり、第２の状態にある第４のアクセサリデバイスは、第１のアクセサリデバイス及び第２のアクセサリデバイスとは異なる。いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｆと類似の）（例えば、タップジェスチャ）で、第２の状態インジケータ（例えば、１３１４ｇ、１３１４ｉ）に（例えば、対応する場所で）向けられたとの判定に従って、コンピュータシステムは、第３のアクセサリデバイス及び第４のアクセサリデバイスを第３の状態とは異なる（例えば、第１のアクセサリデバイス及び第２のアクセサリデバイスを異なる状態に変更させることなく（例えば、第１の状態とは異なる（例えば、（例えば、オン／オフ、ロック／アンロック、開閉）の反対）第２の状態）第４の状態に変更させる（例えば、プロセスを開始することを介して（及び、いくつかの実施形態では、プロセスは、１つ以上の命令を１つ以上のデバイス（例えば、サーバ、第１のアクセサリデバイス、第２のアクセサリデバイス、第３のアクセサリデバイス、及び第４のアクセサリデバイスを含む複数のデバイスと通信するハブデバイス）に送信すること含む）。いくつかの実施形態では、ジェスチャが第２のタイプのジェスチャ（例えば、１３５０ｃと類似の）（例えば、押圧及び保持ジェスチャ）で、第２の状態インジケータ（例えば、１３１４ｇ、１３１４ｉ）に（例えば、対応する場所で）向けられたとの判定に従って、コンピュータシステムは、ディスプレイ生成構成要素を介して、第３のアクセサリデバイスに対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象を（例えば、第２のユーザインタフェースを表示することの一部として）表示する。いくつかの実施形態では、第３のアクセサリ制御ユーザインタフェースオブジェクト対象の（ジェスチャの第１のタイプであるジェスチャ（例えば、タップジェスチャ）を介して）の選択により（例えば、プロセスを介して（及び、いくつかの実施形態では、プロセスは１つ以上のデバイス（例え、サーバ、（例えば、第１、第２、第３、及び第４のアクセサリデバイスを含む）複数のアクセサリデバイスと通信するハブデバイス、第３のアクセサリデバイス（第４のアクセサリデバイスではない）に命令を送信することを含む）、（例えば、第１のアクセサリデバイスの状態を変更するアクションを実行するために）第３のアクセサリデバイスを、第４のアクセサリデバイスを第４の状態に変更させることなく、第４の状態に変更させる（及び、いくつかの実施形態では、第１のアクセサリデバイス及び／又は第２のアクセサリ制御ユーザインタフェースオブジェクト対象に対応する（例えば、第２のユーザインタフェースを表示することの一部として）第１のアクセサリ制御ユーザインタフェースオブジェクト対象を、ディスプレイ生成構成要素を介して、表示することなく）（例えば、第４のアクセサリデバイスは、第３のアクセサリデバイスが第４の状態にあることを引き起こした後に第３の状態にあり続ける）。いくつかの実施形態では、ジェスチャが第２のタイプのジェスチャ（例えば、押圧及び保持ジェスチャ）で、第２の状態インジケータに（例えば、対応する場所で）向けられたとの判定に従って、コンピュータシステムは、第３のアクセサリ制御ユーザインタフェースオブジェクト対象と同時に第４のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する。いくつかの実施形態では、第４のアクセサリ制御ユーザインタフェースオブジェクト対象が選択されると、コンピュータシステムは、（例えば、プロセスを介して（及び、いくつかの実施形態では、プロセスは１つ以上のデバイス（例えば、サーバ、複数のアクセサリデバイス（例えば、第１、第２、第３、第４のアクセサリデバイスを含む）と通信するハブデバイス、第４のアクセサリデバイス（第３のアクセサリデバイスではない）に命令を送信することを含む）第４のアクセサリデバイスを、第３のアクセサリデバイスを第４の状態に変更させることなく、第４の状態に変更させる。ジェスチャが向けられた状態インジケータ及び検出されたジェスチャのタイプに基づいて異なる動作を実行することにより、ユーザインタフェースを乱すことなく、異なるアクセサリデバイスタイプを制御するためのより多くの制御オプションがユーザに提供される。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。第３のアクセサリデバイス及び第４のアクセサリデバイスを第４の状態に変更させることにより、複数のデバイスが状態を変化させる１つの制御がユーザに提供され、複数のデバイスに状態を変更させるために必要な入力の数が低減される。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、（例えば、システムを操作する／システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用を低減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、第５のアクセサリデバイス（例えば、図１３Ａの７１８ｂによって表されるデバイス）が第１のアクセサリデバイスタイプで、第５のアクセサリデバイス（例えば、図１３Ａの７１８ｂによって表されるデバイス）が第１の状態であるとの判定に従って、第１のアクセサリタイプの複数のアクセサリデバイスは（例えば、１３１４ｈで示されるように）（例えば、第１のアクセサリデバイス及び第２のアクセサリデバイスとは異なる）第５のアクセサリデバイスを含む。いくつかの実施形態では、第５のアクセサリデバイス（例えば、図１３Ａの７１８ｇによって表されるデバイス）が第１のアクセサリデバイスタイプで、第５のアクセサリデバイス（例えば、図１３Ａの７１８ｇによって表されるデバイス）は第１の状態にはないとの判定に従って、第１のアクセサリタイプの複数のアクセサリデバイスは、（例えば、１３１４ｈで示されるように）第５のアクセサリデバイスを含まない。いくつかの実施形態では、第５のアクセサリデバイスが第１のアクセサリデバイスタイプではなく、第５のアクセサリデバイスが第１の状態にあるとの判定に従って、第５のアクセサリタイプの複数のアクセサリデバイスは第５のアクセサリデバイスを含まない。いくつかの実施形態では、第５のアクセサリデバイスが第１のアクセサリデバイスタイプではなく、第５のアクセサリデバイスが第１の状態にはないとの判定に従って、第１のアクセサリタイプの複数のアクセサリデバイスは第５のアクセサリデバイスを含まない。第１の状態にある第１のアクセサリデバイスタイプのアクセサリデバイスを制御し、第１の状態にはない第１のアクセサリデバイスタイプのアクセサリデバイスを制御しない状態インジケータを提供することにより、特定の予め定められた条件を見た満たすアクセサリデバイスを制御する状態インジケータがユーザに提供される。更なるユーザ入力を必要とせずに条件の１組が満たされたときに動作を実行することにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第１のタイプのジェスチャは、タップジェスチャ（例えば、１３５０ｆ）（例えば、所定の時間の期間未満で（例えば、１つ以上の入力デバイスを介して）検出されるジェスチャ）である。いくつかの実施形態では、第２のタイプのジェスチャは、押圧及び保持ジェスチャ（例えば、１３５０ｃ）（例えば、所定の時間の期間よりも長い間（例えば、１つ以上の入力デバイスを介して）検出されるジェスチャ）である。
いくつかの実施形態では、ジェスチャの検出に応答して、ジェスチャが第３のタイプのジェスチャ（例えば、１３５０ａ）（例えば、スワイプジェスチャ、ある方向（例えば、横方向）に移動するジェスチャ）（例えば、及び第１の状態インジケータに向けられている）との判定に従って、コンピュータシステムは、以前に表示されなかった状態インジケータ（例えば、図１３Ｂの１３１４ｆ）を（例えば、状態インジケータをスクロールすることによって）表示する（例えば、以前に表示されなかった状態インジケータは、第１のアクセサリデバイスタイプとは異なるアクセサリの複数のアクセサリデバイスが同じ状態にあることを示す）。いくつかの実施形態では、ジェスチャが第３のタイプのジェスチャであるとの判定に従って、（例えば、第１の状態インジケータを検視外にスクロールすることによって）第１の状態インジケータの表示を停止する。いくつかの実施形態では、ジェスチャが第３のタイプのジェスチャであるとの判定に従って、複数の表示された状態インジケータを（例えば、ジェスチャの方向（例えば、左、右、上、下など）に移動させ、それにより、複数の状態インジケータが移動された後、第１の状態インジケータは表示を中止し、一方、第３のタイプのジェスチャを検出する前に表示されなかった１つ以上の状態インジケータが表示される。いくつかの実施形態では、状態インジケータ（例えば、シーン制御、外部アクセサリデバイス制御）ではない１つ以上の制御は、ジェスチャが検出された後に表示されたままである。第３のタイプのジェスチャが第１の状態インジケータに向けられるときに異なる動作を実行することにより、ユーザには、ユーザインタフェースを乱すことなく、より多くの制御オプション（例えば、より多くの状態インジケータ）が提供される。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第１のアクセサリデバイス及び第２のアクセサリデバイスを第２の状態に変更させることの一部として、コンピュータシステムは、第１のアクセサリデバイス及び第２のアクセサリデバイスに第１のアクセサリタイプ（例えば、光、ドアロック、ブラインド、温度制御）に基づくタイプのアクションを実行させる（例えば、光のオフ、ドアロックのアンロック、ブラインドを特定のパーセント開放、ＡＣ／加熱のオフ）。第１のアクセサリデバイス及び第２のアクセサリデバイスに、第１のアクセサリタイプに基づくタイプのアクションを実行させることにより、コンピュータシステムは、特定の予め定められた条件に基づく特定のアクションを実行することが可能になる。更なるユーザ入力を必要とせずに条件の１組が満たされたときに動作を実行することにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、ジェスチャを検出する前に、コンピュータシステムは、第１の状態インジケータに隣接する第３の状態インジケータ（例えば、１３１４ｂ）（例えば、第２のアクセサリタイプ（例えば、第１のアクセサリタイプとは異なる）の複数のアクセサリデバイスが第３の状態にあることを示す）及び第３の状態インジケータ（例えば、１３１４ｅ）に隣接する第４の状態インジケータ（例えば、１３１４ｃ）（例えば、第３のアクセサリタイプ（例えば、第２のアクセサリタイプ及び第１のアクセサリタイプとは異なる）の複数のアクセサリデバイスが第４の状態にあることを示す）を表示する。いくつかの実施形態では、第１の状態インジケータ、第３の状態インジケータ、及び第４の状態インジケータは、それぞれ対応する状態インジケータ（例えば、各それぞれの状態インジケータが入っているそれぞれの状態インジケータカテゴリ）に対応するそれぞれの状態インジケータカテゴリ（例えば、アラーム（例えば、ｃｏ、ｃｏ２、スモーク、漏れ、アラーム）、必要なアクション（例えば、応答しないアクセサリ、アカウントエラー、低バッテリ、利用可能な更新されたもの）、重要な状態（重要なもの：ホーム温度、ドア又は窓の開放）、クイックアクション（例えば、アクセサリの状態の反転、ドアのアンロック、窓の開放、５つの光のオン、２つのファンのオンを行うカテゴリ）、センサ（例えば、湿度レベル、光レベル「３４ルクス」など））に基づく順序で表示される。いくつかの実施形態では、第１の状態インジケータ、第３の状態インジケータ、及び第４の状態インジケータを順序で表示している間に、コンピュータシステムは、第５の状態インジケータが表示されるべきであるという示唆を受信し（例えば、（例えば、第１の状態インジケータ、第２の状態インジケータ、及び第３の状態インジケータによって示されるアクセサリデバイスタイプとは）異なるアクセサリデバイスタイプのうちの任意の１つ以上の状態が変更された）、並びに第５の状態インジケータが表示されるべきであるという示唆のインジケータの受信に応答して、（１）第５の状態インジケータが第１の状態インジケータカテゴリにあるという判定に従って（例えば、第１の状態インジケータと同じ状態インジケータカテゴリ）、コンピュータシステムは、第５の状態インジケータを第１の位置に表示し（例えば、第１の状態インジケータに隣接する場所）、（２）第５の状態インジケータが第２の状態インジケータカテゴリ（例えば、第１の状態インジケータカテゴリとは異なる状態インジケータカテゴリ）（例えば、第３の状態インジケータと同じ状態インジケータカテゴリ）にあるとの判定に従って、第１の場所とは異なる第２の場所（例えば、第３の状態インジケータに隣接する場所）で第５の状態インジケータを表示すること、及び（３）第５の状態インジケータが第３の状態インジケータカテゴリ（例えば、第１の状態インジケータカテゴリ及び第３の状態インジケータカテゴリとは異なる状態インジケータカテゴリ）（例えば、第４の状態インジケータと同じ状態インジケータカテゴリ）にあるとの判定に従って、第１の場所及び第２の場所とは異なる第３の場所（例えば、第４の状態インジケータに隣接する場所）で第５の状態インジケータを表示することである。それぞれのカテゴリに基づいて、状態インジケータを順序で表示することにより、特定の状態インジケータの重要性又はカテゴリに関する改善されたフィードバックをユーザに提供し、ユーザが、特定の状態インジケータが対応するカテゴリを素早く認識することを可能にする。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１のアクセサリタイプのそれぞれのアクセサリデバイスの状態の変化を検出する。いくつかの実施形態では、第１のアクセサリタイプのそれぞれのアクセサリデバイスの状態の変化の検出に応答して、それぞれのアクセサリデバイスの状態が第１の状態に変更されたとの判定に従って、コンピュータシステムは、それぞれのアクセサリデバイスを、第１の状態にある第１のアクセサリタイプ（例えば、電球、窓、スイッチ、アウトレット、ロック（例えば、ドアロック、窓ロック）、テレビ）の複数のアクセサリデバイスに追加する。いくつかの実施形態では、第１のアクセサリタイプのそれぞれのアクセサリデバイスの状態の変化の検出に応答して、それぞれのアクセサリデバイスの状態が第２の状態に変更された（又は、代替の、第１の状態ではないように変更された）との判定に従って、コンピュータシステムは、それぞれのアクセサリデバイスを、第１の状態にある第１のアクセサリタイプ（例えば、電球、窓、スイッチ、アウトレット、ロック（例えば、ドアロック、窓ロック）、テレビ）の複数のアクセサリデバイスから除去する。したがって、それぞれのタイプの追加のアクセサリがそれぞれの状態にあることが検出されると、追加のアクセサリがそれぞれの状態インジケータに追加され、それにより、追加のアクセサリは、状態インジケータをアクティブにすることによって制御され、それぞれのタイプのいくつかのアクセサリがそれぞれの状態にあることがもはや検出されないと、アクセサリがそれぞれの状態インジケータから除去され、それにより、除去されたアクセサリは、状態インジケータをアクティブにすることによって制御されない。アクセサリの状態に基づいて複数のアクセサリデバイスを更新することにより、システムは、ユーザが同じタイプ及び状態のアクセサリの状態を素早く変更することを可能にし、（例えば、押圧及び保持を介して）アクセサリに個別にアクセスすることを可能にする。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される
いくつかの実施形態では、第１の状態インジケータは、第１の状態にある第１のアクセサリタイプの現在のアクセサリデバイスの数に基づいて表示される（又は更新される）多数のアクセサリデバイスの示唆を含む。いくつかの実施形態では、ジェスチャを検出する前に、第１の状態インジケータは、第１の数のアクセサリデバイス（例えば、第１のアクセサリタイプであり、第１の状態にある）の示唆を含む。いくつかの実施形態では、第１のアクセサリデバイスタイプである第１０のアクセサリデバイスが第１の状態に変更されたとの判定に従って、コンピュータシステムは、第１の数のアクセサリデバイスの示唆とは異なる第２の数のアクセサリデバイス（例えば、第２のアクセサリタイプであり、第２の状態にある）の示唆を含むように、第１の状態インジケータを更新する。いくつかの実施形態では、第２のアクセサリが第１の状態に変更されていないとの判定に従って、コンピュータシステムは、第１の数のアクセサリデバイスの示唆及び第２の数のアクセサリデバイスの示唆とは異なる第３の数のアクセサリデバイスの示唆を含むように、第１の状態インジケータを更新する。いくつかの実施形態では、第２の数のアクセサリデバイスは、第１の数のアクセサリデバイスよりも多く、第３の数のアクセサリデバイスは、第１の数のアクセサリデバイス未満である。現在の数のアクセサリデバイスに基づく示唆を含む状態インジケータを表示することにより、状態インジケータによって示された状態が対応するデバイスの数をユーザが素早く認識することを可能にし、状態インジケータ上に入力されたどのくらいの数のデバイスが可能性として影響し得るかに関する改善されたフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｆ）で、第１の状態インジケータ（例えば、１３５０ｈ）に向けられたとの判定に従って、コンピュータシステムは、所定の時間の期間（例えば、１秒、５秒、３０秒）（例えば、ジェスチャが検出された後の所定の時間の期間）の後に、第１の状態インジケータの表示を中止する（例えば、図１３Ｇの１３５０ｈは図１３Ｈに表示されることが中止されている）。いくつかの実施形態では、第１のタイプのジェスチャである第２のジェスチャが、第１のタイプであるジェスチャを受信した後、所定の時間の前に受信されるとの判定に従って、第１の状態インジケータの表示の中止を取り止める。いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャで、第１の状態インジケータに向けられたとの判定に従い、状態インジケータが第１のカテゴリにあるとの判定に従って、コンピュータシステムは、状態インジケータによって表されるアクセサリデバイスが、第２の所定の時間の期間の後及び／又は所定の時間の期間後に、（例えば、光がオフ、ドアがロックされる、アラームがアクティブではないなど）特定の状態に変更された状態インジケータによって表されるとき、状態インジケータを表示することを中止する。いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャで、第１の状態インジケータに向けられたとの判定に従い、状態インジケータが第１のカテゴリとは異なる第２のカテゴリにあるとの判定に従って、コンピュータシステムは、状態インジケータによって表されるアクセサリデバイスが、第２の所定の時間の期間の後及び／又は所定の時間の期間後に、（例えば、光がオフ、ドアがロックされる、アラームがアクティブではないなど）特定の状態に変更された状態インジケータによって表されるとき、状態インジケータを表示することを中止しない。第１のタイプのジェスチャの入力を検出した後に、状態インジケータを表示することを停止することにより、状態インジケータを介して制御されたアクセサリデバイスの状態を変更するアクションが実行されたという視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、ジェスチャが検出されると、第１の状態インジケータ（例えば、１３１４ｈ）が第１の場所で表示される。いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｆ）で、第１の状態インジケータ（例えば、１３１４ｈ）に向けられたとの判定に従って、コンピュータシステムは、第１の場所で第１の状態インジケータ（例えば、１３１４ｈ）の表示を中止し、第１の場所で第６の状態インジケータ（例えば、図１３Ｈの１３１４ｉ）（例えば、第１の状態インジケータとは異なる）を表示する。いくつかの実施形態では、第６の状態インジケータは、ジェスチャが検出される前に、第１の状態インジケータに隣接していた。いくつかの実施形態では、第１の場所で第１の状態インジケータとは異なる状態インジケータを表示することは、アニメーションを介して、第１の状態インジケータとは異なる状態インジケータを第３の場所から第１の場所へ移動させることを含む。状態インジケータの表示を停止し、第１のタイプのジェスチャの入力を検出した後にその場所に隣接する状態インジケータを表示することにより、状態インジケータを削除し、ディスプレイ上に（例えば、ディスプレイ生成構成要素を介して）新しい状態インジケータ（例えば、隣接する状態インジケータ）を表示するために必要とされる入力の数が低減される。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、（例えば、システムを操作する／システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用を低減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｉ）で、第１の状態インジケータ（例えば、１３１４ｈ）に向けられたとの判定に従って、コンピュータシステムは、第１の状態インジケータが、第１のアクセサリタイプの複数のアクセサリデバイスが状態を変更したこと（例えば、第１の状態ではない、第２の状態（例えば、又は第１の視覚的見掛けとは異なる第２の視覚的見掛けで表示される））を示すために、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態（例えば、又は第１の視覚的見掛けで表示されている）にあることを示すことから変更されるように、第１の状態インジケータを視覚的に更新する（例えば、図１３Ｇの１３１４ｈ）。いくつかの実施形態では、第１の状態インジケータは、視覚的に更新された後の所定の時間の期間、表示を中止する。いくつかの実施形態では、ジェスチャが第２のタイプのジェスチャ（又は、第３のタイプのジェスチャ）で、第１の状態インジケータに向けられたとの判定に従って、コンピュータシステムは、第１のアクセサリタイプの複数のアクセサリデバイスが第２の状態にあることを示す（及び／又は第１の状態インジケータを維持する（例えば、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示すように））第１の状態インジケータを更新することを取り止める。第１のタイプのジェスチャの入力を検出した後に、複数のアクセサリデバイスが状態を変化したことを示す状態インジケータを更新することにより、状態インジケータを介して制御されたアクセサリデバイスの状態を変更するアクションが実行されたという視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１の状態インジケータ（例えば、１３１４ｈ）は、第１のユーザインタフェース（例えば、７１０）上に表示される。いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェース（例えば、７１０）とは異なる第２のユーザインタフェース（例えば、１３６０）を表示する要求（例えば、１３５０ｈ）を（例えば、第１のユーザインタフェース上に第１の状態インジケータを表示する間に）受信する。いくつかの実施形態では、第２のユーザインタフェースを表示する要求（例えば、１３５０ｈ）の受信に応答して、コンピュータシステムは、第１のアクセサリタイプの１つ以上のアクセサリデバイスが第１の状態にあることを示す状態インジケータ（例えば、図１３Ｉの１３５０ｉ）を含む第２のユーザインタフェース（例えば、１３６０）を表示し、ここで、第２のユーザインタフェース（例えば、１３６０）（例えば、現在表示されているユーザインタフェース）が第１のグループのアクセサリデバイス（例えば、部屋（例えば、建物（例えば、ホーム）の一部（例えば、部屋（例えば、寝室、リビングルーム、オフィス、ガレージ）、ポーチ）を表すグループに指定されたデバイスのグループ）に対応し、及び第１のアクセサリデバイスが第１のグループのアクセサリデバイス（例えば、第１のアクセサリデバイスが第１の状態にある間）に対応するとの判定に従って、第１のアクセサリタイプの１つ以上のアクセサリデバイスは、第１のアクセサリデバイスを含み、第２のユーザインタフェース（例えば、１３６０）（例えば、現在表示されているユーザインタフェース）は、第１のグループのアクセサリデバイスに対応し、第１のアクセサリデバイスは第１のグループのアクセサリデバイスに対応せず（例えば、第１のアクセサリデバイスが第１の状態にある間）、第１のアクセサリタイプの１つ以上のアクセサリデバイスは、第１のアクセサリデバイスを含まない。いくつかの実施形態では、第２のユーザインタフェースを表示する要求の受信に応答して、コンピュータシステムは、第１のユーザインタフェースを含む第１のユーザインタフェースの表示を中止する。特定の予め定められた条件が満たされたときに、複数のデバイスの状態を示す状態インジケータを表示すること（例えば、状態を含むユーザインタフェースがアクセサリデバイスのグループに対応するかどうか、及び状態インジケータに関連する特定のデバイス（例えば、同じ状態及びアクセサリタイプ）がアクセサリデバイスのグループに対応するかどうか）により、アクセサリデバイスの特定のグループに対応するユーザインタフェースに関連する複数のデバイスを示す状態インジケータがユーザに自動的に提供される。更なるユーザ入力を必要とせずに条件の１組が満たされたときに動作を実行することにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。状態を含むユーザインタフェースが、アクセサリデバイスのグループに対応するかどうか、及び状態インジケータに関連する特定のデバイス（例えば、同じ状態及びアクセサリタイプ）が、アクセサリデバイスのグループに対応するかどうかに基づく、複数のデバイスの状態の状態インジケータを表示することにより、表示されている特定のユーザインタフェースに関連するデバイスを示す状態インジケータに関する視覚フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、ジェスチャ（例えば、１３５０ａ〜１３５０ｃ及び１３５０ｆ）を検出する前に、第３のアクセサリタイプの１つ以上のアクセサリデバイスが第７の状態（例えば、オン／オフ、開放、閉鎖）にあることを示す第８の状態インジケータが表示される。いくつかの実施形態では、１つ以上のアクセサリデバイスは、第３のアクセサリタイプの第８のアクセサリデバイスを含む。いくつかの実施形態では、ジェスチャ（例えば、１３５０ｆ、１３５０ｉ）が第２のタイプのジェスチャ（例えば、押圧及び保持ジェスチャ）で、第８の状態インジケータ（例えば、１３１４ｈ）に（例えば、対応する場所で）向けられたとの判定に従い、第８の状態インジケータ（例えば、図１３Ｉの１３１４ｈ）が第７の状態にある（例えば、第３のアクセサリタイプの１つのアクセサリのみが第７の状態にある）第３のアクセサリタイプのアクセサリデバイスの所定の数未満（例えば、２未満）に対応する（及び／又は示す）との判定に従って、コンピュータシステムは、第８のアクセサリデバイスに対応する第８のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、１３１８）（例えば、第９のアクセサリ制御ユーザインタフェースオブジェクト対象よりも高い制御及び／又は精細度を有する）を表示する。いくつかの実施形態では、第８のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、第８のアクセサリデバイスを、第８の状態（例えば、８０％の輝度、２０％の輝度、４０％の開放、２０％の開放、第７の状態とは完全に反対ではない状態、第７の状態に対応する特性（例えば、オン／オフ）よりもデバイスによって表され得る異なる特性に対応する状態（例えば、光の色（例えば、青色、赤色、緑色、黄色、白色））に変更させる。いくつかの実施形態では、ジェスチャ（例えば、１３５０ｆ、１３５０ｉ）が第２のタイプのジェスチャ（例えば、押圧及び保持ジェスチャ）で、第８の状態インジケータ（例えば、１３１４ｈ）に（例えば、対応する場所で）向けられたとの判定に従い、第８の状態インジケータ（例えば、図１３Ｉの１３１４ｈ）が第７の状態にある第３のアクセサリタイプのアクセサリデバイスの所定の数以上（例えば、２以上）に対応する（及び／又は示す）との判定に従って、コンピュータシステムは、第８のアクセサリデバイスに対応する第９のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、例えば、７１８ｈのように制御）を表示する。いくつかの実施形態では、第９のアクセサリ制御ユーザインタフェースオブジェクト対象を選択により、第８のアクセサリデバイスを（例えば、第８のアクセサリ制御ユーザインタフェースオブジェクト対象を表示せずに）第８の状態とは異なる第９の状態（例えば、オン／オフ、開放／閉鎖、第７の状態とは反対の状態）に変更させる。いくつかの実施形態では、第８のアクセサリデバイスに対応するアクセサリユーザインタフェース制御オブジェクト対象の数は、第８の状態インジケータが、第３のアクセサリタイプの所定の数未満（例えば、２）が第７の状態にあることを示すとの判定が行われる場合よりも、第８の状態インジケータが、第３のアクセサリタイプの所定の数未満（例えば、２）が第７の状態にあることを示すとの判定が行われる場合の方が大きい。いくつかの実施形態では、第８のアクセサリ制御ユーザインタフェースオブジェクト対象は、第９のアクセサリ制御ユーザインタフェースオブジェクト対象よりも大きい。選択されたとき、状態インジケータによって表される制御の数に基づいて、アクセサリデバイスを異なるように変更する制御を表示することにより、デバイスは、ＵＩを乱すことなく、いくつかの状況で追加の又は異なる制御を提供することが可能になる。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ−システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、単一のアクセサリデバイスに対応するそれぞれの状態インジケータ（例えば、第８の状態インジケータ）に従って、それぞれの状態インジケータは、アクセサリデバイスの名前（例えば、英数字文字）を含む。複数のアクセサリデバイスに対応するそれぞれの状態インジケータ（例えば、第８の状態インジケータ）に従って、それぞれの状態インジケータは、表されるアクセサリデバイスの数の示唆（例えば、数字表現）を含む。
いくつかの実施形態では、コンピュータシステムは、別のタイプの状態インジケータ（例えば、１３１４ａ〜１３１４ｆ及び１３１４ｊ〜１３１４ｌ）（例えば、気候制御、センサ（例えば、異なるタイプのセンサが単一の状態インジケータで組み合わされてもよい））上のタップを検出し、タップの検出に応答して、他のタイプの状態インジケータに関連する複数のタイプのデバイスを制御するためのユーザインタフェース（例えば、１３８２、１３８４、１３８６）を表示する。いくつかの実施形態では、デバイス７００は、タップを検出した後に、他のタイプの制御を表示することを中止しない。
方法１４００に関して上述したプロセス（例えば、図１４）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１４００は、任意選択的に、方法８００及び１０００に関して前述した様々な方法の特性のうちの任意の１つ以上を含む。別の例では、方法８００で送信された音声メッセージは、方法１４００に関連して上述したように、変更又はより多くの状態インジケータであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１５Ａ〜１５Ｆは、いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１６のプロセスを含む後述のプロセスを例示するために使用される。
図１５Ａは、アフォーダンス７０４を含むユーザインタフェース７０２を表示するデバイス７００を示す。図１５Ａに示すように、マルチキャスト通知１５０２は、ユーザインタフェース７０２の一部の上に表示される。マルチキャスト通知１５０２は、音声マルチキャストメッセージがジョン及び３人の他者から、デバイス７００を含む、ホーム６０２に指定されたデバイスのグループに送信されたことを示す。換言すれば、デバイス７００がホーム６０２に指定されているため、デバイス７００は、ジョン及び３人の他者から音声マルチキャストメッセージを受信している。マルチキャスト通知１５０２は、再生表現１５０４を含む。いくつかの実施形態では、再生表現１５０４は選択可能である。いくつかの実施形態では、マルチキャスト通知１５０２は、上述の他のマルチキャストメッセージ（例えば、マルチキャスト通知７０８ａ、マルチキャスト通知７０８、マルチキャスト通知９０４、マルチキャスト通知９０６ａ、マルチキャスト通知９０６ｂ、マルチキャスト通知９０８ａ、マルチキャスト通知９０８ｂ、マルチキャスト通知９０８ｃ、マルチキャスト通知９１０）に関連して上述したように、１つ以上の特徴を含むことができる。いくつかの実施形態では、上記の他のマルチキャストメッセージは、マルチキャスト通知１５０２の１つ以上の特徴（例えば、再生表現１５０４）を含み得る。図１５Ａでは、デバイス７００は、マルチキャスト通知１５０２上でタップジェスチャ１５５０ａを検出する。
図１５Ｂ〜１５Ｆは、（例えば、自動的に）音声マルチキャストメッセージを再生するための例示的なユーザインタフェースを示す。いくつかの実施形態では、図１５Ｂ〜１５Ｆに関連して説明されるユーザインタフェースは、９Ｉ〜９Ｊのユーザインタフェース及び／又は９Ｍ〜９Ｐのユーザインタフェースなどの、上記の１つ以上のユーザインタフェースの代わりに表示することができる。
図１５Ｂに示すように、タップジェスチャ１５５０ａの検出に応答して、デバイス７００は、ユーザインタフェース７０２の一部にオーバーレイされたユーザインタフェース１５２０を表示し、（例えば、タップジェスチャ１５５０ａを検出した後にユーザ入力を介在させることなく）、現在の送信者示唆１３２２ａによって示されるように、ジョンから受信した音声マルチキャストメッセージの再生を開始する。いくつかの実施形態では、音声の再生を開始する一部として、デバイス７００は、デバイス７００に電子的に結合された１つ以上のスピーカを介して音声を出力する。
図１５Ｂに示すように、ユーザインタフェース１５２０は、ホーム６０２に関連付けられたデバイスのグループに送信された音声マルチキャストメッセージが再生されていることを示す、マルチキャストホーム識別子１５３２を含む。ユーザインタフェース１５２０はまた、マルチキャスト記録アフォーダンス７３６、現在の送信者示唆１５２２ａ、グラフィカル送信者示唆１５２４、及びカウント示唆９３０を含む。いくつかの実施形態では、デバイス７００は、上述のマルチキャスト記録アフォーダンス７３６、現在の送信者示唆９２２ａ〜９２２ｂ、グラフィカル送信者示唆９２４ａ〜９２４ｂ、及びカウント示唆９３０を考慮して、それぞれ、表示及び動作するために使用する、マルチキャスト記録アフォーダンス７３６、現在の送信者示唆１５２２ａ、グラフィカル送信者示唆１５２４、及びカウント示唆９３０を考慮して表示及び動作するために、デバイス７００は上述の１つ以上の技術を使用する。
図１５Ａを再び見ると、通知１５０２は、４つの音声マルチキャストメッセージが受信され（例えば、「ジョン及び３人の他者」）、再生されたことを示している。したがって、図１５Ｂでは、ユーザインタフェース１５２０は、受信メッセージの一部に対応するグラフィカル送信者示唆１５２４を含む。図１５Ｂでは、グラフィカル送信者示唆１５２４は、グラフィカル送信者示唆１５２４ａ〜１５２４ｃを含む。グラフィカル示唆１５２４ａは、「ジョン」から受信した、第１の音声マルチキャストメッセージに対応する。グラフィカル示唆１５２４ｂは、第１の音声マルチキャストメッセージの後に受信された（又は送信された）第２の音声マルチキャストメッセージに対応する。グラフィカル示唆１５２４ｃは、第２の音声マルチキャストメッセージの後に受信された（又は送信された）第３の音声マルチキャストメッセージに対応する。特に、図１５Ａでは、ユーザインタフェース１５２０は、所定の数（例えば、３）のグラフィック示唆が同時に表示されるべきであると判定されたため、第４の音声マルチキャストメッセージに対応するグラフィカル示唆を含まない。
グラフィカル示唆１５２４ａ〜１５２４ｃは、異なる表現を図示するグラフィカル示唆１５２４ａ〜１５２４ｃによって示される、異なるユーザ（又はデバイス）によって送信された、異なるマルチキャストメッセージに対応する。グラフィカル示唆１５２４ａは、第１の音声マルチキャストメッセージの送信者（例えば、「ジョン」）（例えば、判定された送信者）の視覚的表現を含む。グラフィカル示唆１５２４ｂは、第２の音声マルチキャストメッセージを記録したデバイス（例えば、スピーカ）の視覚的表現を含む。グラフィカル示唆１５２４ｃは、第３の音声マルチキャストメッセージの送信者（例えば、「エマアップルシード（Emma Appleseed）」を表す「ＥＡ」で、図７ＡＢに示すようにホーム６０２に関連付けられた人物）に対応する文字の視覚的表現を含む。グラフィカル示唆１５２４ｂは、第２の音声マルチキャストメッセージを生成した人物が判定され得ないため、送信者の視覚的表現の代わりにデバイスの視覚的表現を含む。グラフィカル示唆１５２４ｃは、デバイス７００がユーザの視覚的表現（例えば、エミリー）へのアクセスを有さないため、ユーザの視覚的表現の代わりに文字の視覚的表現を含む。いくつかの実施形態では、複数のグラフィカル示唆は、グラフィカル示唆に対応する音声マルチキャストメッセージが同じ送信者によって送信されたとの判定が行われると、同じ視覚的表現を含む。
図１５Ｂに示されるように、グラフィカル示唆１５２４ａは、ユーザインタフェース１５２０上に表示された最大のグラフィカル示唆であり、音声示唆１５２４ａ１（例えば、グラフィカル示唆１５２４ａを取り囲む円）と共に表示される。現在の送信者示唆１５２２ａによって示すように、ジョンからの第１の音声マルチキャストメッセージは、現在再生されている。したがって、グラフィカル示唆１５２４ａは、最大のグラフィック表現であり、ジョンからの音声マルチキャストメッセージが現在再生されていることを示す音声示唆１５２４ａ１と共に表示される。いくつかの実施形態では、音声示唆１５２４ａ１は動的であり、再生されている第１の音声マルチキャストメッセージに従ってサイズが変化する。グラフィカル示唆１５２４ｂは、第２の音声マルチキャストメッセージが、デバイス７００によって再生されるキューの次の音声マルチキャストメッセージであるため、ユーザインタフェース１５２０上に表示される第２の最大のグラフィカル示唆である。グラフィカル示唆１５２４ｃは、第３の音声マルチキャストメッセージが、第２の音声マルチキャストメッセージの後にデバイス７００によって再生されるキューの次の音声マルチキャストメッセージであるため、ユーザインタフェース１５２０上に表示される第３の最大のグラフィカル示唆である。図１５Ｂでは、デバイス７００は、第１の音声マルチキャストメッセージが所定の時間の期間内に終了する（例えば、０秒、１秒）（又は次のメッセージ（例えば、第２のメッセージ）が所定の時間の期間内に開始する）と判定する。
第１の音声マルチキャストメッセージが所定の時間の期間内に終了する（又は終了した）と判定することに応答して（例えば、スキップアフォーダンス１５３４上のタップジェスチャに基づいて、ユーザ入力なしで）、デバイス７００は、グラフィカル示唆１５２４ｂ〜１５２４ｃを反時計回りに回転させ、グラフィカル示唆１５２４ａの表示を中止する。図１５Ｃに示すように、第１の音声マルチキャストメッセージが所定の時間の期間内に終了する（又は終了した）との判定に応答して、グラフィカル示唆１５２４ｂは、グラフィック表現１５２４ａが図１５Ｂに以前に表示された場所に表示され、グラフィカル示唆１５２４ｃは、グラフィック表現１５２４ｂが図１５Ｂに以前に表示された場所に表示される。図１５Ｃに示すように、グラフィカル示唆１５２４ａは、グラフィック示唆１５２４ｂが図１５Ｂに以前に表示された同じサイズで表示され、グラフィカル示唆１５２４ｃは、グラフィカル示唆１５２４ｂが図１５Ｂに以前に表示された同じサイズで表示される。
図１５Ｃに示すように、現在の送信者示唆１５２２ｂは、図１５Ｂに以前に表示された、現在の送信者示唆１５２２ａに置き換えられている。したがって、図１５Ｃでは、図１５Ｃのユーザインタフェース１５２０が表示される時間によって第１の音声マルチキャストメッセージの再生が完了しているため、デバイス７００は現在、第２の音声マルチキャストメッセージを再生している。図１５Ｃに示すように、ここで、グラフィカル示唆１５２４ｂは、音声示唆１５２４ａ１に関連して上述したものと類似の技術を使用して表示される、音声示唆１５２４ｂ１と共に表示される。図１５Ｃに示すように、グラフィカル示唆１５２４ｃは、デバイス７００が現在、第３の音声マルチキャストメッセージ（例えば、グラフィカル示唆１５２４ｃに対応する音声マルチキャストメッセージ）を現在出力していないので、グラフィカル示唆１５２４ｃを取り囲む音声示唆を有さない。いくつかの実施形態では、デバイス６００は、１５Ｂのユーザインタフェース１５２０の表示と図１５Ｃのユーザインタフェース１５２０の表示の間で遷移している間に、グラフィカル示唆１５２４ｂ〜１５２４ｃのサイズを徐々に増大させるアニメーションを表示する。
図１５Ｃに示すように、デバイス７００は、グラフィカル示唆１５２４ａ（例えば、第１の音声マルチキャストメッセージが終了した）を表示することを中止しているので、デバイス７００は、ジェーンによって送信された第４の音声マルチキャストメッセージに対応する、（図１５Ｅの現在の送信者示唆１５２２ｄによって示すように）グラフィカル示唆１５２４ｄを新たに表示する。グラフィカル示唆１５２４ｄは、図１５Ｂのグラフィカル示唆１５２４ｃと同じサイズで、同じ場所に表示される（例えば、グラフィカル示唆１５２４ｄは、ここで音声再生のキューで第２であるため）。図１５Ｃでは、デバイス７００は、第２の音声マルチキャストメッセージが所定の時間の期間内に終了する（例えば、０〜１秒）（又は次のメッセージ（例えば、第３の音声マルチキャストメッセージ）が所定の時間の期間内に開始する）（又は終了した）と判定する。
第２の音声マルチキャストメッセージが所定の時間の期間内に終了する（又は終了した）と判定することに応答して、デバイス７００は、グラフィカル示唆１５２４ｃ〜１５２４ｄを反時計回りに回転させ、グラフィカル示唆１５２４ｂの表示を中止する。図１５Ｄに示すように、第２の音声マルチキャストメッセージが所定の時間の期間内に終了するとの判定に応答して、グラフィカル示唆１５２４ｃは、グラフィック表現１５２４ｂが図１５Ｃに以前に表示された場所及びサイズで表示され、グラフィカル示唆１５２４ｄは、グラフィック表現１５２４ｃが図１５Ｃに以前に表示された場所及びサイズで表示される。
図１５Ｄに示すように、現在の送信者示唆１５２２ｃは、図１５Ｃに以前に表示された、現在の送信指示１５２２ｂに置き換えられている。したがって、図１５Ｄでは、図１５Ｄのユーザインタフェース１５２０が表示される時間によって第２の音声マルチキャストメッセージの再生が完了しているため、デバイス７００は現在、第３の音声マルチキャストメッセージを再生している。デバイス７００は、第２の音声マルチキャストメッセージの再生の終了後の所定の時間の期間に、入力の介在なしに、第３の音声マルチキャストメッセージを自動的に再生する。いくつかの実施形態では、デバイス７００は、再生されるマルチキャストメッセージ間で所定のサウンド（例えば、チャイム、バズ、階調）を再生する。例えば、デバイス７００は、第２の音声マルチキャストメッセージの再生を自動的に開始する前に第１のサウンドを再生することができ、第３の音声マルチキャストメッセージの再生を自動的に開始する前に、第２のサウンド（例えば、同じチャイム）を再生することができる。いくつかの実施形態では、デバイス６００は、所定のサウンドを再生している間（その後又は前に）、ユーザインタフェースを遷移する（例えば、図１５Ｃのユーザインタフェース１５２０を図１５Ｄのユーザインタフェース１５２０に遷移する）。いくつかの実施形態では、図１５Ｃのスキップアフォーダンス１５３４上の入力の検出に応答して、デバイス７００は、第２の音声メッセージの再生（例えば、図１５Ｃで再生されている）を終了し（第２の音声メッセージの端部に到達する前に）、第３の音声メッセージの再生を開始し、ユーザインタフェースを遷移する（例えば、図１５Ｃのユーザインタフェース１５２０を図１５Ｄのユーザインタフェース１５２０に遷移する）。図１５Ｄでは、デバイス７００は、第３の音声マルチキャストメッセージが所定の時間の期間内に終了する（例えば、０〜１秒）（又は次のメッセージ（例えば、第４の音声マルチキャストメッセージ）が所定の時間の期間内に開始する）（又は終了した）と判定する。
第３の音声マルチキャストメッセージが所定の時間の期間内に終了する（又は終了した）と判定することに応答して、デバイス７００は、グラフィカル示唆１５２４ｄを移動させ（例えば、の位置を変更して）、反時計回りに拡大し、グラフィカル示唆１５２４ｃの表示を中止する。図１５Ｅに示すように、グラフィカル示唆１５２４ｄは、唯一の表示されたグラフィカル示唆であるため、デバイス７００は、グラフィカル示唆１５２４ｄのサイズを、グラフィカル示唆１５２４ｃが以前に表示されたサイズよりも大きいサイズに増大させる。いくつかの実施形態では、グラフィカル示唆１５２４ｄは、図１５Ｂのグラフィカル示唆１５２４ａの場所と比較して、図１５Ｅの異なる場所（例えば、１５２４の中心に）で表示される。図１５Ｅに示すように、現在の送信者示唆１５２２ｄは、図１５Ｄに以前に表示された、現在の送信指示１５２２ｃに置き換えられている。したがって、図１５Ｅでは、図１５Ｅのユーザインタフェース１５２０が表示される時間によって第３の音声マルチキャストメッセージの再生が完了したことから、デバイス７００は現在、第４の音声マルチキャストメッセージ（例えば、グラフィカル示唆１５２４ｄに対応する音声マルチキャストメッセージ）を再生している。デバイス７００は、第３の音声マルチキャストメッセージの再生の終了後（例えば、第３の音声マルチキャストメッセージが終了してから）の所定の時間の期間に、入力の介在なしに、第４の音声マルチキャストメッセージを自動的に再生する。
図１５Ｆに示すように、第４の音声メッセージの再生が終了したと判定した後に、デバイス７００は、追加のメディア（又はマルチキャスト音声メッセージ）を再生することなく、グラフィカル示唆１５２４ａ〜１５２４ｃを含むようにユーザインタフェース１５２０を更新する。グラフィカル示唆１５２４ａ〜１５２４ｃを再表示することに加えて、デバイス７００は再生アフォーダンス９２６を表示する。いくつかの実施形態では、再生アフォーダンス９２６上でタップジェスチャ１５５０ｆ１を検出したことに応答して、デバイス７００は、第１の音声マルチキャストメッセージの再生を開始し、図１５Ｂ〜１５Ｅに記載されたフローを繰り返す。いくつかの実施形態では、マルチキャストアフォーダンスマルチキャスト記録アフォーダンス７３６上でタップジェスチャ１５５０ｆ２（又は、押圧及び保持ジェスチャ）を検出することに応答して、デバイス７００は、（例えば、マルチキャスト音声メッセージ（例えば、第１、第２、第３、第４の音声マルチキャストメッセージ）が送信されたデバイスのグループに返信するために）ホーム６０２に関連付けられたデバイスのグループに音声メッセージを記録し、送信するためのユーザインタフェースを表示する。したがって、いくつかの実施形態では、デバイス７００は、マルチキャスト記録アフォーダンス７３６上でのタップジェスチャの検出に応答して、図７Ｃ１のユーザインタフェース７４１、図７Ｃのユーザインタフェース７３０、又は図７Ｄのユーザインタフェース７４０を表示する。いくつかの実施形態では、マルチキャスト記録アフォーダンス７３６上のタップジェスチャは、端部記録入力（例えば、別のタップジェスチャ）が検出されるまで音声録音を開始する。端部記録入力が検出されると、記録された音声メッセージは、デバイスのグループに送信される。いくつかの実施形態では、マルチキャスト記録アフォーダンス７３６上で、押圧及び保持ジェスチャが検出される。押圧及び保持ジェスチャが検出されると、音声記録が開始される。押圧及び保持ジェスチャの端部（例えば、リフトオフ）が検出されると、音声記録が終了し、記録された音声メッセージがデバイスのグループに送信される。いくつかの実施形態では、図１５Ｂ〜１５Ｅのユーザインタフェースのうちのいずれかでマルチキャスト記録アフォーダンス７３６のアクティブ化（例えば、タップジェスチャ、タップアンドホールドジェスチャ）を検出することにより、現在の再生メッセージの再生を停止させ、デバイスのグループに送信するために音声メッセージを記録するためのプロセスを開始させる。
図１６は、いくつかの実施形態に係る、コンピュータシステムを使用して音声メッセージを再生するための方法を示すフロー図である。方法１６００は、ディスプレイ生成構成要素（例えば、一体型ディスプレイ、接続されたディスプレイ）及び１つ以上の入力デバイス（例えば、タッチ感知面）と通信するコンピュータシステム（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法１６００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１６００は、メディアコンテンツを再生するための直観的方法を提供する。本方法は、メディアメッセージを再生するユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的にメディアコンテンツを再生することを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、メディアユーザインタフェース（例えば、１５２０）を表示し（１６０２）、それには、第１の場所で、第１のメディアメッセージ（例えば、音声メディア、視覚的メディア、オーディオビジュアルメディア）の第１の表現（１６０４）（例えば、図１５Ｂの１５２４ａ）、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現（１６０６）（例えば、図１５Ｂの１５２４ｂ）が含まれる。いくつかの実施形態では、メディアユーザインタフェースは、メディアのグループ（例えば、メディアのグループが順序付けられた１組にある）の複数の（例えば、いくつかの、全てではない）メディアメッセージの表現を含む。
メディアユーザインタフェースを表示したこと、及びメディアユーザインタフェース（例えば、１５２０）に対応するユーザ入力に基づいていないことに応答して、コンピュータシステム（例えば、７００）は、第１のメディアメッセージを再生する（１６０８）（例えば、第１のメディアメッセージの音声及び／又はビデオを出力する）。
第１のメディアメッセージの再生の完了（例えば、第１のメディアメッセージの端部まで再生することによって第１のメディアメッセージの端部に到達したこと）の検出に応答して、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、（例えば、図１５Ｃのような）第１のメディアメッセージに対応する表現（例えば、１５２４ａ）（例えば、任意の表現）を表示することなく、（例えば、図１５Ｃのような）第２のメディアメッセージの第２の表現（例えば、１５２４ｂ）を表示する（１６１０）。
異なる場所で様々なメディアメッセージの表現を表示することは、ユーザに、メディアメッセージの順序に関するフィードバック、そして例えば、どのメディアメッセージが現在再生中で、どのメディアメッセージが次に再生するかを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、複数の（例えば、いくつかの、全てではない、３つの）メディアメッセージの表現は、順序付けられた１組の順序に基づいて様々なサイズで表示される。いくつかの実施形態では、より早くメディアメッセージが順序付けられた１組にあると、対応するメディアメッセージの表現はより大きくなる（例えば、現在再生しているメディアメッセージの表現は最大であり、次に再生されるメディアメッセージの表現はその次に最大であるなど）。したがって、メディアメッセージの順序は、それらの対応する表示描像の比較サイズで反映される。
いくつかの実施形態によれば、第１のメディアメッセージ（例えば、音声メディア、視覚的メディア、オーディオビジュアルメディア）の第１の表現（例えば、図１５Ｂの１５２４ａ）を第１の場所で表示することは、第１のメディアメッセージ（例えば、音声メディア、視覚的メディア、オーディオビジュアルメディア）の第１の表現（例えば、１５２４ａ）を第１の場所及び第１のサイズ（例えば、図１５Ｂのように）で表示することを含む。いくつかの実施形態によれば、第２の場所での第２のメディアメッセージの第２の表現（例えば、図１５Ｂの１５２４ｂ）を表示することは、第２の場所及び（例えば、図１５Ｂのように）第１のサイズとは異なる（例えば、より小さい）第２のサイズで第２のメディアメッセージの第２の表示（例えば、１５２４ｂ）を表示することを含む。
異なるサイズで様々なメディアメッセージの表現を表示することは、ユーザに、メディアメッセージの順序に関するフィードバック（例えば、順序付けられた１組でサイズが大きいほどより早い）、そして例えば、どのメディアメッセージが現在再生中で、どのメディアメッセージが次に再生するかを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、第１の場所での第１のメディアメッセージの第１の表現及び第２の場所での第２のメディアメッセージの第２の表現と同時に、第１のサイズとは異なる（及び、任意選択的に、第２のサイズとは異なる）第３のサイズ（例えば、第２のサイズと同じ、第２のサイズより小さい）及び第１の場所及び第２の場所とは異なる第３の場所で、第３のメディアメッセージの第３の表現（例えば、１５２４ｃ）を表示する。第１のメディアメッセージの再生の完了（例えば、第１のメディアメッセージの端部まで再生することによって第１のメディアメッセージの端部に到達したこと）の検出に応答して、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、第１のメディアメッセージの第１の表現（例えば、１５２４ａ）を表示することなく、第１のサイズ及び第１の場所で、（例えば、図１５Ｃのような）第２のメディアメッセージの第２の表現（例えば、１５２４ｂ）を表示し、コンピュータシステム（例えば、７００）は、第２のサイズ及び第２の場所で、（例えば、図１５Ｃのような）第３のメディアメッセージの第３の表現（例えば、１５２４ｃ）を表示する。
異なる場所及び異なるサイズで様々なメディアメッセージの表現を表示することにより、再生されるべきメディアメッセージの順序に関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によると、コンピュータシステム（例えば、７００）は、第１のリモートユーザからの（例えば、コンピュータシステムを含む、デバイスの目標グループ（例えば、ホームの複数のデバイス（例えば、ホーム自動化システム））に向けられた）第１の（例えば、音声）メッセージである第１のメディアメッセージ、及び第１のリモートユーザとは異なる第２のリモートユーザからの（例えば、コンピュータシステムを含む、デバイスの目標グループ（例えば、ホームの複数のデバイス（例えば、ホーム自動化システム））に向けられた）第２の（例えば、音声）メッセージである第２のメディアメッセージを含む、メディアメッセージ（例えば、メディアのグループ、第１、第２、第３、及び第４のメディアメッセージ）に対応するデータ（第１、第２、第３、第４のデータ）を（例えば、無線ネットワークを介して）受信する。コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、メディアメッセージに対応する通知（例えば、１５０２）を（例えば、（更に詳細に上述しているように）時間周期の端部までデータの受信に応答して）表示する。通知（例えば、１５０２）を表示している間に、コンピュータシステム（例えば、７００）は、１つ以上の入力デバイスを介して、通知（例えば、ロックスクリーン上に表示された通知のアクティブ化、メディアのグループに対応する通知、メディアのグループが順序付けられた１組にある）の選択（例えば、１５５０ａ）を受信する。いくつかの実施形態では、メディアユーザインタフェースを表示することが、通知（例えば１５０２）の選択（例えば、１５５０ａ）の受信に応答して発生する。いくつかの実施形態では、第１のメディアメッセージを再生することが、通知（例えば１５０２）の選択（例えば、１５５０ａ）の受信に応答して発生する。
メディアユーザインタフェースを表示し、通知の選択に応答して第１のメディアメッセージを自動的に再生することによって、同じ入力に応答して、コンピュータシステムが２つの機能（表示及び再生）を実行することが可能になり、それによって、コンピュータシステムが再生を開始するために追加の入力を受信する必要性を低減する。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の表示（例えば、１５２４ａ）、第２の表現（例えば、１５２４ｂ）、及び第３の表現（例えば、１５２４ｃ）は、１つの線に表示されない（例えば、第１、第２、及び第３の場所は全て１つの線上にあるとは限らない）。いくつかの実施形態では、表示されるメディアの表現は、（例えば、表現が削除され、新しい表現が追加されると）１行に表示されない。
別の実施形態によると、第１のサイズは、第２のサイズよりも大きい。いくつかの実施形態では、第２のサイズは、第３のサイズより大きい。いくつかの実施形態では、第２のサイズ及び第３のサイズは、同じサイズである。いくつかの実施形態では、現在再生しているメディアファイルの表現（例えば、図１５Ｂの１５２４ａ、図１５Ｃの１５２４ｂ）は、メディアメッセージの複数の他の（例えば、全て）表示描像のサイズよりも大きいサイズで表示される。
様々なメディアメッセージの表現を、ますます大きいサイズで表示することにより、メディアメッセージの順序に関するフィードバックがユーザに提供される。例えば、対応するメディアメッセージがより早ければ、表現がより大きくなることは、メディアメッセージの順序付けられた１組にあり、（例えば）最大表現は現在再生中のメディアアイテムである。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、第１のメディアメッセージの再生の完了（例えば、第１のメディアメッセージの端部まで再生することによって第１のメディアメッセージの端部に到達すること）を検出したことに応答して、更なるユーザ入力を受信（又は必要と）することなく、第２のメディアメッセージを再生する（例えば、第２のメディアの音声及び／又はビデオを出力する）。いくつかの実施形態では、第２のメディアメッセージは、第１のサイズ及び第１の場所で、第２のメディアメッセージの第２の表現を表示することと共に再生される。
第１のメディアメッセージの完了に応答して第２のメディアメッセージを自動的に再生することにより、コンピュータシステムが第２のメディアメッセージの再生を開始するために追加の入力を受信する必要がなくなる。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２のメディアメッセージの再生の完了を検出したことに応答して（例えば、第２のメディアメッセージの端部に到達した、第１のメディアの残りをスキップする）、コンピュータシステムは、更なるユーザ入力を受信（又は必要と）することなく、第３のメディアメッセージを再生する（例えば、第３のメディアメッセージの音声及び／又はビデオを出力する）。いくつかの実施形態では、第３のメディアメッセージは、第１のサイズ及び第１の場所で、第３のメディアメッセージの第３の表現を表示することと共に再生される。いくつかの実施形態では、第５のメディアの第５の表現は、第２のメディアメッセージの再生の完了を検出した後には表示されない。
いくつかの実施形態によると、第１のメディアメッセージの再生の完了を検出する前に、第４のメディアメッセージ（例えば、音声メディア、視覚的メディア、オーディオビジュアルメディア）の第４の表現（例えば、１５２４ｄ）は、第１のメディアの第１の表示と同時に表示されない（例えば、図１５Ｂに示すように、メディアユーザインタフェース内に）。第１のメディアメッセージの再生の完了（例えば、第１のメディアメッセージの端部まで再生することによって第１のメディアメッセージの端部に到達したこと）の検出の後（例えば、応答して）、（いくつかの実施形態では、第１のメディアメッセージの再生の完了の検出に応答して）、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、（例えば、メディアユーザインタフェース（例えば、１５２０）の）第４のメディアメッセージの第４の表現（例えば、１５２４ｄ）を（例えば、第３のサイズ及び第３の場所で）表示する（いくつかの実施形態では、第４のメディアメッセージは、メディアメッセージの第２及び第３の表現と同時に表示される）。
メディアメッセージが再生され、再生されたメディアメッセージの表現が除去されるまで、メディアのグループの追加のメディアメッセージの表現を表示することなく、メディアメッセージのグループの第１の所定の数のメディアメッセージの表現を表示することにより、ユーザインタフェースを乱すことなく、追加のメディアメッセージが再生のために利用可能であるというフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、メディアユーザインタフェースが最初に表示されるとき（例えば、表示された通知の選択に応答して）、メディアユーザインタフェースは、第４の表現を含むことなく、第１の表現、第２の表現、及び第３の表現を含む。
いくつかの実施形態では、第３のメディアメッセージの再生の完了を検出したことに応答して（例えば、第３のメディアメッセージの端部に到達した、第３のメディアメッセージの残りをスキップする）、第１のサイズとは異なる（例えば、より大きい）サイズ及び第１の場所とは異なる場所で、第４のメディアメッセージの第４の表現（例えば、１５２４ｄ）を表示し、（例えば、図１５Ｅに示すように）ユーザ入力を受信（又は必要と）することなく、第４のメディアメッセージを再生する。
いくつかの実施形態によると、第２のメディアメッセージを再生している間に、コンピュータシステム（例えば、７００）は、メディアユーザインタフェース（例えば、１５２０）に次のメディアユーザインタフェースオブジェクト対象（例えば、１５３４）を表示し、アクティブ化すると（例えば、タップオンの検出）、第２のメディアメッセージの再生を完了させる（例えば、現在再生しているメディアメッセージの再生を停止する、第２のメディアメッセージの残りの再生を取り止める、第２のメディアメッセージの残りを過ぎてスキップする）（及び任意選択的に、第３のメディアメッセージの再生を開始する）。第２のメディアメッセージを再生している間に、コンピュータシステム（例えば、７００）は、１つ以上の入力デバイスを介して、次のメディアユーザインタフェースオブジェクト対象（例えば、１５３４）のアクティブ化（例えば、タップオン）を受信する。次のメディアユーザインタフェースオブジェクト対象（例えば、１５３４）のアクティブ化の受信に応答して、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、第２のメディアメッセージの第２の表現を表示することなく、第１の場所に（及び任意選択的に、第１のサイズで）第３のメディアメッセージの第３の表現を、ディスプレイ生成構成要素を介して表示する。いくつかの実施形態では、第３のメディアメッセージは、第１のサイズで第１の場所で第３のメディアメッセージの第３の表現を表示することと共に再生される。いくつかの実施形態では、次のメディアユーザインタフェースオブジェクト対象は、アクティブ化されると、現在再生しているメディアメッセージを完了させる。いくつかの実施形態では、現在再生しているメディアメッセージの完了を検出することにより（例えば、現在再生しているメディアメッセージがメディアのグループの最終メディアメッセージである場合を除いて）、技術によって、順序付けられた１組の次のメディアメッセージの再生に進む。いくつかの実施形態では、次のメディアユーザインタフェースオブジェクト対象（例えば、１５３４）のアクティブ化の受信に応答して、コンピュータシステムは、（例えば、第２のメディアメッセージの端部まで再生することなく）第２のメディアメッセージの再生を中止し、第３のメディアメッセージを再生する。
次のメディアユーザインタフェースオブジェクト対象を表示することにより、コンピュータシステムは、現在再生しているメディアメッセージの残りを再生する追加時間を費やすことなく、スキップして次のメディアメッセージを再生するためのユーザ入力の受信を可能にする。この追加の制御をユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、（例えば、第２のメディアを再生すると同時に）以前のメディアユーザインタフェースオブジェクト対象を（例えば、メディアユーザインタフェースで）表示せず、アクティブ化すると（例えば、タップオンの検出）、（例えば、第２の）メディアメッセージの再生を完了させ、以前の（例えば、第１の）メディアメッセージの再生を開始する。いくつかの実施形態では、コンピュータシステムは、（例えば、図１５Ｅのように）（例えば、メディアのグループの）最後（例えば、第４）のメディアメッセージが再生している時に、次のメディアユーザインタフェースオブジェクト対象を表示することを取り止める。
いくつかの実施形態では、第１のメディアメッセージ、第２のメディアメッセージ、及び第３のメディアメッセージは、メディアのグループの一部である。いくつかの実施形態によれば、最終メディアメッセージを再生した後（例えば、完了の検出に応答して）（例えば、メディアのグループの全てのメディアメッセージを再生又はスキップした後）、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、メディアユーザインタフェースの再生ユーザインタフェースオブジェクト対象を（例えば、９２６、第１の場所で、第４のメディアメッセージの第４の表現が表示された場所で）表示し、アクティブ化されると（例えば、１５５０ｆ１、タップオンの検出）、後続のメディアメッセージ（例えば、第２、第３、及び第４のメディアメッセージ）の再生に進む前に、第１のメディアメッセージを再生する（例えば、第１のメディアメッセージの音声及び／又はビデオを出力する）。いくつかの実施形態では、再生ユーザインタフェースオブジェクト対象のアクティブ化によって、メディアのグループのメディアメッセージを再生するために再びプロセスが再開される。いくつかの実施形態では、（例えば、メディアのグループの）最終メディアメッセージを再生した後、コンピュータシステムは、コンピュータシステムから第１、第２、及び第３のメディアメッセージ（及び、任意選択的に第４のメディアメッセージ）を（例えば、所定の持続時間が経過した後に）削除する（又はそうでなければ、メディアメッセージをユーザからアクセス不能にする）。
ユーザインタフェースオブジェクト対象（例えば、再生ボタン）を表示して、メディアメッセージのグループのメディアメッセージを再生することにより、再生のために各メディアメッセージを個別に選択する必要なく、メディアメッセージを再生する（及び再リッスンする、再視聴する）ことが可能になる。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプションを提供することにより、デバイスの操作性が高められ、ユーザ−デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときにユーザを適切な入力を付与するのを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態によると、第１のメディアメッセージ、第２のメディアメッセージ、及び第３のメディアメッセージ（及び、任意選択的に、第４のメディアメッセージ）は、コンピュータシステムを含むデバイス（例えば、ホームの複数のデバイス（例えば、ホーム自動化システム））の目標グループに向けられた。いくつかの実施形態によると、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、メディアユーザインタフェースにマルチキャストアフォーダンス（例えば、７３６）を表示し、アクティブ化されたとき（例えば、１５５０ｆ２、タップオンの検出）、音声マルチキャストメッセージをデバイスの目標グループに送信するプロセスを開始する。いくつかの実施形態では、音声マルチキャストメッセージを送信するプロセスは、図７Ｃ１のユーザインタフェースを表示することを含み、図７Ｃ１に関して説明される。いくつかの実施形態では、１つ以上のデバイスは、第１、第２、及び第３のメディアメッセージが向けられた電子デバイスのグループの一部である電子デバイスである。
音声マルチキャストメッセージを１つ以上のデバイスに送信するプロセスを開始するマルチキャストアフォーダンスを表示することにより、どのユーザ／デバイスがメッセージを受信するかを個別に選択する必要なく、メッセージを含むメディアメッセージに応答する能力をユーザに提供し、それによって、応答を提供するためにユーザが必要とする入力の数を低減する。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、音声マルチキャストメッセージを送信するプロセスは、コンピュータシステムで音声メッセージを記録することを含む。いくつかの実施形態では、音声メッセージは、（例えば、メディアのグループの一部として）コンピュータシステムでの再生のために利用可能にされる。いくつかの実施形態では、コンピュータシステムは、音声マルチキャストメッセージを送信することと共に、コンピュータシステムから第１、第２、及び第３のメディアメッセージ（及び任意選択的に、第４のメディアメッセージ）をコンピュータシステムから削除する（又はそうでなければ、メディアメッセージをユーザからアクセス不能にする）。
いくつかの実施形態によれば、それぞれのメディアメッセージ（例えば、第１のメディアメッセージ、第２のメディアメッセージ）を再生している間に、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介し、メディアユーザインタフェースで、それぞれのメディアメッセージが受信された、それぞれのユーザの名前（例えば、１５２４ａ、１５２４ｂ、１５２４ｃ、１５２４ｄ）を表示する。いくつかの実施形態では、再生中のメディアメッセージが変更されると、それぞれのユーザの名前が置き換えられる（例えば、以前の名前、現在の名前、次の名前は同じ場所で表示される）。
現在再生しているメディアが受信されたそれぞれのユーザの名前を表示することにより、コンピュータシステムが現在再生しているメディアメッセージを受信したソースに関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によると、現在再生しているメディアメッセージ（例えば、図１５Ｂの１５２４ａ、図１５Ｃの１５２４ｂ）の表現は、現在再生していないメディアメッセージのそれぞれの表示描像の背景色（例えば、図１５Ｂの１５２４ｂ及び１５２４ｃ、図１５Ｃの１５２４ｃ及び１５２４ｄ）の背景色とは異なる第１の背景色（例えば、緑色）で表示される。
いくつかの実施形態によると、メディアメッセージは、音声メッセージ（例えば、マルチキャスト音声メッセージ）である。いくつかの実施形態では、音声メッセージ（例えば、第１のメディアメッセージ）は、外部デバイスで（マイクロフォンを使用して）記録され、外部デバイスによってデバイスのグループに送信された音声メッセージ及び／又はコンピュータシステムを含む複数の外部デバイスに向けられた（例えば、送信された）音声メッセージである）。いくつかの実施形態では、第２のメディアメッセージは、第２の複数の外部デバイス（例えば、複数の外部デバイスとは異なる、複数の外部デバイスと同じ）に向けられた（又は送信された）第２の音声メッセージである。
会話の複数の音声メッセージを自動的に（例えば、順序で）再生することにより、ユーザが個別に特定の音声メッセージを選択して再生することを必要とせずに、コンピュータシステムに会話（例えば、複数の参加者間の音声会話）の出力を可能にし、それにより、必要な入力の数を低減する。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、メディアのグループのメディアメッセージの合計カウント（例えば、図１５Ｂの９３０の「４の１」の「４」）が表示される。いくつかの実施形態では、現在再生しているメディアの数が（例えば、合計カウントと共に）（例えば、図１５Ｂの９３０の「４の１」内の「１」、メディアのグループの順序付けられた１組で）表示される（例えば、図１５Ｄのような「４の３」）。
いくつかの実施形態では、メディアメッセージ（例えば、第１のメディアメッセージ）は、マルチユーザデバイス（例えば、複数のユーザ用に構成されたデバイス、特定のユーザ用には構成されていないデバイス）に対応する。いくつかの実施形態では、メディアメッセージ（例えば、第２のメディアメッセージ）は、単一ユーザデバイス（例えば、単一のユーザ用に構成されたデバイス）に対応する。いくつかの実施形態では、メディアメッセージの対応するユーザの視覚指示子（例えば、１５２２ａ、１５２４ａ、１５２２ｃ、１５２４ｃ）は、ユーザに対応するメディアメッセージを再生すると同時に表示される。いくつかの実施形態では、マルチユーザデバイスに対応するメディアメッセージを再生している間に、マルチユーザデバイスを示す視覚指示子（例えば、１５２２ｂ、１５２４ｂ）が表示される。
方法１６００に関して上述したプロセス（例えば、図１６）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１６００は、任意選択的に、方法８００、１０００及び１４００に関して前述した様々な方法の特性のうちの任意の１つ以上を含む。別の例では、方法８００の音声メッセージは、方法１６００で送信される音声メッセージと同じであり得る。別の例では、方法８００に関して記載の表示された通知は、方法１６００で表示された同じ通知であり得る。別の例では、方法１２００に関して１つ以上のデバイスに送信される音声入力は、方法１６００のコンピュータシステムで受信及び再生される同じ音声メッセージであり得る。簡潔性のために、これらの詳細は、ここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最もよく説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。
上述のように、本技術の一態様は、様々なソースから入手可能なデータを収集及び使用して、ユーザへのビジュアルコンテンツ（例えば、視覚的な指示）又は音声入力が１つ以上のデバイスに音声メッセージとして送信されるかどうかに関する情報をユーザに提供する任意の他のコンテンツの伝送を改善することである。本開示は、いくつかの例において、この収集されたデータは、特定の人を一意に特定する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを想到している。
本開示は、本技術における個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、それぞれのユーザが音声メッセージとして音声入力が送信されるかどうかを判定することができるように、示唆のディスプレイを改善するために使用することができる。したがって、そのような個人情報データの使用は、ユーザによる音声メッセージの送信についての計算された制御を可能にする。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに関して、異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、ユーザから音声入力を受信する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。別の例では、ユーザは、表示されている示唆に基づいて音声メッセージとして送信される音声入力を提供しないことを選択することができる。更に別の例では、ユーザは、表示されている示唆に基づいて、音声入力に対応する音声メッセージのコンテンツを制限するように選択することができる。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを想到する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更には、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものではあるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することもまた可能であることを想到している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、視覚的な指示は、ユーザに関連付けられたデバイスによりリクエストされたコンテンツ、音声メッセージ送信サービスで使用可能な他の非個人情報、若しくは公的に使用可能な情報などの、非個人情報データ又は個人情報の最小限の量のみに基づいて、ユーザに表示することができる。

Claims (98)

  1. 方法であって、
    ディスプレイ生成構成要素と通信するコンピュータシステムにおいて、
    前記ディスプレイ生成構成要素を介して、
    第１の選択可能なユーザインタフェースオブジェクト対象であって、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択が、第１の音声メッセージを１組の外部デバイスに記録し、送信するためのプロセスを開始するものであって、前記１組の外部デバイスは、１つ以上の外部デバイスの第１の１組及び１つ以上の外部デバイスの第２の１組を含む、第１の選択可能なユーザインタフェースオブジェクト対象と、
    第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始する、第１のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第１のユーザインタフェースを表示することと、
    前記第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信することと、
    前記第２のユーザインタフェースを表示する前記要求を受信することに応答して、前記第２のユーザインタフェースを表示することであって、前記第２のユーザインタフェースが、
    第２の選択可能なユーザインタフェースオブジェクト対象であって、前記第２の選択可能なユーザインタフェースオブジェクト対象の選択が、前記第２の音声メッセージを１つ以上の外部デバイスの前記第１の１組に送信することなく、１つ以上の外部デバイスの前記第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始する、第２の選択可能なユーザインタフェースオブジェクト対象と、
    第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始する、第２のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第２のユーザインタフェースを表示することと、
    を含む、方法。
  2. 前記第１の外部アクセサリデバイスが前記第２の外部アクセサリデバイスと異なる、請求項１に記載の方法。
  3. 前記第１の選択可能なユーザインタフェースオブジェクト対象が、前記ディスプレイ生成構成要素を介して、第１の場所に表示され、前記第２の選択可能なユーザインタフェースオブジェクト対象が、前記ディスプレイ生成構成要素を介して、前記第１の場所に表示される、請求項１から２のいずれか一項に記載の方法。
  4. 前記第１の外部アクセサリデバイスが、前記１組の外部デバイスに含まれ、
    前記第１のユーザインタフェースは、第３の外部アクセサリデバイスに対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、前記第３のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第３の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させ、
    前記第３の外部アクセサリデバイスは、前記１組の外部デバイスに含まれず、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択は、前記第１の音声メッセージを前記第３の外部アクセサリデバイスに送信するプロセスを開始しない、
    請求項１から３のいずれか一項に記載の方法。
  5. 前記第１のユーザインタフェースは、トップレベルの場所に対応し、前記第２のユーザインタフェースは、第１のタイプの第１のサブ場所に対応するものであって、１つ以上の外部デバイスの前記第２の１組は、前記第１のサブ場所に対応し、１つ以上の外部デバイスの前記第２の１組は、前記第１のサブ場所に対応する１つ以上の外部デバイスの前記第２の１組に基づいて、前記第１のタイプの第２のサブ場所に対応するように作成することができない、請求項１から４のいずれか一項に記載の方法。
  6. 前記第１のユーザインタフェースは、トップレベルの場所に対応し、前記第２のユーザインタフェースは、第１のタイプの複数のサブ場所に対応する第２のタイプの第３のサブ場所に対応するものであって、１つ以上の外部デバイスの前記第２の１組は、前記第１のタイプの前記複数のサブ場所に含まれている１つ以上の外部デバイスの前記第２の１組に基づいて、前記第３のサブ場所に対応する、請求項１から５のいずれか一項に記載の方法。
  7. 前記第２の外部アクセサリデバイスが、前記第２のタイプの前記第３のサブ場所に関連付けられたものであって、前記第２の外部アクセサリデバイスは、前記第３のサブ場所とは異なる前記第２のタイプの第４のサブ場所にも関連付けられた、請求項６に記載の方法。
  8. １つ以上の外部デバイスの前記第２の１組が、第１の場所に関連付けられたものであって、前記第２の音声メッセージを１つ以上の外部デバイスの前記第１の１組に送信することなく、前記第２の音声メッセージを１つ以上の外部デバイスの前記第２の１組に記録し、送信するための前記プロセスが、前記第１の場所の示唆を表示することを含む、請求項１から６のいずれか一項に記載の方法。
  9. 前記１組の外部デバイスが、パーソナルモバイル電子装置を含む、請求項１から８のいずれか一項に記載の方法。
  10. １つ以上の外部デバイスの前記第２の１組が、パーソナルモバイル電子装置を含まない、請求項１から９のいずれか一項に記載の方法。
  11. 前記第２のユーザインタフェースを表示した後に、１つ以上の外部デバイスの前記第２の１組に音声メッセージを送信することを無効にする入力を受信することと、
    １つ以上の外部デバイスの前記第２の１組に音声メッセージを送信することを無効にする前記入力を受信することに応答して、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択を介して、及び前記第２の選択可能なユーザインタフェースオブジェクト対象の選択を介して、１つ以上の外部デバイスの前記第２の１組に音声メッセージを送信することを無効にすることと、
    を更に含む、請求項１から１０のいずれか一項に記載の方法。
  12. 前記第１のユーザインタフェースが、トップレベルの場所に対応し、前記第２のユーザインタフェースが、前記トップレベルの場所のサブ場所に対応し、前記方法が、
    前記コンピュータシステムと通信するマイクロフォンにおいて、デジタルアシスタントの自然言語要求を含むオーディオ入力を受信することで、前記オーディオ入力が、
    音声メッセージを送信するプロセスを開始する命令と、
    場所識別子と、
    音声メッセージとを含む、受信することと、
    前記場所識別子が前記トップレベルの場所に対応するとの判定に従って、
    １つ以上の外部デバイスの前記第１の１組及び１つ以上の外部デバイスの前記第２の１組を含む、１つ以上の外部デバイスの前記１組での再生のために、外部デバイスの前記１組の任意のデバイスとの全二重音声通信チャネルを確立することなく、前記音声メッセージを送信することと、
    前記場所識別子が前記サブ場所に対応するとの判定に従って、
    １つ以上の外部デバイスの前記第２の１組で再生し、１つ以上の外部デバイスの前記第１の１組で再生しないために、外部デバイスの前記１組の任意のデバイスとの全二重音声通信チャネルを確立することなく、前記音声メッセージを送信することと、
    を更に含む、請求項１から１１のいずれか一項に記載の方法。
  13. 音声メッセージを外部デバイスに記録し、送信するためのプロセスを開始することが、
    更なるユーザ入力なしで、新しい音声メッセージの前記録音を開始することと、
    前記記録されている前記音声の動的示唆を含む記録ユーザインタフェースを表示することと、
    を含む、請求項１から１２に記載の方法。
  14. 前記コンピュータシステムが、マイクロフォンを含む１つ以上の入力デバイスと通信するものであって、前記第１の音声メッセージを前記１組の外部デバイスに記録し、送信するための前記プロセスが、
    前記マイクロフォンを介して、第２のオーディオ入力を受信することと、
    前記第１の音声メッセージを前記１組の外部デバイスに送信することであって、前記第１の音声メッセージは前記第２のオーディオ入力に基づく、送信することと、
    を含む、請求項１から１３のいずれか一項に記載の方法。
  15. ディスプレイ構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、前記１つ以上のプログラムは請求項１から１４のいずれか一項に記載の方法を実行するための命令を含む、非一時的コンピュータ可読記憶媒体。
  16. コンピュータシステムであって、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項１から１４のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
  17. コンピュータシステムであって、
    請求項１から１４のいずれか一項に記載の方法を実行する手段と、
    を備える、コンピュータシステム。
  18. コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムがディスプレイ構成要素と通信し、前記１つ以上のプログラムが、
    前記ディスプレイ生成構成要素を介して、
    第１の選択可能なユーザインタフェースオブジェクト対象であって、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択は、第１の音声メッセージを１組の外部デバイスに記録し、送信するためのプロセスを開始するものであって、前記１組の外部デバイスは、１つ以上の外部デバイスの第１の１組及び１つ以上の外部デバイスの第２の１組を含む、第１の選択可能なユーザインタフェースオブジェクト対象と、
    第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第１のユーザインタフェースを表示し、
    前記第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信し、
    前記第２のユーザインタフェースを表示する前記要求を受信することに応答して、前記第２のユーザインタフェースを表示することであって、前記第２のユーザインタフェースが、
    第２の選択可能なユーザインタフェースオブジェクト対象であって、前記第２の選択可能なユーザインタフェースオブジェクト対象の選択が、前記第２の音声メッセージを１つ以上の外部デバイスの前記第１の１組に送信することなく、１つ以上の外部デバイスの前記第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始する、第２の選択可能なユーザインタフェースオブジェクト対象と、
    第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始する、第２のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第２のユーザインタフェースを表示する、命令を含む、非一時的コンピュータ可読記憶媒体。
  19. コンピュータシステムであって、
    １つ以上のプロセッサであって、前記コンピュータシステムがディスプレイ生成構成要素と通信する、１つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備えるコンピュータシステムであって、前記１つ以上のプログラムが、
    前記ディスプレイ生成構成要素を介して、
    第１の選択可能なユーザインタフェースオブジェクト対象であって、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択は、第１の音声メッセージを１組の外部デバイスに記録し、送信するためのプロセスを開始するものであって、前記１組の外部デバイスは、１つ以上の外部デバイスの第１の１組及び１つ以上の外部デバイスの第２の１組を含む、第１の選択可能なユーザインタフェースオブジェクト対象と、
    第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第１のユーザインタフェースを表示し、
    前記第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信し、
    前記第２のユーザインタフェースを表示する前記要求を受信することに応答して、前記第２のユーザインタフェースを表示することであって、前記第２のユーザインタフェースが、
    第２の選択可能なユーザインタフェースオブジェクト対象であって、前記第２の選択可能なユーザインタフェースオブジェクト対象の選択が、前記第２の音声メッセージを１つ以上の外部デバイスの前記第１の１組に送信することなく、１つ以上の外部デバイスの前記第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始する、第２の選択可能なユーザインタフェースオブジェクト対象と、
    第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始する、第２のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第２のユーザインタフェースを表示する、命令を含む、コンピュータシステム。
  20. コンピュータシステムであって、
    前記コンピュータシステムと通信するディスプレイ生成構成要素を介して、
    第１の選択可能なユーザインタフェースオブジェクト対象であって、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択は、第１の音声メッセージを１組の外部デバイスに記録し、送信するためのプロセスを開始するものであって、前記１組の外部デバイスは、１つ以上の外部デバイスの第１の１組及び１つ以上の外部デバイスの第２の１組を含む、第１の選択可能なユーザインタフェースオブジェクト対象と、
    第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第１のユーザインタフェースを表示するための手段と、
    前記第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信するための手段と、
    前記第２のユーザインタフェースを表示する前記要求を受信することに応答して、前記第２のユーザインタフェースを表示するための手段であって、前記第２のユーザインタフェースが、
    第２の選択可能なユーザインタフェースオブジェクト対象であって、前記第２の選択可能なユーザインタフェースオブジェクト対象の選択が、前記第２の音声メッセージを１つ以上の外部デバイスの前記第１の１組に送信することなく、１つ以上の外部デバイスの前記第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始する、第２の選択可能なユーザインタフェースオブジェクト対象と、
    第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始する、第２のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第２のユーザインタフェースを表示するための手段と、
    を備える、コンピュータシステム。
  21. 方法であって、
    ディスプレイ生成構成要素と通信するコンピュータシステムにおいて、
    第１のメディアに対応する第１のデータを受信することと、
    前記ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、前記第１のメディアの示唆を有する第１の通知を表示することと、
    前記第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、前記第２のメディアが前記第１のメディアとは異なる、受信することと、
    前記第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）前記第２のデータが受信された時間、及び（２）前記第１のデータが受信された時間に基づく判定に従って、前記ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、前記第１のメディアの示唆を有する第２の通知を表示することであって、前記第１の時間周期の端部が前記第２の時間周期の端部と異なる、表示することと、
    を含む、方法。
  22. 前記第１の通知が、前記第２のデータが受信された前記時点で表示されているものであって、前記第２の通知を表示することが、前記第１の通知の表示を停止することを含む、請求項２１に記載の方法。
  23. 前記第１のメディアが、第１の音声メッセージである、請求項２１から２２のいずれか一項に記載の方法。
  24. 前記第１の通知が、前記第１のメディアが向けられた複数の外部デバイスのグループの示唆を含む、請求項２１から２３のいずれか一項に記載の方法。
  25. 前記方法が、
    前記第１のデータの受信に応答して、前記第１の時間周期の端部まで前記第１の通知を通知の集合に追加することと、
    前記第１の時間周期の前記端部に到達することに従って、
    通知の前記集合から前記第１の通知を除去することと、
    前記第１の時間周期の前記端部の前に、前記第２のメディアに対応する前記第２のデータを受信することに従い、前記第２のメディアが１つ以上の基準の前記１組を満たすとの判定に従って、
    通知の前記集合から前記第１の通知を除去することと、
    通知の前記集合に前記第２の通知を追加することと、
    を更に含む、請求項２１から２４のいずれか一項に記載の方法。
  26. 前記第１のデータが、前記第１のメディアが向けられた複数の外部デバイスの目標グループを識別し、前記方法が、
    前記第１のメディアに対応する通知を表示する間に、第３のメディアに対応する第３のデータを受信することと、
    前記第３のメディアに対応する前記第３のデータの受信に応答して、
    前記第３のメディアが１つ以上の基準の前記１組を満たすとの判定に従って、前記第１のメディアに対応する前記通知が表示される持続時間を延長することと、
    前記第３のメディアが１つ以上の基準の前記１組を満たさないという判定に従って、前記第１のメディアに対応する前記通知が表示される前記持続時間を延長することを取り止めることと、
    を更に含む、請求項２１から２５のいずれか一項に記載の方法。
  27. 前記第２のメディアが１つ以上の基準の前記１組を満たすとの前記判定に従って、前記第２の通知が、前記第２の通知によって表される、前記第１のメディアを含む、いくつかのメディアに基づくインジケータを含む、
    請求項２１から２６のいずれか一項に記載の方法。
  28. 前記第２の通知が、前記第１のメディアの前記示唆を含み、前記方法が、
    前記第２の通知を表示している間に、前記第２の通知に向けられた入力を受信することと、
    前記第２の通知に向けられた前記入力の受信に応答して、前記第１のメディア及び前記第２のメディアを再生するためのプロセスを開始することと、
    を更に含む、請求項２１から２７のいずれか一項に記載の方法。
  29. 前記第２のメディアが１つ以上の基準の前記１組を満し、前記方法が、
    前記第２の通知を表示している間に、前記第２の通知に向けられた入力を受信することと、
    前記第２の通知に向けられた前記入力の受信に応答して、前記第１のメディアを再生するためのユーザインタフェースを表示することであって、前記第１のメディアを再生するための前記ユーザインタフェースは、記録ユーザインタフェースオブジェクト対象を含む、表示することと、
    を更に含むものであって、
    前記記録ユーザインタフェースオブジェクト対象の選択が、
    前記第１のデータが、前記第１のメディアが向けられた複数の外部デバイスの第１のグループを識別するとの判定に従って、前記複数の外部デバイスの前記第１のグループに音声メッセージを送信するためのプロセスを開始することと、
    前記第１のデータが、前記第１のグループとは異なる、前記第１のメディアが向けられた複数の外部デバイスの第２のグループを識別するとの判定に従って、前記複数の外部デバイスの前記第２のグループに音声メッセージを送信するためのプロセスを開始することと、を発生させる、請求項２１から２８のいずれか一項に記載の方法。
  30. 前記第１のメディアを再生するためのユーザインタフェースを表示している間、及び前記第１のメディアを再生している間に、ユーザ入力を受信することと、
    前記ユーザ入力の受信に応答し、及び前記ユーザ入力が前記第１のメディアを再生するための前記ユーザインタフェース上の第１の場所に向けられたとの判定に従って、新しいメディアを記録し、送信するためのユーザインタフェースを表示することと、
    前記ユーザ入力の受信に応答し、及び前記ユーザ入力が前記第１のメディアを再生するための前記ユーザインタフェース上の第２の場所に向けられたとの判定に従って、前記第２のメディアを再生するためのユーザインタフェースの表示で前記第１のメディアを再生するための前記ユーザインタフェースの表示を置き換えることであって、前記第１のメディアを再生するための前記ユーザインタフェース上の前記第２の場所は、前記第１のメディアを再生するための前記ユーザインタフェース上の前記第１の場所とは異なる、置き換えることと、
    を更に含む、請求項２１から２９のいずれか一項に記載の方法。
  31. 前記方法が、
    前記第２の通知を表示している間に、前記第２の通知に向けられた入力を受信することと、
    前記第２の通知に向けられた前記入力の受信に応答して、前記第２の通知を表示することを停止することと、
    を更に含む、請求項２１から３０のいずれか一項に記載の方法。
  32. 場所に向けられたメディアに対応するデータを受信する複数の外部デバイスのグループに前記コンピュータシステムを含むかどうかを構成するためのユーザインタフェースを表示することであって、前記コンピュータシステムをグループに含むかどうかを構成するための前記ユーザインタフェースが、
    前記コンピュータシステムの現在の物理的場所に関係なく、前記場所に向けられたメディアに対応するデータを受信する複数の外部デバイスの前記グループに前記コンピュータシステムを含む第１のオプションと、
    前記コンピュータシステムの前記現在の物理的場所に関係なく、前記場所に向けられたメディアに対応するデータを受信する複数の外部デバイスの前記グループにコンピュータシステムを含まない第２のオプションとを含む、表示すること、
    を更に含む、請求項２１から３１のいずれか一項に記載の方法。
  33. 場所に向けられたメディアに対応するデータを受信する複数の外部デバイスのグループに前記コンピュータシステムを含むかどうかを構成するためのユーザインタフェースを表示することであって、前記コンピュータシステムをグループに含むかどうかを構成するための前記ユーザインタフェースが、
    第３のオプションであって、
    前記コンピュータシステムが現在前記場所に対応する物理的場所にあるとき、前記場所に向けられたメディアに対応するデータを受信する、複数の外部デバイスの前記グループに前記コンピュータシステムを含めるためと、
    前記コンピュータシステムが現在前記場所に対応する前記物理的場所にないとき、前記場所に向けられたメディアに対応するデータを受信する複数の外部デバイスの前記グループに前記コンピュータシステムを含まないためとのオプションと、
    を更に含む、請求項２１から３２のいずれか一項に記載の方法。
  34. ディスプレイ構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、前記１つ以上のプログラムは請求項２１から３３のいずれか一項に記載の方法を実行するための命令を含む、非一時的コンピュータ可読記憶媒体。
  35. コンピュータシステムであって、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項２１から３３のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
  36. コンピュータシステムであって、
    請求項２１から３３のいずれか一項に記載の方法を実行する手段と、
    を備える、コンピュータシステム。
  37. コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムがディスプレイ構成要素と通信し、前記１つ以上のプログラムが、
    第１のメディアに対応する第１のデータを受信し、
    前記ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、前記第１のメディアの示唆を有する第１の通知を表示し、
    前記第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、前記第２のメディアが前記第１のメディアとは異なる、データを受信し、
    前記第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）前記第２のデータが受信された時間、及び（２）前記第１のデータが受信された時間に基づく判定に従って、前記ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、前記第１のメディアの示唆を有する第２の通知を表示することであって、前記第１の時間周期の端部が前記第２の時間周期の端部と異なる、通知を表示する、命令を含む、非一時的コンピュータ可読記憶媒体。
  38. コンピュータシステムであって、
    １つ以上のプロセッサであって、前記コンピュータシステムがディスプレイ生成構成要素と通信する、１つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備えるコンピュータシステムであって、前記１つ以上のプログラムが、
    第１のメディアに対応する第１のデータを受信し、
    前記ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、前記第１のメディアの示唆を有する第１の通知を表示し、
    前記第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、前記第２のメディアが前記第１のメディアとは異なる、データを受信し、
    前記第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）前記第２のデータが受信された時間、及び（２）前記第１のデータが受信された時間に基づく判定に従って、前記ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、前記第１のメディアの示唆を有する第２の通知を表示することであって、前記第１の時間周期の端部が前記第２の時間周期の端部と異なる、通知を表示する、命令を含む、コンピュータシステム。
  39. コンピュータシステムであって、
    第１のメディアに対応する第１のデータを受信する手段と、
    前記コンピュータシステムと通信する生成構成要素を介して、第１の時間周期の端部まで、前記第１のメディアの示唆を有する第１の通知を表示するための手段と、
    前記第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信するための手段であって、前記第２のメディアが前記第１のメディアとは異なる、手段と、
    前記第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）前記第２のデータが受信された時間、及び（２）前記第１のデータが受信された時間に基づく判定に従って、前記ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、前記第１のメディアの示唆を有する第２の通知を表示するための手段であって、前記第１の時間周期の端部が前記第２の時間周期の端部と異なる、手段と
    を備える、コンピュータシステム。
  40. 方法であって、
    １つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスにおいて、
    前記１つ以上のマイクロフォンを介して音声入力を受信することと、
    前記音声入力の視覚的な指示を表示することであって、
    前記音声入力の一部が１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、前記１つ以上のディスプレイ装置を介して、前記視覚的な指示を表示することが、１つ以上の色の第１の１組で前記視覚的な指示を表示することを含み、
    前記音声入力が、前記音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、前記１つ以上のディスプレイ装置を介して、前記視覚的な指示を表示することが、１つ以上の色の前記第１の１組とは異なる１つ以上の色の第２の１組で前記視覚的な指示を表示することを含む、表示することと、
    を含む、方法。
  41. 前記電子デバイスが情報を取得するか、又は前記電子デバイスの１つ以上の状態を変更するように要求する音声入力が、前記音声入力の任意の部分を他のデバイスに送信する前記命令を含まない前記音声入力である、請求項４０に記載の方法。
  42. 前記１つ以上のデバイスに送信される音声入力に対応する前記音声入力が、デバイスのグループの識別子を含み、
    前記音声入力の任意の部分を他のデバイスに送信する前記命令を含まない前記音声入力が、デバイスの前記グループの前記識別子を含まない、
    請求項４０から４１のいずれか一項に記載の方法。
  43. １つ以上の色の前記第１の１組が、一体色で、１つ以上の色の前記第２の１組が複数の色である、請求項４０から４２のいずれか一項に記載の方法。
  44. 前記視覚的な指示を１つ以上の色の前記第１の１組で表示することが、前記音声入力に基づいてある時間の期間にわたって変化するアニメーションを表示することを含む、請求項４０から４３のいずれか一項に記載の方法。
  45. 前記アニメーションを表示することが、前記音声入力の音量又はピッチのうちの任意の１つ以上に基づいて、前記視覚的な指示の輝度、サイズ、色彩度、又は位置のうちの任意の１つ以上を変更することを含む、請求項４０から４４のいずれか一項に記載の方法。
  46. 再生のための複数の音声メッセージに対応するデータを受信することと、
    前記複数の音声メッセージに対応する前記データを再生のために受信したことに応答して、前記複数の音声メッセージのそれぞれに対応する音声メッセージを出力する前に、イントロダクトリ階調を出力することと、
    を更に含む、請求項４０から４５のいずれか一項に記載の方法。
  47. 再生のための音声メッセージに対応するデータを受信することと、
    前記データの受信に応答して、自動的に、ユーザ入力なしに、前記音声メッセージを出力することと、
    を更に含む、請求項４０から４６のいずれか一項に記載の方法。
  48. 前記音声メッセージを出力する前に、前記データを受信することに応答して第２の視覚的な指示を表示すること、
    を更に含む、請求項４７に記載の方法。
  49. 再生のための音声メッセージに対応するデータを受信することと、
    前記音声メッセージを出力することと、
    前記音声メッセージを出力している間に、前記音声メッセージの１つ以上の特性に基づいて変化しない視覚的な指示を同時に表示することと、
    を更に含む、請求項４０から４８のいずれか一項に記載の方法。
  50. 前記音声メッセージが、前記電子デバイスの音量レベルに基づいて出力される、請求項４９のいずれか一項に記載の方法。
  51. 前記電子デバイスが、前記視覚的な指示が表示される前にビジュアルコンテンツを表示していない、請求項４０から５０のいずれか一項に記載の方法。
  52. 前記視覚的な指示の表示を停止することが、前記１つ以上のディスプレイ装置を介してビジュアルコンテンツの表示を停止すること、
    を更に含む、請求項４０から５１のいずれか一項に記載の方法。
  53. 前記視覚的な指示が、別の視覚的な指示と同時に表示されない、請求項４０から５２のいずれか一項に記載の方法。
  54. 前記視覚的な指示が、前記電子デバイスと通信する１つ以上のアプリケーションの状態に基づいて異なる光を提供する光示唆である、請求項４０から５３のいずれか一項に記載の方法。
  55. １つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項４０から５４のいずれか一項に記載の前記方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  56. １つ以上のマイクロフォンと、
    １つ以上のスピーカと、
    １つ以上のディスプレイ装置と、
    １つ以上のプロセッサと、
    を備える電子デバイスであって、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項４０から５４のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
  57. １つ以上のマイクロフォンと、
    １つ以上のスピーカと、
    １つ以上のディスプレイ装置と、
    を備える電子デバイスであって、
    請求項４０から５４のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。
  58. １つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
    前記１つ以上のマイクロフォンを介して音声入力を受信し、
    前記音声入力の視覚的な指示を表示することであって、
    前記音声入力の一部が１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、前記１つ以上のディスプレイ装置を介して、前記視覚的な指示を表示することが、１つ以上の色の第１の１組で前記視覚的な指示を表示することを含み、
    前記音声入力が、前記音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、前記１つ以上のディスプレイ装置を介して、前記視覚的な指示を表示することが、１つ以上の色の前記第１の１組とは異なる１つ以上の色の第２の１組で前記視覚的な指示を表示することを含む、表示する、命令を含む、非一時的コンピュータ可読記憶媒体。
  59. １つ以上のマイクロフォンと、
    １つ以上のスピーカと、
    １つ以上のディスプレイ装置と、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備える電子デバイスであって、前記１つ以上のプログラムが、
    前記１つ以上のマイクロフォンを介して音声入力を受信し、
    前記音声入力の視覚的な指示を表示することであって、
    前記音声入力の一部が１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、前記１つ以上のディスプレイ装置を介して、前記視覚的な指示を表示することが、１つ以上の色の第１の１組で前記視覚的な指示を表示することを含み、
    前記音声入力が、前記音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、前記１つ以上のディスプレイ装置を介して、前記視覚的な指示を表示することが、１つ以上の色の前記第１の１組とは異なる１つ以上の色の第２の１組で前記視覚的な指示を表示することを含む、表示する、命令を含む、電子デバイス。
  60. １つ以上のマイクロフォンと、
    １つ以上のスピーカと、
    １つ以上のディスプレイ装置と、
    を備える電子デバイスであって、
    前記１つ以上のマイクロフォンを介して音声入力を受信するための手段と、
    前記音声入力の視覚的な指示を表示するための手段であって、
    前記音声入力の一部が１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、前記１つ以上のディスプレイ装置を介して、前記視覚的な指示を表示することが、１つ以上の色の第１の１組で前記視覚的な指示を表示することを含み、
    前記音声入力が、前記音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、前記１つ以上のディスプレイ装置を介して、前記視覚的な指示を表示することが、１つ以上の色の前記第１の１組とは異なる１つ以上の色の第２の１組で前記視覚的な指示を表示することを含む、表示するための手段と
    を備える、電子デバイス。
  61. コンピュータシステムにおいて、前記コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、
    前記ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態インジケータを表示することであって、前記第１のアクセサリタイプの前記複数のアクセサリデバイスが、
    前記第１のアクセサリタイプで、前記第１の状態にある第１のアクセサリデバイスと、
    前記第１のアクセサリタイプで、前記第１の状態にある第２のアクセサリデバイスであって、前記第２のアクセサリデバイスが前記第１のアクセサリデバイスと異なる、第２のアクセサリデバイスと、
    を含む、表示することと、
    前記第１の状態インジケータを表示している間に、ジェスチャを検出することと、
    前記ジェスチャの検出に応答して、
    前記ジェスチャが第１のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記第１のアクセサリデバイス及び前記第２のアクセサリデバイスを、前記第１の状態とは異なる第２の状態に変更させることと、
    前記ジェスチャが前記第１のタイプのジェスチャとは異なる第２のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、前記第２のアクセサリデバイスを前記第２の状態に変更させることなく、前記第１のアクセサリデバイスを前記第２の状態に変更させる、表示することと、
    を含む、方法。
  62. 前記ジェスチャが前記第１のタイプのジェスチャとは異なる前記第２のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの前記判定に従って、前記ディスプレイ生成構成要素を介して、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象と同時に、前記第２のアクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、前記第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、前記第１のアクセサリデバイスを前記第２の状態に変更することなく、前記第２のアクセサリデバイスを前記第２の状態に変更する、表示すること
    を更に含む、請求項６１に記載の方法。
  63. 前記ジェスチャが、前記第１の状態インジケータと、前記第１のアクセサリタイプとは異なる第２のアクセサリタイプの複数のアクセサリデバイスが第３の状態にあることを示す第２の状態インジケータを同時に表示している間に検出され、前記第２のアクセサリタイプの前記複数のアクセサリデバイスが、
    前記第２のアクセサリタイプで、前記第３の状態にある第３のアクセサリデバイスと、
    前記第２のアクセサリタイプで、前記第３の状態にある第４のアクセサリデバイスと、を含み、
    前記方法が、
    前記ジェスチャが前記第１のタイプのジェスチャで、前記第２の状態インジケータに向けられたとの判定に従って、前記第３のアクセサリデバイス及び前記第４のアクセサリデバイスを前記第３の状態とは異なる第４の状態に変更させることと、
    前記ジェスチャが前記第２のタイプのジェスチャで、前記第２の状態インジケータに向けられたとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第３のアクセサリデバイスに対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、前記第３のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、前記第４のアクセサリデバイスを前記第４の状態に変更させることなく、前記第３のアクセサリデバイスを前記第４の状態に変更させる、表示することと、
    を更に含む、請求項６１から６２のいずれか一項に記載の方法。
  64. 第５のアクセサリデバイスが前記第１のアクセサリデバイスタイプであり、前記第５のアクセサリデバイスが前記第１の状態にあるとの判定に従って、前記第１のアクセサリタイプの前記複数のアクセサリデバイスが前記第５のアクセサリデバイスを含み、
    前記第５のアクセサリデバイスが前記第１のアクセサリデバイスタイプであり、前記第５のアクセサリデバイスが前記第１の状態にはないとの判定に従って、前記第１のアクセサリタイプの前記複数のアクセサリデバイスが前記第５のアクセサリデバイスを含まない、
    請求項６１から６３のいずれか一項に記載の方法。
  65. 前記第１のタイプのジェスチャがタップジェスチャであり、
    前記第２のタイプのジェスチャが、押圧及び保持ジェスチャである、
    請求項６１から６４のいずれか一項に記載の方法。
  66. 前記ジェスチャの検出に応答して、
    前記ジェスチャが第３のタイプのジェスチャであるとの判定に従って、以前に表示されなかった状態インジケータを表示すること、
    を更に含む、請求項６１から６５のいずれか一項に記載の方法。
  67. 前記第１のアクセサリデバイス及び前記第２のアクセサリデバイスを前記第２の状態に変更させることは、前記第１のアクセサリデバイス及び前記第２のアクセサリデバイスに、前記第１のアクセサリタイプに基づくアクションのタイプを実行させることを含む、請求項６１から６６のいずれか一項に記載の方法。
  68. 前記ジェスチャを検出する前に、前記第１の状態インジケータに隣接する第３の状態インジケータ及び前記第３の状態インジケータに隣接する第４の状態インジケータを表示することであって、前記第１の状態インジケータ、前記第３の状態インジケータ、及び第４の状態インジケータは、それぞれ対応する状態インジケータに対応するそれぞれの状態インジケータカテゴリに基づいて順序で表示される、表示すること、
    を更に含む、請求項６１から６７のいずれか一項に記載の方法。
  69. 前記ジェスチャが前記第１のタイプのジェスチャで、前記第１の状態インジケータに向けられたという判定に従って、所定の時間の期間後に前記第１の状態インジケータの表示を停止すること、
    を更に含む、請求項６１から６８のいずれか一項に記載の方法。
  70. 前記ジェスチャが検出されたときに、前記第１の状態インジケータが第１の場所で表示され、
    前記方法が、
    前記ジェスチャが前記第１のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記第１の場所で前記第１の状態インジケータを表示することを停止し、前記第１の場所で第６の状態インジケータを表示することであって、前記ジェスチャが検出される前に前記第６の状態インジケータが前記第１の状態インジケータに隣接していた、表示を停止すること及び表示すること、
    を更に含む、請求項６１から６９のいずれか一項に記載の方法。
  71. 前記ジェスチャが前記第１のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの前記判定に従って、第１の状態インジケータが、前記第１のアクセサリタイプの前記複数のアクセサリデバイスが前記第１の状態にあることを示すことから変更され、前記第１のアクセサリタイプの前記複数のアクセサリデバイスが変更された状態を示すように、前記第１の状態インジケータを視覚的に更新すること、
    を更に含む、請求項６１から７０のいずれか一項に記載の方法。
  72. 前記第１の状態インジケータが第１のユーザインタフェース上に表示され、
    前記方法が、
    前記第１のユーザインタフェースとは異なる第２のユーザインタフェースを表示する要求を受信することと、
    前記第２のユーザインタフェースを表示する前記要求の受信に応答して、
    前記第１のアクセサリタイプの１つ以上のアクセサリデバイスが前記第１の状態にあることを示す状態インジケータを含む前記第２のユーザインタフェースを表示することと、
    を更に含むものであって、
    前記第２のユーザインタフェースが第１のアクセサリデバイスのグループに対応し、前記第１のアクセサリデバイスが第１のアクセサリデバイスの前記グループに対応しているとの判定に従って、前記第１のアクセサリタイプの前記１つ以上のアクセサリデバイスは前記第１のアクセサリデバイスを含み、
    前記第２のユーザインタフェースが前記第１のグループのアクセサリデバイスに対応し、前記第１のアクセサリデバイスがアクセサリデバイスの前記第１のグループに対応しないとの判定に従って、前記第１のアクセサリタイプの前記１つ以上のアクセサリデバイスは前記第１のアクセサリデバイスを含まない、
    請求項６１から７１のいずれか一項に記載の方法。
  73. 前記ジェスチャを検出する前に、第３のアクセサリタイプの１つ以上のアクセサリデバイスが第７の状態にあることを示す第８の状態インジケータが表示されるものであって、前記１つ以上のアクセサリデバイスが、前記第３のアクセサリタイプの第８のアクセサリデバイスを含む、第８の状態インジケータと、
    前記方法が、
    前記ジェスチャが前記第２のタイプのジェスチャで、前記第８の状態インジケータに向けられたとの判定に従って、
    前記第８の状態インジケータが前記第７の状態にある前記第３のアクセサリタイプの所定の数未満のアクセサリデバイスに対応するとの判定に従って、前記第８のアクセサリデバイスに対応する第８のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、前記第８のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、前記第８のアクセサリデバイスを第８の状態に変更させる、表示することと、
    前記第８の状態インジケータが前記第７の状態にある前記第３のアクセサリタイプの前記所定の数以上に対応するとの判定に従って、前記第８のアクセサリデバイスに対応する第９のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、前記第９のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、前記第８のアクセサリデバイスを前記第８の状態とは異なる第９の状態に変更される、表示することと、
    を更に含む、請求項６１から７２のいずれか一項に記載の方法。
  74. コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムは、ディスプレイ構成要素及び１つ以上の入力デバイスと通信し、前記１つ以上のプログラムが請求項６１から７３のいずれか一項に記載の方法を実行するための命令を含む、非一時的コンピュータ可読記憶媒体。
  75. コンピュータシステムであって、
    １つ以上のプロセッサであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信する、１つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項６１から７３のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
  76. コンピュータシステムであって、
    請求項６１から７３のいずれか一項に記載の方法を実行するための手段と、
    を備える、コンピュータシステム。
  77. コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムがディスプレイ構成要素及び１つ以上の入力デバイスと通信し、前記１つ以上のプログラムが、
    前記ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、前記第１のアクセサリタイプの前記複数のアクセサリデバイスが、
    前記第１のアクセサリタイプで、前記第１の状態にある第１のアクセサリデバイスと、
    前記第１のアクセサリタイプで、前記第１の状態にある第２のアクセサリデバイスであって、前記第２のアクセサリデバイスが前記第１のアクセサリデバイスと異なる、第２のアクセサリデバイスと、
    を含む、第１の状態を表示し、
    前記第１の状態インジケータを表示している間に、ジェスチャを検出し、
    前記ジェスチャの検出に応答して、
    前記ジェスチャが第１のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記第１のアクセサリデバイス及び前記第２のアクセサリデバイスを、前記第１の状態とは異なる第２の状態に変更させ、
    前記ジェスチャが前記第１のタイプのジェスチャとは異なる第２のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、前記第２のアクセサリデバイスを前記第２の状態に変更させることなく、前記第１のアクセサリデバイスを前記第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する、命令を含む、非一時的コンピュータ可読記憶媒体。
  78. コンピュータシステムであって、
    １つ以上のプロセッサであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信する、１つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備えるコンピュータシステムであって、前記１つ以上のプログラムが、
    前記ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、前記第１のアクセサリタイプの前記複数のアクセサリデバイスが、
    前記第１のアクセサリタイプで、前記第１の状態にある第１のアクセサリデバイスと、
    前記第１のアクセサリタイプで、前記第１の状態にある第２のアクセサリデバイスであって、前記第２のアクセサリデバイスが前記第１のアクセサリデバイスと異なる、第２のアクセサリデバイスと、
    を含む、第１の状態を表示し、
    前記第１の状態インジケータを表示している間に、ジェスチャを検出し、
    前記ジェスチャの検出に応答して、
    前記ジェスチャが第１のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記第１のアクセサリデバイス及び前記第２のアクセサリデバイスを、前記第１の状態とは異なる第２の状態に変更させ、
    前記ジェスチャが前記第１のタイプのジェスチャとは異なる第２のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、前記第２のアクセサリデバイスを前記第２の状態に変更させることなく、前記第１のアクセサリデバイスを前記第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する、命令を含む、コンピュータシステム。
  79. コンピュータシステムであって、
    前記ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示するための手段であって、前記第１のアクセサリタイプの前記複数のアクセサリデバイスが、
    前記第１のアクセサリタイプで、前記第１の状態にある第１のアクセサリデバイスと、
    前記第１のアクセサリタイプで、前記第１の状態にある第２のアクセサリデバイスであって、前記第２のアクセサリデバイスが前記第１のアクセサリデバイスと異なる、第２のアクセサリデバイスと、
    を含む、手段と、
    前記第１の状態インジケータを表示している間に、ジェスチャを検出するための手段と、
    前記ジェスチャを検出することに応じて、
    前記ジェスチャが第１のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記第１のアクセサリデバイス及び前記第２のアクセサリデバイスを、前記第１の状態とは異なる第２の状態に変更させ、
    前記ジェスチャが前記第１のタイプのジェスチャとは異なる第２のタイプのジェスチャで、前記第１の状態インジケータに向けられたとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、前記第２のアクセサリデバイスを前記第２の状態に変更させることなく、前記第１のアクセサリデバイスを前記第２の状態に変更させる手段と
    を備えるコンピュータシステム。
  80. ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信するコンピュータシステムにおいて、
    前記ディスプレイ生成構成要素を介して、メディアユーザインタフェースを表示することであって、
    第１の場所で、第１のメディアメッセージの第１の表現と、
    前記第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現と、
    を含む、メディアユーザインタフェースを表示することと、
    前記メディアユーザインタフェースを表示したこと、及び前記メディアユーザインタフェースに対応するユーザ入力に基づいていないことに応答して、前記第１のメディアメッセージを再生することと、
    前記第１のメディアメッセージを再生したことの完了を検出したことに応答して、
    前記ディスプレイ生成構成要素を介して、前記第１のメディアメッセージに対応する表現を表示することなく、前記第２のメディアメッセージの前記第２の表現を表示することと、
    を含む、方法。
  81. 前記第１の場所での前記第１のメディアメッセージの前記第１の表現を表示することは、前記第１の場所及び第１のサイズで前記第１のメディアメッセージの前記第１の表現を表示することを含み、
    前記第２の場所で前記第２のメディアメッセージの前記第２の表現を表示することは、前記第２の場所及び前記第１のサイズとは異なる第２のサイズで前記第２のメディアメッセージの前記第２の表現を表示すること、
    を含む、請求項８０に記載の方法。
  82. 前記ディスプレイ生成構成要素を介して、前記第１の場所で前記第１のメディアメッセージの前記第１の表現と同時に、前記第２の場所で前記第２のメディアメッセージの前記第２の表現を表示することと、
    前記第１のサイズとは異なる第３のサイズ及び前記第１の場所及び第２の場所とは異なる第３の場所で、第３のメディアメッセージの第３の表現と、
    前記第１のメディアメッセージを再生したことの完了を検出したことに応答して、
    前記第１のサイズ及び前記第１の場所で、前記ディスプレイ生成構成要素を介して前記第１のメディアメッセージの前記第１の表現を表示することなく、前記第２のメディアメッセージの前記第２の表現を表示することと、
    前記第２のサイズ及び前記第２の場所で、前記第３のメディアメッセージの前記第３の表現を表示することと、
    を更に含む、請求項８０から８１のいずれか一項に記載の方法。
  83. 第１のリモートユーザからの第１のメッセージである前記第１のメディアメッセージ及び前記第１のリモートユーザとは異なる第２のリモートユーザからの第２のメッセージである前記第２のメディアメッセージを含む、メディアメッセージに対応するデータを受信することと、
    前記ディスプレイ生成構成要素を介して、前記メディアメッセージに対応する通知を表示することと、
    前記通知を表示している間に、前記１つ以上の入力デバイスを介して、前記通知の選択を受信することと、
    を更に含むものであって、
    前記メディアユーザインタフェースを表示することが、前記通知の選択を受信したことに応答して発生し、
    前記第１のメディアメッセージを再生することが、前記通知の選択の受信に応答して発生する、
    請求項８０から８２のいずれか一項に記載の方法。
  84. 前記第１のサイズが、前記第２のサイズ及び前記第３のサイズよりも大きい、請求項８０から８３のいずれか一項に記載の方法。
  85. 前記第１のメディアメッセージの再生の完了を検出したことに応答して、更なるユーザ入力を受信することなく、前記第２のメディアメッセージを再生すること、
    を更に含む、請求項８０から８４のいずれか一項に記載の方法。
  86. 前記第１のメディアメッセージの再生の完了を検出する前に、第４のメディアメッセージの第４の表現が、前記第１のメディアの前記第１の表示と同時に表示されず、前記方法が、
    前記第１のメディアメッセージの再生の完了を検出した後に、前記ディスプレイ生成構成要素を介して、前記第４のメディアメッセージの前記第４の表現を表示することを更に含む、請求項８０から８５のいずれか一項に記載の方法。
  87. 前記第２のメディアメッセージを再生している間に、アクティブ化すると、前記第２のメディアメッセージの再生の完了を発生させる、前記メディアユーザインタフェースの次のメディアユーザインタフェースオブジェクト対象を表示することと、
    前記第２のメディアメッセージを再生している間に、前記１つ以上の入力デバイスを介して、前記次のメディアユーザインタフェースオブジェクト対象のアクティブ化を受信することと、
    前記次のメディアユーザインタフェースオブジェクト対象のアクティブ化の受信に応答して、前記ディスプレイ生成構成要素を介して、前記第２のメディアメッセージの前記第２の表現を表示することなく、前記第１の場所に前記第３のメディアメッセージの前記第３の表現を、前記ディスプレイ生成構成要素を介して表示することと、
    を更に含む、請求項８５から８６のいずれか一項に記載の方法。
  88. 最後のメディアメッセージを再生した後に、アクティブ化すると、後続のメディアメッセージを再生する前に前記第１のメディアメッセージを再生する、前記メディアユーザインタフェースの再生ユーザインタフェースオブジェクト対象を、前記ディスプレイ生成構成要素を介して、表示すること、
    を更に含む、請求項８０から８７のいずれか一項に記載の方法。
  89. 前記第１のメディアメッセージ、前記第２のメディアメッセージ、及び前記第３のメディアメッセージが、前記コンピュータシステムを含む、デバイスの目標グループに向けられ、前記方法が、
    前記ディスプレイ生成構成要素を介して、アクティブ化すると、デバイスの前記目標グループに音声マルチキャストメッセージを送信するためのプロセスを開始する、前記メディアユーザインタフェースのマルチキャストアフォーダンスを表示することを更に含む、請求項８０から８８のいずれか一項に記載の方法。
  90. それぞれのメディアメッセージを再生している間に、前記ディスプレイ生成構成要素を介し、前記メディアユーザインタフェースで、前記それぞれのメディアメッセージが受信されたそれぞれのユーザの名前を表示すること、
    を更に含む、請求項８０から８９のいずれか一項に記載の方法。
  91. 現在再生しているメディアメッセージの表現が、現在再生していないメディアメッセージのそれぞれの表示描像の前記背景色とは異なる第１の背景色で表示される、請求項８０から９０のいずれか一項に記載の方法。
  92. 前記メディアメッセージが、音声メッセージである、請求項８０から９１のいずれか一項に記載の方法。
  93. コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムは、ディスプレイ構成要素及び１つ以上の入力デバイスと通信し、前記１つ以上のプログラムが請求項８０から９２のいずれか一項に記載の方法を実行するための命令を含む、非一時的コンピュータ可読記憶媒体。
  94. コンピュータシステムであって、
    １つ以上のプロセッサであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信する、１つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項８０から９２のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
  95. コンピュータシステムであって、
    請求項８０から９２のいずれか一項に記載の方法を実行するための手段と、
    を備える、コンピュータシステム。
  96. コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムがディスプレイ構成要素及び１つ以上の入力デバイスと通信し、前記１つ以上のプログラムが、
    前記ディスプレイ生成構成要素を介して、メディアユーザインタフェースを表示することであって、
    第１の場所で、第１のメディアメッセージの第１の表現と、
    前記第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現と、
    を含む、メディアユーザインタフェースを表示し、
    前記メディアユーザインタフェースを表示したこと、及び前記メディアユーザインタフェースに対応するユーザ入力に基づいていないことに応答して、前記第１のメディアメッセージを再生し、
    前記第１のメディアメッセージを再生したことの完了を検出したことに応答して、
    前記ディスプレイ生成構成要素を介して、前記第１のメディアメッセージに対応する表現を表示することなく、前記第２のメディアメッセージの前記第２の表現を表示する、命令を含む、非一時的コンピュータ可読記憶媒体。
  97. コンピュータシステムであって、
    １つ以上のプロセッサであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び１つ以上の入力デバイスと「通信する、１つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備えるコンピュータシステムであって、前記１つ以上のプログラムが、
    前記ディスプレイ生成構成要素を介して、メディアユーザインタフェースを表示することであって、
    第１の場所で、第１のメディアメッセージの第１の表現と、
    前記第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現と、
    を含む、メディアユーザインタフェースを表示し、
    前記メディアユーザインタフェースを表示したこと、及び前記メディアユーザインタフェースに対応するユーザ入力に基づいていないことに応答して、前記第１のメディアメッセージを再生し、
    前記第１のメディアメッセージを再生したことの完了を検出したことに応答して、
    前記ディスプレイ生成構成要素を介して、前記第１のメディアメッセージに対応する表現を表示することなく、前記第２のメディアメッセージの前記第２の表現を表示する、命令を含む、コンピュータシステム。
  98. ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信するコンピュータシステムであって、
    前記ディスプレイ生成構成要素を介して、メディアユーザインタフェースを表示するための手段であって、
    第１の場所で、第１のメディアメッセージの第１の表現と、
    前記第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現と、
    を含む、メディアユーザインタフェースを表示するための手段と、
    前記メディアユーザインタフェースを表示したこと、及び前記メディアユーザインタフェースに対応するユーザ入力に基づいていないことに応答して、前記第１のメディアメッセージを再生するための手段と、
    前記第１のメディアメッセージを再生したことの完了を検出したことに応答して、
    前記ディスプレイ生成構成要素を介して、前記第１のメディアメッセージに対応する表現を表示することなく、前記第２のメディアメッセージの前記第２の表現を表示するための手段と、
    を含む、コンピュータシステム。
JP2020159840A 2020-05-11 2020-09-24 音声メッセージのためのユーザインタフェース Active JP7121780B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022125792A JP7236585B2 (ja) 2020-05-11 2022-08-05 音声メッセージのためのユーザインタフェース

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063023225P 2020-05-11 2020-05-11
US63/023,225 2020-05-11
US202063041979P 2020-06-21 2020-06-21
US63/041,979 2020-06-21
DKPA202070617 2020-09-22
DKPA202070617A DK202070617A1 (en) 2020-05-11 2020-09-22 User interface for audio message

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022125792A Division JP7236585B2 (ja) 2020-05-11 2022-08-05 音声メッセージのためのユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2021179948A true JP2021179948A (ja) 2021-11-18
JP7121780B2 JP7121780B2 (ja) 2022-08-18

Family

ID=78511629

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020159840A Active JP7121780B2 (ja) 2020-05-11 2020-09-24 音声メッセージのためのユーザインタフェース
JP2022125792A Active JP7236585B2 (ja) 2020-05-11 2022-08-05 音声メッセージのためのユーザインタフェース
JP2023028786A Pending JP2023088908A (ja) 2020-05-11 2023-02-27 音声メッセージのためのユーザインタフェース

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022125792A Active JP7236585B2 (ja) 2020-05-11 2022-08-05 音声メッセージのためのユーザインタフェース
JP2023028786A Pending JP2023088908A (ja) 2020-05-11 2023-02-27 音声メッセージのためのユーザインタフェース

Country Status (3)

Country Link
JP (3) JP7121780B2 (ja)
KR (3) KR102426564B1 (ja)
AU (3) AU2020239711C1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071835A (ja) * 2012-10-01 2014-04-21 Fujitsu Ltd 電子機器及び処理制御方法
JP2014087126A (ja) * 2012-10-22 2014-05-12 Sharp Corp 電力管理装置、電力管理装置の制御方法および電力管理装置の制御プログラム
US20170357425A1 (en) * 2016-06-12 2017-12-14 Apple Inc. Generating Scenes Based On Accessory State
JP2018007158A (ja) * 2016-07-06 2018-01-11 パナソニックＩｐマネジメント株式会社 表示制御システム、表示制御方法、及び表示制御プログラム
US20180364665A1 (en) * 2017-06-15 2018-12-20 Lutron Electronics Co., Inc. Communicating with and Controlling Load Control Systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7571014B1 (en) * 2004-04-01 2009-08-04 Sonos, Inc. Method and apparatus for controlling multimedia players in a multi-zone system
JP2008099330A (ja) 2007-12-18 2008-04-24 Sony Corp 情報処理装置、携帯電話機
JP5963695B2 (ja) 2013-03-01 2016-08-03 株式会社Ｊ−ＷＡＶＥｉ メッセージ送信プログラム、メッセージ送信装置、及びメッセージ配信システム
DK179593B1 (en) * 2016-06-12 2019-02-25 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
DK179549B1 (en) * 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
EP3445058B1 (en) * 2017-05-16 2021-07-07 Apple Inc. Methods and interfaces for home media control
CN112313924A (zh) * 2018-05-07 2021-02-02 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071835A (ja) * 2012-10-01 2014-04-21 Fujitsu Ltd 電子機器及び処理制御方法
JP2014087126A (ja) * 2012-10-22 2014-05-12 Sharp Corp 電力管理装置、電力管理装置の制御方法および電力管理装置の制御プログラム
US20170357425A1 (en) * 2016-06-12 2017-12-14 Apple Inc. Generating Scenes Based On Accessory State
JP2018007158A (ja) * 2016-07-06 2018-01-11 パナソニックＩｐマネジメント株式会社 表示制御システム、表示制御方法、及び表示制御プログラム
US20180364665A1 (en) * 2017-06-15 2018-12-20 Lutron Electronics Co., Inc. Communicating with and Controlling Load Control Systems

Also Published As

Publication number Publication date
AU2020239711A1 (en) 2021-11-25
AU2022201532B2 (en) 2023-06-01
AU2020239711B2 (en) 2022-01-06
JP2022180346A (ja) 2022-12-06
KR102426564B1 (ko) 2022-07-29
JP2023088908A (ja) 2023-06-27
AU2022201532A1 (en) 2022-03-24
AU2023204396A1 (en) 2023-08-03
AU2020239711C1 (en) 2022-03-31
KR20220110459A (ko) 2022-08-08
JP7236585B2 (ja) 2023-03-09
KR20230011455A (ko) 2023-01-20
KR20210137873A (ko) 2021-11-18
KR102486885B1 (ko) 2023-01-11
JP7121780B2 (ja) 2022-08-18

Similar Documents

Publication Publication Date Title
US11513667B2 (en) User interface for audio message
US20220004356A1 (en) User interface for audio message
JP7075547B2 (ja) オーディオメディア制御のためのユーザインタフェース
US11785387B2 (en) User interfaces for managing controllable external devices
EP3959590B1 (en) User interface for accessory control
US20230098814A1 (en) Media controls user interface
US20240069711A1 (en) User interfaces for managing accessories
JP7236585B2 (ja) 音声メッセージのためのユーザインタフェース
AU2022235591B9 (en) Media controls user interface
CN117957518A (en) Media control user interface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201118

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220805

R150 Certificate of patent or registration of utility model

Ref document number: 7121780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150