JP2020119581A - タッチ感知デバイス上におけるインタラクティブ通知の表示 - Google Patents

タッチ感知デバイス上におけるインタラクティブ通知の表示 Download PDF

Info

Publication number
JP2020119581A
JP2020119581A JP2020060361A JP2020060361A JP2020119581A JP 2020119581 A JP2020119581 A JP 2020119581A JP 2020060361 A JP2020060361 A JP 2020060361A JP 2020060361 A JP2020060361 A JP 2020060361A JP 2020119581 A JP2020119581 A JP 2020119581A
Authority
JP
Japan
Prior art keywords
notification element
message
displaying
response
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020060361A
Other languages
English (en)
Other versions
JP2020119581A5 (ja
JP7003170B2 (ja
Inventor
マシュー イー シェパード
E Shepherd Matthew
マシュー イー シェパード
マイケル アール ディクソン
R Dickson Michael
マイケル アール ディクソン
スティーブン オー リメイ
O Lemay Stephen
スティーブン オー リメイ
フレディー エイ アンスレス
A Anzures Freddy
フレディー エイ アンスレス
リチャード アール デリンジャー
R Dellinger Richard
リチャード アール デリンジャー
トミワ アラビ
Alabi Tomiwa
トミワ アラビ
ローレンス ワイ ヤン
Y Yang Lawrence
ローレンス ワイ ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2020119581A publication Critical patent/JP2020119581A/ja
Publication of JP2020119581A5 publication Critical patent/JP2020119581A5/ja
Application granted granted Critical
Publication of JP7003170B2 publication Critical patent/JP7003170B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/224Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42Mailbox-related aspects, e.g. synchronisation of mailboxes

Abstract

【課題】電子デバイスにインタラクティブ通知要素を表示するための方法を提供する。【解決手段】方法は、アプリケーションに関連するイベントの発生を検出することを含む。イベントの発生の検出に応じて、通知要素が表示される。デバイスのユーザは1つ以上のジェスチャのシーケンスを入力し、通知要素に応じて自身がとることができるアクションを明らかにする。デバイスは、その後、複数のアクションオプションUI要素を表示し、各アクションオプションUI要素の選択は、アプリケーションが異なるアクションを実行させる。【選択図】図1A

Description

本出願は概して、ユーザインターフェースオブジェクトを移動させるための入力を検出するタッチ感知面を備える電子デバイスを含むがこれに限定されない、タッチ感知面を備える電子デバイス上にインタラクティブ通知を表示することに関する。
タッチ感知電子デバイスは、タッチ、タップ、ピンチ及び他のハンドジェスチャによりユーザがデバイスと対話することを可能にする。これらの電子デバイスは概して、あるイベントをユーザにアラートする通知を提供する。この場合、通知は情報の単なる表示である(例えば、静止アイコン)。例えば、スマートフォンは、テキストメッセージを受信したことをユーザに通知するためにユーザに対して通知要素を表示してもよい。場合によっては、ユーザがテキストメッセージに返信できるように、ユーザは、通知要素をタップするか、そうでなければ選択して関連のアプリケーションを立ち上げてもよい。しかしながら、この方法では、アクションを行うために、ユーザは関連のアプリケーションをフォアグラウンドで開くことが必要となる。したがって、受信した通知に応じてアクションをより効率的に実施するための方法が必要である。
電子デバイスは、イベントのインタラクティブ通知要素を提供するように構成されている。電子デバイスにおけるイベントの発生時、電子デバイスはユーザに対してインタラクティブ通知要素を表示する。インタラクティブ通知要素はタッチ入力に応じたものであり、タッチ入力に応じて、ユーザに1つ以上のオプションを提供する。各オプションは通知に応じるためのアクションに関連する。いくつかの実施形態では、提供されるオプションは、通知に関連するアプリケーションをフォアグラウンドで開くことを要求しない。例えば、受信したテキストメッセージの通知要素は、ユーザがテキストメッセージに返信するためのオプションを提供し、テキストメッセージに返信するアクションは、テキストメッセージアプリケーションをフォアグラウンドで開くことを要求しない。ユーザが関連のアプリケーションをフォアグラウンドで開くことなくインタラクティブ通知要素と対話することを可能にすることで、受信した通知要素に応じるプロセスの効率が向上する。
電子デバイスにおいてインタラクティブ通知要素を表示するための方法は、テキストメッセージングアプリケーションにおける、受信したテキストメッセージなどの、アプリケーションに関連するイベントの発生を検出することを含む。イベントの発生の検出に応じて、テキストメッセージのプレビュー及びテキストメッセージの送信元などの、イベントに関する情報を含む通知要素が表示される。デバイスのユーザは1つ以上のジェスチャのシーケンスを入力し、通知要素に応じて自身がとることができるアクションを明らかにする。デバイスは、その後、複数のアクションオプションUI要素を表示し、各アクションオプションUI要素の選択は、アプリケーションが異なるアクションを実施させる。いくつかの実施形態では、受信したテキストメッセージの通知要素として、デバイスは返信アクション及び削除アクションを表示する。
通知要素において受信メッセージに返信するための方法を提供するための方法は、メッセージを受信し、その後、受信メッセージに関する情報を含む通知要素を表示することを含む。いくつかの実施形態では、通知要素は、メッセージへの返信を開始するためのユーザインターフェース(UI)要素を含む。UI要素の選択を受信したことに応じて、ユーザは、メッセージへのユーザ生成返信に関する情報を提供する。いくつかの実施形態では、例えば、受信したテキストメッセージの通知要素については、UI要素はテキスト入力ボックスである。そこで、ユーザは、テキスト入力ボックス内にメッセージをタイプする。送信入力を受信したことに応じて、ユーザ生成返信が送信に供される。いくつかの実施形態では、例えば、送信入力は「送信」ボタンである。ユーザは返信をタイプするのを完了すると「送信」ボタンを選択し、タイプ済みの返信はテキストメッセージングアプリケーションに提供されて送信される。
最後に、アプリケーションの通知要素のインスタンスを登録するための方法は、種々のアプリケーションから登録メッセージを受け取ることを含む。各登録メッセージは、アプリケーションを、通知要素カテゴリと、1つ以上の通知要素コンテキストの通知要素カテゴリに関連付けられた1つ以上のアクションのマッピングとに関連付ける。アプリケーションそれぞれの通知要素のインスタンスは、その後、登録されるか、又は記憶される。通知要素をアプリケーションから受信すると、アプリケーションに関連付けられた、登録されている通知要素のインスタンスが参照され、どのアクションを通知要素によって表示するかを決定することができる。
いくつかの実施形態に係る、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。 いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。 いくつかの実施形態に係る、タッチ画面を備えたポータブル多機能デバイスの図である。 いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。 いくつかの実施形態に係る、ポータブル多機能デバイスにおけるアプリケーションのメニューのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を備えた多機能デバイスのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、ロックス画面通知要素インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、ロックス画面通知要素インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、認証コード入力インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、通知要素センターインターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、通知要素センターインターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、ホーム画面インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、ホーム画面インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、モーダルアラートインターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、モーダルアラートインターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、インタラクティブ通知要素を提供するための方法を示す流れ図である。 いくつかの実施形態に係る、インライン返信ホーム画面インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、インライン返信ホーム画面インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、インライン返信モーダルアラートインターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、インライン返信モーダルアラートインターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、音声メッセージロック画面のための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、音声メッセージ通知要素センターインターフェースのための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、音声メッセージホーム画面インターフェースための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、音声メッセージホーム画面インターフェースための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、音声メッセージホーム画面インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、音声メッセージホーム画面インターフェースのための例示的なユーザインターフェースの図である。 いくつかの実施形態に係る、音声メッセージモーダルアラートインターフェースための例示的なユーザインターフェースの図である。 いくつかの実施態様に係る、インライン返信機能を有するインタラクティブ通知要素を提供するための方法を示す流れ図である。 いくつかの実施形態に係る、通知要素システムのブロック図である。 いくつかの実施態様に係る、外部システムを有する通知要素システムのブロック図である。 いくつかの実施形態に係る、インタラクティブ通知要素を提供するための方法を示す流れ図である。
図は、本発明の種々の実施形態を単に説明の目的で示す。当業者であれば、以下の説明から、本明細書中に記載される本発明の原理から逸脱することなく、本明細書中に示される構造及び方法の別の実施形態を用いてもよいことは容易に認識するであろう。
以下に記載される実施形態においては、インタラクティブ通知要素を表示するための方法は、通知要素カテゴリ及び通知要素コンテキストに依存するインタラクティブ通知要素によって1つ以上のアクションオプションを提供することにより達成される。提供されるアクションオプションにより、ユーザが通知要素に応じてアクションを実行することが可能になる。いくつかの実施形態では、アクションはバックグラウンドで実行される。これは、対応するアプリケーションがフルユーザインターフェースを開かないことを意味する。これにより、ユーザが、インタラクティブ通知要素を通じてアプリケーションとより効率的に対話することが可能になる。
以下の図1Aから図1B、図2及び図3は、例示的なデバイスの説明を提供する。図4Aから図4Bは、例示的なデバイスのための例示的なユーザインターフェースを示す。図5から図9及び図11から図16は、インタラクティブ通知要素の種々の実施形態を表示するための例示的なユーザインターフェースを示す。図18A及び図18Bは、通知要素システムのブロック図を示す。図19は、インタラクティブ通知要素を提供するための方法の流れ図を示す。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態を、詳細に参照する。以下の詳細な説明では、説明されている様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、説明されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例においては、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭なものとしないよう、詳細には説明されていない。
本明細書では、第1、第2などの用語は、一部の実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称し得る。第1の接触及び第2の接触は両方とも接触であるが、それらは同じ接触ではない。
本明細書で説明される様々な実施形態の説明で使用される用語法は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用される時、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用される時に、用語「及び/又は」が、関連する列挙された項目のうちの1つ以上のあらゆる可能な組み合わせを指し、かつこれを含むことをもまた理解されたい。用語「includes(含む)、「including(含む)」、「comprises(含む)」及び/又は「comprising(含む)」が、本明細書で使用される時に、述べられた特徴、整数、工程、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、工程、動作、要素、構成要素、及び/又はその群の存在又は追加を除外しないことが更に理解されるであろう。
本明細書で使用される時、用語「if(〜の場合には)」は、任意選択的に、文脈に応じて「when(〜の時)」、「upon(〜すると)」、「in response to determining(〜という判定に応じて)」、又は「in response to detecting(〜の検出に応じて)」を意味するものと解釈される。同様に、句「if it is determined(〜と判定される場合に)」又は「if(a stated condition or event)is detected((述べられる条件又はイベント)が検出される場合に)」を、文脈に応じて「upon determining(〜と判定される時に)」、「in response to determining(〜との判定に応じて)」、「upon detecting(the stated condition or event)((述べられる条件又はイベント)の検出時に)」、又は「in response to detecting(the stated condition or event)((述べられる条件又はイベント)の検出に応じて)」を意味すると、任意選択的に解釈される。
電子デバイス、そのようなデバイス用のユーザインターフェース、及びそのようなデバイスを使用するための関連プロセスの、実施形態を説明する。いくつかの実施形態では、このデバイスは、PDA機能及び/又は音楽プレーヤ機能などの、他の機能をも含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、限定を伴わずに、Apple Inc.(Cupertino,California)のiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスを含む。タッチ感知面(例えば、タッチ画面ディスプレイ及び/又はタッチパッド)を備えたラップトップ又はタブレットコンピュータなど他のポータブル電子デバイスも、任意選択的に使用できる。また、いくつかの実施形態では、このデバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチ画面ディスプレイ及び/又はタッチパッド)を備えるデスクトップコンピュータであることを理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を備える電子デバイスを説明する。しかし、この電子デバイスが、物理キーボード、マウス、及び/又はジョイスティックなどの1つ以上の他の物理ユーザインターフェースデバイスを任意選択的に含むことを理解されたい。
そのデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び/又はデジタルビデオプレーヤアプリケーションのうちの1つ以上など、様々なアプリケーションをサポートする。
このデバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインターフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能並びにデバイス上に表示される対応する情報は、1つのアプリケーションから次のアプリケーションへ、及び/又は対応するアプリケーションの中で、任意選択的に、調整、及び/又は変更される。この方式で、そのデバイスの共通の(タッチ感知面などの)物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインターフェースを有する様々なアプリケーションを、任意選択的にサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係る、タッチ感知ディスプレイ112を備えたポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチ画面」と呼ばれる場合があり、タッチ感知ディスプレイシステムとして既知であるか、又はそのように呼ばれる場合もある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPUの)120、周辺機器インターフェース118、RF回路108、音声回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力又は制御デバイス116、及び外部ポート124を含む。デバイス100は、1つ以上の光センサ164を、任意選択的に含む。デバイス100は、デバイス100(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)上の接触の強度を検出するための、1つ以上の強度センサ165を、任意選択的に含む。デバイス100は、デバイス100上に触知出力を生成する(例えば、デバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などの、タッチ感知面上に触知出力を生成する)ための、1つ以上の触知出力生成器167を、任意選択的に含む。これらの構成要素は、1つ以上の通信バス又は信号ライン103を介して、任意選択的に通信する。
本明細書及び特許請求の範囲で使用される時、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指接触)の力又は圧力(単位面積当りの力)、あるいはタッチ感知面上の接触の力又は圧力の代替物(プロキシ)を指す。接触の強度は、少なくとも4つの異なる数値を含み、より典型的には、数百以上の異なる数値(例えば、少なくとも256)を含む、数値の範囲を有する。接触の強度は、様々な方法及び様々なセンサ、又はセンサの組み合わせを使用して、任意選択的に、判定(又は、測定)される。例えば、タッチ感知面の下に又は隣接して配置された1つ以上の力センサは、タッチ感知面上の様々な点における力を測定するために、任意選択的に用いられる。いくつかの実装において、複数の力センサの力測定値を組み合わせて(例えば、加重平均)、接触の推定の力を判定する。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に用いられる。あるいは、タッチ感知面上で検出される接触区域のサイズ及び/又はその変化、接触に近接するタッチ感知面の静電容量及び/若しくはその変化、並びに/又は接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装において、接触の力又は圧力の代替的測定値は、強度閾値を超えているかを判定するために直接に用いられる(例えば、強度閾値は、代替的測定値に対応する単位で記述される)。いくつかの実装において、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているかが判定される(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。
本明細書及び特許請求の範囲で使用される時、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、デバイスの別の構成要素(例えば、筐体)に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの指、手のひら、又は手の他の部分)に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザによって解釈される。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の動作は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の動作は、タッチ感知面の平滑度に変化がない時でさえ、タッチ感知面の「粗さ」としてユーザによって、任意選択的に、解釈されるか、又は感じられる。このようなユーザによるタッチの解釈は、ユーザの個別の感覚認知によるが、大多数のユーザに共通したタッチの感覚認知が数多くある。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス100は、示されるものよりも多いか又は少ない構成要素を任意選択的に有するか、2つ以上の構成要素を任意選択的に組み合わせるか、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図1Aに示される様々な構成要素は、1つ以上の信号処理、及び/又はアプリケーション固有の集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方の組み合わせで実装される。
メモリ102は、任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体メモリデバイスなどの不揮発性メモリも含む。CPU120及び周辺機器インターフェース118などの、デバイス100の他の構成要素によるメモリ102へのアクセスは、メモリコントローラ122により、任意選択的に制御される。
周辺機器インターフェース118を使用して、このデバイスの入力及び出力周辺機器を、CPU120及びメモリ102に結合することができる。1つ以上のプロセッサ120は、デバイス100のための様々な機能を実行するため並びにデータ処理を行うために、メモリ102に記憶された様々なソフトウェアプログラム及び/若しくは命令セットを走らせたり、又は実行したりする。
いくつかの実施形態では、周辺機器インターフェース118、CPU120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一チップ上に実装される。いくつかの他の実施形態において、これらは、個別のチップ上に、任意選択的に実装される。
RF(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(SIM)カード、メモリなどを含むがこれらに限定されない、上記の機能を実行するための周知の回路を、任意選択的に含む。RF回路108は、インターネット情報検索システム(WWW)とも呼ばれるインターネットなどのネットワーク、セルラー電話ネットワークなどのイントラネット及び/又は無線ネットワーク、ワイアレスローカルエリアネットワーク(LAN)及び/又はメトロポリタンエリアネットワーク(MAN)、及び他のデバイスと無線通信によって、任意選択的に通信する。無線通信は、任意選択的に、Global System for Mobile Communications(GSM)(登録商標)、Enhanced Data GSM Environment(EDGE)(登録商標)、高速ダウンリンクパケットアクセス(HSDPA)、高速アップリンクパケットアクセス(HSUPA)、Evolution、Data−Only(EV−DO)、HSPA、HSPA+、Dual−Cell HSPA(DC−HSPDA)、ロングタームエボリューション(LTE)、近距離無線通信(NFC)、広帯域符号分割多元接続(W−CDMA)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、Bluetooth(登録商標)、ワイヤレスフィデリティ(Wi−Fi)(登録商標)(例えば、IEEE802.11a、IEEE802.1lb、IEEE 802.1lg及び/又はIEEE802.1ln)を含むが、これらに限定されない複数の通信規格、プロトコル及び技術のいずれかを用いる。
音声回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間の音声インターフェースを提供する。音声回路110は、周辺機器インターフェース118から音声データを受信し、音声データを電気信号に変換し、電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。音声回路110はまた、マイクロフォン113により音波から変換された電気信号も受信する。音声回路110は、電気信号を音声データに変換し、処理するために音声データを周辺機器インターフェース118に送出する。音声データは、周辺機器インターフェース118によって任意選択的に、メモリ102及び/若しくはRF回路108から取り込まれ、並びに/又はメモリ102及び/若しくはRF回路108へ送出される。いくつかの実施形態において、音声回路110はまた、ヘッドセットジャック(例えば、図2の212)を備える。ヘッドセットジャックは、音声回路110と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロフォン)の両方を持つヘッドセットなどの、取り外し可能な音声入出力周辺機器との間のインターフェースを提供する。
I/Oサブシステム106は、周辺機器インターフェース118に、タッチ画面112及び他の入力制御デバイス116などのデバイス100の入出力周辺機器を結合する。I/Oサブシステム106は、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力又は制御デバイス用の1つ以上の入力コントローラ160を、任意選択的に含む。1つ以上の入力コントローラ160は、他の入力又は制御デバイス116から電気信号を受信し、他の入力又は制御デバイス116へ電気信号を送信する。他の入力制御デバイス116は、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダースイッチ、ジョイスティック、クリックホイールなどを、任意選択的に含む。いくつかの代替的実施形態において、入力コントローラ(1つ又は複数)160は、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに、任意選択的に結合される(又は、いずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、スピーカ111及び/又はマイクロフォン113の音量調節のためのアップ/ダウンボタンを、任意選択的に含む。1つ以上のボタンは、プッシュボタン(例えば、図2の206)を、任意選択的に含む。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ156は、タッチ画面112から電気信号を受信し、タッチ画面112へ電気信号を送信する。タッチ画面112は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、映像、及びこれらの任意の組み合わせ(総称して「グラフィック」と称する)を、任意選択的に含む。いくつかの実施形態において、視覚出力の一部又は全ては、ユーザインターフェースオブジェクトに対応する。
タッチ画面112は、触覚及び/若しくは触感の接触に基づくユーザからの入力を受け取るタッチ感知面、センサ、又はセンサのセットを有している。タッチ画面112及びディスプレイコントローラ156(メモリ102内の任意の関連モジュール及び/又は命令セットとともに)は、タッチ画面112上で接触(及び任意の動作又は接触の中断)を検出し、検出された接触をタッチ画面112上に表示されたユーザインターフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との対話に変換する。ある例示的な実施形態では、タッチ画面112とユーザとの間の接触点は、ユーザの指に対応する。
タッチ画面112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ画面112及びディスプレイコントローラ156は、静電容量技術、抵抗性技術、赤外線技術、及び表面音波技術、並びに、タッチ画面112との1つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の動作又はその中断を、任意選択的に検出する。ある例示的な実施形態では、Apple Inc.(Cupertino,California)からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)などにおいて見られるような、投影された相互キャパシタンス検知技術が使用されている。
タッチ画面112は、任意選択的に、100dpiを超える映像解像度を有する。いくつかの実施形態において、タッチ画面は約160dpiの映像解像度を有する。ユーザは、スタイラス、指などの任意の好適なオブジェクト又は付属器を使用して、タッチ画面112と、任意選択的に接触する。いくつかの実施形態では、ユーザインターフェースは、主として指に基づく接触及びジェスチャで機能するように設計され、タッチ画面上の指の接触面積が広いことにより、スタイラスに基づく入力よりも精度が低いことがある。いくつかの実施形態において、デバイスは、指に基づく粗い入力を正確なポインタ/カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
いくつかの実施形態では、タッチ画面に加えて、デバイス100は、特定の機能をアクティブ化又は非アクティブ化させるためのタッチパッド(図示せず)を、任意選択的に含む。いくつかの実施形態において、タッチパッドは、タッチ画面とは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチ画面112とは別個のタッチ感知面、又はタッチ画面によって形成されたタッチ感知面の延長部である。
デバイス100はまた、様々な構成要素に電力を供給するための電力システム162をも含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス100はまた、1つ以上の光センサ164をも、任意選択的に含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、電荷結合デバイス(CCD)又は相補的金属酸化物半導体(CMOS)フォトトランジスタを、任意選択的に含む。光センサ164は、1つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール143(カメラモジュールとも称する)と併用して、光センサ164は、静止画像又はビデオを、任意選択的にキャプチャする。いくつかの実施形態において、タッチ画面ディスプレイを静止画像及び/又はビデオ画像取得のためのビューファインダとして有効化されるように、光センサは、デバイスの前面のタッチ画面ディスプレイ112の反対側である、デバイス100の背面に配置されている。いくつかの実施形態において、ユーザがタッチ画面ディスプレイ上で他のテレビ会議参加者を見ている間に、ユーザの画像を、テレビ会議のために、任意選択的に、得るように、別の光センサが機器の前面に配置される。
デバイス100はまた、1つ以上の接触強度センサ165をも任意選択的に含む。図1Aは、接触強度センサを、I/Oサブシステム106内の強度センサコントローラ159に結合されて示す。接触強度センサ165は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(又は圧力)を測定するために使用するセンサ)を、任意選択的に含む。接触強度センサ165は、環境から接触強度情報(例えば、圧力情報又は圧力情報のプロキシ)を受け取る。いくつかの実施形態において、少なくとも1つの接触強度センサが、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に併置されているか、又は近接している。いくつかの実施形態において、少なくとも1つの接触強度センサが、デバイス100の前面に配置されたタッチ画面ディスプレイ112の反対側である、デバイス100の背面に配置されている。
デバイス100はまた、1つ以上の近接センサ166をも任意選択的に含む。図1Aは、周辺機器インターフェース118と結合された近接センサ166を示す。あるいは、近接センサ166は、I/Oサブシステム106内の入力コントローラ160に結合される。いくつかの実施形態において、多機能機器がユーザの耳の近くに配置されている場合(例えば、ユーザが電話通話を行っている場合)、近接センサがオフになり、タッチ画面112が無効になる。
デバイス100はまた、1つ以上の触知出力生成器167をも任意選択的に含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器を示す。触知出力生成器167は、スピーカ又は他の音声構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などの、エネルギーを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ165は、触覚フィードバックモジュール133から触知フィードバック生成命令を受け取り、デバイス100のユーザが感知できる触知出力をデバイス100上で生成する。いくつかの実施形態において、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と併置されているか、又は近接しており、任意選択的に、タッチ感知面を垂直方向に(例えば、デバイス100の表面の内/外)又は横方向(例えば、デバイス100の表面と同じ平面の前後方向)に移動することによって、触知出力を生成する。いくつかの実施形態において、少なくとも1つの触知出力生成器センサは、デバイス100の前面に配置されたタッチ画面ディスプレイ112の反対側である、デバイス100の背面に配置されている。
デバイス100はまた、1つ以上の加速度計168をも任意選択的に含む。図1Aは、周辺機器インターフェース118に結合された加速度計168を示す。あるいは、加速度計168は、I/Oサブシステム106内の入力コントローラ160に、任意選択的に結合される。いくつかの実施形態において、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチ画面ディスプレイ上に表示される。デバイス100は、加速度計(1つ又は複数)168に加えて、磁力計(図示せず)並びにデバイス100の位置及び向き(例えば、ポートレート又はランドスケープ)に関する情報を取得するためのGPS(又はGLONASS又は他のグローバルナビゲーションシステム)レシーバ(図示せず)を、任意選択的に含む。
いくつかの実施形態において、メモリ102に記憶されたソフトウェアコンポーネントは、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(GPS)モジュール(又は命令セット)135、及びアプリケーション(命令セット)136を含む。更に、いくつかの実施形態において、図1A及び図3に示すように、メモリ102はデバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、以下の1つ以上を含む:現在アクティブ状態のアプリケーションがあれば、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチ画面ディスプレイ112の様々な領域を占領しているかを示す、表示状態、デバイスの様々なセンサ及び入力コントロールデバイス116から得られる情報を含む、センサ状態、並びに、デバイスの位置及び/又は姿勢に関する位置情報。
オペレーティングシステム126(例えば、Darwin(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための様々なソフトウェアコンポーネント及び/又はドライバを含み、様々なハードウェアとソフトウェアコンポーネントとの間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、またRF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素を含む。外部ポート124(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に他のデバイスに結合するように適合される。いくつかの実施形態において、外部ポートは、iPod(AppleInc.の商標)デバイス上で使用される30ピンコネクタと同一の、又はこれに類似した及び/若しくは互換性のあるマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、任意選択的に、(ディスプレイコントローラ156と併せて)タッチ画面112との接触、及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/動きモジュール130は、接触が発生したかどうかの判定(例えば、フィンガダウンイベントの検出)、接触の強度(例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力に代わるもの)の判定、接触の移動及びタッチ感知面にわたる動きの追跡(例えば、1つ以上のフィンガドラッグイベントの検出)があるかどうかの判定、及び接触が停止したかどうか(例えば、フィンガアップイベント又は接触の中断の検出)の判定などの、接触の検出に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを、任意選択的に含む。これらの動作は、任意選択的に、単一の接触(例えば、1つの指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態において、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたか否かを判定するための(例えば、ユーザがアイコン上で「クリック」したか否かを判定するための)、1つ以上の強度閾値のセットを使用する。いくつかの実施形態において、少なくとも強度閾値のサブセットが、ソフトウェアパラメータにしたがって判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、デバイス100の物理ハードウェアを変更することなく調整し得る)。例えば、トラックパッド又はタッチ画面ディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチ画面ディスプレイハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定し得る。加えて、いくつかの実装において、デバイスのユーザには、(例えば、個々の強度閾値を調整することによって、及び/又は「強度」パラメータのシステムレベルのクリックの後すぐに複数の強度閾値を調整することによって)強度閾値のセットのうちの1つ以上を調整するためのソフトウェア設定が提供されている。
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、異なる動き、タイミング、及び/又は検出された接触の強度)を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に検出される。例えば、フィンガタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて(例えば、アイコンの位置での)そのフィンガダウンイベントと同じ位置(又は、実質的に同じ位置)でフィンガアップ(リフトオフ)イベントを検出することを含む。他の実施例として、タッチ感知面でのフィンガスワイプジェスチャの検出は、フィンガダウンイベントを検出し、続いて1つ以上のフィンガドラッグイベントを検出し、その後、フィンガアップ(リフトオフ)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を変更するための構成要素を含めた、タッチ画面112又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用される時、用語「グラフィック」は、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインターフェースオブジェクトなど)、デジタル画像、映像、アニメーション、及び類似物などが挙げられるがこれらに限定されない、ユーザに対して表示することができる任意のオブジェクトを含む。
いくつかの実施形態において、グラフィックモジュール132は、使用されるグラフィックを表すデータを記憶する。それぞれのグラフィックには、対応するコードが、任意選択的に割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィックプロパティデータとともに、表示されるグラフィックを指定する1つ以上のコードを受け取り、ディスプレイコントローラ156に出力する画面画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、デバイス100上の1つ以上の場所で触知出力を生成するために、触知出力生成器(1つ又は複数)167によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール134は、任意選択的に、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するための、ソフトキーボードを提供する。
GPSモジュール135は、デバイスの場所を判定し、この情報を、様々なアプリケーションで使用するために(例えば、場所に基づくダイヤル発呼で使用するために電話138へ、写真/ビデオのメタデータとしてカメラ143へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及び地図/ナビゲーションウィジェットなどの、場所に基づくサービスを提供するアプリケーションへ)提供する。
アプリケーション136は、任意選択的に以下のモジュール(又は、命令のセット)、又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(時には、アドレス帳又は連絡先リストとも呼ばれる)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像用のカメラモジュール143、
●画像管理モジュール144、
●ブラウザモジュール147、
●カレンダモジュール148、
●気象ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4、辞書ウィジェット149−5、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット149−6のうちの1つ以上を任意選択的に含む、ウィジェットモジュール149、
●ユーザ作成ウィジェット149−6を作るためのウィジェットクリエータモジュール150、
●検索モジュール151、
●任意選択的にビデオプレーヤモジュールと音楽プレーヤモジュールで構成された、ビデオ及び音楽プレーヤモジュール152、
●メモモジュール153、
●地図モジュール154、及び/又は
●オンラインビデオモジュール155。
任意選択的にメモリ102内に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチ画面112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、連絡先モジュール137は、(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192に記憶される)アドレスブ帳又は連絡先リストを管理するために任意選択的に用いられ、それには、アドレス帳に名前(1つ又は複数)を加えること、アドレス帳から名前(1つ又は複数)を削除すること、電話番号(1つ又は複数)、電子メールアドレス(1つ又は複数)、住所(1つ又は複数)、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して振り分けること、電話番号又はメールアドレスを提供して、電話138、テレビ会議139、メール140、若しくはIM141による通信を開始させる及び/又は容易にすること、などが含まれる。
RF回路108、音声回路110、スピーカ111、マイクロフォン113、タッチ画面112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、電話モジュール138は、電話番号と対応する一連の文字を入力し、アドレス帳137内の1つ以上の電話番号にアクセスし、入力されている電話番号を修正し、対応する電話番号をダイヤルし、会話を遂行し、会話が完了した際に接続を切るか又は電話を切るために、任意選択的に使用される。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを、任意選択的に使用する。
RF回路108、音声回路110、スピーカ111、マイクロフォン113、タッチ画面112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先リスト137、及び電話モジュール138と併せて、テレビ会議モジュール139は、ユーザの指示に従い、ユーザと1人以上の他の参加者との間のテレビ会議を開始し、行い、終了するための、実行可能命令を含む。
RF回路108、タッチ画面112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、電子メールクライアントモジュール140は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能命令を含む。画像管理モジュール144と併せて、電子メールクライアントモジュール140により、カメラモジュール143で撮影した静止画像又はビデオ画像を作成し、電子メールを送信することが非常に簡単になる。
RF回路108、タッチ画面112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、インスタントメッセージングモジュール141は、インスタントメッセージと対応する文字列を入力したり、入力済みの文字を修正したり、対応するインスタントメッセージを送信したり(例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス(SMS)若しくはマルチメディアメッセージサービス(MMS)プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのXMPP、SIMPLE、若しくはIMPSを使用して)、インスタントメッセージを受信してその受信したインスタントメッセージを表示したりするための、実行可能命令を含む。いくつかの実施形態では、送信及び/又は受信されたインスタントメッセージは、MMS及び/又は拡張メッセージングサービス(EMS)でサポートされるように、グラフィック、写真、音声ファイル、映像ファイル、及び/又は他の添付を、任意選択的に含む。本明細書で使用される時、「インスタントメッセージング」とは、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されたメッセージ)及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されたメッセージ)の両方を意味する。
RF回路108、タッチ画面112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽プレーヤモジュール146と併せて、トレーニングサポートモジュール142は、(例えば、時間、距離、及び/又はカロリー消費目標を有する)トレーニングを作成する、トレーニングセンサ(スポーツデバイス)と通信する、トレーニングセンサデータを受信する、トレーニングをモニタリングするために用いられるセンサを測定する、トレーニング用の音楽を選択して再生する、並びに、トレーニングデータを表示、記憶、及び送信するための、実行可能命令を含む。
タッチ画面112、ディスプレイコントローラ156、光センサ(1つ又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、及び画像管理モジュール144と併せて、カメラモジュール143は、静止画像又はビデオ(ビデオストリームを含む)をキャプチャしてメモリ102にそれらを記憶したり、静止画像又はビデオの特徴を変更したり、又はメモリ102から静止画像若しくはビデオを削除したりするための、実行可能命令を含む。
タッチ画面112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と併せて、画像管理モジュール144は、静止画像及び/又はビデオ画像を配置し、修正し(例えば、編集し)及び別の方法で操作し、ラベルを付け、削除し、提示し(例えば、デジタルスライドショー又はアルバム内で)、並びに記憶したりするための実行可能命令を含む。
RF回路108、タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、ブラウザモジュール147は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付け、受信し、表示することを含むユーザの指示に従い、インターネットをブラウズするための実行可能命令を含む。
RF回路108、タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と併せて、カレンダモジュール148は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ(例えば、カレンダ項目、ToDoリストなど)を作成し、表示し、変更し、記憶するための実行可能命令を含む。
RF回路108、タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と併せて、ウィジェットモジュール149は、ユーザによって任意選択的にダウンロードされて使用されるミニアプリケーション(例えば、気象ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4、及び辞書ウィジェット149−5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149−6)である。いくつかの実施形態では、ウィジェットは、HTML(ハイパーテキストマークアップ言語)ファイル、CSS(カスケーディングスタイルシート)ファイル、及びJavaScript(登録商標)ファイルを含む。いくつかの実施形態では、ウィジェットは、XML(拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!(登録商標)ウィジェット)を含む。ウィジェット)を含む。
RF回路108、タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と併せて、ウィジェットクリエータモジュール150は、ウィジェットを作成する(例えば、ウェブページのユーザ指定箇所をウィジェットに変える)ために、ユーザによって任意選択的に使用される。
タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、検索モジュール151は、ユーザの指示に従い、1つ以上の検索基準(例えば、1つ以上のユーザ指定の検索語句)と一致する、メモリ102内のテキスト、音楽、音声、画像、映像、及び/又は他のファイルを検索するための実行可能命令を含む。
タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、音声回路110、スピーカ111、RF回路108、及びブラウザモジュール147と併せて、ビデオ及び音楽プレーヤモジュール152は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びにビデオを(タッチ画面112上又は外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、又は別の方法で再生するための実行可能命令を含む。いくつかの実施形態において、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレーヤの機能を含む。
タッチ画面112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、メモモジュール153は、ユーザの指示に従い、メモ、ToDoリスト、及び類似物などを作成し管理するための、実行可能命令を含む。
RF回路108、タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と併せて、地図モジュール154は、任意選択的に、ユーザの指示に従い、地図及び地図に関連付けられたデータ(例えば、運転方向、特定の場所又はその付近の店舗及び関心対象の他の地点についてのデータ、並びに場所に基づく他のデータ)を受信し、表示し、修正し、記憶するために使用される。
タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、音声回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と併せて、オンラインビデオモジュール155は、ユーザがH.264などの1つ以上のファイル形式のオンラインビデオにアクセスし、ブラウズし、受信し(例えば、ストリーミング及び/又はダウンロードにより)、再生し(例えば、タッチ画面上で又は外部ポート124を介して接続された外部のディスプレイ上で)、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理できるようにする命令を含む。いくつかの実施形態においては、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が、特定のオンラインビデオへのリンクを送信するために用いられる。
上記で識別されたモジュール及びアプリケーションのそれぞれは、1つ又はそれ以上の上記の機能を実行するための実行可能命令セット及び本出願に記載の方法(例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法)に対応する。これらのモジュール(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において、任意選択的に、組み合わされるか、又は再配置される。いくつかの実施形態において、メモリ102は、上述の識別されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ102は、上述されていない追加のモジュール及びデータ構造を、任意選択的に記憶する。
いくつかの実施形態では、デバイス100は、デバイス上の機能の既定のセットの動作が排他的にタッチ画面及び/又はタッチパッドを介して実行されるデバイスである。デバイス100の動作のための主要入力制御機器としてタッチ画面及び/又はタッチパッドを使用することにより、デバイス100上の物理的な入力制御機器(プッシュボタン、ダイヤル、及び類似物など)の数を、任意選択的に減らす。
排他的にタッチ画面及び/又はタッチパッドを介して実行される、既定の機能のセットは、任意選択的に、ユーザインターフェース間のナビゲーションを含む。いくつかの実施形態において、タッチパッドは、ユーザによってタッチされると、デバイス100上に表示される任意のユーザインターフェースから、メインメニュー、ホームメニュー、又はルートメニューへデバイス100をナビゲートする。そのような実施形態において、「メニューボタン」はタッチパッドを用いて実装される。いくつかの他の実施形態において、メニューボタンは、タッチパッドの代わりに、物理的なプッシュボタン又は他の物理的な入力制御デバイスである。
図1Bは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A内)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)及び対応するアプリケーション136−1(例えば、上述のアプリケーション137−13、155、及び380から390のいずれか)を含む。
イベントソータ170は、イベント情報を受け取り、イベント情報を配信するアプリケーション136−1及びアプリケーション136−1のアプリケーションビュー191を決定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態において、アプリケーション136−1は、アプリケーションがアクティブ又は実行中の時、タッチ感知ディスプレイ112で上に表示される現在のアプリケーションビュー(1つ又は複数)を示す、アプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、いずれのアプリケーションが現在アクティブであるかを判定するために、イベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報の配信先となるアプリケーションビュー191を決定するために、イベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136−1が実行を再開する際に使用される再開情報、アプリケーション136−1によって情報が表示されているか又は表示の準備が整っていることを示すユーザインターフェース状態情報、ユーザがアプリケーション136−1の以前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが以前に行ったアクションのリドゥ/アンドゥ待ち行列のうちの1つ以上などの、追加情報を含む。
イベントモニタ171は、周辺機器インターフェース118からイベント情報を受け取る。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ112上でのユーザのタッチ)についての情報を含む。周辺機器インターフェース118は、I/Oサブシステム106又は(音声回路110を介して)近接センサ166、加速度計(1つ又は複数)168、及び/若しくはマイクロフォン113などのセンサから受信する情報を送信する。周辺機器インターフェース118がI/Oサブシステム106から受け取る情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インターフェース118に要求を送る。これに応じて、周辺機器インターフェース118は、イベント情報を送出する。他の実施形態において、周辺機器インターフェース118は、重要なイベント(例えば、所定のノイズ閾値を超える、及び/又は所定時間より長い入力を受信すること)がある場合にのみイベント情報を送出する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173も含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が1つ以上のビューを表示した際に、1つ以上のビュー内のどこにおいてサブイベントが発生したかを判断するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることが可能な、制御部及び他の要素で構成される。
アプリケーションに関連付けられるユーザインターフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインターフェースウィンドウと呼ばれる場合がある、ビューのセットであり、それらの中で、情報が表示され、タッチに基づくジェスチャが実施される。タッチが検出される(それぞれのアプリケーションの)アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに、任意選択的に対応する。例えば、タッチが検出される最低レベルのビューは、任意選択的に、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、少なくとも部分的に、タッチに基づくジェスチャを開始する最初のタッチのヒットビューに基づいて、任意選択的に判定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントと関連付けられた情報を受け取る。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール172は、サブイベントを処理するべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、起因となるサブイベント(即ち、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント)が発生する最低レベルのビューである。ヒットビューがヒットビュー判定モジュールによって識別されると、ヒットビューは、典型的には、それがヒットビューとして識別された、同じタッチ又は入力ソースに関連する全てのサブイベントを受け付ける。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(又は複数のビュー)がサブイベントの特定のシーケンスを受け取るべきかを判断する。いくつかの実施形態において、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受け取るべきであると判定する。他の実施形態において、アクティブイベント認識部判定モジュール173は、サブイベントの物理的な位置を含む全てのビューはアクティブに関わっているビューであると判定し、したがって、アクティブに関わっている全てのビューが、サブイベントの特定のシーケンスを受け取るべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューはアクティブに関わっているビューのままであるであろう。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えば、イベント認識部180)に送信する。アクティブイベント識別部判定モジュール173を含む実施形態において、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、それぞれのイベントレシーバモジュール182により取得されるイベント情報をイベント待ち行列内に記憶する。
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。あるいは、アプリケーション136−1が、イベントソータ170を含む。更に他の実施形態において、イベントソータ170は、スタンドアロンモジュール、又は接触/動きモジュール130などのメモリ102に記憶された他のモジュールの一部である。
いくつかの実施形態において、アプリケーション136−1は、それぞれがアプリケーションのユーザインターフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベントハンドラ190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136−1のそれぞれのアプリケーションビュー191は、イベント認識部180のうちの1つ以上を含む。典型的に、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態において、イベント認識部180のうちの1つ以上は、ユーザインターフェースキット(図示せず)又はアプリケーション136−1が方法及び他の性質を継承する上位レベルのオブジェクトなど、別個のモジュールの一部である。いくつかの実施形態において、それぞれのイベントハンドラ190は、データアップデータ176、オブジェクトアップデータ177、GUIアップデータ178、及び/又はイベントソータ170から受け付けたイベントデータ179のうちの1つ以上を含む。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176、オブジェクトアップデータ177、又はGUIアップデータ178を、任意選択的に利用するか、又は呼び出す。あるいは、アプリケーションビュー191のうちの1つ以上は、1つ以上のそれぞれのイベントハンドラ190を含む。また、いくつかの実施形態において、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178のうちの1つ以上がそれぞれのアプリケーションビュー191内に含まれている。
各イベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受け取って、そのイベント情報からイベントを特定する。イベント認識部180は、イベントレシーバ182及びイベントコンパレータ184を含む。いくつかの実施形態において、イベント認識部180はまた、メタデータ183及びイベント配信命令188(任意選択的に、サブイベント配信命令を含む)の少なくともサブセットを含む。
イベントレシーバ182は、イベントソータ170からイベント情報を受け取る。イベント情報は、例えば、タッチ又はタッチの移動などのサブイベントの情報を含む。サブイベントによっては、イベント情報はまた、サブイベントの位置などの追加情報をも含む。サブイベントが、タッチの動きに関わる時、イベント情報はまた、サブイベントの速度及び方向を、任意選択的に含む。いくつかの実施形態において、イベントは、ある方向から別の方向へ(例えば、ポートレートの向きからランドスケープの向きへ、又はその逆)のデバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ばれる)についての対応する情報を含む。
イベントコンパレータ184は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較により、イベント若しくはサブイベントを判断するか、又はイベント若しくはサブイベントの状態を判断若しくは更新する。いくつかの実施形態において、イベントコンパレータ184は、イベント定義186を含む。イベント定義186は、例えば、イベント1(187−1)、イベント2(187−2)などの、イベントの定義(例えば、サブイベントの既定のシーケンス)を含む。いくつかの実施形態において、イベント187内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。ある実施例において、イベント1(187−1)の定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第1のタッチ(タッチ開始)、所定の段階についての第1のリフトオフ(タッチ終了)、表示されたオブジェクト上の所定の段階についての第2のタッチ(タッチ開始)、及び所定の段階についての第2のリフトオフ(タッチ終了)を含む。別の実施形態において、イベント2(187−2)の定義は、表示されたオブジェクト上のドラッグである。ドラッギングは、例えば、表示されたオブジェクト上の所定の段階についてのタッチ(又は接触)、タッチ感知ディスプレイ112にわたるタッチの移動、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態において、イベントはまた、1つ以上の関連付けられたイベントハンドラ190についての情報も含む。
いくつかの実施形態では、イベント定義187は、それぞれのユーザインターフェースオブジェクト用のイベントの定義を含む。いくつかの実施形態において、イベントコンパレータ184は、どのユーザインターフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、3つのユーザインターフェースオブジェクトがタッチ感知ディスプレイ112に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ112上でタッチが検出されると、イベントコンパレータ184は、3つのユーザインターフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判断するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、それぞれのイベントハンドラ190に関連付けられている場合、イベントコンパレータはヒットテストの結果を用いて、アクティブ化する必要のあるイベントハンドラ190はどれかを判定する。例えば、イベントコンパレータ184は、サブイベント及びヒットテストのトリガーとなるオブジェクトに関連付けられたイベントハンドラを選択する。
いくつかの実施形態において、それぞれのイベント187の定義はまた、サブイベントのシーケンスが、イベント認識部のイベントタイプに対応するか対応しないかが判定されるまで、イベント情報の配信を遅延させる、遅延作用も含む。
それぞれのイベント認識部180が一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基くジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部がもしあれば、そのイベント認識部が進行中のタッチに基づくジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態において、それぞれのイベント認識部180は、構成可能なプロパティ、フラグ、及び/又はイベント配信システムがアクティブに関わっているイベント認識部にどのようにサブイベント配信を実行するかについて示すリストを持つメタデータ183を含む。いくつかの実施形態において、メタデータ183は、構成可能なプロパティ、フラグ、及び/又はイベント認識部が互いにどのように対話するか、若しくは対話し得るかについて示すリストを含む。いくつかの実施形態において、メタデータ183は、構成可能なプロパティ、フラグ、及び/又はサブイベントがビュー階層又はプログラム階層内の様々なレベルに配信されるかどうかを示すリストを含む。
いくつかの実施形態において、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識された時に、イベントに関連付けられたイベントハンドラ190をアクティブ化する。いくつかの実施形態において、それぞれのイベント認識部180は、イベントハンドラ190に、イベントに関連付けられたイベント情報を配信する。イベントハンドラ190をアクティブ化することは、それぞれのヒットビューにサブイベントを送信(及び送信を延期)することから区別される。いくつかの実施形態において、イベント認識部180は、認識されたイベントに関連付けられたフラグをスローし、フラグに関連付けられたイベントハンドラ190はフラグをキャッチし、既定の処理を実行する。
いくつかの実施形態において、イベント配信命令188は、イベントハンドラをアクティブ化せずにサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連付けられたイベントハンドラ又はアクティブに関わっているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関わっているビューに関連付けられているイベントハンドラは、イベント情報を受け取り、所定の処理を実行する。
いくつかの実施形態において、データアップデータ176は、アプリケーション136−1で使用されるデータを作成及び更新する。例えば、データアップデータ176は、連絡先モジュール137で使用される電話番号を更新したり、ビデオプレーヤモジュール145で使用されるビデオファイルを記憶したりする。いくつかの実施形態において、オブジェクトアップデータ177は、アプリケーション136−1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデータ176は、新たなユーザインターフェースオブジェクトを作成したり、ユーザインターフェースオブジェクトの位置を更新したりする。GUIアップデータ178は、GUIを更新する。例えば、GUIアップデータ178は、表示情報を準備し、タッチ感知ディスプレイ上に表示するため、表示情報をグラフィックモジュール132に送信する。
いくつかの実施形態では、イベントハンドラ190は、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178を含むか、若しくはそれらに対するアクセスを有する。いくつかの実施形態において、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178は、それぞれのアプリケーション136−1又はアプリケーションビュー191の1つのモジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の論考はまた、入力デバイスを使用して多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチ画面上で開始されるわけではないことが理解されよう。例えば、単一又は複数のキーボードの押下又は保持に任意選択的に合わせたマウスの移動及びマウスボタンの押下、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭での命令、検出された眼球運動、バイオメトリック入力、及び/又はこれらの任意の組み合わせが、認識対象のイベントを定義するサブイベントに対応する入力として、任意選択的に利用される。
図2は、いくつかの実施形態に係る、タッチ画面112を有するポータブル多機能デバイス100を示す。タッチ画面は、ユーザインターフェース(UI)200内に1つ以上のグラフィックを、任意選択的に表示する。後述する実施形態並びに本実施形態において、ユーザは、例えば、1本以上の指202(図には、正確な縮尺率では描かれていない)又は1つ以上のスタイラス203(図には、正確な縮尺率では描かれていない)を用いてグラフィック上でジェスチャを行うことにより、グラフィックのうちの1つ以上を選択できる。いくつかの実施形態において、ユーザが1つ以上のグラフィックとの接触を断った際に、1つ以上のグラフィックの選択が生じる。いくつかの実施形態において、ジェスチャは、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上方向へ、及び/又は下方向へ)、及び/又はデバイス100と接触した指のローリング(右から左へ、左から右へ、上方向へ、及び/又は下方向へ)を、任意選択的に含む。いくつかの実装又は状況において、グラフィックとの偶発的な接触は、グラフィックを選択しない例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスワイプするスワイプジェスチャは任意選択的に、対応するアプリケーションを選択しない。
デバイス100はまた、「ホーム」又はメニューボタン204などの、1つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン204は、デバイス100上で、任意選択的に実行するアプリケーションのセット内の任意のアプリケーション136へのナビゲーションに、任意選択的に使用される。あるいは、いくつかの実施形態において、メニューボタンは、タッチ画面112に表示されたGUIにおけるソフトキーとして実装されている。
いくつかの実施形態において、デバイス100は、タッチ画面112、メニューボタン204、デバイスへの電源をオン/オフしてデバイスをロックするためのプッシュボタン206、音量調整ボタン(1つ又は複数)208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、ボタンを押下して、既定の時間間隔にわたってボタンを押下された状態を保持することによって、デバイス上の電源をオン/オフし、ボタンを押下して、既定の時間間隔が経過する前にボタンを解放することによって、デバイスをロックし、かつ/又はデバイスをロック解除するか、若しくはロック解除処理を開始するために、任意選択的に使用される。代替的実施形態において、デバイス100はまた、マイクロフォン113を通して、一部の機能をアクティブ化するか、又はディアクティブ化するための口頭入力を受け付ける。また、デバイス100は、タッチ画面112への接触の強度を検出するための1つ以上の接触強度センサI65及び/又はデバイス100のユーザの触知出力を生成するための1つ以上の触知出力生成器I67を、任意選択的に含む。
図3は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス300は、ポータブルでなくてもよい。いくつかの実施形態において、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPUの)310と、1つ以上のネットワーク又は他の通信インターフェース360と、メモリ370と、及びこれらの構成要素を相互接続するための1つ以上の通信バス320とを含む。通信バス320は、システム構成要素間の通信を相互接続及び制御する回路(チップセットと称することがある)を、任意選択的に含む。デバイス300は、典型的にはタッチ画面ディスプレイである、ディスプレイ340を備える入出力(I/O)インターフェース330を含む。I/Oインターフェース330はまた、キーボード及び/又はマウス(又は他のポインティングデバイス)350並びにタッチパッド355、デバイス300上に触知出力を生成するための(例えば、図1Aを参照して上述された触知出力生成器167と同様の)触知出力生成器357、センサ359(例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び/又は図1Aを参照して上述された接触強度センサ165と同様の接触強度センサ)も、任意選択的に含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス半導体メモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイスなどの、不揮発性メモリを含む。メモリ370は、CPU(1つ又は複数)310からは離れて位置する1つ以上の記憶デバイスを、任意選択的に含む。いくつかの実施形態において、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102に記憶されたプログラム、モジュール、及びデータ構造に類似する、プログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更に、メモリ370は、任意選択的に、ポータブル多機能デバイス100のメモリ102内に存在しない追加プログラム、モジュール、及びデータ構造を記憶し得る。例えば、デバイス300のメモリ370は、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を、任意選択的に記憶するが、ポータブル多機能デバイス100(図1)のメモリ102は、これらのモジュールを、任意選択的に記憶しない。
上記で特定された図3の要素のそれぞれは、任意選択的に、前述のメモリデバイスのうちの1つ以上に記憶される。上記で識別されたモジュールうちのそれぞれは、上述した機能を実行するための命令セットに対応する。上述の識別されたモジュール又はプログラム(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされるか、又は別の方法で再配置される。いくつかの実施形態において、メモリ370は、上述の識別されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ370は、上述されていない追加のモジュール及びデータ構造を、任意選択的に記憶する。
ここで、ポータブル多機能デバイス100上に任意選択的に実装される、ユーザインターフェース(「UI」)の実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係る、ポータブル多機能デバイス100上のアプリケーションのメニューに関する、例示的なユーザインターフェースを示す。同様のユーザインターフェースが機器300上に、任意選択的に実装され得る。いくつかの実施形態では、ユーザインターフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー及びWi−Fi信号などの無線通信(1つ又は複数)のための信号強度インジケータ(1つ又は複数)402、
●時間404、
●Bluetoothインジケータ405、
●バッテリ状態インジケータ406、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー408、
○不在着信又は音声メールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされる、電話モジュール138用のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされる、電子メールクライアントモジュール140用のアイコン418、
○「ブラウザ」とラベル付けされる、ブラウザモジュール147用のアイコン420、
○「iPod」とラベル付けされる、iPod(Apple Inc.の商標)モジュール152とも称されるビデオ及び音楽プレーヤモジュール152用のアイコン422、
●下記などの、その他のアプリケーション用のアイコン、
○「テキスト」とラベル付けされる、IMモジュール141用のアイコン424、
○「カレンダ」とラベル付けされる、カレンダモジュール148用のアイコン426、
○「写真」とラベル付けされる、画像管理モジュール144用のアイコン428、
○「カメラ」とラベル付けされる、カメラモジュール143用のアイコン430、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール155用のアイコン432、
○「株価」とラベル付けされる、株価ウィジェット149−2用のアイコン434、
○「地図」とラベル付けされる、地図モジュール154用のアイコン436、
○「天気」とラベル付けされる、気象ウィジェット149−1用のアイコン438、
○「時計」とラベル付けされる、アラーム時計ウィジェット149−4用のアイコン440、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール142用のアイコン442、
○「メモ」とラベル付けされる、メモモジュール153用のアイコン444、
○デバイス100及びその様々なアプリケーション136に関する設定へのアクセスを提供する、設定アプリケーション又はモジュール用のアイコン446。
図4Aに示されているアイコンのラベルは、単に例示的であることが理解されよう。例えば、ビデオ及び音楽プレーヤモジュール152用のアイコン422は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態において、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチ画面ディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を備えたデバイス(例えば、図3のデバイス300)上の例示的なユーザインターフェースを示す。デバイス300はまた、タッチ感知面451上の接触の強度を検出するための、1つ以上の接触強度センサ(例えば、センサ357のうちの1つ以上)、及び/又はデバイス300のユーザに対する触知出力を生成するための、1つ以上の触知出力生成器359を含む。
以下の実施例のうちのいくつかは、タッチ画面ディスプレイ112上の入力(タッチ感知面とディスプレイとが組み合わされている場合)を参照して説明されるが、いくつかの実施形態では、デバイスは、図4Bに示すように、ディスプレイとは別個のタッチ感知面上で入力を検出する。いくつかの実施形態において、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の主軸(例えば、図4Bの453)に対応する主軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置(例えば、図4Bにおいて、460は468と対応し、462は470と対応する)でのタッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このように、タッチ感知面がディスプレイとは別個のものである時、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されたユーザ入力(例えば、接触460及び462、並びにそれらの動き)は、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインターフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインターフェースに、任意選択的に使用されることを理解されたい。
更に加えて、以下の説明は、主に指入力(例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ)を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスに基づく入力又はスタイラス入力)で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに)マウスクリックと置換され、その後、(例えば、接触の移動の代わりに)スワイプの経路に沿ってカーソルの移動が行われる。別の例として、タップジェスチャは、(例えば、接触の検出に続いて接触の検出を停止する代わりに)カーソルがタップジェスチャの位置上に配置されている間、任意選択的に、マウスクリックと置換される。同様に、複数のユーザ入力が同時に検出される時、複数のコンピュータマウスが同時に、任意選択的に用いられているか、又はマウスと指接触が同時に用いられていることが理解されよう。
本明細書で使用される時、用語「フォーカスセレクタ」とは、ユーザが対話しているユーザインターフェースの現在の部分を示す、入力要素を指す。カーソル又は他のロケーションマーカを含むいくつかの実装において、カーソルは、タッチ感知面(例えば、図3のタッチパッド355、又は図4Bのタッチ感知面451)上で入力(例えば、押げ入力)が検出された時に、カーソルが特定のユーザインターフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素)の上にある時、「フォーカスセレクタ」として機能し、特定のユーザインターフェース要素が、検出された入力に応じて調整される。タッチ画面ディスプレイ上のユーザインターフェース要素との直接的な対話を可能にする、タッチ画面ディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112、又は図4Aのタッチ画面112)を含むいくつかの実装では、タッチ画面上で検出される接触が「フォーカスセレクタ」の役割を果たすため、入力(例えば、接触による押下入力)が、タッチ画面ディスプレイ上の特定のユーザインターフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素)の場所で検出されると、その特定のユーザインターフェース要素が、検出された入力に応じて調節される。いくつかの実装において、(例えば、タブキー又は矢印キーを使ったフォーカスの1つのボタンから別のボタンへの移動による)タッチ画面上の対応するカーソルの移動又は接触の移動なしに、フォーカスが、ユーザインターフェースの1つの領域からユーザインターフェースの別の領域に移動される。これらの実装において、フォーカスセレクタは、ユーザインターフェースの異なる領域間でのフォーカスの移動に従い移動する。フォーカスセレクタがとる特定のフォームに関係なく、フォーカスセレクタは、全体的に、ユーザの意図したユーザインターフェースとの(例えば、ユーザが対話したいと思っているユーザインターフェースの要素をデバイスに指示することによる)対話を伝達するように、ユーザによって制御されたユーザインターフェース要素(又は、タッチ画面ディスプレイ上の接触)である。例えば、押下入力がタッチ感知面(例えば、タッチパッド又はタッチ画面)上で検出された時にそれぞれのボタンの上にあるフォーカスセレクタ(例えば、カーソル、接触又は選択ボックス)の位置は、(デバイスのディスプレイ上に示されている他のユーザインターフェース要素とは反対に)ユーザが、それぞれのボタンをアクティブ化しようとしていることを指示することになる。
ユーザインターフェース及び関連プロセス
ここで、デバイス300又はポータブル多機能デバイス100などの、ディスプレイ及びタッチ感知面を有する電子デバイスに実装することができるユーザインターフェース(「UI」)及び関連プロセスの実施形態に注目する。あるいは、本明細書に記載されるUI及び処理は任意の他のデバイスタイプに実装され得る。
図5から図9及び図11から図16は、いくつかの実施形態に係る、インタラクティブ通知要素を表示するための例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図10、図17及び図19の処理を含む、以下に説明する処理を示すために用いられる。
いくつかの実施形態では、デバイス100などのデバイス上のアプリケーションは、フォアグラウンドモード又はバックグラウンドモードのいずれかにおいて動作する。アプリケーションがフォアグラウンドで動作する場合、このアプリケーションは、図2のタッチ画面112などの画面上に表示される主要な又は唯一のアイテムである。これにより、ユーザがアプリケーションの機能の全てにアクセスすることが可能になる。アプリケーションがバックグラウンドで動作する場合、このアプリケーションは画面上に表示される主要アイテムではない。いくつかの実施形態では、アプリケーションがバックグラウンドで動作している時、画面はアプリケーションが動作していることを示さない。
インタラクティブ通知要素により、デバイス100などのデバイスのユーザが、アプリケーションを必ずしもフォアグラウンドで開くことなくアプリケーションと対話することが可能になる。デバイスは画面上に通知要素を表示し、アプリケーションにおけるイベントをユーザに通知する。いくつかの実施形態では、アプリケーションにおけるイベントは、ユーザからの入力、例えば、テキストメッセージ又は電子メールなどのメッセージの受信を必要とするアクション又は状態である。他の実施形態においては、アプリケーションにおけるイベントはユーザの入力を必ずしも必要としない。
インタラクティブ通知要素
図5Aから図5Bは、ロック画面インターフェース上のインタラクティブ通知要素のための例示的なユーザインターフェースを示す。図5Aは、画面502上にロック画面を表示しているデバイス501を示す。ロック画面は、ロック解除ユーザインターフェース(UI)要素505と、第1のインタラクティブ通知要素UI要素510A(第1のインタラクティブ通知要素510Aとも称される)と、第2のインタラクティブ通知要素UI要素510B(第2のインタラクティブ通知要素510Bとも称される)と、時間/日付表示530と、を更に含む。ロック解除UI要素は、矢印のイメージ及び「スライドでロック解除」のテキストを更に含む。ユーザは、ロック解除UI要素505上で、矢印の方向のスワイプなどのジェスチャを入力し、デバイス501をロック解除することができる。図5Aに示される第1のインタラクティブ通知要素510Aはテキストメッセージ通知要素である。第1のインタラクティブ通知要素510Aは画面112の幅全体に水平に延び、アイコン515と、ヘッダ520と、メインコンテンツ525と、を更に含む。アイコン515は、対応するアプリケーションを表すイメージとされ得る。例えば、アイコン515は、メッセージングアプリケーションに関連するイメージを表示する。他の実施形態において、通知要素がデバイスのユーザではない第2の人物に関連する場合(例えば、ユーザの友人からの電子メールの受信)、アイコン515は、プロフィール写真などの、第2の人物に関連するイメージである。ヘッダ520は通知要素についての情報を提供するテキストである。例えば、テキストメッセージ通知要素では、ヘッダ520はメッセージ送信者の名前である。メインコンテンツ525は、通知要素に関する更なる情報を表示する。テキストメッセージ通知要素では、メインコンテンツ525は実際のテキストメッセージ自体又はその一部である。
ユーザは、インタラクティブ通知要素510Aと対話し、1つ以上のオプションを表示させて、通知要素又は関連のアプリケーションと対話することができる。図5Bを参照して以下に記載するように、例えば、インタラクティブ通知要素510A上での左へのスワイプ入力の受信に応じて、1つ以上のオプションUI要素が表示される。いくつかの実施形態では、インタラクティブ通知要素510A上でのタップ入力の受信により、関連のアプリケーションが立ち上がる。第2のインタラクティブ通知要素510Bは、第1のインタラクティブ通知要素510Aと類似又は同一の要素を含む。図5Aには2つのインタラクティブ通知要素510が示されるものの、ロック画面はより多数又はより少数のインタラクティブ通知要素を表示してもよい。以下に記載されるように、1つ以上のオプションUI要素545及び550を表示するために、ユーザは、矢印535によって示されるように、第1のインタラクティブ通知要素510A上で左にスワイプして2つのオプションUI要素545及び550(図5B)を表示させる。いくつかの実施形態では、ユーザのスワイプ入力は、画面502上への接触及び閾値を超えた連続的な動きを含む。
図5Bは、図5Aのデバイス501上で表示されるロック画面を示すが、第1のインタラクティブ通知要素510Aは、一実施形態に係る、関連のアプリケーションと対話するための更なるオプションを表示している。上で述べたユーザのスワイプ入力は、第1のインタラクティブ通知要素コンテンツ540の一部のみが見えるように、第1のインタラクティブ通知要素510A全体を画面502上で左に移動させる。いくつかの実施形態では、連続的な動きが閾値を超えない場合、第1のインタラクティブ通知要素510Aはその画面502上の元の位置に戻る。オプションUI要素545及び550は、第1のインタラクティブ通知要素510Aがもはや占有していないロック画面インターフェースの領域内に表示される。オプションUI要素545は、オプションUI要素545に関連付けられたアクションを示すテキスト545Aを更に含む。オプションUI要素550は、オプションUI要素550に関連付けられたアクションを示すテキスト550Aを更に含む。いくつかの実施形態では、オプションUI要素545は返信アクションに関連付けられ、ユーザがテキストメッセージに返信することを可能にし、オプションUI要素550は削除アクションに関連付けられ、ユーザがテキストメッセージを削除することを可能にする。この実施形態においては、テキスト545Aは「返信」という語を含み、テキスト550Aは「削除」という語を含む。他の実施形態においては、以下に更に記載されるように、異なるオプションUI要素545及び550が通知要素カテゴリ及びコンテキストに応じて表示される。ユーザが第1のインタラクティブ通知要素510A上で右にスワイプしたことに応じて、ロック画面インターフェースは第1のインタラクティブ通知要素510Aを右に戻し、オプションUI要素を隠す。第2のインタラクティブ通知要素510Bはロック画面インターフェース上に依然として見えている。図Bでは2つのオプションUI要素が表示されているが、他の実施形態においてはより多数又はより少数のオプションUI要素が表示されてもよい。
いくつかの実施形態では、ロック画面インターフェース上に表示される、あるオプションの選択は、ユーザにパスコードの入力を要求する。例えば、非正規ユーザがデバイス501上で実質的なアクションを行うことを防止するために、テキストメッセージへの返信又は電子メールの削除などのアクションでは、ユーザにパスコードの入力を要求してもよい。しかしながら、テキストメッセージを読むことなどのアクションにはパスコード検証を要求しなくてもよい。なぜなら、テキストメッセージを読むアクションはデバイス501に不可逆的な変化を引き起こさないと考えられるからである。いくつかの実施形態では、ユーザがパスコードを1回入力すると、ユーザは、パスコードを再度入力することなく、ロック画面上に表示されたインタラクティブ通知要素と対話し続けてもよい。しかしながら、ロック画面が閉じられると(例えば、ユーザがディスプレイ501の画面502をオフにするか、時間切れになった場合)、パスコードはリセットされ、ユーザは認証を必要とするアクションを行うためにパスコードを再度入力しなければならない。例えば、ユーザが電子メールの削除を選択するとパスコードを促される。ユーザがパスコードを入力した後、そのユーザは、別の電子メールの削除、テキストメッセージの送信等のような、認証を必要とする他のアクションを、それぞれのアクションについてパスコードを入力することなく行うことができる。いくつかの実施形態では、入力されたパスコードは、画面502が引き続きオンである限りは「アクティブ」又は「有効」のままとなる。他の実施形態においては、パスコードは、特定の時間量の経過後、パスコードが「無効」又は「非アクティブ」になるタイムアウト機能を有する。いくつかの実施形態では、特定の時間量ののち、画面502は自動的にオフになるため、認証を必要とする更なるアクションを行う前に、ユーザにパスコードの再入力を要求する。
図6は、いくつかの実施形態によるパスコード要求インターフェースを示す。パスコード要求インターフェースはデバイス601の画面602上に表示され、パスコード表示領域605及びキーパッド610を含む。キーパッド610は、ユーザが数字のパスコードを入力することを可能にし、パスコード表示領域605は、ユーザがパスコードを入力するとパスコードの各桁を表示する。他の実施形態においては、キーパッド610は、ユーザが英数字のパスコードを入力することを可能にするために、数に加え、文字を含んでもよく、パスコード表示領域605は、パスワードが入力される際、パスワードの文字を隠す。
図7Aから図7Bは、一実施形態に係る、デバイス701の画面702上に表示される、通知要素センターインターフェース上のインタラクティブ通知要素のためのユーザインターフェースを示す。いくつかの実施形態では、デバイス701はデバイス100であり、画面702は画面112である。通知要素センターインターフェースがユーザのパスコード認証を必要としないこと以外は、通知要素センターインターフェースに表示されるインタラクティブ通知要素はロック画面インターフェースと同一である。デバイス701が通知要素センターインターフェースを表示している場合は、デバイス701のユーザはパスコードをすでに入力したか、そうでなければ、デバイス701の使用が許可されている。図7Aは、画面702上に通知要素センターインターフェースを表示しているデバイス100を示す。図7Aに示される通知要素センターインターフェースは、通知要素センターインターフェースがロック解除UI要素505又は時間/日付表示530を含まないこと以外は図5Aに示されるロック画面インターフェースとほぼ同一である。通知要素センターインターフェースは、図5Aの510A及び510Bを参照して上で述べたインタラクティブ通知要素710A及び710Bを含み、簡略化のためにここではこれ以上記載しない。いくつかの実施形態では、インタラクティブ通知要素710A上でタップ入力を受信すると、関連のアプリケーションが立ち上がる。以下に記載されるオプションUI要素725及び730を表示させるために、ユーザは、矢印715により示されるように左にスワイプする。スワイプ動作715は図5Aを参照して上で述べた動作と同様である。
図7Bは、図7Aのデバイス701を示すが、一実施形態によれば、第1のインタラクティブ通知要素710Aは関連のアプリケーションと対話するための更なるオプションを表示している。第1のインタラクティブ通知要素710A、インタラクティブ通知要素コンテンツ720並びにオプションUI要素725及び730は、図5Bを参照して上で述べた同様の要素に類似しており、簡略化のためにこれ以上はここで記載しない。
図8Aから図8Bは、一実施形態に係る、ホーム画面インターフェース上のインタラクティブ通知要素を示す。図8Aは、画面802上にホーム画面インターフェースを表示しているデバイス801を示す。いくつかの実施形態では、デバイス801はデバイス100であり、画面802は画面112である。ホーム画面インターフェースは、アプリケーションアイコン805及びインタラクティブ通知要素バナー810を含む。アプリケーションアイコン805については図4Aを参照して上で更に述べた。図8Aに示されるインタラクティブ通知要素バナー810はテキストメッセージ通知要素である。インタラクティブ通知要素バナー810は画面112の上部に配置され、画面802の幅全体に延び、アイコン815と、ヘッダ820と、メインコンテンツ825と、プルダウンUI要素830と、を更に含む。アイコン815、ヘッダ820及びメインコンテンツ825は、図5Aを参照して上で述べたアイコン515、ヘッダ520及びメインコンテンツ525に類似し、簡略化のためにこれ以上はここで記載しない。いくつかの実施形態では、インタラクティブ通知要素バナー810上でタップ入力又は他の接触を受信すると、関連のアプリケーションが立ち上がる。図8Bに示されるオプションUI要素を表示させるために、ユーザは、矢印835によって示されるように、プルダウンUI要素830上で下方にスワイプする。スワイプ入力については図5Aを参照して上で述べた。
図8Bは、一実施形態に係る、図8Aのデバイス801を示すが、インタラクティブ通知要素バナー810は、関連のアプリケーションと対話するための更なるオプションを表示している。矢印835によって示されるように、ユーザがプルダウンタブUI要素830上で下方にスワイプしたことに応じて、ホーム画面インターフェースはインタラクティブ通知要素バナー810上に1つ以上のオプションUI要素を表示する。インタラクティブ通知要素バナー810は、ここでは、オプションUI要素840及び845を更に含む。オプションUI要素840は、オプションUI要素840に関連付けられたアクションを示すテキスト840Aを更に含む。オプションUI要素845はオプションUI要素845に関連付けられたアクションを示すテキスト845Aを更に含む。いくつかの実施形態では、インタラクティブ通知要素バナーはテキストメッセージ通知要素として示されることから、オプションUI要素840は返信アクションに関連付けられ、ユーザがテキストメッセージに返信することを可能にし、オプションUI要素845は削除アクションに関連付けられ、ユーザがテキストメッセージを削除することを可能にする。この例では、テキスト840Aは、「返信」という語を含み、テキスト845Aは「削除」という語を含む。他の実施形態においては、以下に更に記載されるように、異なるオプションUI要素840及び845が通知要素カテゴリ及びコンテキストに応じて表示される。矢印850によって示されるように、ユーザがプルダウンUI要素830上で上方にスワイプしたことに応じて、ホーム画面インターフェースはオプションUI要素を隠す。
図9Aから図9Bは、一実施形態に係る、モーダルアラートインターフェース上のインタラクティブ通知要素のためのユーザインターフェースを示す。モーダルアラートインターフェースは、デバイス901の画面902の中央近辺に表示されるモーダルアラート905を含む。いくつかの実施形態では、デバイス901はデバイス100であり、画面902は画面112である。いくつかの実施形態では、モーダルアラート905はフォアグラウンドで表示され、バックグラウンドで表示される任意のアプリケーション又はインターフェースを不明瞭にする。モーダルアラート905は、アイコン910と、ヘッダ915と、メインコンテンツ920と、オプションUI要素925及び930と、を更に含む。アイコン910、ヘッダ915及びメインコンテンツ920は、図5Aを参照して上で述べたアイコンA10、ヘッダ515及びメインコンテンツ520に類似し、簡略化のためにこれ以上はここで記載しない。ロック画面インターフェース(図5Aから図5B)、通知要素センターインターフェース(図7Aから図7B)又はホーム画面インターフェース(図8Aから図8B)とは異なり、モーダルアラートインターフェースはユーザの入力を受信することなく1つ以上のオプションUI要素を自動的に表示する。オプションUI要素925は、オプションUI要素925に関連付けられたアクションを示すテキスト925Aを更に含む。クローズUI要素930は、クローズUI要素930に関連付けられたアクションを示すテキスト930Aを更に含む。いくつかの実施形態では、図9Bを参照して以下に記載されるように、オプションUI要素925は、対応するアプリケーションに関連する1つ以上の更なるオプションUI要素の表示に関連付けられる。クローズUI要素930は、モーダルアラート905を閉じること、ゆえに、モーダルアラート905をフォアグラウンドで表示するのを停止することに関連付けられる。
図9Bは、図9Aのデバイス901を示すが、ユーザがオプションUI要素925を選択したのに応じてオプションシート935がモーダルアラート上に表示されている。モーダルアラート905と同様に、オプションシート935は、アイコン940と、ヘッダ945と、コンテンツ950と、を含む。いくつかの実施形態では、オプションシート935は、合計6つのオプションUI要素955、960、965、970、975及び980を表示する。いくつかの実施形態では、オプションUI要素955は、「デフォルト」オプションであり、対応するアプリケーションの立ち上げに関連付けられる。以下に記載されるように、オプションUI要素960、965、970及び975はそれぞれ、通知要素カテゴリ及びコンテキストに応じて、対応するアプリケーションの異なるアクションに関連付けられる。オプションUI要素980は、クローズオプションUI要素930と同様の機能を果たす。モーダルアラートインターフェースは画面902上により広い表面積を提供することから、モーダルアラート905は上で述べた他のインタラクティブ通知要素に比べてより多数のオプションを表示する。図9Bには合計6つのオプションUI要素が示されているが、他の実施形態においては、モーダルアラートインターフェースはより多数又はより少数のオプションUI要素を表示してもよい。
図10は、いくつかの実施形態に係る、インタラクティブ通知要素を提供するための方法1000を示す流れ図である。まず、イベントの発生が検出される(1005)。いくつかの実施形態では、イベントはアプリケーションに関連付けられる。したがって、イベントの発生の検出に応じて、ユーザインターフェースの第1の領域内に通知要素が表示される(1010)。通知要素は、イベントに関する情報を含む。いくつかの実施形態では、表示される通知要素は、図5から図9及び図11から図16に示されて上で述べた通知要素に類似する。例えば、通知要素は、ロック画面通知要素(図5Aから図5B)、通知要素センター通知要素(図7Aから図7B)、ホーム画面通知要素(図8Aから図8B)又はモーダルアラート通知要素(図9Aから図9B)とすることができる。
最後に、ユーザインターフェースの第1の領域内における1つ以上のジェスチャの第1のシーケンスの検出に応じて、複数のアクションオプションUI要素が表示される(1015)。いくつかの実施形態では、イベントは受信されたメッセージであり、表示されたアクションオプションUI要素は、削除UI要素、既読としてマークUI要素、お気に入りとしてマークUI要素、返信UI要素、スパムとしてマークUI要素及びフォルダに移動UI要素のうちの2つ以上を含む。いくつかの実施形態では、1つ以上のジェスチャの第1のシーケンスは、スワイプジェスチャ又は左方向のスワイプジェスチャを含む。いくつかの実施形態では、1つ以上のジェスチャの第1のシーケンスは下方向のスワイプジェスチャを含む(図8A)。
いくつかの実施形態では、通知要素は、所定の時間表示された後、ディスプレイから除去されることになっており、方法は、所定の時間の後、1つ以上の入力の第1のシーケンスの検出に応じて、通知要素をディスプレイ上に保持させることを更に含む。いくつかの実施形態では、各アクションオプションUI要素の選択は、関連のアプリケーションに異なるアクションを実施させる。例えば、受信電子メール通知要素に対する「削除」アクションオプションUI要素の選択は、関連の電子メールアプリケーションに、受信した電子メールを削除させる。いくつかの実施形態では、アクションオプションUI要素の選択に応じて実施されるアクションは、ユーザインターフェースの第2の領域内に関連のアプリケーションを表示することなく実施される。いくつかの実施形態では、図6を参照して上で述べたように、アプリケーションにアクションを実施させることは、アクションの実施に進む前にユーザの認証コードを要求することを更に含む。例えば、第1のアクションが、デバイスのロック中に実施されることを選択された破壊的なアクションである場合、アクションが実施される前に、ユーザはデバイスに自身を認証することを促される(例えば、パスコードの入力又は指紋などの生体認証の提供によって)(図6)。
いくつかの実施形態では、アクションオプションUI要素のいくつか又は全ては、アプリケーションから受信したグリフを含む。例えば、受信電子メール通知要素の削除アクションオプションUI要素は、関連の電子メールアプリケーションから受信した「X」のグラフィックを含む。いくつかの実施形態では、方法1000は、1つ以上のジェスチャの第1のシーケンスの検出に応じて、受信メッセージのプレビューを表示することを更に含む(図5A)。いくつかの実施形態では、通知要素はプレビューを含み、1つ以上のジェスチャの第1のシーケンスの検出に応じて、拡大されたプレビューが表示される。いくつかの実施形態では、方法1000は、ユーザインターフェースの第1の領域内における1つ以上のジェスチャの第2のシーケンスの検出に応じて、関連のアプリケーションをユーザインターフェースの第2の領域内に表示することを更に含む。例えば、いくつかの実施形態では、受信電子メール通知要素に対する「返信」UI要素の選択は、関連の電子メールアプリケーションをフォアグラウンドで開かせる。いくつかの実施形態では、方法1000は、アクションオプションUI要素の選択の検出に応じて、2つ以上の更なるアクションオプションUI要素を表示することを更に含む。例えば、モーダルアラートインターフェース内における「オプション」UI要素の選択(図9A)は、合計6つのオプションを表示させる(図9B)。
インラインメッセージ返信
いくつかの実施形態では、インタラクティブ通知要素は、ユーザがテキストメッセージ又は音声メッセージなどのメッセージを受信したことをユーザに知らせる。ユーザがより効率的にメッセージに応じることを可能にするために、インタラクティブ通知要素は、対応するアプリケーションをフォアグラウンドで開くことなく、ユーザがメッセージにテキスト又は音声によりインライン返信するための方法を提供する。
図11から図16は、いくつかの実施形態に係る、インライン返信機能を備えたインタラクティブ通知要素を表示するための例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図10、図17及び図19の処理を含む、以下に説明する処理を示すために用いられる。いくつかの実施形態においては、ロック画面インターフェース(図5Aから図5B)及び通知要素センターインターフェース(図7Aから図7B)はインライン返信機能を提供しない。その代わり、インタラクティブ通知要素内に表示された「返信」オプションUI要素の選択は、デバイスはホーム画面バナーインターフェース(図8Aから図8B)又はモーダルアラートインターフェース(図9Aから図9B)のいずれかの変更バージョンを表示させ、インライン返信機能を提供する。
図11Aは、いくつかの実施形態に係る、画面1102上にホーム画面インターフェースを表示しているデバイス1101を示す。いくつかの実施形態では、デバイス1101はデバイス100であり、画面1102は画面112である。図8Aと同様に、ホーム画面インターフェースは、複数のアプリケーションアイコン1105及びインタラクティブ通知要素バナー1110を含む。アプリケーションアイコン1105については図4Aを参照して更に上で述べられている。図11Aに示されるインタラクティブ通知要素バナー1110は、テキストメッセージ通知要素であり、図8Aに示されるインタラクティブ通知要素バナー810と同様の要素を含む。しかしながら、図11Aに示されるインタラクティブ通知要素バナー1110は、インライン返信機能を更に含み、インライン返信機能は、テキスト入力フィールド1130及び録音オプションUI要素1135を含む。録音オプションUI要素1135はマイクロフォンのグラフィックを有する円形の輪郭を含む。いくつかの実施形態では、選択されると、テキスト入力フィールド1130は、ユーザから、キーボードによるテキスト入力を受信する。いくつかの実施形態では、録音オプションUI要素1135は、選択されると、デバイス1101にユーザから音声入力を受信させる。ユーザによる録音オプションUI要素1135の選択に応じて、テキスト入力フィールド1130及び録音オプションUI要素1135は、一時停止オプションUI要素と、ユーザが今、音声メッセージを録音してもよいことを示す波形要素とに入れ替わる。ユーザによる一時停止オプション要素の選択に応じて、デバイスは音声メッセージの録音を停止する。いくつかの実施形態では、インライン返信機能は、対応するアプリケーションによるインライン返信オプションの提供に応じて、インタラクティブバナー通知要素内に表示される。いくつかの実施形態では、インライン返信機能は、カレンダイベントのリマインダなどの返信に値しないいくつかの通知要素に対しては表示されない。
図11Bは、いくつかの実施形態に係る、テキスト入力フィールド1130内におけるユーザのテキストの入力に応じて、ホーム画面インターフェースを表示している図11Aのデバイス801を示す。ユーザによるテキスト入力フィールド1105の選択に応じて、録音オプションUI要素1135は送信オプションUI要素1145に入れ替わり、キーボードUI要素1150が表示される。キーボードUI要素1150はユーザがテキスト1140を入力することを可能にし、テキスト1140はテキスト入力フィールド1130内に表示される。ユーザが返信メッセージのタイピングを完了すると、ユーザは送信オプションUI要素1145を選択する。ユーザによる送信オプションUI要素1145の選択に応じて、インタラクティブバナー通知要素1110は上方にスライドし、画面1102から消え、キーボードUI要素1150は下方にスライドし、画面112から消える。図11Aから図11Bに示されるユーザインターフェースは、関連のアプリケーションをフォアグラウンドモードで開くことなくユーザが受信メッセージに返信することを可能にする。
図12Aは、いくつかの実施形態に係る、画面1202上にモーダルアラートインターフェースを表示しているデバイス1201を示す。いくつかの実施形態では、デバイス1201はデバイス100であり、画面1202は画面112である。図9Aと同様に、モーダルアラートインターフェースはモーダルアラート1205を含む。モーダルアラート1205は図9Aを参照して上で述べたモーダルアラート905に類似し、アイコン1210と、ヘッダ1215と、メインコンテンツ1220と、オプションUI要素1225及び1230と、を含む。しかしながら、図12Aに示されるモーダルアラート1205は、テキスト入力フィールド1235及び録音オプションUI要素1240を更に含む。テキスト入力フィールド1235及び録音オプションUI要素1240は、図11Aを参照して記載したテキスト入力フィールド1130及び録音オプションUI要素1135と同様に機能する。
図12Bは、いくつかの実施形態に係る、ユーザによるテキスト入力フィールド1235の選択に応じて、モーダルアラートインターフェースを表示している図12Aのデバイス1201を示す。ユーザによるテキスト入力フィールド1235の選択に応じて、録音オプションUI要素1240は送信オプションUI要素1250に入れ替わり、画面112の下部にキーボードUI要素1255が表示される。キーボードUI要素は、ユーザがテキスト1245を入力することを可能にし、テキスト1245はテキスト入力フィールド1235内に表示される。ユーザが返信メッセージのタイピングを完了すると、ユーザは送信オプションUI要素1250を選択する。ユーザによる送信オプションUI要素1250の選択に応じて、モーダルアラートインタラクティブ通知要素1205は画面1202から消え、キーボードUI要素1150は下方にスライドし、画面1202から消える。図12Aを再度参照すると、ユーザによる録音オプションUI要素1240の選択に応じて、デバイス1201は、受信メッセージへの発話による返信(spoken reply)などの、ユーザの音声入力を受信する。ユーザから音声入力の受信に応じて、受信メッセージへの返信において、音声入力が送信に供される。
音声メッセージ
いくつかの実施形態では、インタラクティブ通知要素は、ユーザがボイスメッセージなどの音声メッセージを受信したことをユーザに知らせる。ユーザがメッセージをより効率的に聴き、返信することを可能にするために、インタラクティブ通知要素は、対応するアプリケーションをフォアグラウンドで開くことなく、ユーザが新規メッセージを聴くための、及び録音するための方法を提供する。
図13から図16は、いくつかの実施形態に係る、インライン返信機能を備えたインタラクティブ通知要素を表示するための例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図10、図17及び図19の処理を含む、以下に説明する処理を示すために用いられる。
図13は、いくつかの実施形態に係る、図5Aを参照して上で述べたような、画面1302上にロック画面インターフェースを表示しているデバイス1301を示す。いくつかの実施形態では、デバイス1301はデバイス100であり、画面1302は画面112である。ロック画面インターフェースは、インタラクティブ通知要素1305を含み、インタラクティブ通知要素1305は、アイコン1310と、ヘッダ1315と、メインコンテンツ1320と、を更に含む。図13に示されるインタラクティブ通知要素1305は、デバイス1301のユーザに、音声メッセージを受信したことを通知する。いくつかの実施形態では、メインコンテンツ1320は、「音声メッセージ。耳にあてて聴く。」と示すテキストを含む。ユーザがデバイス1301を自身の耳にあてたことに応じて、デバイス1301は音声メッセージを再生し始める。図14は、図7Aを参照して上で述べたように、画面1402上に通知要素センターインターフェースを表示しているデバイス1401を示す。いくつかの実施形態では、デバイス1401はデバイス100であり、画面1402は画面112である。通知要素センターインターフェースは、図13を参照して上で述べたロック画面インターフェースと同様に、インタラクティブ通知要素1405を含み、インタラクティブ通知要素1405は、アイコン1410と、ヘッダ1415と、通知要素コンテンツ1420と、を更に含む。図13に示されるインターフェースに関しては、ユーザがデバイス1401を自身の耳にあてたことに応じて、デバイス1401は音声メッセージを再生し始める。いくつかの実施形態では、音声メッセージはデフォルトでは、ユーザが音声メッセージを聴くためにデバイス1401を耳にあてたことに応じて、デバイス1401のイヤピースを通じて再生される。
図15Aは、図8Aを参照して上で述べたように、画面1502上にホーム画面インターフェースを表示しているデバイス1501を示す。いくつかの実施形態では、デバイス1501はデバイス100であり、画面1502は画面112である。ホーム画面インターフェースは、インタラクティブ通知要素バナー1505を含み、インタラクティブ通知要素バナー1505は、アイコン1510と、ヘッダ1515と、メインコンテンツ1520と、時間インジケータ1525と、再生オプションUI要素1530と、プルダウンUI要素1535と、を更に含む。図15Aに示されるインタラクティブ通知要素バナー1505は、音声メッセージを受信したことをユーザに知らせる。メインコンテンツ1515は、「音声メッセージ」と示すテキストを含む。時間インジケータ1525は、受信した音声メッセージの長さをユーザに対して表示する。再生オプションUI要素1530は、三角形の再生記号を有する円形ボタンを含む。ユーザによる再生オプションUI要素1530の選択に応じて、デバイス1501は音声メッセージを再生する。いくつかの実施形態では、音声メッセージはデフォルトでは、音声メッセージを聴くために、ユーザによる再生オプションUI要素1530の耳にあてる選択に応じて、デバイス1501のスピーカホンを通じて再生される。図15Bに示されるように、ユーザによる再生オプションUI要素1530の選択に応じて、時間インジケータ1525は音声メッセージの再生が開始されてからの経過時間を表示する。加えて、再生オプションUI要素1530は変化して円形ボタン内に一時停止のグラフィックを表示し、プログレスバー1545が再生オプションUI要素1530の周方向に表示される。プログレスバー1545の長さは時間インジケータ1525によって示される経過時間に比例して増加する。一時停止のグラフィックの表示中における、ユーザによる再生オプションUI要素1530の選択に応じて、音声メッセージは再生を停止する。図15Cに示されるインライン返信ユーザインターフェースを表示するために、ユーザは、矢印1540によって示されるように、プルダウンUI要素1535上で下方にスワイプする。
図15Cは、いくつかの実施形態に係る、ユーザがプルダウンUI要素830上で下方にスワイプしたことに応じて、図15Aのユーザインターフェースを表示しているデバイス1501を示す。いくつかの実施形態では、デバイス1501のユーザは、音声メッセージに返信するために、矢印1540によって示されるように、プルダウンUI要素1535上で下方にスワイプする。ユーザがプルダウンUI要素1535上で下方にスワイプしたことに応じて、インタラクティブ通知要素バナー1505が下方に延び、テキスト入力フィールド1550及び録音オプションUI要素1555を表示する。テキスト入力フィールド1550及び録音オプションUI要素1555については図11A及び図11Bを参照して更に上で述べられている。図15Dは、いくつかの実施形態に係る、ユーザによる録音オプションUI要素1555の選択に応じた、図15Aのデバイス1501を示す。ユーザによる録音オプションUI要素1555の選択に応じて、テキスト入力フィールド1550及び録音オプションUI要素1555は、一時停止オプションUI要素1560と、ユーザが今、音声メッセージを録音してもよいことを示す波形要素1565とに入れ替わる。ユーザによる一時停止オプションUI要素1560の選択に応じて、デバイスは音声メッセージの録音を停止する。
図16は、図9Aを参照して上で述べたように、いくつかの実施形態に係る、画面1602上にモーダルアラートインターフェースを表示しているデバイス1601を示す。いくつかの実施形態では、デバイス1601はデバイス100であり、画面1602は画面112である。モーダルアラート1605は、図9Aを参照して上で述べた要素に類似する、アイコン1610と、ヘッダ1615と、オプションUI要素1620と、クローズUI要素1625と、コンテンツ1630と、を含む。いくつかの実施形態では、モーダルアラート1605が、受信した音声メッセージの通知要素である場合、モーダルアラート1605は再生オプションUI要素1635及び波形のグラフィック1640を更に含み、受信メッセージが音声メッセージであることをユーザに知らせる。図15A及び図15Bを参照して上で述べたように、ユーザによる再生オプションUI要素1635の選択に応じて、音声メッセージは再生を開始し、再生オプションUI要素は一時停止のグラフィックを表示する。
図17は、いくつかの実施形態に係る、インライン返信機能を備えるインタラクティブ通知要素を提供するための方法1700を示す流れ図である。まず、メッセージが受信される(1705)。例えば、テキストメッセージが受信される。次いで、第1の通知要素がユーザインターフェースの第1の領域内に表示される(1710)。第1の通知要素は、受信した第1のメッセージに関する情報を含む。例えば、通知要素は、ロック画面通知要素(図5Aから図5B)、通知要素センター通知要素(図7Aから図7B)、ホーム画面通知要素(図8Aから図8B)又はモーダルアラート通知要素(図9Aから図9B)とすることができる。
第1の通知要素を表示している間に、第1のメッセージへの返信を開始するために第1のUI要素が表示される(1715)。いくつかの実施形態では、ユーザ生成返信はテキストベースのメッセージを含む。例えば、ユーザ生成返信は電子メールメッセージである。いくつかの実施形態では、第1のUI要素はテキスト入力フィールドである(図11A、テキスト入力フィールド1130)。いくつかの実施形態では、第1のUI要素を表示することは、ユーザインターフェースの第1の領域内において1つ以上のジェスチャのシーケンスを受け取ることと、1つ以上のジェスチャのシーケンスの受け取りに応じて、ユーザインターフェースの第2の領域内に第1のUI要素を表示することと、を含む。いくつかの実施形態では、ユーザ生成返信は音声メッセージを含む。例えば、ユーザは、受信したテキストメッセージに対し、発話音声メッセージ(spoken audio message)を録音することによって返信することができる。いくつかの実施形態では、受信メッセージが音声メッセージである場合、方法1700は、第1の通知要素を表示している間に、電子デバイスを耳にあてる動作(raising motion)を検出したことに応じて、音声メッセージを再生することを更に含む。いくつかの実施形態では、ユーザ生成返信に関する情報は、ユーザインターフェースの第2の領域内にアプリケーションを表示することなく受け取られる。次いで、第1のUI要素の選択を受信したことに応じて、第1のメッセージへのユーザ生成返信に対応する情報が受け取られる(1720)。
最後に、送信入力を受け取ったことに応じて、ユーザ生成返信が送信に供される(1725)。いくつかの実施形態では、送信入力を受信することは、第2のUI要素の選択を受信することを含む。例えば、第2のUI要素は「送信」UI要素である(図11B、送信UI要素1145)。いくつかの実施形態では、送信入力を受信することは、電子デバイスを下ろす動きを検出することを含む。いくつかの実施形態では、方法1700は、ユーザ生成返信を送信に供することに応じて、ユーザインターフェースの第1の領域内に第1の通知要素を表示するのを停止することを更に含む。例えば、図11Bを参照して上で述べたように、ユーザが「送信」UI要素を選択した後、第1の通知要素はデバイスの画面から消える。いくつかの実施形態では、方法1700は、第1の通知要素を表示している間に、第2のメッセージを受信することと、第2のメッセージを通知要素の待ち行列に挿入することと、ユーザ生成返信を送信に供することに応じて、通知要素の待ち行列から第2のメッセージを取り出すことと、ユーザインターフェースの第1の領域内に第2の通知要素を表示することであって、通知要素が、受信した第2のメッセージに関する情報を含む、ことと、を更に含む。例えば、第1のテキストメッセージの通知要素が表示されている間に、第2のテキストメッセージが受信される。第2のテキストメッセージの通知要素は、ユーザが第1のテキストメッセージに返信するまで表示されない。いくつかの実施形態では、第2のメッセージを受信したという表示が表示される。いくつかの実施形態では、方法1700は、第1の通知要素を表示している間に、第2のメッセージを受信することと、第2のメッセージが第1のメッセージに関連すると判定することと、ユーザインターフェースの第1の領域内に第2の通知要素を表示することであって、通知要素が、受信した第2のメッセージに関する情報を含む、ことと、を更に含む。例えば、第1のテキストメッセージの通知要素が表示されている間に、第1のテキストメッセージに関連する(例えば、同じ送信元からの)第2のテキストメッセージが受信される。次いで、第1のテキストメッセージの通知要素が、第2のテキストメッセージの通知要素に入れ替わる。いくつかの実施形態では、第2の通知要素を表示することは、すでに受信している、ユーザ生成返信に関する情報を保持することを含む。例えば、ユーザが第1の受信したテキストメッセージへの返信をタイピングし始めた場合、タイプ済みの返信は、第2のテキストメッセージ通知要素が表示されている時には保持される。
いくつかの実施形態では、方法1700は、第1の通知要素の選択に対応する入力上のタップ入力(例えば、通知要素上のタップ入力)の受信に応じて、ユーザインターフェースの第2の領域内に関連のアプリケーションを表示することを更に含む。いくつかの実施形態では、ユーザインターフェースの第2の領域内に完全な関連のアプリケーションを表示することは、すでに受信しているユーザ生成返信に関する情報を保持することを含む。例えば、ユーザが、受信したテキストメッセージへの返信をタイピングし始めた場合、タイプ済みの返信は保持され、フルテキストメッセージアプリケーションがフォアグラウンドで開かれた時に表示される。いくつかの実施形態では、第1のUI要素は、テキスト入力フィールドと、音声の録音を開始するための音声入力ボタンと、を含み、方法1700は、第1のUI要素の選択の受信に応じて、選択がテキスト入力フィールドの選択を含むという判定に従い、ディスプレイ上にソフトキーボードを表示し、音声入力ボタンを、テキストメッセージを送信するための送信ボタンに入れ替えることと、選択が音声入力ボタンの選択を含むという判定に従い、音声の録音を開始し、テキスト入力フィールドを、音声が録音されている表示に入れ替えることと(例えば、音声が録音されていることを示す波形のグラフィック表示)、を更に含む。
いくつかの実施形態では、方法1700は、第1のメッセージの第1の通知要素を表示している間に、第2のメッセージを受信することと、第2のメッセージの受信に応じて、第2のメッセージが第1のメッセージに関連しないという判定に従い、第2のメッセージの第2の通知要素を表示させることを、第1の通知要素が閉じられるまで遅延させることと、を更に含む。いくつかの実施形態では、方法1700は、第2の通知要素を表示している間に、第1の通知要素を閉じる要求を検出することと(例えば、送信メッセージオプションの選択)、第1の通知要素を閉じる要求を検出したことに応じて、第1の通知要素を表示するのを停止することと、第1の通知要素を表示するのを停止した後、第2の通知要素を表示することと、を更に含む。いくつかの実施形態では、方法1700は、第2のメッセージの受信に応じて、第2のメッセージが第1のメッセージに関連するという判定に従い、第2のメッセージを受信したことを示すように第1の通知要素をアップデートすること、を更に含む。いくつかの実施形態では、第1の通知要素をアップデートすることは、別の関連メッセージを受信したというインジケータを表示することを含む。いくつかの実施形態では、第1の通知要素をアップデートすることは、受信したいくつかの関連メッセージのインジケータを表示することを含む。いくつかの実施形態では、第1の通知要素をアップデートすることは、第2のメッセージのコンテンツの一部を第1の通知要素内に表示することを含む。
通知要素カテゴリ及びコンテキスト
いくつかの実施形態では、インタラクティブ通知要素によって表示されるアクションオプションは、通知要素カテゴリ、通知要素コンテキスト又は両者の組み合わせに応じて変化する。通知要素カテゴリは、定義されたアクションセットに対応する、特定のアプリケーションの通知要素の一種である。いくつかの実施形態では、アプリケーションは通知要素カテゴリを定義し、アクションを各通知要素カテゴリに対してマッピングする。例えば、いくつかの実施形態では、電子メールアプリケーションは「電子メール受信」カテゴリを定義する。いくつかの実施形態では、電子メールアプリケーションは、読むアクション、返信アクション、未読としてマークアクション及び削除アクションを、「電子メール受信」通知要素カテゴリに対してマッピングする。したがって、受信した新規電子メールメッセージをユーザに通知するためにインタラクティブ通知要素が表示されると、読むオプション、返信オプション、未読としてマークオプション及び削除オプションがインタラクティブ通知要素とともに表示される。別の例として、いくつかの実施形態では、ソーシャルネットワーキングアプリケーションが、「メッセージ受信」、「写真タグ」、「友達申請」及び「ウォールへの投稿」カテゴリを含む、いくつかの通知要素カテゴリを定義する。いくつかの実施形態では、ソーシャルネットワーキングアプリケーションは、「友達申請」通知要素カテゴリに対して承認アクション、拒否アクション及び無視アクションをマッピングする。したがって、ユーザに新規友達申請を通知するためにインタラクティブ通知要素が表示されると、承認オプション、拒否オプション及び無視オプションがインタラクティブ通知要素とともに表示される。しかしながら、ユーザは「ウォールへの投稿」通知要素に対しては異なるように応答する(例えば、ユーザは自身のウォールに投稿されたものについては承認又は拒否しない)。したがって、いくつかの実施形態では、ソーシャルネットワーキングアプリケーションは、「ウォールへの投稿」通知要素カテゴリに対しては異なるアクションセットをマッピングする。この結果、インタラクティブ通知要素とともに表示されるアクションは通知要素カテゴリに基づき変化する。
通知要素コンテキストは、インタラクティブ通知要素が表示されるコンテキストである。いくつかの実施形態では、通知要素コンテキストは、デバイス100上に現在表示されている特定のユーザインターフェースに相当する。例えば、いくつかの実施形態では、通知要素コンテキストは、ロック画面インターフェース、通知要素センターインターフェース、ホーム画面インターフェース、モーダルアラートインターフェース及びネットワークオブザーバからなる群より選択される。ネットワークオブザーバについて、図18Bを参照して更に以下に記載する。いくつかの実施形態では、アプリケーションは、通知要素カテゴリのアクションのサブセットを各通知要素コンテキストに対してマッピングする。いくつかの実施形態では、各通知要素カテゴリに対してマッピングされるアクションは、デバイス100の画面上の利用可能な領域に一部基づいて決定される。例えば、計4つのアクション(読む、返信、未読としてマーク及び削除)が電子メールアプリケーションの「電子メール受信」通知要素カテゴリに対してマッピングされる。しかしながら、ロック画面コンテキストでは、デバイス100のディスプレイ112上には、2つのアクションオプションを表示するのに十分な領域しかない。したがって、アプリケーションは、返信アクション及び削除アクションをロック画面コンテキストに対してマッピングする。このため、いくつかの実施形態では、ロック画面インターフェース上に表示される「電子メール受信」通知要素は、返信オプション及び削除オプションを表示する。いくつかの実施形態では、ロック画面コンテキストは「最小限の」コンテキストであるとみなされ、通知要素センターコンテキスト及びホーム画面コンテキストも「最小限の」コンテキストであるとみなされる。その一方で、モーダルアラートコンテキストにおいては、デバイス100のディスプレイ112上に、4つ全てのアクションオプションを表示するのに十分な領域がある。したがって、アプリケーションは、読むアクション、返信アクション、未読としてマークアクション及び削除アクションをモーダルアラートコンテキストに対してマッピングする。このため、いくつかの実施形態では、モーダルアラートインターフェース上に表示される「電子メール受信」通知要素は、4つ全てのオプションを表示する。いくつかの実施形態では、モーダルアラートコンテキストは、「デフォルト」コンテキストであるとみなされる。
加えて、いくつかの実施形態では、それぞれのアクションは、フォアグラウンドアクション又はバックグラウンドアクションのいずれかである。いくつかの実施形態では、アプリケーションは、各アクションがフォアグラウンドアクションであるかバックグラウンドアクションであるかを定義する。フォアグラウンドアクションは、アプリケーションに、デバイス100上のフォアグラウンドで開くことを要求するアクションである。例えば、いくつかの実施形態では、電子メールアプリケーションは「電子メール受信」通知要素の返信アクションがフォアグラウンドアクションであるように定義する。したがって、インタラクティブ通知要素内に表示された返信オプションをユーザが選択したことに応じて、電子メールアプリケーションはフォアグラウンドで開き、ユーザが電子メールに返信することを可能にする。その一方で、いくつかの実施形態では、電子メールアプリケーションは、「電子メール受信」通知要素の削除アクションがバックグラウンドアクションであるように定義する。したがって、インタラクティブ通知要素内に表示された返信オプションをユーザが選択したことに応じて、電子メールアプリケーションはバックグラウンドで動作し、ユーザによる削除オプションの選択に応じて、デバイスの画面上にアプリケーションを表示することなく電子メールを削除する。いくつかの実施形態では、バックグラウンドアクションでは、対応するアクションを完了するのに制限時間が与えられる。いくつかの実施形態では、制限時間を超え、アクションが完了されなかった場合、アクション又は関連のアプリケーションは終了する。これは、デバイス100の処理能力を保護する機能を果たすとともに、バッテリ寿命も保護する機能を果たす。
通知要素システムのブロック図
図18Aは、いくつかの実施形態に係る、通知要素システムのブロック図を示す。通知要素システム1800は、第三者サーバ1805と、プッシュサービスサーバ1810と、オペレーティングシステム126と、第三者アプリケーション1820と、デバイスディスプレイ1825と、を含む。第三者サーバ1805は、デバイス100などのデバイスにインストールされた第三者アプリケーション1820に関連付けられている。いくつかの実施形態では、オペレーティングシステム126などのオペレーティングシステム1815もまた、同じデバイス100にインストールされ、動作している。
いくつかの実施形態では、第三者サーバ1805は、第三者アプリケーション1820が要求する情報を記憶し、処理する。例えば、当技術分野で周知のように、上で述べた電子メールアプリケーションでは、対応する第三者サーバ1805は、送信した及び受信した電子メールに関連する情報を記憶する。新規電子メール受信などのイベントの発生に応じて、第三者サーバ1805は通知要素メッセージをプッシュサービスサーバ1810に送信する。いくつかの実施形態では、通知要素メッセージは、デバイストークン及びペイロードを含む。いくつかの実施形態では、デバイストークンは、対応する第三者アプリケーション1820がインストールされているデバイスを、プッシュサービスサーバ1810が特定することを可能にする情報を含む。いくつかの実施形態では、ペイロードは、通知要素においてユーザに表示されるべき情報はもとより、通知要素がユーザに対してどう表示されるかを指定する。図18Aには1つのみの第三者サーバが示されているものの、他の実施形態においては、通知要素システム1800は2つ以上の第三者サーバ1805を含む。
いくつかの実施形態では、プッシュサービスサーバ1810は、1つ以上の第三者サーバ1805から通知要素を受信し、通知要素内に含まれた情報を基に、デバイス100のオペレーティングシステム1815に通知要素を送るサーバである。いくつかの実施形態では、プッシュサービスサーバ1810は、第三者サーバ1805からの通知要素に含まれるトークンを用いて、受信した通知要素をどのデバイスに送るかを特定する。その後、プッシュサービスサーバ1810は、ペイロードを含む通知要素を、特定されたデバイスのオペレーティングシステム1815に送る。図18Aには1つのみのプッシュサービスサーバ1810が示されているものの、他の実施形態においては、通知要素システム1800は2つ以上のプッシュサービスサーバ1810を含む。
オペレーティングシステム1815はデバイス100などのデバイスにインストールされ、動作する。オペレーティングシステム1815については図1を参照して更に上で述べられている。いくつかの実施形態では、オペレーティングシステム1815はプッシュサービスサーバ1810から通知要素を受信する。オペレーティングシステム1815は、その後、通知要素に含まれる情報を用いて、デバイスディスプレイ1825上に通知要素を表示する。いくつかの実施形態では、デバイスディスプレイ1825はデバイス100の画面112である。
いくつかの実施形態では、デバイス100などのデバイス上で動作するアプリケーションは、デバイス100のオペレーティングシステム1815に登録メッセージを送信する。いくつかの実施形態では、アプリケーションに関連するサーバ、例えば、第三者サーバ1805が登録メッセージを送信する。各登録メッセージは、通知要素カテゴリと、1つ以上の通知要素コンテキストの通知要素カテゴリに関連付けられた1つ以上のアクションのマッピングと、を含む。加えて、いくつかの実施形態では、登録は、各アクションの、フォアグラウンドモード又はバックグラウンドモードのいずれかに対するマッピングを含む。電子メールアプリケーションの登録メッセージに含まれる情報の一例は、以下の表に示される。
Figure 2020119581
いくつかの実施形態では、オペレーティングシステム1815は、この、通知要素カテゴリ、通知要素コンテキスト及びアクション(マッピング情報)のマッピングを記憶し、このマッピング情報を、通知要素を受け取った時に取り出す。したがって、第三者サーバ1805は、有利には、第三者サーバ1805がプッシュサービスサーバ1810に送信する全ての通知要素にマッピング情報を含む必要はない。オペレーティングシステム1815はマッピング情報をすでに有していることから、第三者サーバ1805は、第三者サーバ1805が送信する全ての通知要素にマッピング情報を含む必要はない。オペレーティングシステム1815が第三者サーバ1805から通知要素を(プッシュサービスサーバ1810を介して)受け取ると、オペレーティングシステム1815は、受け取った通知要素を、通知要素カテゴリに対してマッピングされたマッピング情報に対してマッピングすることができる。例えば、オペレーティングシステム1815が「受信した電子メール」通知要素を受け取った場合、オペレーティングシステム1815は、上記表に示した情報などの、「受信した電子メール」カテゴリに対してマッピングされた情報を取り出す。いくつかの実施形態では、オペレーティングシステム1815は登録メッセージをアプリケーションから受け取らない。その代わり、第三者サーバ1805は、第三者サーバ1805がプッシュサービスサーバ1810に送信する全ての通知要素にマッピング情報を含む。
図18Bは、いくつかの実施形態に係る、通知要素システムの第2のブロック図を示す。図18Bに示される通知要素システム1800は、図18Aを参照して上で述べた通知要素システム1800に類似する。通知要素システム1800は、上で述べたような、第三者サーバ1805と、プッシュサービスサーバ1810と、オペレーティングシステム1815と、第三者アプリケーション1820と、を含む。しかしながら、図18Aに示されるデバイスディスプレイ1825の代わりに、通知要素システム1800は掲示板サーバ1830を含み、掲示板サーバ1830は、ロック画面オブザーバ1835と、通知要素センターオブザーバ1840と、ホーム画面オブザーバ1845と、モーダルアラートオブザーバ1850と、ネットワークオブザーバ1855とに通信的に接続されている。図18Bは、また、外部システム1856のブロック図を示す。外部システム1856は、レシーバ1860と、外部掲示板サーバ1865と、外部ディスプレイ1870と、を含む。
掲示板サーバ1830は、デバイスディスプレイ1825と同様に、オペレーティングシステム1815から通知要素を受け取る。いくつかの実施形態では、通知要素は「掲示」と呼ばれる。いくつかの実施形態においては、各掲示は、1つ以上のアクションを含み、各アクションは、固有識別子、名前及びアクションコマンドに関連付けられる。いくつかの実施形態では、固有識別子は、関連付けられたアクションを識別するために用いられ、固有の一連の数字又は文字である。名前は、アクションに対応するアクションオプションUI要素とともにユーザインターフェースにおいて表示される文字列である。アクションコマンドは、第三者アプリケーション1820に送信され、第三者アプリケーション1820にアクションを実行させる実際のコマンド又はメッセージである。掲示板サーバ1830は掲示を1つ以上のオブザーバに送信する。
ロック画面オブザーバ1835、通知要素センターオブザーバ1840、ホーム画面オブザーバ1845及びモーダルアラートオブザーバ1850は、掲示板サーバ1830から掲示を受け取る。いくつかの実施形態では、オブザーバは上で述べた通知要素コンテキストに関連付けられる。例えば、ロック画面オブザーバ1835はロック画面コンテキストに関連付けられ、デバイス100が現在、ロック画面インターフェースを表示している場合、ロック画面オブザーバ1835は掲示板サーバから掲示を受け取り、適切な通知要素を表示する。いくつかの実施形態では、オブザーバ1835、1840、1845及び1850は、上で述べた対応する通知要素コンテキストと同等であるため、これ以上詳細には記載されない。
いくつかの実施形態では、ネットワークオブザーバ1855は更なる通知要素コンテキストである。ネットワークオブザーバ1855は、掲示板サーバ1830から掲示を受け取る。しかしながら、通知要素をデバイス100のディスプレイ112上に表示する代わりに、ネットワークオブザーバ1855は掲示を外部システム1856に送信する。いくつかの実施形態では、外部システム1856は自動車の表示システムである。他の実施形態においては、外部システムは任意の他の外部ディスプレイ又はデバイス100に類似する別のデバイスである。いくつかの実施形態では、ネットワークオブザーバは掲示を外部システムに送信する前に掲示を修正する。例えば、ネットワークオブザーバは、送信される掲示内の各アクションが固有識別子及び名前のみを含むように、アクションコマンドを掲示内の各アクションから除去する。これにより、ネットワークオブザーバ1855がより少量のデータを送信することを有利に可能にし、送信回数が増加するとともに電力が節約される。
外部システム1856のレシーバ1860は、ネットワークオブザーバ1855によって送信された掲示を受け取る。いくつかの実施形態では、外部システム1856は外部掲示板サーバ1865を含み、外部掲示板サーバ1865は、通知要素システム1800の掲示板サーバ1830と同様に機能する。外部掲示板サーバ1865はレシーバ1860から掲示を受け取り、掲示を1つ以上の位置へと案内し、表示させる。いくつかの実施形態では、外部掲示板サーバ1865は、掲示を外部ディスプレイ1870に送信し、表示させる。いくつかの実施形態では、例えば、外部システム1856が自動車の表示システムである場合、外部ディスプレイ1870は自動車の娯楽システムのセンターパネル画面である。
いくつかの実施形態では、掲示内の、各アクションに関連付けられた固有識別子及び名称に基づき、外部ディスプレイ1870は通知要素及び1つ以上のアクションを外部ディスプレイ1870上に表示する。ユーザは通知要素内に表示された名前を見ることができ、表示されたアクションの1つを実行するために選択を行うことができる。いくつかの実施形態では、通知要素及び外部ディスプレイ1870上に表示されるアクションは、モーダルアラートコンテキスト、ホーム画面コンテキスト、ロック画面コンテキスト又は通知要素センターコンテキストなどの、上で述べた通知要素コンテキストに類似する。ユーザによるアクションの選択に応じて、外部ディスプレイ1870はアクションに関連付けられた固有識別子を再度オペレーティングシステム1815に送信する。いくつかの実施形態では、固有識別子は、外部掲示板サーバ1865、レシーバ1860及びネットワークオブザーバ1855を通じてオペレーティングシステム1815に再度送信される。外部ディスプレイ1870から固有識別子を受け取ったことに応じて、オペレーティングシステム1815は固有識別子に関連付けられたアクションを判定し、アプリケーションに、関連付けられたアクションを実行させる。いくつかの実施形態では、掲示全体ではなく固有識別子のみを送信することで、より少量のデータを送信することを有利に可能にし、送信回数が増加するとともにバッテリ寿命が延長する。いくつかの実施形態では、固有識別子のみを送信することで、アクションを実行するのに必要な処理機能をデバイス100が実行することを有利に可能にし、外部システム1856は、通知要素を受け取り、通知要素及びアクションオプションを表示し、選択されたアクションのIDを送信することのみを必要とする。外部システム1856は選択されたアクションを実行する必要はない。
図19は、いくつかの実施形態に係る、インタラクティブ通知要素を表示する方法を示す流れ図である。方法は、いくつかの実施形態に係る、ディスプレイと、タッチ感知面とを有する電子デバイス(例えば、図3のデバイス300、又は、図1Aのポータブル多機能デバイス100)にて実行される。いくつかの実施形態では、ディスプレイはタッチ画面ディスプレイであり、タッチ感知面がディスプレイ上にある。いくつかの実施形態では、ディスプレイはタッチ感知面から分離している。方法のいくつかの動作が、任意選択的に組み合わされ、及び/又は、一部の動作の順序が、任意選択的に変えられる。
以下に記載されるように、図19に示される方法は、通知要素と対話し、アプリケーションにコマンドを与えるための直感的手法を提供する。この方法は、ユーザがアプリケーションとより効率的に対話するのを可能にすることにより、より効率的なヒューマンマシンインターフェースを形成する。電池駆動式電子デバイスの場合、ユーザがアプリケーションとより効率的に対話できるようにすることにより、電力が節約され、電池充電の時間間隔が延びる。
図19は、いくつかの実施形態に係る、電子デバイスにてインタラクティブ通知要素を提供するための方法を示す流れ図である。最初に、第三者アプリケーション(第三者アプリケーション1805など)からの登録メッセージを受け取る(1905)。いくつかの実施形態では、登録メッセージは、第三者アプリケーションの通知要素のインスタンスに相当する。登録メッセージは、通知要素カテゴリと、1つ以上の通知要素コンテキストの通知要素カテゴリに対してマッピングされた1つ以上のアクションと、を含む。例えば、電子メールアプリケーションから受信した登録メッセージは、ロック画面コンテキストの返信及び削除アクションに対してマッピングされた、受信した電子メールカテゴリを含む。いくつかの実施形態では、電子メールアプリケーションからの同じ登録メッセージは、また、モーダルアラートコンテキストの、受信した電子メールカテゴリに対してマッピングされた返信、読む、未読としてマーク及び削除アクションを含む。通知要素コンテキスト及びカテゴリについては上で更に詳細に記載した。いくつかの実施形態では、複数の登録メッセージの登録メッセージは、1つ以上のアクションのそれぞれの、フォアグラウンド状態又はバックグラウンド状態に対するマッピングを更に含む。
通知要素のインスタンスは、その後、1つ以上のアプリケーションに対して登録される(1910)。いくつかの実施形態では、オペレーティングシステム1815は、受け取った、各通知要素カテゴリ及びコンテキストに対するアクションのマッピングを登録するか、又は記憶する。これにより、新規通知要素が表示されるたびに新規登録メッセージを送信するのとは対照的に、アプリケーションが登録メッセージを1回のみ送信することを可能にする。通知要素のインスタンスを記憶することによって、オペレーティングシステム1815は、以下に記載されるように、受信した特定の通知要素カテゴリ及びコンテキストに対してどのアクションを表示するかを判定することができる。
その後、通知要素を提供するための命令を受け取る(1915)。いくつかの実施形態では、命令は、通知要素カテゴリ及び通知要素コンテキストを含む。例えば、命令を電子メールアプリケーションから受け取り、受信した電子メールの通知要素を表示する。命令は、受信した電子メールカテゴリ(通知要素カテゴリ)及びロック画面コンテキスト(通知要素コンテキスト)を特定する。
その後、通知要素カテゴリ及びコンテキストに対してマッピングされたアクションが特定される(1920)。いくつかの実施形態では、アクションは、登録された通知要素のインスタンスのデータベースを相互参照することによって特定される。例えば、オペレーティングシステム1815は、記憶された、ロック画面コンテキスト内の受信した電子メールカテゴリの通知要素のインスタンスに基づき、受信した電子メールの通知要素が返信アクションオプション及び削除アクションオプションを表示すべきであることを特定する。
最後に、通知要素及び特定されたアクションがユーザへの表示に供される(1925)。いくつかの実施形態では、オペレーティングシステム1815は、デバイス100のディスプレイ112上に表示される、受信電子メール通知要素、返信アクションオプション及び削除アクションオプションを提供する。いくつかの実施形態では、通知要素及び特定された1つ以上のアクションを提供することは、ロック画面コンテキストを示す通知要素コンテキストに応じて、ロック画面通知要素ユーザインターフェースを表示することと、通知要素センターコンテキストを示す通知要素コンテキストに応じて、通知要素センターユーザインターフェースを表示することと、ホーム画面コンテキストを示す通知要素コンテキストに応じて、ホーム画面ユーザインターフェースを表示することと、モーダルアラートコンテキストを示す通知要素コンテキストに応じて、モーダルアラートユーザインターフェースを表示することと、を含む。いくつかの実施形態では、モーダルアラートコンテキストは、ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストよりも多数のアクションを表示することを可能にする。いくつかの実施形態では、モーダルアラートコンテキストは、最大で6つのアクションを表示することを可能にする。いくつかの実施形態では、ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストは、最大で2つのアクションを表示することを可能にする。
いくつかの実施形態では、方法1900は、通知要素を表示している間に、フォアグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示することと、バックグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、示されたアクションを、通知要素に関連付けられたアプリケーションのフルアプリケーションユーザインターフェースを表示することなく実行することと、を更に含む。いくつかの実施形態では、方法1900は、バックグラウンド状態に対してマッピングされたアクションの、制限時間を超えた実行に応じて、アクションの実行を停止することを更に含む。いくつかの実施形態では、受け取った命令はネットワークコンテキストを示す通知要素コンテキストを含み、通知要素と、通知要素コンテキストで表示するための、通知要素カテゴリに関連付けられた、特定された1つ以上のアクションとを提供することは、通知要素を、ネットワークオブザーバ及び特定された1つ以上のアクションに対して送信することを含む。いくつかの実施形態では、ネットワークオブザーバは、通知要素及び特定された1つ以上のアクションを第三者レシーバに送信する。いくつかの実施形態では、第三者レシーバは自動車の娯楽システムに関連付けられる。
概要
上述の情報処理方法での動作は、汎用プロセッサ(例えば、図1A及び図3に関連して上述されたようなもの)又は特定用途向けチップなどの、情報処理装置内の1つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
図19を参照して先述した動作は、任意選択的に、図1Aから図1Bに示す構成要素により実施される。例えば、図19に示した動作は、任意選択的に、オペレーティングシステム126又は図1に示した他の種々のモジュールによって実施される。
上述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかし、上述の例示的説明は、網羅的であること、又は本発明を、開示されている寸分違わない形態に限定することを意図されてはいない。上述の教示を考慮すれば、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良の形で使用することを可能とするために、これらの実施形態を選択し説明した。
本明細書中に記載される工程、動作又はプロセスのいずれも、1つ以上のハードウェア又はソフトウェアモジュールにより、単独で若しくは他のデバイスと組み合わせて実行又は実装してもよい。いくつかの実施形態では、ソフトウェアモジュールは、記載した工程、動作又はプロセスの一部又は全部を実行するためのコンピュータプロセッサによって実行され得るコンピュータプログラムコードを含む、コンピュータ可読媒体を含むコンピュータプログラム製品に実装される。
本発明の実施形態は、本明細書において動作を実施するための装置にも関する。この装置は、必要な目的のために特別に構築されてもよく、及び/又はコンピュータに記憶されたコンピュータプログラムにより選択的に作動されるか若しくは再構成される汎用コンピューティングデバイスを含んでもよい。こうしたコンピュータプログラムは、有形コンピュータ可読記憶媒体又は電子的命令を記憶するのに適した任意の種類の媒体に記憶されてもよく、コンピュータシステムバスに結合されてもよい。更に、本明細書で言及されるあらゆるコンピューティングシステムは、シングルプロセッサを含んでいても、マルチプロセッサ設計を用いてコンピューティング性能を向上させるアーキテクチャであってもよい。
本発明の実施形態は、また、搬送波に組み込まれるコンピュータデータ信号に関連し得る。コンピュータデータ信号は、本明細書中に記載されるコンピュータプログラム製品の任意の実施形態又は他のデータの組み合わせを含む。コンピュータデータ信号は、有形媒体又は搬送波中に存在し、搬送波中で変調又はそうでなければ符号化される製品であり、有形であり、任意の適切な送信方法に従い送信される。
最後に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を限定又は制限するために選択されたものではない。本発明の範囲は、この発明を実施する形態によってではなく、むしろ本明細書に基づく出願において発行するいずれかの特許請求の範囲によって制限されるものとする。したがって、本発明の実施形態の開示は、以下の特許請求の範囲に記載される本発明の範囲を例示することを目的としたものであって、その限定を目的としたものではない。

Claims (171)

  1. 方法であって、
    1つ以上のプロセッサ及びメモリを有する電子デバイスにおいて、
    アプリケーションに関連するイベントの発生を検出することと、
    前記イベントの前記発生の検出に応じて、ユーザインターフェースの第1の領域内に通知要素を表示することであって、前記通知要素が前記イベントに関する情報を含む、ことと、
    前記ユーザインターフェースの前記第1の領域に対応する、1つ以上の入力の第1のシーケンスの検出に応じて、第1のUI要素及び第2のUI要素を含む複数のアクションオプションUI要素を表示することであって、前記第1のUI要素の選択により前記アプリケーションに第1のアクションを実施させ、前記第2のUI要素の選択により、前記アプリケーションに、前記第1のアクションとは異なる第2のアクションを実施させる、ことと、
    を含む、方法。
  2. 前記通知要素は、所定の時間表示された後、前記ディスプレイから除去されることになっており、
    前記方法が、前記所定の時間の後、1つ以上の入力の第1のシーケンスの検出に応じて、前記通知要素を前記ディスプレイ上に保持させることを含む、請求項1に記載の方法。
  3. 前記アプリケーションに前記第1のアクションを実施させることが、
    認証コードを要求することと、
    正しい認証コードを受け取ったことに応じて、前記第1のアクションを実施することと、
    を更に含む、請求項2に記載の方法。
  4. 前記1つ以上のジェスチャの第1のシーケンスが、スワイプジェスチャである、請求項1に記載の方法。
  5. 前記イベントが受信されたメッセージであり、複数のアクションオプションUI要素が、削除UI要素、既読としてマークUI要素、お気に入りとしてマークUI要素、返信UI要素、スパムとしてマークUI要素及びフォルダに移動UI要素のうちの2つ以上を含む、請求項4に記載の方法。
  6. 前記スワイプジェスチャにより前記通知要素が下方に延びる、請求項4に記載の方法。
  7. 前記イベントが受信されたメッセージであり、前記方法が、
    前記1つ以上のジェスチャの第1のシーケンスの検出に応じて、前記ユーザインターフェースの前記第1の領域内に、前記受信されたメッセージのプレビューを表示することを更に含む、請求項6に記載の方法。
  8. 前記アクションオプションUI要素のうちの少なくとも1つが、前記アプリケーションから受信したグリフを含み、前記グリフは、前記アプリケーションによって指定されたアクションに対応する、請求項1から7のいずれか一項に記載の方法。
  9. 前記アクションの1つ以上が、前記ユーザインターフェースの第2の領域内に前記関連のアプリケーションを表示することなく実施される、請求項1から8のいずれか一項に記載の方法。
  10. 前記ユーザインターフェースの前記第1の領域内における1つ以上のジェスチャの第2のシーケンスの検出に応じて、前記関連のアプリケーションを前記ユーザインターフェースの第2の領域内に表示することを更に含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記複数のアクションオプションUI要素が、第1のアクションオプションUI要素を含み、前記方法が、
    前記第1のアクションオプションUI要素の選択を検出したことに応じて、2つ以上の更なるアクションオプションUI要素を表示することを更に含む、請求項1から10のいずれか一項に記載の方法。
  12. インタラクティブ通知要素を提供するための方法であって、
    1つ以上のプロセッサ及びメモリを有する電子デバイスにおいて、
    第1のメッセージを受信することと、
    ユーザインターフェースの第1の領域内に第1の通知要素を表示することであって、前記第1の通知要素が、前記受信した第1のメッセージに関する情報を含む、ことと、
    前記第1の通知要素を表示している間に、前記第1のメッセージへの返信を開始するための第1のUI要素を表示することと、
    前記第1のUI要素の選択の受信に応じて、前記第1のメッセージへのユーザ生成返信に対応する情報を受け取ることと、
    送信入力を受け取ったことに応じて、前記ユーザ生成返信を送信に供することと、
    を含む、方法。
  13. 前記ユーザ生成返信が、テキストベースのメッセージを含む、請求項12に記載の方法。
  14. 送信入力の受信が、第2のUI要素の選択を受信することを含む、請求項13に記載の方法。
  15. 前記ユーザ生成返信が、音声メッセージを含む、請求項12から14のいずれか一項に記載の方法。
  16. 送信入力の受信が、前記電子デバイスを下ろす動きを検出することを含む、請求項15に記載の方法。
  17. 前記ユーザ生成返信を送信に供することに応じて、前記ユーザインターフェースの前記第1の領域内に前記第1の通知要素を表示するのを停止することを更に含む、請求項12から16に記載の方法。
  18. 前記ユーザ生成返信に関する前記情報が、前記ユーザインターフェースの第2の領域内に関連のアプリケーションを表示することなく受信される、請求項12から17のいずれか一項に記載の方法。
  19. 前記第1の通知要素を表示している間に、第2のメッセージを受信することと、
    前記ユーザ生成返信を送信に供することに応じて、
    前記ユーザインターフェースの前記第1の領域内に第2の通知要素を表示することであって、前記通知要素が、前記受信した第2のメッセージに関する情報を含む、ことと、
    を更に含む、請求項12から18に記載の方法。
  20. 前記第2のメッセージの受信に応じて、前記第1の通知要素内に、前記第2のメッセージを受信したという表示を表示することを更に含む、請求項19に記載の方法。
  21. 前記第1の通知要素を表示している間に、第2のメッセージを受信することと、
    前記第2のメッセージが前記第1のメッセージに関連すると判定することと、
    前記ユーザインターフェースの前記第1の領域内に第2の通知要素を表示することであって、前記通知要素が、前記受信した第2のメッセージに関する情報を含む、ことと、
    を更に含む、請求項12から20に記載の方法。
  22. 前記第2の通知要素を表示することが、すでに受信している、前記ユーザ生成返信に関する情報を保持することを含む、請求項21に記載の方法。
  23. 前記第1の通知要素の選択に対応する入力の受信に応じて、前記ユーザインターフェースの第2の領域内に関連のアプリケーションを表示することを更に含む、請求項12から22のいずれか一項に記載の方法。
  24. 前記関連のアプリケーションを前記ユーザインターフェースの第2の領域内に表示することが、すでに受信している、前記ユーザ生成返信に関する情報を保持することを含む、請求項23に記載の方法。
  25. 前記第1のUI要素が、テキスト入力フィールドである、請求項12から24のいずれか一項に記載の方法。
  26. 前記第1のUI要素を表示することが、
    前記ユーザインターフェースの前記第1の領域内において1つ以上のジェスチャのシーケンスを受け取ることと、
    1つ以上のジェスチャの前記シーケンスの受け取りに応じて、前記ユーザインターフェースの第2の領域内に前記第1のUI要素を表示することと、
    を含む、請求項25に記載の方法。
  27. 前記第1のUI要素が、テキスト入力フィールドと、音声の録音を開始するための音声入力ボタンと、を含み、
    前記第1のUI要素の選択の受信に応じて、
    前記選択が前記テキスト入力フィールドの選択を含むという判定に従い、前記ディスプレイ上にソフトキーボードを表示し、前記音声入力ボタンを、テキストメッセージを送信するための送信ボタンに入れ替え、
    前記選択が前記音声入力ボタンの選択を含むという判定に従い、音声の録音を開始し、前記テキスト入力フィールドを、前記音声が録音されている表示に入れ替える、請求項25に記載の方法。
  28. 前記第1のメッセージが音声メッセージであり、前記方法が、
    前記第1の通知要素を表示している間に、前記電子デバイスを耳にあてる動作を検出したことに応じて、前記第1のメッセージを再生することを更に含む、請求項12から27のいずれか一項に記載の方法。
  29. 前記第1のメッセージの前記第1の通知要素を表示している間に、第2のメッセージを受信することと、
    前記第2のメッセージの受信に応じて、
    前記第2のメッセージが前記第1のメッセージに関連しないという判定に従い、前記第2のメッセージの第2の通知要素を表示させることを、前記第1の通知要素が閉じられるまで遅延させることと、
    を更に含む、請求項12から28のいずれか一項に記載の方法。
  30. 前記第2の通知要素を表示している間に、前記第1の通知要素を閉じる要求を検出することと、
    前記第1の通知要素を閉じる前記要求を検出したことに応じて、前記第1の通知要素を表示するのを停止することと、
    前記第1の通知要素を表示するのを停止した後、前記第2の通知要素を表示することと、を更に含む、請求項29に記載の方法。
  31. 前記第2のメッセージの受信に応じて、前記第2のメッセージが前記第1のメッセージに関連するという判定に従い、前記第2のメッセージを受信したことを示すように前記第1の通知要素をアップデートすること、を更に含む、請求項29に記載の方法。
  32. インタラクティブ通知要素を提供するための方法であって、
    アプリケーションの通知要素のインスタンスに対応する登録メッセージを、前記アプリケーションから受け取ることであって、前記登録メッセージは、通知要素カテゴリと、1つ以上の通知要素コンテキストの前記通知要素カテゴリに関連する1つ以上のアクションのマッピングとを含む、ことと、
    前記アプリケーションの前記通知要素のインスタンスを登録することと、
    前記アプリケーションに関連するアプリケーションシーバから、通知要素を提供するための命令を受け取ることであって、前記命令は、通知要素カテゴリ及び通知要素コンテキストを含む、ことと、
    前記受け取った命令に関して、前記アプリケーションサーバから受け取った前記命令の前記通知要素カテゴリ及び通知要素コンテキストに関連する前記1つ以上のアクションを、前記登録された通知要素のインスタンスに基づき特定することと、
    前記通知要素と、前記通知要素コンテキストで表示するための、前記通知要素カテゴリに関連する前記特定された1つ以上のアクションとを提供することと、
    を含む、方法。
  33. 前記通知要素と、前記特定された1つ以上のアクションとを提供することが、
    ロック画面コンテキストを示す前記通知要素コンテキストに応じて、ロック画面通知要素ユーザインターフェースを表示することと、
    通知要素センターコンテキストを示す前記通知要素コンテキストに応じて、通知要素センターユーザインターフェースを表示することと、
    ホーム画面コンテキストを示す前記通知要素コンテキストに応じて、ホーム画面ユーザインターフェースを表示することと、
    モーダルアラートコンテキストを示す前記通知要素コンテキストに応じて、モーダルアラートユーザインターフェースを表示することと、
    を含む、請求項32に記載の方法。
  34. 前記モーダルアラートコンテキストが、前記ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストよりも多数のアクションを表示することを可能にする、請求項33に記載の方法。
  35. 前記モーダルアラートコンテキストが、最大で6つのアクションを表示することを可能にする、請求項33に記載の方法。
  36. 前記ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストが、最大で2つのアクションを表示することを可能にする、請求項33に記載の方法。
  37. 前記登録メッセージが、フォアグラウンド状態又はバックグラウンド状態に対する前記1つ以上のアクションのマッピングを更に含む、請求項32から36のいずれか一項に記載の方法。
  38. 前記通知要素を表示している間に、
    フォアグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、前記通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示することと、
    バックグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、前記示されたアクションを、前記通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示することなく実行することと、
    を更に含む、請求項37に記載の方法。
  39. バックグラウンド状態に対してマッピングされたアクションの、制限時間を超えた前記実行に応じて、前記アクションの実行を停止することを更に含む、請求項38に記載の方法。
  40. 前記受け取った命令が、ネットワークコンテキストを示す通知要素コンテキストを含み、前記通知要素と、前記通知要素コンテキストで表示するための、前記通知要素カテゴリに関連する前記特定された1つ以上のアクションとを提供することが、前記通知要素を、ネットワークオブザーバ及び前記特定された1つ以上のアクションに対して送信することを含む、請求項32から36のいずれか一項に記載の方法。
  41. 前記ネットワークオブザーバが、前記通知要素及び前記特定された1つ以上のアクションを第三者レシーバに送信する、請求項40に記載の方法。
  42. 前記第三者レシーバが、自動車の娯楽システムに関連付けられる、請求項41に記載の方法。
  43. 命令を記憶するコンピュータ可読記憶媒体であって、プロセッサによって実行されると、前記プロセッサに、
    アプリケーションに関連するイベントの発生を検出させ、
    前記イベントの前記発生の検出に応じて、ユーザインターフェースの第1の領域内に通知要素を表示させることであって、前記通知要素が前記イベントに関する情報を含み、
    前記ユーザインターフェースの前記第1の領域に対応する、1つ以上の入力の第1のシーケンスの検出に応じて、第1のUI要素及び第2のUI要素を含む複数のアクションオプションUI要素を表示させ、
    前記第1のUI要素の選択が、前記アプリケーションに第1のアクションを実施させ、前記第2のUI要素の選択が、前記アプリケーションに、前記第1のアクションとは異なる第2のアクションを実施させる、記憶媒体。
  44. 前記通知要素が、所定の時間表示された後、前記ディスプレイから除去されることになっており、
    前記方法が、前記所定の時間の後、1つ以上の入力の第1のシーケンスの検出に応じて、前記通知要素を前記ディスプレイ上に保持させることを含む、請求項43に記載の記憶媒体。
  45. 前記アプリケーションに前記第1のアクションを実施させることが、
    認証コードを要求することと、
    正しい認証コードを受け取ったことに応じて、前記第1のアクションを実施することと、
    を更に含む、請求項44に記載の記憶媒体。
  46. 前記1つ以上のジェスチャの第1のシーケンスが、スワイプジェスチャを含む、請求項43に記載の記憶媒体。
  47. 前記イベントが受信されたメッセージであり、複数のアクションオプションUI要素が、削除UI要素、既読としてマークUI要素、お気に入りとしてマークUI要素、返信UI要素、スパムとしてマークUI要素及びフォルダに移動UI要素のうちの2つ以上を含む、請求項46に記載の記憶媒体。
  48. 前記スワイプジェスチャにより前記通知要素が下方に延びる、請求項46に記載の記憶媒体。
  49. 前記イベントが受信されたメッセージであり、前記命令が、更に、前記プロセッサに、
    前記1つ以上のジェスチャの第1のシーケンスの検出に応じて、前記ユーザインターフェースの前記第1の領域内に、前記受信されたメッセージのプレビューを表示させる、請求項48に記載の記憶媒体。
  50. 前記アクションオプションUI要素のうちの少なくとも1つが、前記アプリケーションから受信したグリフを含み、前記グリフは、前記アプリケーションによって指定されたアクションに対応する、請求項43に記載の記憶媒体。
  51. 前記アクションの1つ以上が、前記ユーザインターフェースの第2の領域内に前記関連のアプリケーションを表示することなく実施される、請求項43に記載の記憶媒体。
  52. 前記命令が、更に、前記プロセッサに、
    前記ユーザインターフェースの前記第1の領域内における1つ以上のジェスチャの第2のシーケンスの検出に応じて、前記関連のアプリケーションを前記ユーザインターフェースの第2の領域内に表示させる、請求項43に記載の記憶媒体。
  53. 前記複数のアクションオプションUI要素が、第1のアクションオプションUI要素を含み、前記命令が、更に、前記プロセッサに、
    前記第1のアクションオプションUI要素の選択を検出したことに応じて、2つ以上の更なるアクションオプションUI要素を表示させる、請求項43に記載の記憶媒体。
  54. 命令を記憶するコンピュータ可読記憶媒体であって、プロセッサによって実行されると、前記プロセッサに、
    第1のメッセージを受信させ、
    ユーザインターフェースの第1の領域内に第1の通知要素を表示させることであって、前記第1の通知要素が前記受信した第1のメッセージに関する情報を含み、
    前記第1の通知要素を表示している間に、前記第1のメッセージへの返信を開始するために第1のUI要素を表示させ、
    前記第1のUI要素の選択の受信に応じて、前記第1のメッセージへのユーザ生成返信に対応する情報を受け取り、
    送信入力を受け取ったことに応じて、前記ユーザ生成返信を送信させる、記憶媒体。
  55. 前記ユーザ生成返信が、テキストベースのメッセージを含む、請求項54に記載の記憶媒体。
  56. 送信入力の受信が、第2のUI要素の選択を受信することを含む、請求項55に記載の記憶媒体。
  57. 前記ユーザ生成返信が音声メッセージを含む、請求項54に記載の記憶媒体。
  58. 送信入力の受信が、前記電子デバイスを下ろす動きを検出することを含む、請求項57に記載の記憶媒体。
  59. 前記命令が、更に、前記プロセッサに、
    前記ユーザ生成返信を送信に供することに応じて、前記ユーザインターフェースの前記第1の領域内に前記第1の通知要素を表示するのを停止させる、請求項54に記載の記憶媒体。
  60. 前記ユーザ生成返信に関する前記情報が、前記ユーザインターフェースの第2の領域内に関連のアプリケーションを表示することなく受信される、請求項54に記載の記憶媒体。
  61. 前記命令が、更に、前記プロセッサに、
    前記第1の通知要素を表示している間に、第2のメッセージを受信させ、
    前記ユーザ生成返信を送信に供することに応じて、
    前記ユーザインターフェースの前記第1の領域内に第2の通知要素を表示させ、前記通知要素は前記受信した第2のメッセージに関する情報を含む、請求項54に記載の記憶媒体。
  62. 前記命令が、更に、前記プロセッサに、
    前記第2のメッセージの受信に応じて、前記第1の通知要素内に、前記第2のメッセージを受信したという表示を表示させる、請求項61に記載の記憶媒体。
  63. 前記命令が、更に、前記プロセッサに、
    前記第1の通知要素を表示している間に、第2のメッセージを受信させ、
    前記第2のメッセージが前記第1のメッセージに関連すると判定させ、
    前記ユーザインターフェースの前記第1の領域内に第2の通知要素を表示させ、前記通知要素が前記受信した第2のメッセージに関する情報を含む、請求項54に記載の記憶媒体。
  64. 前記第2の通知要素を表示することが、すでに受信している、前記ユーザ生成返信に関する情報を保持することを含む、請求項63に記載の記憶媒体。
  65. 前記命令が、更に、前記プロセッサに、
    前記第1の通知要素の選択に対応する入力の受信に応じて、前記ユーザインターフェースの第2の領域内に関連のアプリケーションを表示させる、請求項54に記載の記憶媒体。
  66. 前記関連のアプリケーションを前記ユーザインターフェースの第2の領域内に表示することが、すでに受信している、前記ユーザ生成返信に関する情報を保持することを含む、請求項65に記載の記憶媒体。
  67. 前記第1のUI要素が、テキスト入力フィールドである、請求項54に記載の記憶媒体。
  68. 前記第1のUI要素を表示することが、
    前記ユーザインターフェースの前記第1の領域内において1つ以上のジェスチャのシーケンスを受け取ることと、
    1つ以上のジェスチャの前記シーケンスの受け取りに応じて、前記ユーザインターフェースの第2の領域内に前記第1のUI要素を表示することと、
    を含む、請求項67に記載の記憶媒体。
  69. 前記第1のUI要素が、テキスト入力フィールドと、音声の録音を開始するための音声入力ボタンと、を含み、
    前記第1のUI要素の選択の受信に応じて、
    前記選択が前記テキスト入力フィールドの選択を含むという判定に従い、前記ディスプレイ上にソフトキーボードを表示し、前記音声入力ボタンを、テキストメッセージを送信するための送信ボタンに入れ替え、
    前記選択が前記音声入力ボタンの選択を含むという判定に従い、音声の録音を開始し、前記テキスト入力フィールドを、前記音声が録音されている表示に入れ替える、請求項67に記載の記憶媒体。
  70. 前記第1のメッセージが音声メッセージであり、前記方法が、
    前記第1の通知要素を表示している間に、前記電子デバイスを耳にあてる動作を検出したことに応じて、前記第1のメッセージを再生することを更に含む、請求項54に記載の記憶媒体。
  71. 前記命令が、更に、前記プロセッサに、
    前記第1のメッセージの前記第1の通知要素を表示している間に、第2のメッセージを受信させ、
    前記第2のメッセージの受信に応じて、
    前記第2のメッセージが前記第1のメッセージに関連しないという判定に従い、前記第2のメッセージの第2の通知要素を表示するのを、前記第1の通知要素が閉じられるまで遅延させる、請求項54に記載の記憶媒体。
  72. 前記命令が、更に、前記プロセッサに、
    前記第2の通知要素を表示している間に、前記第1の通知要素を閉じる要求を検出させ、
    前記第1の通知要素を閉じる前記要求を検出したことに応じて、前記第1の通知要素を表示するのを停止させ、
    前記第1の通知要素を表示するのを停止した後、前記第2の通知要素を表示させる、請求項71に記載の記憶媒体。
  73. 前記命令が、更に、前記プロセッサに、前記第2のメッセージの受信に応じて、前記第2のメッセージが前記第1のメッセージに関連するという判定に従い、前記第2のメッセージを受信したことを示すように前記第1の通知要素をアップデートさせる、請求項71に記載の記憶媒体。
  74. 命令を記憶するコンピュータ可読記憶媒体であって、プロセッサによって実行されると、前記プロセッサに、
    アプリケーションの通知要素のインスタンスに対応する登録メッセージを、前記アプリケーションから受け取らせることであって、前記登録メッセージは、通知要素カテゴリと、1つ以上の通知要素コンテキストの前記通知要素カテゴリに関連する1つ以上のアクションのマッピングと、を含み、
    前記アプリケーションの前記通知要素のインスタンスを登録させ、
    前記アプリケーションに関連するアプリケーションサーバら、通知要素を提供するための命令を受け取らせ、前記命令は、通知要素カテゴリ及び通知要素コンテキストを含み、
    前記受け取った命令に関して、前記アプリケーションサーバから受信した前記命令の前記通知要素カテゴリ及び通知要素コンテキストに関連する前記1つ以上のアクションを、前記登録された通知要素のインスタンスに基づき特定させ、
    前記通知要素と、前記通知要素コンテキストで表示するための、前記通知要素カテゴリに関連する前記特定された1つ以上のアクションと、を提供させる、記憶媒体。
  75. 前記通知要素と、前記特定された1つ以上のアクションとを提供することが、
    ロック画面コンテキストを示す前記通知要素コンテキストに応じて、ロック画面通知要素ユーザインターフェースを表示することと、
    通知要素センターコンテキストを示す前記通知要素コンテキストに応じて、通知要素センターユーザインターフェースを表示することと、
    ホーム画面コンテキストを示す前記通知要素コンテキストに応じて、ホーム画面ユーザインターフェースを表示することと、
    モーダルアラートコンテキストを示す前記通知要素コンテキストに応じて、モーダルアラートユーザインターフェースを表示することと、
    を含む、請求項74に記載の記憶媒体。
  76. 前記モーダルアラートコンテキストが、前記ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストよりも多数のアクションを表示することを可能にする、請求項75に記載の記憶媒体。
  77. 前記モーダルアラートコンテキストが、最大で6つのアクションを表示することを可能にする、請求項75に記載の記憶媒体。
  78. 前記ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストが、最大で2つのアクションを表示することを可能にする、請求項75に記載の記憶媒体。
  79. 前記登録メッセージが、フォアグラウンド状態又はバックグラウンド状態に対する前記1つ以上のアクションのマッピングを更に含む、請求項74に記載の記憶媒体。
  80. 前記命令が、更に、前記プロセッサに、
    前記通知要素を表示している間に、
    フォアグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、前記通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示させ、
    バックグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、前記示されたアクションを、前記通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示することなく実行させる、請求項79に記載の記憶媒体。
  81. 前記命令により、更に、前記プロセッサが、
    バックグラウンド状態に対してマッピングされたアクションの、制限時間を超えた前記実行に応じて、前記アクションを実行するのを停止する、請求項80に記載の記憶媒体。
  82. 前記受け取った命令が、ネットワークコンテキストを示す通知要素コンテキストを含み、前記通知要素と、前記通知要素コンテキストで表示するための、前記通知要素カテゴリに関連する前記特定された1つ以上のアクションとを提供することが、前記通知要素を、ネットワークオブザーバ及び前記特定された1つ以上のアクションに対して送信することを含む、請求項74に記載の記憶媒体。
  83. 前記ネットワークオブザーバが、前記通知要素及び前記特定された1つ以上のアクションを第三者レシーバに送信する、請求項82に記載の記憶媒体。
  84. 前記第三者レシーバが、自動車の娯楽システムに関連付けられる、請求項83に記載の記憶媒体。
  85. プロセッサ及びメモリを備えるデバイスであって、前記デバイスが、
    アプリケーションに関連するイベントの発生を検出し、
    前記イベントの前記発生の検出に応じて、ユーザインターフェースの第1の領域内に、前記イベントに関する情報を含む通知要素を表示し、
    前記ユーザインターフェースの前記第1の領域に対応する、1つ以上の入力の第1のシーケンスの検出に応じて、第1のUI要素及び第2のUI要素を含む複数のアクションオプションUI要素を表示する、ように構成され、
    前記第1のUI要素の選択は、前記アプリケーションに第1のアクションを実施させ、前記第2のUI要素の選択は、前記アプリケーションに、前記第1のアクションとは異なる第2のアクションを実施させる、デバイス。
  86. 前記通知要素が、所定の時間表示された後、前記ディスプレイから除去されることになっており、
    前記方法が、前記所定の時間の後、1つ以上の入力の第1のシーケンスの検出に応じて、前記通知要素を前記ディスプレイ上に保持させることを含む、請求項85に記載のデバイス。
  87. 前記アプリケーションに前記第1のアクションを実施させることが、
    認証コードを要求することと、
    正しい認証コードを受け取ったことに応じて、前記第1のアクションを実施することと、を更に含む、請求項86に記載のデバイス。
  88. 前記1つ以上のジェスチャの第1のシーケンスが、スワイプジェスチャを含む、請求項87に記載のデバイス。
  89. 前記イベントが受信されたメッセージであり、複数のアクションオプションUI要素が、削除UI要素、既読としてマークUI要素、お気に入りとしてマークUI要素、返信UI要素、スパムとしてマークUI要素及びフォルダに移動UI要素のうちの2つ以上を含む、請求項88に記載のデバイス。
  90. 前記スワイプジェスチャにより前記通知要素が下方に延びる、請求項88に記載のデバイス。
  91. 前記イベントが受信されたメッセージであり、前記命令が、更に、前記プロセッサに、 前記1つ以上のジェスチャの第1のシーケンスの検出に応じて、前記ユーザインターフェースの前記第1の領域内に、前記受信されたメッセージのプレビューを表示させる、請求項90に記載のデバイス。
  92. 前記アクションオプションUI要素のうちの少なくとも1つが、前記アプリケーションから受信したグリフを含み、前記グリフは、前記アプリケーションによって指定されたアクションに対応する、請求項87に記載のデバイス。
  93. 前記アクションの1つ以上が、前記ユーザインターフェースの第2の領域内に前記関連のアプリケーションを表示することなく実施される、請求項87に記載のデバイス。
  94. 前記デバイスが、
    前記ユーザインターフェースの前記第1の領域内における1つ以上のジェスチャの第2のシーケンスの検出に応じて、前記関連のアプリケーションを前記ユーザインターフェースの第2の領域内に表示するように更に構成されている、請求項87に記載のデバイス。
  95. 前記複数のアクションオプションUI要素が、第1のアクションオプションUI要素を含み、前記命令が、更に、前記プロセッサに、
    前記第1のアクションオプションUI要素の選択を検出したことに応じて、2つ以上の更なるアクションオプションUI要素を表示させる、請求項87に記載のデバイス。
  96. プロセッサ及びメモリを備えるデバイスであって、前記デバイスが、
    第1のメッセージを受信し、
    ユーザインターフェースの第1の領域内に、前記受信した第1のメッセージに関する情報を含む第1の通知要素を表示し、
    前記第1の通知要素を表示している間に、前記第1のメッセージへの返信を開始するために第1のUI要素を表示し、
    前記第1のUI要素の選択の受信に応じて、前記第1のメッセージへのユーザ生成返信に対応する情報を受け取り、
    送信入力を受け取ったことに応じて、前記ユーザ生成返信を送信する、ように構成されている、デバイス。
  97. 前記ユーザ生成返信が、テキストベースのメッセージを含む、請求項96に記載のデバイス。
  98. 送信入力の受信が、第2のUI要素の選択を受信することを含む、請求項97に記載のデバイス。
  99. 前記ユーザ生成返信が音声メッセージを含む、請求項96に記載のデバイス。
  100. 送信入力の受信が、前記電子デバイスを下ろす動きを検出することを含む、請求項99に記載のデバイス。
  101. 前記デバイスが、
    前記ユーザ生成返信を送信に供することに応じて、前記ユーザインターフェースの前記第1の領域内に前記第1の通知要素を表示するのを停止するように更に構成されている、請求項96に記載のデバイス。
  102. 前記ユーザ生成返信に関する前記情報が、前記ユーザインターフェースの第2の領域内に関連のアプリケーションを表示することなく受信される、請求項96に記載のデバイス。
  103. 前記デバイスが、
    前記第1の通知要素を表示している間に、第2のメッセージを受信し、
    前記ユーザ生成返信を送信に供することに応じて、
    前記ユーザインターフェースの前記第1の領域内に第2の通知要素を表示する、ように更に構成され、前記通知要素は、前記受信した第2のメッセージに関する情報を含む、請求項96に記載のデバイス。
  104. 前記デバイスが、
    前記第2のメッセージの受信に応じて、前記第1の通知要素内に、前記第2のメッセージを受信したという表示を表示するように更に構成されている、請求項103に記載のデバイス。
  105. 前記デバイスが、
    前記第1の通知要素を表示している間に、第2のメッセージを受信させ、
    前記第2のメッセージが前記第1のメッセージに関連すると判定し、
    前記ユーザインターフェースの前記第1の領域内に第2の通知要素を表示する、ように更に構成され、前記通知要素は、前記受信した第2のメッセージに関する情報を含む、請求項96に記載のデバイス。
  106. 前記第2の通知要素を表示することが、すでに受信している、前記ユーザ生成返信に関する情報を保持することを含む、請求項105に記載のデバイス。
  107. 前記デバイスが、
    前記第1の通知要素の選択に対応する入力の受信に応じて、前記ユーザインターフェースの第2の領域内に関連のアプリケーションを表示するように更に構成されている、請求項96に記載のデバイス。
  108. 前記関連のアプリケーションを前記ユーザインターフェースの第2の領域内に表示することが、すでに受信している、前記ユーザ生成返信に関する情報を保持することを含む、請求項107に記載のデバイス。
  109. 前記第1のUI要素が、テキスト入力フィールドである、請求項96に記載のデバイス。
  110. 前記第1のUI要素を表示することが、
    前記ユーザインターフェースの前記第1の領域内において1つ以上のジェスチャのシーケンスを受け取ることと、
    1つ以上のジェスチャの前記シーケンスの受け取りに応じて、前記ユーザインターフェースの第2の領域内に前記第1のUI要素を表示することと、
    を含む、請求項109に記載のデバイス。
  111. 前記第1のUI要素が、テキスト入力フィールドと、音声の録音を開始するための音声入力ボタンと、を含み、
    前記第1のUI要素の選択の受信に応じて、
    前記選択が前記テキスト入力フィールドの選択を含むという判定に従い、前記ディスプレイ上にソフトキーボードを表示し、前記音声入力ボタンを、テキストメッセージを送信するための送信ボタンに入れ替え、
    前記選択が前記音声入力ボタンの選択を含むという判定に従い、音声の録音を開始し、前記テキスト入力フィールドを、前記音声が録音されている表示に入れ替える、請求項109に記載のデバイス。
  112. 前記第1のメッセージが音声メッセージであり、前記方法が、
    前記第1の通知要素を表示している間に、前記電子デバイスを耳にあてる動作を検出したことに応じて、前記第1のメッセージを再生することを更に含む、請求項96に記載のデバイス。
  113. 前記デバイスが、
    前記第1のメッセージの前記第1の通知要素を表示している間に、第2のメッセージを受信し、
    前記第2のメッセージの受信に応じて、
    前記第2のメッセージが前記第1のメッセージに関連しないという判定に従い、前記第2のメッセージの第2の通知要素を表示するのを、前記第1の通知要素が閉じられるまで遅延させるように更に構成されている、請求項96に記載のデバイス。
  114. 前記命令が、更に、前記プロセッサに、
    前記第2の通知要素を表示している間に、前記第1の通知要素を閉じる要求を検出させ、
    前記第1の通知要素を閉じる前記要求を検出したことに応じて、前記第1の通知要素を表示するのを停止させ、
    前記第1の通知要素を表示するのを停止した後、前記第2の通知要素を表示させる、請求項113に記載のデバイス。
  115. 前記デバイスが、前記第2のメッセージの受信に応じて、前記第2のメッセージが前記第1のメッセージに関連するという判定に従い、前記第1の通知要素をアップデートして前記第2のメッセージを受信したことを示すように更に構成されている、請求項113に記載のデバイス。
  116. プロセッサ及びメモリを備えるデバイスであって、前記デバイスが、
    前記アプリケーションの通知要素のインスタンスに対応する登録メッセージを、前記アプリケーションから受け取ることであって、前記登録メッセージは、通知要素カテゴリと、1つ以上の通知要素コンテキストの前記通知要素カテゴリに関連する1つ以上のアクションのマッピングと、を含み、
    前記アプリケーションの前記通知要素のインスタンスを登録し、
    前記アプリケーションに関連するアプリケーションサーバら、通知要素を提供するための命令を受け取り、前記命令は、通知要素カテゴリ及び通知要素コンテキストを含み、
    前記受け取った命令に関して、前記アプリケーションサーバから受け取った前記命令の前記通知要素カテゴリ及び通知要素コンテキストに関連する前記1つ以上のアクションを、前記登録された通知要素のインスタンスに基づき特定し、
    前記通知要素と、前記通知要素コンテキストで表示するための、前記通知要素カテゴリに関連する前記特定された1つ以上のアクションとを提供する、ように構成されている、デバイス。
  117. 前記通知要素と、前記特定された1つ以上のアクションとを提供することが、
    ロック画面コンテキストを示す前記通知要素コンテキストに応じて、ロック画面通知要素ユーザインターフェースを表示することと、
    通知要素センターコンテキストを示す前記通知要素コンテキストに応じて、通知要素センターユーザインターフェースを表示することと、
    ホーム画面コンテキストを示す前記通知要素コンテキストに応じて、ホーム画面ユーザインターフェースを表示することと、
    モーダルアラートコンテキストを示す前記通知要素コンテキストに応じて、モーダルアラートユーザインターフェースを表示することと、
    を含む、請求項116に記載のデバイス。
  118. 前記モーダルアラートコンテキストが、前記ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストよりも多数のアクションを表示することを可能にする、請求項117に記載のデバイス。
  119. 前記モーダルアラートコンテキストが、最大で6つのアクションを表示することを可能にする、請求項117に記載のデバイス。
  120. 前記ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストが、最大で2つのアクションを表示することを可能にする、請求項117に記載のデバイス。
  121. 前記登録メッセージが、フォアグラウンド状態又はバックグラウンド状態に対する前記1つ以上のアクションのマッピングを更に含む、請求項116に記載のデバイス。
  122. 前記デバイスが、
    前記通知要素を表示している間に、
    フォアグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、前記通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示し、
    バックグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、前記示されたアクションを、前記通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示することなく実行する、ように更に構成されている、請求項121に記載のデバイス。
  123. 前記デバイスが、
    バックグラウンド状態に対してマッピングされたアクションの、制限時間を超えた前記実行に応じて、前記アクションを実行するのを停止するように更に構成されている、請求項122に記載のデバイス。
  124. 前記受け取った命令が、ネットワークコンテキストを示す通知要素コンテキストを含み、前記通知要素と、前記通知要素コンテキストで表示するための、前記通知要素カテゴリに関連する前記特定された1つ以上のアクションとを提供することが、前記通知要素を、ネットワークオブザーバ及び前記特定された1つ以上のアクションに対して送信することを含む、請求項116に記載のデバイス。
  125. 前記ネットワークオブザーバが、前記通知要素及び前記特定された1つ以上のアクションを第三者レシーバに送信する、請求項124に記載のデバイス。
  126. 前記第三者レシーバが、自動車の娯楽システムに関連付けられる、請求項125に記載のデバイス。
  127. アプリケーションに関連するイベントの発生を検出し、
    前記イベントの前記発生の検出に応じて、ユーザインターフェースの第1の領域内に通知要素を表示し、前記通知要素が前記イベントに関する情報を含み、
    前記ユーザインターフェースの前記第1の領域に対応する、1つ以上の入力の第1のシーケンスの検出に応じて、第1のUI要素及び第2のUI要素を含む複数のアクションオプションUI要素を表示する、手段を備えるデバイスであって、
    前記第1のUI要素の選択が、前記アプリケーションに第1のアクションを実施させ、前記第2のUI要素の選択が、前記アプリケーションに、前記第1のアクションとは異なる第2のアクションを実施させるための手段を備える、デバイス。
  128. 前記通知要素が、所定の時間表示された後、前記ディスプレイから除去されることになっており、
    前記方法が、前記所定の時間の後、1つ以上の入力の第1のシーケンスの検出に応じて、前記通知要素を前記ディスプレイ上に保持させることを含む、請求項127に記載のデバイス。
  129. 前記アプリケーションに前記第1のアクションを実施させることが、
    認証コードを要求することと、
    正しい認証コードを受け取ったことに応じて、前記第1のアクションを実施することと、を更に含む、請求項128に記載のデバイス。
  130. 前記1つ以上のジェスチャの第1のシーケンスが、スワイプジェスチャを含む、請求項127に記載のデバイス。
  131. 前記イベントが受信されたメッセージであり、複数のアクションオプションUI要素が、削除UI要素、既読としてマークUI要素、お気に入りとしてマークUI要素、返信UI要素、スパムとしてマークUI要素及びフォルダに移動UI要素のうちの2つ以上を含む、請求項130に記載のデバイス。
  132. 前記スワイプジェスチャにより前記通知要素が下方に延びる、請求項130に記載のデバイス。
  133. 前記イベントが受信されたメッセージであり、
    前記方法が、
    前記1つ以上のジェスチャの第1のシーケンスの検出に応じて、前記ユーザインターフェースの前記第1の領域内に、前記受信されたメッセージのプレビューを表示することを更に含む、請求項132に記載のデバイス。
  134. 前記アクションオプションUI要素のうちの少なくとも1つが、前記アプリケーションから受信したグリフを含み、前記グリフは、前記アプリケーションによって指定されたアクションに対応する、請求項127に記載のデバイス。
  135. 前記アクションの1つ以上が、前記ユーザインターフェースの第2の領域内に前記関連のアプリケーションを表示することなく実施される、請求項127に記載のデバイス。
  136. 前記デバイスが、
    前記ユーザインターフェースの前記第1の領域内における1つ以上のジェスチャの第2のシーケンスの検出に応じて、前記関連のアプリケーションを前記ユーザインターフェースの第2の領域内に表示する手段を更に備える、請求項127に記載のデバイス。
  137. 前記複数のアクションオプションUI要素が、第1のアクションオプションUI要素を含み、前記方法が、
    前記第1のアクションオプションUI要素の選択を検出したことに応じて、2つ以上の更なるアクションオプションUI要素を表示することを更に含む、請求項127に記載のデバイス。
  138. 第1のメッセージを受信し、
    ユーザインターフェースの第1の領域内に、前記受信した第1のメッセージに関する情報を含む第1の通知要素を表示し、
    前記第1の通知要素を表示している間に、前記第1のメッセージへの返信を開始するための第1のUI要素を表示し、
    前記第1のUI要素の選択の受信に応じて、前記第1のメッセージへのユーザ生成返信に対応する情報を受け取り、
    送信入力を受け取ったことに応じて、前記ユーザ生成返信を送信する、手段を備える、デバイス。
  139. 前記ユーザ生成返信が、テキストベースのメッセージを含む、請求項138に記載のデバイス。
  140. 送信入力の受信が、第2のUI要素の選択の受信を含む、請求項139に記載のデバイス。
  141. 前記ユーザ生成返信が音声メッセージを含む、請求項138に記載のデバイス。
  142. 送信入力の受信が、前記電子デバイスを下ろす動きを検出することを含む、請求項141に記載のデバイス。
  143. 前記デバイスが、
    前記ユーザ生成返信を送信に供することに応じて、前記ユーザインターフェースの前記第1の領域内に前記第1の通知要素を表示するのを停止する手段を更に備える、請求項138に記載のデバイス。
  144. 前記ユーザ生成返信に関する前記情報が、前記ユーザインターフェースの第2の領域内に関連のアプリケーションを表示することなく受信される、請求項138に記載のデバイス。
  145. 前記デバイスが、
    前記第1の通知要素を表示している間に、第2のメッセージを受信し、
    前記ユーザ生成返信を送信に供することに応じて、
    前記ユーザインターフェースの前記第1の領域内に第2の通知要素を表示する手段であって、前記通知要素が、前記受信した第2のメッセージに関する情報を含む、手段を更に備える、請求項138に記載のデバイス。
  146. 前記デバイスが、
    前記第2のメッセージの受信に応じて、前記第1の通知要素内に、前記第2のメッセージを受信したという表示を表示する手段を更に備える、請求項145に記載のデバイス。
  147. 前記デバイスが、
    前記第1の通知要素を表示している間に、第2のメッセージを受信し、
    前記第2のメッセージが前記第1のメッセージに関連すると判定し、
    前記ユーザインターフェースの前記第1の領域内に第2の通知要素を表示する、手段であって、前記通知要素が、前記受信した第2のメッセージに関する情報を含む、手段を更に備える、請求項138に記載のデバイス。
  148. 前記第2の通知要素を表示することが、すでに受信している、前記ユーザ生成返信に関する情報を保持することを含む、請求項147に記載のデバイス。
  149. 前記デバイスが、
    前記第1の通知要素の選択に対応する入力の受信に応じて、前記ユーザインターフェースの第2の領域内に関連のアプリケーションを表示する手段を更に備える、請求項138に記載のデバイス。
  150. 前記関連のアプリケーションを前記ユーザインターフェースの第2の領域内に表示することが、すでに受信している、前記ユーザ生成返信に関する情報を保持することを含む、請求項149に記載のデバイス。
  151. 前記第1のUI要素が、テキスト入力フィールドである、請求項138に記載のデバイス。
  152. 前記第1のUI要素を表示することが、
    前記ユーザインターフェースの前記第1の領域内において1つ以上のジェスチャのシーケンスを受け取ることと、
    1つ以上のジェスチャの前記シーケンスの受け取りに応じて、前記ユーザインターフェースの第2の領域内に前記第1のUI要素を表示することと、を含む、請求項151に記載のデバイス。
  153. 前記第1のUI要素が、テキスト入力フィールドと、音声の録音を開始するための音声入力ボタンと、を含み、
    前記第1のUI要素の選択の受信に応じて、
    前記選択が前記テキスト入力フィールドの選択を含むという判定に従い、前記ディスプレイ上にソフトキーボードを表示し、前記音声入力ボタンを、テキストメッセージを送信するための送信ボタンに入れ替え、
    前記選択が前記音声入力ボタンの選択を含むという判定に従い、音声の録音を開始し、前記テキスト入力フィールドを、前記音声が録音されている表示に入れ替える、請求項151に記載のデバイス。
  154. 前記第1のメッセージが音声メッセージであり、前記方法が、
    前記第1の通知要素を表示している間に、前記電子デバイスを耳にあてる動作を検出したことに応じて、前記第1のメッセージを再生することを更に含む、請求項138に記載のデバイス。
  155. 前記第1のメッセージの前記第1の通知要素を表示している間に、第2のメッセージを受信することと、
    前記第2のメッセージの受信に応じて、
    前記第2のメッセージが前記第1のメッセージに関連しないという判定に従い、前記第2のメッセージの第2の通知要素を表示することを、前記第1の通知要素が閉じられるまで遅延させることと、を更に含む、請求項138に記載のデバイス。
  156. 前記デバイスが、
    前記第2の通知要素を表示している間に、前記第1の通知要素を閉じる要求を検出し、
    前記第1の通知要素を閉じる前記要求を検出したことに応じて、前記第1の通知要素を表示するのを停止し、
    前記第1の通知要素を表示するのを停止した後、前記第2の通知要素を表示する、手段を更に備える、請求項155に記載のデバイス。
  157. 前記デバイスが、前記第2のメッセージの受信に応じて、前記第2のメッセージが前記第1のメッセージに関連するという判定に従い、前記第2のメッセージを受信したことを示すように前記第1の通知要素をアップデートする手段を更に備える、請求項155に記載のデバイス。
  158. アプリケーションの通知要素のインスタンスに対応する登録メッセージを、前記アプリケーションから受け取ることであって、前記登録メッセージは、通知要素カテゴリと、1つ以上の通知要素コンテキストの前記通知要素カテゴリに関連する1つ以上のアクションのマッピングと、を含み、
    前記アプリケーションの前記通知要素のインスタンスを登録し、
    前記アプリケーションに関連するアプリケーションシーバから、通知要素を提供するための命令を受け取り、前記命令は、通知要素カテゴリ及び通知要素コンテキストを含み、
    前記受け取った命令に関して、前記アプリケーションサーバから受け取った前記命令の前記通知要素カテゴリ及び通知要素コンテキストに関連する前記1つ以上のアクションを、前記登録された通知要素のインスタンスに基づき特定し、
    前記通知要素と、前記通知要素コンテキストで表示するための、前記通知要素カテゴリに関連する前記特定された1つ以上のアクションとを提供する、手段を備える、デバイス。
  159. 前記通知要素と、前記特定された1つ以上のアクションとを提供することが、
    ロック画面コンテキストを示す前記通知要素コンテキストに応じて、ロック画面通知要素ユーザインターフェースを表示することと、
    通知要素センターコンテキストを示す前記通知要素コンテキストに応じて、通知要素センターユーザインターフェースを表示することと、
    ホーム画面コンテキストを示す前記通知要素コンテキストに応じて、ホーム画面ユーザインターフェースを表示することと、
    モーダルアラートコンテキストを示す前記通知要素コンテキストに応じて、モーダルアラートユーザインターフェースを表示することと、
    を含む、請求項158に記載のデバイス。
  160. 前記モーダルアラートコンテキストが、前記ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストよりも多数のアクションを表示することを可能にする、請求項159に記載のデバイス。
  161. 前記モーダルアラートコンテキストが、最大で6つのアクションを表示することを可能にする、請求項159に記載のデバイス。
  162. 前記ロック画面コンテキスト、通知要素センターコンテキスト及びホーム画面コンテキストが、最大で2つのアクションを表示することを可能にする、請求項159に記載のデバイス。
  163. 前記登録メッセージが、フォアグラウンド状態又はバックグラウンド状態に対する前記1つ以上のアクションのマッピングを更に含む、請求項158に記載のデバイス。
  164. 前記デバイスが、
    前記通知要素を表示している間に、
    フォアグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、前記通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示し、
    バックグラウンド状態に対してマッピングされたアクションを示す入力の受信に応じて、前記示されたアクションを、前記通知要素に関連するアプリケーションのフルアプリケーションユーザインターフェースを表示することなく実行する、手段を更に備える、請求項163に記載のデバイス。
  165. 前記デバイスが、
    バックグラウンド状態に対してマッピングされたアクションの、制限時間を超えた前記実行に応じて、前記アクションの実行を停止する手段を更に備える、請求項164に記載のデバイス。
  166. 前記受け取った命令が、ネットワークコンテキストを示す通知要素コンテキストを含み、前記通知要素と、前記通知要素コンテキストで表示するための、前記通知要素カテゴリに関連する前記特定された1つ以上のアクションとを提供することが、前記通知要素を、ネットワークオブザーバ及び前記特定された1つ以上のアクションに対して送信することを含む、請求項158に記載のデバイス。
  167. 前記ネットワークオブザーバが、前記通知要素及び前記特定された1つ以上のアクションを第三者レシーバに送信する、請求項166に記載のデバイス。
  168. 前記第三者レシーバが、自動車の娯楽システムに関連付けられる、請求項167に記載のデバイス。
  169. 実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体であって、実行されると、データ処理システムに、請求項1から42のいずれか一項に記載の方法を実行させる、記憶媒体。
  170. メモリと、
    1つ以上のプロセッサと、
    前記メモリに記憶された、前記1つ以上のプロセッサによって実行するための1つ以上のプログラムであって、請求項1から42のいずれか一項に記載の方法を実施するための命令を含む、1つ以上のプログラムと、
    を備える、デバイス。
  171. 請求項1から42のいずれか一項に記載の方法を実施する手段を備えるデバイス。
JP2020060361A 2014-05-31 2020-03-30 タッチ感知デバイス上におけるインタラクティブ通知の表示 Active JP7003170B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462006122P 2014-05-31 2014-05-31
US62/006,122 2014-05-31
US14/502,974 US9887949B2 (en) 2014-05-31 2014-09-30 Displaying interactive notifications on touch sensitive devices
US14/502,974 2014-09-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016569889A Division JP6718824B2 (ja) 2014-05-31 2015-05-07 タッチ感知デバイス上におけるインタラクティブ通知の表示

Publications (3)

Publication Number Publication Date
JP2020119581A true JP2020119581A (ja) 2020-08-06
JP2020119581A5 JP2020119581A5 (ja) 2020-11-26
JP7003170B2 JP7003170B2 (ja) 2022-01-20

Family

ID=53180883

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016569889A Active JP6718824B2 (ja) 2014-05-31 2015-05-07 タッチ感知デバイス上におけるインタラクティブ通知の表示
JP2020060361A Active JP7003170B2 (ja) 2014-05-31 2020-03-30 タッチ感知デバイス上におけるインタラクティブ通知の表示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016569889A Active JP6718824B2 (ja) 2014-05-31 2015-05-07 タッチ感知デバイス上におけるインタラクティブ通知の表示

Country Status (6)

Country Link
US (4) US9887949B2 (ja)
EP (1) EP3103006A1 (ja)
JP (2) JP6718824B2 (ja)
CN (2) CN106462358B (ja)
AU (2) AU2015267545B2 (ja)
WO (1) WO2015183499A1 (ja)

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9826079B2 (en) * 2015-03-26 2017-11-21 Aharon Henry ELGRISSY Multifunction peripheral device with interchangeable connectors and casts for mobile devices
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
USD759668S1 (en) * 2014-01-13 2016-06-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN103886044A (zh) * 2014-03-11 2014-06-25 百度在线网络技术(北京)有限公司 搜索结果的提供方法和装置
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9887949B2 (en) 2014-05-31 2018-02-06 Apple Inc. Displaying interactive notifications on touch sensitive devices
USD771112S1 (en) * 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9990105B2 (en) * 2014-07-08 2018-06-05 Verizon Patent And Licensing Inc. Accessible contextual controls within a graphical user interface
US10680988B2 (en) * 2014-08-29 2020-06-09 Google Llc Systems and methods for triggering redisplay of a postponed message
KR102289808B1 (ko) * 2014-12-23 2021-08-13 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 위젯을 이용한 작업의 수행 방법 및 이를 수행하기 위한 화상형성장치
US20160196014A1 (en) * 2015-01-04 2016-07-07 Microsoft Technology Licensing, Llc Method and apparatus for processing notifications on a mobile computing device
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10257141B2 (en) * 2015-03-13 2019-04-09 Cola, Inc. System and method for delivering inline interactive objects encapsulated in a message
CN107408171B (zh) * 2015-03-17 2020-11-24 微软技术许可有限责任公司 基于生物测定用户认证有选择地在锁屏上提供个人信息和对功能的访问
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10216709B2 (en) * 2015-05-22 2019-02-26 Microsoft Technology Licensing, Llc Unified messaging platform and interface for providing inline replies
US20160344677A1 (en) 2015-05-22 2016-11-24 Microsoft Technology Licensing, Llc Unified messaging platform for providing interactive semantic objects
US20160353406A1 (en) * 2015-05-26 2016-12-01 Trumpit, Inc. Media information sharing between networked mobile devices
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160364600A1 (en) * 2015-06-10 2016-12-15 Microsoft Technology Licensing, Llc Biometric Gestures
CN105094801B (zh) 2015-06-12 2019-12-24 阿里巴巴集团控股有限公司 应用功能激活方法及装置
EP3109755A1 (en) * 2015-06-26 2016-12-28 Doro AB Activation of functions through dynamic association of attributes and functions and attribute-based selection of functions
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
JP6502789B2 (ja) * 2015-08-25 2019-04-17 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム
US11099650B1 (en) 2015-09-07 2021-08-24 Oliver Markus Haynold Camera with improved shutter button
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
USD801360S1 (en) * 2015-09-23 2017-10-31 Tencent Technology (Shenzhen) Company Limited Portion of a display screen with graphical user interface
US11184317B1 (en) * 2015-10-20 2021-11-23 Amazon Technologies, Inc. Simplified user interface for viewing the current status of message threads
US10521070B2 (en) * 2015-10-23 2019-12-31 Oath Inc. Method to automatically update a homescreen
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
KR102137731B1 (ko) * 2015-12-16 2020-07-24 삼성전자주식회사 전자 장치, 전자 장치의 알림 정보 표시 방법
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN105389518A (zh) * 2015-12-24 2016-03-09 北京奇虎科技有限公司 通知栏消息接管方法、装置及移动终端
KR102543955B1 (ko) * 2016-05-12 2023-06-15 삼성전자주식회사 전자 장치 및 전자 장치에서의 정보 제공 방법
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
EP4311201A3 (en) 2016-05-18 2024-03-20 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11170311B2 (en) * 2016-05-20 2021-11-09 Coupa Software Incorporated System and method for determining expense information based on inferred events
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10368208B2 (en) 2016-06-12 2019-07-30 Apple Inc. Layers in messaging applications
US11329942B2 (en) * 2016-06-24 2022-05-10 Google Llc Methods, systems, and media for presenting messages related to notifications
KR20180016131A (ko) * 2016-08-05 2018-02-14 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102532478B1 (ko) 2016-08-12 2023-05-16 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
KR102534547B1 (ko) * 2016-09-07 2023-05-19 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10581766B2 (en) * 2016-09-20 2020-03-03 Google Llc System and method for transmitting a response in a messaging application
US10521107B2 (en) 2016-09-24 2019-12-31 Apple Inc. Devices, methods, and graphical user interfaces for selecting and interacting with different device modes
US20180091613A1 (en) * 2016-09-29 2018-03-29 Samsung Electronics Co., Ltd. Electronic device and method thereof for managing notifications
US10410017B2 (en) 2016-09-30 2019-09-10 The Toronto-Dominion Bank Device lock bypass on selectable alert
US10218802B2 (en) 2016-10-18 2019-02-26 Microsoft Technology Licensing, Llc Tiered notification framework
JP6768463B2 (ja) * 2016-11-18 2020-10-14 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
CN106709306A (zh) * 2016-12-01 2017-05-24 北京小米移动软件有限公司 消息阅读方法及装置
CN106533928B (zh) * 2016-12-29 2021-01-05 努比亚技术有限公司 一种更新未读消息提醒标识的方法和装置
GB2562695A (en) * 2017-01-06 2018-11-28 Centrica Connected Home Ltd Environmental control method and apparatus
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CN108536363A (zh) * 2017-03-03 2018-09-14 上海传英信息技术有限公司 应用于移动终端的程序组件显示处理方法及系统
US10541960B2 (en) 2017-03-06 2020-01-21 International Business Machines Corporation Managing message notifications in a computing environment
WO2018165439A1 (en) 2017-03-09 2018-09-13 Google Llc Presentation hierarchy in a notification user interface
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10466889B2 (en) * 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
USD879131S1 (en) * 2017-06-07 2020-03-24 Facebook, Inc. Display screen with a transitional graphical user interface
CN107222632A (zh) * 2017-06-23 2017-09-29 北京金山安全软件有限公司 即时通信方法及装置
CN110663016B (zh) * 2017-06-30 2024-01-16 华为技术有限公司 显示图形用户界面的方法和移动终端
US10951723B2 (en) 2017-10-03 2021-03-16 International Business Machines Corporation Theme-based push notifications
EP3724888A1 (en) 2017-12-12 2020-10-21 Bigfoot Biomedical, Inc. Therapy management systems, methods, and devices
US11077243B2 (en) 2017-12-12 2021-08-03 Bigfoot Biomedical, Inc. Devices, systems, and methods for estimating active medication from injections
US11464459B2 (en) * 2017-12-12 2022-10-11 Bigfoot Biomedical, Inc. User interface for diabetes management systems including flash glucose monitor
US11083852B2 (en) 2017-12-12 2021-08-10 Bigfoot Biomedical, Inc. Insulin injection assistance systems, methods, and devices
US11116899B2 (en) 2017-12-12 2021-09-14 Bigfoot Biomedical, Inc. User interface for diabetes management systems and devices
US10987464B2 (en) 2017-12-12 2021-04-27 Bigfoot Biomedical, Inc. Pen cap for insulin injection pens and associated methods and systems
CN108153601B (zh) * 2018-01-05 2021-05-18 北京小米移动软件有限公司 输出通知信息的方法及装置
JP2019125213A (ja) * 2018-01-18 2019-07-25 京セラドキュメントソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN110096132A (zh) * 2018-01-30 2019-08-06 北京亮亮视野科技有限公司 一种消除智能眼镜消息通知的方法与智能眼镜
KR102488699B1 (ko) 2018-02-27 2023-01-17 삼성전자주식회사 전자 장치 및 그 지문 인증 인터페이스 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
CN108601005B (zh) * 2018-04-27 2021-12-28 北京小米移动软件有限公司 近场通信方法、近场通信模组、终端及存储介质
CN110457093B (zh) * 2018-05-07 2023-06-27 苹果公司 用于主动管理通知的设备、方法和图形用户界面
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11190606B2 (en) * 2018-08-09 2021-11-30 Caavo Inc Automatic switching device operation determination based on received notifications
WO2020037611A1 (zh) * 2018-08-23 2020-02-27 华为技术有限公司 通知消息的处理方法及电子设备
TWI722317B (zh) * 2018-08-29 2021-03-21 豆趣數位科技股份有限公司 下拉式介面操作方法及其系統
CN110879736B (zh) * 2018-09-06 2024-01-02 上海伴我科技有限公司 一种电子设备的时间展示方法
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
WO2020117302A1 (en) 2018-12-03 2020-06-11 Google Llc Efficient control and/or linking of smart devices
US20200233731A1 (en) * 2019-01-22 2020-07-23 Apple Inc. Adaptive in-application messaging
JP7199991B2 (ja) * 2019-02-13 2023-01-06 セコム株式会社 見守りシステム、見守り方法及びプログラム
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
TWI688955B (zh) * 2019-03-20 2020-03-21 點序科技股份有限公司 記憶體裝置以及記憶體的存取方法
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) * 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN111064654A (zh) * 2019-11-19 2020-04-24 维沃移动通信有限公司 一种消息显示方法及电子设备
CN111162990B (zh) * 2019-12-17 2023-05-09 上海掌门科技有限公司 一种呈现消息通知的方法与设备
US11455085B2 (en) 2020-03-10 2022-09-27 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
AU2020233622B2 (en) 2020-05-11 2022-03-10 Apple Inc. System, method and user interface for supporting scheduled mode changes on electronic devices
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN111708522B (zh) * 2020-06-23 2023-01-31 西安雷风电子科技有限公司 一种视频播放组件开发方法及装置
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112286416A (zh) * 2020-10-29 2021-01-29 维沃移动通信(杭州)有限公司 信息显示方法、装置和电子设备
CN115605836A (zh) * 2021-01-05 2023-01-13 乐天集团股份有限公司(Jp) 显示控制装置、显示控制方法以及程序
CN112882624B (zh) * 2021-02-09 2022-06-21 维沃移动通信有限公司 进程管理方法、装置、电子设备和存储介质
CN113198176B (zh) * 2021-04-02 2022-06-07 荣耀终端有限公司 一种提示消息的显示方法及电子设备
CN112800376B (zh) * 2021-04-15 2021-07-13 成都万创科技股份有限公司 一种基于Http循环请求的实现方法及其装置
US11513668B2 (en) * 2021-04-28 2022-11-29 Zoom Video Communications, Inc. Extensible user experience framework
US11431838B1 (en) * 2021-05-05 2022-08-30 Amazon Technologies, Inc. Interaction with mobile application-based item lists via lock screen notifications
WO2023288104A1 (en) * 2021-07-15 2023-01-19 Pivot Industries Limited Intelligent notification router
US11550702B1 (en) 2021-11-04 2023-01-10 T-Mobile Usa, Inc. Ensuring that computer programs are accessible to users with disabilities, such as for use with mobile phones
US20230206921A1 (en) * 2021-12-28 2023-06-29 Snap Inc. Voice notes with transcription
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
EP4273678A1 (en) * 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
CN114840297B (zh) * 2022-05-30 2023-08-08 网易(杭州)网络有限公司 消息的展示方法及装置、电子设备、存储介质
CN115185567B (zh) * 2022-09-09 2023-01-10 北京陌陌信息技术有限公司 一种显示内容更新方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334763A (ja) * 2003-05-12 2004-11-25 Matsushita Electric Ind Co Ltd 通報表示装置
JP2005110026A (ja) * 2003-09-30 2005-04-21 Kyocera Corp 携帯通信装置、プログラム及びコンピュータ読み取り可能な記録媒体
JP2007249868A (ja) * 2006-03-17 2007-09-27 Ricoh Co Ltd 情報処理装置及び情報処理方法
US20100125801A1 (en) * 2008-11-14 2010-05-20 Shin Sung Min Terminal and controlling method thereof

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057285A1 (en) * 2000-08-04 2002-05-16 Nicholas James J. Non-intrusive interactive notification system and method
GB0019459D0 (en) * 2000-07-28 2000-09-27 Symbian Ltd Computing device with improved user interface for applications
EP1481346B1 (en) 2002-02-04 2012-10-10 Cataphora, Inc. A method and apparatus to visually present discussions for data mining purposes
JP2005088801A (ja) * 2003-09-18 2005-04-07 Denso Corp 情報処理システム
US7409641B2 (en) 2003-12-29 2008-08-05 International Business Machines Corporation Method for replying to related messages
CN1782976A (zh) * 2004-12-03 2006-06-07 皮克塞(研究)有限公司 具有增强的用户界面的数据处理设备和系统
US8519963B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US8010613B2 (en) 2007-05-24 2011-08-30 International Business Machines Corporation System and method for end-user management of E-mail threads using a single click
US7996045B1 (en) * 2007-11-09 2011-08-09 Google Inc. Providing interactive alert information
US8407603B2 (en) * 2008-01-06 2013-03-26 Apple Inc. Portable electronic device for instant messaging multiple recipients
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8942767B2 (en) 2008-12-19 2015-01-27 Verizon Patent And Licensing Inc. Communications convergence and user interface systems, apparatuses, and methods
US8712453B2 (en) * 2008-12-23 2014-04-29 Telecommunication Systems, Inc. Login security with short messaging
US8296376B2 (en) 2009-03-26 2012-10-23 International Business Machines Corporation Utilizing E-mail response time statistics for more efficient and effective user communication
US8355698B2 (en) * 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
KR101099135B1 (ko) * 2009-08-24 2011-12-27 주식회사 팬택 이동단말의 단축기능 수행장치 및 방법
US8793611B2 (en) 2010-01-06 2014-07-29 Apple Inc. Device, method, and graphical user interface for manipulating selectable user interface objects
EP2369820B1 (en) 2010-03-22 2016-04-06 BlackBerry Limited Management and display of grouped messages on a communication device
US20110246944A1 (en) * 2010-04-06 2011-10-06 Google Inc. Application-independent text entry
US8423570B2 (en) 2010-04-21 2013-04-16 Research In Motion Limited Method and apparatus for searching message data in a portable electronic device
US9824314B2 (en) * 2011-01-14 2017-11-21 Apple Inc. Grouping email messages into conversations
US8473507B2 (en) 2011-01-14 2013-06-25 Apple Inc. Tokenized search suggestions
US9503415B2 (en) * 2011-01-27 2016-11-22 T-Mobile Usa, Inc. Unified notification platform
AU2012268312B2 (en) * 2011-06-05 2016-02-18 Apple Inc. Systems and methods for displaying notifications received from multiple applications
US9891800B2 (en) 2011-06-17 2018-02-13 Nokia Technologies Oy Method and apparatus for providing a notification mechanism
EP2724208B1 (en) 2011-06-24 2017-04-12 Google, Inc. Group conversation between a plurality of participants
WO2013016047A2 (en) 2011-07-27 2013-01-31 Google Inc. Enabling search for conversation with two messages each having a query term
WO2013048880A1 (en) 2011-09-30 2013-04-04 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20130097526A1 (en) 2011-10-17 2013-04-18 Research In Motion Limited Electronic device and method for reply message composition
US20130111378A1 (en) * 2011-10-31 2013-05-02 Nokia Corporation Portable electronic device, associated apparatus and methods
US20130246538A1 (en) * 2012-03-13 2013-09-19 Sap Ag Delivering Notification in an Internal Network
US20130346918A1 (en) 2012-06-26 2013-12-26 Google Inc. Presentation and management of notifications
JP2014011512A (ja) 2012-06-27 2014-01-20 Kyocera Corp 電子機器、制御方法、及び制御プログラム
WO2014000255A1 (zh) * 2012-06-29 2014-01-03 宇龙计算机通信科技(深圳)有限公司 终端和通知消息的管理方法
US20140052542A1 (en) * 2012-08-15 2014-02-20 Tencent Technology (Shenzhen) Company Limited Method, client and system for recommending software
US9588568B2 (en) * 2012-11-16 2017-03-07 Samsung Electronics Co., Ltd. Monitoring and managing processor activity in power save mode of portable electronic device
EP2770761B1 (en) 2013-02-22 2016-04-20 BlackBerry Limited Communication device and method for profiling and presentation of message threads
CN103235688A (zh) * 2013-04-17 2013-08-07 昆山富泰科电脑有限公司 一种在智能设备通知栏快捷处理消息的方法与图形用户界面
US9419935B2 (en) * 2013-08-02 2016-08-16 Whatsapp Inc. Voice communications with real-time status notifications
US9887949B2 (en) 2014-05-31 2018-02-06 Apple Inc. Displaying interactive notifications on touch sensitive devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334763A (ja) * 2003-05-12 2004-11-25 Matsushita Electric Ind Co Ltd 通報表示装置
JP2005110026A (ja) * 2003-09-30 2005-04-21 Kyocera Corp 携帯通信装置、プログラム及びコンピュータ読み取り可能な記録媒体
JP2007249868A (ja) * 2006-03-17 2007-09-27 Ricoh Co Ltd 情報処理装置及び情報処理方法
US20100125801A1 (en) * 2008-11-14 2010-05-20 Shin Sung Min Terminal and controlling method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
リンクアップ, 今すぐ使えるかんたんMINI スマホで楽しむLINE 基本&便利技, vol. 初版, JPN6019020408, 10 November 2013 (2013-11-10), pages 64 - 68, ISSN: 0004473439 *

Also Published As

Publication number Publication date
JP2017517072A (ja) 2017-06-22
CN111552417A (zh) 2020-08-18
US20150350147A1 (en) 2015-12-03
AU2019206119B2 (en) 2020-12-17
CN106462358A (zh) 2017-02-22
AU2015267545B2 (en) 2019-06-20
EP3103006A1 (en) 2016-12-14
AU2015267545A1 (en) 2016-09-22
JP7003170B2 (ja) 2022-01-20
US11190477B2 (en) 2021-11-30
JP6718824B2 (ja) 2020-07-08
AU2019206119A1 (en) 2019-08-08
US11916861B2 (en) 2024-02-27
US20200374257A1 (en) 2020-11-26
US20220109652A1 (en) 2022-04-07
CN106462358B (zh) 2020-05-01
CN111552417B (zh) 2023-10-03
US9887949B2 (en) 2018-02-06
WO2015183499A1 (en) 2015-12-03
US20180131657A1 (en) 2018-05-10
US10771422B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
JP7003170B2 (ja) タッチ感知デバイス上におけるインタラクティブ通知の表示
US11488406B2 (en) Text detection using global geometry estimators
US11782575B2 (en) User interfaces for sharing contextually relevant media content
JP6705842B2 (ja) ナビゲーション及び検索機能を提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP6446581B2 (ja) 構造化された提案
JP6574476B2 (ja) 別デバイスのロック解除に使用される認証済みデバイス
JP2021007259A (ja) インテリジェントなデバイス識別
JP6062548B2 (ja) 文字を入力するためのデバイス、方法、及びグラフィカルユーザインターフェース
US20220327199A1 (en) Device, method, and graphical user interface for managing authentication credentials for user accounts
US20170199631A1 (en) Devices, Methods, and Graphical User Interfaces for Enabling Display Management of Participant Devices
JP2019519838A (ja) 一般的なデバイス機能にアクセスするためのデバイス及び方法
US11144624B2 (en) Secure login with authentication based on a visual representation of data
US20230089689A1 (en) User interfaces for digital identification
US20230084751A1 (en) User interfaces for managing passwords
US20230396607A1 (en) Passkey management and sharing
DK202270438A1 (en) User interfaces for digital identification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211228

R150 Certificate of patent or registration of utility model

Ref document number: 7003170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150