JP2016529580A - 2つ以上のディスプレイを同期させるためのデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents

2つ以上のディスプレイを同期させるためのデバイス、方法、及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP2016529580A
JP2016529580A JP2016518365A JP2016518365A JP2016529580A JP 2016529580 A JP2016529580 A JP 2016529580A JP 2016518365 A JP2016518365 A JP 2016518365A JP 2016518365 A JP2016518365 A JP 2016518365A JP 2016529580 A JP2016529580 A JP 2016529580A
Authority
JP
Japan
Prior art keywords
display
input
user interface
information
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016518365A
Other languages
English (en)
Other versions
JP6545155B2 (ja
Inventor
ジャスティン サンタマリア,
ジャスティン サンタマリア,
イムラン チャウドリ,
イムラン チャウドリ,
ドナルド, ダブリュー. ピッチェル,
ドナルド, ダブリュー. ピッチェル,
ジョージ フィノ,
ジョージ フィノ,
エミリー, クラーク シューベルト,
エミリー, クラーク シューベルト,
ヨシュア, エイチ. シャファー,
ヨシュア, エイチ. シャファー,
ボブ ブラッドリー,
ボブ ブラッドリー,
エリック リー,
エリック リー,
スコット ヘルツ,
スコット ヘルツ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority claimed from US14/291,970 external-priority patent/US9965035B2/en
Publication of JP2016529580A publication Critical patent/JP2016529580A/ja
Application granted granted Critical
Publication of JP6545155B2 publication Critical patent/JP6545155B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/362Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098Interfacing with an on-board device of a vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/38Universal adapter
    • G06F2213/3806Mobile device

Abstract

デバイスは、複数のオブジェクトを含み、かつ第2のディスプレイ上の第2のユーザインタフェースに対応する、第1のユーザインタフェースを第1のディスプレイ上に表示する。第1のオブジェクトが選択されたオブジェクトとして第2のユーザインタフェース内に表示されている間に、デバイスは、第2のオブジェクトに関する情報を要求する第1の入力を検出し、第1の入力を検出したことに応じて、第2のオブジェクトに関する情報を第1のユーザインタフェース内に表示し、第2のユーザインタフェース内への第1のオブジェクトの選択されたオブジェクトとしての表示を維持する。情報を表示した後、デバイスは、第2のオブジェクトを選択する第2の入力を検出する。第2の入力の選択を検出したことに応じて、デバイスは、第2のオブジェクトを選択されたオブジェクトとして第1のユーザインタフェース内に表示し、第2のユーザインタフェースが第2のオブジェクトを選択されたオブジェクトとして表示することを可能にする情報を、第2のディスプレイに提供する。

Description

関連出願の相互参照
本出願は、以下の出願に関連する。2013年3月15日出願の「Voice and Touch User Interface」と題された米国仮出願第61/793,924号、2011年2月11日出願の「Pushing a Graphical User Interface to a Remote Device with Display Rules Provided by the Remote Device」と題された米国出願第13/032,614号、2010年1月6日出願の「Pushing a User Interface to a Remote Device」と題された米国出願第12/683,218号、2008年5月13日出願の「Pushing a User Interface to a Remote Device」と題された米国出願第12/119,960号、2011年7月1日出願の「Pushing a User Interface to a Remote Device」と題された米国出願第13/175,581号、2011年6月15日出願の「Pushing a Graphical User Interface to a Remote Device with Display Rules Provided by the Remote Device」と題された米国出願第13/161,339号、2011年9月30日出願の「Automatically Adapting User Interfaces for Hands−Free Interaction」と題された米国出願第13/250,947号、2011年1月10日出願の「Intelligent Automated Assistant」と題された米国出願第12/987,982号、2010年1月18日出願の「Intelligent Automated Assistant」と題された米国仮出願第61/295,774号、2011年6月3日出願の「Generating and Processing Data Items that Represent Tasks to Perform」と題された米国仮出願第61/493,201号、2012年6月9日出願の「Automatically Adapting User Interface for Hands−Free Interaction」と題された米国仮出願第61/657,744号、2008年9月9日出願の「Radio with Personal DJ」と題された米国出願第12/207,316号、2012年11月16日出願の「System and Method for Negotiating Control of a Shared Audio or Visual Resource」と題された米国仮出願第61/727,554号、2013年6月8日出願の「Mapping Application with Several User Interfaces」と題された米国出願第61/832,818号、2013年6月8日出願の「Device and Method for Generating User Interfaces from a Template」と題された米国仮出願第61/832,841号、2013年6月8日出願の「Application Gateway for Providing Different User Interfaces for Limited Distraction and Non−Limited Distraction Contexts」と題された米国出願第13/913,428号。これらの出願は、その全体が参照により本明細書に組み込まれる。
本出願は概して、限定するものではないが、2つ以上のディスプレイを同期させる、タッチ感知面を備える電子デバイスを含む、タッチ感知面を備える電子デバイスに関する。
発明の背景
コンピュータ及び他の電子コンピューティングデバイス用の入力デバイスとしての、タッチ感知面の使用は、近年では、著しく増大している。例示的なタッチ感知面としては、タッチパッド及びタッチスクリーンディスプレイが挙げられる。このような面は、第1の電子デバイスに関連付けられた第1のディスプレイ上のユーザインタフェースオブジェクトを操作するために、広く使用されている。
例示的な操作としては、1つ以上のユーザインタフェースオブジェクトの位置及び/若しくはサイズを調節すること、ボタンをアクティブにすること、ユーザインタフェースオブジェクトによって表されるファイル/アプリケーションを開くこと、又は他の方式でユーザインタフェースを操作することが挙げられる。例示的なユーザインタフェースオブジェクトとしては、デジタル画像、ビデオ、テキスト、アイコン、ボタンなどの制御要素、及び他のグラフィックが挙げられる。
ユーザは、異なるコンテンツを表示することができる複数の異なるディスプレイへのアクセスを有する場合がある。例えば、自動車又は他の車両内の同乗者は、スマートフォン及びそのディスプレイ、と同時に自動車情報/エンターテイメントシステム及びそのディスプレイ(単数又は複数)へのアクセスを有してもよい。ただし、複数の異なるディスプレイが使用可能であるとき、これらの異なるディスプレイ上にコンテンツを表示するための方法は、煩雑かつ非効率的である。例えば、同じ情報を異なるディスプレイ上に表示することは、概して役立つ追加情報をユーザに提供せず、かつ無関係な情報を異なるディスプレイ上に表示することは、ユーザにとって紛らわしく非効率的であり、場合によっては、ユーザが関連コンテンツを両方のデバイスに表示し続けるために、余分な時間を費やすことになる。加えて、これらの方法は必要以上に時間がかかり、それによってエネルギーを浪費する。この後者の考慮事項は、電池駆動式デバイスにおいては特に重要である。
したがって、2つ以上のディスプレイを同期させるための、より効率的な方法及びインタフェースを備える、電子デバイスが必要とされている。このような方法及びインタフェースは、任意選択的に、2つ以上のディスプレイ上に情報を表示するための従来の方法を補完するか、又は置き換える。このような方法及びインタフェースは、ユーザの認知負担を軽減し、より効率的なヒューマン−マシンインタフェースを作り出す。電池駆動式デバイスの場合、このような方法及びインタフェースにより、電力が節約され、電池充電の時間間隔が延びる。
更に、多くの状況では、ディスプレイ上に表示されたこのようなユーザインタフェースとの対話において使用するためのコントロールは、しばしば単一のディスプレイに厳格に関連付けられる。これはコントロールの柔軟性を制限し、その結果、ユーザインタフェースの効率が低下し得る。したがって、コントロール及び他の入力ソースを、異なるディスプレイ上に柔軟な様式で表示されたユーザインタフェースに連続的にマップするシステムが必要とされている。ただし、異なるコントロールを異なるディスプレイにマップするときに、コントロールが誤って不適切なディスプレイに関連付けられやすくなる。更に、特定のコントロールに関連付けられるディスプレイを判定するのに長い時間がかかると、ユーザインタフェースとのユーザの対話において遅延が発生し、それによりユーザエクスペリエンスの質が低下し得る。すなわち、コントロール及び他の入力ソースを、2つ以上のディスプレイのうちの異なるディスプレイにマップするための、高速で正確、かつ効率的なシステム及び方法が必要とされている。
タッチ感知面を備える電子デバイス用のユーザインタフェースに関連付けられた、上記の欠陥及び他の問題点は、開示されるデバイスによって低減されるか、又は取り除かれる。いくつかの実施形態では、このデバイスは、デスクトップコンピュータである。いくつかの実施形態では、このデバイスは、ポータブル(例えば、ノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイス)である。いくつかの実施形態では、このデバイスは、タッチパッドを有する。いくつかの実施形態では、このデバイスは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。一部の実施形態では、このデバイスは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためにメモリ内に記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。一部の実施形態では、ユーザは、主にタッチ感知面上での指の接触及びジェスチャを介して、GUIと対話する。いくつかの実施形態では、それらの機能としては、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、ウェブサイトの作成、ディスクオーサリング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、及び/又はデジタルビデオの再生が挙げられる。これらの機能を実行するための実行可能命令は、1つ以上のプロセッサによる実行のために構成された、非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に、任意選択的に含まれる。
いくつかの実施形態によれば、第1のディスプレイを備える第1の電子デバイスにおいて、方法が実行される。方法は、第1のユーザインタフェースを第1のディスプレイ上に表示することを含み、第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、第1のユーザインタフェースは第1のディスプレイと異なる第2のディスプレイ上に表示された第2のユーザインタフェースに対応し、複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして第2のユーザインタフェース内に表示される。方法は、第1のオブジェクトが選択されたオブジェクトとして第2のユーザインタフェース内に表示される間、複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報を第1のユーザインタフェース内に表示するための要求に対応する、ユーザからの第1の入力を検出することと、第1の入力を検出したことに応じて、第2のユーザインタフェース内への選択されたオブジェクトとしての第1のオブジェクトの表示を維持しながら、第1の入力に従って、第2のオブジェクトに関する対応する情報を表示するように第1のディスプレイ上の第1のユーザインタフェースを更新することと、第1の入力に従って第1のユーザインタフェースを更新した後、第2のオブジェクトを選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出することと、を含む。方法は、第2の入力を検出したことに応じて、第2の入力に従って、第2のオブジェクトを選択されたオブジェクトとして表示するように、第1のディスプレイ上の第1のユーザインタフェースを更新することと、第1のオブジェクトに代わる選択されたオブジェクトとして第2のオブジェクトを表示するように第2のディスプレイ上の第2のユーザインタフェースを更新することを可能にする情報を第2のディスプレイに提供することと、を更に含む。
いくつかの実施形態によれば、第1の電子デバイスは、第1のユーザインタフェースを第1のディスプレイユニット上に表示するように構成された第1のディスプレイユニットを含み、第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、第1のユーザインタフェースは第1のディスプレイユニットと異なる第2のディスプレイユニット上に表示された第2のユーザインタフェースに対応し、複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして第2のユーザインタフェース内に表示される。この第1の電子デバイスはまた、第1のディスプレイユニットに結合された処理ユニットを含む。処理ユニットは、第1のオブジェクトが選択されたオブジェクトとして第2のユーザインタフェース内に表示されている間、第1のユーザインタフェース内の複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報の表示を可能にするための要求に対応する、ユーザからの第1の入力を検出し、第1の入力を検出したことに応じて、第2のユーザインタフェース内への第1のオブジェクトの選択されたオブジェクトとしての表示を維持しながら、第1の入力に従って、第2のオブジェクトに関する対応する情報の表示を可能にするように第1のディスプレイユニット上の第1のユーザインタフェースを更新し、第1の入力に従って第1のユーザインタフェースを更新した後、第2のオブジェクトを選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出するように構成される。処理ユニットは、第2の入力を検出したことに応じて、第2の入力に従って、選択されたオブジェクトとしての第2のオブジェクトの表示を可能にするように、第1のディスプレイユニット上の第1のユーザインタフェースを更新し、第1のオブジェクトに代わる選択されたオブジェクトとしての第2のオブジェクトの表示を可能にするように、第2のディスプレイユニット上の第2のユーザインタフェースを更新することを可能にする情報を、第2のディスプレイユニットに提供するように更に構成される。
いくつかの実施形態によれば、方法は、ポータブルデバイスディスプレイを備え、かつ車両の車両ディスプレイと通信する、ポータブル電子デバイスにおいて実行される。方法は、複数の目的地候補を含む地図検索結果のセットを取得することと、複数の目的地候補からの目的地の選択を可能にするポータブルデバイスナビゲーションインタフェースをポータブルデバイスディスプレイ上に表示することと、車両ディスプレイが車両ナビゲーションインタフェースを表示することを可能にする情報を車両ディスプレイに送信することであって、複数の目的地候補のうちの第1の目的地が車両ナビゲーションインタフェース内の選択された目的地である、送信することと、を含む。方法は、第1の目的地が車両ナビゲーションインタフェース内の選択された目的地である間に、第1の目的地と異なる複数の目的地候補内の1つ以上の目的地候補に関する情報を表示するための要求に対応する、ユーザからの第1の入力を検出することと、第1の入力を検出したことに応じて、車両ディスプレイ上の車両ナビゲーションインタフェースを更新することなく、第1の入力に従ってポータブルデバイスディスプレイ上のポータブルデバイスナビゲーションインタフェースを更新することと、第1の入力に従ってポータブルデバイスナビゲーションインタフェースを更新した後、選択された目的地として複数の目的地候補内の第2の目的地を選択するための要求に対応する、ユーザからの第2の入力を検出することと、を含む。方法は、第2の入力を検出したことに応じて、第2の入力に従って、選択された目的地として第2の目的地を表示するようにポータブルデバイスディスプレイ上のポータブルデバイスナビゲーションインタフェースを更新することと、車両ディスプレイが、第2の入力に従って、選択された目的地として第2の目的地を表示するように車両ナビゲーションインタフェースを更新することを可能にする情報を車両ディスプレイに送信することと、を更に含む。
いくつかの実施形態によれば、ポータブル電子デバイスは、ポータブルデバイスナビゲーションインタフェースを表示するように構成されたポータブルデバイスディスプレイユニットと、車両の車両ディスプレイユニットと通信するように構成された通信インタフェースユニットと、ポータブルデバイスディスプレイユニット及び通信インタフェースユニットに結合された処理ユニットと、を含む。処理ユニットは、複数の目的地候補を含む地図検索結果のセットを取得し、複数の目的地候補からの目的地の選択を可能にするポータブルデバイスナビゲーションインタフェースのポータブルデバイスディスプレイユニット上への表示を可能にし、車両ディスプレイユニットが車両ナビゲーションインタフェースの表示を可能にすることを可能にする情報を車両ディスプレイユニットに送信し、複数の目的地候補のうちの第1の目的地が車両ナビゲーションインタフェース内の選択された目的地である、ように構成される。処理ユニットはまた、第1の目的地が車両ナビゲーションインタフェース内の選択された目的地である間に、第1の目的地と異なる、複数の目的地候補のうちの1つ以上の目的地候補に関する情報の表示を可能にするための要求に対応する、ユーザからの第1の入力を検出し、第1の入力を検出したことに応じて、車両ディスプレイユニット上の車両ナビゲーションインタフェースを更新することなく、第1の入力に従ってポータブルデバイスディスプレイユニット上のポータブルデバイスナビゲーションインタフェースを更新し、第1の入力に従ってポータブルデバイスナビゲーションインタフェースを更新した後、複数の目的地候補のうちの第2の目的地を選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を検出するように構成される。処理ユニットは、第2の入力を検出したことに応じて、第2の入力に従って、選択された目的地としての第2の目的地の表示を可能にするように、ポータブルデバイスディスプレイユニット上のポータブルデバイスナビゲーションインタフェースを更新し、車両ディスプレイユニットが、第2の入力に従って、第2の目的地の選択された目的地としての表示を可能にするように車両ナビゲーションインタフェースを更新することを可能にする情報を車両ディスプレイユニットに送信するように更に構成される。
いくつかの実施形態によれば、方法は、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイスにおいて実行される。方法は、複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信することを含み、第1の入力情報は、第1の入力ソースに対する第1の識別子と、第1の入力を記述する第1の入力記述と、を含む。方法はまた、第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを複数のディスプレイから選択することも含む。方法は、第1の入力に従って第1の影響を受けるディスプレイを更新することを可能にする更新情報を、第1の影響を受けるディスプレイに送信することを更に含む。
いくつかの実施形態によれば、電子デバイスは、第1のディスプレイユニット及び第2のディスプレイユニットを含む複数のディスプレイユニットと通信するように構成された通信インタフェースユニットと、通信インタフェースユニットに結合された処理ユニットと、を含む。処理ユニットは、複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信するように構成され、第1の入力情報は、第1の入力ソースに対する第1の識別子と、第1の入力を記述する第1の入力記述と、を含む。処理ユニットはまた、第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを複数のディスプレイから選択するようにも構成される。処理ユニットは、第1の入力に従って第1の影響を受けるディスプレイを更新することを可能にする更新情報を、第1の影響を受けるディスプレイに送信するように更に構成される。
いくつかの実施形態によれば、電子デバイスは、1つ以上のディスプレイ(例えば、第1のディスプレイ、第2のディスプレイ、ポータブルデバイスディスプレイ、及び/又は車両ディスプレイ)と通信するための通信インタフェースと、1つ以上のプロセッサと、メモリと、1つ以上のプログラムと、を含み、1つ以上のプログラムはメモリ内に記憶され、1つ以上のプロセッサによって実行されるように構成され、1つ以上のプログラムは本明細書に記載されている方法のいずれかの動作を実行するための命令を含む。いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体は、その内部に命令を記憶しており、この命令は、1つ以上のディスプレイと通信する電子デバイスによって実行されると、本明細書において参照及び説明されている方法のうちのいずれかの動作を、そのデバイスに実行させる。いくつかの実施形態によれば、1つ以上のディスプレイと通信し、メモリと、このメモリ内に記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサと、を備える電子デバイス上の、グラフィカルユーザインタフェースは、上述の方法のうちのいずれかで表示される要素のうちの1つ以上を含み、それらの要素は、本明細書に記載されている方法のうちのいずれかで説明されるように、入力に応じて更新される。いくつかの実施形態によれば、1つ以上のディスプレイと通信する電子デバイスが、本明細書に記載されている方法のうちのいずれかの動作を実行するための手段を含む。いくつかの実施形態によれば、1つ以上のディスプレイと通信する電子デバイスにおいて使用される情報処理装置が、本明細書に記載されている方法のうちのいずれかの動作を実行するための手段を含む。
このように、複数のディスプレイを備えた電子デバイスが、2つ以上のディスプレイを同期させるためのより効率的な方法及びインタフェースを備えていることにより、これらのデバイスの有効性、効率、及びユーザ満足度を高めることができる。このような方法及びインタフェースは、2つ以上のディスプレイを同期させるための従来の方法を補完するか、又は置き換えてもよい。
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の実施形態の説明を参照されたく、類似の参照番号は、それらの図の全体を通じて対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを備えるポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを備えるポータブル多機能デバイスを示す図である。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す図である。
いくつかの実施形態による、ディスプレイとは個別のタッチ感知面を備えた多機能デバイスのための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ポータブル多機能デバイスが外部提供システム及び/又はサーバと通信する動作環境を示すブロック図である。
いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信する方法を示す流れ図である。
いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、2つ以上のディスプレイを同期させる方法を示す流れ図である。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させる方法を示す流れ図である。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させる方法を示す流れ図である。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させる方法を示す流れ図である。
いくつかの実施形態に係る、2つ以上のディスプレイを同期させる方法を示す流れ図である。 いくつかの実施形態に係る、2つ以上のディスプレイを同期させる方法を示す流れ図である。
いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信する方法を示す流れ図である。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信する方法を示す流れ図である。 いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信する方法を示す流れ図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
多くの電子デバイスは、ディスプレイ上に表示されたユーザインタフェースオブジェクトの操作に応じて、電子デバイスに関連付けられたディスプレイ上のグラフィカルユーザインタフェースを更新する。以下で説明される第1の電子デバイスは、第2のディスプレイ上の第2のグラフィカルインタフェースを、第1の電子デバイスに関連付けられた第1のディスプレイ上の第1のグラフィカルユーザインタフェースと(場合によっては)同期させることによって、これらの方法を改善する。いくつかの実施形態では、第2のディスプレイが、第1の電子デバイスと異なる第2の電子デバイスに関連付けられる。いくつかの実施形態では、第1の電子デバイスが、第1のグラフィカルユーザインタフェース上のユーザインタフェースオブジェクトの操作(例えば、第1の電子デバイスに関連付けられた第1のタッチ感知面又は第1のタッチスクリーンディスプレイを使用して操作される)に応じて、第1のディスプレイ及び第2のディスプレイを同期させる。いくつかの他の実施形態では、第1の電子デバイスが、第2のグラフィカルユーザインタフェース上のユーザインタフェースオブジェクトの操作(例えば、第2の電子デバイスに関連付けられた第2のタッチ感知面又は第2のタッチスクリーンディスプレイを使用して操作される)に応じて、第1のディスプレイ及び第2のディスプレイを同期させる。
以下において、図1A〜図1B、図2、及び図3は例示的なデバイスの説明を提供する。図4A〜図4B及び図6A〜図6FFは、例示的なユーザインタフェースを示す。図7A〜図7D及び図8A〜図8Bは、2つ以上のディスプレイを同期させる方法を示す流れ図である。図9A〜図9Cは、影響を受けるディスプレイに更新情報を送信する方法を示す流れ図である。図6A〜図6Vのユーザインタフェースは、図7A〜図7D及び図8A〜図8Bのプロセスを説明するために使用される。図6W〜図6FFのユーザインタフェースは、図9A〜図9Cのプロセスを説明するために使用される。
例示的なデバイス
これより、添付の図面に実施例が示されている実施形態を詳細に参照する。以下の詳細な説明では、説明されている様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかし、説明されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭なものとしないよう、詳細には説明されていない。
本明細書では、第1、第2などの用語は、一部の実例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称することができるであろう。第1の接触及び第2の接触は、双方とも接触であるが、それらは同じ接触ではない。
本明細書で説明される様々な実施形態の説明で使用される用語法は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。様々な記載の実施形態、及び添付の特許請求の範囲で使用されるとき、単数形「a」、「an」、及び「the」は、文脈が別途明確に示さない限り、複数形をも含むことが意図されている。本明細書で使用されるときに、用語「及び/又は」が、関連する列挙された項目のうちの1つ以上の任意の全ての可能な組み合わせを指し、かつこれを含むことをもまた理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(備える)」、及び/又は「comprising(備える)」は、本明細書で使用される場合、記述される特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらの群の存在若しくは追加を排除するものではないことが、更に理解されるであろう。
本明細書で使用されるとき、用語「if(〜の場合には)」は、任意選択的に、文脈に応じて「when(〜のとき)」、「upon(〜すると)」、「in response to determining(〜という判定に応じて)」、又は「in response to detecting(〜の検出に応じて)」を意味するものと解釈される。同様に、句「if it is determined(〜と判定される場合に)」又は「if(a stated condition or event)is detected((述べられる条件又はイベント)が検出される場合に)」は、文脈に応じて「upon determining(〜と判定されるときに)」、「in response to determining(〜という判定に応じて)」、「upon detecting(the stated condition or event)((述べられる条件又はイベント)の検出時に)」、又は「in response to detecting(the stated condition or event)((述べられる条件又はイベント)の検出に応じて)」を意味すると、任意選択的に解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用するための関連プロセスの実施形態を説明する。いくつかの実施形態では、このデバイスは、PDA機能及び/又は音楽再生機能などの、他の機能をも含むモバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、限定を伴わずに、California州CupertinoのApple Inc.のiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスを含む。タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えるラップトップコンピュータ又はタブレットコンピュータなどの、他のポータブル電子デバイスが、任意選択的に使用される。また、いくつかの実施形態では、このデバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えるデスクトップコンピュータであることを理解されたい。
以下の考察では、ディスプレイ及びタッチ感知面を含む電子デバイスを説明する。しかしながら、この電子デバイスは、任意選択的に、物理キーボード、マウス、及び/又はジョイスティックなどの、1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
そのデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽再生アプリケーション、及び/又はデジタルビデオ再生アプリケーションのうちの1つ以上など、様々なアプリケーションをサポートする。
このデバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、及び/若しくは対応するアプリケーション内で、任意選択的に、調節並びに/又は変更される。この方式で、そのデバイスの共通の(タッチ感知面などの)物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを有する様々なアプリケーションを、任意選択的にサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係る、タッチ感知ディスプレイ112を備えるポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、時に便宜上「タッチスクリーン」と称され、「タッチ感知ディスプレイシステム」として知られたり、称されることもある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力又は制御デバイス116、及び外部ポート124を含む。デバイス100は1つ以上の光センサ164を任意選択的に含む。デバイス100は、デバイス100(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)上の接触の強度を検出するための、1つ以上の強度センサ165を、任意選択的に含む。デバイス100は、デバイス100上に触知出力を生成する(例えば、デバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などの、タッチ感知面上に触知出力を生成する)ための、1つ以上の触知出力生成器167を、任意選択的に含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号線103を介して通信する。
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指接触)の力又は圧力(単位面積当りの力)、あるいはタッチ感知面上の接触の力又は圧力の代替物(代用物)を指す。接触の強度は、少なくとも4つの別個の値を含み、より典型的には、数百個の別個の値(例えば、少なくとも256個)を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ、若しくはセンサの組み合わせを使用して、判定(又は、測定)される。例えば、タッチ感知面の下にあるか又はそれに隣接する1つ以上のセンサが、任意選択的に、タッチ感知面上の様々な点における力を測定するために用いられる。いくつかの実装では、複数の力センサからの力測定値を組み合わせて(例えば、加重平均)、推定される接触の力を判定する。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に、用いられる。あるいは、タッチ感知面上で検出される接触区域のサイズ及び/又はその変化、接触に近接するタッチ感知面の静電容量及び/又はその変化、並びに/あるいは接触に近接するタッチ感知面の抵抗及び/又はその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装形態では、接触の力又は圧力の代替的測定値は、強度閾値を超えているかどうかを判定するために直接用いられる(例えば、強度閾値は、代替的測定値に対応する単位で記述される)。いくつかの実装形態では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているかどうかが判定される(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、デバイスの別の構成要素(例えば、筐体)に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス、又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、指、手のひら、又はユーザの手の他の部分)と接触している状況では、物理的変位によって生成される触知出力は、そのデバイス、又はデバイスの構成要素の物理的特性の、知覚される変化に対応する触感覚として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の運動は、任意選択的に、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、ユーザによって解釈される。いくつかの場合には、ユーザは、たとえ、ユーザの運動によって物理的に押圧される(例えば変位される)、タッチ感知面に関連付けられた物理アクチュエータボタンの運動が存在しない場合であっても、「ダウンクリック」又は「アップクリック」などの触感覚を感じることになる。別の例として、タッチ感知面の運動は、たとえ、タッチ感知面の平滑度の変化が存在しない場合であっても、タッチ感知面の「粗さ」として、任意選択的に、ユーザによって解釈又は感知される。ユーザによる、そのような接触の解釈は、ユーザの個別の感覚認知に左右されるものではあるが、大多数のユーザに共通するタッチの感覚認知が、多く存在する。それゆえ、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」、「ダウンクリック」、「粗さ」)に対応するとして説明される場合、特に明記しない限り、生成される触知出力は、その説明される感覚認知を典型的な(又は平均的な)ユーザに対して生じさせる、デバイス又はその構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス100は、示されるものよりも多いか又は少ない構成要素を任意選択的に有するか、2つ以上の構成要素を任意選択的に組み合わせるか、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図1Aに示される様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの双方の組み合わせの形態で実装される。
メモリ102は、任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体メモリデバイスなどの、不揮発性メモリも含む。CPU 120及び周辺機器インタフェース118などの、デバイス100の他の構成要素によるメモリ102へのアクセスは、メモリコントローラ122により、任意選択的に、制御される。
周辺機器インタフェース118を使用して、このデバイスの入力及び出力周辺機器を、CPU 120及びメモリ102に結合することができる。1つ以上のプロセッサ120は、メモリ102内に記憶された様々なソフトウェアプログラム及び/又は命令セットを稼働又は実行することにより、デバイス100に関する様々な機能を実行し、かつデータを処理する。
いくつかの実施形態では、周辺機器インタフェース118、CPU 120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一チップ上に実装される。いくつかの他の実施形態では、これらは、個別のチップ上に、任意選択的に、実装される。
RF(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を受信したり送信したりする。RF回路108は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどを含むがこれらに限定されない、上記の機能を実行するための周知の回路を、任意選択的に、含む。RF回路機構108は、ワールドワイドウェブ(WWW)とも称されるインターネットなどのネットワーク、セルラー電話ネットワーク、無線ローカルエリアネットワーク(LAN)、及び/又はメトロポリタンエリアネットワーク(MAN)などの、イントラネット及び/又は無線ネットワーク、並びに他のデバイスと、無線通信によって、任意選択的に通信する。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム(GSM(登録商標))、拡張データGSM環境(EDGE)、高速ダウンリンクパケット接続(HSDPA)、高速アップリンクパケット接続(HSUPA)、Evolution,Data−Only(EV−DO)、HSPA、HSPA+、2重セルHSPA(DC−HSPDA)、ロングタームエボリューション(LTE)、近距離無線通信(NFC)、広帯域符号分割多元接続(W−CDMA)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、Bluetooth(登録商標)、Wireless Fidelity(Wi−Fi)(登録商標)(例えば、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、及び/又はIEEE 802.11n)、ボイスオーバーインターネットプロトコル(VoIP)、Wi−MAX、電子メール用のプロトコル(例えば、インターネットメッセージアクセスプロトコル(IMAP)及び/又はポストオフィスプロトコル(POP))、インスタントメッセージング(例えば、拡張可能メッセージング及びプレゼンスプロトコル(XMPP)、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル(SIMPLE)、インスタントメッセージング及びプレゼンスサービス(IMPS))、及び/又はショートメッセージサービス(SMS)、あるいは本文書の出願日現在までに未だ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路機構110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、そのオーディオデータを電気信号に変換し、その電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。オーディオ回路110はまた、マイクロフォン113によって音波から変換された電気信号も受信する。オーディオ回路110は、その電気信号をオーディオデータに変換し、そのオーディオデータを、処理のために周辺機器インタフェース118に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース118によって、メモリ102及び/若しくはRF回路108から取得され、かつ/又はメモリ102及び/若しくはRF回路108に送信される。いくつかの実施形態では、オーディオ回路110は更にヘッドセットジャック(例えば、図2の212)を含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロフォン)の両方を持つヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム106は、周辺機器インタフェース118に、タッチスクリーン112及び他の入力制御デバイス116などのデバイス100の入出力周辺機器を結合する。I/Oサブシステム106は、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力又は制御デバイス用の1つ以上の入力コントローラ160を、任意選択的に、含む。1つ以上の入力コントローラ160は、他の入力又は制御デバイス116から/へ電気信号を受信/送信する。他の入力制御デバイス116は、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを、任意選択的に、含む。いくつかの代替的実施形態では、入力コントローラ160は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される(又は、いずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、スピーカ111及び/又はマイクロフォン113の音量調節のためのアップ/ダウンボタンを、任意選択的に、含む。1つ以上のボタンは、プッシュボタン(例えば、図2の206)を、任意選択的に、含む。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112との間で、電気信号を受信及び/又は送信する。タッチスクリーン112は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせ(総称して「グラフィック」と称する)を、任意選択的に、含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚及び/又は触知の接触に基づいて、ユーザからの入力を受け付ける、タッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン112及びディスプレイコントローラ156は(メモリ102内のあらゆる関連モジュール及び/又は命令のセットと共に)、タッチスクリーン112上の接触(及び、接触のあらゆる移動又は中断)を検出し、検出された接触を、タッチスクリーン112上に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との対話に変換する。例示的実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチスクリーン112及びディスプレイコントローラ156は、任意選択的に、限定するものではないが、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン112との1つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含む、現在周知の若しくは将来開発される複数のタッチ感知技術のうちのいずれかを使用して、接触、並びにそのあらゆる移動若しくは中断を検出する。例示的実施形態では、Apple Inc.(Cupertino,California)によるiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)で見出されるものなどの、投影型相互静電容量式検知技術が使用される。
タッチスクリーン112は、任意選択的に、100dpiを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは約160dpiのビデオ解像度を有する。ユーザは、スタイラス、指などの、任意の好適な物体又は付属物を使用して、タッチスクリーン112と任意選択的に接触する。いくつかの実施形態において、ユーザインタフェースは、主として指に基づく接触とジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いためスタイラスを基準とした入力よりも精度が低いことがある。いくつかの実施形態では、デバイスは、指に基づく粗い入力を、ユーザによって所望されるアクションを実行するための、正確なポインタ/カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド(図示せず)を、任意選択的に含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知区域である。タッチパッドは、任意選択的に、タッチスクリーン112とは別個のタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス100はまた、様々な構成要素に電力を供給するための、電力システム162も含む。電力システム162は、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態標識(例えば、発光ダイオード(LED))、及びポータブル機器における電力の発電、管理、及び配電に関連付けられた任意の他の構成要素を、任意選択的に、含む。
デバイス100は、任意選択的に、1つ以上の光センサ164も含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、任意選択的に、電荷結合素子(CCD)又は相補的金属酸化物半導体(CMOS)フォトトランジスタを含む。光センサ164は、1つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール143(カメラモジュールとも称する)と併用して、光センサ164は、静止画像又はビデオを、任意選択的に、キャプチャする。いくつかの実施形態では、光センサは、デバイスの前面のタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されており、それによって、タッチスクリーンディスプレイを静止画像及び/又はビデオ画像の取得のためのビューファインダとして使用することができる。いくつかの実施形態では、別の光センサがデバイスの前面上に配置され、それにより、ユーザがタッチスクリーンディスプレイ上で他のビデオ会議の参加者を見る間に、ユーザの画像が、任意選択的に、ビデオ会議のために取得される。
デバイス100はまた、1つ以上の接触強度センサ165も任意選択的に含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された接触強度センサを示す。接触強度センサ165は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(又は圧力)を測定するために使用するセンサ)を、任意選択的に、含む。接触強度センサ165は、環境からの接触強度情報(例えば、圧力情報、又は圧力情報の代用物)を受信する。いくつかの実施形態では、少なくとも1つの接触強度センサが、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に併置されているか、又は近接している。いくつかの実施形態では、少なくとも1つの接触強度センサが、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。
デバイス100は、任意選択的に、1つ以上の近接センサ166も含む。図1Aは、周辺機器インタフェース118に結合された近接センサ166を示す。あるいは、近接センサ166は、I/Oサブシステム106内の入力コントローラ160に結合される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されているときには(例えば、ユーザが電話通話を行っているときには)、近接センサは、タッチスクリーン112をオフにして無効化する。
デバイス100は、任意選択的に、また、1つ以上の触知出力生成器167も含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器を示す。触知出力生成器167は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又は、モータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、電気信号を、デバイス上の触知出力に変換する構成要素)などの、エネルギーを線形運動に変換する電気機械デバイスを含む。接触強度センサ165は、触覚フィードバックモジュール133からの触知フィードバック生成命令を受信し、デバイス100のユーザによって感知されることが可能な、デバイス100上の触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器が、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と併置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向に(例えば、デバイス100の表面の内/外)又は横方向(例えば、デバイス100の表面と同じ平面内の前後方向)に運動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器が、デバイス100の前面上に配置されるタッチスクリーンディスプレイ112の反対側である、デバイス100の背面上に配置される。
デバイス100はまた、1つ以上の加速度計168も任意選択的に含む。図1Aは、周辺機器インタフェース118に結合された加速度計168を示す。あるいは、加速度計168は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。いくつかの実施形態では、1つ以上の加速度計から受信されたデータの分析に基づいて、情報が、縦表示又は横表示で、タッチスクリーンディスプレイ上に表示される。デバイス100は、任意選択的に、加速度計(単数又は複数)168に加えて、磁力計(図示せず)、並びにデバイス100の位置及び向き(例えば、縦表示又は横表示)に関する情報を取得するためのGPS(又は、GLONASS若しくは他のグローバルナビゲーションシステム)受信機(図示せず)を含む。
いくつかの実施形態では、メモリ102内に記憶されたソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/移動モジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(GPS)モジュール(又は命令セット)135、及びアプリケーション(命令セット)136を含む。更に、いくつかの実施形態では、図1A及び図3に示すように、メモリ102はデバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、存在する場合には、いずれのアプリケーションが現在アクティブであるかを示す、アクティブアプリケーション状態、いずれのアプリケーション、ビュー、又は他の情報が、タッチスクリーンディスプレイ112の様々な領域を占有するかを示す、ディスプレイ状態、デバイスの様々なセンサ及び入力制御デバイス116から取得した情報を含む、センサ状態、並びにデバイスの場所及び/又は姿勢に関する場所情報、のうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための、様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素及びソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介した他のデバイスとの通信を容易にし、また、RF回路機構108及び/又は外部ポート124によって受信されたデータを処理するための様々なソフトウェア構成要素も含む。外部ポート124(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE(登録商標)など)は、他のデバイスに直接結合するように、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に結合するように適合される。一部の実施形態では、外部ポートは、iPod(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同じか、又は同様の、及び/又は互換性のあるマルチピン(例えば、30ピン)コネクタである。いくつかの実施形態では、外部ポートは、iPhone及びiPod(Apple Inc.の商標)デバイス上で使用される8ピンコネクタ(例えば、Lightningコネクタ)と同じか、又は同様の、及び/又は互換性のあるマルチピン(例えば、8ピン)コネクタである。
接触/移動モジュール130は、任意選択的に、(ディスプレイコントローラ156と共に)タッチスクリーン112との接触、及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/移動モジュール130は、接触が発生したかどうかの判定(例えば、フィンガダウンイベントの検出)、接触の強度(例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代用語)の判定、接触の移動及びタッチ感知面にわたる動きの追跡(例えば、1つ以上のフィンガドラッグイベントの検出)があるかどうかの判定、及び接触が中止したかどうか(例えば、フィンガアップイベント又は接触の中断の検出)の判定などの、接触の検出に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触/移動モジュール130はタッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、単一の接触(例えば、1つの指接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指接触)に、任意選択的に、適用される。いくつかの実施形態では、接触/移動モジュール130及びディスプレイコントローラ156は、タッチパッド上での接触を検出する。
いくつかの実施形態では、接触/移動モジュール130は、ユーザによって動作が実行されたかどうかを判定するための(例えば、ユーザがアイコンを「クリック」したかどうかを判定するための)、1つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータに従って決定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス100の物理ハードウェアを変更することなく調節することができる)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定することができる。更には、いくつかの実装では、デバイスのユーザには、(例えば、個別の強度閾値を調節することによって、かつ/又は、システムレベルのクリック「強度」パラメータを使用して、一度に複数の強度閾値を調節することによって)強度閾値のセットのうちの1つ以上を調節するための、ソフトウェア設定が提供される。
接触/移動モジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、異なる動き、タイミング、及び/又は検出された接触の強度)を有する。それゆえ、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、フィンガタップジェスチャの検出は、フィンガダウンイベントを検出し、続いて(例えば、アイコンの位置における)フィンガダウンイベントと同じ位置(又は、実質的に同じ位置)でのフィンガアップ(リフトオフ)イベントを検出することを含む。別の実施例として、タッチ感知面上でのフィンガスワイプジェスチャを検出することは、フィンガダウンイベントを検出することと、それに続く1つ以上のフィンガドラッグイベントを検出することと、それに続く、フィンガアップ(リフトオフ)イベントを検出することとを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を変更するための構成要素を含めた、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用するとき、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、それらのオブジェクトとしては、限定するものではないが、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどが挙げられる。
いくつかの実施形態では、グラフィックモジュール132は、使用されるグラフィックを表すデータを記憶する。それぞれのグラフィックには、対応するコードが、任意選択的に、割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に、表示されるグラフィックを指定する1つ以上のコードを受信して、次いで、ディスプレイコントローラ156に出力するためのスクリーン画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応答して、デバイス100上の1つ以上の場所で触知出力を生成するために、触知出力生成器167によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール134は、任意選択的にグラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するための、ソフトキーボードを提供する。
GPSモジュール135は、デバイスの場所を判定し、この情報を、様々なアプリケーションで使用するために(例えば、場所に基づくダイヤル発呼で使用するために電話138へ、写真/ビデオのメタデータとしてカメラ143へ、並びに、天候ウィジェット、地域のイエローページウィジェット、及び地図/ナビゲーションウィジェットなどの、場所に基づくサービスを提供するアプリケーションへ)提供する。
アプリケーション136は、任意選択的に、以下のモジュール(又は、命令のセット)、又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(アドレス帳又は連絡先リストと呼ばれる場合もある)、
●電話モジュール138、
●ビデオ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像用のカメラモジュール143、
●画像管理モジュール144、
●ブラウザモジュール147、
●カレンダーモジュール148、
●天候ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4、辞書ウィジェット149−5、及びユーザが取得した他のウィジェット、並びにユーザ作成ウィジェット149−6のうちの1つ以上を任意選択的に含むウィジェットモジュール149、
●デジタルパーソナルアシスタントモジュール150、
●車両統合モジュール151、
●任意選択的にビデオ再生モジュール及び音楽再生モジュールから構成される、ビデオ及び音楽再生モジュール152、
●メモモジュール153、
●地図モジュール154、並びに/あるいは
●オンラインビデオモジュール155。
任意選択的にメモリ102内に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併用する、連絡先モジュール137は、任意選択的に、アドレス帳又は連絡先リスト(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192内に記憶される)を管理するために使用され、連絡先モジュールの管理には、アドレス帳への名前の追加、アドレス帳からの名前の削除、電話番号、電子メールアドレス、物理アドレス、又は他の情報と名前との関連付け、画像と名前との関連付け、名前の分類及び並び替え、電話138、ビデオ会議139、電子メール140、又はIM 141などによる通信を開始及び/又は容易にするための、電話番号又は電子メールアドレスの提供などを含む。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と共に、電話モジュール138は、電話番号に対応する一連の文字を入力し、アドレス帳137内の1つ以上の電話番号にアクセスし、入力されている電話番号を修正し、対応の電話番号をダイヤルし、会話を遂行し、会話が完了した際に接続を切るか又は電話を切るために、任意選択的に使用される。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを、任意選択的に、使用する。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先リスト137、及び電話モジュール138と関連して、ビデオ会議モジュール139は、ユーザの指示に従って、ユーザと1人以上の他の参加者との間のビデオ会議を開始し、行い、終了するための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、電子メールクライアントモジュール140は、ユーザの指示に応答して、電子メールを作成し、送信し、受信し、管理するための実行可能命令を含む。画像管理モジュール144と共に、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを、非常に容易にする。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、インスタントメッセージングモジュール141は、インスタントメッセージに対応する文字列を入力したり、入力済みの文字を修正したり、対応するインスタントメッセージを送信したり(例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス(SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのXMPP、SIMPLE、若しくはIMPSを使用して)、インスタントメッセージを受信して、受信したインスタントメッセージを表示したりするための実行可能命令を含む。いくつかの実施形態では、送信及び/又は受信されたインスタントメッセージは、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるように、グラフィック、写真、オーディオファイル、ビデオファイル、及び/又は他の添付を、任意選択的に、含む。本明細書では、「インスタントメッセージング」とは、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されたメッセージ)及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されたメッセージ)の両方を意味する。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽再生ジュール146と関連して、トレーニングサポートモジュール142は、トレーニングを作成したり(例えば、時間、距離、及び/又はカロリー消費目標に関して)、トレーニングセンサ(スポーツデバイス)と通信したり、トレーニングセンサデータを受信したり、トレーニングを監視するために用いられるセンサを較正したり、トレーニングのための音楽を選択して再生したり、トレーニングデータを表示、記憶、送信したりするための実行可能命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、光センサ(1つ又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、及び画像管理モジュール144と関連して、カメラモジュール143は、静止画像又はビデオ(ビデオストリームを含む)をキャプチャしてメモリ102にそれらを記憶したり、静止画像又はビデオの特徴を変更したり、又はメモリ102から静止画像若しくは動画を削除したりするための実行可能命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と関連して、画像管理モジュール144は、静止画像及び/又はビデオを配置し、修正し(例えば、編集し)、また別の方法で操作し、ラベルを付け、削除し、提示し(例えば、デジタルスライドショー又はアルバム内で)、並びに記憶したりするための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、ブラウザモジュール147は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付け、受信し、表示することを含むユーザの指示に従い、インターネットをブラウズするための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィクモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と関連して、カレンダーモジュール148は、ユーザの指示に従い、カレンダー及びカレンダーに関連付けられたデータ(例えば、カレンダー項目、すべきことのリストなど)を作成し、表示し、変更し、記憶するための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と共に、ウィジェットモジュール149は、ユーザによって任意選択的にダウンロードされ、使用されるミニアプリケーション(例えば、天候ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4、及び辞書ウィジェット149−5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149−6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language、ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets、カスケーディングスタイルシート)ファイル、及びJavaScriptファイルを含む。いくつかの実施形態では、ウィジェットは、XML(拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!(登録商標)ウィジェット)を含む。
RF回路108、音声回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、デジタルパーソナルアシスタントモジュール150は、音声コマンドを記録し、記録された音声コマンドを表す情報を、分析のために図5Aのサーバ510などのサーバに送信し、サーバからの応答に基づき、音声コマンドに応答する。
車両統合モジュール151は、地図作成アプリケーション又は音楽アプリケーションなどに対して、車両情報表示システムの対応するディスプレイ(例えば、図5Aの外部情報提供システム540のディスプレイ546)上でユーザインタフェースを提供する車両(例えば、自動車、トラック、バンなど)内の車両情報表示システムを制御する1つ以上の仲介プロセスのための実行可能命令を含む。車両統合アプリケーションは、第三者アプリケーションからの情報を、車両統合アプリケーションによって車両情報表示システムの対応するディスプレイ上に表示するためのコンテンツへと変換する。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と関連して、ビデオ及び音楽再生モジュール152は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びにビデオを(タッチスクリーン112上又は外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、又は別の方法で再生するための実行可能命令を含む。いくつかの実施形態では、デバイス100は、iPod(Apple Inc.の商標)などのMP3プレーヤの機能性を、任意選択的に含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と共に、メモモジュール153は、ユーザの指示に従って、メモ、To Doリストなどを作成及び管理するための、実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と共に、地図モジュール154は、ユーザの指示に従って、地図、及び地図に関連付けられたデータ(例えば、運転方向、特定の場所若しくはその付近の店舗及び関心対象の他の地点についてのデータ、並びに場所に基づく他のデータ)を受信し、表示し、修正し、記憶するために、任意選択的に使用される。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と関連して、オンラインビデオモジュール155は、ユーザが、特定のオンラインビデオにアクセスし、閲覧し、(例えば、ストリーミング及び/又はダウンロードによって)受信し、(例えば、タッチスクリーン上で、又は外部ポート124を介して接続された外部のディスプレイ上で)再生し、そのオンラインビデオへのリンクを有する電子メールを送信し、また他の方式で、H.264などの1つ以上のファイル形式でオンラインビデオを管理することが可能となる、命令を含む。一部の実施形態では、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141を使用して、特定のオンラインビデオへのリンクを送信する。
上記で識別されたモジュール及びアプリケーションのそれぞれは、1つ又はそれ以上の上記の機能を実行するための実行可能命令セット及び本出願に記載の方法(例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法)に対応する。これらのモジュール(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において、任意選択的に、組み合わせ、又は再配置される。いくつかの実施形態では、メモリ102は、上記で特定されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ102は、上述されていない追加のモジュール及びデータ構造を、任意選択的に、記憶する。
いくつかの実施形態では、デバイス100は、デバイス上の機能の既定のセットの動作が排他的にタッチスクリーン及び/又はタッチパッドを介して実行されるデバイスである。デバイス100の動作に関する主要な入力制御デバイスとして、タッチスクリーン及び/又はタッチパッドを使用することによって、デバイス100上の物理入力制御デバイス(プッシュボタン、ダイアルなど)の数が、任意選択的に低減される。
排他的にタッチスクリーン及び/又はタッチパッドを介して実行される、既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス100上に表示されている任意のユーザインタフェースから、メイン、ホーム、又はルートメニューへと、デバイス100をナビゲートする。そのような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又は他の物理入力制御デバイスである。
図1Bは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A内)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)及び対応するアプリケーション136−1(例えば、上述のアプリケーション137〜13、155、及び380〜390のいずれか)を含む。
イベントソータ170は、イベント情報を受信して、そのイベント情報の配信先となる、アプリケーション136−1、及びアプリケーション136−1のアプリケーションビュー191を決定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136−1は、そのアプリケーションがアクティブであるか又は実行中の場合に、タッチ感知ディスプレイ112上に表示される現在のアプリケーションビュー(単数又は複数)を示す、アプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、いずれのアプリケーションが現在アクティブであるかを判定するために、イベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報の配信先となるアプリケーションビュー191を決定するために、イベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、追加情報として、例えば、アプリケーション136−1が実行を再開する際に用いられる再開情報、アプリケーション136−1により表示されている又は表示の準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション136−1の以前の状態又はビューに戻ることを可能にするための状態の待ち行列、及びユーザが以前にとったアクションのやり直し/アンドゥーの待ち行列のうちの1つ以上を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ112上のユーザタッチ)の情報を含む。周辺機器インタフェース118は、I/Oサブシステム106又は(オーディオ回路110を介して)近接センサ166、加速度計(1つ又は複数)168、及び/若しくはマイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。これに応じて、周辺機器インタフェース118は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を超える、及び/又は所定時間以上の入力を受け取ること)がある場合にのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173も含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が2つ以上のビューを表示する場合に、サブイベントが1つ以上のビュー内のいずれの場所で発生したかを判定するための、ソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることが可能な、コントロール及び他の要素で構成される。
アプリケーションに関連付けられるユーザインタフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合がある、ビューのセットであり、それらの中で、情報が表示され、タッチに基づくジェスチャが実施される。タッチが検出される(対応するアプリケーションの)アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに、任意選択的に、対応する。例えば、タッチが検出される最低レベルのビューは、任意選択的に、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、少なくとも部分的に、タッチベースのジェスチャを開始する最初のタッチのヒットビューに基づいて、任意選択的に、判定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール172は、サブイベントを処理するべき階層内の最下位のビューとして、ヒットビューを特定する。殆どの状況では、ヒットビューは、開始サブイベント(すなわち、イベント又は潜在的なイベントを形成するサブイベントのシーケンス内の、最初のサブイベント)が発生する、最下位レベルのビューである。ヒットビューが、ヒットビュー判定モジュールによって特定されると、そのヒットビューは、典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連する、全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のいずれのビューが、特定のサブイベントのシーケンスを受信するべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信するべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理的な場所を含む全てのビューが、アクティブに関与するビューであると判定することにより、アクティブに関与する全てのビューが、特定のサブイベントのシーケンスを受信するべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューはアクティブに関わっているビューのままであるであろう。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えば、イベント認識部180)に送信する。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、対応するイベント受信部モジュール182により取得されるイベント情報をイベント待ち行列内に記憶する。
一部の実施形態では、オペレーティングシステム126が、イベントソータ170を含む。あるいは、アプリケーション136−1が、イベントソータ170を含む。更に他の実施形態では、イベントソータ170は、スタンドアロンモジュールであるか、又は、接触/移動モジュール130などの、メモリ102に記憶された別のモジュールの一部である。
一部の実施形態では、アプリケーション136−1は、そのアプリケーションのユーザインタフェースの各ビュー内で発生するタッチイベントを処理する命令をそれぞれが含む、複数のイベントハンドラ190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136−1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)、又は、アプリケーション136−1がメソッド及び他のプロパティを継承する、より高レベルのオブジェクトなどの、別個のモジュールの一部である。一部の実施形態では、それぞれのイベントハンドラ190は、データアップデータ176、オブジェクトアップデータ177、GUIアップデータ178、及び/又は、イベントソータ170から受信されるイベントデータ179のうちの1つ以上を含む。イベントハンドラ190は、アプリケーション内部状態192を更新するために、任意選択的に、データアップデータ176、オブジェクトアップデータ177、又はGUIアップデータ178を利用するか、若しくは呼び出す。あるいは、アプリケーションビュー191のうちの1つ以上は、1つ以上の対応するイベントハンドラ190を含む。また、いくつかの実施形態では、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178のうちの1つ以上が、対応するアプリケーションビュー191内に含まれる。
各イベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信して、そのイベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183及び(サブイベント配信命令を任意選択的に含む)イベント配信命令188の、少なくともサブセットも含む。
イベント受信部182は、イベントソータ170よりイベント情報を受信する。イベント情報は、例えば、タッチ又はタッチの移動などのサブイベントの情報を含む。サブイベントによっては、イベント情報は、サブイベントの場所などの追加情報をもまた含む。サブイベントが、タッチの動きに関係する場合、イベント情報はまた、そのサブイベントの速度及び方向も任意選択的に含む。いくつかの実施形態では、イベントは、ある方向から別の方向へ(例えば、縦長の向きから横長の向きへ、又はその逆)のデバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ばれる)についての対応する情報を含む。
イベント比較部184は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較により、イベント若しくはサブイベントを判定、又はイベント若しくはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えば、イベント1(187−1)、イベント2(187−2)などの、イベントの定義(例えば、サブイベントの既定のシーケンス)を含む。いくつかの実施形態では、イベント187内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント1(187−1)に関する定義は、表示オブジェクト上でのダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第1のタッチ(タッチ開始)、所定の段階についての第1のリフトオフ(タッチ終了)、表示されたオブジェクト上の所定の段階についての第2のタッチ(タッチ開始)、及び所定の段階についての第2のリフトオフ(タッチ終了)を含む。別の実施形態では、イベント2(187−2)の定義は、表示されたオブジェクト上のドラッグである。このドラッギングは、例えば、所定の段階に関する表示オブジェクト上でのタッチ(又は、接触)、タッチ感知ディスプレイ112にわたるタッチの移動、及びタッチのリフトオフ(タッチの終了)を含む。いくつかの実施形態では、イベントは、1つ以上の関連付けられたイベントハンドラ190についての情報も含む。
いくつかの実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトに関するイベントの定義を含む。一部の実施形態では、イベント比較器184は、いずれのユーザインタフェースオブジェクトがサブイベントに関連付けられるかを判定するために、ヒットテストを実行する。例えば、3つのユーザインタフェースオブジェクトが、タッチ感知ディスプレイ112上に表示されるアプリケーションビューでは、タッチ感知ディスプレイ112上でタッチが検出されると、イベント比較器184は、ヒットテストを実行して、3つのユーザインタフェースオブジェクトのうちのいずれが、そのタッチ(サブイベント)に関連付けられているかを判定する。各表示オブジェクトが、それぞれのイベントハンドラ190に関連付けられている場合には、イベント比較器は、そのヒットテストの結果を使用して、いずれのイベントハンドラ190をアクティブ化させるべきかを決定する。例えば、イベント比較器184は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられた、イベントハンドラを選択する。
一部の実施形態では、各イベント187に関する定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅延させる、遅延作用も含む。
対応するイベント認識部180が、一連のサブイベントがイベント定義186内のイベントのいずれにも一致しないと判定する場合には、対応するイベント認識部180は、イベント不可能状態、イベント失敗状態、又はイベント終了状態に入り、その後は、このタッチに基づくジェスチャの後続のサブイベントを無視する。この状況では、存在する場合には、ヒットビューに関してアクティブのまま維持される他のイベント認識部が、進行中のタッチに基づくジェスチャのサブイベントを、継続して追跡及び処理する。
いくつかの実施形態では、対応するイベント認識部180は、構成可能なプロパティ、フラグ、及び/又はイベント配信システムがアクティブに関わっているイベント認識部にどのようにサブイベント配信を実行するかについて示すリストを持つメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように相互作用するか、又は相互作用することが可能になるかを示す、構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、構成可能なプロパティ、フラグ、及び/又はサブイベントがビュー階層又はプログラム階層内の様々なレベルに配信されるかどうかを示すリストを含む。
いくつかの実施形態では、対応するイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されたときに、イベントに関連付けられたイベントハンドラ190をアクティブにする。一部の実施形態では、それぞれのイベント認識部180は、イベントハンドラ190に、そのイベントに関連付けられたイベント情報を配信する。イベントハンドラ190をアクティブ化させることは、それぞれのヒットビューにサブイベントを送信すること(及び、送信を延期すること)とは異なる。一部の実施形態では、イベント認識部180は、認識されたイベントに関連付けられたフラグをスローし、そのフラグに関連付けられたイベントハンドラ190は、フラグをキャッチして、既定のプロセスを実行する。
一部の実施形態では、イベント配信命令188は、イベントハンドラをアクティブ化させることなく、サブイベントについてのイベント情報を配信する、サブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連付けられたイベントハンドラ、又はアクティブに関与するビューに、イベント情報を配信する。一連のサブイベント又はアクティブに関与するビューに関連付けられたイベントハンドラは、そのイベント情報を受信して、所定のプロセスを実行する。
一部の実施形態では、データアップデータ176は、アプリケーション136−1で使用されるデータを作成及び更新する。例えば、データアップデータ176は、連絡先モジュール137で使用される電話番号を更新するか、又はビデオプレーヤモジュール145で使用されるビデオファイルを記憶する。一部の実施形態では、オブジェクトアップデータ177は、アプリケーション136−1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデータ176は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。GUIアップデータ178はGUIを更新する。例えば、GUIアップデータ178は、表示情報を準備し、それを、タッチ感知ディスプレイ上に表示するために、グラフィックモジュール132に送信する。
いくつかの実施形態では、イベントハンドラ(単数又は複数)190は、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178を含むか、又はそれらに対するアクセスを有する。一部の実施形態では、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178は、それぞれのアプリケーション136−1又はアプリケーションビュー191の単一のモジュール内に含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュール内に含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の論考はまた、入力デバイスを使用して多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことが理解されよう。例えば、単一又は複数のキーボードの押圧若しくは保持と任意選択的に連係させた、マウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭指示、検出される眼球移動、バイオメトリック入力、並びに/あるいは、これらの任意の組み合わせが、認識されるべきイベントを定義するサブイベントに対応する入力として任意選択的に利用される。
図2は、いくつかの実施形態に係る、タッチスクリーン112を有するポータブル多機能デバイス100を示す図である。タッチスクリーンは、ユーザインタフェース(UI)200内に1つ以上のグラフィックを、任意選択的に、表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、1本以上の指202(図には正確な縮尺では描かれていない)又は1つ以上のスタイラス203(図には正確な縮尺では描かれていない)を使用して、グラフィック上でジェスチャを実施することによって、グラフィックのうちの1つ以上を選択することを可能にされる。いくつかの実施形態では、1つ以上のグラフィックの選択は、ユーザが1つ以上のグラフィックとの接触を断つと生じる。いくつかの実施形態では、ジェスチャは、1回以上のタップ、1回以上の(左から右、右から左、上方向、及び/又は下方向への)スワイプ、及び/又は、デバイス100と接触した指の(右から左、左から右、上方向、及び/又は下方向への)ローリングを、任意選択的に含む。いくつかの実装又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスワイプするスワイプジェスチャは、対応するアプリケーションを、任意選択的に、選択しない。
デバイス100はまた、「ホーム」又はメニューボタン204などの、1つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン204は、デバイス100上で任意選択的に実行されるアプリケーションのセット内の任意のアプリケーション136にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン112に表示されたGUIにおけるソフトキーとして実装されている。
一実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフし、デバイスをロックするためのプッシュボタン206、音量調節ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電外部ポート124を含む。プッシュボタン206は、ボタンを押し下げて、既定の時間間隔にわたってボタンを押し下げられた状態で保持することによって、デバイス上の電源をオン/オフし、ボタンを押し下げて、既定の時間間隔が経過する前にボタンを解放することによって、デバイスをロックし、かつ/又は、デバイスをロック解除するか、若しくはロック解除プロセスを開始するために、任意選択的に使用される。代替的実施形態では、デバイス100はまた、マイクロフォン113を介して、一部の機能のアクティブ化又は停止に関する口頭入力も受け入れる。デバイス100はまた、タッチスクリーン112上の接触の強度を検出するための、1つ以上の接触強度センサ165、及び/又は、デバイス100のユーザに対する触知出力を生成するための、1つ以上の触知出力生成器167も、任意選択的に含む。
図3は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。一部の実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育用デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310、1つ以上のネットワーク又は他の通信インタフェース360、メモリ370、及びこれらの構成要素を相互接続するための1つ以上の通信バス320を含む。通信バス320は、システム構成要素間の通信を相互接続及び制御する回路(チップセットと称することがある)を、任意選択的に含む。デバイス300は、典型的にはタッチスクリーンディスプレイ(例えば、タッチスクリーンディスプレイ112)である、ディスプレイ340を備える、入出力(I/O)インタフェース330を含む。I/Oインタフェース330はまた、キーボード及び/又はマウス(又は他のポインティングデバイス)350並びにタッチパッド355、デバイス300上に触知出力を生成するための(例えば、図1Aを参照して上述された触知出力生成器167と同様の)触知出力生成器357、センサ359(例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び/又は図1Aを参照して上述された接触強度センサ165と同様の接触強度センサ)も、任意選択的に含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス半導体メモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイスなどの、不揮発性メモリを含む。メモリ370は、CPU(1つ又は複数)310からは離れて位置する1つ以上の記憶デバイスを、任意選択的に、含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102に記憶されたプログラム、モジュール、及びデータ構造に類似する、プログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更には、メモリ370は、ポータブル多機能デバイス100のメモリ102内には存在しない、追加的なプログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス300のメモリ370は、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を任意選択的に記憶するが、その一方で、ポータブル多機能デバイス100(図1A)のメモリ102は、これらのモジュールを任意選択的に記憶しない。
上記で特定された図3の要素のそれぞれは、任意選択的に、前述のメモリデバイスのうちの1つ以上に記憶される。上記で識別されたモジュールのうちのそれぞれは、上述した機能を実行するための命令セットに対応する。上述の識別されたモジュール又はプログラム(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされるか、又は別の方法で再配置される。いくつかの実施形態において、メモリ370は、上述の識別されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ370は、上述されていない追加のモジュール及びデータ構造を、任意選択的に記憶する。
ここで、ポータブル多機能デバイス100上に任意選択的に実装される、ユーザインタフェース(「UI」)の実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係る、ポータブル多機能デバイス100におけるアプリケーションのメニューのための例示的なユーザインタフェースを示す。同様のユーザインタフェースが、任意選択的に、デバイス300上に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びWi−Fi信号などの無線通信(単数又は複数)に関する信号強度インジケータ(単数又は複数)402、
●時刻404、
●Bluetoothインジケータ405、
●バッテリ状態インジケータ406、
●以下のような、頻繁に使用されるアプリケーション用のアイコンを有するトレイ408、
○不在着信又は音声メールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされる、電話モジュール138用のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140用のアイコン418、
○「ブラウザ」とラベル付けされる、ブラウザモジュール147用のアイコン420、及び
○「iPod」とラベル付けされる、iPod(Apple Inc.の商標)モジュール152とも称されるビデオ及び音楽再生モジュール152用のアイコン422。
●以下のような、他のアプリケーション用のアイコン、
○「テキスト」とラベル付けされる、IMモジュール141用のアイコン424、
○「カレンダー」とラベル付けされる、カレンダーモジュール148用のアイコン426、
○「写真」とラベル付けされる、画像管理モジュール144用のアイコン428、
○「カメラ」とラベル付けされる、カメラモジュール143用のアイコン430、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール155用のアイコン432、
○「株価」とラベル付けされる、株価ウィジェット149−2用のアイコン434、
○「地図」とラベル付けされる、地図モジュール154用のアイコン436、
○「天候」とラベル付けされる、天候ウィジェット149−1用のアイコン438、
○「時計」とラベル付けされる、アラーム時計ウィジェット149−4用のアイコン440、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール142用のアイコン442、
○「メモ」とラベル付けされる、メモモジュール153用のアイコン444、及び
○デバイス100及びその様々なアプリケーション136に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン446。
図4Aに示すアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽再生モジュール152用のアイコン422は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、対応するアプリケーションアイコンに関するラベルは、対応するアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンに関するラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を備えるデバイス(例えば、図3のデバイス300)上の、例示的なユーザインタフェースを示す。デバイス300はまた、タッチ感知面451上の接触の強度を検出するための、1つ以上の接触強度センサ(例えば、センサ357のうちの1つ以上)、及び/又はデバイス300のユーザに対する触知出力を生成するための、1つ以上の触知出力生成器359を含む。
以下の実施例のうちのいくつかは、タッチスクリーンディスプレイ112上の入力(タッチ感知面とディスプレイとが組み合わされている場合)を参照して説明されるが、いくつかの実施形態では、デバイスは、図4Bに示すように、ディスプレイとは別個のタッチ感知面上で入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の主軸(例えば、図4Bの453)に対応する主軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上の対応する場所に対応する場所(例えば、図4Bにおいて、460は468と対応し、462は470と対応する)でのタッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このように、タッチ感知面がディスプレイとは別個のものであるとき、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されたユーザ入力(例えば、接触460及び462、及びそれらの移動)は、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに、任意選択的に使用されることを理解されたい。
更には、以下の説明は、主に指入力(例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ)を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスベースの入力又はスタイラス入力)で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに)マウスクリックで置き換えられ、その後、(例えば、接触の移動の代わりに)スワイプの経路に沿ってカーソルの移動が行われる。別の実施例として、タップジェスチャは、(例えば、接触の検出に続いて接触の検出を停止する代わりに)カーソルがタップジェスチャの場所に配置される間、任意選択的に、マウスクリックで置き換えられる。同様に、複数のユーザ入力が同時に検出される場合、複数のコンピュータマウスが任意選択的に同時に使用されるか、又は、マウスと指の接触とが任意選択的に同時に使用されることを理解されたい。
本明細書で使用されるとき、用語「フォーカスセレクタ」とは、ユーザが対話しているユーザインタフェースの現在の部分を示す、入力要素を指す。カーソル又は他の位置マーカーを含む一部の実装では、そのカーソルが「フォーカスセレクタ」の役割を果たすため、特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の上にカーソルが存在する間に、入力(例えば、押圧入力)がタッチ感知面(例えば、図3のタッチパッド355、又は図4Bのタッチ感知面451)上で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112、又は図4Aのタッチスクリーン112)を含むいくつかの実装では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」の役割を果たすため、入力(例えば、接触による押圧入力)が、タッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の場所で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。いくつかの実装では、フォーカスは、対応するカーソルの移動又はタッチスクリーンディスプレイ上の接触の移動を伴うことなく(例えば、タブキー又は矢印キーを使用して、1つのボタンから別のボタンにフォーカスを移動させることによって)、ユーザインタフェースの1つの領域からユーザインタフェースの別の領域に移動され、これらの実装では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタが採用する特定の形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザが意図するユーザインタフェースとの対話を(例えば、ユーザが対話することを意図しているユーザインタフェースの要素を、デバイスに示すことによって)伝達するために、ユーザによって制御される、ユーザインタフェース要素(又は、タッチスクリーンディスプレイ上の接触)である。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押圧入力が検出される間の、対応のボタンの上のフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の場所は、その対応のボタンを(そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく)アクティブにすることをユーザが意図していることを示すものである。
図5Aは、いくつかの実施形態に係る動作環境500のブロック図である。動作環境500は、サーバ510、1つ以上の通信ネットワーク505、ポータブル多機能デバイス100、及び外部情報提供システム540を含む。いくつかの実施形態では、外部情報提供システム540は、車両内に実装されたエンターテイメント及び/又はナビゲーションシステムである。いくつかの実施形態では、外部情報提供システム540は1つ以上のディスプレイを含む。いくつかの実施形態では、車両は、それぞれが対応するディスプレイを備える、動作環境500内のデバイス100に通信可能に結合された、複数の外部情報提供システム540を含む。
サーバ510は、典型的には、メモリ524内に記憶されたモジュール、プログラム及び/又は命令を実行し、それにより処理動作を実行するための1つ以上の処理ユニット(CPU)512と、1つ以上のネットワーク又は他の通信インタフェース520と、メモリ524と、これらの構成要素を相互接続するための1つ以上の通信バス522とを含む。通信バス522は、システム構成要素間の通信を相互接続及び制御する回路(チップセットと称することがある)を、任意選択的に含む。メモリ524は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス半導体メモリデバイスなどの、高速ランダムアクセスメモリを含み、また、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイスなどの、不揮発性メモリを含み得る。メモリ524は、CPU(単数又は複数)512から遠隔に配置される1つ以上の記憶デバイスを、任意選択的に含み得る。メモリ524、あるいはメモリ524内の不揮発性メモリデバイス(単数又は複数)は、非一時的コンピュータ可読記憶媒体を備える。いくつかの実施形態では、メモリ524、又はメモリ524のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。
●様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含むオペレーティングシステム526、及び
●1つ以上の通信ネットワークインタフェース520、及びインターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つ以上の通信ネットワーク505を介して、(有線又は無線)サーバ510を他のコンピューティングデバイスに接続するために使用されるネットワーク通信モジュール528。
ポータブル多機能デバイス100(本明細書では「デバイス100」と呼ばれることもある)は、典型的には、図1A〜1B及び/又は図3を参照して説明される構成要素を含む。
外部情報提供システム540(本明細書では「システム540」と呼ばれることもある)は、メモリ554内に記憶されたモジュール、プログラム及び/又は命令を実行し、それにより処理動作を実行するための1つ以上の処理ユニット(CPU)542と、1つ以上のネットワーク又は他の通信インタフェース550と、メモリ554と、これらの構成要素を相互接続するための1つ以上の通信バス552とを含む。外部情報提供システム540は、任意選択的に、1つ以上のディスプレイデバイス546及び複数のコントロール548(例えば、ジョグダイヤル、ノブ、ボタン、スイッチ、タッチスクリーンディスプレイなどのタッチ感知面、又は他の入力ソース)を備える、ユーザインタフェース544を含む。いくつかの実施形態では、1つ以上のディスプレイ546は、主要ディスプレイ546−1(例えば、ダッシュボード又は車両ナビゲーションディスプレイ)及び補助ディスプレイ546−2(例えば、後部座席又はエンターテイメントディスプレイ)を含む。いくつかの実施形態では、1つ以上のディスプレイ546のそれぞれのディスプレイは、ユーザタッチ入力を受け取る(例えば、指接触の検出及び移動に対応する指接触及びジェスチャを検出する)ことができるタッチスクリーンディスプレイである。いくつかの実施形態では、1つ以上のディスプレイ546のそれぞれのディスプレイは、複数のコントロール548(例えば、ジョグダイヤル、ノブ、ボタン、スイッチ、タッチスクリーンディスプレイなどのタッチ感知面、又は他の入力ソース)のうちの1つ以上のコントロールに関連付けられる。通信バス552は、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることもある)を、任意選択的に含む。メモリ554は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス半導体メモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイスなどの、不揮発性メモリを含む。メモリ554は、CPU(単数又は複数)542から遠隔に配置される1つ以上の記憶デバイスを、任意選択的に含み得る。メモリ552、あるいはメモリ552内の不揮発性メモリデバイス(単数又は複数)は、非一時的コンピュータ可読記憶媒体を備える。いくつかの実施形態では、メモリ552、又はメモリ552のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。
●様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含むオペレーティングシステム556、及び
●1つ以上の通信ネットワークインタフェース550及びインターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つ以上の通信ネットワーク505を介して、(有線又は無線)サーバ540を他のコンピューティングデバイスに接続するために使用されるネットワーク通信モジュール558。
いくつかの実施形態では、デバイス100は、システム540の1つ以上のディスプレイ546を駆動する。例えば、デバイス100はビデオ信号をシステム540に送信し、システム540のCPU 542は、ビデオ信号を1つ以上のディスプレイ546上にレンダリングする。いくつかの実施形態では、デバイス100がビデオ信号を直接1つ以上のディスプレイ546に送信し、CPU 542はビデオ信号をレンダリングするために使用されない(例えば、デバイス100はディスプレイ546を補助ディスプレイとして使用する)。いくつかの実施形態では、デバイス100のタッチスクリーン112上に表示されたユーザインタフェースは、システム540の1つ以上のディスプレイ546上に表示されたユーザインタフェースと同期させられ、いくつかの他の実施形態では、デバイス100のタッチスクリーン112上に表示されたユーザインタフェースは、システム540の1つ以上のディスプレイ546上に表示されたユーザインタフェースと連続的に同期させられず、場合によっては(例えば、デバイス100のユーザが可能な運転目的地に関する情報を見ているが、まだ運転目的地を選択していないとき)、デバイス100のタッチスクリーン112は、システム540のディスプレイ546上に表示されたものと異なる情報を表示する(例えば、タッチスクリーン112及びディスプレイ546は断続的に同期させられ、それらは断続的な同期イベント間の期間においては同期させられない)。
いくつかの実施形態では、ユーザ入力を検出したことに応じて(例えば、1つ以上のディスプレイ546のうちのそれぞれのディスプレイに関連付けられたユーザタッチ入力又は複数のコントロール548のうちのそれぞれのコントロールに関連付けられたユーザ入力)、システム540(又は1つ以上のディスプレイ546のうちのそれぞれのディスプレイ若しくは複数のコントロール548のうちのそれぞれのコントロール)は、ユーザ入力に対応する入力情報(例えば、入力ソースに対する識別子及びユーザ入力を記述する入力記述)をデバイス100に送信する。更には、デバイス100は、受信した入力情報及び/又は1つ以上のディスプレイ546のうちのそれぞれのディスプレイ上に表示されたユーザインタフェースのユーザ入力時又は入力前の表示状態に従って、1つ以上のディスプレイ546のうちのそれぞれのディスプレイ及び/又はデバイス100のタッチスクリーン112上に表示されたユーザインタフェースを更新する。
図5Bは、影響を受けるディスプレイを選択し、影響を受けるディスプレイに更新情報を送信するプロセスを示す流れ図である。影響を受けるディスプレイ(例えば、主要ディスプレイ546−1)が、ユーザインタフェースを表示する(560)。システム540のコントロールである、それぞれの入力ソース(例えば、図6W〜図6FFに示すジョグダイヤル675)は、ユーザ入力(例えば、ジョグダイヤル675の回転)を検出する(561)。いくつかの実施形態では、それぞれの入力ソースはコントロール548のうちの1つであり、ユーザ入力はコントロール548のうちの1つとの対話である。例えば、コントロール548は、ボタン、スイッチ、ダイヤル、ノブ、他の機械的アフォーダンス、タッチ感知面、又は他の入力ソースを含む。例えば、ユーザ入力は、ノブ又はダイヤルの回転、アフォーダンス又はノブの押下、タッチ感知面又はタッチスクリーン上で検出されたタッチ入力、又はコントロール548との他のユーザ対話である。
ユーザ入力を検出したことに応じて、それぞれの入力ソースは、入力情報(例えば、{ソースID;入力記述})をデバイス100に送信する(562)。いくつかの実施形態では、入力情報は、入力ソースに対する一意識別子及びユーザ入力を記述する入力記述情報を含む。例えば、入力記述情報は、ジョグダイヤルの回転の大きさ及び方向、タッチ感知面上で検出された接触の位置及び移動量/移動方向、及び/又はタッチ感知面上で実行されたジェスチャの種類を記述するジェスチャデータなどの生入力データである。
デバイス100は、それぞれの入力ソースから入力情報を受信する(564)。デバイス100は、入力情報内に含まれる一意識別子(例えば、ソースID)を、入力ソースマッピング566に少なくとも部分的に基づいてディスプレイ識別子タグ(例えば、ディスプレイID)に関連付けることによって、影響を受けるディスプレイを選択する。いくつかの実施形態では、入力ソースマッピング566はデバイス100のメモリ内に記憶される。例えば、デバイス100は、ジョグダイヤル675が第1のディスプレイに関連付けられているとき、入力ソースマッピング566に基づき、ジョグダイヤル675の回転を第1のディスプレイ(例えば、図6W〜図6CCのディスプレイ546−1)に関連付ける。代替として、ジョグダイヤル675が第2のディスプレイ(例えば、図6DD〜図6FFのディスプレイ546−2)に関連付けられているとき、デバイス100は、ジョグダイヤル675の回転を第2のディスプレイに関連付ける。いくつかの実施形態では、複数の入力ソースが同じディスプレイにマップされる。ただし、いくつかの実施形態では、各入力ソースは単一のディスプレイにのみマップされる。いくつかの実施形態では、入力ソースマッピング566は、入力ソースマッピング更新イベント(例えば、第1のディスプレイに関連付けられた車両が、後進を開始して第1のディスプレイを制御すること、又は入力が、ジョグダイヤルを第1のディスプレイの代わりに第2のディスプレイに関連付けること)を検出したことに応じて、及び/又は所定のスケジュールに従って、デバイス100によって更新される。
影響を受けるディスプレイを選択した後に、デバイス100は、ユーザインタフェース状態テーブル568に少なくとも部分的に基づき、影響を受けるディスプレイに対するディスプレイID(入力ソースマッピング566に基づき判定される)をディスプレイ状態情報(例えば、どのような種類のユーザインタフェースがディスプレイ内に表示されているか、どのユーザインタフェース要素が表示されているか、及び/又はどのコントロールが音量調節又はスクロールなどのどの機能に関連付けられるか)に関連付けることによって、影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態を判定する。いくつかの実施形態では、ユーザインタフェース状態テーブル568は、デバイス100のメモリ内に記憶される。影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態を判定した後に、デバイス100は、影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態及び入力記述情報に従って、影響を受けるディスプレイに対する更新されたユーザインタフェースを生成し(570)、かつデバイス100は、影響を受けるディスプレイに、更新されたユーザインタフェース(又は更新されたユーザインタフェースを生成するための情報)を送信する。いくつかの実施形態では、デバイス100は、影響を受けるディスプレイに対応するディスプレイIDに関連付けられた状態情報が、更新されたユーザインタフェース(例えば、入力ソースから受信した後続の入力情報に応じるために使用される)を反映するように、ユーザインタフェース状態テーブル568も更新する。
更新されたユーザインタフェース(例えば、更新情報)をデバイス100から受信したことに応じて、影響を受けるディスプレイは、(例えば、以前にデバイス100によって提供されたユーザインタフェースの画像を、デバイス100によって更新情報内で提供された、ユーザインタフェースの更新された画像に置き換えることによって)更新されたユーザインタフェースを表示するように、影響を受けるディスプレイ上に表示されたユーザインタフェースを更新する(574)。
ユーザインタフェース及び関連プロセス
ここで、デバイス300又はポータブル多機能デバイス100などの、ディスプレイ及びタッチ感知面を有する電子デバイスに実装することができるユーザインタフェース(「UI」)及び関連プロセスの実施形態に注目を向ける。
図6A〜図6Vは、いくつかの実施形態に係る、2つ以上のディスプレイを同期させるための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図7A〜図7D及び図8A〜図8Bの処理を含む、以下で説明されるプロセスを示すために使用される。
図6Aは、ポータブル多機能デバイス100(本明細書では「デバイス100」と呼ばれることもある)のタッチスクリーン112上に表示されたユーザインタフェース602を示す。ユーザインタフェース602は、複数のユーザインタフェースオブジェクト(例えば、アプリケーションアイコン424、426、428、430、434、436、438、446、416、418、420、及び422)を含む。図6Aは、タッチスクリーン112上の地図アプリケーションアイコン436上でのユーザタッチ入力606を検出することも示す。
図6Aは、外部情報提供システム540(本明細書では「システム540」と呼ばれることもある)のディスプレイ546−1上に表示されたユーザインタフェース604を更に示す。いくつかの実施形態では、システム540は車両内(例えば、車両のダッシュボード又はステアリングホイール内)に含まれる。いくつかの実施形態では、ディスプレイ546−1は、システム540に関連付けられた複数のディスプレイの主要ディスプレイである。いくつかの実施形態では、ディスプレイ546−1は車両のダッシュボード内に実装され、車両の運転者及び/又は同乗者が視覚的にアクセス可能である。いくつかの実施形態では、ディスプレイ546−1は、1つ以上のユーザタッチ入力を検出するように構成されたタッチスクリーンディスプレイである。図6Aは、外気温(例えば、82°)、車両の運転者ゾーン内の気温(例えば、70°)、車両の同乗者ゾーン内の気温(例えば、75°)、車両の運転者ゾーン内の送風機強度(例えば、0〜10の強度における2)、及び車両の同乗者ゾーン内の送風機強度(例えば、0〜10の強度における5)を含む、複数の気候コントロールをユーザインタフェース604内に表示するディスプレイ546−1を示す。図6Aは、車両のそれぞれのゾーン内の気温を調節することが可能な複数のユーザインタフェースオブジェクト(本明細書では「アフォーダンス」又は「選択可能ユーザインタフェースオブジェクト」と呼ばれることもある)(例えば、アフォーダンス603a、603b、603c、及び603d)、車両のそれぞれのゾーン内の送風機強度を調節することが可能な複数のユーザインタフェースオブジェクト(例えば、アフォーダンス603e、603f、603g、及び603h)、及び他の車両気候制御設定を調節することが可能な複数のユーザインタフェースオブジェクト(例えば、空調に関連するアフォーダンス605a、フロントガラスの霜取りに関連する605b、リアガラスの霜取りに関連する605c、及び自動気候コントロールに関連する605d)を表示するディスプレイ546−1も示す。図6Aは、車両のサウンドシステムの音量を制御するか、又はディスプレイ546−1上の1つ以上のユーザインタフェースオブジェクトをスクロールするように構成された、複数の機械的アフォーダンス(例えば、ノブ又はジョグダイヤル607c)及び車両のラジオチューナ(例えば、アフォーダンス607a、607b、607d、及び607e)を更に示す。
図6Bは、図6Aにおいて地図アプリケーションアイコン436上でのユーザタッチ入力606を検出したことに応じて、タッチスクリーン112が、タッチスクリーン112のユーザインタフェース602内の地図アプリケーションにおいて、デバイス100の現在位置608を表示することを示す。いくつかの実施形態では、それぞれのアフォーダンス上でのユーザタッチ入力を検出することが、それぞれのアフォーダンスに対するタップジェスチャを検出することに対応し、タップジェスチャは、それぞれのアフォーダンスに対応する位置における接触を検出することと、所定の時間期間(例えば、0.05、0.1、0.2、0.3、0.4又は0.5秒)内における接触のリフトオフを検出することと、を含む。いくつかの実施形態では、ユーザインタフェース602内に表示される地図は、原寸に比例していない。図6Bは、タッチスクリーン112上の検索ボックス609上でのユーザタッチ入力610を検出することも示す。
図6Bは、図6Aにおいて地図アプリケーションアイコン436上でのユーザタッチ入力606を検出したことに応じて、ユーザインタフェース604内に表示される地図に、デバイス100の現在位置608をディスプレイ546−1上に表示することを更に示す。いくつかの実施形態では、ユーザインタフェース604内に表示される地図は、原寸に比例していない。ユーザインタフェース604内にも表示されるアフォーダンス612は、アクティブにされたときに、デバイスにデジタルアシスタント(例えば、カリフォルニア州クパチーノのApple Inc.社製Siri(登録商標))を呼び出させる。図6Bは、ユーザインタフェース604内に表示される地図の向きを示すコンパス611も示す(例えば、ディスプレイ546−1の上部が北になるように地図が方向決めされる)。いくつかの実装では、ディスプレイ546−1のユーザインタフェース604内に表示される情報のフォントサイズが、タッチスクリーン112のユーザインタフェース602内に表示される情報のフォントサイズよりも大きい。例えば、システム540が車両内に配置されたとき、ディスプレイ546−1上のテキストは、車両の運転者及び同乗者(単数又は複数)がディスプレイ546−1から腕の分だけ離れた位置にいるときの読みやすさを向上させるために、デバイス100のタッチスクリーン112上よりも大きくなるように生成される。
図6Cは、ユーザインタフェース602の検索ボックス609内に入力されたユーザ検索クエリ(例えば、ドライクリーニング)を表示することを示す。一実施例では、ユーザは、デバイス100のユーザインタフェース602内の仮想キーボードを使用して、手動で検索クエリを入力する。別の実施例では、検索クエリは、デバイス100のユーザから受け取った音声入力である。図6Cは、図6Bにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Dは、図6Cにおける検索クエリの入力に応じて、デバイス100の現在位置608の近傍にあるピン614a及び614bによって表されるドライクリーニング店に関連付けられたユーザインタフェースオブジェクト(例えば、ピン)をユーザインタフェース602内に表示することを示す。いくつかの実施形態では、ユーザの検索クエリに一致する検索結果(又は店)が、近接度、店の評価、レビューの量、ユーザが店を訪れた回数、及び/又は他の要因に基づき自動的に選択される(例えば、ABC Cleaners)。図6Dでは、ピン614aによって表される自動的に選択されたドライクリーニング店に対応する情報ボックス613も、ユーザインタフェース602内に表示される。情報ボックス613は、ドライクリーニング店の名前(例えば、ABC Cleaners)、店の評価(例えば、星5つ中3つ)、店に対するユーザレビューの量(例えば、100件のレビュー)、及び店に対応する追加情報を表示するように構成されたアフォーダンス613aを含む。いくつかの実施形態では、情報ボックス613は、アクティブにされたときに、情報ボックス613内の任意の場所に対するユーザタッチ入力に応じて、店に対応する追加情報をデバイスに表示させる。いくつかの他の実施形態では、情報ボックス613は、アクティブにされたときに、アフォーダンス613a上でのユーザタッチ入力に応じて、店に対応する追加情報をデバイスに表示させる。図6Dは、タッチスクリーン112上のアフォーダンス613a上でのユーザタッチ入力615を検出することも示す。
図6Dは、図6Cにおける検索クエリの入力に応じて、デバイス100の現在位置608から、自動的に選択された検索結果(例えば、ABC Cleanersに対応するピン614aによって表されるドライクリーニング店)への推奨ルート616をユーザインタフェース604内に表示することを更に示す。図6Dでは、ユーザインタフェース604は、ルート616、ルート616上におけるユーザの第1の方向(又は進路変更点)及び目的地の名前(例えば、ABC Cleaners)を示すターンバイターン指示ボックス617、及びデバイスが視覚的及び/又は音声による案内を使用してABC Cleanersへのターンバイターン指示を提供するターンバイターン指示モードを開始するように構成された「指示開始」アフォーダンス618を含む。図6Dは、ユーザインタフェース604内に表示される地図の向きを示すコンパス611も示す(例えば、ターンバイターン指示において指示される車両の運転方向がディスプレイ546−1の上部に向かって方向決めされるように、ディスプレイ546−1の上部が南になるように地図が方向決めされる)。
図6Eは、図6Dにおいてアフォーダンス613a上でのユーザタッチ入力615を検出したことに応じて、ABC Cleanersに対応する追加情報をユーザインタフェース602内に表示することを示す。図6Eでは、ユーザインタフェース602は、ABC Cleanersの営業時間、ABC Cleanersのホームページ(又はウェブサイト)、ABC Cleanersの電話番号、及びABC Cleanersの住所を特定する情報を含む。図6Eでは、ユーザインタフェース602は、デバイスの現在位置からABC Cleanersまでの指示を表示するように構成されたアフォーダンス619、及びABC Cleanersからデバイスの現在位置までの指示を表示するように構成されたアフォーダンス620も含む。図6Eは、タッチスクリーン112上のアフォーダンス619上でのユーザタッチ入力621を検出することも示す。図6Eは、図6Dにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Fは、図6Eにおいてタッチスクリーン112上のアフォーダンス619上でのユーザタッチ入力621を検出したことに応じて、ルートの開始地点及び終了地点を入力するためのインタフェースをユーザインタフェース602内に表示することを示す。図6Fでは、ユーザインタフェース602は、ボックス622a内にルートの開始地点の住所(例えば、デバイス100の現在位置)を含み、ボックス622b内にルートの終了地点の住所(例えば、ABC Cleaners,1660 40th Avenue,San Francisco,CA)を含む。図6Fでは、ボックス622a及び/又はボックス622bは、ユーザインタフェース602内に表示された仮想キーボード624を使用して、又は代替として音声入力を使用して、編集することが可能になる。アフォーダンス622cは、アクティブにされたときに、デバイスに、ボックス622a内に入力された場所をボックス622b内の場所に置き換えさせ、ボックス622b内に入力された場所をボックス622a内の場所に置き換えさせる。図6Fでは、ユーザインタフェース602は、デバイス100の現在位置から以前に入力された目的地までの選択可能ルート623を含む。図6Fでは、ユーザインタフェース602は、ルート計算用の異なるモードの交通手段を選択するように構成された、アフォーダンス627a、627b、及び627cを更に含む。例えば、図6Fでは、アフォーダンス627bの周りの強調表示された枠線によって示されるように、「徒歩」モードの交通手段が現在選択されている。図6Fは、ボックス622a内の開始地点からボックス622b内の終了地点までの1つ以上のルートを計算するように構成された「ルート」アフォーダンス626a、並びにボックス622a及び622b内に入力された場所を消去するか、又は図6Dにおいて表示されたユーザインタフェース602を再表示するように構成された「キャンセル」アフォーダンス626bを表示することも示す。図6Fは、タッチスクリーン112上の「ルート」アフォーダンス626a上でのユーザタッチ入力628を検出することを更に示す。図6Fは、図6Dにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Gは、図6Fにおいてタッチスクリーン112上の「ルート」アフォーダンス626a上でのユーザタッチ入力628を検出したことに応じて、デバイス100の現在位置608からピン614aによって表されるドライクリーニング店までの2つの推奨ルートをユーザインタフェース602内に表示することを示す。図6Gでは、ダイアログボックス629は、2つの推奨ルートのうちの現在選択されている第1のルートが、ユーザがデバイス100の現在位置608からピン614aによって表されるドライクリーニング店まで歩いて行くのに10分及び0.2マイルかかることを示す。図6Gでは、第1のルート631aはユーザインタフェース602内において強調表示され、「ルート1」アフォーダンス631bは、アクティブにされたときに、デバイスにルート631aを選択(かつ強調表示)させる。図6Gでは、ユーザインタフェース602内に表示されるルート631aは、ユーザインタフェース604内に表示されるルート616と同じであるが、その向きは異なる。図6Gは、ユーザインタフェース602内にルート632aを表示すること、及びルート632aを選択(かつ強調表示)するように構成された「ルート2」アフォーダンス632bを表示することも示す。図6Gでは、「開始」アフォーダンス630aは、アクティブにされたときに、デバイスに、現在選択(又は強調表示)されているルート(例えば、ルート631a)までのターンバイターン指示を開始させ、「消去」アフォーダンス630bは、アクティブにされたときに、デバイスに、表示されているルート(例えば、ルート631a及び632a)をユーザインタフェース602から消去させ、検索ボックス609をユーザインタフェース602内に表示させる。図6Gは、タッチスクリーン112上の「開始」アフォーダンス630a上でのユーザタッチ入力633を検出することを更に示す。図6Gは、図6Dにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。いくつかの実施形態では、デバイス100がディスプレイ546−1に接続され、かつディスプレイ546−1が車両ディスプレイであるときに、デバイス100は、歩行方向ではなく運転方向を、タッチスクリーン112上及びディスプレイ546−1上の両方に表示する。
図6Hは、図6Gにおいて「開始」アフォーダンス630a上でのユーザタッチ入力633を検出したことに応じて、ルート631a上におけるユーザの第1の方向(又は進路変更点)及び目的地の名前(例えば、ABC Cleaners)を示すターンバイターン指示ボックス634をユーザインタフェース602内に表示することを示す。いくつかの実施形態では、ターンバイターン指示ボックス634がタッチスクリーン112全体を占有する。図6Hは、タッチスクリーン112上のユーザタッチ入力635を検出することも示す。
図6Hは、デバイス100が図6Gの開始アフォーダンス630a上でのユーザタッチ入力633を検出したことに応じて、ターンバイターン指示モードをユーザインタフェース604内に表示することを更に示す。図6Hでは、ターンバイターンモードの間、デバイス100の現在位置がマーカー636としてユーザインタフェース604内に表示される。いくつかの実施形態では、図6Hにおいて表示されるターンバイターン指示モードは、ユーザインタフェース604内に表示される地図を、図6D〜図6Gにおいて表示されるマップよりも更にズームインする(例えば、タッチスクリーン112上に表示される地図の拡大レベルは、ディスプレイ546−1上に表示される地図よりも低い)。
図6Iは、図6Hにおいてタッチスクリーン112上のユーザタッチ入力635を検出したことに応じて、ダイアログボックス637をユーザインタフェース602内に表示することを示す。図6Iでは、ダイアログボックス637は、ターンバイターン指示を一時停止するように構成された「一時停止」アフォーダンス638a、及び地図アプリケーション436内の最新の検索クエリ(例えば、デバイス100の現在位置の近傍にあるドライクリーニング店)の結果を表示するように構成された「戻る」アフォーダンス638bを含む。図6Iは、「戻る」アフォーダンス638b上でのユーザタッチ入力639を検出することも示す。図6Iは、図6Hにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Jは、図6Iの「戻る」アフォーダンス638b上でのユーザタッチ入力639(例えば、タップ入力)に応じて、デバイス100の現在位置608の近傍にあるピン614a及び614bによって表されるドライクリーニング店に関連付けられたユーザインタフェースオブジェクト(例えば、ピン)を、(例えば、図6Cの地図アプリケーション436における最新の検索クエリに対応する)ユーザインタフェース602内に表示することを示す。図6Jは、タッチスクリーン112上の接触640及び641の移動を含むピンチジェスチャを検出することも示す。図6Jは、図6Hにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Kは、図6Jにおいてピンチジェスチャを検出したことに応じて、デバイス100の現在位置608の近傍にある、ピン614a、614b、614c、及び614dによって表されるドライクリーニング店に関連付けられたユーザインタフェースオブジェクト(例えば、ピン)をユーザインタフェース602内に表示することを示す。例えば、図6Kでは、ピンチジェスチャに応じて地図がズームアウトされ(例えば、より低い拡大レベルで表示され)、より大きい範囲の地図がユーザインタフェース602内に表示される。図6Kは、タッチスクリーン112上の位置642aから位置642bへと移動するユーザタッチ入力642によるスワイプジェスチャ(本明細書では「ドラッグジェスチャ」と呼ばれることもある)を検出することも示す。図6Kは、図6Hのユーザインタフェース604のディスプレイ546−1上への表示を維持することを更に示す(例えば、ユーザインタフェース604は、タッチスクリーンディスプレイ112上のピンチジェスチャを検出したことに応じてズームアウトされない)。
図6Lは、図6Kにおいてスワイプジェスチャを検出したことに応じて、デバイス100の現在位置608の近傍にある、ピン614a、614b、614c、614e及び614fによって表されるドライクリーニング店に関連付けられたユーザインタフェースオブジェクト(例えば、ピン)をユーザインタフェース602内に表示することを示す。例えば、図6Kのスワイプジェスチャに応じて、地図は北東方向へと並進移動する。図6Lは、タッチスクリーン112上のピン614bによって表されるドライクリーニング店に関連付けられたユーザインタフェースオブジェクト(例えば、ピン)上でのユーザタッチ入力643を検出することも示す。図6Lは、図6Hにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す(例えば、ユーザインタフェース604は、タッチスクリーンディスプレイ112上のスワイプジェスチャを検出したことに応じてスクロールされない)。
図6Mは、図6Lのピン614bによって表されるドライクリーニング店に関連付けられたユーザインタフェースオブジェクト(例えば、ピン)上でのユーザタッチ入力643を検出したことに応じて、ピン614bによって表されるドライクリーニング店に対応する情報ボックス644をユーザインタフェース602内に表示することを示す。図6Mでは、情報ボックス644は、ドライクリーニング店の名前(例えば、Mary Ann's Cleaners)、店の評価(例えば、星5つ中5つ)、店に対するユーザレビューの量(例えば、927件のレビュー)、及び店に対応する追加情報を任意選択的に含むアフォーダンス644aを含む。図6Mは、タッチスクリーン112上のアフォーダンス644a上でのユーザタッチ入力645を検出することも示す。図6Mは、図6Hにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Nは、図6Mにおけるアフォーダンス644a上でのユーザタッチ入力645を検出したことに応じて、Mary Ann's Cleanersに対応する追加情報をユーザインタフェース602内に表示することを示す。図6Nでは、ユーザインタフェース602は、Mary Ann's Cleanersの営業時間、Mary Ann's Cleanersのホームページ(若しくはウェブサイト)、Mary Ann's Cleanersの電話番号、及びMary Ann's Cleanersの住所を特定する情報を含む。図6Nでは、ユーザインタフェース602は、デバイスの現在位置からMary Ann's Cleanersまでの指示を表示するように構成されたアフォーダンス646、及びMary Ann's Cleanersからデバイスの現在位置までの指示を表示するように構成されたアフォーダンス647も含む。図6Nは、タッチスクリーン112上のアフォーダンス646上でのユーザタッチ入力648を検出することも示す。図6Nは、図6Hにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Oは、図6Nにおけるタッチスクリーン112上のアフォーダンス646上でのユーザタッチ入力648を検出したことに応じて、ルートの開始地点及び終了地点を入力するためのインタフェースをユーザインタフェース602内に表示することを示す。図6Oでは、ユーザインタフェース602は、ボックス649a内にルートの開始地点の住所(例えば、デバイス100の現在位置)を含み、ボックス649b内にルートの終了地点の住所(例えば、Mary Ann's Cleaners,1291 Judah Street,San Francisco,CA)を含む。図6Oでは、ボックス649a及び/又はボックス649bは、ユーザインタフェース602内に表示された仮想キーボード651を使用して、又は代替として音声入力を使用して、編集することが可能になる。アフォーダンス649cは、アクティブにされたときに、デバイスに、ボックス649a内に入力された場所をボックス649b内の場所に置き換えさせ、ボックス649b内に入力された場所をボックス649a内の場所に置き換えさせる。図6Oでは、ユーザインタフェース602は、デバイスの現在位置から以前に入力された目的地までの選択可能ルート650を含む。図6Oでは、ユーザインタフェース602は、ルート計算用の異なるモードの交通手段を選択するように構成された、アフォーダンス653a、653b、及び653cを更に含む。例えば、図6Oでは、アフォーダンス653bの周りの強調表示された枠線によって示されるように、「徒歩」モードの交通手段が現在選択されている。図6Oは、ボックス649a内の開始地点からボックス649b内の終了地点までの1つ以上のルートを計算するように構成された「ルート」アフォーダンス652a、並びにボックス649a及び649b内に入力された場所を消去するか、又は図6Mにおいて表示されたユーザインタフェース602を再表示するように構成された「キャンセル」アフォーダンス652bを表示することも示す。図6Oは、タッチスクリーン112上の「ルート」アフォーダンス654(例えば、仮想キーボード651内に含まれているアフォーダンス)上でのユーザタッチ入力655を検出することを更に示す。いくつかの実施形態では、「ルート」アフォーダンス654は、アクティブにされたときに、デバイスに、ボックス649a内の開始地点からボックス649b内の終了地点までの1つ以上のルートを計算及び/又は表示させる(例えば、「ルート」アフォーダンス654は「ルート」アフォーダンス652aと同様に機能する)。図6Oは、図6Hにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Pは、図6Oにおいてタッチスクリーン112上の「ルート」アフォーダンス654上でのユーザタッチ入力655を検出したことに応じて、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店までの2つの推奨ルートをユーザインタフェース602内に表示することを示す。図6Pでは、ユーザインタフェース602のダイアログボックス656は、2つの推奨ルートのうちの自動的に選択された第1のルートが、ユーザがデバイス100の現在位置608からピン614bによって表されるドライクリーニング店まで歩いて行くのに5分及び0.4マイルかかることを示す。図6Pでは、第1のルート658aはユーザインタフェース602内において強調表示され、「ルート1」アフォーダンス658bは、アクティブにされたときに、デバイスにルート658bを選択(かつ強調表示)させる。図6Pでは、「開始」アフォーダンス657aは、アクティブにされたときに、デバイスに、現在選択(又は強調表示)されているルート(例えば、ルート658a)までのターンバイターン指示を開始させ、「消去」アフォーダンス657bは、アクティブにされたときに、デバイスに、表示されているルート(例えば、ルート658a及び659a)をユーザインタフェース602から消去させ、検索ボックス609をユーザインタフェース602内に表示させる。図6Pは、タッチスクリーン112上の「ルート2」アフォーダンス659b上でのユーザタッチ入力660を検出することを更に示す。図6Pは、図6Hにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Qは、図6Pにおいて「ルート2」アフォーダンス659b上でのタッチ入力660を検出したことに応じて、ルート659a(ルート2)を選択された(又は強調表示された)ルートとして表示することを示す。図6Qでは、ユーザインタフェース602は、2つの推奨ルートのうちの第2のルートが、ユーザがデバイス100の現在位置608からピン614bによって表されるドライクリーニング店まで歩いて行くのに6分及び0.4マイルかかることを示す、ダイアログボックス656を含む。図6Qは、タッチスクリーン112上の「開始」アフォーダンス657a上でのユーザタッチ入力661を検出することを更に示す。図6Qは、図6Hにおけるユーザインタフェース604の表示をディスプレイ546−1上で維持することを更に示す。
図6Rは、図6Qにおいて「開始」アフォーダンス657a上でのユーザタッチ入力661を検出したことに応じて、ルート659a上におけるユーザの第1の方向(又は進路変更点)及び目的地の名前(例えば、Mary Ann's Cleaners)を示すターンバイターン指示ボックス662をユーザインタフェース602内に表示することを示す。いくつかの実施形態では、ターンバイターン指示ボックス662がタッチスクリーン112全体を占有する。
図6Rは、図6Qにおいて「開始」アフォーダンス657a上でのユーザタッチ入力661を検出したことに応じて、ターンバイターン指示モードをユーザインタフェース604内に表示することを更に示す(例えば、ユーザインタフェース604が以前の入力に応じて、以前にユーザインタフェース602と同期させられていない場合でも、目的地及びルートが選択され、ターンバイターン指示が開始されると、デバイスは、両方のユーザインタフェースが同じルートを使用して同じ目的地までの指示を示すように、ユーザインタフェース602及びユーザインタフェース604を同期させる)。図6Rでは、ユーザインタフェース604は、ルート659a、ルート659a上におけるユーザの第1の方向(又は進路変更点)及び目的地の名前(例えば、Mary Ann's Cleaners)を示すターンバイターン指示ボックス663、及びデバイス100の現在位置を示すマーカー654を含む。図6Rは、ユーザインタフェース604内に表示される地図の向きを示すコンパス611も示す(例えば、ディスプレイ546−1の上部が東になるように地図が方向決めされる)。図6Rは、ディスプレイ546−1上のユーザタッチ入力665を検出することを更に示す。
図6Sは、図6Rにおいてディスプレイ546−1上のユーザタッチ入力665を検出したことに応じて、ダイアログボックス637をユーザインタフェース602内に表示することを示す。図6Sでは、ダイアログボックス637は、ターンバイターン指示を一時停止するように構成された「一時停止」アフォーダンス638a、及び地図アプリケーション436内の最新の検索クエリ(例えば、デバイス100の現在位置の近傍にあるドライクリーニング店)の結果を表示するように構成された「戻る」アフォーダンス638bを含む。
図6Sは、図6Rにおいてディスプレイ546−1上のユーザタッチ入力665を検出したことに応じて、アフォーダンス612をユーザインタフェース604内に表示することを更に示す。アフォーダンス612は、アクティブにされたときに、デバイスにデジタルアシスタント(例えば、カリフォルニア州クパチーノのApple Inc.社製Siri)を呼び出させる。図6Sは、ディスプレイ546−1上のアフォーダンス612上でのユーザタッチ入力666を検出することも示す。アフォーダンス612上でのユーザタッチ入力666を検出したことに応じて、デジタルアシスタントが呼び出され、デジタルアシスタントは音声によって、ユーザに「ご用件は何でしょう」と案内する。案内に応じて、ユーザは音声によって、例えば、デジタルアシスタントに「近くのコーヒー店を教えて」と尋ねる。代替として、いくつかの実施形態では、デジタルアシスタントは所定の音声命令(例えば、「やあ、Siri」)によって呼び出される。
図6Tは、図6Sにおけるユーザインタフェース602の表示をタッチスクリーン112上で維持することを示す。図6Tは、デジタルアシスタントのダイアログボックス667をユーザインタフェース604内に表示することを更に示す。デジタルアシスタントのダイアログボックス667は、デジタルアシスタントがユーザの音声要求(例えば、「近くのコーヒー店を教えて」)に応じてコーヒー店を検索していることを示す。
図6Uは、ユーザの音声要求(例えば、「近くのコーヒー店を教えて」)に応じて、デバイス100の現在位置608の近傍にあるコーヒー店668a及び668bに関連付けられたユーザインタフェースオブジェクト(例えば、ピン)をユーザインタフェース602内に表示することを示す。いくつかの実施形態では、音声要求に一致する検索結果(又は店)が、近接度、店の評価、レビューの量、ユーザが店を訪れた回数、及び/又は他の要因に基づき自動的に選択される(例えば、Java Haus)。図6Uでは、自動的に選択されたコーヒー店668aに対応する情報ボックス669も、ユーザインタフェース602内に表示される。情報ボックス669は、コーヒー店の名前(例えば、Java Haus)、店の評価(例えば、星5つ中4つ)、店に対するユーザレビューの量(例えば、320件のレビュー)、及び店に対応する追加情報を表示するように構成されたアフォーダンス669aを含む。追加情報をユーザインタフェース602内において提供することは、デバイス100を操作している車両の同乗者が追加情報を車両の運転者に提供し、及び/又はユーザインタフェース602内において提供された追加情報に基づき目的地を選択することを可能にする。
図6Uは、ユーザの音声要求(例えば、「近くのコーヒー店を教えて」)に応じて、デバイス100の現在位置608からコーヒー店668a(例えば、Java Haus)までの推奨ルート671をユーザインタフェース604内に表示することを更に示す。いくつかの実施形態では、自動的に選択された検索結果に対するルートがユーザインタフェース604内に表示される。図6Uでは、ユーザインタフェース604は、ルート671、ルート671上におけるユーザの第1の方向(又は進路変更点)及び目的地の名前(例えば、Java Haus)を示すターンバイターン指示ボックス670、及びターンバイターンモードを開始するように構成された「指示開始」アフォーダンス618を含む。図6Uは、ユーザインタフェース604内に表示される地図の向きを示すコンパス611も示す(例えば、ディスプレイ546−1の上部が北になるように地図が方向決めされる)。図6Uは、ディスプレイ546−1上の「指示開始」アフォーダンス618上でのユーザタッチ入力672を検出することを更に示す。
図6Vは、図6Uにおいて「指示開始」アフォーダンス618上でのユーザタッチ入力672を検出したことに応じて、ルート671上におけるユーザの第1の方向(又は進路変更点)及び目的地の名前(例えば、Java Haus)を示すターンバイターン指示ボックス673をユーザインタフェース602内に表示することを示す。いくつかの実施形態では、ターンバイターン指示ボックス673がタッチスクリーン112全体を占有する。
図6Vは、図6Uにおいてディスプレイ546−1上の「指示開始」アフォーダンス662上でのユーザタッチ入力672を検出したことに応じて、ターンバイターン指示モードをユーザインタフェース604内に表示することを更に示す。図6Vでは、ターンバイターンモードの間、デバイス100の現在位置がマーカー674としてユーザインタフェース604内に表示される。いくつかの実施形態では、図6Vにおいて表示されるターンバイターン指示モードは、ユーザインタフェース604内に表示される地図を、図6Uに表示されるマップよりも更にズームインする。
図6W〜図6FFは、いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図9A〜9Cのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。
図6Wは、いくつかの実施形態に係る、ポータブル多機能デバイス100(本明細書では「デバイス100」と呼ばれることもある)に通信可能に結合された外部情報提供システム540(本明細書では「システム540」と呼ばれることもある)内に含まれる2つのディスプレイを示す。いくつかの実施形態では、外部情報提供システム540は、車両内に実装されたエンターテイメント及び/又はナビゲーションシステムである。いくつかの実施形態では、ディスプレイ546−1は第1の外部情報提供システム540−1に関連付けられ、ディスプレイ546−2は第2の外部情報提供システム540−2に関連付けられる。いくつかの実施形態では、ディスプレイ546−1は主要ディスプレイ(例えば、ダッシュボード又は車両ナビゲーションディスプレイ)であり、ディスプレイ546−2は補助ディスプレイ(例えば、後部座席又はエンターテイメントディスプレイ)である。いくつかの実施形態では、ディスプレイ546−1及びディスプレイ546−2は、ディスプレイ上にタッチ感知面を備え、かつ1つ以上のタッチ入力を受け取るように構成された、タッチ感知ディスプレイである。図6Wは、ディスプレイ546−1及びディスプレイ546−2のうちの1つ又は両方を制御するように構成されたシステム540に関連付けられたジョグダイヤル675(例えば、押下可能及び/又は回転可能な機械的ノブ又はダイヤル)も示す。
図6Wは、地図/ナビゲーションアプリケーションにおいてデバイス100の現在位置608の近傍にあるピン614a及び614bによって表されるドライクリーニング店に関連付けられたユーザインタフェースオブジェクト(例えば、ピン)を、ディスプレイ546−1のユーザインタフェース604内に表示することを示す。例えば、これらのピンは、検索クエリ(例えば、図6Cにおいて、デバイス100のユーザインタフェース602内にある検索ボックス609に入力された「ドライクリーニング」)に応じてユーザインタフェース604内に表示される。いくつかの実施形態では、ユーザの検索クエリに一致する検索結果(又は店)が、近接度、店の評価、レビューの量、ユーザが店を訪れた回数、及び他の要因に基づき自動的に選択される(例えば、ABC Cleaners)。図6Wでは、ピン614aによって表される自動的に選択されたドライクリーニング店に対応する目的地情報678も、ユーザインタフェース604内に表示される。目的地情報678は、ドライクリーニング店の名前(例えば、ABC Cleaners)、店の評価(例えば、星5つ中3つ)、店に対するユーザレビューの量(例えば、100件のレビュー)、及びデバイス100の現在位置608から店までの距離を含む。いくつかの実施形態では、ドライクリーニング店514aに対応する目的地情報678に関連付けられたダイアログボックス内の任意の場所に対するタッチ入力に応じて、現在選択されている検索結果(例えば、ピン614aによって表されるドライクリーニング店)までのターンバイターン指示がユーザインタフェース604内に表示される。いくつかの他の実施形態では、ジョグダイヤル675の押下に応じて、現在選択されている検索結果(例えば、ピン614aによって表されるドライクリーニング店)までのターンバイターン指示がユーザインタフェース604内に表示される。図6Wは、ユーザインタフェース604内に表示される地図の向きを示すコンパス611も示す(例えば、ディスプレイ546−1の上部が北になるように地図が方向決めされる)。
図6Wは、ディスプレイ546−1上のユーザタッチ入力679及び680によるピンチジェスチャを検出することを示す。ユーザタッチ入力679及び680(又はピンチジェスチャ)を検出したことに応じて、ディスプレイ546−1(又はシステム540)は、ユーザタッチ入力679及び680(又はピンチジェスチャ)を示す入力情報をデバイス100に送信する。入力情報は、ディスプレイ546−1のタッチ感知面に関連付けられた識別子(例えば、ディスプレイ546−1のタッチ感知面に関連付けられた一意識別子)並びにユーザタッチ入力679及び680(又はピンチジェスチャ)を記述する入力記述情報を含む。いくつかの実施形態では、入力記述情報は、ユーザタッチ入力679及び680の位置、ユーザタッチ入力679及び680の移動の大きさ、ユーザタッチ入力679及び680が検出された時間の長さ、ユーザタッチ入力679及び680の表面積、及び/又はユーザタッチ入力679及び680を記述する他の情報などの、ユーザタッチ入力679及び680を記述する生データを含む。いくつかの他の実施形態では、入力記述情報は、実行されたジェスチャの種類、ジェスチャの位置、ジェスチャの移動の大きさ、及び/又はジェスチャを記述する他の情報などの、ピンチジェスチャを記述するデータを含む。
ユーザタッチ入力679及び680(又はピンチジェスチャ)に関連付けられた入力情報を受信したことに応じて、デバイス100は、入力ソースのディスプレイへのマッピングに基づき、入力情報内に含まれる識別子がディスプレイ546−1に関連付けられていると判定する(例えば、タッチイベント(又はジェスチャ)をディスプレイ546−1のタッチ感知面に関連付ける)。図6Wにおいて検出されたタッチイベントがディスプレイ546−1(例えば、影響を受けるディスプレイ)に関連付けられていると判定した後、デバイス100は、図6Wに示すディスプレイ546−1のディスプレイ状態(例えば、ユーザインタフェース604が検索結果又は目的地選択モードになっている)も判定する。いくつかの実施形態では、デバイス100は、入力情報に含まれる情報に基づき、ディスプレイのディスプレイ状態を判定する。いくつかの他の実施形態では、デバイス100は、システム540にそのような情報を問い合わせることによって、ディスプレイのディスプレイ状態を判定する。
図6Wは、メディアプレーヤアプリケーション内のアルバムに対応する歌曲677のリストを、ディスプレイ546−2のユーザインタフェース676内に表示することを更に示す。
図6Xは、デバイス100の現在位置608の近傍にある、ピン614a、614b、614c、及び614dによって表されるドライクリーニング店に関連付けられたユーザインタフェースオブジェクト(例えば、ピン)を、ディスプレイ546−1のユーザインタフェース604内に表示することを示す。例えば、図6Xにおいてユーザインタフェース604内に表示される地図は、図6Wにおいてユーザインタフェース604内に表示される地図をズームアウトしたものである。ディスプレイ546−1は、図6Wにおいてディスプレイ546−1上で検出されたピンチジェスチャに対応する更新されたユーザインタフェース、及び図6Wにおけるユーザインタフェース604のディスプレイ状態(例えば、検索結果又は目的地選択モード)を含む更新情報をデバイス100から受信したことに応じて、図6Xにおいて、ズームアウトされた地図をユーザインタフェース604内に表示する。
図6Xは、ジョグダイヤル675の回転681(例えば、約90度の時計回りの回転)を検出することも示す。回転681を検出したことに応じて、ジョグダイヤル675(又はシステム540)は、回転681を示す入力情報をデバイス100に送信する。入力情報は、ジョグダイヤル675に関連付けられた識別子(例えば、ジョグダイヤル675に関連付けられた一意識別子)及び回転681を記述する入力記述情報を含む。例えば、入力記述情報は、回転の大きさ(90度)及び方向(時計回り)などの、回転681を記述する生データを含む。回転681に関連付けられた入力情報を受信したことに応じて、デバイス100は、入力ソースのディスプレイへのマッピングに基づき、入力情報内に含まれる識別子がディスプレイ546−1に関連付けられていると判定する(例えば、回転イベントを、現在ディスプレイ546−1にマップされているジョグダイヤル675に関連付ける)。図6Xにおいて検出された回転イベントがディスプレイ546−1に関連付けられていると判定した後、デバイス100は、図6Xに示すディスプレイ546−1のディスプレイ状態(例えば、ユーザインタフェース604が検索結果又は目的地選択モードになっている)も判定する。図6Xは、図6Wにおけるユーザインタフェース676内の歌曲677のリストの表示をディスプレイ546−2上で維持することを更に示す(例えば、ユーザインタフェース676が表示されるディスプレイにジョグダイヤル675が関連付けられていない場合、ユーザインタフェース676はジョグダイヤル675の回転に応じて更新されない)。
図6Yは、ピン614dによって表される選択されたドライクリーニング店に対応する目的地情報682を、ディスプレイ546−1のユーザインタフェース604内に表示することを示す。図6Yでは、ディスプレイ546−1は、図6Xにおいてジョグダイヤル675によって検出された回転681に対応する更新されたユーザインタフェース、及び図6Xにおけるユーザインタフェース604のディスプレイ状態(例えば、検索結果又は目的地選択モード)を含む更新情報をデバイス100から受信したことに応じて、ピン614dによって表される選択されたドライクリーニング店(例えば、Suzie's Cleaners)に対応する目的地情報682を表示する。いくつかの実施形態では、目的地情報(ひいては選択された目的地)は、ジョグダイヤル675の回転の方向及び大きさに従ってスクロールされる。例えば、検索結果又は目的地選択モードが表示されているとき、ジョグダイヤル675の90度の回転は次の検索結果を選択し、時計回りの回転は検索結果を北から南へとスクロールし、反時計回りの回転は検索結果を南から北へとスクロールする。図6Yでは、図6Xにおいてジョグダイヤル675の回転681(例えば、90度の時計回りの回転)を検出したことに応じて、ピン614dによって表されるドライクリーニング店が選択され(又はその店までスクロールされ)、ピン614dによって表されるドライクリーニング店(例えば、図6Xにおいて表示されたピン614aによって表されるドライクリーニング店の南にある、次のドライクリーニング店)に対応する目的地情報682がユーザインタフェース604内に表示される。
図6Yは、ジョグダイヤル675の回転683(例えば、約180度の反時計回りの回転)を検出することも示す。いくつかの実施形態では、回転683を検出したことに応じて、ジョグダイヤル675(又はシステム540)は、回転683を示す入力情報をデバイス100に送信する。入力情報は、ジョグダイヤル675に関連付けられた識別子(例えば、ジョグダイヤル675に関連付けられた一意識別子)及び回転683を記述する入力記述情報を含む。例えば、入力記述情報は、回転の大きさ(180度)及び方向(反時計回り)などの、回転683を記述する生データを含む。回転683に関連付けられた入力情報を受信したことに応じて、デバイス100は、入力ソースのディスプレイへのマッピングに基づき、入力情報内に含まれる識別子がディスプレイ546−1に関連付けられていると判定する(例えば、回転イベントを、現在ディスプレイ546−1にマップされているジョグダイヤル675に関連付ける)。図6Yにおいて検出された回転イベントがディスプレイ546−1に関連付けられていると判定した後、デバイス100は、図6Yに示すディスプレイ546−1のディスプレイ状態(例えば、ユーザインタフェース604が検索結果又は目的地選択モードになっている)も判定する。図6Yは、図6Wにおけるユーザインタフェース676内の歌曲677のリストの表示をディスプレイ546−2上で維持することを更に示す。
図6Zは、ピン614bによって表される選択されたドライクリーニング店(例えば、Mary Ann's Cleaners)に対応する目的地情報684を、ディスプレイ546−1のユーザインタフェース604内に表示することを示す。図6Zでは、ディスプレイ546−1は、図6Yにおいてジョグダイヤル675によって検出された回転683に対応する更新されたユーザインタフェース、及び図6Yにおけるユーザインタフェース604のディスプレイ状態(例えば、検索結果又は目的地選択モード)を含む更新情報をデバイス100から受信したことに応じて、ピン614bによって表される選択されたドライクリーニング店に対応する目的地情報684を表示する。図6Zでは、図6Yにおいてジョグダイヤル675の回転683(例えば、180度の反時計回りの回転)を検出したことに応じて、ピン614bによって表されるドライクリーニング店が選択され(又はその店までスクロールされ)、ピン614bによって表されるドライクリーニング店(例えば、図6Yにおいて表示されたピン614dによって表されるドライクリーニング店の北に2つのドライクリーニング店)に対応する目的地情報684がユーザインタフェース604内に表示される。
図6Zは、ユーザタッチ入力685によるジョグダイヤル675の押圧又は押下を検出することも示す。いくつかの実施形態では、ユーザタッチ入力685を検出したことに応じて、ジョグダイヤル675(又はシステム540)は、ユーザタッチ入力685を示す入力情報をデバイス100に送信する。入力情報は、ジョグダイヤル675に関連付けられた識別子(例えば、ジョグダイヤル675に関連付けられた一意識別子)及びユーザタッチ入力685を記述する入力記述情報を含む。例えば、入力記述情報は、入力の力及びジョグダイヤル675の押下の量などの、ユーザタッチ入力685を記述する生データを含む。ユーザタッチ入力685に関連付けられた入力情報を受信したことに応じて、デバイス100は、入力ソースのディスプレイへのマッピングに基づき、入力情報内に含まれる識別子がディスプレイ546−1に関連付けられていると判定する(例えば、押圧又は押下イベントを、現在ディスプレイ546−1にマップされているジョグダイヤル675に関連付ける)。図6Zにおいて検出された押下イベントがディスプレイ546−1に関連付けられていると判定した後、デバイス100は、図6Zに示すディスプレイ546−1のディスプレイ状態(例えば、ユーザインタフェース604が検索結果又は目的地選択モードになっている)も判定する。図6Zは、図6Wにおけるユーザインタフェース676内の歌曲677のリストの表示をディスプレイ546−2上で維持することを更に示す。
図6AAは、デバイス100の現在位置を示すマーカー664から、ピン614bによって表されるドライクリーニング店(例えば、Mary Ann's Cleaners)までのターンバイターン指示モードを、ディスプレイ546−1のユーザインタフェース604内に表示することを示す。図6AAでは、ディスプレイ546−1は、図6Zにおいてジョグダイヤル675によって検出されたユーザタッチ入力685に対応する更新されたユーザインタフェース、及び図6Zにおけるユーザインタフェース604のディスプレイ状態(例えば、検索結果又は目的地選択モード)を含む更新情報をデバイス100から受信したことに応じて、ターンバイターン指示モードをユーザインタフェース604内に表示する。図6AAでは、図6Zにおいてジョグダイヤル675を押下するユーザタッチ入力685を検出したことに応じて、ルート659a上における、デバイス100の現在位置を示すマーカー664から、ピン614bによって表されるドライクリーニング店(例えば、図6Yにおいてジョグダイヤル675の回転683によって選択されたもの)までのターンバイターン指示が、ユーザインタフェース604のターンバイターン指示ボックス663内に表示される。図6AAは、ユーザインタフェース604内に表示される地図の向きを示すコンパス611も示す(例えば、ディスプレイ546−1の上部が東になるように地図が方向決めされる)。
図6AAは、ジョグダイヤル675の回転686(例えば、約90度の反時計回りの回転)を検出することも示す。回転686を検出したことに応じて、ジョグダイヤル675(又はシステム540)は、回転686を示す入力情報をデバイス100に送信する。入力情報は、ジョグダイヤル675に関連付けられた識別子(例えば、ジョグダイヤル675に関連付けられた一意識別子)及び回転686を記述する入力記述情報を含む。例えば、入力記述情報は、回転の大きさ(90度)及び方向(反時計回り)などの、回転686を記述する生データを含む。回転681に関連付けられた入力情報を受信したことに応じて、デバイス100は、入力ソースのディスプレイへのマッピングに基づき、入力情報内に含まれる識別子がディスプレイ546−1に関連付けられていると判定する(例えば、回転イベントを、現在ディスプレイ546−1にマップされているジョグダイヤル675に関連付ける)。図6AAにおいて検出された回転イベントがディスプレイ546−1に関連付けられていると判定した後、デバイス100は、図6AAに示すディスプレイ546−1のディスプレイ状態(例えば、ユーザインタフェース604がターンバイターン指示モードになっている)も判定する。図6AAは、図6Wにおけるユーザインタフェース676内の歌曲677のリストの表示をディスプレイ546−2上で維持することを更に示す。
図6BBは、ターンバイターン指示モードをディスプレイ546−1のユーザインタフェース604内に表示することを示す。例えば、図6BBにおいてユーザインタフェース604内に表示されるターンバイターン指示モードは、図6AAにおいてユーザインタフェース604内に表示されるターンバイターン指示モードをズームアウトしたものである。図6BBでは、ディスプレイ546−1は、図6AAにおいてジョグダイヤル675によって検出された回転686に対応する更新されたユーザインタフェース、及び図6AAにおけるユーザインタフェース604のディスプレイ状態(例えば、ターンバイターン指示モード)を含む更新情報をデバイス100から受信したことに応じて、ズームアウトされたターンバイターン指示モードを、図6BBにおけるユーザインタフェース604内に表示する。図6BBは、図6Wにおけるユーザインタフェース676内の歌曲677のリストの表示をディスプレイ546−2上で維持することを更に示す。
図6CCは、車両後進モードをディスプレイ546−1のユーザインタフェース604内に表示することを示す。例えば、ユーザインタフェース604内に表示される車両後進モードは、車両内に実装された後進カメラからのビデオフィードを含む。いくつかの実施形態では、車両後進モードがディスプレイ546−1全体を占有する。システム540が車両内に実装された場合、ディスプレイ546−1は、車両が後進する間、車両後進モードをユーザインタフェース604内に表示する。いくつかの実施形態では、車両後進モードは、ディスプレイ546−1及び546−2によってデバイス100から受信された全ての更新情報に取って代わる。いくつかの実施形態では、車両後進モードはディスプレイのうちの1つ(例えば、ディスプレイ546−1)に表示され、他のディスプレイ(例えば、ディスプレイ546−2)には表示されない。
同様に、図6CCは、車両後進モードをディスプレイ546−2のユーザインタフェース676内に表示することも示す。例えば、ユーザインタフェース676内に表示される車両後進モードは、車両内に実装された後進カメラからのビデオフィードを含む。いくつかの実施形態では、車両後進モードがディスプレイ546−2全体を占有する。システム540が車両内に実装された場合、ディスプレイ546−2は、車両が後進する間、車両後進モードをユーザインタフェース676内に表示する。いくつかの他の実施形態では、ディスプレイ546−2は、車両が後進する間、車両後進モードをユーザインタフェース676内に表示せず、インタフェース676の表示を維持する。
図6DDは、車両がそれ以上後進しなくなったときに、6BBにおけるユーザインタフェース604内のターンバイターン指示モードをディスプレイ546−1上に表示することを示す。
図6DDは、ジョグダイヤル675の回転688(例えば、約90度の時計回りの回転)を検出することも示す。回転688を検出したことに応じて、ジョグダイヤル675(又はシステム540)は、回転688を示す入力情報をデバイス100に送信する。入力情報は、ジョグダイヤル675に関連付けられた識別子(例えば、ジョグダイヤル675に関連付けられた一意識別子)及び回転688を記述する入力記述情報を含む。例えば、入力記述情報は、回転の大きさ(90度)及び方向(時計回り)などの、回転688を記述する生データを含む。
デバイス100は、ジョグダイヤル675をディスプレイ546−1ではなくディスプレイ546−2にマップする、入力ソースのディスプレイへのマッピングにおける変化を検出する。例えば、デバイス100は、外部情報提供システム540からの通信(例えば、後進カメラの出力を示すようにディスプレイを制御する)、又は、ユーザが、それぞれのコントロールが第1のディスプレイ内のユーザインタフェースを制御する第1のディスプレイモードから、それぞれのコントロールが第2のディスプレイ内のユーザインタフェースを制御する第2のディスプレイモードへと、それぞれのコントロールを切り替えるなどの、入力ソースマッピングの更新要求に基づき、入力ソースのディスプレイへのマッピングを変更する。回転688に関連付けられた入力情報を受信したことに応じて、デバイス100は、入力ソースのディスプレイへの変更されたマッピングに基づき、入力情報内に含まれる識別子がディスプレイ546−2に関連付けられていると判定する(例えば、回転イベントを、現在ディスプレイ546−2にマップされているジョグダイヤル675に関連付ける)。図6DDにおいて検出された回転イベントがディスプレイ546−2に関連付けられていると判定した後、デバイス100は、図6DDに示すディスプレイ546−2のディスプレイ状態(例えば、ユーザインタフェース676がアルバム歌曲リストモードになっている)も判定する。
図6DDは、車両がそれ以上後進しなくなったときに、図6Wにおけるユーザインタフェース676内の歌曲677のリストをディスプレイ546−2上に表示する状態に戻ることを示す。
図6EEは、図6BBにおけるユーザインタフェース604内のターンバイターン指示モードをディスプレイ546−1上に表示することを示す。図6EEは、歌曲677の下方向にスクロールされたリストをディスプレイ546−2のユーザインタフェース676内に表示することも示す。図6EEでは、ディスプレイ546−2は、図6DDにおいてジョグダイヤル675によって検出された回転688に対応する更新されたユーザインタフェース、及び図6DDにおけるユーザインタフェース676のディスプレイ状態(例えば、アルバム歌曲リストモード)を含む更新情報をデバイス100から受信したことに応じて、歌曲677の下方向にスクロールされたリストをユーザインタフェース676内に表示する。図6EEでは、図6DDにおいてジョグダイヤル675の回転688(例えば、約90度の時計回りの回転)を検出したことに応じて、歌曲677のリストがユーザインタフェース604内において下方向にスクロールされる。
図6EEは、ディスプレイ546−2上の位置689aから位置689bへと移動するユーザタッチ入力689による上方向へのスワイプジェスチャ(本明細書では「ドラッグ」ジェスチャと呼ばれることもある)を検出することを更に示す。ユーザタッチ入力689(又はスワイプジェスチャ)を検出したことに応じて、ディスプレイ546−2(又はシステム540)は、タッチ入力689(又はスワイプジェスチャ)を示す入力情報をデバイス100に送信する。入力情報は、ディスプレイ546−2のタッチ感知面に関連付けられた識別子(例えば、ディスプレイ546−2のタッチ感知面に関連付けられた一意識別子)及びタッチ入力689(又はスワイプジェスチャ)を記述する入力記述情報を含む。タッチ入力689(又はスワイプジェスチャ)に関連付けられた入力情報を受信したことに応じて、デバイス100は、入力ソースのディスプレイへのマッピングに基づき、入力情報内に含まれる識別子がディスプレイ546−2に関連付けられていると判定する(例えば、タッチイベント(又はジェスチャ)をディスプレイ546−2のタッチ感知面に関連付ける)。図6EEにおいて検出されたタッチイベントがディスプレイ546−2に関連付けられていると判定した後、デバイス100は、図6EEに示すディスプレイ546−2のディスプレイ状態(例えば、ユーザインタフェース676がアルバム歌曲リストモードになっている)も判定する。
図6FFは、図6BBにおけるユーザインタフェース604内のターンバイターン指示モードをディスプレイ546−1上に表示することを示す。図6FFは、歌曲677の上方向にスクロールされたリストをディスプレイ546−2のユーザインタフェース676内に表示することも示す。図6FFでは、ディスプレイ546−2は、図6EEにおいてディスプレイ546−2上で検出されたスワイプジェスチャに対応する更新されたユーザインタフェース、及び図6EEにおけるユーザインタフェース676のディスプレイ状態(例えば、アルバム歌曲リストモード)を含む更新情報をデバイス100から受信したことに応じて、歌曲677の上方向にスクロールされたリストをユーザインタフェース604内に表示する。図6FFでは、図6EEにおいて上方向のスワイプジェスチャを検出したことに応じて、歌曲677のリストがユーザインタフェース604内において上方向にスクロールされる。
図7A〜図7Dは、いくつかの実施形態に係る、2つ以上のディスプレイを同期させる方法700を示す流れ図である。方法700は、第1のディスプレイ及びタッチ感知面を備える第1の電子デバイス(例えば、デバイス300(図3)、又はポータブル多機能デバイス100(図1A))において実行される。いくつかの実施形態では、第1のディスプレイは、タッチスクリーンディスプレイ(例えば、タッチスクリーン112)であり、タッチ感知面は、第1のディスプレイ上にある。いくつかの実施形態では、第1のディスプレイはタッチ感知面から分離している。方法700におけるいくつかの動作は、任意選択的に、組み合わされ、及び/又は一部の動作の順序は、任意選択的に、変更される。
後述するように、方法700は、2つ以上のディスプレイを同期させる直感的な方法を提供する。この方法は、2つ以上のディスプレイ上に情報を表示するときのユーザの認知負担を軽減し、それによって、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザが、より速く、より効率的に、2つ以上のディスプレイ上に表示された情報を使用することが可能となることにより、電力が節約され、バッテリを充電する間隔が増大する。
第1の電子デバイスは、第1のユーザインタフェースを第1のディスプレイ上に表示する(702)。いくつかの実施形態では、第1の電子デバイスは、スマートフォン又はタブレットコンピュータなどのポータブル多機能コンピューティングデバイスである。例えば、図6A〜図6Vは、ユーザインタフェース602(例えば、第1のユーザインタフェース)をタッチスクリーン112上に表示するポータブル多機能デバイス100(本明細書では「デバイス100」と呼ばれることもある)を示す。
第1のユーザインタフェースは、複数の選択可能なオブジェクト(例えば、以前に実行した検索動作に対応する検索結果)間の選択を可能にする(704)。例えば、図6Dは、デバイス100のユーザインタフェース602内に表示されたピン614a及び614bによって表されるドライクリーニング店に対応するユーザインタフェースオブジェクト(例えば、ピン)を示す。図6Dでは、図6Cにおけるデバイス100の現在位置608の近傍にある「ドライクリーニング」に関する検索クエリに応じて、ピン614a及び614bによって表されるドライクリーニング店が、ユーザインタフェース602内に表示される。
第1のユーザインタフェースは、第1のディスプレイと異なる第2のディスプレイ上に表示される第2のユーザインタフェースに対応する。いくつかの実施形態では、第1のユーザインタフェース及び第2のユーザインタフェースは、同じ対応するアプリケーション(例えば、第1の電子デバイス上で実行されているアプリケーション)に対するユーザインタフェースである。デバイス100のタッチスクリーン112上に表示されるユーザインタフェース602(例えば、第1のユーザインタフェース)は、外部情報提供システム540(本明細書では「システム540」と呼ばれることもある)のディスプレイ546−1(例えば、タッチスクリーンディスプレイ)上に表示されるユーザインタフェース604(例えば、第2のユーザインタフェース)に対応する。いくつかの実施形態では、ディスプレイ546−1は、システム540に関連付けられた複数のディスプレイの主要ディスプレイである。いくつかの実施形態では、ディスプレイ546−1は車両のダッシュボード内に実装され、車両の運転者及び/又は同乗者が視覚的にアクセス可能である。
複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして第2のユーザインタフェース内に表示される(例えば、第1のユーザオブジェクトは、第2のユーザインタフェース内において現在選択されているオブジェクトである)。例えば、図6Dは、ユーザインタフェース602内に表示されたピン614aによって表されるドライクリーニング店に対応する情報ボックス613を示す。情報ボックス613は、ピン614aによって表されるドライクリーニング店が所定の基準に基づき自動的に選択されたという事実により、ユーザインタフェース602内に表示される。例えば、図6Dは、デバイス100の現在位置608から、ディスプレイ546−1のユーザインタフェース604内に表示されたピン614aによって表される、自動的に選択されたドライクリーニング店までのルート616を更に示す。
いくつかの実施形態では、第1のオブジェクトは、既定のオブジェクト選択基準に基づき、選択されたオブジェクトとして自動的に選択される(例えば、検索を開始し、1つ以上の検索結果のセットを受信した後、最も関連性の高い検索結果に対応する第1のオブジェクトが、ユーザの介在なしに、選択されたオブジェクトとして自動的に選択される)(706)。例えば、図6Dでは、ピン614aによって表されるドライクリーニング店は、近接度、店の評価、レビューの量、ユーザが店を訪れた回数、及び/又は他の要因に基づき自動的に選択される。
いくつかの実施形態では、複数の選択可能なオブジェクトは、検索クエリ(例えば、タイプ入力又は音声による検索クエリ)に応じて生成される複数の検索結果に対応し、選択されたオブジェクトは現在選択されている検索結果に対応する(708)。例えば、図6Dでは、ピン614a及び614bによって表されるドライクリーニング店に対応するユーザインタフェースオブジェクト(例えば、ピン)は、図6Cにおいて検索ボックス609内に入力された検索クエリ「ドライクリーニング」に応じて、デバイス100のユーザインタフェース602内に表示される。いくつかの実施形態では、検索クエリは、タッチスクリーン112のユーザインタフェース602内に表示された仮想キーボードを使用して、検索ボックス609内に手動で入力される。いくつかの他の実施形態では、検索クエリは、デバイス100のユーザからの音声入力を介して、検索クエリボックス609内に音声によって入力される。例えば、図6Dでは、ピン614aによって表されるドライクリーニング店は、ピン614a及び614bによって表されるドライクリーニング店を含む複数の検索結果から自動的に選択される。また、図6Dでは、システム540のユーザインタフェース604は、ユーザデバイス100の現在位置608から、ピン614aによって表される選択されたドライクリーニング店までのルート616を表示する。
いくつかの実施形態では、複数の選択可能なオブジェクトは複数の地図位置に対応し、選択されたオブジェクトは現在選択されている目的地に対応する(710)。例えば、図6Dでは、ピン614a及び614bによって表されるドライクリーニング店に対応するユーザインタフェースオブジェクト(例えば、ピン)は、デバイス100の現在位置608に対する地図位置である。また、図6Dでは、システム540のユーザインタフェース604は、ユーザデバイス100の現在位置608から、ピン614aによって表される選択されたドライクリーニング店に対する地図位置までのルート616を表示する。
いくつかの実施形態では、複数の選択可能なオブジェクトは複数のナビゲーションルートに対応し、選択されたオブジェクトは現在選択されているナビゲーションルートに対応する(712)。例えば、図60は、ユーザデバイス100の現在位置608からピン614a及び614bによって表されるドライクリーニング店までのルート631a及び631bにそれぞれ対応する、「ルート1」アフォーダンス631b及び「ルート2」アフォーダンス632bを含む、複数の選択可能ユーザインタフェースオブジェクトを示す。また、図6Dでは、システム540のユーザインタフェース604は、ユーザデバイス100の現在位置608から、ピン614aによって表される選択されたドライクリーニング店までのユーザインタフェース602内で強調表示されたルート631aに対応するルート616を、表示する。
いくつかの実施形態では、複数の選択可能なオブジェクトは、デバイスを使用して再生(又は提供)され得る複数のコンテンツアイテムに対応し(例えば、複数の選択可能なオブジェクトは、歌曲、プレイリスト、オーディオブック、ラジオ放送局などである)、選択されたオブジェクトは、現在選択されているコンテンツアイテムに対応する(714)。例えば、歌曲のリスト内のそれぞれの歌曲は、それぞれの歌曲の再生量、アルバム内におけるそれぞれの歌曲の順序位置、最後に再生された歌曲、及び他の要因に少なくとも部分的に基づき、自動的に選択された歌曲として、デバイス100のタッチスクリーン112のユーザインタフェース上に表示される。この実施例では、自動的に選択されたそれぞれの歌曲は、現在再生中であるものとして、ディスプレイ546−1のユーザインタフェース上に表示される。
いくつかの実施形態では、複数の選択可能なオブジェクトは複数のアプリケーションに対応し、選択されたオブジェクトは現在選択されているアプリケーションに対応する(716)。
いくつかの実施形態では、第2のディスプレイは、第1の電子デバイスと異なる第2の電子デバイスに結合された(例えば、第2の電子デバイスのネイティブGUIに代わる)ディスプレイである(718)。例えば、図6A〜図6Vは、デバイス100と異なる(かつ別個の)システム540(例えば、第2の電子デバイス)に結合されたディスプレイ546−1(例えば、第2のディスプレイ)を示す。
いくつかの実施形態では、第2の電子デバイスは、ネイティブグラフィカルユーザインタフェースを有する車両内エンターテイメントシステムを制御し、第2のユーザインタフェースは、第2の電子デバイスのネイティブグラフィカルユーザインタフェースの少なくとも一部の代わりに、第2のディスプレイ上に表示される(例えば、第2のユーザインタフェースは、第1の電子デバイス上で実行されるアプリケーションによって生成され、車両内エンターテイメントシステムのネイティブグラフィカルユーザインタフェースの一部又は全ての代わりに表示される)(720)。例えば、図6A〜図6Vでは、システム540は、ディスプレイ546−1を含む車両内エンターテイメントシステムを制御する。例えば、車両用の気候コントロールを含む、図6Aのユーザインタフェース604は、車両内エンターテイメントシステムのネイティブグラフィカルユーザインタフェースである。例えば、図6B〜図6Vは、図6Aに示されるようなネイティブグラフィカルユーザインタフェース(例えば、気候コントロール)の代わりにディスプレイ546−1上に表示される地図を含む、ユーザインタフェース604を示す。
いくつかの実施形態では、第1の電子デバイスは、車両内エンターテイメントシステムのコントロールからのそれぞれの入力(例えば、第2のディスプレイに関連付けられたタッチ感知面上のタップ又はスワイプジェスチャ、第2のディスプレイに関連付けられたボタンに対するボタン押圧動作、及び/又は第2のディスプレイに関連付けられたノブに対するノブ回転動作)に対応する情報を受信する(722)。例えば、図6Uは、システム540が、ディスプレイ546−1のユーザインタフェース604内の「指示開始」アフォーダンス618上でのユーザタッチ入力672を検出することを示す。この実施例では、システム540は、ディスプレイ546−1のユーザインタフェース604内の「指示開始」アフォーダンス672上でのユーザタッチ入力672が検出されたことを示す情報をデバイス100に送信する。
いくつかの実施形態では、それぞれの入力に対応する情報を受信したことに応じて、第1の電子デバイスは、第1のユーザインタフェース及び第2のユーザインタフェースを、それぞれの入力に従って更新する(724)。例えば、図6Vは、デバイス100が、ターンバイターン指示ボックス673をタッチスクリーン112上に表示するようにユーザインタフェース602を更新し、かつターンバイターンモードをディスプレイ546−1上に表示するようにユーザインタフェース604を更新することを示す。いくつかの実施形態では、ユーザインタフェース604がターンバイターンモードの間、ディスプレイ546−1上に表示される地図は、ユーザインタフェース604がターンバイターンモードでないときよりも、更にズームインされる。
いくつかの実施形態では、第1のユーザインタフェース及び第2のユーザインタフェースの両方が、第1の電子デバイス上で実行される同じアプリケーションによって生成される(例えば、スマートフォン上で実行されるアプリケーションが、電話用のユーザインタフェース、及び車両の車両内エンターテイメントシステムのディスプレイ上に表示するためのユーザインタフェースを生成する)(726)。例えば、図6Aは、ユーザインタフェース602内の地図アプリケーション436を選択するユーザタッチ入力606を示す。例えば、図6B〜図6Vは、デバイス100上で実行され、タッチスクリーン112上のユーザインタフェース602(例えば、第1のユーザインタフェース)及びディスプレイ546−1上のユーザインタフェース604(例えば、第2のユーザインタフェース)の両方を生成する地図アプリケーション436を示す。
第1のオブジェクトが選択されたオブジェクトとして第2のユーザインタフェース内に表示されている間(728)、第1の電子デバイスは、複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報を第1のユーザインタフェース内に(例えば、第2のオブジェクトを選択されたオブジェクトとして選択することなく)表示するための要求に対応する、ユーザからの第1の入力(例えば、第1の電子デバイスの第1のタッチ感知面上のタップ又はスワイプジェスチャ)を検出する(730)。例えば、図6Lは、デバイス100が、ユーザインタフェース602内に表示された、ピン614a、614b、614c、614e、及び614fによって表されるドライクリーニング店を含む地図上で、ピン614bによって表されるドライクリーニング店に対応するユーザインタフェースオブジェクト(例えば、ピン)上でのユーザタッチ入力643を検出することを示す。例えば、図6Lは、ユーザシステム540が、マーカー636からピン614aによって表されるドライクリーニング店までのルート616を含むターンバイターン指示モードを、ディスプレイ546−1のユーザインタフェース604内に表示している一方で、デバイス100がユーザタッチ入力643を検出することを示す。
第1のオブジェクトが選択されたオブジェクトとして第2のユーザインタフェース内に表示されている間(728)、第1の入力を検出したことに応じて、第1の電子デバイスは、第2のユーザインタフェース内への第1のオブジェクトの選択されたオブジェクトとしての表示を維持しながら、第1の入力に従って、第2のオブジェクトに関する対応する情報を表示するように、第1のディスプレイ上の第1のユーザインタフェースを更新する(732)。例えば、図6Mは、デバイス100が、図6Lにおいて、ピン614bによって表されるドライクリーニング店に対応するユーザインタフェースオブジェクト(例えば、ピン)上でのユーザタッチ入力643を検出したことに応じて、ピン614bによって表されるドライクリーニング店に対応する情報ボックス644を表示するように、ユーザインタフェース602を更新することを示す。図6Mにおいてユーザインタフェース602が更新されている間、ユーザインタフェース604は、図6Lにおいてユーザタッチ入力643を検出する前に示されたように、図6Mのディスプレイ546−1上で維持される。
いくつかの実施形態では、第1の入力を検出したことに応じて、第2のオブジェクトに関する対応する情報を第2のユーザインタフェース内に表示するように、第2のディスプレイ上の第2のユーザインタフェースを更新することを可能にする情報を第2のディスプレイに提供することなく、第1のユーザインタフェースが更新される(例えば、第1の電子デバイスは、第1の入力に応じて、対応する情報を第2の電子デバイス又は第2のディスプレイに送信しない)(734)。例えば、図6Mは、デバイス100が、図6Lにおいてユーザタッチ入力643を検出したことに応じて、ディスプレイ546−1上のユーザインタフェース604を更新することを可能にする情報をディスプレイ546−1(又はシステム540)に提供することなく、タッチスクリーン112上のユーザインタフェース602を更新することを示す。図6Mにおいてユーザインタフェース602が更新されている間、ユーザインタフェース604は、図6Lにおいてユーザタッチ入力643を検出する前に示されたように、図6Mのディスプレイ546−1上で維持される。
いくつかの実施形態では、第2のユーザインタフェース内への第1のオブジェクトの選択されたオブジェクトとしての表示を維持しながら、第2のオブジェクトに関する対応する情報を表示するように、第1の入力に従って第1のディスプレイ上の第1のユーザインタフェースを更新することは、第2のユーザインタフェース全体を、第1の入力を検出する直前に表示されたように第2のディスプレイ上で維持しながら、第2のオブジェクトに関する対応する情報を表示するように、第1の入力に従って第1のディスプレイ上の第1のユーザインタフェースを更新することを含む(例えば、第2のユーザインタフェースは、第1の更新に応じて更新されない)(736)。例えば、図6Mは、デバイス100が、図6Lにおいてユーザタッチ入力643を検出したことに応じて、ピン614bによって表されるドライクリーニング店に対応する情報ボックス644を表示するように、タッチスクリーン112上のユーザインタフェース602を更新することを示す。図6Mにおいてユーザインタフェース602が更新されている間、ユーザインタフェース604は、図6Lにおいてユーザタッチ入力643を検出する前に示されたように、図6Mのディスプレイ546−1上で維持される。
第1のオブジェクトが選択されたオブジェクトとして第2のユーザインタフェース内に表示されている間(728)、第1の入力に従って第1のユーザインタフェースを更新した後、第1の電子デバイスは、第2のオブジェクトを選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出する(738)。例えば、図6Qは、デバイス100が、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店(例えば、Mary Ann's Cleaners)までのルート659aに対するターンバイターン指示を表示するための要求に対応する、ユーザタッチ入力661を検出することを示す。
第2の入力を検出したことに応じて(740)、第1の電子デバイスは、第2の入力に従って、第2のオブジェクトを選択されたオブジェクトとして表示するように、第1のディスプレイ上の第1のユーザインタフェースを更新する(742)。例えば、図6Rは、デバイス100が、図6Qにおいてユーザタッチ入力661を検出したことに応じて、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店(例えば、Mary Ann's Cleaners)までのターンバイターン指示ボックス662を表示するように、ユーザインタフェース602を更新することを示す。
第2の入力を検出したことに応じて(740)、第1の電子デバイスは、第2のオブジェクトを選択されたオブジェクトとして第1のオブジェクトの代わりに表示するように、第2のディスプレイ上の第2のユーザインタフェースを更新することを可能にする情報を第2のディスプレイに提供する(744)。図6Qにおいてユーザタッチ入力661を検出したことに応じて、デバイス100は、システム540がディスプレイ546−1上のユーザインタフェース604を更新することを可能にするための情報を、システム540に送信する。例えば、図6Rは、デバイス100の現在位置を示すマーカー664、ピン614bによって表されるドライクリーニング店(例えば、Mary Ann's Cleaners)までのルート659a、及びルート659a上におけるユーザの第1の方向(又は進路変更点)を示すターンバイターン指示ボックス663を含む、ターンバイターン指示モード(例えば、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店まで)がディスプレイ546−1のユーザインタフェース604内に表示される、更新されたユーザインタフェース604を示す。
いくつかの実施形態では、第2のオブジェクトを選択されたオブジェクトとして第1のオブジェクトの代わりに表示するように、第2のディスプレイ上の第2のユーザインタフェースを更新することを可能にする情報を提供した後(746)、第1の電子デバイスは、ディスプレイ同期モードに入る(例えば、プレイリスト再生モード又は運転方向モードに入る)(748)。例えば、図6Rは、デバイス100が、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店までのターンバイターン指示ボックス662を、タッチスクリーン112のユーザインタフェース602内に表示する(例えば、ディスプレイ同期モード)ことを示す。いくつかの実施形態では、ディスプレイ同期モードの間(750)、第1の電子デバイスは、第1のユーザインタフェースを、時間の経過と共に定期的に更新する(例えば、第1の電子デバイスがプレイリスト内の一連の歌曲全体を再生するにしたがって、表示されるカバーアートを更新するか、又はナビゲーションルートに沿って移動する車両の進行状況を示すように、表示される地図を更新する)(752)。例えば、デバイス100が、図6Rに示されるようにターンバイターン指示ボックス662を表示している間、デバイス100は、デバイス100が目的地(例えば、Mary Ann's Cleanersに対応するピン614bによって表されるドライクリーニング店)に近付くにしたがって、ルート659a上における更新された次の方向(又は進路変更点)、並びに更新された残り距離及び残り時間をターンバイターン指示ボックス662内に示すように、ユーザインタフェース602を定期的に更新する。いくつかの実施形態では、ディスプレイ同期モードの間(750)、第1の電子デバイスは、第1のユーザインタフェースが時間の経過と共に更新されるにしたがって、第2のディスプレイ上の第2のユーザインタフェースを第1のユーザインタフェースと同期させることを可能にする情報を提供する(例えば、第1の電子デバイスがプレイリスト全体を再生するか、又は車両がナビゲーションルートに沿って移動するにしたがって、更新されたカバーアート又は地図画像を提供する)(754)。例えば、デバイス100が、図6Rに示されるようにターンバイターン指示ボックス662を表示している間、デバイス100は、デバイス100が目的地(例えば、Mary Ann's Cleanersに対応するピン614bによって表されるドライクリーニング店)に近付くにしたがって、ターンバイターン指示ボックス663内の、ルート659a上における更新された次の方向(又は進路変更点)、更新された残り距離及び残り時間、並びにマーカー664(例えば、デバイス100の現在位置)を含む、更新されたユーザインタフェース604を、システム540が表示することを可能にする情報を、システム540に提供する。
いくつかの実施形態では、第1の入力を検出する前に、第1のユーザインタフェースは第2のユーザインタフェースと同期させられ(例えば、第1のオブジェクトが、選択されたオブジェクトとして第1のユーザインタフェース内及び第2のユーザインタフェース内の両方に表示される)、第1の入力に応じた後であり、かつ第2の入力を検出する前に、第1のユーザインタフェースは第2のユーザインタフェースと同期させられず(例えば、第2のオブジェクトが、選択されたオブジェクトとして第1のユーザインタフェース内に表示され、それと同時に、第2のオブジェクトが、選択されたオブジェクトとして第2のユーザインタフェース内に表示されたままになる)、第2の入力に応じた後、第1のユーザインタフェースは、第2のユーザインタフェースと同期させられる(例えば、第2のオブジェクトが、選択されたオブジェクトとして第1のユーザインタフェース内及び第2のユーザインタフェース内の両方に表示される)(756)。
図6Hでは、第1のユーザインタフェース602及び第2のユーザインタフェース604は同期させられる。例えば、図6Hは、デバイス100の現在位置608からピン614aによって表されるドライクリーニング店(例えば、選択された第1のオブジェクト)までのルート631a上におけるユーザの第1の方向(又は進路変更点)、及び選択された第1のオブジェクト又は目的地の名前(例えば、ABC Cleaners)を示す、ターンバイターン指示ボックス634を表示する、タッチスクリーン112上のユーザインタフェース602を示す。例えば、図6Hは、デバイス100の現在位置608からピン614aによって表されるドライクリーニング店(例えば、第1の選択されたオブジェクト)までのルート616を使用したターンバイターン指示モードを表示する、ディスプレイ546−1上のユーザインタフェース604も示す。
図6Mでは、第1のユーザインタフェース602及び第2のユーザインタフェース604は同期させられない。例えば、図6Mは、ピン614bによって表されるドライクリーニング店(例えば、選択された第2のオブジェクト)に対応する情報ボックス644を表示する、タッチスクリーン112上のユーザインタフェース602を示す。例えば、図6Mは、デバイス100の現在位置608からピン614aによって表されるドライクリーニング店(例えば、選択された第1のオブジェクト)までのルート616を表示する、ディスプレイ546−1上のユーザインタフェース604も示す。
図6Rでは、第1のユーザインタフェース602及び第2のユーザインタフェース604は同期させられる。例えば、図6Rは、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店(例えば、選択された第2のオブジェクト)までのルート659a上におけるユーザの第1の方向(又は進路変更点)、及び選択された第2のオブジェクト又は目的地の名前(例えば、Mary Ann's Cleaners)を示す、ターンバイターン指示ボックス662を表示する、タッチスクリーン112上のユーザインタフェース602を示す。例えば、図6Rは、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店(例えば、選択された第2のオブジェクト)までのルート659aを使用したターンバイターン指示モードを表示する、ディスプレイ546−1上のユーザインタフェース604も示す。
したがって、上述のように、タッチスクリーンディスプレイ112及びディスプレイ546−1上に表示されたユーザインタフェースは、断続的に同期させられる。タッチスクリーンディスプレイ112及びディスプレイ546−1上に表示されたユーザインタフェースを断続的に同期させることは、運転者から見えるディスプレイ(例えば、ディスプレイ546−1)上に表示されたユーザインタフェースを、同乗者の操作に応じて常に更新することなく、車両内の同乗者がタッチスクリーンディスプレイ112上に表示された情報を閲覧すること(例えば、連絡先情報、レビュー、説明などを含む、異なる目的地候補を調べること)を可能にする。ただし、同乗者が、タッチスクリーンディスプレイ112上に表示されたユーザインタフェース内において操作を確定(例えば、目的地を選択)したら、ディスプレイ上のユーザインタフェースは同期させられ、それによって、運転者が選択された目的地まで運転し、かつユーザが、選択された目的地までの移動を支援することができる。る。同様に、運転者が、運転者から見えるディスプレイ(例えば、ディスプレイ546−1)上に表示されたユーザインタフェース内の目的地を選択した場合、タッチスクリーンディスプレイ112上に表示されたユーザインタフェースは、同乗者が、運転者が選択された目的地まで移動するのを支援することができるように、運転者の選択を反映するように更新される。上述のユーザインタフェースの断続的な同期は、2つのディスプレイ上に表示されたユーザインタフェースが、連続的に同期させられる状況に対する改善である(例えば、運転者に対して表示される情報を繰り返し変更せずに、同乗者が追加情報を見ることができるため)。更に、上述のユーザインタフェースの断続的な同期は、2つのディスプレイ上に表示されたユーザインタフェースが、決して同期させられない状況に対する改善でもある(例えば、同乗者が、デバイス100上で住所を検索した後、自動車ナビゲーションシステム内の目的地の住所を更新するという追加手順を実行する必要がないため)。
図7A〜図7Dにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者には、本明細書で説明される動作を再順序付けするための、様々な方法が認識されるであろう。加えて、本明細書に記載の他の方法に関して本明細書で記載されている他のプロセスの詳細(例えば、方法800及び900)は、また、図7A〜図7Dに関連して上述されている方法700に類似の方法で適用可能であることを留意されたい。例えば、方法700に関連して上述されている接触、ジェスチャ、ユーザインタフェースオブジェクトは、本明細書で説明されている他の方法に関連して本明細書で説明されている接触、ジェスチャ、ユーザインタフェースオブジェクト(例えば、方法800及び900)の特性のうちの1つ以上を、任意選択的に、有する。簡潔性のために、これらの詳細は、ここでは繰り返されない。
図8A〜図8Bは、いくつかの実施形態に係る、2つ以上のディスプレイを同期させる方法800を示す流れ図である。方法800は、車両の車両ディスプレイと通信するポータブル電子デバイス(例えば、図3のデバイス300、又は図1Aのポータブル多機能デバイス100)において実行される。ポータブル電子デバイスは、ポータブルデバイスディスプレイ及びタッチ感知面を備える。いくつかの実施形態では、ポータブルデバイスディスプレイは、タッチスクリーンディスプレイであり、タッチ感知面は、ポータブルデバイス上にある。いくつかの実施形態では、ポータブルデバイスはタッチ感知面から分離している。方法800におけるいくつかの動作は、任意選択的に、組み合わされ、及び/又は一部の動作の順序は、任意選択的に、変更される。
後述するように、方法800は、2つ以上のディスプレイを同期させる直感的な方法を提供する。この方法は、2つ以上のディスプレイを使用するときのユーザの認知負担を軽減し、それによって、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザが、より速く、より効率的に、2つ以上のディスプレイを同期させることが可能となることにより、電力が節約され、バッテリを充電する間隔が増大する。
ポータブル電子デバイスは、複数の目的地候補を含む地図検索結果のセットを取得する(802)。例えば、図6Cは、タッチスクリーン112のユーザインタフェース602内の検索ボックス609に表示されたユーザ検索クエリ(例えば、ドライクリーニング)を示す。検索クエリに応じて、デバイス100は、デバイス100に固有のメモリ、デバイス100の外部のメモリ、インターネット、又はこれらの組み合わせを検索することによって、複数の目的地候補を含む地図検索結果のセットを取得する。
ポータブル電子デバイスは、ポータブルデバイスナビゲーションインタフェースをポータブルデバイスディスプレイ上に表示し、ポータブルデバイスナビゲーションインタフェースは、複数の目的地候補(例えば、以前に実行した検索動作に対応する検索結果)からの目的地の選択を可能にする(804)。例えば、図6Dは、図6Cにおいてタッチスクリーン112上に表示された検索クエリボックス609内に入力された検索クエリ「ドライクリーニング」に対応するポータブルデバイスナビゲーションインタフェース(例えば、ユーザインタフェース602)を示す。図6Dでは、ユーザインタフェース602は、デバイス100の現在位置608の近傍にあるピン614a及び614bによって表されるドライクリーニング店に対応する、選択可能なユーザインタフェースオブジェクト(例えば、ピン)又はアフォーダンスを含む。
ポータブル電子デバイスは、車両ディスプレイが車両ナビゲーションインタフェースを表示することを可能にする情報を車両ディスプレイに送信し、複数の目的地候補のうちの第1の目的地は、車両ナビゲーションインタフェース内の選択された目的地である(806)。例えば、図6Dは、システム540のディスプレイ546−1上に表示された車両ナビゲーションインタフェース(例えば、ユーザインタフェース604)を示す。図6Dでは、ピン614aによって表されるドライクリーニング店(例えば、ABC Cleaners)が、選択された目的地としてディスプレイ546−1のユーザインタフェース604内に表示され、デバイス100の現在位置608からピン614aによって表されるドライクリーニング店までのルート616も、ディスプレイ546−1のユーザインタフェース604内に表示される。いくつかの実施形態では、ディスプレイ546−1はタッチスクリーンディスプレイである。いくつかの実施形態では、ディスプレイ546−1は、システム540に関連付けられた複数のディスプレイの主要ディスプレイである。いくつかの実施形態では、ディスプレイ546−1は車両のダッシュボード内に実装され、車両の運転者及び/又は同乗者が視覚的にアクセス可能である。
第1の目的地が選択された目的地として車両ナビゲーションインタフェース内に表示されている間(808)に、ポータブル電子デバイスは、第1の目的地と異なる複数の目的地候補のうちの1つ以上の目的地候補に関する情報を(例えば、第2のオブジェクトを選択されたオブジェクトとして選択することなく)表示するための要求に対応する、ユーザからの第1の入力(例えば、第1の電子デバイスのタッチ感知面上のタップ又はスワイプジェスチャ)を検出する(810)。例えば、図6Lは、デバイス100が、ユーザインタフェース602内に表示される地図上で、ピン614bによって表されるドライクリーニング店(例えば、Mary Ann's Cleaners)に対応するユーザインタフェースオブジェクト(例えば、ピン)上でのユーザタッチ入力643を検出することを示す。図6Lでは、ユーザインタフェース内に表示される地図は、ピン614a、614b、614c、614e、及び614fによって表されるドライクリーニング店を含む。例えば、図6Lでは、ピン614aによって表されるドライクリーニング店(例えば、ABC Cleaners)が、選択された目的地としてディスプレイ546−1のユーザインタフェース604内に表示される。
第1の目的地が車両ナビゲーションインタフェース内の選択された目的地である間(808)に、第1の入力を検出したことに応じて、ポータブル電子デバイスは、車両ディスプレイ上の車両ナビゲーションインタフェースを更新することなく、第1の入力に従って、ポータブルデバイスディスプレイ上のポータブルデバイスナビゲーションインタフェースを更新する(812)。例えば、図6Mは、デバイス100が、図6Lにおいて、ピン614bによって表されるドライクリーニング店に対応するユーザインタフェースオブジェクト(例えば、ピン)上でのユーザタッチ入力643を検出したことに応じて、ピン614bによって表されるドライクリーニング店に対応する情報ボックス644を表示するように、ユーザインタフェース602を更新することを示す。図6Mでは、ディスプレイ546−1上のユーザインタフェース604を更新することを可能にする情報をディスプレイ546−1(又はシステム540)に提供することなく、ユーザインタフェース602は更新される。例えば、図6Mでは、ピン614aによって表されるドライクリーニング店が、選択された目的地としてディスプレイ546−1のユーザインタフェース604内に表示される。
第1の目的地が選択された目的地として車両ナビゲーションインタフェース内に表示されている間(808)に、第1の入力に従ってポータブルデバイスナビゲーションインタフェースを更新した後、ポータブル電子デバイスは、複数の目的地候補のうちの第2の目的地を選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を検出する(814)。例えば、図6Qは、デバイス100が、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店(例えば、Mary Ann's Cleaners)までのルート659aに対するターンバイターン指示を表示するための要求に対応する、ユーザタッチ入力661を検出することを示す。
第2の入力を検出したことに応じて(816)、ポータブル電子デバイスは、第2の入力に従って、第2の目的地を選択された目的地として表示するように、ポータブルデバイスディスプレイ上のポータブルデバイスナビゲーションインタフェースを更新する(818)。例えば、図6Rは、デバイス100が、図6Qにおいてユーザタッチ入力661を検出したことに応じて、ピン614bによって表されるドライクリーニング店(例えば、Mary Ann's Cleaners)までの指示を含むターンバイターン指示ボックス662を表示するように、ユーザインタフェース602を更新することを示す。
第2の入力を検出したことに応じて(816)、ポータブル電子デバイスは、車両ディスプレイが、第2の入力に従って、第2の目的地を選択された目的地として表示するように、車両ナビゲーションインタフェースを更新することを可能にする情報を、車両ディスプレイに送信する(820)。図6Qにおいてユーザタッチ入力661を検出したことに応じて、デバイス100は、システム540がディスプレイ546−1上のユーザインタフェース604を更新することを可能にするための情報を、システム540に送信する。例えば、図6Rは、更新されたユーザインタフェース604を示し、デバイス100の現在位置を示すマーカー664、デバイス100の現在位置608からピン614bによって表されるドライクリーニング店(例えば、Mary Ann's Cleaners)までのルート659a、及びルート659a上におけるユーザの第1の方向(又は進路変更点)を示すターンバイターン指示ボックス663を含むターンバイターン指示モードが、ディスプレイ546−1のユーザインタフェース604内に表示される。
図8A〜図8Bにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者には、本明細書で説明される動作を再順序付けするための、様々な方法が認識されるであろう。加えて、本明細書に記載の他の方法に関して本明細書で記載されている他のプロセスの詳細(例えば、方法700及び900)は、また、図8A〜図8Bに関連して上述されている方法800に類似の方法で適用可能であることを留意されたい。例えば、方法800に関連して上述されている接触、ジェスチャ、ユーザインタフェースオブジェクトは、本明細書で説明されている他の方法に関連して本明細書で説明されている接触、ジェスチャ、ユーザインタフェースオブジェクト(例えば、方法700及び900)の特性のうちの1つ以上を、任意選択的に、有する。簡潔性のために、これらの詳細は、ここでは繰り返されない。
図9A〜図9Cは、いくつかの実施形態に係る、影響を受けるディスプレイに更新情報を送信する方法を示す流れ図である。方法900は、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイス(例えば、図3のデバイス300、又は図1Aのポータブル多機能デバイス100)において実行される。いくつかの実施形態では、電子デバイスは、ディスプレイ及びタッチ感知面を備える。いくつかの実施形態では、ディスプレイは、タッチスクリーンディスプレイであり、タッチ感知面は、電子デバイス上にある。いくつかの実施形態では、電子デバイスはタッチ感知面から分離している。方法900におけるいくつかの動作は、任意選択的に、組み合わされ、及び/又は一部の動作の順序は、任意選択的に、変更される。
以下で説明されるように、方法900は、影響を受けるディスプレイに更新情報を送信するための効率的な方法を提供する。
第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイスは、複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信し、第1の入力情報は、第1の入力ソースに対する第1の(一意)識別子と、第1の入力を記述する第1の入力記述と、を含む(902)。例えば、第1の入力ソース記述は、タッチ感知面上で検出された接触の位置及び移動量/方向、及び/又はタッチ感知面上で実行されたジェスチャの種類を記述するジェスチャデータなどの生入力データである。いくつかの実施形態では、デバイスは、複数の異なる入力ソース(例えば、1つ以上のボタン、ノブ、ジョグダイヤル、及び/又はタッチ感知面)と通信し、それぞれの入力ソースは特定のディスプレイと連動するようにマップされる。いくつかの実施形態では、以下で図6DD〜図6EEを参照してより詳細に説明されるように、マッピングは、任意選択的に、それぞれの入力ソースのマッピングが第1のディスプレイにマップされた状態から第2のディスプレイにマップされた状態へと変更されるように更新される。
例えば、図6W〜図6FFは、ディスプレイ546−1及び546−2と通信するデバイス100を示す。例えば、ディスプレイ546−1(例えば、主要ディスプレイ)及び546−2(例えば、補助ディスプレイ)は、車両内に実装されたシステム540に関連付けられる。例えば、ジョグダイヤル675はシステム540に関連付けられ、アクティブにされたときに、デバイスにディスプレイ546−1及びディスプレイ546−2のうちの一方又は両方を制御させる。例えば、図6Xは、ジョグダイヤル675が回転681(例えば、約90度の時計回りの回転)を検出することを示す。回転681を検出したことに応じて、ジョグダイヤル675(又はシステム540)は、回転681を示す入力情報をデバイス100に送信する。入力情報は、ジョグダイヤル675に関連付けられた識別子(例えば、ジョグダイヤル675に関連付けられた一意識別子)及び回転681を記述する入力記述情報を含む。例えば、入力記述情報は、回転の大きさ(90度)及び方向(時計回り)などの、回転681を記述する生データを含む。
デバイスは、第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを複数のディスプレイから選択する(904)。例えば、図6Xにおいて、回転681に対応する入力情報をジョグダイヤル675から受信したことに応じて、デバイス100は、入力ソースをディスプレイにマップする入力ソースマッピングに基づき、入力情報内に含まれる(例えば、入力ソースをジョグダイヤル675と特定する)識別子をディスプレイ(例えば、ディスプレイ546−1)に関連付けることによって、影響を受けるディスプレイを選択(又は判定)する。
いくつかの実施形態では、第1の影響を受けるディスプレイを選択することは、入力ソースマッピングにおいて、第1の入力ソースが第1のディスプレイに割り当てられているという判定に従って、第1のディスプレイを、第1の入力による影響を受ける、第1の影響を受けるディスプレイとして選択することと、入力ソースマッピングにおいて、第1の入力ソースが第1のディスプレイと異なる第2のディスプレイに割り当てられているという判定に従って、第2のディスプレイを、第1の入力による影響を受ける、第1の影響を受けるディスプレイとして選択することと、を含む(906)。例えば、図6Wにおいて、ピンチジェスチャに対応する入力情報を、ディスプレイ546−1に関連付けられたタッチ感知面から受信したことに応じて、デバイス100は、入力ソースをディスプレイにマップする入力ソースマッピングに基づき、入力情報内に含まれる(例えば、入力ソースをディスプレイ546−1に関連付けられたタッチ感知面と特定する)識別子をディスプレイ(例えば、ディスプレイ546−1)に関連付けることによって、影響を受けるディスプレイを選択(又は判定)する。別の実施例では、図6EEにおいて、上方向のスワイプジェスチャに対応する入力情報を、ディスプレイ546−2に関連付けられたタッチ感知面から受信したことに応じて、デバイス100は、入力ソースをディスプレイにマップする入力ソースマッピングに基づき、入力情報内に含まれる(例えば、入力ソースをディスプレイ546−2に関連付けられたタッチ感知面と特定する)識別子をディスプレイ(例えば、ディスプレイ546−2)に関連付けることによって、影響を受けるディスプレイを選択(又は判定)する。
いくつかの実施形態では、第1の影響を受けるディスプレイを選択した後、デバイスは、第1の影響を受けるディスプレイ上に表示されたユーザインタフェース(例えば、第1の入力情報が受信される直前に、第1の影響を受けるディスプレイ上に表示されたユーザインタフェース)のそれぞれの状態を判定し、第1の入力記述及び第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態に基づき、更新情報を生成する(908)。例えば、図6Xにおいて、回転681に対応する入力情報をジョグダイヤル675から受信したことに応じて、デバイス100は、入力ソースをディスプレイにマップする入力ソースマッピングに基づき、入力情報内に含まれる(例えば、入力ソースをジョグダイヤル675と特定する)識別子をディスプレイ(例えば、ディスプレイ546−1)に関連付けることによって、影響を受けるディスプレイを選択(又は判定)する。この実施例では、図6Xにおいて検出された回転イベントがディスプレイ546−1に関連付けられていると判定した後、デバイス100は、図6Xに示すディスプレイ546−1のディスプレイ状態(例えば、ユーザインタフェース604が検索結果又は目的地選択モードになっている)も判定する。この実施例では、デバイス100は、図6Xに示す入力記述情報(例えば、約90度の時計回りの回転)及びディスプレイ546−1のディスプレイ状態(例えば、ユーザインタフェース604が検索結果又は目的地選択モードになっている)に基づき、更新情報(例えば、図6Yにおいてディスプレイ546−1上に表示される、更新されたユーザインタフェース)を生成する。
いくつかの実施形態では、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態が第1の状態であるという判定に従って、更新情報は、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態に対して第1の動作を実行することに対応し(例えば、それぞれの状態は、再生中のオーディオに対して「再生中」インタフェースを表示することであり、対応する動作は、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースに関連付けられたオーディオ再生の音量レベルを、ノブの回転の量に従って調節することを含む)、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態が、第1の状態と異なる第2の状態であるという判定に従って、更新情報は、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態に対して、第1の動作と異なる第2の動作を実行することに対応する(例えば、それぞれの状態は、オーディオコンテンツアイテムなどの選択可能なアイテムのリストを表示することであり、対応する動作は、第1の影響を受けるディスプレイ上で、選択可能なアイテムのリスト内をノブの回転の量に従ってナビゲートすることを含む)(910)。例えば、図6Y〜図6Zは、ディスプレイ546−1が、図6Yにおいてジョグダイヤル675の回転683(例えば、約180度の反時計回りの回転)を検出したことに応じて、図6Yにおけるユーザインタフェース604のディスプレイ状態(例えば、検索結果又は目的地選択モード)に従って、ユーザインタフェース604内の選択された検索結果(例えば、ドライクリーニング店)間を、南から北へとスクロール移動することを示す。例えば、図6AA〜図6BBは、ディスプレイ546−1が、図6AAにおいてジョグダイヤル675の回転686(例えば、約180度の反時計回りの回転)を検出したことに応じて、図6AAにおけるユーザインタフェース604のディスプレイ状態(例えば、ターンバイターン指示モード)に従って、ターンバイターン指示モードをユーザインタフェース604内においてズームアウトすることを示す。
いくつかの実施形態では、第1の入力情報を受信する前に、それぞれのユーザインタフェースは以前の状態を有し、デバイスは、第1の入力及びそれぞれのユーザインタフェースの以前の状態に基づき、ユーザインタフェースを以前の状態と異なる更新された状態へと更新する(例えば、タッチ感知面上のスワイプジェスチャ又はノブの回転に応じて、地図ユーザインタフェースは、スワイプジェスチャの大きさ及び方向、あるいはノブの回転の大きさに従ってスクロールされる)(912)。例えば、図6EE〜図6FFは、ディスプレイ546−2が、図6EEにおいて、ディスプレイ546−2上のユーザタッチ入力689による上方向のスワイプジェスチャを検出したことに応じて、図6EEにおけるユーザインタフェース676のディスプレイ状態(例えば、アルバム歌曲リストモード)に従って、ユーザインタフェース676内の歌曲のリスト677を上にスクロールすることを示す。
いくつかの実施形態では、更新情報を第1の影響を受けるディスプレイに送信する前に、デバイスは第1の入力情報に基づき更新情報を生成し、第1の入力記述が第1の入力特性を記述するという判定に従って、デバイスは第1の更新情報を生成し、第1の入力記述が第1の入力特性と異なる第2の入力特性を記述するという判定に従って、デバイスは第1の更新情報と異なる第2の更新情報を生成する(914)。例えば、リストが第1の影響を受けるディスプレイ上に表示されている間に、第1の入力情報がノブの回転に対応するとき、第1の入力記述が、第1の入力がノブの時計回りの回転を含むことを示す場合、デバイスは、影響を受けるディスプレイ上においてリストを下方向にスクロールする。対照的に、第1の入力記述が、第1の入力がノブの反時計回りの回転を含むことを示す場合、デバイスは、影響を受けるディスプレイ上においてリストを上方向にスクロールする。
別の実施例では、検索結果又は目的地選択モードが表示されているとき、ジョグダイヤル675の90度の回転は次の検索結果を選択し、時計回りの回転は検索結果を北から南へとスクロールし、反時計回りの回転は検索結果を南から北へとスクロールする。例えば、図6X〜図6Yは、ディスプレイ546−1が、図6Xにおいてジョグダイヤル675の回転681(例えば、約90度の時計回りの回転)を検出したことに応じて、選択された検索結果(例えば、ドライクリーニング店)間を、北から南へとスクロール移動することを示す。対照的に、例えば、図6Y〜図6Zは、ディスプレイ546−1が、図6Yにおいてジョグダイヤル675の回転683(例えば、約180度の反時計回りの回転)を検出したことに応じて、選択された検索結果(例えば、ドライクリーニング店)間を、南から北へとスクロール移動することを示す。
デバイスは、第1の入力に従って第1の影響を受けるディスプレイを更新することを可能にする更新情報を、第1の影響を受けるディスプレイに送信する(916)。例えば、図6Xにおいて、回転681に対応する入力情報をジョグダイヤル675から受信したことに応じて、デバイス100は、入力ソースマッピングに基づき、入力情報内に含まれる(例えば、入力ソースをジョグダイヤル675と特定する)識別子をディスプレイ546−1に関連付けることによって、ディスプレイ546−1を影響を受けるディスプレイとして選択する。ディスプレイを影響を受けるディスプレイとして選択した後、デバイス100は、影響を受けるディスプレイ546−1を更新することを可能にする更新情報を、影響を受けるディスプレイ546−1に送信する。
いくつかの実施形態では、更新情報は、第1の入力に対応する情報(例えば、タッチ感知面上で検出された接触の位置及び移動量/方向、及び/又はタッチ感知面上で実行されたジェスチャの種類を記述するジェスチャデータなどの生入力データ)を含む(918)。いくつかの実施形態では、更新情報は第1の入力記述を含む。いくつかの実施形態では、更新情報は第1の入力記述に基づき生成される(例えば、第1の入力記述は生タッチ入力データであり、更新情報は生タッチ入力データに対応するジェスチャを含む)。
いくつかの実施形態では、更新情報は、第1の影響を受けるディスプレイにおいて表示するための更新されたユーザインタフェース(例えば、複数のユーザインタフェースオブジェクトを含む、第1のディスプレイ上に表示するための画像)を含む(920)。図6Xにおいて、ディスプレイ546−1を、回転681に対応する影響を受けるディスプレイとして選択した後、デバイス100は、図6Xにおけるジョグダイヤル675の回転681の大きさ(90度)及び方向(時計回り)に従って、影響を受けるディスプレイ546−1を更新することを可能にする更新情報を、影響を受けるディスプレイ546−1に送信する。例えば、更新情報は、ピン614aによって表されるドライクリーニング店に対応するABC Cleanersから南にある次のドライクリーニング店(例えば、ピン614dによって表されるドライクリーニング店に対応するSuzie's Cleaners)が、図6Yにおいて、選択された検索結果としてユーザインタフェース604内に表示されるように検索結果(例えば、ドライクリーニング店)をスクロールする、更新されたユーザインタフェースを含む。
いくつかの実施形態では、デバイスは、複数のディスプレイのうちの2つ以上のディスプレイに対するユーザインタフェースを生成し、それぞれのユーザインタフェースを対応するディスプレイに提供する(922)。例えば、デバイス100は、車両エンターテイメント又はナビゲーションシステムなどの車両情報表示システム(例えば、システム540)の第1のディスプレイ(例えば、主要ディスプレイ546−1又はダッシュボードナビゲーションディスプレイ)上に表示するための、第1の地図/ナビゲーションユーザインタフェースを表す画像を送信し、構造的にデバイスと一体化した第2の異なるディスプレイ(例えば、デバイス100又は別のポータブル電子デバイスのタッチスクリーン112)のための第2の異なる地図/ナビゲーションユーザインタフェースを生成する。いくつかの実施形態では、デバイスは、車両情報表示システム(例えば、システム540)の車両内の第3のディスプレイ(例えば、補助ディスプレイ546−2又は後部座席のエンターテイメントディスプレイ)上に表示するための異なるユーザインタフェースを表す画像を送信する。
いくつかの実施形態では、第1の入力に従って第1の影響を受けるディスプレイを更新することを可能にする更新情報を送信した後(924)、デバイスは、第1の入力ソースと異なる、複数の入力ソースのうちの第2の入力ソースによって検出された第2の入力を示す、第2の入力情報を受信し、第2の入力情報は、第2の入力ソースに対する第2の(一意)識別子と、第2の入力を記述する第2の入力記述と、を含む(926)。例えば、第2の入力記述は、タッチ感知面上で検出された接触の位置及び移動量/方向、及び/又はタッチ感知面上で実行されたジェスチャの種類を記述するジェスチャデータなどの生入力データである。図6Xにおいて、ディスプレイ546−1を、回転681に対応する第1の影響を受けるディスプレイとして選択した後、デバイス100は、図6Yに示されるように第1の影響を受けるディスプレイ546−1を更新することを可能にする更新情報を、第1の影響を受けるディスプレイ546−1に送信する。例えば、図6EEは、引き続いて、ディスプレイ546−2に関連付けられたタッチ感知面が、ユーザタッチ入力689による上方向のスワイプジェスチャを検出することを示す。上方向のスワイプジェスチャを検出したことに応じて、ディスプレイ546−2(又はシステム540)に関連付けられたタッチ感知面は、ユーザタッチ入力689(又は上方向のスワイプジェスチャ)を示す入力情報をデバイス100に送信する。入力情報は、ディスプレイ546−2に関連付けられたタッチ感知面に関連付けられた識別子(例えば、ディスプレイ546−2のタッチ感知面に関連付けられた一意識別子)及びユーザタッチ入力689(又は上方向のスワイプジェスチャ)を記述する入力記述情報を含む。
いくつかの実施形態では、第1の入力に従って第1の影響を受けるディスプレイを更新することを可能にする更新情報を送信した後(924)、デバイスは、第2の識別子及び入力ソースマッピングに基づき、第2の影響を受けるディスプレイを複数のディスプレイから選択する(928)。図6EEにおいて、上方向のスワイプジェスチャに対応する入力情報を、ディスプレイ546−2に関連付けられたタッチ感知面から受信したことに応じて、デバイス100は、入力ソースをディスプレイにマップする入力ソースマッピングに基づき、入力情報内に含まれる(例えば、入力ソースをディスプレイ546−2に関連付けられたタッチ感知面と特定する)識別子をディスプレイ(例えば、ディスプレイ546−2)に関連付けることによって、ディスプレイ546−2を第2の影響を受けるディスプレイとして選択する。
いくつかの実施形態では、第1の入力に従って第1の影響を受けるディスプレイを更新することを可能にする更新情報を送信した後(924)、デバイスは、第2の入力に従って第2の影響を受けるディスプレイを更新することを可能にする更新情報を、第2の影響を受けるディスプレイに送信する(930)。いくつかの(例えば、第1の入力ソース及び第2の入力ソースの両方が同じディスプレイにマップされる)実施形態では、第1の影響を受けるディスプレイは、第2の影響を受けるディスプレイと同じである。いくつかの(例えば、第1の入力ソース及び第2の入力ソースが異なるディスプレイにマップされる)実施形態では、第1の影響を受けるディスプレイは、第2の影響を受けるディスプレイと異なる。ディスプレイ546−2を第2の影響を受けるディスプレイとして選択した後、デバイス100は、影響を受けるディスプレイ546−2を更新することを可能にする更新情報を、第2の影響を受けるディスプレイ546−2に送信する。例えば、図6FFでは、更新情報は、ディスプレイ546−2が上方向にスクロールされたリスト677をユーザインタフェース676内に表示することを可能にした、更新されたユーザインタフェースを含む。
いくつかの実施形態では、デバイスは、複数のディスプレイのうちのそれぞれのディスプレイの可用性の変更を検出し、それぞれのディスプレイの可用性の変更を検出したことに応じて、デバイスは、それぞれのディスプレイの可用性の変更を示すために、入力ソースマッピングを更新する(932)。いくつかの実施形態では、それぞれのディスプレイの可用性の変更は、電子デバイスと異なるコンピュータシステム(例えば、ナビゲーション又はエンターテイメントシステムなどの車両情報表示システム)がそれぞれのディスプレイを制御することを含む。いくつかの実施形態では、それぞれのディスプレイの可用性の変更は、電子デバイスと異なるコンピュータシステムが、それぞれのディスプレイの制御を電子デバイスに渡す(又は戻す)ことを含む(例えば、車両が後進している間、車両情報表示システムは、後進カメラからのビデオフィードを車両情報表示システムのディスプレイ上に表示し、車両が後進を停止した後、車両情報表示システムは、電子デバイスが、電子デバイスによって提供されたユーザインタフェースを、車両情報表示システムのディスプレイ上に再度表示することを可能にする)。
例えば、図6W〜図6FFは、車両内に実装されたシステム540に関連付けられた、ディスプレイ546−1及びディスプレイ546−2を示す。例えば、図6CCは、車両が後進する間、ディスプレイ546−1が後進カメラからのビデオフィードを含む車両後進モードをユーザインタフェース604内に表示することと、ディスプレイ546−2が後進カメラからのビデオフィードを含む車両後進モードをユーザインタフェース676内に表示することと、を示す。車両が後進する間、車両後進モードが、ディスプレイ546−1及び546−2によってデバイス100から受信された全ての更新情報に取って代わる。
いくつかの実施形態では、それぞれの入力ソースが第1のディスプレイに割り当てられている間、デバイスは、複数の入力ソースのうちのそれぞれの入力ソースに対する、第1のディスプレイから第2のディスプレイへのディスプレイ割り当ての変更を検出し、それぞれの入力ソースに対するディスプレイ割り当ての変更を検出したことに応じて、デバイスは、それぞれの入力ソースに関連付けられた入力を示す入力情報が、第1のディスプレイ上に表示されたユーザインタフェースを更新するために使用される代わりに、第2のディスプレイ上に表示されたユーザインタフェースを更新するために使用されるように、それぞれの入力ソースに対するディスプレイ割り当ての変更を示すために、入力ソースマッピングを更新する(934)。例えば、車両内の同乗者は、車両情報表示システムの主要ディスプレイ内のユーザインタフェースを制御するために第1のノブを使用する状態から、車両情報表示システムの補助ディスプレイ(例えば、後部座席のエンターテイメントディスプレイ)内のユーザインタフェースを制御するために第1のノブを使用する状態へと切り替え、第1のノブに対する識別子を含む入力情報は、主要ディスプレイ上に表示されたユーザインタフェースを更新するために使用される代わりに、補助ディスプレイ上に表示されたユーザインタフェースを更新するために使用される。
図6W〜図6CCでは、ジョグダイヤル675は、アクティブにされたときに、デバイスにディスプレイ546−1を制御させる。したがって、図6W〜図6CCでは、ジョグダイヤル675は、入力ソースのディスプレイへのマッピングにおいて、ディスプレイ546−1に関連付けられる。例えば、図6AA〜図6BBは、ディスプレイ546−1が、図6AAにおいてジョグダイヤル675の回転686(例えば、約90度の反時計回りの回転)を検出したことに応じて、ジョグダイヤル675がディスプレイ546−1にマップされているという判定に従って、ターンバイターン指示モードをユーザインタフェース604内においてズームアウトすることを示す。
対象的に、図6DD〜図6EEでは、ジョグダイヤル675は、アクティブにされたときに、デバイスにディスプレイ546−2を制御させる。したがって、図6DD〜図6EEでは、ジョグダイヤル675は、入力ソースのディスプレイへの変更されたマッピングにおいて、ディスプレイ546−2に関連付けられる。別の実施例では、図6DD〜図6EEは、ディスプレイ546−2が、図6DDにおいてジョグダイヤル675の回転688(例えば、約90度の時計回りの回転)を検出したことに応じて、ジョグダイヤル675がディスプレイ546−2にマップされているという判定に従って、リスト677をユーザインタフェース676内において下にスクロールすることを示す。
図9A〜9Cにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者には、本明細書で説明される動作を再順序付けするための、様々な方法が認識されるであろう。加えて、本明細書に記載の他の方法に関して本明細書で記載されている他のプロセスの詳細(例えば、方法700及び800)は、また、図9A〜図9Cに関連して上述されている方法900に類似の方法で適用可能であることを留意されたい。例えば、方法900に関連して上述されている接触、ジェスチャ、ユーザインタフェースオブジェクトは、本明細書で説明されている他の方法に関連して本明細書で説明されている接触、ジェスチャ、ユーザインタフェースオブジェクト(例えば、方法700及び800)の特性のうちの1つ以上を、任意選択的に、有する。簡潔性のために、これらの詳細は、ここでは繰り返されない。
いくつかの実施形態によれば、図10は、説明される様々な実施形態の原理に従って構成された第1の電子デバイス1000の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図10で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。
図10に示されるように、第1の電子デバイス1000は、第1のユーザインタフェースを表示するように構成された第1のディスプレイユニット1002を含み、第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、第1のユーザインタフェースは第1のディスプレイユニットと異なる第2のディスプレイユニット上に表示された第2のユーザインタフェースに対応し、複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして第2のユーザインタフェース内に表示される。任意選択的に、第1の電子デバイス1000はまた、第2の電子デバイスと通信するように構成された通信インタフェースユニット1004と、1つ以上のタッチ入力を受け取るように構成された第1のタッチ感知面ユニット1006と、を含む。第1の電子デバイス1000は、第1のディスプレイユニット1002に結合され、及び任意選択的に、通信インタフェースユニット1004及び第1のタッチ感知面ユニット1006に結合された、処理ユニット1008を更に含む。いくつかの実施形態では、処理ユニット1008は、検出ユニット1010と、更新ユニット1012と、提供ユニット1014と、同期ユニット1016と、受信ユニット1018と、を含む。
第1のオブジェクトが選択されたオブジェクトとして第2のユーザインタフェース内に表示されている間、処理ユニット1008は、複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報の第1のユーザインタフェース内への表示を可能にするための要求に対応する、ユーザからの第1の入力を(例えば、検出ユニット1010を使用して)検出し、第1の入力を検出したことに応じて、第2のユーザインタフェース内への第1のオブジェクトの選択されたオブジェクトとしての表示を維持しながら、第2のオブジェクトに関する対応する情報の表示を可能にするように、第1の入力に従って第1のディスプレイユニット1002上の第1のユーザインタフェースを(例えば、更新ユニット1012を使用して)更新し、第1の入力に従って第1のユーザインタフェースを更新した後、第2のオブジェクトを選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を(例えば、検出ユニット1010を使用して)検出するように構成される。処理ユニット1008は、第2の入力を検出したことに応じて、第2の入力に従って、選択されたオブジェクトとしての第2のオブジェクトの表示を可能にするように、第1のディスプレイユニット1002上の第1のユーザインタフェースを(例えば、更新ユニット1012を使用して)更新し、第1のオブジェクトに代わる選択されたオブジェクトとしての第2のオブジェクトの表示を可能にするように、第2のディスプレイユニット上の第2のユーザインタフェースを更新することを可能にする情報を、第2のディスプレイユニットに(例えば、提供ユニット1014を使用して)提供するように更に構成される。
いくつかの実施形態では、第1の入力を検出したことに応じて、第2のオブジェクトに関する対応する情報の第2のユーザインタフェース内への表示を可能にするように、第2のディスプレイユニット上の第2のユーザインタフェースを更新することを可能にする情報を第2のディスプレイユニットに提供することなく、第1のユーザインタフェースが更新される。
いくつかの実施形態では、第2のユーザインタフェース内への第1のオブジェクトの選択されたオブジェクトとしての表示を維持しながら、第2のオブジェクトに関する対応する情報の表示を可能にするように、第1の入力に従って第1のディスプレイユニット1002上の第1のユーザインタフェースを更新することは、第2のユーザインタフェース全体を、第1の入力を検出する直前に表示されたように第2のディスプレイユニット上で維持しながら、第2のオブジェクトに関する対応する情報の表示を可能にするように、第1の入力に従って第1のディスプレイユニット1002上の第1のユーザインタフェースを更新することを含む。
いくつかの実施形態では、複数の選択可能なオブジェクトは複数の地図位置に対応し、選択されたオブジェクトは現在選択されている目的地に対応する。
いくつかの実施形態では、複数の選択可能なオブジェクトは複数のナビゲーションルートに対応し、選択されたオブジェクトは現在選択されているナビゲーションルートに対応する。
いくつかの実施形態では、複数の選択可能なオブジェクトは第1の電子デバイス1000を使用して再生し得る複数のコンテンツアイテムに対応し、選択されたオブジェクトは現在選択されているコンテンツアイテムに対応する。
いくつかの実施形態では、複数の選択可能なオブジェクトは複数のアプリケーションに対応し、選択されたオブジェクトは現在選択されているアプリケーションに対応する。
いくつかの実施形態では、複数の選択可能なオブジェクトは検索クエリに応じて生成された複数の検索結果に対応し、選択されたオブジェクトは現在選択されている検索結果に対応する。
いくつかの実施形態では、第1のオブジェクトは、既定のオブジェクト選択基準に基づき、選択されたオブジェクトとして自動的に選択される。
いくつかの実施形態では、第1の入力を検出する前に、第1のユーザインタフェースは第2のユーザインタフェースと同期させられ、第1の入力に応じた後で、かつ第2の入力を検出する前には、第1のユーザインタフェースは第2のユーザインタフェースと同期させられず、第2の入力に応じた後に、第1のユーザインタフェースは第2のユーザインタフェースと同期させられる。
いくつかの実施形態では、処理ユニット1008は、第1のオブジェクトに代えて選択されたオブジェクトとして第2のオブジェクトを表示することを可能にするように、第2のディスプレイユニット上の第2のユーザインタフェースを更新することを可能にする情報を提供した後に、(例えば、同期ユニット1016を使用して)ディスプレイ同期モードに入り、ディスプレイ同期モードの間、第1のユーザインタフェースを時間の経過と共に(例えば、更新ユニット1012を使用して)定期的に更新し、第1のユーザインタフェースが時間の経過と共に更新されるにしたがって、第2のディスプレイユニット上の第2のユーザインタフェースを第1のユーザインタフェースと同期させることを可能にする情報を(例えば、提供ユニット1014を使用して)提供するように構成される。
いくつかの実施形態では、第2の電子デバイスは、ネイティブグラフィカルユーザインタフェースを有する車両内エンターテイメントシステムを制御し、第2のユーザインタフェースは、第2の電子デバイスのネイティブグラフィカルユーザインタフェースの少なくとも一部の代わりに、第2のディスプレイユニット上に表示される。
いくつかの実施形態では、処理ユニット1008は、それぞれの入力に対応する情報を車両内エンターテイメントシステムのコントロールから(例えば、受信ユニット1018を使用して)受信し、それぞれの入力に対応する情報を受信したことに応じて、それぞれの入力に従って第1のユーザインタフェース及び第2のユーザインタフェースを(例えば、更新ユニット1012を使用して)更新するように構成される。
いくつかの実施形態によれば、図11は、説明される様々な実施形態の原理に従って構成されたポータブル電子デバイス1100の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図11で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。
図11に示されるように、ポータブル電子デバイス1100は、ポータブルデバイスナビゲーションインタフェースを表示するように構成されたポータブルデバイスディスプレイユニット1102と、車両の車両ディスプレイユニットと通信するように構成された通信インタフェースユニット1104と、任意選択的に、1つ以上のタッチ入力を受け取るように構成されたタッチ感知面ユニット1106と、ポータブルデバイスディスプレイユニット1102、通信インタフェースユニット1104、及び任意選択的に、タッチ感知面ユニット1106に結合された処理ユニット1108と、を含む。いくつかの実施形態では、処理ユニット1108は、取得ユニット1110と、表示可能化ユニット1112と、送信ユニット1114と、検出ユニット1116と、更新ユニット1118と、を含む。
処理ユニット1108は、複数の目的地候補を含む地図検索結果のセットを(例えば、取得ユニット1110を使用して)取得し、複数の目的地候補からの目的地の選択を可能にするポータブルデバイスナビゲーションインタフェースをポータブルデバイスディスプレイユニット1102上に表示することを(例えば、表示可能化ユニット1112を使用して)可能にし、車両ディスプレイユニットが車両ナビゲーションインタフェースの表示を可能にすることを可能にする情報を車両ディスプレイユニットに(例えば、送信ユニット1114を使用して)送信し、複数の目的地候補のうちの第1の目的地は車両ナビゲーションインタフェース内の選択された目的地である、ように構成される。処理ユニット1108は、第1の目的地が車両ナビゲーションインタフェース内の選択された目的地である間に、第1の目的地と異なる、複数の目的地候補のうちの1つ以上の目的地候補に関する情報の表示を可能にするための要求に対応する、ユーザからの第1の入力を(例えば、検出ユニット1116を使用して)検出し、第1の入力を検出したことに応じて、車両ディスプレイユニット上の車両ナビゲーションインタフェースを更新することなく、第1の入力に従ってポータブルデバイスディスプレイユニット1102上のポータブルデバイスナビゲーションインタフェースを(例えば、更新ユニット1118を使用して)更新し、第1の入力に従ってポータブルデバイスナビゲーションインタフェースを更新した後、複数の目的地候補のうちの第2の目的地を選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を(例えば、検出ユニット1116を使用して)検出するようにも構成される。
いくつかの実施形態によれば、図12は、説明される様々な実施形態の原理に従って構成されたポータブル電子デバイス1200の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図12で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。
図12に示されるように、電子デバイス1200は、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信するように構成された通信インタフェースユニット1202を含む。いくつかの実施形態では、電子デバイス1200は、任意選択的に、ユーザインタフェースを表示するように構成されたディスプレイユニット1204と、1つ以上のタッチ入力を受け取るように構成されたタッチ感知面ユニット1206と、を含む。電子デバイス1200は、通信インタフェースユニット1202に結合され、かつ任意選択的に、ディスプレイユニット1204及びタッチ感知面ユニット1206に結合された、処理ユニット1208を更に含む。いくつかの実施形態では、処理ユニット1208は、受信ユニット1210と、選択ユニット1212と、送信ユニット1214と、生成ユニット1216と、判定ユニット1218と、更新ユニット1220と、検出ユニット1222と、地図更新ユニット1224と、を含む。
処理ユニット1208は、複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を(例えば、受信ユニット1210を使用して)受信するように構成され、第1の入力情報は、第1の入力ソースに対する第1の識別子と、第1の入力を記述する第1の入力記述と、を含む。処理ユニット1208はまた、第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを複数のディスプレイから(例えば、選択ユニット1212を使用して)選択するように構成される。処理ユニット1208は、第1の入力に従って第1の影響を受けるディスプレイを更新することを可能にする更新情報を、第1の影響を受けるディスプレイに(例えば、送信ユニット1214を使用して)送信するように更に構成される。
いくつかの実施形態では、第1の影響を受けるディスプレイを選択することは、入力ソースマッピングにおいて、第1の入力ソースが第1のディスプレイに割り当てられているという判定に従って、第1のディスプレイを、第1の入力の影響を受ける、第1の影響を受けるディスプレイとして(例えば、選択ユニット1212を使用して)選択することと、入力ソースマッピングにおいて、第1の入力ソースが第1のディスプレイと異なる第2のディスプレイに割り当てられているという判定に従って、第2のディスプレイを、第1の入力の影響を受ける、第1の影響を受けるディスプレイとして(例えば、選択ユニット1212を使用して)選択することと、を含む。
いくつかの実施形態では、更新情報は、第1の入力に対応する情報を含む。
いくつかの実施形態では、更新情報は、第1の影響を受けるディスプレイにおいて表示するための更新されたユーザインタフェースを含む。
いくつかの実施形態では、デバイスは、複数のディスプレイのうちの2つ以上のディスプレイに対するユーザインタフェースを生成し、それぞれのユーザインタフェースを対応するディスプレイに提供する。
いくつかの実施形態では、処理ユニット1208は、更新情報を第1の影響を受けるディスプレイに送信する前に、第1の入力情報に基づき更新情報を(例えば、生成ユニット1216を使用して)生成するように構成され、処理ユニット1208は、第1の入力記述が第1の入力特性を記述するという判定に従って、第1の更新情報を(例えば、生成ユニット1216を使用して)生成するように構成され、処理ユニット1208は、第1の入力記述が第1の入力特性と異なる第2の入力特性を記述するという判定に従って、第1の更新情報と異なる第2の更新情報を(例えば、生成ユニット1216を使用して)生成するように構成される。
いくつかの実施形態では、処理ユニット1208は、第1の影響を受けるディスプレイを選択した後、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態を(例えば、判定ユニット1218を使用して)判定し、第1の入力記述及び第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態に基づき、更新情報を(例えば、生成ユニット1216を使用して)生成するように構成される。
いくつかの実施形態では、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態が第1の状態であるという判定に従って、更新情報は、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態に対する第1の動作を実行することに対応し、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態が、第1の状態と異なる第2の状態であるという判定に従って、更新情報は、第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態に対する、第1の動作と異なる第2の動作を実行することに対応する。
いくつかの実施形態では、第1の入力情報を受信する前に、それぞれのユーザインタフェースは以前の状態を有し、処理ユニット1208は、第1の入力及びそれぞれのユーザインタフェースの以前の状態に基づき、ユーザインタフェースを以前の状態と異なる更新された状態に(例えば、更新ユニット1220を使用して)更新するように構成される。
いくつかの実施形態では、処理ユニット1208は、複数のディスプレイのうちのそれぞれのディスプレイの可用性の変更を(例えば、検出ユニット1220を使用して)検出し、それぞれのディスプレイの可用性の変更を検出したことに応じて、それぞれのディスプレイの可用性の変更を示すために、入力ソースマッピングを(例えば、地図更新ユニット1224を使用して)更新する。
いくつかの実施形態では、処理ユニット1208は、それぞれの入力ソースが第1のディスプレイに割り当てられている間、複数の入力ソースのうちのそれぞれの入力ソースに対する、第1のディスプレイから第2のディスプレイへのディスプレイ割り当ての変更を(例えば、検出ユニット1222を使用して)検出するように構成される。また、処理ユニット1208は、それぞれの入力ソースに対するディスプレイ割り当ての変更を検出したことに応じて、それぞれの入力ソースに対するディスプレイ割り当ての変更を示すために、入力ソースマッピングを(例えば、地図更新ユニット1224を使用して)更新するように構成され、それによって、それぞれの入力ソースに関連付けられた入力を示す入力情報が、第1のディスプレイ上に表示されたユーザインタフェースを更新するために使用される代わりに、第2のディスプレイ上に表示されたユーザインタフェースを更新するために使用される。
いくつかの実施形態では、処理ユニット1208は、第1の入力に従って第1の影響を受けるディスプレイを更新することを可能にする更新情報を送信した後、第1の入力ソースと異なる、複数の入力ソースのうちの第2の入力ソースによって検出された第2の入力を示す、第2の入力情報を(例えば、受信ユニット1210を使用して)受信するように構成され、第2の入力情報は、第2の入力ソースに対する第2の識別子と、第2の入力を記述する第2の入力記述と、を含む。処理ユニット1208はまた、第2の識別子及び入力ソースマッピングに基づき、第2の影響を受けるディスプレイを複数のディスプレイから(例えば、選択ユニット1212を使用して)選択し、第2の入力に従って第2の影響を受けるディスプレイを更新することを可能にする更新情報を、第2の影響を受けるディスプレイに(例えば、送信ユニット1214を使用して)送信するように構成される。
上述の情報処理方法での動作は、汎用プロセッサ(例えば、図1A及び図3に関連して上述されたようなもの)又は特定用途向けチップなどの、情報処理装置内の1つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
図7A〜図7D、図8A〜図8B、及び図9A〜図9Cを参照して上述された動作は、図1A〜図1B又は図10〜図12に示される構成要素によって、任意選択的に実施される。例えば、表示動作702、受信動作722、検出動作730及び738、更新動作742、取得動作802、送信動作806及び820、検出動作810及び814、更新動作812及び818、受信動作902及び928、特定動作904及び930、送信動作918及び932、及び/又は検出動作934及び936は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソータ170内のイベントモニタ171は、タッチ感知ディスプレイ112上での接触を検出し、イベントディスパッチャモジュール174は、そのイベント情報を、アプリケーション136−1に配信する。アプリケーション136−1の対応のイベント認識部180は、そのイベント情報を対応のイベント定義186と照会し、タッチ感知面上の第1の場所での第1の接触(又は、デバイスの回転)が、ユーザインタフェース上のオブジェクトの選択、又は1つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連するイベントハンドラ190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176若しくはオブジェクトアップデータ177を、任意選択的に用いるか又は呼び出す。いくつかの実施形態では、イベントハンドラ190は、アプリケーションによって表示されるものを更新するために、対応するGUIアップデータ178にアクセスする。同様に、当業者にとって、他の処理が図1A〜図1Bに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
前述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかしながら、上記の例示的な論考は、網羅的であること、又は本発明を、開示される厳密な形態に限定することを意図するものではない。上記の教示を鑑みて、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、及び想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良な形で使用することを可能とするために、これらの実施形態を選択し説明した。

Claims (81)

  1. 第1のディスプレイを備える第1の電子デバイスにおいて、
    前記第1のディスプレイ上に第1のユーザインタフェースを表示することであって、
    前記第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、
    前記第1のユーザインタフェースは、前記第1のディスプレイと異なる第2のディスプレイ上に表示される第2のユーザインタフェースに対応し、
    前記複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして前記第2のユーザインタフェース内に表示される、表示することと、
    前記第1のオブジェクトが前記選択されたオブジェクトとして前記第2のユーザインタフェース内に表示されている間に、
    前記複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報を前記第1のユーザインタフェース内に表示するための要求に対応する、ユーザからの第1の入力を検出することと、
    前記第1の入力を検出したことに応じて、前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報を表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新することと、
    前記第1の入力に従って前記第1のユーザインタフェースを更新した後、前記第2のオブジェクトを前記選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出することと、
    前記第2の入力を検出したことに応じて、
    前記第2の入力に従って、前記第2のオブジェクトを前記選択されたオブジェクトとして表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新することと、
    前記第2のオブジェクトを前記選択されたオブジェクトとして前記第1のオブジェクトの代わりに表示するように、前記第2のディスプレイ上の前記第2のユーザインタフェースを更新することを可能にする情報を前記第2のディスプレイに提供することと、
    を含むことを特徴とする、方法。
  2. 前記第1の入力を検出したことに応じて、前記第2のオブジェクトに関する前記対応する情報を前記第2のユーザインタフェース内に表示するように、前記第2のディスプレイ上の前記第2のユーザインタフェースを更新することを可能にする情報を前記第2のディスプレイに提供することなく、前記第1のユーザインタフェースが更新されることを特徴とする、請求項1に記載の方法。
  3. 前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報を表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新することは、前記第2のユーザインタフェース全体を、前記第1の入力を検出する直前に表示されたように前記第2のディスプレイ上で維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報を表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新することを含むことを特徴とする、請求項1又は2に記載の方法。
  4. 前記複数の選択可能なオブジェクトは複数の地図位置に対応し、
    前記選択されたオブジェクトは現在選択されている目的地に対応することを特徴とする、請求項1から3のいずれか一項に記載の方法。
  5. 前記複数の選択可能なオブジェクトは複数のナビゲーションルートに対応し、
    前記選択されたオブジェクトは現在選択されているナビゲーションルートに対応することを特徴とする、請求項1から3のいずれか一項に記載の方法。
  6. 前記複数の選択可能なオブジェクトは、前記第1の電子デバイスを使用して再生し得る複数のコンテンツアイテムに対応し、
    前記選択されたオブジェクトは現在選択されているコンテンツアイテムに対応することを特徴とする、請求項1から3のいずれか一項に記載の方法。
  7. 前記複数の選択可能なオブジェクトは複数のアプリケーションに対応し、
    前記選択されたオブジェクトは現在選択されているアプリケーションに対応することを特徴とする、請求項1から3のいずれか一項に記載の方法。
  8. 前記複数の選択可能なオブジェクトは、検索クエリに応じて生成される複数の検索結果に対応し、
    前記選択されたオブジェクトは現在選択されている検索結果に対応することを特徴とする、請求項1から7のいずれか一項に記載の方法。
  9. 前記第1のオブジェクトは、既定のオブジェクト選択基準に基づき、前記選択されたオブジェクトとして自動的に選択されることを特徴とする、請求項1から8のいずれか一項に記載の方法。
  10. 前記第1の入力を検出する前に、前記第1のユーザインタフェースは前記第2のユーザインタフェースと同期させられ、
    前記第1の入力に応じた後であり、かつ前記第2の入力を検出する前に、前記第1のユーザインタフェースは前記第2のユーザインタフェースと同期させられず、
    前記第2の入力に応じた後、前記第1のユーザインタフェースは前記第2のユーザインタフェースと同期させられることを特徴とする、請求項1から9のいずれか一項に記載の方法。
  11. 前記第2のオブジェクトを前記選択されたオブジェクトとして前記第1のオブジェクトの代わりに表示するように、前記第2のディスプレイ上の前記第2のユーザインタフェースを更新することを可能にする前記情報を提供した後、
    ディスプレイ同期モードに入ることと、
    前記ディスプレイ同期モードの間に、
    前記第1のユーザインタフェースを時間の経過と共に定期的に更新することと、
    前記第1のユーザインタフェースが時間の経過と共に更新されるにしたがって、前記第2のディスプレイ上の前記第2のユーザインタフェースを前記第1のユーザインタフェースと同期させることを可能にする情報を提供することと、
    を含むことを特徴とする、請求項1から10のいずれか一項に記載の方法。
  12. 前記第2のディスプレイは、前記第1の電子デバイスと異なる第2の電子デバイスに結合されたディスプレイであることを特徴とする、請求項1から11のいずれか一項に記載の方法。
  13. 前記第2の電子デバイスは、ネイティブグラフィカルユーザインタフェースを有する車両内エンターテイメントシステムを制御し、
    前記第2のユーザインタフェースは、前記第2の電子デバイスの前記ネイティブグラフィカルユーザインタフェースの少なくとも一部の代わりに前記第2のディスプレイ上に表示されることを特徴とする、請求項12に記載の方法。
  14. それぞれの入力に対応する情報を、前記車両内エンターテイメントシステムのコントロールから受信することと、
    前記それぞれの入力に対応する前記情報を受信したことに応じて、前記第1のユーザインタフェース及び前記第2のユーザインタフェースを、前記それぞれの入力に従って更新することと、を含むことを特徴とする、請求項13に記載の方法。
  15. 前記第1のユーザインタフェース及び前記第2のユーザインタフェースの両方は、前記第1の電子デバイス上で実行されている同じアプリケーションによって生成されることを特徴とする、請求項12に記載の方法。
  16. 第1の電子デバイスであって、
    第1のディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムは、前記メモリ内に記憶され、前記1つ以上のプロセッサによって実行されるように構成され、前記1つ以上のプログラムは、
    前記第1のディスプレイ上に第1のユーザインタフェースを表示することであって、
    前記第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、
    前記第1のユーザインタフェースは、前記第1のディスプレイと異なる第2のディスプレイ上に表示される第2のユーザインタフェースに対応し、
    前記複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして前記第2のユーザインタフェース内に表示される、表示することと、
    前記第1のオブジェクトが前記選択されたオブジェクトとして前記第2のユーザインタフェース内に表示されている間に、
    前記複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報を前記第1のユーザインタフェース内に表示するための要求に対応する、ユーザからの第1の入力を検出することと、
    前記第1の入力を検出したことに応じて、前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報を表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新することと、
    前記第1の入力に従って前記第1のユーザインタフェースを更新した後、前記第2のオブジェクトを前記選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出することと、
    前記第2の入力を検出したことに応じて、
    前記第2の入力に従って、前記第2のオブジェクトを前記選択されたオブジェクトとして表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新することと、
    前記第2のオブジェクトを前記選択されたオブジェクトとして前記第1のオブジェクトの代わりに表示するように、前記第2のディスプレイ上の前記第2のユーザインタフェースを更新することを可能にする情報を前記第2のディスプレイに提供することと、
    のための命令を含むことを特徴とする、第1の電子デバイス。
  17. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、第1のディスプレイを備える第1の電子デバイスによって実行されると、前記第1のデバイスに、
    前記第1のディスプレイ上に第1のユーザインタフェースを表示させ、これにおいて、
    前記第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、
    前記第1のユーザインタフェースは、前記第1のディスプレイと異なる第2のディスプレイ上に表示される第2のユーザインタフェースに対応し、
    前記複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして前記第2のユーザインタフェース内に表示され、
    前記第1のオブジェクトが前記選択されたオブジェクトとして前記第2のユーザインタフェース内に表示されている間に、
    前記複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報を前記第1のユーザインタフェース内に表示するための要求に対応する、ユーザからの第1の入力を検出させ、
    前記第1の入力を検出したことに応じて、前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報を表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新させ、
    前記第1の入力に従って前記第1のユーザインタフェースを更新した後、前記第2のオブジェクトを前記選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出させ、
    前記第2の入力を検出したことに応じて、
    前記第2の入力に従って、前記第2のオブジェクトを前記選択されたオブジェクトとして表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新させ、
    前記第2のオブジェクトを前記選択されたオブジェクトとして前記第1のオブジェクトの代わりに表示するように、前記第2のディスプレイ上の前記第2のユーザインタフェースを更新することを可能にする情報を前記第2のディスプレイに提供させる
    ことを特徴とする、1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体。
  18. 第1のディスプレイと、メモリと、前記メモリに記憶されている1つ以上のプログラムを実行する1つ以上のプロセッサと、を備えた第1の電子デバイス上のグラフィカルユーザインタフェースであって、
    前記第1のディスプレイ上に表示された第1のユーザインタフェースであって、
    前記第1のユーザインタフェースは、複数の選択可能なオブジェクト間の選択を可能にし、
    前記第1のユーザインタフェースは、前記第1のディスプレイと異なる第2のディスプレイ上に表示される第2のユーザインタフェースに対応し、
    前記複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして前記第2のユーザインタフェース内に表示される、第1のユーザインタフェースを含み、
    前記第1のオブジェクトが前記選択されたオブジェクトとして前記第2のユーザインタフェース内に表示されている間に、
    前記複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報を前記第1のユーザインタフェース内に表示するための要求に対応する、ユーザからの第1の入力が検出され、
    前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力を検出したことに応じて、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報を表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースが更新され、
    前記第1の入力に従って前記第1のユーザインタフェースを更新した後、前記第2のオブジェクトを前記選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力が検出され、
    前記第2の入力を検出したことに応じて、前記第2の入力に従って、前記第2のオブジェクトを前記選択されたオブジェクトとして表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースが更新され、
    前記第2の入力を検出したことに応じて、前記第2のオブジェクトを前記選択されたオブジェクトとして前記第1のオブジェクトの代わりに表示するように、前記第2のディスプレイ上の前記第2のユーザインタフェースを更新することを可能にする情報が前記第2のディスプレイに提供されることを特徴とする、第1のディスプレイと、メモリと、前記メモリに記憶されている1つ以上のプログラムを実行する1つ以上のプロセッサと、を備えた第1の電子デバイス上のグラフィカルユーザインタフェース。
  19. 第1の電子デバイスであって、
    第1のディスプレイと、
    前記第1のディスプレイ上に第1のユーザインタフェースを表示するための手段であって、
    前記第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、
    前記第1のユーザインタフェースは、前記第1のディスプレイと異なる第2のディスプレイ上に表示される第2のユーザインタフェースに対応し、
    前記複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして前記第2のユーザインタフェース内に表示される、表示するための手段と、
    前記第1のオブジェクトが前記選択されたオブジェクトとして前記第2のユーザインタフェース内に表示されている間に、
    前記複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報を前記第1のユーザインタフェース内に表示するための要求に対応する、ユーザからの第1の入力を検出し、
    前記第1の入力を検出したことに応じて、前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報を表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新し、
    前記第1の入力に従って前記第1のユーザインタフェースを更新した後、前記第2のオブジェクトを前記選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出するための手段と、
    前記第2の入力を検出したことに応じて、前記第2の入力に従って、前記第2のオブジェクトを前記選択されたオブジェクトとして表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新するための手段と、
    前記第2の入力を検出したことに応じて、前記第2のオブジェクトを前記選択されたオブジェクトとして前記第1のオブジェクトの代わりに表示するように、前記第2のディスプレイ上の前記第2のユーザインタフェースを更新することを可能にする情報を前記第2のディスプレイに提供するための手段と、
    を備えることを特徴とする、第1の電子デバイス。
  20. 第1のディスプレイを有する第1の電子デバイス内で使用するための情報処理装置であって、
    前記第1のディスプレイ上に第1のユーザインタフェースを表示するための手段であって、
    前記第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、
    前記第1のユーザインタフェースは、前記第1のディスプレイと異なる第2のディスプレイ上に表示される第2のユーザインタフェースに対応し、
    前記複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして前記第2のユーザインタフェース内に表示される、表示するための手段と、
    前記第1のオブジェクトが前記選択されたオブジェクトとして前記第2のユーザインタフェース内に表示されている間に、
    前記複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報を前記第1のユーザインタフェース内に表示するための要求に対応する、ユーザからの第1の入力を検出し、
    前記第1の入力を検出したことに応じて、前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報を表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新し、
    前記第1の入力に従って前記第1のユーザインタフェースを更新した後、前記第2のオブジェクトを前記選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出するための手段と、
    前記第2の入力を検出したことに応じて、前記第2の入力に従って、前記第2のオブジェクトを前記選択されたオブジェクトとして表示するように、前記第1のディスプレイ上の前記第1のユーザインタフェースを更新するための手段と、
    前記第2の入力を検出したことに応じて、前記第2のオブジェクトを前記選択されたオブジェクトとして前記第1のオブジェクトの代わりに表示するように、前記第2のディスプレイ上の前記第2のユーザインタフェースを更新することを可能にする情報を前記第2のディスプレイに提供するための手段と、
    を備えることを特徴とする、第1のディスプレイを有する第1の電子デバイス内で使用するための情報処理装置。
  21. 第1の電子デバイスであって、
    第1のディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムが、前記メモリ内に記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項1から15に記載の方法のいずれかを実行するための命令を含むことを特徴とする、第1の電子デバイス。
  22. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は第1のディスプレイを備える第1の電子デバイスによって実行されると、請求項1から15に記載の方法のいずれかを前記第1のデバイスに実行させることを特徴とする、1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体。
  23. 第1のディスプレイと、メモリと、前記メモリに記憶されている1つ以上のプログラムを実行する1つ以上のプロセッサと、を備える第1の電子デバイス上のグラフィカルユーザインタフェースであって、請求項1から15に記載の方法のいずれかに従って表示されたユーザインタフェースを含むことを特徴とする、第1のディスプレイと、メモリと、前記メモリに記憶されている1つ以上のプログラムを実行する1つ以上のプロセッサと、を備える第1の電子デバイス上のグラフィカルユーザインタフェース。
  24. 第1の電子デバイスであって、
    第1のディスプレイと、
    請求項1から15に記載の方法のいずれかを実行するための手段と、を備えることを特徴とする、第1の電子デバイス。
  25. 第1のディスプレイを有する第1の電子デバイス内で使用するための情報処理装置であって、
    請求項1から15に記載の方法のいずれかを実行するための手段を備えることを特徴とする、第1のディスプレイを有する第1の電子デバイス内で使用するための情報処理装置。
  26. 第1の電子デバイスであって、
    その上に第1のユーザインタフェースを表示するように構成された、第1のディスプレイユニットであって、
    前記第1のユーザインタフェースは複数の選択可能なオブジェクト間の選択を可能にし、
    前記第1のユーザインタフェースは、前記第1のディスプレイユニットと異なる第2のディスプレイユニット上に表示される第2のユーザインタフェースに対応し、
    前記複数の選択可能なオブジェクトのうちの第1のオブジェクトは、選択されたオブジェクトとして前記第2のユーザインタフェース内に表示される、第1のディスプレイユニットと、
    前記ディスプレイユニットに結合された処理ユニットであって、第1のオブジェクトが前記選択されたオブジェクトとして前記第2のユーザインタフェース内に表示されている間に、
    前記複数の選択可能なオブジェクトのうちの第2のオブジェクトに関する情報の前記第1のユーザインタフェース内への表示を可能にするための要求に対応する、ユーザからの第1の入力を検出し、
    前記第1の入力を検出したことに応じて、前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報の表示を可能にするように、前記第1のディスプレイユニット上の前記第1のユーザインタフェースを更新し、
    前記第1の入力に従って前記第1のユーザインタフェースを更新した後、前記第2のオブジェクトを前記選択されたオブジェクトとして選択するための要求に対応する、ユーザからの第2の入力を検出し、
    前記第2の入力を検出したことに応じて、
    前記第2の入力に従って、前記第2のオブジェクトの前記選択されたオブジェクトとしての表示を可能にするように、前記第1のディスプレイユニット上の前記第1のユーザインタフェースを更新し、
    前記第1のオブジェクトに代わる前記選択されたオブジェクトとしての前記第2のオブジェクトの表示を可能にするように、前記第2のディスプレイユニット上の前記第2のユーザインタフェースを更新することを可能にする情報を前記第2のディスプレイユニットに提供するように構成された、
    処理ユニットと、を備えることを特徴とする、第1の電子デバイス。
  27. 前記第1の入力を検出したことに応じて、前記第2のオブジェクトに関する前記対応する情報の前記第2のユーザインタフェース内への表示を可能にするように、前記第2のディスプレイユニット上の前記第2のユーザインタフェースを更新することを可能にする情報を前記第2のディスプレイユニットに提供することなく、前記第1のユーザインタフェースが更新されることを特徴とする、請求項26に記載の第1の電子デバイス。
  28. 前記第2のユーザインタフェース内への前記第1のオブジェクトの前記選択されたオブジェクトとしての表示を維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報の表示を可能にするように、前記第1のディスプレイユニット上の前記第1のユーザインタフェースを更新することは、前記第2のユーザインタフェース全体を、前記第1の入力を検出する直前に表示されたように前記第2のディスプレイユニット上で維持しながら、前記第1の入力に従って、前記第2のオブジェクトに関する対応する情報の表示を可能にするように、前記第1のディスプレイユニット上の前記第1のユーザインタフェースを更新することを含むことを特徴とする、請求項26又は27に記載の第1の電子デバイス。
  29. 前記複数の選択可能なオブジェクトは複数の地図位置に対応し、
    前記選択されたオブジェクトは現在選択されている目的地に対応することを特徴とする、請求項26から28のいずれか一項に記載の第1の電子デバイス。
  30. 前記複数の選択可能なオブジェクトは複数のナビゲーションルートに対応し、
    前記選択されたオブジェクトは現在選択されているナビゲーションルートに対応することを特徴とする、請求項26から28のいずれか一項に記載の第1の電子デバイス。
  31. 前記複数の選択可能なオブジェクトは、前記第1の電子デバイスを使用して再生し得る複数のコンテンツアイテムに対応し、
    前記選択されたオブジェクトは現在選択されているコンテンツアイテムに対応することを特徴とする、請求項26から28のいずれか一項に記載の第1の電子デバイス。
  32. 前記複数の選択可能なオブジェクトは複数のアプリケーションに対応し、
    前記選択されたオブジェクトは現在選択されているアプリケーションに対応することを特徴とする、請求項26から28のいずれか一項に記載の第1の電子デバイス。
  33. 前記複数の選択可能なオブジェクトは、検索クエリに応じて生成された複数の検索結果に対応し、
    前記選択されたオブジェクトは現在選択されている検索結果に対応することを特徴とする、請求項26から32のいずれか一項に記載の第1の電子デバイス。
  34. 前記第1のオブジェクトは、既定のオブジェクト選択基準に基づき、前記選択されたオブジェクトとして自動的に選択されることを特徴とする、請求項26から33のいずれか一項に記載の第1の電子デバイス。
  35. 前記第1の入力を検出する前に、前記第1のユーザインタフェースは前記第2のユーザインタフェースと同期させられ、
    前記第1の入力に応じた後であり、かつ前記第2の入力を検出する前に、前記第1のユーザインタフェースは前記第2のユーザインタフェースと同期させられず、
    前記第2の入力に応じた後、前記第1のユーザインタフェースは前記第2のユーザインタフェースと同期させられることを特徴とする、請求項26から34のいずれか一項に記載の第1の電子デバイス。
  36. 前記処理ユニットは、
    前記第1のオブジェクトに代わる前記選択されたオブジェクトとしての前記第2のオブジェクトの表示を可能にするように、前記第2のディスプレイユニット上の前記第2のユーザインタフェースを更新することを可能にする情報を提供した後、ディスプレイ同期モードに入り、
    前記ディスプレイ同期モードの間に、
    前記第1のユーザインタフェースを時間の経過と共に定期的に更新し、
    前記第1のユーザインタフェースが時間の経過と共に更新されるにしたがって、前記第2のディスプレイユニット上の前記第2のユーザインタフェースを前記第1のユーザインタフェースと同期させることを可能にする情報を提供するように構成されることを特徴とする、請求項26から35のいずれか一項に記載の第1の電子デバイス。
  37. 前記第2のディスプレイユニットは、前記第1の電子デバイスと異なる第2の電子デバイスに結合されたディスプレイユニットであることを特徴とする、請求項26から36のいずれか一項に記載の第1の電子デバイス。
  38. 前記第2の電子デバイスは、ネイティブグラフィカルユーザインタフェースを有する車両内エンターテイメントシステムを制御し、
    前記第2のユーザインタフェースは、前記第2の電子デバイスの前記ネイティブグラフィカルユーザインタフェースの少なくとも一部の代わりに前記第2のディスプレイユニット上に表示されることを特徴とする、請求項37に記載の第1の電子デバイス。
  39. 前記処理ユニットは、
    それぞれの入力に対応する情報を、前記車両内エンターテイメントシステムのコントロールから受信し、
    前記それぞれの入力に対応する前記情報を受信したことに応じて、前記第1のユーザインタフェース及び前記第2のユーザインタフェースを、前記それぞれの入力に従って更新するように構成されることを特徴とする、請求項38に記載の第1の電子デバイス。
  40. 前記第1のユーザインタフェース及び前記第2のユーザインタフェースの両方は、前記第1の電子デバイス上で実行されている同じアプリケーションによって生成されることを特徴とする、請求項37に記載の第1の電子デバイス。
  41. ポータブルデバイスディスプレイを備え、かつ車両の車両ディスプレイと通信する、ポータブル電子デバイスにおいて、
    複数の目的地候補を含む地図検索結果のセットを取得することと、
    前記複数の目的地候補からの目的地の選択を可能にするポータブルデバイスナビゲーションインタフェースを前記ポータブルデバイスディスプレイ上に表示することと、
    前記車両ディスプレイが車両ナビゲーションインタフェースを表示することを可能にする情報を前記車両ディスプレイに送信することであって、前記複数の目的地候補のうちの第1の目的地は、前記車両ナビゲーションインタフェース内の選択された目的地である、送信することと、
    前記第1の目的地が前記車両ナビゲーションインタフェース内の前記選択された目的地である間に、
    前記第1の目的地と異なる、前記複数の目的地候補のうちの1つ以上の目的地候補に関する情報を表示するための要求に対応する、ユーザからの第1の入力を検出することと、
    前記第1の入力を検出したことに応じて、前記車両ディスプレイ上の前記車両ナビゲーションインタフェースを更新することなく、前記第1の入力に従って、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新することと、
    前記第1の入力に従って前記ポータブルデバイスナビゲーションインタフェースを更新した後に、前記複数の目的地候補のうちの第2の目的地を前記選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を検出することと、
    前記第2の入力を検出したことに応じて、
    前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新することと、
    前記車両ディスプレイが、前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記車両ナビゲーションインタフェースを更新することを可能にする情報を、前記車両ディスプレイに送信することと、
    を含むことを特徴とする、方法。
  42. 車両の車両ディスプレイと通信するポータブル電子デバイスであって、
    ポータブルデバイスディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムは、前記メモリ内に記憶され、前記1つ以上のプロセッサによって実行されるように構成され、前記1つ以上のプログラムは、
    複数の目的地候補を含む地図検索結果のセットを取得することと、
    前記複数の目的地候補からの目的地の選択を可能にするポータブルデバイスナビゲーションインタフェースを前記ポータブルデバイスディスプレイ上に表示することと、
    前記車両ディスプレイが車両ナビゲーションインタフェースを表示することを可能にする情報を前記車両ディスプレイに送信することであって、前記複数の目的地候補のうちの第1の目的地は、前記車両ナビゲーションインタフェース内の選択された目的地である、送信することと、
    前記第1の目的地が前記車両ナビゲーションインタフェース内の前記選択された目的地である間に、
    前記第1の目的地と異なる、前記複数の目的地候補のうちの1つ以上の目的地候補に関する情報を表示するための要求に対応する、ユーザからの第1の入力を検出することと、
    前記第1の入力を検出したことに応じて、前記車両ディスプレイ上の前記車両ナビゲーションインタフェースを更新することなく、前記第1の入力に従って、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新することと、
    前記第1の入力に従って前記ポータブルデバイスナビゲーションインタフェースを更新した後に、前記複数の目的地候補のうちの第2の目的地を前記選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を検出することと、
    前記第2の入力を検出したことに応じて、
    前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新することと、
    前記第2の入力に従って、前記車両ディスプレイが、前記第2の目的地を前記選択された目的地として表示するように、前記車両ナビゲーションインタフェースを更新することを可能にする情報を、前記車両ディスプレイに送信することと、
    のための命令を含むことを特徴とする、車両の車両ディスプレイと通信するポータブル電子デバイス。
  43. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、ポータブルデバイスディスプレイを備え、かつ車両の車両ディスプレイと通信するポータブル電子デバイスによって実行されると、前記ポータブル電子デバイスに、
    複数の目的地候補を含む地図検索結果のセットを取得させ、
    前記複数の目的地候補からの目的地の選択を可能にするポータブルデバイスナビゲーションインタフェースを前記ポータブルデバイスディスプレイ上に表示させ、
    前記車両ディスプレイが車両ナビゲーションインタフェースを表示することを可能にする情報を前記車両ディスプレイに送信させ、これにおいて、前記複数の目的地候補のうちの第1の目的地は、前記車両ナビゲーションインタフェース内の選択された目的地であり、
    前記第1の目的地が前記車両ナビゲーションインタフェース内の前記選択された目的地である間に、
    前記第1の目的地と異なる、前記複数の目的地候補のうちの1つ以上の目的地候補に関する情報を表示するための要求に対応する、ユーザからの第1の入力を検出させ、
    前記第1の入力を検出したことに応じて、前記車両ディスプレイ上の前記車両ナビゲーションインタフェースを更新することなく、前記第1の入力に従って、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新させ、
    前記第1の入力に従って前記ポータブルデバイスナビゲーションインタフェースを更新した後に、前記複数の目的地候補のうちの第2の目的地を前記選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を検出させ、
    前記第2の入力を検出したことに応じて、
    前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新させ、
    前記第2の入力に従って、前記車両ディスプレイが、前記第2の目的地を前記選択された目的地として表示するように、前記車両ナビゲーションインタフェースを更新することを可能にする情報を、前記車両ディスプレイに送信させる
    ことを特徴とする、1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体。
  44. 車両の車両ディスプレイと通信し、かつポータブルデバイスディスプレイと、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサと、を備えるポータブル電子デバイス上のグラフィカルユーザインタフェースであって、
    ポータブルデバイスナビゲーションインタフェースを含み、
    複数の目的地候補を含む地図検索結果のセットが取得され、
    前記複数の目的地候補からの目的地の選択を可能にする前記ポータブルデバイスナビゲーションインタフェースが前記ポータブルデバイスディスプレイ上に表示され、
    前記車両ディスプレイが車両ナビゲーションインタフェースを表示することを可能にする情報が前記車両ディスプレイに送信され、これにおいて、前記複数の目的地候補のうちの第1の目的地は、前記車両ナビゲーションインタフェース内の選択された目的地であり、
    前記第1の目的地が前記車両ナビゲーションインタフェース内の前記選択された目的地である間に、
    前記第1の目的地と異なる、前記複数の目的地候補のうちの1つ以上の目的地候補に関する情報を表示するための要求に対応する、ユーザからの第1の入力が検出され、
    前記車両ディスプレイ上の前記車両ナビゲーションインタフェースを更新することなく、前記第1の入力を検出したことに応じて、前記第1の入力に従って、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースが更新され、
    前記第1の入力に従って前記ポータブルデバイスナビゲーションインタフェースを更新した後、前記複数の目的地候補のうちの第2の目的地を前記選択された目的地として選択するための要求に対応する、ユーザからの第2の入力が検出され、
    前記第2の入力を検出したことに応じて、前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースが更新され、
    前記第2の入力を検出したことに応じて、前記車両ディスプレイが、前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記車両ナビゲーションインタフェースを更新することを可能にする情報が、前記車両ディスプレイに送信される
    ことを特徴とする、車両の車両ディスプレイと通信し、かつポータブルデバイスディスプレイと、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサと、を備えるポータブル電子デバイス上のグラフィカルユーザインタフェース。
  45. 車両の車両ディスプレイと通信するポータブル電子デバイスであって、
    ポータブルデバイスディスプレイと、
    複数の目的地候補を含む地図検索結果のセットを取得するための手段と、
    前記複数の目的地候補からの目的地の選択を可能にするポータブルデバイスナビゲーションインタフェースを前記ポータブルデバイスディスプレイ上に表示するための手段と、
    前記車両ディスプレイが車両ナビゲーションインタフェースを表示することを可能にする情報を前記車両ディスプレイに送信するための手段であって、前記複数の目的地候補のうちの第1の目的地は、前記車両ナビゲーションインタフェース内の選択された目的地である、送信するための手段と、
    前記第1の目的地が前記車両ナビゲーションインタフェース内の前記選択された目的地である間に、
    前記第1の目的地と異なる、前記複数の目的地候補のうちの1つ以上の目的地候補に関する情報を表示するための要求に対応する、ユーザからの第1の入力を検出し、
    前記第1の入力を検出したことに応じて、前記車両ディスプレイ上の前記車両ナビゲーションインタフェースを更新することなく、前記第1の入力に従って、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新し、
    前記第1の入力に従って前記ポータブルデバイスナビゲーションインタフェースを更新した後、前記複数の目的地候補のうちの第2の目的地を前記選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を検出するための手段と、
    前記第2の入力を検出したことに応じて、前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新するための手段と、
    前記第2の入力を検出したことに応じて、前記車両ディスプレイが、前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記車両ナビゲーションインタフェースを更新することを可能にする情報を、前記車両ディスプレイに送信するための手段と、
    を含むことを特徴とする、車両の車両ディスプレイと通信するポータブル電子デバイス。
  46. ポータブルデバイスディスプレイを備えるポータブル電子デバイス内で使用するための情報処理装置であって、前記ポータブル電子デバイスは車両の車両ディスプレイと通信し、前記情報処理装置は、
    複数の目的地候補を含む地図検索結果のセットを取得するための手段と、
    前記複数の目的地候補からの目的地の選択を可能にするポータブルデバイスナビゲーションインタフェースを前記ポータブルデバイスディスプレイ上に表示するための手段と、
    前記車両ディスプレイが車両ナビゲーションインタフェースを表示することを可能にする情報を前記車両ディスプレイに送信するための手段であって、前記複数の目的地候補のうちの第1の目的地は、前記車両ナビゲーションインタフェース内の選択された目的地である、送信するための手段と、
    前記第1の目的地が前記車両ナビゲーションインタフェース内の前記選択された目的地である間に、
    前記第1の目的地と異なる、前記複数の目的地候補のうちの1つ以上の目的地候補に関する情報を表示するための要求に対応する、ユーザからの第1の入力を検出し、
    前記第1の入力を検出したことに応じて、前記車両ディスプレイ上の前記車両ナビゲーションインタフェースを更新することなく、前記第1の入力に従って、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新し、
    前記第1の入力に従って前記ポータブルデバイスナビゲーションインタフェースを更新した後、前記複数の目的地候補のうちの第2の目的地を前記選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を検出するための手段と、
    前記第2の入力を検出したことに応じて、前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記ポータブルデバイスディスプレイ上の前記ポータブルデバイスナビゲーションインタフェースを更新するための手段と、
    前記第2の入力を検出したことに応じて、前記車両ディスプレイが、前記第2の入力に従って、前記第2の目的地を前記選択された目的地として表示するように、前記車両ナビゲーションインタフェースを更新することを可能にする情報を、前記車両ディスプレイに送信するための手段と、
    を備えることを特徴とする、ポータブルデバイスディスプレイを備えるポータブル電子デバイス内で使用するための情報処理装置。
  47. ポータブル電子デバイスであって、
    ポータブルデバイスナビゲーションインタフェースを表示するように構成されたポータブルデバイスディスプレイユニットと、
    車両の車両ディスプレイユニットと通信するように構成された通信インタフェースユニットと、
    前記ディスプレイユニット及び前記通信インタフェースに結合された処理ユニットであって、
    複数の目的地候補を含む地図検索結果のセットを取得し、
    前記複数の目的地候補からの目的地の選択を可能にする前記ポータブルデバイスナビゲーションインタフェースの前記ポータブルデバイスディスプレイユニット上への表示を可能にし、
    前記車両ディスプレイユニットが車両ナビゲーションインタフェースの表示を可能にすることを可能にする情報を前記車両ディスプレイユニットに送信し、これにおいて、前記複数の目的地候補のうちの第1の目的地は、前記車両ナビゲーションインタフェース内の選択された目的地であり、
    前記第1の目的地が前記車両ナビゲーションインタフェース内の前記選択された目的地である間に、
    前記第1の目的地と異なる、前記複数の目的地候補のうちの1つ以上の目的地候補に関する情報の表示を可能にするための要求に対応する、ユーザからの第1の入力を検出し、
    前記第1の入力を検出したことに応じて、前記車両ディスプレイユニット上の前記車両ナビゲーションインタフェースを更新することなく、前記第1の入力に従って、前記ポータブルデバイスディスプレイユニット上の前記ポータブルデバイスナビゲーションインタフェースを更新し、
    前記第1の入力に従って前記ポータブルデバイスナビゲーションインタフェースを更新した後、前記複数の目的地候補のうちの第2の目的地を前記選択された目的地として選択するための要求に対応する、ユーザからの第2の入力を検出し、
    前記第2の入力を検出したことに応じて、
    前記第2の入力に従って、前記第2の目的地の前記選択された目的地としての表示を可能にするように、前記ポータブルデバイスディスプレイユニット上の前記ポータブルデバイスナビゲーションインタフェースを更新し、
    前記第2の入力に従って、前記車両ディスプレイユニットが、前記第2の目的地の前記選択された目的地としての表示を可能にするように、前記車両ナビゲーションインタフェースを更新することを可能にする情報を、前記車両ディスプレイユニットに送信するように構成された、
    処理ユニットと、を備えることを特徴とする、ポータブル電子デバイス。
  48. 方法であって、
    第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイスにおいて、
    複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信することであって、前記第1の入力情報は、
    前記第1の入力ソースに対する第1の識別子と、
    前記第1の入力を記述する第1の入力記述と、を含む、受信することと、
    前記第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを前記複数のディスプレイから選択することと、
    前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする更新情報を、前記第1の影響を受けるディスプレイに送信することと、
    を含むことを特徴とする、方法。
  49. 前記第1の影響を受けるディスプレイを選択することは、
    前記入力ソースマッピングにおいて、前記第1の入力ソースが前記第1のディスプレイに割り当てられているという判定に従って、前記第1のディスプレイを、前記第1の入力によって影響を受ける、前記第1の影響を受けるディスプレイとして選択することと、
    前記入力ソースマッピングにおいて、前記第1の入力ソースが、前記第1のディスプレイと異なる前記第2のディスプレイに割り当てられているという判定に従って、前記第2のディスプレイを、前記第1の入力によって影響を受ける、前記第1の影響を受けるディスプレイとして選択することと、を含むことを特徴とする、請求項48に記載の方法。
  50. 前記更新情報は前記第1の入力に対応する情報を含むことを特徴とする、請求項48又は49に記載の方法。
  51. 前記更新情報は、前記第1の影響を受けるディスプレイにおいて表示するための更新されたユーザインタフェースを含むことを特徴とする、請求項48から50のいずれか一項に記載の方法。
  52. 前記デバイスは、前記複数のディスプレイのうちの2つ以上のディスプレイに対するユーザインタフェースを生成し、それぞれのユーザインタフェースを対応するディスプレイに提供することを特徴とする、請求項48から51のいずれか一項に記載の方法。
  53. 前記更新情報を前記第1の影響を受けるディスプレイに送信する前に、前記第1の入力情報に基づき前記更新情報を生成することであって、
    前記第1の入力記述が第1の入力特性を記述するという判定に従って、第1の更新情報を生成し、
    前記第1の入力記述が前記第1の入力特性と異なる第2の入力特性を記述するという判定に従って、前記第1の更新情報と異なる第2の更新情報を生成する、前記更新情報を生成することを含むことを特徴とする、請求項48から52のいずれか一項に記載の方法。
  54. 前記第1の影響を受けるディスプレイを選択した後、
    前記第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態を判定することと、
    前記第1の入力記述、及び前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態に基づき、前記更新情報を生成することと、を含むことを特徴とする、請求項48から53のいずれか一項に記載の方法。
  55. 前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態が第1の状態であるという判定に従って、前記更新情報は、前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態に対する第1の動作を実行することに対応し、
    前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態が、前記第1の状態と異なる第2の状態であるという判定に従って、前記更新情報は、前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態に対する、前記第1の動作と異なる第2の動作を実行することに対応することを特徴とする、請求項54に記載の方法。
  56. 前記第1の入力情報を受信する前に、前記それぞれのユーザインタフェースは以前の状態を有し、
    方法は、前記第1の入力、及び前記それぞれのユーザインタフェースの前記以前の状態に基づき、前記ユーザインタフェースを前記以前の状態と異なる更新された状態に更新することを含むことを特徴とする、請求項54又は55に記載の方法。
  57. 前記複数のディスプレイのうちのそれぞれのディスプレイの可用性の変化を検出することと、
    前記それぞれのディスプレイの前記可用性の変化を検出したことに応じて、前記それぞれのディスプレイの前記可用性の変化を示すために前記入力ソースマッピングを更新することと、を含むことを特徴とする、請求項48から56のいずれか一項に記載の方法。
  58. それぞれの入力ソースが前記第1のディスプレイに割り当てられている間、前記複数の入力ソースのうちのそれぞれの入力ソースに対する、前記第1のディスプレイから前記第2のディスプレイへのディスプレイ割り当ての変更を検出することと、
    前記それぞれの入力ソースに対する前記ディスプレイ割り当ての変更を検出したことに応じて、前記それぞれの入力ソースに関連付けられた入力を示す入力情報が、前記第1のディスプレイ上に表示されたユーザインタフェースを更新するために使用される代わりに、前記第2のディスプレイ上に表示されたユーザインタフェースを更新するために使用されるように、前記それぞれの入力ソースに対する前記ディスプレイ割り当ての変更を示すために、前記入力ソースマッピングを更新することと、を含むことを特徴とする、請求項48から57のいずれか一項に記載の方法。
  59. 前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする前記更新情報を送信した後、
    前記第1の入力ソースと異なる、前記複数の入力ソースのうちの第2の入力ソースによって検出された第2の入力を示す第2の入力情報を受信することであって、前記第2の入力情報は、
    前記第2の入力ソースに対する第2の識別子と、
    前記第2の入力を記述する第2の入力記述と、を含む、受信することと、
    前記第2の識別子と、前記入力ソースマッピングと、に基づき、第2の影響を受けるディスプレイを前記複数のディスプレイから選択することと、
    前記第2の入力に従って前記第2の影響を受けるディスプレイを更新することを可能にする更新情報を、前記第2の影響を受けるディスプレイに送信することと、
    を含むことを特徴とする、請求項48から58のいずれか一項に記載の方法。
  60. 電子デバイスであって、
    第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信するための通信インタフェースと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を含み、前記1つ以上のプログラムは前記メモリに記憶され、
    前記1つ以上のプロセッサに実行されるように構成され、前記1つ以上のプログラムは、
    複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信することであって、前記第1の入力情報は、
    前記第1の入力ソースに対する第1の識別子と、
    前記第1の入力を記述する第1の入力記述と、を含む、受信することと、
    前記第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを前記複数のディスプレイから選択することと、
    前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする更新情報を、前記第1の影響を受けるディスプレイに送信することと、
    のための命令を含むことを特徴とする、電子デバイス。
  61. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
    第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイスによって実行されると、前記デバイスに、
    複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信させ、これにおいて、前記第1の入力情報は、
    前記第1の入力ソースに対する第1の識別子と、
    前記第1の入力を記述する第1の入力記述と、を含み、
    前記第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを前記複数のディスプレイから選択させ、
    前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする更新情報を、前記第1の影響を受けるディスプレイに送信させる、
    命令を含むことを特徴とする、1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体。
  62. 第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信し、ディスプレイと、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサと、を備える電子デバイス上のグラフィカルユーザインタフェースであって、
    ユーザインタフェースを含み、
    複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報が前記デバイスによって受信され、これにおいて、前記第1の入力情報は、
    前記第1の入力ソースに対する第1の識別子と、
    前記第1の入力を記述する第1の入力記述と、を含み、
    前記第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイは前記複数のディスプレイから選択され、
    前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする更新情報が、前記第1の影響を受けるディスプレイに送信されることを特徴とする、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信し、ディスプレイと、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサと、を備える電子デバイス上のグラフィカルユーザインタフェース。
  63. 第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイスであって、
    複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信するための手段であって、前記第1の入力情報は、
    前記第1の入力ソースに対する第1の識別子と、
    前記第1の入力を記述する第1の入力記述と、を含む、受信するための手段と、
    前記第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを前記複数のディスプレイから選択するための手段と、
    前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする更新情報を、前記第1の影響を受けるディスプレイに送信するための手段と、
    を含むことを特徴とする、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイス。
  64. 第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイス内で使用するための情報処理装置であって、
    複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信するための手段であって、前記第1の入力情報は、
    前記第1の入力ソースに対する第1の識別子と、
    前記第1の入力を記述する第1の入力記述と、を含む、受信するための手段と、
    前記第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを前記複数のディスプレイから選択するための手段と、
    前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする更新情報を、前記第1の影響を受けるディスプレイに送信するための手段と、
    を含むことを特徴とする、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイス内で使用するための情報処理装置。
  65. 電子デバイスであって、
    第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信するための通信インタフェースと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムは前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成され、前記1つ以上のプログラムは、請求項48から59に記載の方法のいずれかを実行するための命令を含むことを特徴とする、電子デバイス。
  66. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイスによって実行されたときに、請求項48から59に記載の方法のいずれかを前記デバイスに実行させる命令を含むことを特徴とする、1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体。
  67. 請求項48から59に記載の方法のいずれかに従って表示されるユーザインタフェースを含む、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信し、ディスプレイと、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサと、を備える電子デバイス上のグラフィカルユーザインタフェース。
  68. 請求項48から59に記載の方法のいずれかを実行するための手段を備えることを特徴とする、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイス。
  69. 請求項48から59に記載の方法のいずれかを実行するための手段を備えることを特徴とする、第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信する電子デバイス内で使用するための情報処理装置。
  70. 電子デバイスであって、
    第1のディスプレイ及び第2のディスプレイを含む複数のディスプレイと通信するための通信インタフェースユニットと、
    前記通信インタフェースユニットに結合された処理ユニットと、を備え、前記処理ユニットは、
    複数の入力ソースのうちの第1の入力ソースによって検出された第1の入力を示す第1の入力情報を受信し、これにおいて、前記第1の入力情報は、
    前記第1の入力ソースに対する第1の識別子と、
    前記第1の入力を記述する第1の入力記述と、を含み、
    前記第1の識別子と、入力ソースを対応するディスプレイにマップする入力ソースマッピングと、に基づき、第1の影響を受けるディスプレイを前記複数のディスプレイから選択し、
    前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする更新情報を、前記第1の影響を受けるディスプレイに送信するように構成されることを特徴とする、電子デバイス。
  71. 前記第1の影響を受けるディスプレイを選択することは、
    前記入力ソースマッピングにおいて、前記第1の入力ソースが前記第1のディスプレイに割り当てられているという判定に従って、前記第1のディスプレイを、前記第1の入力によって影響を受ける、前記第1の影響を受けるディスプレイとして選択することと、
    前記入力ソースマッピングにおいて、前記第1の入力ソースが、前記第1のディスプレイと異なる前記第2のディスプレイに割り当てられているという判定に従って、前記第2のディスプレイを、前記第1の入力によって影響を受ける、前記第1の影響を受けるディスプレイとして選択することと、を含むことを特徴とする、請求項70に記載の電子デバイス。
  72. 前記更新情報は前記第1の入力に対応する情報を含むことを特徴とする、請求項70又は71に記載の電子デバイス。
  73. 前記更新情報は、前記第1の影響を受けるディスプレイにおいて表示するための更新されたユーザインタフェースを含むことを特徴とする、請求項70から72のいずれか一項に記載の電子デバイス。
  74. 前記デバイスは、前記複数のディスプレイのうちの2つ以上のディスプレイに対するユーザインタフェースを生成し、それぞれのユーザインタフェースを対応するディスプレイに提供することを特徴とする、請求項70から73のいずれか一項に記載の電子デバイス。
  75. 前記処理ユニットは、前記更新情報を前記第1の影響を受けるディスプレイに送信する前に、前記第1の入力情報に基づき前記更新情報を生成するように構成され、
    前記処理ユニットは、前記第1の入力記述が第1の入力特性を記述するという判定に従って、第1の更新情報を生成するように構成され、
    前記処理ユニットは、前記第1の入力記述が前記第1の入力特性と異なる第2の入力特性を記述するという判定に従って、前記第1の更新情報と異なる第2の更新情報を生成するように構成されることを特徴とする、請求項70から74のいずれか一項に記載の電子デバイス。
  76. 前記処理ユニットは、前記第1の影響を受けるディスプレイを選択した後、
    前記第1の影響を受けるディスプレイ上に表示されたユーザインタフェースのそれぞれの状態を判定し、
    前記第1の入力記述、及び前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態に基づき、前記更新情報を生成するように構成されることを特徴とする、請求項70から75のいずれか一項に記載の電子デバイス。
  77. 前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態が第1の状態であるという判定に従って、前記更新情報は、前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態に対する第1の動作を実行することに対応し、
    前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態が、前記第1の状態と異なる第2の状態であるという判定に従って、前記更新情報は、前記第1の影響を受けるディスプレイ上に表示された前記ユーザインタフェースの前記それぞれの状態に対する、前記第1の動作と異なる第2の動作を実行することに対応することを特徴とする、請求項76に記載の電子デバイス。
  78. 前記第1の入力情報を受信する前に、前記それぞれのユーザインタフェースは以前の状態を有し、
    前記処理ユニットは、前記第1の入力、及び前記それぞれのユーザインタフェースの前記以前の状態に基づき、前記ユーザインタフェースを前記以前の状態と異なる更新された状態に更新するように構成されることを特徴とする、請求項76又は77に記載の電子デバイス。
  79. 前記処理ユニットは、
    前記複数のディスプレイのうちのそれぞれのディスプレイの可用性の変化を検出し、
    前記それぞれのディスプレイの前記可用性の変化を検出したことに応じて、前記それぞれのディスプレイの前記可用性の変化を示すために前記入力ソースマッピングを更新するように構成されることを特徴とする、請求項70から78のいずれか一項に記載の電子デバイス。
  80. 前記処理ユニットは、
    それぞれの入力ソースが前記第1のディスプレイに割り当てられている間、前記複数の入力ソースのうちのそれぞれの入力ソースに対する、前記第1のディスプレイから前記第2のディスプレイへのディスプレイ割り当ての変更を検出し、
    前記それぞれの入力ソースに対する前記ディスプレイ割り当ての変更を検出したことに応じて、前記それぞれの入力ソースに関連付けられた入力を示す入力情報が、前記第1のディスプレイ上に表示されたユーザインタフェースを更新するために使用される代わりに、前記第2のディスプレイ上に表示されたユーザインタフェースを更新するために使用されるように、前記それぞれの入力ソースに対する前記ディスプレイ割り当ての変更を示すために、前記入力ソースマッピングを更新するように構成されることを特徴とする、請求項70から79のいずれか一項に記載の電子デバイス。
  81. 前記処理ユニットは、前記第1の入力に従って前記第1の影響を受けるディスプレイを更新することを可能にする前記更新情報を送信した後、
    前記第1の入力ソースと異なる、前記複数の入力ソースのうちの第2の入力ソースによって検出された第2の入力を示す第2の入力情報を受信し、これにおいて、前記第2の入力情報は、
    前記第2の入力ソースに対する第2の識別子と、
    前記第2の入力を記述する第2の入力記述と、を含み、
    前記第2の識別子と、前記入力ソースマッピングと、に基づき、第2の影響を受けるディスプレイを前記複数のディスプレイから選択し、
    前記第2の入力に従って前記第2の影響を受けるディスプレイを更新することを可能にする更新情報を、前記第2の影響を受けるディスプレイに送信するように構成されることを特徴とする、請求項70から80のいずれか一項に記載の電子デバイス。
JP2016518365A 2013-06-08 2014-05-30 2つ以上のディスプレイを同期させるためのデバイス、方法、及びグラフィカルユーザインタフェース Active JP6545155B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832842P 2013-06-08 2013-06-08
US61/832,842 2013-06-08
US14/291,970 2014-05-30
US14/291,970 US9965035B2 (en) 2008-05-13 2014-05-30 Device, method, and graphical user interface for synchronizing two or more displays
PCT/US2014/040415 WO2014197339A1 (en) 2013-06-08 2014-05-30 Device, method, and graphical user interface for synchronizing two or more displays

Publications (2)

Publication Number Publication Date
JP2016529580A true JP2016529580A (ja) 2016-09-23
JP6545155B2 JP6545155B2 (ja) 2019-07-17

Family

ID=51228623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518365A Active JP6545155B2 (ja) 2013-06-08 2014-05-30 2つ以上のディスプレイを同期させるためのデバイス、方法、及びグラフィカルユーザインタフェース

Country Status (9)

Country Link
US (3) US11002558B2 (ja)
EP (2) EP2992418B1 (ja)
JP (1) JP6545155B2 (ja)
KR (1) KR101947229B1 (ja)
CN (2) CN110413357B (ja)
AU (6) AU2014275224B2 (ja)
DE (1) DE202014004560U1 (ja)
HK (1) HK1219144A1 (ja)
WO (1) WO2014197339A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021529938A (ja) * 2018-06-26 2021-11-04 グーグル エルエルシーGoogle LLC デジタルアシスタントアプリケーションとナビゲーションアプリケーションとの間のインターフェーシング

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8984431B2 (en) 2009-03-16 2015-03-17 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US10649622B2 (en) 2012-05-09 2020-05-12 Apple Inc. Electronic message user interface
US10097496B2 (en) 2012-05-09 2018-10-09 Apple Inc. Electronic mail user interface
US10235014B2 (en) 2012-05-09 2019-03-19 Apple Inc. Music user interface
JP2016508007A (ja) 2013-02-07 2016-03-10 アップル インコーポレイテッド デジタルアシスタントのためのボイストリガ
EP2992418B1 (en) 2013-06-08 2022-02-16 Apple Inc. Device, method, and graphical user interface for synchronizing two or more displays
JP2015007949A (ja) * 2013-06-26 2015-01-15 ソニー株式会社 表示装置、表示制御方法及びコンピュータプログラム
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
EP3822759A1 (en) 2013-09-03 2021-05-19 Apple Inc. User interface for manipulating user interface objects
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US10924603B1 (en) * 2014-03-01 2021-02-16 sigmund lindsay clements Phone map used to find and operate multiuser devices
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN106462340B (zh) 2014-06-27 2019-09-13 苹果公司 尺寸减小的用户界面
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
WO2016036416A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
CN110072131A (zh) * 2014-09-02 2019-07-30 苹果公司 音乐用户界面
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US10200824B2 (en) * 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
KR102458444B1 (ko) 2016-01-05 2022-10-25 삼성전자주식회사 전자 장치 및 그 동작 방법
CN108604171A (zh) * 2016-03-30 2018-09-28 谷歌有限责任公司 辅助计算设备助手
US10198072B2 (en) * 2016-06-08 2019-02-05 Immersion Corporation Haptic feedback for opportunistic displays
AU2017286129B2 (en) * 2016-06-12 2018-12-20 Apple Inc. User interface for managing controllable external devices
CN110058757B (zh) * 2016-09-06 2022-08-12 苹果公司 用于对触摸输入进行处理和消除歧义的设备和方法
US10652337B2 (en) * 2016-09-07 2020-05-12 Thundar Power New Energy Vehicle Developmont Company Limited Passenger side display via a user portable device
AU2017101426B4 (en) * 2016-10-25 2018-03-15 Apple Inc. Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
DK179492B1 (en) 2016-10-25 2019-01-08 Apple Inc. SYSTEMS AND METHODS FOR ENABLING LOW-VISION USERS TO INTERACT WITH A TOUCH-SENSITIVE SECONDARY DISPLAY
US11237709B2 (en) 2016-10-25 2022-02-01 Apple Inc. Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
KR20180071049A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 그 이미지 동기화 방법
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10237209B2 (en) * 2017-05-08 2019-03-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
KR102395289B1 (ko) * 2017-05-24 2022-05-09 현대자동차주식회사 차량의 디스플레이 관리 장치
CN107415691B (zh) * 2017-07-28 2020-11-20 上海仪电汽车电子系统有限公司 集中式车载显示控制系统
EP3668439B1 (en) * 2017-08-16 2023-11-15 Covidien LP Synthesizing spatially-aware transitions between multiple camera viewpoints during minimally invasive surgery
EP3622390B1 (en) * 2017-10-03 2023-12-06 Google LLC Multiple digital assistant coordination in vehicular environments
JP6940365B2 (ja) * 2017-10-12 2021-09-29 日立Astemo株式会社 情報更新装置
CN108163216B (zh) * 2017-11-03 2022-06-28 中航通飞研究院有限公司 一种低成本航电系统
US10732916B2 (en) * 2017-11-28 2020-08-04 Ncr Corporation Multi-device display processing
CN111433713A (zh) * 2018-01-04 2020-07-17 哈曼国际工业有限公司 上下文和无感知按钮屏幕转接
EP3783903A1 (en) 2018-04-27 2021-02-24 Spotify AB Media playback actions based on knob rotation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
DK179888B1 (en) 2018-09-11 2019-08-27 Apple Inc. CONTENT-BASED TACTICAL OUTPUTS
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN111107518A (zh) * 2018-10-25 2020-05-05 上海博泰悦臻电子设备制造有限公司 显示方法、车载终端、显示系统及计算机可读存储介质
US10878805B2 (en) * 2018-12-06 2020-12-29 Microsoft Technology Licensing, Llc Expediting interaction with a digital assistant by predicting user responses
TWI742421B (zh) * 2018-12-12 2021-10-11 富智捷股份有限公司 使用者介面整合方法和車載裝置
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN109976861B (zh) * 2019-03-28 2023-01-10 北京小米移动软件有限公司 交互界面显示方法、装置及存储介质
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
EP3948517A1 (en) 2019-05-31 2022-02-09 Apple Inc. User interfaces for audio media control
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
EP4354289A2 (en) 2019-10-11 2024-04-17 Google Llc Extensible computing architecture for vehicles
US11899757B2 (en) * 2019-12-02 2024-02-13 Cox Automotive, Inc. Systems and methods for temporary digital content sharing
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
CN111857910A (zh) * 2020-06-28 2020-10-30 维沃移动通信有限公司 信息的显示方法、装置及电子设备
JP2022012403A (ja) * 2020-07-01 2022-01-17 キヤノン株式会社 プログラム、情報処理装置及び制御方法
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
CN111857926B (zh) * 2020-07-21 2023-08-18 联想(北京)有限公司 一种控制方法及装置
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
CN112181249A (zh) * 2020-09-25 2021-01-05 北京字节跳动网络技术有限公司 播放控制方法、装置、电子设备和存储介质
CN114764316A (zh) * 2020-12-31 2022-07-19 华为技术有限公司 焦点同步方法及电子设备
CN114816158A (zh) * 2021-01-11 2022-07-29 华为技术有限公司 界面的控制方法、装置、电子设备和可读存储介质
CN114765700B (zh) * 2021-01-13 2023-07-14 腾讯科技(深圳)有限公司 信息交互方法和装置、存储介质及电子设备
CN114793295B (zh) * 2021-01-25 2023-07-07 腾讯科技(深圳)有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质
CN112612570B (zh) * 2021-03-08 2021-06-22 全时云商务服务股份有限公司 一种查看应用程序被遮挡区域的方法及系统
CN113094135B (zh) * 2021-04-06 2023-05-30 北京字跳网络技术有限公司 页面显示控制方法、装置、设备及存储介质
CN114302248B (zh) * 2021-04-30 2024-04-12 海信视像科技股份有限公司 一种显示设备及多窗口语音播报方法
CN116257196A (zh) * 2021-12-09 2023-06-13 华为技术有限公司 一种分享导航信息的方法、电子设备和系统
CN113997786B (zh) * 2021-12-30 2022-03-25 江苏赫奕科技有限公司 一种适用于车辆的仪表界面显示方法和装置
CN114379573A (zh) * 2022-01-10 2022-04-22 海信集团控股股份有限公司 车辆及其控制方法
WO2024010109A1 (ko) * 2022-07-06 2024-01-11 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어 방법
CN115334293B (zh) * 2022-07-11 2023-10-13 岚图汽车科技有限公司 显示系统及其投影控制方法、主副显示系统
US11960668B1 (en) * 2022-11-10 2024-04-16 Honeywell International Inc. Cursor management methods and systems for recovery from incomplete interactions
US11954325B1 (en) 2023-04-05 2024-04-09 Honeywell International Inc. Methods and systems for assigning text entry components to cursors
CN116424243B (zh) * 2023-04-12 2023-12-19 深圳市比纳瑞科技有限公司 一种智能车载多媒体系统控制方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028909A (ja) * 2002-06-27 2004-01-29 Victor Co Of Japan Ltd 車内無線通信システム
US20050246095A1 (en) * 2004-02-26 2005-11-03 Alcatel Method for inputting destination data through a mobile terminal
WO2008079891A2 (en) * 2006-12-20 2008-07-03 Johnson Controls Technology Company Remote display reproduction system and method
JP2008170157A (ja) * 2007-01-05 2008-07-24 United Video Properties Inc 移動体ナビゲーション装置用電子番組表、目的地情報提供方法及び装置
US20080254785A1 (en) * 2007-04-10 2008-10-16 Mihal Lazaridis Media transfer and control system
JP2008263610A (ja) * 2007-04-10 2008-10-30 Research In Motion Ltd メディア転送および制御システム
JP2009137392A (ja) * 2007-12-05 2009-06-25 Mitsubishi Electric Corp 表示制御装置
US20090197617A1 (en) * 2008-02-05 2009-08-06 Madhavi Jayanthi Client in mobile device for sending and receiving navigational coordinates and notifications
WO2011016879A1 (en) * 2009-08-05 2011-02-10 Honda Motor Co., Ltd. Mobile communication device linked to in-vehicle system
WO2012141294A1 (ja) * 2011-04-15 2012-10-18 クラリオン株式会社 情報端末、車載情報システム、車載装置、情報端末用プログラム
JP2012255793A (ja) * 2006-02-28 2012-12-27 Phenomenome Discoveries Inc 認知症及び他の神経障害の診断方法
JP2013053942A (ja) * 2011-09-05 2013-03-21 Panasonic Corp ナビゲーション装置、および、それを用いて運転支援システム
JP2013108915A (ja) * 2011-11-24 2013-06-06 Fujitsu Ten Ltd 車両用装置、目的地の設定方法、及びプログラム

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3687840B2 (ja) * 2000-06-29 2005-08-24 マツダ株式会社 車両用情報処理装置及び車両用情報通信方法
US8380630B2 (en) * 2000-07-06 2013-02-19 David Paul Felsher Information record infrastructure, system and method
JP3980844B2 (ja) * 2001-05-31 2007-09-26 富士通株式会社 案内情報リクエスト装置および案内情報提供装置
JP4860847B2 (ja) * 2001-09-03 2012-01-25 パイオニア株式会社 通信ナビゲーションシステム及び方法、並びにコンピュータプログラム
JP4737900B2 (ja) * 2001-09-28 2011-08-03 クラリオン株式会社 移動体接近警告システム及び方法、並びに移動体接近警告システムの利用側移動体端末
US20040021681A1 (en) * 2002-07-30 2004-02-05 Liao Chin-Hua Arthur Dual-touch-screen mobile computer
US20040260438A1 (en) * 2003-06-17 2004-12-23 Chernetsky Victor V. Synchronous voice user interface/graphical user interface
US7689394B2 (en) * 2003-08-26 2010-03-30 Siemens Industry, Inc. System and method for remotely analyzing machine performance
JP2005140521A (ja) * 2003-11-04 2005-06-02 Pioneer Electronic Corp 交通状況報知装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
US7035734B2 (en) * 2003-12-10 2006-04-25 Cisco Technology, Inc. Method and system for communicating navigation information
US7440290B2 (en) * 2004-05-17 2008-10-21 Qualcomm Incorporated Control systems
US20050281414A1 (en) * 2004-06-18 2005-12-22 Simon Gregory R Method and apparatus for control of personal digital media devices using a vehicle audio system
US8407347B2 (en) * 2004-11-19 2013-03-26 Xiao Qian Zhang Method of operating multiple input and output devices through a single computer
US8606516B2 (en) 2004-11-30 2013-12-10 Dash Navigation, Inc. User interface system and method for a vehicle navigation device
US20060123359A1 (en) * 2004-12-03 2006-06-08 Schatzberger Richard J Portable electronic device having user interactive visual interface
JP2008523743A (ja) * 2004-12-14 2008-07-03 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 車両内の少なくとも一つのモバイル端末の、アップデート装置を利用した利用システム
JP2006246113A (ja) 2005-03-04 2006-09-14 Matsushita Electric Ind Co Ltd 操作システムおよび被操作端末
US7953513B2 (en) * 2005-03-15 2011-05-31 Siemens Industry, Inc. Systems, devices, and methods for automation control
US7552009B2 (en) 2005-07-14 2009-06-23 Honda Motor Co., Ltd. System and method for synchronizing data for use in a navigation system
CA2559684C (en) * 2005-09-16 2013-12-31 User-Centric Enterprises, Inc. User-centric event reporting
US8136138B2 (en) * 2005-12-15 2012-03-13 Visteon Global Technologies, Inc. Display replication and control of a portable device via a wireless interface in an automobile
US7669142B2 (en) 2006-02-28 2010-02-23 Microsoft Corporation Viewable and actionable search results
JP4551961B2 (ja) 2006-03-31 2010-09-29 パイオニア株式会社 音声入力支援装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、ナビゲーション装置
TW200808076A (en) * 2006-07-26 2008-02-01 Mitac Int Corp Method and portable electronic device for automatically switching loudspeaker output
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7877204B2 (en) 2006-11-24 2011-01-25 Qualcomm Incorporated System and method for sending destination locations to navigation devices
WO2008117586A1 (ja) 2007-03-28 2008-10-02 Access Co., Ltd. コンテンツ再生システム、コンテンツ再生・制御装置およびコンピュータプログラム
US8180379B2 (en) 2007-06-28 2012-05-15 Apple Inc. Synchronizing mobile and vehicle devices
US8024511B2 (en) * 2007-08-31 2011-09-20 Siemens Industry, Inc. Systems, devices, and/or methods to access synchronous RAM in an asynchronous manner
ES2690141T3 (es) * 2007-09-14 2018-11-19 Tomtom Navigation B.V. Aparato, sistema y método de comunicaciones para proporcionar una interfaz de usuario
JP2009140488A (ja) 2007-11-14 2009-06-25 Fujitsu Ten Ltd 車載装置および表示制御システム
JP5623287B2 (ja) * 2007-12-05 2014-11-12 ジョンソン コントロールズテクノロジーカンパニーJohnson Controls Technology Company 車両ユーザインターフェースシステム及び方法
JP2009154647A (ja) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd マルチ画面表示装置及びそのプログラム
US20090182562A1 (en) * 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
JP4524763B2 (ja) 2008-03-25 2010-08-18 株式会社デンソー 自動車用情報提供システム
JP4390006B2 (ja) 2008-04-01 2009-12-24 トヨタ自動車株式会社 カーナビゲーション装置、携帯情報端末、及びカーナビゲーションシステム
US9965035B2 (en) 2008-05-13 2018-05-08 Apple Inc. Device, method, and graphical user interface for synchronizing two or more displays
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20090284476A1 (en) 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
US20100293462A1 (en) 2008-05-13 2010-11-18 Apple Inc. Pushing a user interface to a remote device
US20100064053A1 (en) 2008-09-09 2010-03-11 Apple Inc. Radio with personal dj
US20130275899A1 (en) 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
US8970647B2 (en) * 2008-05-13 2015-03-03 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US9870130B2 (en) 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US8707044B2 (en) * 2008-08-11 2014-04-22 Tti Inventions D Llc System and method for using networked mobile devices in vehicles
JP2010130369A (ja) * 2008-11-27 2010-06-10 Fujitsu Ten Ltd 車載装置および遠隔操作システム
US20100127996A1 (en) * 2008-11-27 2010-05-27 Fujitsu Ten Limited In-vehicle device, remote control system, and remote control method
JP2010130669A (ja) 2008-12-01 2010-06-10 Fujitsu Ten Ltd 車載装置および無線通信システム
RU2523192C2 (ru) * 2008-12-22 2014-07-20 Теле Атлас Норт Америка, Инк. Способы, устройства и картографические базы данных для прокладки "зеленого" маршрута
WO2010077223A1 (en) * 2008-12-30 2010-07-08 Tele Atlas North America, Inc. A method and system for transmitting and/or receiving at least one location reference, enhanced by at least one focusing factor
KR101250120B1 (ko) 2009-02-10 2013-04-02 도요타지도샤가부시키가이샤 차량 탑재 정보 처리 장치 및 방법
US8942922B2 (en) * 2009-03-30 2015-01-27 Denso International America, Inc. Navigation location mark by cell phone
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) * 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9916625B2 (en) * 2012-02-02 2018-03-13 Progressive Casualty Insurance Company Mobile insurance platform system
US8928551B2 (en) 2009-07-07 2015-01-06 Village Green Technologies, LLC Multiple displays for a portable electronic device and a method of use
GB0915515D0 (en) 2009-09-04 2009-10-07 Ucl Business Plc Treatment of vasculoproliferative conditions
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
AU2012101465B4 (en) * 2010-01-18 2013-05-23 Apple Inc. Intent deduction based on previous user interactions with a voice assistant
US20110188197A1 (en) * 2010-02-03 2011-08-04 Craig Jackson Integrated audio and video port for portable electonic devices
US20110239142A1 (en) 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
US20110247013A1 (en) * 2010-04-01 2011-10-06 Gm Global Technology Operations, Inc. Method for Communicating Between Applications on an External Device and Vehicle Systems
FR2959327B1 (fr) * 2010-04-21 2013-03-08 Delphi Tech Inc Systeme d'enregistrement et de consultation de messages vocaux
US20120041633A1 (en) * 2010-08-16 2012-02-16 Ford Global Technologies, Llc Systems and methods for regulating control of a vehicle infotainment system
EP3424781B1 (en) * 2010-09-17 2022-02-09 Clarion Co., Ltd. Remote controlling of a mobile deivce by a in-car information system
US8565963B2 (en) * 2010-09-23 2013-10-22 Xerox Corporation Method and system for remotely tracking vehicle-centric data and user-centric data
JP5234160B2 (ja) 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
US8781730B2 (en) 2011-04-11 2014-07-15 Garmin Switzerland Gmbh Route selection employing metrics
US9285944B1 (en) 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US20120321112A1 (en) * 2011-06-16 2012-12-20 Apple Inc. Selecting a digital stream based on an audio sample
GB2492789B (en) 2011-07-12 2018-01-03 Denso Corp Displays
JP5857535B2 (ja) * 2011-08-29 2016-02-10 アイシン・エィ・ダブリュ株式会社 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム
WO2013048880A1 (en) 2011-09-30 2013-04-04 Apple Inc. Automatically adapting user interfaces for hands-free interaction
KR101302363B1 (ko) * 2011-10-05 2013-09-06 팅크웨어(주) 전자 기기 및 전자 기기의 제어 방법
US9203480B2 (en) 2011-10-06 2015-12-01 Massachusetts Institute Of Technology Coherent transmission from distributed wireless transmitters using legacy receivers
US8947202B2 (en) * 2011-10-20 2015-02-03 Apple Inc. Accessing a vehicle using portable devices
US9116563B2 (en) * 2011-10-28 2015-08-25 Honda Motor Co., Ltd. Connecting touch screen phones in a vehicle
US8847791B1 (en) * 2011-12-08 2014-09-30 Google Inc. Systems and methods for determining parking difficulty of segments of a geographic area
US8433463B1 (en) * 2012-02-09 2013-04-30 Nordic Capital Partners, LLC Vehicular dual mode master/slave interface
US9336827B2 (en) 2012-04-11 2016-05-10 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for browsing a mobile device with an in-vehicle user interface
US9431012B2 (en) * 2012-04-30 2016-08-30 2236008 Ontario Inc. Post processing of natural language automatic speech recognition
US20130297604A1 (en) * 2012-05-01 2013-11-07 Research In Motion Limited Electronic device and method for classification of communication data objects
US10296516B2 (en) 2012-05-21 2019-05-21 Here Global B.V. Method and apparatus for navigation using multiple synchronized mobile devices
KR101919788B1 (ko) 2012-05-31 2018-11-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN102810117B (zh) * 2012-06-29 2016-02-24 北京百度网讯科技有限公司 一种用于提供搜索结果的方法与设备
CN102724329A (zh) * 2012-07-05 2012-10-10 深圳市路畅科技股份有限公司 一种车载导航仪的控制方法
US20140026088A1 (en) 2012-07-17 2014-01-23 Sap Ag Data Interface Integrating Temporal and Geographic Information
CN102759359A (zh) * 2012-07-18 2012-10-31 深圳市凯立德科技股份有限公司 一种与移动终端交互的定位导航设备及其交互方法
US9969263B2 (en) * 2012-09-06 2018-05-15 Toyota Jidosha Kabushiki Kaisha Mobile terminal device, on-vehicle device, and on-vehicle system
CN102930263A (zh) * 2012-09-27 2013-02-13 百度国际科技(深圳)有限公司 一种信息处理方法及装置
US8958981B2 (en) 2012-11-06 2015-02-17 Cheng-Yu Wang Near field communication mobile device and navigation device communication system
US9794134B2 (en) 2012-11-16 2017-10-17 Apple Inc. System and method for negotiating control of a shared audio or visual resource
CN104937603B (zh) * 2013-01-10 2018-09-25 日本电气株式会社 终端、解锁方法和程序
CN103118176A (zh) * 2013-01-16 2013-05-22 广东好帮手电子科技股份有限公司 一种通过车载主机实现手机语音控制功能的方法及系统
US9619131B2 (en) 2013-02-22 2017-04-11 Blackberry Limited Methods and devices for displaying content
US9200915B2 (en) 2013-06-08 2015-12-01 Apple Inc. Mapping application with several user interfaces
US9719797B2 (en) 2013-03-15 2017-08-01 Apple Inc. Voice and touch user interface
US9300779B2 (en) * 2013-03-15 2016-03-29 Blackberry Limited Stateful integration of a vehicle information system user interface with mobile device operations
US10251034B2 (en) * 2013-03-15 2019-04-02 Blackberry Limited Propagation of application context between a mobile device and a vehicle information system
US20140343753A1 (en) * 2013-05-15 2014-11-20 Honda Motor Co., Ltd. System and method for vehicle interface extension and control
EP2992418B1 (en) 2013-06-08 2022-02-16 Apple Inc. Device, method, and graphical user interface for synchronizing two or more displays

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028909A (ja) * 2002-06-27 2004-01-29 Victor Co Of Japan Ltd 車内無線通信システム
US20050246095A1 (en) * 2004-02-26 2005-11-03 Alcatel Method for inputting destination data through a mobile terminal
JP2012255793A (ja) * 2006-02-28 2012-12-27 Phenomenome Discoveries Inc 認知症及び他の神経障害の診断方法
JP2010514604A (ja) * 2006-12-20 2010-05-06 ジョンソン コントロールズ テクノロジー カンパニー リモートディスプレイ再現システム及び方法
WO2008079891A2 (en) * 2006-12-20 2008-07-03 Johnson Controls Technology Company Remote display reproduction system and method
US20100146546A1 (en) * 2007-01-05 2010-06-10 United Video Properties, Inc. Electronic program guide for mobile navigation device, destination information providing method, and device
JP2008170157A (ja) * 2007-01-05 2008-07-24 United Video Properties Inc 移動体ナビゲーション装置用電子番組表、目的地情報提供方法及び装置
JP2008263610A (ja) * 2007-04-10 2008-10-30 Research In Motion Ltd メディア転送および制御システム
US20080254785A1 (en) * 2007-04-10 2008-10-16 Mihal Lazaridis Media transfer and control system
JP2009137392A (ja) * 2007-12-05 2009-06-25 Mitsubishi Electric Corp 表示制御装置
US20090197617A1 (en) * 2008-02-05 2009-08-06 Madhavi Jayanthi Client in mobile device for sending and receiving navigational coordinates and notifications
WO2011016879A1 (en) * 2009-08-05 2011-02-10 Honda Motor Co., Ltd. Mobile communication device linked to in-vehicle system
WO2012141294A1 (ja) * 2011-04-15 2012-10-18 クラリオン株式会社 情報端末、車載情報システム、車載装置、情報端末用プログラム
JP2013053942A (ja) * 2011-09-05 2013-03-21 Panasonic Corp ナビゲーション装置、および、それを用いて運転支援システム
JP2013108915A (ja) * 2011-11-24 2013-06-06 Fujitsu Ten Ltd 車両用装置、目的地の設定方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自動運転と衝突防止技術 2013−2014, vol. 初版, JPN6017028082, 22 May 2013 (2013-05-22), JP, pages 130 - 139, ISSN: 0003607923 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021529938A (ja) * 2018-06-26 2021-11-04 グーグル エルエルシーGoogle LLC デジタルアシスタントアプリケーションとナビゲーションアプリケーションとの間のインターフェーシング
JP7176011B2 (ja) 2018-06-26 2022-11-21 グーグル エルエルシー デジタルアシスタントアプリケーションとナビゲーションアプリケーションとの間のインターフェーシング

Also Published As

Publication number Publication date
KR20160014047A (ko) 2016-02-05
AU2019213441B9 (en) 2021-03-11
DE202014004560U1 (de) 2014-09-12
AU2021201449A1 (en) 2021-03-25
CN105283840A (zh) 2016-01-27
AU2014100584B4 (en) 2015-03-05
CN105283840B (zh) 2019-07-05
US11692840B2 (en) 2023-07-04
AU2014100584A4 (en) 2014-07-03
JP6545155B2 (ja) 2019-07-17
AU2017268569A1 (en) 2017-12-21
US20180253148A1 (en) 2018-09-06
AU2014275224B2 (en) 2017-08-31
CN110413357B (zh) 2022-09-06
EP4009166A1 (en) 2022-06-08
AU2019213441B2 (en) 2021-01-28
AU2021201449B2 (en) 2022-06-23
AU2017268569B2 (en) 2019-06-13
AU2014275224A1 (en) 2015-12-24
EP2992418A1 (en) 2016-03-09
AU2022224855A1 (en) 2022-09-29
KR101947229B1 (ko) 2019-02-12
AU2019213441C1 (en) 2021-06-03
HK1219144A1 (zh) 2017-03-24
EP2992418B1 (en) 2022-02-16
US20210190525A1 (en) 2021-06-24
US11002558B2 (en) 2021-05-11
CN110413357A (zh) 2019-11-05
US20230324196A1 (en) 2023-10-12
WO2014197339A1 (en) 2014-12-11
AU2019213441A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
AU2021201449B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
US9965035B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
JP7344997B2 (ja) ナビゲーション及び検索機能を提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN110083411B (zh) 用于从模板生成用户界面的设备和方法
CN110308853B (zh) 用于移动用户界面对象的设备、方法和图形用户界面
CN106662630B (zh) 使用通信耦接的电子设备来进行位置确定
WO2015183504A1 (en) Device, method, and graphical user interface for displaying widgets
CN107690614B (zh) 多个视图之间的移动
WO2016164181A1 (en) Gesture controlled display of content items
US10871886B2 (en) Device, method, and graphical user interface for moving drawing objects

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170731

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180620

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190618

R150 Certificate of patent or registration of utility model

Ref document number: 6545155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250