JP2020531985A - 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース - Google Patents

拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP2020531985A
JP2020531985A JP2020509514A JP2020509514A JP2020531985A JP 2020531985 A JP2020531985 A JP 2020531985A JP 2020509514 A JP2020509514 A JP 2020509514A JP 2020509514 A JP2020509514 A JP 2020509514A JP 2020531985 A JP2020531985 A JP 2020531985A
Authority
JP
Japan
Prior art keywords
user interface
computer system
environment
interface object
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020509514A
Other languages
English (en)
Other versions
JP6952877B2 (ja
Inventor
マーク， ケー． ハウエンシュタイン，
マーク， ケー． ハウエンシュタイン，
ジョセフ， エー． マリア，
ジョセフ， エー． マリア，
ジュリアン ミッシグ，
ジュリアン ミッシグ，
マシューズ クレン，
マシューズ クレン，
ルーカス ロバート トム ガーリング，
ルーカス ロバート トム ガーリング，
アミール ホフヌング，
アミール ホフヌング，
マタン ストーバー，
マタン ストーバー，
ジェフレイ， ティー． バーンスタイン，
ジェフレイ， ティー． バーンスタイン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority claimed from PCT/US2018/048884 external-priority patent/WO2019046597A1/en
Publication of JP2020531985A publication Critical patent/JP2020531985A/ja
Priority to JP2021158281A priority Critical patent/JP7324813B2/ja
Application granted granted Critical
Publication of JP6952877B2 publication Critical patent/JP6952877B2/ja
Priority to JP2023124668A priority patent/JP2023159124A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

コンピュータシステムは、拡張現実環境内に、視野のコンテンツが変化するにつれて更新される、対応する物理的オブジェクトを含む１つ以上のカメラの視野の少なくとも一部分の表現と、対応する仮想ユーザインタフェースオブジェクトとを、視野内の対応する物理的オブジェクトの位置に基づいて決定された仮想ユーザインタフェース内の対応する位置に、同時に表示する。表示された対応する仮想ユーザインタフェースオブジェクトに対応する位置での入力を検出している間に、１つ以上のカメラの視野内の対応する物理的オブジェクトに対する入力の移動を検出したことに応じて、システムは、対応する物理的オブジェクトに対する入力の移動の大きさに従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整する。

Description

本出願は、概して、拡張現実環境及び仮想現実環境と相互作用するための電子デバイスを含むが、これらに限定されない、仮想／拡張現実のためのコンピュータシステムに関する。
仮想／拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な仮想／拡張現実環境は、物理的世界を置き換える又は拡張する、少なくともいくつかの仮想要素を含む。仮想／拡張現実環境と相互作用するには、コンピュータシステム及び他の電子コンピューティングデバイスのタッチ感知面などの入力デバイスを使用する。例示的なタッチ感知面としては、タッチパッド、タッチ感知遠隔制御装置、及びタッチスクリーンディスプレイが挙げられる。これらの表面を使用して、ディスプレイ上で、ユーザインタフェース及びその中のオブジェクトを操作する。例示的なユーザインタフェースオブジェクトは、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む。
しかし、少なくともいくつかの仮想要素を含む環境（例えば、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインタフェースは、煩雑、非効率、かつ限定されたものである。例えば、一連の入力を使用して、１つ以上のユーザインタフェースオブジェクト（例えば、仮想／拡張現実環境内の１つ以上の仮想要素）を選択し、選択されたユーザインタフェースオブジェクトに関する１つ以上のアクションを実行することは、冗長であり、ユーザに著しい認識的負担を生じさせ、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギーを浪費する。後者の問題は、バッテリ動作デバイスにおいては特に重大である。
従って、拡張現実環境及び仮想現実環境と相互作用するための改善された方法及びインタフェースを備えたコンピュータシステムが必要とされている。そのような方法及びインタフェースは、任意選択的に、拡張現実環境及び仮想現実環境と相互作用するための従来の方法を補完する、又は置き換える。そのような方法及びインタフェースは、ユーザからの入力の数、範囲、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。バッテリ動作デバイスに関しては、そのような方法及びインタフェースは、電力を節約し、バッテリ充電間の時間を延ばす。
仮想／拡張現実のためのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるコンピュータシステムによって低減又は解消される。いくつかの実施形態では、コンピュータシステムは、デスクトップコンピュータを含む。いくつかの実施形態では、コンピュータシステムは、ポータブルである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えばウォッチなどのウェアラブル電子デバイス）を含む。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られている）を有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（graphical user interface、ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、部分的には、タッチ感知面におけるスタイラス及び／又は指による接触及びジェスチャを通してＧＵＩと相互作用する。いくつかの実施形態では、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、ビデオ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、及び／又はデジタルビデオ再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、拡張現実環境を表示することを含む。拡張現実環境を表示することは、対応する物理的オブジェクトを含む１つ以上のカメラの視野の少なくとも一部分の表現であって、表現は、１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、表現と、１つ以上のカメラの視野の表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、対応する仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、を同時に表示することを含む。この方法はまた、拡張現実環境を表示している間に、対応する仮想ユーザインタフェースオブジェクトに対応する位置での入力を検出することを含む。この方法は、入力を検出し続けている間に、１つ以上のカメラの視野内の対応する物理的オブジェクトに対する入力の移動を検出することと、１つ以上のカメラの視野内の対応する物理的オブジェクトに対する入力の移動を検出したことに応じて、対応する物理的オブジェクトに対する入力の移動の大きさに従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整することと、を更に含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、拡張現実環境を表示することを含む。拡張現実環境を表示することは、対応する物理的オブジェクトを含む１つ以上のカメラの視野の少なくとも一部分の表現であって、表現は、１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、表現と、１つ以上のカメラの視野の表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、対応する仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、を同時に表示することを含む。この方法はまた、拡張現実環境を表示している間に、拡張現実環境の仮想環境設定を変更する入力を検出することを含む。この方法は、仮想環境設定を変更する入力を検出したことに応じて、拡張現実環境の仮想環境設定になされた変更に従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整することと、１つ以上のカメラの視野の表現の少なくとも一部分にフィルタ適用することであって、フィルタは、仮想環境設定になされた変更に基づいて選択される、ことと、を更に含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、拡張現実環境を表示することを含む。拡張現実環境を表示することは、対応する物理的オブジェクトを含む１つ以上のカメラの視野の少なくとも一部分の表現であって、表現は、１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、表現と、１つ以上のカメラの視野の表現内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトであって、第１の仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに基づいて決定される位置を有する、第１の仮想ユーザインタフェースオブジェクトと、を同時に表示することを含む。この方法はまた、拡張現実環境を表示している間に、第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出することと、第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出したことに応じて、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野を表示することと、を含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネント及び入力デバイスを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクトを表示することを含む。この方法はまた、仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクトを表示している間に、入力デバイスを介して、第１の仮想ユーザインタフェースオブジェクトの対応する部分の選択及び２次元での第１の入力の移動を含む第１の入力を検出することを含む。この方法は、２次元での第１の入力の移動を含む第１の入力を検出したことに応じて、第１の仮想ユーザインタフェースオブジェクトの対応する部分が第１の仮想ユーザインタフェースオブジェクトの第１の部分であるとの判定に従って、２次元での第１の入力の移動及び選択された第１の仮想ユーザインタフェースオブジェクトの第１の部分に基づいて決定された第１の方向に、第１の仮想ユーザインタフェースオブジェクトの外観を調整することであって、第１の方向の第１の仮想ユーザインタフェースオブジェクトの調整は、仮想３次元空間の２次元の第１のセット内の移動に制約される、ことと、第１の仮想ユーザインタフェースオブジェクトの対応する部分が、第１の仮想ユーザインタフェースオブジェクトの第１の部分とは別個の第１の仮想ユーザインタフェースオブジェクトの第２の部分であるとの判定に従って、第１の方向とは異なる第２の方向に、第１の仮想ユーザインタフェースオブジェクトの外観を調整することであって、第２の方向は、２次元での第１の入力の移動及び選択された第１の仮想ユーザインタフェースオブジェクトの第２の部分に基づいて決定され、第２の方向の第１の仮想ユーザインタフェースオブジェクトの調整は、仮想３次元空間の２次元の第１のセットとは異なる仮想３次元空間の２次元の第２のセット内の移動に制約される、ことと、を更に含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、コンピュータシステムの物理的環境に対して向けられたシミュレートされた環境を第１の閲覧モードで表示することを含み、シミュレートされた環境を第１の閲覧モードで表示することは、コンピュータシステムの物理的環境に関連付けられたシミュレートされた環境内の第１の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトを表示することを含む。この方法はまた、シミュレートされた環境を表示している間に、１つ以上の姿勢センサを介して、物理的環境に対するコンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出することと、コンピュータシステムの一部分の姿勢の第１の変化を検出したことに応じて、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係を維持するように、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの外観を変更することと、を含む。この方法は、コンピュータシステムの一部分の姿勢の第１の変化に基づいて第１の仮想ユーザインタフェースオブジェクトの外観を変更した後に、入力デバイスを介して、シミュレートされた環境との相互作用に対応する第１のジェスチャを検出することと、シミュレートされた環境との相互作用に対応する第１のジェスチャを検出したことに応じて、第１のジェスチャに対応するシミュレートされた環境内での動作を実行することと、を更に含む。加えて、この方法は、第１のジェスチャに対応する動作を実行した後に、１つ以上の姿勢センサを介して、物理的環境に対するコンピュータシステムの一部分の姿勢の第２の変化を検出することと、コンピュータシステムの一部分の姿勢の第２の変化を検出したことに応じて、モード変更基準であって、モード変更基準は、第１のジェスチャが物理的環境に対するシミュレートされた環境の空間的パラメータを変更する入力に対応するという要件を含む、モード変更基準を第１のジェスチャが満たしたとの判定に従って、第１の閲覧モードで、仮想モデルを含むシミュレートされた環境を表示することから、第２の閲覧モードで、仮想モデルを含むシミュレートされた環境を表示することに遷移するであって、第２の閲覧モードでシミュレートされた環境内に仮想モデルを表示することは、第１の仮想ユーザインタフェースオブジェクトの外観を変更することを控えて、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係を維持することを含む、ことと、第１のジェスチャがモード変更基準を満たさなかったとの判定に従って、第１の閲覧モードでシミュレートされた環境内に第１の仮想モデルを表示し続けることであって、第１の閲覧モードで仮想モデルを表示することは、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係を維持するように、物理的環境に対するコンピュータシステムの一部分の姿勢の第２の変化に応じて、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの外観を変更することを含む、ことと、を含む。
いくつかの実施形態によれば、方法は、第１の表示生成コンポーネント、１つ以上の第１の姿勢センサ、及び第１の入力デバイスを有する第１のコンピュータシステムで実行される。この方法は、第１のコンピュータシステムの第１の表示生成コンポーネントを介して、第１のコンピュータシステムの第１の物理的環境に対して向けられたシミュレートされた環境を表示することであって、シミュレートされた環境を表示することは、第１のコンピュータシステムの第１の物理的環境に関連付けられたシミュレートされた環境内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトと、シミュレートされた環境の第２のコンピュータシステムの閲覧視点の視覚的インジケーションであって、第２のコンピュータシステムは、第２の表示生成コンポーネント、１つ以上の第２の姿勢センサ、及び第２の入力デバイスを有し、第２のコンピュータシステムの第２の表示生成コンポーネントを介して、第２のコンピュータシステムの第２の物理的環境に対して向けられたシミュレートされた環境のビューを表示している、コンピュータシステムである、視覚的インジケーションと、を同時に表示することを含む、ことを含む。この方法はまた、第１のコンピュータシステムの第１の表示生成コンポーネントを介してシミュレートされた環境を表示している間に、第２のコンピュータシステムの第２の物理的環境に対する第２のコンピュータシステムの一部分の姿勢の変化に基づいて、シミュレートされた環境の第２のコンピュータシステムの閲覧視点の変化を検出することを含む。この方法は、第２のコンピュータシステムの物理的環境に対する第２のコンピュータシステムの一部分の姿勢の変化に基づいて、シミュレートされた環境の第２のコンピュータシステムの閲覧視点の変化を検出したことに応じて、シミュレートされた環境の第２のコンピュータシステムの閲覧視点の変化に従って、第１のコンピュータシステムの第１の表示生成コンポーネントを介して表示されたシミュレートされた環境の第２のコンピュータシステムの閲覧視点の視覚的インジケーションを更新することを更に含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、シミュレートされた環境を表示することを含む。この方法はまた、シミュレートされた環境を表示している間に、入力デバイスを介して、シミュレートされた環境内の対応する位置に向けられた第１の入力を検出することを含む。この方法はまた、シミュレートされた環境内の対応する位置に向けられた第１の入力を検出したことに応じて、第１の入力が第１の入力形式であり、かつ第１の入力がシミュレートされた環境内の挿入カーソルの現在位置以外のシミュレートされた環境内の第１の位置で検出されたとの判定に従って、第１の位置に挿入カーソルを表示することと、第１の入力が第１の入力形式であり、かつ第１の入力が挿入カーソルの現在位置に対応するシミュレートされた環境内の第２の位置で検出されたとの判定に従って、第２の位置に第１のオブジェクトを挿入し、挿入カーソルを第１のオブジェクト上にある第３の位置に移動させることと、を含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上のカメラ、及び１つ以上の姿勢センサを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、拡張現実環境を表示することを含み、拡張現実環境を表示することは、物理的オブジェクトを含み、かつ１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、１つ以上のカメラの視野の少なくとも一部分の表現と、１つ以上のカメラの視野の表現内の対応する位置にある仮想ユーザインタフェースオブジェクトであって、１つ以上のカメラの視野の表現内の仮想ユーザインタフェースオブジェクトの対応する位置は、仮想ユーザインタフェースオブジェクトと１つ以上のカメラの視野の表現に含まれる物理的オブジェクトとの間の固定された空間的関係に基づいて決定される、仮想ユーザインタフェースオブジェクトと、を同時に表示することを含む。この方法はまた、拡張現実環境を表示している間に、１つ以上の姿勢センサを介して、コンピュータシステムの物理的環境に対するコンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出することを含む。この方法はまた、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の変化を検出したことに応じて、コンピュータシステムの一部分の姿勢の第１の変化に従って拡張現実環境を更新することを含み、拡張現実環境が非安定動作モードで表示されているとの判定に従って、コンピュータシステムの一部分の姿勢の第１の変化に従って拡張現実環境を更新することは、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の変化に基づく第１の調整量だけ、１つ以上のカメラの視野の一部分の表現を更新することと、仮想ユーザインタフェースオブジェクトの対応する位置を、仮想ユーザインタフェースオブジェクトと１つ以上のカメラの視野の表現に含まれる物理的オブジェクトとの間の固定された空間を維持するように選択された位置に更新することと、を含み、拡張現実環境が安定動作モードで表示されているとの判定に従って、コンピュータシステムの一部分の姿勢の第１の変化に従って拡張現実環境を更新することは、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の変化に基づき、かつ第１の調整量未満の第２の調整量だけ、１つ以上のカメラの視野の一部分の表現を更新することと、仮想ユーザインタフェースオブジェクトの対応する位置を、仮想ユーザインタフェースオブジェクトと１つ以上のカメラの視野の表現に含まれる物理的オブジェクトとの間の固定された空間的関係を維持するように選択された位置に更新することと、を含む。
いくつかの実施形態によれば、コンピュータシステムは、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、１つ以上の入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、１つ以上のプロセッサと、１つ以上のプログラムを記憶するメモリと、を含み（かつ／又はそれらと通信している）、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書で説明される方法のいずれかの動作を実行し又は実行させる命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、内部に命令を記憶しており、命令は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を含む（かつ／又はそれらと通信している）コンピュータシステムによって実行されると、コンピュータシステムに、本明細書で説明される方法のいずれかの動作を実行させる、又は動作の実行を行わせる。いくつかの実施形態によれば、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、任意選択的に、１つ以上の触知出力生成器、メモリ、及びメモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを含む（かつ／又はそれらと通信している）コンピュータシステム上のグラフィカルユーザインタフェースは、本明細書で説明される方法のいずれかにおいて表示される要素のうちの１つ以上を含み、要素は、本明細書で説明される方法のいずれかにおいて説明されるように、入力に応じて更新される。いくつかの実施形態によれば、コンピュータシステムは、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、任意選択的に、１つ以上の触知出力生成器、及び本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む（かつ／又はそれらと通信している）。いくつかの実施形態によれば、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を含む（かつ／又はそれらと通信している）コンピュータシステムに使用される情報処理装置は、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む。
従って、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を有する（かつ／又はそれらと通信している）コンピュータシステムは、拡張現実環境及び仮想現実環境と相互作用するための改善された方法及びインタフェースを備え、それによって、そのようなコンピュータシステムの有効性、効率、及びユーザ満足度を高める。そのような方法及びインタフェースは、拡張現実環境及び仮想現実環境と相互作用するための従来の方法を補完する、又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備えた例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、例示的なコンピュータシステムのブロック図である。 いくつかの実施形態に係る、例示的なコンピュータシステムのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ディスプレイと分離したタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、動的強度閾値の例を示す。 いくつかの実施形態に係る、動的強度閾値の例を示す。 いくつかの実施形態に係る、動的強度閾値の例を示す。
いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。
いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。
いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示す。
いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。
いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。
いくつかの実施形態に係る、拡張現実環境内の仮想ユーザインタフェースオブジェクトの外観を調整するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の仮想ユーザインタフェースオブジェクトの外観を調整するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の仮想ユーザインタフェースオブジェクトの外観を調整するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の仮想ユーザインタフェースオブジェクトの外観を調整するためのプロセスのフロー図である。
いくつかの実施形態に係る、拡張現実環境内のコンピュータシステムの１つ以上のカメラによってキャプチャされたライブ画像にフィルタを適用するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内のコンピュータシステムの１つ以上のカメラによってキャプチャされたライブ画像にフィルタを適用するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内のコンピュータシステムの１つ以上のカメラによってキャプチャされたライブ画像にフィルタを適用するためのプロセスのフロー図である。
いくつかの実施形態に係る、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するためのプロセスのフロー図である。
いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのプロセスのフロー図である。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのプロセスのフロー図である。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのプロセスのフロー図である。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのプロセスのフロー図である。 いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのプロセスのフロー図である。
いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのプロセスのフロー図である。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのプロセスのフロー図である。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのプロセスのフロー図である。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのプロセスのフロー図である。 いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのプロセスのフロー図である。
いくつかの実施形態に係る、第１のコンピュータシステムによって表示されるシミュレートされた環境内の第２のコンピュータシステムの閲覧視点のインジケーションを更新するためのプロセスのフロー図である。 いくつかの実施形態に係る、第１のコンピュータシステムによって表示されるシミュレートされた環境内の第２のコンピュータシステムの閲覧視点のインジケーションを更新するためのプロセスのフロー図である。 いくつかの実施形態に係る、第１のコンピュータシステムによって表示されるシミュレートされた環境内の第２のコンピュータシステムの閲覧視点のインジケーションを更新するためのプロセスのフロー図である。
いくつかの実施形態に係る、挿入カーソルの配置のためのプロセスのフロー図である。 いくつかの実施形態に係る、挿入カーソルの配置のためのプロセスのフロー図である。 いくつかの実施形態に係る、挿入カーソルの配置のためのプロセスのフロー図である。 いくつかの実施形態に係る、挿入カーソルの配置のためのプロセスのフロー図である。
いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのプロセスのフロー図である。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのプロセスのフロー図である。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのプロセスのフロー図である。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのプロセスのフロー図である。 いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのプロセスのフロー図である。
拡張現実環境は、現実が、物理的世界で利用できない追加情報をユーザに提供する補足情報で拡張される環境である。拡張現実環境と相互作用する（例えば、補足情報にアクセスするために）従来の方法は、多くの場合、意図された結果を達成するために、別個の多数の入力（例えば、一連のジェスチャ及びボタン押圧など）を必要とする。更に、従来の入力方法は、多くの場合、範囲内に限定される（例えば、コンピュータシステムのタッチ感知ディスプレイのサイズによって）。本明細書の実施形態は、ユーザが（例えば、コンピュータシステムの移動とコンピュータシステムの入力デバイス（例えば、タッチスクリーンディスプレイ）上の接触の移動との組み合わせに基づいて仮想ユーザインタフェースオブジェクトの外観を調整することによって、及びコンピュータシステムの１つ以上のカメラによってキャプチャされたライブ画像に、拡張現実環境の仮想環境設定に基づいて選択されるフィルタをリアルタイムで適用することによって）拡張現実環境と相互作用するための直感的な方法を提供する。
加えて、仮想／拡張現実環境との従来の相互作用は、一般に、単一の視点（例えば、デバイスを装着／保持しているユーザの視点から）に限定される。本明細書の実施形態は、仮想ユーザインタフェースオブジェクトの視点からの（例えば、拡張現実環境内の自動車又は人の視点からの）仮想現実環境内の（例えば、物理的オブジェクトの）仮想モデルのシミュレートされたビューを提示することによって、仮想／拡張現実環境を体験するための、より没入型かつ直感的な方法を提供する。
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインタフェース相互作用を改善する。例えば、それらは、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境及び／又は内部のオブジェクトの外観を調整すること、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移すること、並びに仮想ユーザインタフェースオブジェクトの３次元操作をより容易にする。
以下、図１Ａ〜図１Ｂ、図２、及び図３Ａ〜３Ｃは、例示的なデバイスの説明を提供する。図４Ａ〜図４Ｂ、図５Ａ１〜図５Ａ４０、図５Ｂ１〜図５Ｂ４１、図５Ｃ１〜図５Ｃ３０、図５Ｄ１〜図５Ｄ１４、図５Ｅ１〜図５Ｅ３２、及び図５Ｆ１〜図５Ｆ１７は、いくつかの実施形態に係る、表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトと相互作用する複数のユーザのためのシステム及びユーザインタフェースの例を示し、いくつかの実施形態に係る、拡張現実環境を表示することと、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整することと、拡張現実環境内の仮想モデルを閲覧することと仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移することと、仮想ユーザインタフェースオブジェクトの３次元操作と、を含む、拡張現実環境及び仮想現実環境と相互作用するための例示的なユーザインタフェースを示す。図６Ａ〜図６Ｄは、いくつかの実施形態に係る、拡張現実環境内の仮想ユーザインタフェースオブジェクトの外観を調整する方法のフロー図を示す。図７Ａ〜図７Ｃは、いくつかの実施形態に係る、拡張現実環境内のコンピュータシステムの１つ以上のカメラによってキャプチャされたライブ画像にフィルタを適用する方法のフロー図を示す。図８Ａ〜図８Ｃは、いくつかの実施形態に係る、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移する方法のフロー図を示す。図９Ａ〜図９Ｅは、いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作の方法のフロー図を示す。図１０Ａ〜図１０Ｅは、いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移する方法のフロー図を示す。図１１Ａ〜図１１Ｃは、いくつかの実施形態に係る、第１のコンピュータシステムによって表示されるシミュレートされた環境内の第２のコンピュータシステムの閲覧視点のインジケーションを更新する方法のフロー図を示す。図１２Ａ〜図１２Ｄは、いくつかの実施形態に係る、挿入カーソルの配置の方法のフロー図を示す。図１３Ａ〜図１３Ｅは、いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示する方法のフロー図を示す。
図５Ａ１〜図５Ａ４０、図５Ｂ１〜図５Ｂ４１、図５Ｃ１〜図５Ｃ３０、図５Ｄ１〜図５Ｄ１４、図５Ｅ１〜図５Ｅ３２、及び図５Ｆ１〜図５Ｆ１７のユーザインタフェースを使用して、図６Ａ〜図６Ｄ、図７Ａ〜図７Ｃ、図８Ａ〜図８Ｃ、図９Ａ〜図９Ｅ、図１０Ａ〜図１０Ｅ、図１１Ａ〜図１１Ｃ、図１２Ａ〜図１２Ｄ、及び図１３Ａ〜図１３Ｅのプロセスを示す。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態への詳細な参照が行われる。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、記載されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭にしないよう詳細には説明されていない。
本明細書では、第１、第２などの用語は、いくつかの実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１の接触は、第２の接触と称することができ、同様に、第２の接触は、第１の接触と称し得る。第１の接触及び第２の接触は両方とも接触であるが、文脈がそうではないことを明確に示さない限り、それらは同じ接触ではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
本明細書に記載される場合、用語「ｉｆ（〜の場合）」は、任意選択で、文脈に依存して「ｗｈｅｎ（〜のとき）」、「ｕｐｏｎ（〜すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定したことに応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（〜を検出したことに応じて）」を意味するものと解釈される。同様に、「〜と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応じて、「〜と判定したとき（upon determining）」若しくは「〜と判定したことに応じて（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応じて（in response to detecting [the stated condition or event]）」を意味すると解釈される。
仮想／拡張現実のためのコンピュータシステムは、仮想／拡張現実環境を生成する電子デバイスを含む。電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含むが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスが任意選択で使用される。いくつかの実施形態では、デバイスは、ポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有し、１つ以上のカメラも含む又はそれと通信している、デスクトップコンピュータであることも理解されたい。
以下の説明では、ディスプレイ及びタッチ感知面を有する（かつ／又はそれらと通信している）電子デバイスを含むコンピュータシステムを説明する。しかしながら、コンピュータシステムは、物理キーボード、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラなどの、１つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。
デバイスは、典型的には、ゲームアプリケーション、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの、様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイスによって表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透過的なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、単にタッチ感知ディスプレイと呼ばれる場合もある。デバイス１００は、メモリ１０２（任意選択で、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、音声回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、その他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、（例えば、１つ以上のカメラの一部として）１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は任意選択で、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出する１つ以上の強度センサ１６５を含む。デバイス１００は、任意選択で、デバイス１００上で触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６３を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。従って、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触知出力を使用して触覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減させ、デバイスの電池寿命を改善する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。ＣＰＵ（単数又は複数）１２０及び周辺機器インタフェース１１８などのデバイス１００の他の構成要素によるメモリ１０２へのアクセスは任意選択で、メモリコントローラ１２２により制御される。
周辺機器インタフェース１１８が使用され、デバイスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）１２０及びメモリ１０２と結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。
いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ（単数又は複数）１２０、及びメモリコントローラ１２２は任意選択で、チップ１０４などの単一チップ上で実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は任意選択で、移動通信のためのグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ａｃ、ＩＥＥＥ ８０２．１１ａｘ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／若しくはＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、それらに限定されない、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に伝送する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に伝送する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、音声回路１１０は、更にヘッドセットジャック（例えば、２１２、図２）も含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２及びその他の入力又は制御デバイス１１６などのデバイス１００上の入出力周辺機器を周辺機器インタフェース１１８と結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、その他の入力又は制御デバイス１１６から電気信号を受信し、それらへ電気信号を送信する。その他の入力又は制御デバイス１１６は任意選択で、物理的ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）１６０は任意選択で、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、及び／又はマウスなどのポインタデバイスのうちのいずれかと結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば、２０８、図２）は、任意選択で、スピーカ１１１及び／又はマイクロフォン１１３の音量制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択で、プッシュボタン（例えば、２０６、図２）を含む。
タッチ感知ディスプレイシステム１１２は、デバイスとユーザの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、及び／又はタッチ感知ディスプレイシステム１１２へ電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザに視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又はすべては、ユーザインタフェースオブジェクトに対応する。本明細書で使用されるように、用語「アフォーダンス」は、ユーザ−対話形式のグラフィカルユーザインタフェースオブジェクト（例えば、グラフィカルユーザインタフェースオブジェクトに向かって方向付けられた入力に応答するように構成されているグラフィカルユーザインタフェースオブジェクト）を指す。ユーザ対話形式のグラフィカルユーザインタフェースオブジェクトの例は、ボタン、スライダ、アイコン、選択可能メニュー項目、スイッチ、ハイパーリンク、又はその他のユーザインタフェース制御を含むが、それらに限定されない。
タッチ感知ディスプレイシステム１１２は、触覚及び／又は触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。（メモリ１０２内の任意の関連するモジュール及び／又は命令セットとともに）タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２上の接触（及び、接触の任意の移動又は中断）を検出し、検出された接触をタッチ感知ディスプレイシステム１１２上で表示されるユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との相互作用に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム１１２とユーザとの間の接触点は、ユーザの指又はスタイラスに対応する。
タッチ感知ディスプレイシステム１１２は任意選択で、ＬＣＤ（liquid crystal display）（液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display）（発光ポリマディスプレイ）技術、又はＬＥＤ（light emitting diode）（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は任意選択で、容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びに、タッチ感知ディスプレイシステム１１２との１つ以上の接触点を判定するためのその他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の又は後に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその任意の移動又は中断を検出する。いくつかの実施形態では、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などにおいて見られるような、投影型相互キャパシタンス検知技術が使用される。
タッチ感知ディスプレイシステム１１２は任意選択で、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンの映像解像度は、４００ｄｐｉを超える（例えば、５００ｄｐｉ、８００ｄｐｉ、又はより高い）。ユーザは任意選択で、スタイラス、指などの任意の適切な物体又は付属物を使用して、タッチ感知ディスプレイシステム１１２と接触する。いくつかの実施形態では、ユーザインタフェースは、指に基づく接触及びジェスチャで機能するように設計されるが、これらは、タッチスクリーン上での指の接触面積がスタイラスの接触面積よりも大きいことに起因して、スタイラスに基づく入力よりも精度が低い場合がある。いくつかの実施形態では、デバイスは、指に基づく粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、装置のタッチ感知エリアである。タッチパッドは任意選択で、タッチ感知ディスプレイシステム１１２と分離したタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス１００は、また、様々なコンポーネントに電力を供給する電力システム１６２を含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス１００はまた、（例えば、１つ以上のカメラの一部として）１つ以上の光センサ１６４を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８と結合された光センサを示す。光センサ（単数又は複数）１６４は、任意選択で、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化膜半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ（単数又は複数）１６４は、１つ以上のレンズを通じて投影された、環境からの光を受信し、画像を表すデータに光を変換する。撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、光センサ（単数又は複数）１６４は任意選択で、静止画像及び／又はビデオをキャプチャする。いくつかの実施形態では、タッチスクリーンを静止画像及び／又はビデオ画像取得のためのビューファインダとして使用することができるように、光センサは、デバイスの前面上のタッチ感知ディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。いくつかの実施形態では、ユーザの画像が取得されるように（例えば、自撮りのため、ユーザがタッチスクリーン上で他のビデオ会議参加者を見ている間のビデオ会議のためなど）、別の光センサがデバイスの前面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９と結合された接触強度センサを示す。接触強度センサ（単数又は複数）１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を任意選択で含む。接触強度センサ（単数又は複数）１６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報のためのプロキシ）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接している。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面上に位置するタッチスクリーンディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８と結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０と結合される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき（例えば、ユーザが電話通話を行っているとき）、近接センサは、タッチ感知ディスプレイシステム１１２をターンオフ及び無効にする。
また、デバイス１００は、任意選択的に、１つ以上の触知出力生成器１６３を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１と結合され触知出力生成器を示す。いくつかの実施形態では、触知出力生成器（単数又は複数）１６３は、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを線形の動きに変換する電気機械デバイスを含む。触知出力生成器（単数又は複数）１６３は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面上に位置するタッチ感知ディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。
デバイス１００はまた、デバイスの位置（例えば、姿勢）に関する情報を得るための、１つ以上の加速度計１６７、ジャイロスコープ１６８、及び／又は磁気計１６９（例えば、慣性測定ユニット（inertial measurement unit、ＩＭＵ）の一部として）を、任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された、センサ１６７、１６８、及び１６９を示す。あるいは、センサ１６７、１６８、及び１６９は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に、任意選択的に結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信されたデータの分析に基づいて、縦長ビュー又は横長ビュー内でタッチスクリーンディスプレイ上に表示される。デバイス１００は、デバイス１００の場所に関する情報を得るためのＧＰＳ（若しくはＧＬＯＮＡＳＳ又は他の全地球的航法システム）受信機（図示せず）を任意選択的に含む。
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は、命令セット）１２８、接触／動きモジュール（又は、命令セット）１３０、グラフィックモジュール（又は、命令セット）１３２、触覚フィードバックモジュール（又は、命令セット）１３３、テキスト入力モジュール（又は、命令セット）１３４、全地球測位システム（Global Positioning System）（ＧＰＳ）モジュール（又は、命令セット）１３５、及びアプリケーション（又は、命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示されるように、メモリ１０２は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチ感知ディスプレイシステム１１２の様々な領域を占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス１１６から取得される情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置及び／若しくは位置情報、のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、ｉＯＳ、Ａｎｄｒｏｉｄ、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）は、全体的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素の間の通信を促進する。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えばユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイス内で使用される３０ピンコネクタと同一若しくは類似した、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスにおいて使用されるＬｉｇｈｔｎｉｎｇコネクタと同一若しくは類似した、及び／又は互換性のあるＬｉｇｈｔｎｉｎｇコネクタである。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかの電子デバイス内で使用されるＵＳＢ Ｔｙｐｅ−Ｃコネクタと同一若しくは類似した、かつ／又は互換性のあるＵＳＢ Ｔｙｐｅ−Ｃコネクタである。
接触／動きモジュール１３０は任意選択で、タッチ感知ディスプレイシステム１１２との接触（ディスプレイコントローラ１５６と連携して）、及び他のタッチ感知デバイスとの接触（例えば、タッチパッド又は物理クリックホイール）を検出する。接触／動きモジュール１３０は、接触が発生したかを判定すること（例えば、指ダウンイベントを検出する）、接触の強度を判定すること（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力に代替するもの）、接触の移動があるかを判定すること及びタッチ感知面を横切る移動を追跡すること（例えば、１つ以上の指のドラッグイベントを検出する）、及び接触が停止したかどうかを判定すること（例えば、指アップイベント又は接触の中断を検出する）などの、接触の検出（例えば、指又はスタイラスによる）に関連する様々な動作を実行するためのソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択で、単一の接触（例えば、１本の指の接触又はスタイラスの接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。従って、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて（例えば、アイコンの位置での）そのフィンガダウンイベントと同一の位置（又は、実質的に同一の位置）でのフィンガアップ（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上の指のスワイプジェスチャを検出することは、フィンガダウンイベントを検出し、続いて１つ以上の指のドラッグイベントを検出し、その後、フィンガアップ（リフトオフ）イベントを検出することを含む。同様に、タップ、スワイプ、ドラッグ、及び他のジェスチャは、任意選択で、スタイラスに対して、スタイラスに対する特定の接触パターンを検出することにより、検出される。
いくつかの実施形態では、指のタップジェスチャを検出することは、指ダウンイベントを検出することと指アップイベントを検出することとの間の時間の長さに依存するが、指ダウンイベントを検出することと指アップイベントを検出することとの間の指の接触の強度とは関連しない。いくつかの実施形態では、タップジェスチャは、タップの間の指の接触の強度が、軽い押圧又は深い押圧強度閾値などの所与の強度閾値を満たす（名目上の接触検出強度閾値よりも大きい）かに関わらず、指ダウンイベントと指アップイベントの間の時間の長さが予め定められた値よりも短い（例えば、０．１、０．２、０．３、０．４又は０．５秒よりも短い）との判定に従って検出される。従って、指のタップジェスチャは、特定の入力基準が満たされるために、接触の特性強度が所与の強度閾値を満たすことを必要としない特定の入力基準を満たすことができる。明確にするために、タップジェスチャにおける指の接触は一般的に、指ダウンイベントを検出するために、それを下回ると接触が検出されない名目上の接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによるタップジェスチャ又は他の接触を検出することに適用される。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することが可能なケースでは、名目上の接触検出強度閾値は任意選択で、指又はスタイラスとタッチ感知面の間の物理的接触に対応しない。
同様の方式で、同一の概念が他のタイプのジェスチャに適用される。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び／又は長い押圧ジェスチャは任意選択で、ジェスチャに含まれる接触の強度と関係しない、又は認識されるためにジェスチャを実行する接触が強度閾値に到達することを必要としないのいずれかである基準を満たすことに基づいて検出される。例えば、スワイプジェスチャは、１つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、相互に向かう２つ以上の接触の移動に基づいて検出され、デピンチジェスチャは、相互に離れる２つ以上の接触の移動に基づいて検出され、長い押圧ジェスチャは、閾値移動量よりも小さいタッチ感知面上の接触の期間に基づいて検出される。従って、特定のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを特定のジェスチャ認識基準が必要としないという記述は、ジェスチャにおける接触（複数可）が対応する強度閾値に到達しない場合に特定のジェスチャ認識基準が満たされることが可能であること、及びジェスチャにおける接触のうちの１つ以上が対応する強度閾値に到達する、又は強度閾値を超える状況で満たされることも可能であることを意味する。いくつかの実施形態では、タップジェスチャは、接触が所定の期間の間にそれぞれの強度閾値を上回るか又は下回るかに関わらず、指ダウンイベント及び指アップイベントが所定の期間内で検出されたという判定に基づいて検出され、スワイプジェスチャは、接触が接触の移動の終わりにそれぞれの強度閾値を上回る場合でさえ、接触の移動が所定の大きさよりも大きいという判定に基づいて検出される。ジェスチャの検出がジェスチャを実行する接触の強度によって影響される実施態様でさえ（例えば、接触の強度が強度閾値を上回るときにデバイスが長い押圧をより素早く検出し、又は接触の強度がより高いときにデバイスがタップ入力の検出に遅れる）、接触が特定の強度閾値に到達しない状況でジェスチャを認識する基準を満たすことができる限り（例えば、ジェスチャを認識するために要する時間量が変化する場合でさえ）、それらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。
接触強度閾値、期間閾値、及び移動閾値は、一部の状況では、同一の入力要素又は領域に方向付けられる２つ以上の異なるジェスチャを区別するためのヒューリスティックを作成するために、様々な異なる組み合わせで組み合わされ、それによって、同一の入力要素との複数の異なる相互作用がより豊かなセットのユーザ相互作用及び応答を提供するように有効化される。特定のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことをジェスチャ認識基準の特定のセットが必要としない記述は、ジェスチャが対応する強度閾値を上回る強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度依存ジェスチャ認識基準の同時評価を排除しない。例えば、いくつかの状況では、第１のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを必要としない第１のジェスチャのための第１のジェスチャ認識基準は、対応する強度閾値に到達する接触（複数可）に依存する第２のジェスチャのための第２のジェスチャ認識基準との競争関係にある。そのような競争では、ジェスチャは任意選択で、第２のジェスチャのための第２のジェスチャ認識基準が最初に満たされる場合に、第１のジェスチャのための第１のジェスチャ認識基準を満たすものとして認識されない。例えば、接触が所定の移動量を移動する前に接触が対応する強度閾値に到達する場合、スワイプジェスチャではなく深い押圧ジェスチャが検出される。逆に、接触が対応する強度閾値に到達する前に接触が所定の移動量を移動する場合、深い押圧ジェスチャではなくスワイプジェスチャが検出される。そのような状況でさえ、第１のジェスチャのための第１のジェスチャ認識基準は、第１のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことをなおも必要としないが、これは、ジェスチャの終わりまで接触が対応する強度閾値を下回ったままであった場合（例えば、対応する強度閾値を上回る強度まで増加しない接触を有するスワイプジェスチャ）、ジェスチャは、スワイプジェスチャとして第１のジェスチャ認識基準によって認識されているからである。そのようにして、特定のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、（Ａ）いくつかの状況では、強度閾値（例えば、タップジェスチャのための）に関して接触の強度を無視し、及び／又は（Ｂ）いくつかの状況では、特定のジェスチャ認識基準が入力に対応するジェスチャ（例えば、認識のための深い押圧ジェスチャと競争する長い押圧ジェスチャのための）を認識する前に、強度依存ジェスチャ認識基準の競争するセット（例えば、深い押圧ジェスチャのための）が強度依存ジェスチャに対応するものとして入力を認識する場合、特定のジェスチャ認識基準（例えば、長い押圧ジェスチャのための）が機能しないという意味で、強度閾値に関して接触の強度になおも依存している。
加速度計１６７、ジャイロスコープ１６８、及び／又は磁気計１６９と連動して、姿勢モジュール１３１は、特定の座標系内のデバイスの姿勢（例えば、ロール、ピッチ、及び／又はヨー）などの、デバイスに関する姿勢情報を任意選択的に検出する。姿勢モジュール１３１は、デバイスの位置の検出及びデバイスの姿勢の変化の検出に関係する、様々な動作を実行するためのソフトウェア構成要素を含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチ感知ディスプレイシステム１１２又は他のディスプレイ上でグラフィックをレンダリング及び表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用される場合、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、及びアニメーションなどを含むがこれらに限定されない、ユーザに対して表示することができるいずれかのオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ相互作用に応じて、触知出力生成器（単数又は複数）１６３を使用してデバイス１００上の１つ以上の位置において触知出力を作成する命令（例えば、触覚フィードバックコントローラ１６１によって使用される命令）を生成する様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために（例えば、位置に基づく電話発信で使用するために電話１３８へ、写真／ビデオのメタデータとしてカメラ１４３へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及びマップ／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
仮想／拡張現実モジュール１４５は、拡張現実機能、いくつかの実施形態では、仮想現実機能を実装するアプリケーション１３６に、仮想現実論理及び／又は拡張現実論理を提供する。仮想／拡張現実モジュール１４５は、１つ以上のカメラの視野の少なくとも一部分の表現への、仮想ユーザインタフェースオブジェクトなどの仮想コンテンツの重ね合わせを容易にする。例えば、仮想／拡張現実モジュール１４５からの支援により、１つ以上のカメラの視野の少なくとも一部分の表現は、対応する物理的オブジェクトを含んでもよく、仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに基づいて判定される、表示された拡張現実環境、又はコンピュータシステムの少なくとも一部分の姿勢（例えば、ユーザインタフェースをコンピュータシステムのユーザに表示するために使用される表示デバイスの姿勢）に基づいて判定される、仮想現実環境内の位置に表示されてもよい。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（時には、アドレス帳又は連絡先リストとも呼ぶ）、
●電話モジュール１３８、
●ビデオ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●気象ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９−６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオプレーヤモジュール及び音楽プレーヤモジュールから構成されている、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●マップモジュール１５４、及び／又は
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４とともに、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するための実行可能命令を含み、それには、アドレス帳に名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号及び／又は電子メールアドレスを提供して、電話１３８、ビデオ会議１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／若しくは促進すること、などが含まれる。
ＲＦ回路１０８、音声回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を変更し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断し又は電話を切る実行可能命令を含む。上述のように、無線通信は、任意選択で、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
ＲＦ回路１０８、音声回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８と連携して、ビデオ会議モジュール１３９は、ユーザの命令に従って、ユーザと１人以上の他の参加者の間のビデオ会議を開始し、行い、終了する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール１４４と連動して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージモジュール１４１は、インスタントメッセージに対応する一連の文字を入力し、前に入力された文字を修正し、それぞれのインスタントメッセージを送信し（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ Ｐｕｓｈ Ｎｏｔｉｆｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＡＰＮｓ）、若しくはＩＭＰＳを使用して）、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、送信及び／又は受信されたインスタントメッセージは任意選択で、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書で使用される場合、「インスタントメッセージ」は、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されたメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、又はＩＭＰＳを使用して送信されたメッセージ）の両方を指す。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、マップモジュール１５４、並びにビデオ及び音楽プレーヤモジュール１５２と連携して、トレーニングサポートモジュール１４２は、トレーニングを作成し（例えば、時間、距離、及び／又はカロリー消費目標を有する）、（スポーツデバイス及びスマートウォッチ内の）トレーニングセンサと通信し、トレーニングセンサデータの受信、トレーニングをモニタするために使用されるセンサの較正、トレーニングのための音楽を選択して再生する、並びに、トレーニングデータを表示し、記憶し、送信する、実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４とともに、カメラモジュール１４３は、静止画像又はビデオ（ビデオストリームを含む）をキャプチャしてメモリ１０２にそれらを記憶する、静止画像又はビデオの特性を変更する、及び／又はメモリ１０２から静止画像若しくはビデオを削除する、実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３とともに、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、変更し（例えば、編集し）、又はその他の方式で操作し、ラベルを付け、削除し、提示し（例えば、デジタルスライドショー又はアルバム内で）、並びに記憶する、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４とともに、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付ファイル及び他のファイルの、検索、リンク付け、受信、及び表示を含め、ユーザの命令に従って、インターネットをブラウズする、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７とともに、カレンダモジュール１４８は、ユーザの命令に従って、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、するべきことのリストなど）を作成、表示、変更、及び記憶する、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７とともに、ウィジェットモジュール１４９は、任意選択で、ユーザによってダウンロードされ使用されるミニアプリケーション（例えば、気象ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９−６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language；ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets；カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language：拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットクリエータモジュール１５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットに変える）実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの命令に従って、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索する実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、音声回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された記録された音楽又は他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能命令、並びにビデオを表示し、提示し、又はその他の方式で再生する（例えば、タッチ感知ディスプレイシステム１１２上で、又は無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ社の商標）などのＭＰ３プレーヤの機能を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの命令に従って、メモ、するべきことのリストなどを作成及び管理する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、マップモジュール１５４は、ユーザの命令に従って、地図及び地図と関連付けられたデータ（例えば、運転方向、特定の位置における又はその近くの店舗及び対象となる他の地点についてのデータ、並びに位置に基づく他のデータ）を受信し、表示し、変更し、記憶する実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、音声回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、受信し（例えば、ストリーミング及び／又はダウンロードにより）、再生し（例えば、タッチスクリーン１１２上で、又は無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）、特定のオンラインビデオへのリンクを有する電子メールを送信し、別の方法で管理することを可能にする実行可能命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。
上記特定されたモジュール及びアプリケーションの各々は、上記説明された１つ以上の機能、並びに本出願で説明される方法（例えば、コンピュータにより実行される方法、及び本明細書で説明される他の情報処理方法）を実行する実行可能な命令セットに対応する。それらのモジュール（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において、組み合わされ、又はその他の方式で再配置される。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを通じて実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される所定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」は、タッチ感知面を使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチ感知面の代わりに、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａにおける）又は３７０（図３Ａ）は、イベントソート部１７０（例えば、オペレーティングシステム１２６内）及びそれぞれのアプリケーション１３６−１（例えば、上述したアプリケーション１３６、１３７〜１５５、３８０〜３９０のいずれか）を含む。
イベントソート部１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６−１及びアプリケーション１３６−１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイシステム１１２上で表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソート部１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を決定するためにイベントソート部１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６−１が実行を再開するときに使用される再開情報、アプリケーション１３６−１によって表示されている又は表示される準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６−１の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザが行った以前のアクションのリドゥ／アンドゥ待ち行列のうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイシステム１１２上のユーザのタッチ）についての情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６７、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝送する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を伝送する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、予め定められたノイズ閾値を上回り、及び／又は予め定められた期間よりも長い入力を受信すること）が存在するときのみ、イベント情報を送信する。
いくつかの実施形態では、イベントソート部１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が２つ以上のビューを表示するとき、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始するサブイベント（すなわち、イベント又は潜在的なイベントを形成する一連のサブイベントにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、ヒットビューは典型的には、それがヒットビューとして特定された同一のタッチ又は入力元に関連する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受け付けるべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、従って、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連するエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態において、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２によって取得されたイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソート部１７０を含む。代替として、アプリケーション１３６−１がイベントソート部１７０を含む。更に他の実施形態では、イベントソート部１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。
いくつかの実施形態では、アプリケーション１３６−１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）又はアプリケーション１３６−１が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、対応するイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８及び／又はイベントソート部１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は任意選択で、アプリケーション内部状態１９２を更新するために、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し、又は呼び出す。代わりに、アプリケーションビュー１９１のうちの１つ以上は、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソート部１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソート部１７０からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７−１）及びイベント２（１８７−２）などのイベント（例えば所定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント１８７におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの中止、及び複数のタッチを含む。一例では、イベント１（１８７−１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の予め定められた段階についての第１のタッチ（タッチの始め）、予め定められた段階についての第１のリフトオフ（タッチの終わり）、表示されたオブジェクト上の予め定められた段階についての第２のタッチ（タッチの始め）、及び予め定められた段階についての第２のリフトオフ（タッチの終わり）を含む。別の例では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上の予め定められた段階についてのタッチ（又は、接触）、タッチ感知ディスプレイシステム１１２を横切るタッチの移動、及びタッチのリフトオフ（タッチの終わり）を含む。いくつかの実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部１９０に関する情報を含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイシステム１１２上で表示されるアプリケーションビューにおいて、タッチ感知ディスプレイシステム１１２上でタッチが検出されたとき、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定するためにヒットテストを実行する。表示された各オブジェクトが、対応するイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント１８７の定義は、一連のサブイベントがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のいずれのイベントとも一致しないと判断した場合には、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、対応するイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように相互作用するか、又はイベント認識部が互いにどのように相互作用することができるようになっているかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントと関連付けられたフラグを投入し、そのフラグと関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新するか、又はビデオ及び音楽プレーヤモジュール１５２で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含むか又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、そのすべてがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、１つ以上のカメラによって取得されたビデオ画像のリアルタイム解析に基づく入力、デバイスの移動、口頭による命令、検出された目の動き、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図２は、いくつかの実施形態に係る、タッチスクリーン（例えば、タッチ感知ディスプレイシステム１１２、図１Ａ）を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。これらの実施形態、並びに後述する実施形態では、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することが可能になる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択で含む。いくつかの実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００は、任意選択で、「ホーム」又はメニューボタン２０４などの１つ以上の物理的ボタンも含む。前述のように、メニューボタン２０４は、任意選択で、デバイス１００上で任意選択的に実行される、アプリケーションのセットにおける任意のアプリケーション１３６にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイ上で表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４（ホームボタン２０４と呼ばれる場合がある）、デバイスへの電源供給のオン／オフ及びデバイスのロックのためのプッシュボタン２０６、音量調節ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、ドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、所定の期間が経過する前にボタンを解放することによって、デバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。いくつかの実施形態では、デバイス１００は、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力をも受け入れる。デバイス１００はまた任意選択で、タッチ感知ディスプレイシステム１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６３を含む。
図３Ａは、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ゲームシステム、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インタフェース３６０と、メモリ３７０と、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０とを含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、任意選択的にタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（input/output、Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０は、任意選択で、キーボード及び／又はマウス（又は、他のポインティングデバイス）３５０、並びにタッチパッド３５５、（例えば、図１Ａを参照して上記説明された触知出力生成器（単数又は複数）１６３と同様の）デバイス３００上で触知出力を生成するための触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上記説明された接触強度センサ（単数又は複数）１６５と同様の接触強度センサ）をも含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択で、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、ＣＰＵ３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造に類似するプログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更に、メモリ３７０は任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は任意選択で、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択で、それらのモジュールを記憶しない。
上記特定された図３Ａにおける要素の各々は、任意選択で、前に言及したメモリデバイスのうちの１つ以上に記憶される。上記で特定されたモジュールの各々は、上記で説明された機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、従って、これらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において組み合わされる、又は他の方法で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
図３Ｂ〜図３Ｄは、いくつかの実施形態に係る、例示的なコンピュータシステム３０１のブロック図である。
いくつかの実施形態では、コンピュータシステム３０１は、以下のものを含む、及び／又はそれらと通信している。
●入力デバイス（単数又は複数）（３０２及び／又は３０７、例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）、
●仮想／拡張現実論理３０３（例えば、仮想／拡張現実モジュール１４５）、
●仮想ユーザインタフェース要素をユーザに表示するための表示生成コンポーネント（単数又は複数）（３０４及び／又は３０８、例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）、
●デバイスの視野の画像、例えば、仮想ユーザインタフェース要素の配置を判定し、デバイスの姿勢を判定し、及び／又はカメラ（単数又は複数）が位置する物理的環境の一部分を表示するために使用される画像をキャプチャするためのカメラ（単数又は複数）（例えば、３０５及び／又は３１１）、
●物理的環境に対するデバイスの姿勢及び／又はデバイスの姿勢の変化を判定するための姿勢センサ（単数又は複数）（例えば、３０６及び／又は３１１）。
いくつかのコンピュータシステム（例えば、図３Ｂの３０１−ａ）では、入力デバイス（単数又は複数）３０２、仮想／拡張現実論理３０３、表示生成コンポーネント（単数又は複数）３０４、カメラ（単数又は複数）３０５、及び姿勢センサ（単数又は複数）３０６は全て、コンピュータシステム（例えば、スマートフォン又はタブレットなどの図１Ａ〜図１Ｂのポータブル多機能デバイス１００又は図３のデバイス３００）に統合される。
いくつかのコンピュータシステム（例えば、３０１−ｂ）では、統合された入力デバイス（単数又は複数）３０２、仮想／拡張現実論理３０３、表示生成コンポーネント（単数又は複数）３０４、カメラ（単数又は複数）３０５、及び姿勢センサ（単数又は複数）３０６に加えて、コンピュータシステムはまた、タッチ感知面、ワンド、リモートコントロールなどの別個の入力デバイス（単数又は複数）３０７、並びに／又は物理的環境上に仮想オブジェクトを重ね合わせる仮想現実ヘッドセット若しくは拡張現実眼鏡などの別個の表示生成コンポーネント（単数又は複数）３０８などの、コンピュータシステムとは別個の追加のデバイスと通信している。
いくつかのコンピュータシステム（例えば、図３Ｃの３０１−ｃ）では、入力デバイス（単数又は複数）３０７、表示生成コンポーネント（単数又は複数）３０９、カメラ（単数又は複数）３１１、及び／又は姿勢センサ（単数又は複数）３１２は、コンピュータシステムとは別個であり、かつコンピュータシステムと通信している。いくつかの実施形態では、コンピュータシステム３０１内の構成要素、及びコンピュータシステムと通信している構成要素の他の組み合わせが使用される。例えば、いくつかの実施形態では、表示生成コンポーネント（単数又は複数）３０９、カメラ（単数又は複数）３１１、及び姿勢センサ（単数又は複数）３１２は、コンピュータシステムと統合された又はコンピュータシステムと通信しているのいずれかであるヘッドセットに組み込まれる。
いくつかの実施形態では、図５Ａ１〜図５Ａ４０及び図５Ｂ１〜図５Ｂ４１を参照して後述する動作の全ては、仮想／拡張現実論理３０３を有する単一のコンピューティングデバイス（例えば、図３Ｂを参照して後述するコンピュータシステム３０１−ａ）上で実行される。しかしながら、しばしば、異なる複数のコンピューティングデバイスが一緒にリンクされて、図５Ａ１〜図５Ａ４０及び図５Ｂ１〜図５Ｂ４１を参照して後述する動作を実行する（例えば、仮想／拡張現実論理３０３を有するコンピューティングデバイスは、ディスプレイ４５０を有する別個のコンピューティングデバイス及び／又はタッチ感知面４５１を有する別個のコンピューティングデバイスと通信する）ことを理解されたい。これらの実施形態のいずれかでは、図５Ａ１〜図５Ａ４０及び図５Ｂ１〜図５Ｂ４１を参照して後述するコンピューティングデバイスは、仮想／拡張現実論理３０３を含むコンピューティングデバイス（単数又は複数）である。加えて、各種実施形態では、仮想／拡張現実論理３０３は、別個の複数のモジュール又はコンピューティングデバイスの間で分割されてもよいことを理解されたい。しかしながら、本明細書の説明の目的のために、仮想／拡張現実論理３０３は、実施形態の他の態様を不必要に不明瞭にしないように、単一のコンピューティングデバイス内に存在するものとして主に言及される。
いくつかの実施形態では、仮想／拡張現実論理３０３は、解釈された入力を受信し、これらの解釈された入力に応じて、その後グラフィカルユーザインタフェースをディスプレイ上で更新するために使用される、解釈された入力に従ってグラフィカルユーザインタフェースを更新するための命令を生成する、１つ以上のモジュール（例えば、図１Ｂを参照してより詳細に上述したような１つ以上のオブジェクト更新部１７７及び１つ以上のＧＵＩ更新部１７８を含む１つ以上のイベント処理部１９０）を含む。いくつかの実施形態では、（例えば、図１Ａ及び図３の接触動きモジュール１３０によって）検出され、（例えば、図１Ｂのイベント認識部１８０によって）認識され、かつ／又は（例えば、図１Ｂのイベントソート部１７０によって）配信された入力に対する解釈された入力は、ディスプレイ上のグラフィカルユーザインタフェースを更新するために使用される。いくつかの実施形態では、解釈された入力は、コンピューティングデバイスにおけるモジュールによって生成される（例えば、コンピューティングデバイスは、未加工の接触入力データからジェスチャを識別するように、未加工の接触入力データを受信する）。いくつかの実施形態では、解釈された入力の一部又は全ては、解釈された入力としてコンピューティングデバイスによって受信される（例えば、タッチ感知面４５１を含むコンピューティングデバイスは、未加工の接触入力データからジェスチャを識別するように、未加工の接触入力データを処理し、仮想／拡張現実論理３０３を含むコンピューティングデバイスにジェスチャを示す情報を送信する）。
いくつかの実施形態では、ディスプレイ及びタッチ感知面の両方が、仮想／拡張現実論理３０３を含むコンピュータシステム（例えば、図３Ｂの３０１−ａ）と統合される。例えば、コンピュータシステムは、統合されたディスプレイ（例えば、図３の３４０）及びタッチパッド（例えば、図３の３５５）を有するデスクトップコンピュータ又はラップトップコンピュータであってもよい。別の例として、コンピューティングデバイスは、タッチスクリーン（例えば、図２の１１２）を有するポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、タッチ感知面は、コンピュータシステムと統合され、ディスプレイは、仮想／拡張現実論理３０３を含むコンピュータシステムと統合されない。例えば、コンピュータシステムは、統合されたタッチパッド（例えば、図３の３５５）が別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、デバイス３００（例えば、デスクトップコンピュータ又はラップトップコンピュータ）であってもよい。別の例として、コンピュータシステムは、タッチスクリーン（例えば、図２の１１２）が別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、ポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、ディスプレイは、コンピュータシステムと統合され、タッチ感知面は、仮想／拡張現実論理３０３を含むコンピュータシステムと統合されない。例えば、コンピュータシステムは、統合されたタッチディスプレイ（例えば、図３の３４０）が別個のタッチ感知面（例えば、遠隔のタッチパッド、ポータブル多機能デバイスなど）に（有線又は無線接続を介して）接続された、デバイス３００（例えば、デスクトップコンピュータ、ラップトップコンピュータ、一体型セットトップボックスを有するテレビ）であってもよい。別の例として、コンピュータシステムは、タッチスクリーン（例えば、図２の１１２）が別個のタッチ感知面（例えば、遠隔のタッチパッド、遠隔のタッチパッドとして機能するタッチスクリーンを有する別のポータブル多機能デバイスなど）に（有線又は無線接続を介して）接続された、ポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、ディスプレイ又はタッチ感知面のいずれもが、仮想／拡張現実論理３０３を含むコンピュータシステム（例えば、図３Ｃの３０１−ｃ）と統合されない。例えば、コンピュータシステムは、別個のタッチ感知面（例えば、遠隔のタッチパッド、ポータブル多機能デバイスなど）及び別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、独立型コンピューティングデバイス３００（例えば、セットトップボックス、ゲームコンソールなど）であってもよい。
いくつかの実施形態では、コンピュータシステムは、一体型オーディオシステム（例えば、ポータブル多機能デバイス１００内のオーディオ回路１１０及びスピーカ１１１）を有する。いくつかの実施形態では、コンピューティングデバイスは、コンピューティングデバイスとは別個のオーディオシステムと通信している。いくつかの実施形態では、オーディオシステム（例えば、テレビユニット内に統合されたオーディオシステム）は、別個のディスプレイと統合される。いくつかの実施形態では、オーディオシステム（例えば、ステレオシステム）は、コンピュータシステム及びディスプレイとは別個の独立型システムである。
ここで、ポータブル多機能デバイス１００上で任意選択的に実装されるユーザインタフェース（「ＵＩ」）の実施形態に着目する。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ−Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）、
●時間、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ、
●バッテリ状態インジケータ、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８、
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、また、
○「音楽」とラベル付けされたビデオ及び音楽プレーヤモジュール１５２のアイコン４２２、また、
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９−２のアイコン４３４、
○「マップ」とラベル付けされた、マップモジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９−１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９−４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、また、
○デバイス１００及びその様々なアプリケーション１３６に対する設定へのアクセスを提供する「設定」のラベル付きの設定アプリケーション又はモジュールのためのアイコン４４６。
図４Ａに示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択的に、様々なアプリケーションアイコンに使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０とは別個のタッチ感知面４５１（例えば、タブレット又はタッチパッド３５５、図３Ａ）を有するデバイス（例えば、デバイス３００、図３Ａ）上の例示的なユーザインタフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂにおける４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂにおける４５３）に対応する主軸（例えば、図４Ｂにおける４５２）を有する。それらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチ感知面４５１との接触（例えば、図４Ｂにおける４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面（例えば、図４Ｂにおける４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、及びそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂにおける４５０）上でユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して与えられるが、いくつかの実施形態では、それらの指の入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）と置換されることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりの）マウスクリックに続けた、（例えば、接触の移動の代わりの）スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが相互作用しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含むいくつかの実装形態では、カーソルは、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある間に、タッチ感知面（例えば、図３Ａにおけるタッチパッド３５５、又は図４Ｂにおけるタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されると、特定のユーザインタフェース要素が検出された入力に従って調整されるように、「フォーカスセレクタ」として機能する。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な相互作用を有効化するタッチスクリーンディスプレイ（例えば、図１Ａにおけるタッチ感知ディスプレイシステム１１２、又は図４Ａにおけるタッチスクリーン）を含むいくつかの実装形態では、タッチスクリーン上で検出された接触は、入力（例えば、接触による押圧入力）がタッチスクリーンディスプレイ上で特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置において検出されると、特定のユーザインタフェース要素が検出された入力に従って調製されるように、「フォーカスセレクタ」として機能する。いくつかの実装では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、（例えば、タブキー又は矢印キーを使ってフォーカスを１つのボタンから別のボタンに移動させることにより）フォーカスが、ユーザインタフェースの１つの領域からユーザインタフェースの別の領域に移動される。これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザインタフェースとのユーザの意図した相互作用を通信するために（例えば、ユーザが相互作用することを意図しているユーザインタフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインタフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。いくつかの実施形態では、フォーカスインジケータ（例えば、カーソル又は選択インジケータ）は、１つ以上の入力デバイスから受信した入力によって影響を受けることになるユーザインタフェースの現在の部分を示すように、表示デバイスを介して表示される。
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力の場合、入力中の第１の強度閾値を超える接触の強度は第１の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度と時間ベースの基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力の場合、軽い押圧用の第１の強度閾値より大きい入力中の第２の強度閾値を超える接触の強度は、第１の強度閾値を満たすことと第２の強度閾値を満たすこととの間に遅延時間が経過した場合のみ、第２の応答をトリガする。この遅延時間は典型的には、時間が２００ｍｓ（ミリ秒）よりも短い（例えば、第２の強度閾値の大きさに依存して、４０ｍｓ、１００ｍｓ、又は１２０ｍｓであり、遅延時間は第２の強度閾値が増大するにつれて増大する）。この遅延時間は、深い押圧入力の偶発的な認識を回避することを支援する。別の例として、いくつかの「深い押圧」入力の場合、第１の強度閾値が満たされた時間の後に発生する感度が低下した期間が存在する。感度が低下した期間の間、第２の強度閾値は増大する。第２の強度閾値のこの一時的な増大も、偶発的な深い押圧入力を回避するのに役立つ。他の深い押圧入力の場合、深い押圧入力の検出に対する応答は、時間ベースの基準に依存しない。
いくつかの実施形態では、入力強度閾値及び／又は対応する出力のうちの１つ以上は、ユーザ設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時入力の数、ユーザ履歴、環境要因（例えば、周囲ノイズ）、フォーカスセレクタの位置などの、１つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願公開第１４／３９９，６０６号及び第１４／６２４，２９６号に記載されており、それらは参照により全体が本明細書に組み込まれている。
例えば、図４Ｃは、経時的なタッチ入力４７６の強度に部分的に基づいて、経時的に変化する動的な強度閾値４８０を示す。動的な強度閾値４８０は、２つの成分、タッチ入力４７６が最初に検出されたときから既定の遅延時間ｐ１後に経時的に減衰する第１の成分４７４、及び経時的にタッチ入力４７６の強度の跡を辿る第２の成分４７８の合計である。第１の成分４７４の最初の高い強度閾値は、タッチ入力４７６が十分な強度を提供する場合に即時の「深い押圧」応答を更に可能にしながら、「深い押圧」応答の偶発的トリガを削減する。第２の成分４７８は、タッチ入力の段階的な強度変動によって「深い押圧」応答の意図しないトリガを削減する。いくつかの実施形態では、タッチ入力４７６が動的な強度閾値４８０を満たすとき（例えば、図４Ｃにおけるポイント４８１において）、「深い押圧」応答がトリガされる。
図４Ｄは、別の動的な強度閾値４８６（例えば、強度閾値ＩＴＤ）を示す。図４Ｄはまた、２つの他の強度閾値、第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＴＬを示す。図４Ｄにおいて、タッチ入力４８４が時間ｐ２の前に第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＴＬを満たすが、時間４８２において遅延時間ｐ２が経過するまでは応答が提供されない。また、図４Ｄでは、動的強度閾値４８６は、予め定義された遅延時間ｐ１が時間４８２から経過した後（第２の強度閾値ＩＴＬと関連付けられた応答がトリガされたとき）の時間４８８において開始する減衰で、経時的に減衰する。このタイプの動的強度閾値は、第１の強度閾値ＩＴＨ又は第２の強度閾値ＩＴＬなど、より低い強度閾値と関連付けられた応答のトリガの直後に又はそれと同時に、動的強度閾値ＩＴＤと関連付けられた応答を偶発的にトリガすることを減少させる。
図４Ｅは、更に別の動的な強度閾値４９２（例えば、強度閾値ＩＴＤ）を示す。図４Ｅにおいて、強度閾値ＩＴＬと関連付けられた応答は、タッチ入力４９０が最初に検出されるときから遅延時間ｐ２が経過した後にトリガされる。同時に、動的な強度閾値４９２は、タッチ入力４９０が最初に検出されたときから既定の遅延時間ｐ１が経過した後に減衰する。そのため、タッチ入力４９０を解放することなしに、タッチ入力４９０の強度の増大がその後に続く、強度閾値ＩＴＬに関連付けられた応答をトリガした後のタッチ入力４９０の強度の減少は、タッチ入力４９０の強度が別の強度閾値、例えば、強度閾値ＩＴＬを下回るときでも、（例えば、時間４９４において）強度閾値ＩＴＤに関連付けられた応答をトリガすることができる。
ユーザインタフェース及び関連するプロセス
ここで、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、１つ以上の入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、を含む（かつ／又はそれらと通信している）コンピュータシステム（例えば、ポータブル多機能デバイス１００又はデバイス３００）上に実装することができる、ユーザインタフェース（「ＵＩ」）及び関連するプロセスの実施形態に注意を向ける。
図５Ａ１〜図５Ａ４０は、いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整し、並びに、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための、例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図６Ａ〜図６Ｄ、図７Ａ〜図７Ｃ、及び図８Ａ〜図８Ｃにおけるプロセスを含む、後述するプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。同様に、類似の動作は、任意選択的に、フォーカスインジケータとともに、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。
図５Ａ１〜図５Ａ２７は、いくつかの実施形態に係る、拡張現実環境を表示し、異なる入力に応じて、拡張現実環境の外観及び／又は拡張現実環境内のオブジェクトの外観を調整するための例示的なユーザインタフェースを示す。
図５Ａ１及び図５Ａ２は、図５Ａ３〜図５Ａ４０に関して説明するユーザインタフェースが使用される状況を示す。
図５Ａ１は、ユーザ５００２、テーブル５００４、及び物理的建築モデル５００６が位置する物理的空間を示す。ユーザ５００２は、デバイス１００を保持して、デバイス１００のディスプレイを介して（例えば、図１Ａ、図４Ａ、図５Ａ４に示すような、デバイス１００の、「タッチスクリーンディスプレイ１１２」、「タッチスクリーン１１２」、「ディスプレイ１１２」、又は「タッチ感知ディスプレイ１１２」と呼ばれることがある、タッチ感知ディスプレイシステム１１２上で）物理的建築モデル５００６を閲覧する。デバイス１００の１つ以上のカメラ（デバイス１００の「カメラ」と呼ばれることもある）は、物理的空間内の１つ以上の物理的オブジェクト（例えば、物理的空間の部屋の壁紙５００７、テーブル５００４など）を含む、カメラの視野内にあるコンテンツのライブプレビューを連続的に提供する。デバイス１００は、物理的オブジェクト（例えば、物理的建築モデル５００６）及び１つ以上の仮想オブジェクト（例えば、物理的建築モデル５００６をカバーする建物の仮想モデル、仮想の木など）を含む、カメラの視野の少なくとも一部分の表現を含む拡張現実環境を表示し、ユーザ５００２は、デバイス１００のタッチスクリーンディスプレイを使用して、拡張現実環境と相互作用する。
図５Ａ２は、ユーザ５００２が、ヘッドセット５００８及びタッチ感知面を有する別個の入力デバイス５０１０を含むコンピュータシステムを使用して物理的建築モデル５００６を閲覧する、代替的方法を示す。この実施例では、ヘッドセット５００８は、拡張現実環境を表示し、ユーザ５００２は、別個の入力デバイス５０１０を使用して、拡張現実環境と相互作用する。いくつかの実施形態では、デバイス１００は、別個の入力デバイス５０１０として使用される。いくつかの実施形態では、別個の入力デバイス５０１０は、タッチ感知式リモートコントロール、マウス、ジョイスティック、ワンドコントローラなどである。いくつかの実施形態では、別個の入力デバイス５０１０は、ユーザの手などのユーザ５００２の１つ以上の特徴の位置及び移動を追跡する１つ以上のカメラを含む。
図５Ａ３及び図５Ａ４は、デバイス１００のタッチスクリーン１１２上に表示された拡張現実環境のビューを示す。図５Ａ３は、ユーザ５００２の視点からの、テーブル５００４及び物理的建築モデル５００６に対するデバイス１００の位置を示す。図５Ａ４は、図５Ａ３からより接近したデバイス１００のビューを示す。デバイス１００は、デバイス１００のカメラによってキャプチャされたときの物理的空間のライブビュー及び仮想ユーザインタフェースオブジェクト（仮想建築モデル５０１２）を含む、拡張現実環境を表示する。ここで、仮想建築モデル５０１２は、カメラの視野内の物理的建築モデル５００６に取り付けられる、又はそれをカバーするように見える（例えば、物理建築モデル５００６を拡張現実環境内で置き換える）、物理的建築モデル５００６の３次元仮想モデルである。表示された拡張現実環境はまた、カメラの視野内の物理的オブジェクトに対応しない仮想オブジェクト（例えば、仮想の木、仮想の茂み、仮想の人、及び仮想の自動車）、及びカメラの視野内にある物理的オブジェクト（例えば、壁紙５００７）も含む。いくつかの実施形態では、デバイス１００は、（例えば、図５Ａ２５〜図５Ａ２７に関して後述するように）拡張現実環境と相互作用するための１つ以上のボタン（例えば、ボタン５０１４、ボタン５０１６、及びボタン５０１８、仮想ボタン又は表示されたボタンと呼ばれることがある）を表示する。
図５Ａ５及び図５Ａ６は、ユーザ５００２がテーブル５００４の前面から（例えば、図５Ａ３に示すように）テーブル５００４の側面に（例えば、図５Ａ５に示すように）移動した後の、デバイス１００のタッチスクリーン１１２上に表示される拡張現実環境の異なるビューを示す。図５Ａ５は、ユーザ５００２の視点からの、テーブル５００４及び物理的建築モデル５００６に対するデバイス１００の位置を示す。図５Ａ６は、図５Ａ５からより接近したデバイス１００のビューを示す。図５Ａ５及び図５Ａ６に示すように、仮想建築モデル５０１２は、物理的建築モデル５００６に固定されたままであり、仮想建築モデル５０１２のビューは、物理的建築モデル５００６の位置、形状、及び／又は向きがカメラの視野内で変化するにつれて、変化する。
図５Ａ７〜図５Ａ１４は、タッチスクリーン１１２上の接触の移動とデバイス１００の移動との組み合わせに基づいて、拡張現実環境内の仮想建築モデル５０１２の外観を調整することを示す。参照ボックス５０１９は、ユーザ５００２の視点からの、テーブル５００４及び物理的建築モデル５００６に対するデバイス１００の位置を示す。
図５Ａ７では、デバイス１００は、デバイス１００がテーブル５００４及び物理的建築モデル５００６に対して第１の位置にある（例えば、参照ボックス５０１９に示すように）ときの拡張現実環境を表示する。図５Ａ８では、デバイス１００は、仮想建築モデル５０１２上の入力を（例えば、仮想建築モデル５０１２の屋根上の接触５０２０−ａによるタッチ入力を検出することによって）検出する。図５Ａ９〜図５Ａ１１では、入力を検出し続けている間に（例えば、接触５０２０がタッチスクリーン１１２上で維持されている間に）、デバイス１００は、物理的建築モデル５００６に対する入力の移動（例えば、接触５０２０によるドラッグジェスチャ）を検出し、物理的建築モデル５００６に対する入力の移動の大きさに従って、仮想建築モデル５０１２の外観を調整する（例えば、仮想建築モデルから仮想屋根５０１２−ａを持ち上げる）。図５Ａ９では、接触５０２０−ｂが比較的少量移動したとき、仮想屋根５０１２−ａは、対応する少量だけ持ち上げられる。図５Ａ１０では、接触５０２０−ｃがより大きな量移動したとき、仮想屋根５０１２−ａは、対応するより大きな量だけ持ち上げられる。いくつかの実施形態では、図５Ａ１１に示すように、仮想屋根５０１２−ａが持ち上がり続けるにつれて、仮想建築モデル５０１２の床は、持ち上がり、伸長する（例えば、仮想の第１の床５０１２−ｄ、仮想の第２の床５０１２−ｃ、及び仮想の第３の床５０１２−ｂを示す）。図５Ａ９〜図５Ａ１１に示すように、接触５０２０が上に移動するにつれて、デバイス１００は、仮想屋根５０１２−ａ上の初期接触点の表示を接触５０２０の位置に維持するように、仮想建築モデル５０１２の表示を更新する。
図５Ａ１２及び図５Ａ１３では、接触５０２０−ｄがタッチスクリーン１１２上に維持され、かつ静止したままでいる間に、デバイス１００は、物理的空間内のデバイス１００の移動（例えば、図５Ａ１２の参照ボックス５０１９に示すような物理的建築モデル５００６に対してより低い第１の位置から、図５Ａ１３の参照ボックス５０１９に示すような物理的建築モデル５００６に対してより高い第２の位置への移動５０２２）を検出する。（物理的空間内のデバイス１００の移動からの）入力の移動に応じて、デバイス１００は、移動の大きさに従って仮想屋根５０１２−ａを更に持ち上げることによって、仮想建築モデル５０１２の外観を調整する。いくつかの実施形態では、図５Ａ１３に示すように、仮想モデル５０１２の外観が移動の大きさに従って調整されると、仮想屋根５０１２−ａの静止状態の最大限界を越える位置に仮想屋根５０１２−ａが表示される。
図５Ａ１４では、デバイス１００は、入力を検出することを停止し（例えば、接触５０２０がリフトオフする）、静止状態の最大限界に対応する位置に仮想屋根５０１２−ａを表示する。いくつかの実施形態では、デバイス１００は、（例えば、図５Ａ１３の）静止状態の最大限界を越えた位置の仮想屋根５０１２−ａから（例えば、図５Ａ１４の）静止状態の最大限界に対応する位置への（例えば、図５Ａ１３から図５Ａ１４への）アニメーション化された遷移を表示する。
図５Ａ１５及び図５Ａ１６は、タッチスクリーン１１２上で入力が検出されない（例えば、タッチスクリーン１１２上で接触によるタッチ入力が検出されない）ときの、物理的空間内のデバイス１００の移動（例えば、移動５０２４）を示す。入力が検出されないため、デバイス１００の移動は、仮想建築モデル５０１２の外観を調整することなく、（例えば、図５Ａ１５の参照ボックス５０１９に示すような）物理的建築モデル５００６に対してより低い第１の位置から（例えば、図５Ａ１６の参照ボックス５０１９に示すような）物理的建築モデル５００６に対してより高い第２の位置まで、デバイス１００のカメラの視野を変化させる。
図５Ａ１５及び図５Ａ１６とは対照的に、図５Ａ１７及び図５Ａ１８は、タッチスクリーン１１２上で入力が検出された（例えば、接触５０２６−ａによるタッチ入力がタッチスクリーン１１２上で検出された）ときの、物理的空間内のデバイス１００の移動（例えば、移動５０２８）を示す。入力を検出し続けている間に（例えば、接触５０２６−ａがタッチスクリーン１１２上に維持され、かつ静止したままでいる間に）、デバイス１００は、（図５Ａ１７の参照ボックス５０１９に示すような物理的建築モデル５００６に対してより低い第１の位置から、図５Ａ１８の参照ボックス５０１９に示すような物理的建築モデル５００６に対してより高い第２の位置への）物理的空間内のデバイス１００の移動を検出する。（物理的空間内のデバイス１００の移動からの）入力の移動に応じて、デバイス１００は、移動の大きさに従って仮想屋根５０１２−ａを持ち上げることによって、仮想建築モデル５０１２の外観を調整する。
図５Ａ１９及び図５Ａ２０では、入力を検出し続けている間に（例えば、接触５０２６がタッチスクリーン１１２上で維持されている間に）、デバイス１００は、物理的建築モデル５００６に対する入力の移動（例えば、接触５０２６によるドラッグジェスチャ）を検出し、物理的建築モデル５００６に対する入力の移動の大きさに従って、仮想建築モデル５０１２の外観を調整する（例えば、仮想建築モデル５０１２から仮想屋根５０１２−ａを更に持ち上げる）。いくつかの実施形態では、図５Ａ２０に示すように、仮想屋根５０１２−ａが持ち上がり続けるにつれて、仮想建築モデル５０１２の床は、持ち上がり、伸長する（例えば、第１の床５０１２−ｄ、第２の床５０１２−ｃ、及び第３の床５０１２−ｂを示す）。
図５Ａ１７〜図５Ａ２０に示すように、入力が上に移動するにつれて（入力の移動が、接触（例えば、接触５０２６−ａ）がタッチスクリーン１１２上で維持され、かつ静止したままでいる間のデバイス１００の移動によるものであろうとなかろうと、又は入力の移動が、デバイス１００が物理的空間内で実質的に静止して保持されている間のタッチスクリーン１１２を横切る接触の移動によるものであろうとなかろうと）、デバイス１００は、仮想屋根５０１２−ａ上の初期接触点の表示を接触５０２６の位置に維持するように、仮想建築モデル５０１２の表示を更新する。
図５Ａ２１〜図５Ａ２４は、拡張現実環境内の時間を通してナビゲートする入力に応じて、拡張現実環境の仮想環境設定（例えば、時刻）を変更することを示す。図５Ａ２１〜図５Ａ２４では、デバイス１００は、仮想環境設定を変更する入力（例えば、接触５０３０による左から右へのスワイプジェスチャ）を検出し、それに応じて、デバイス１００は、拡張現実環境内の時刻を変更する（例えば、仮想建築モデル５０１２の外観を調整し、仮想建築モデル５０１２によって不明瞭化されていないカメラの視野の表現の部分にフィルタを適用することによって）。図５Ａ２１では、拡張現実環境内の時刻は、仮想建築モデル５０１２の影、及びオブジェクの右への仮想オブジェクト（例えば、仮想の木、仮想の茂み、仮想の人、及び仮想の自動車）の影により、午前である。接触５０３０が左から右に移動するにつれて、拡張現実環境内の時刻は、午前から夜に変化する（例えば、入力の移動の速度及び／又は距離に従って）（例えば、図５Ａ２１の午前から図５Ａ２２の正午に、図５Ａ２３の午後に、図５Ａ２４の夜に変化する）。いくつかの実施形態では、デバイス１００は、仮想シーンの外観を調整することに加えて、仮想シーンによって不明瞭化されていないライブビューの部分に（例えば、壁紙５００７に）フィルタを適用する。例えば、図５Ａ２４では（例えば、仮想環境設定が夜間モードに変更されたとき）、夜間モードの仮想シーンの外観を調整することに加えて（例えば、第２の陰影パターンによって示される）、異なるフィルタが壁紙５００７に適用される（例えば、第１の陰影パターンによって示される）。
図５Ａ２５〜図５Ａ２７は、異なる仮想環境が仮想ユーザインタフェースオブジェクトを探索するための異なる相互作用に関連付けられている、仮想ユーザインタフェースオブジェクト（例えば、仮想建築モデル５０１２）に対する異なる仮想環境（例えば、風景ビュー、内部ビュー、昼間／夜間ビューなどの既定の仮想環境）間で切り替える入力（例えば、表示されたボタン上のタップ入力）に応じて、拡張現実環境の仮想環境設定を変更することを示す。図５Ａ２５では、風景ボタン５０１４が選択され、仮想建築モデル５０１２の風景ビューが表示される（例えば、仮想の木、仮想の茂み、仮想の人、及び仮想の自動車とともに）。図５Ａ２６及び図５Ａ２７では、デバイス１００は、接触５０３２によるタップジェスチャなどの内部ボタン５０１６上の入力を検出し、それに応じて、仮想建築モデル５０１２の内部ビューを表示する（例えば、仮想の木、仮想の茂み、仮想の人、及び仮想の自動車はないが、代わりに仮想の第１の床５０１２−ｄ、仮想の第２の床５０１２−ｃ、仮想の第３の床５０１２−ｂ、及び仮想屋根５０１２−ａを有する仮想建築モデル５０１２の展開されたビューを示す）。いくつかの実施形態では、仮想環境設定が（例えば、内部ビューに）変更されると、周囲の物理的環境は、ぼかされる（例えば、フィルタを使用して）。例えば、図５Ａ２７には示されていないが、いくつかの実施形態では、仮想環境設定が内部ビューに変更されると、壁紙５００７がぼかされる。
図５Ａ２８〜図５Ａ４０は、いくつかの実施形態に係る、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移するための例示的なユーザインタフェースを示す。
図５Ａ２８は、図５Ａ４と同様に、デバイス１００のカメラによってキャプチャされたときの物理的空間のライブビュー、仮想建築モデル５０１２、仮想車両５０５０、及び仮想の人５０６０を含む、デバイス１００のタッチスクリーン１１２上に表示された拡張現実環境のビューを示す。加えて、図５Ａ２８の参照ボックス５０１９は、（例えば、図５Ａ１及び図５Ａ２に示すような）ユーザ５００２の視点からの、テーブル５００４及び物理的建築モデル５００６に対するデバイス１００の位置を示す。
図５Ａ２９〜図５Ａ３１は、図５Ａ２８からの遷移を示す。具体的には、図５Ａ２９〜図５Ａ３１は、拡張現実環境のビュー（例えば、図５Ａ２８に示す）から仮想モデル内の仮想車両５０５０の視点からの仮想モデルのシミュレートされたビューへの遷移を示す。
図５Ａ２９は、車両５０５０に対応する位置で検出された入力５０５２（例えば、デバイス１００のタッチスクリーン１１２上のタップジェスチャ、又はフォーカスインジケータとともに別個の入力デバイスを使用した選択）を示す。
図５Ａ３０及び図５Ａ３１は、入力５０５２を検出したことに応じて表示された、拡張現実環境のビューから車両５０５０の視点からの仮想モデルのシミュレートされたビューへの遷移を示す。具体的には、図５Ａ３０は、図５Ａ２９に示すビューから車両５０５０からの（例えば、車両５０５０内のドライバ又は乗員などの人の視点からの）シミュレートされた視点ビューへのアニメーション化された遷移の間にデバイス１００上に示されるビューを示し、図５Ａ３１は、車両５０５０からのシミュレートされた視点ビューを示す。
いくつかの実施形態では、拡張現実環境のビューからシミュレートされた視点ビューへの遷移は、アニメーション化された遷移を含む。任意選択的に、遷移は、拡張現実環境を閲覧する位置から車両５０５０の位置（例えば、車両５０５０内の人の位置）への飛行のアニメーションを含む。例えば、図５Ａ３０は、ユーザがデバイス１００を移動しなかったとしても、図５Ａ２９のユーザの位置と車両５０５０の位置との間（例えば、アニメーション化された遷移を通る途中）の位置からの仮想モデルのビューを示す（例えば、図５Ａ３０の参照ボックス５０１９に示すような物理的建築モデル５００６に対するデバイス１００の位置は、図５Ａ２９と同じである）。
いくつかの実施形態では、デバイス１００（例えば、デバイス１００のカメラ）の視野の部分は、車両５０５０からの視点ビューへのアニメーション化された遷移の間に表示され続ける。例えば、図５Ａ３０に示すように、壁紙５００７及びテーブル５００４の縁部は、シミュレートされた視点ビューへのアニメーション化された遷移の間に表示される（例えば、図５Ａ２９のユーザの位置と車両５０５０の位置との間の、図５Ａ３０に示すビューに対応する位置から見たかのように）。いくつかの実施形態では、カメラの視野は、車両５０５０の視点ビューへのアニメーション化された遷移の間に表示されることを停止する（例えば、壁紙５００７及びテーブル５００４の縁部は、アニメーション化された遷移の間に表示されず、任意選択的に、仮想モデルの対応する部分が代わりに表示される）。
図５Ａ３１では、車両５０５０からのシミュレートされた視点ビューはまた、車両５０５０（例えば、シミュレートされた視点ビューが表示される仮想オブジェクト）の移動（例えば、移動の方向）を制御するための方向矢印（上、下、左、及び右）を含むコントロール５０５４も示す。図５Ａ３１に示す実施例では、上矢印５０５６は、車両５０５０の前方移動を制御する。従って、いくつかの実施形態では、ユーザは、対応する仮想オブジェクト（例えば、車両５０５０）の移動を制御することができ、一方で、その仮想オブジェクトの視点からのシミュレートされたビューが表示される。いくつかの実施形態では、ユーザは、拡張現実環境のビューが表示されている間に、仮想モデル内の対応する仮想オブジェクト（例えば、仮想車両５０５０及び／又は仮想の人５０６０）の移動を制御することができない。例えば、いくつかの実施形態では、ユーザは、図５Ａ２８の拡張現実環境のビュー内の車両５０５０の移動を制御することができない。いくつかの実施形態では、拡張現実環境のビュー（例えば、図５Ａ２８）が表示されている間に、車両５０５０は、仮想モデル内で自律的に移動する。
図５Ａ３２及び図５Ａ３３は、図５Ａ３１からの遷移を示す。具体的には、図５Ａ３２及び図５Ａ３３は、仮想モデル内の車両５０５０のユーザに制御された移動を示す。図５Ａ３２は、コントロール５０５４の上矢印５０５６（図５Ａ３１に示す）に対応する位置で検出された入力５０５８を示す。上矢印５０５６上の入力５０５８に応じて、車両５０５０は、仮想モデル内で前方に移動する。従って、図５Ａ３３は、仮想モデル内の車両５０５０の前方移動に対応する、仮想モデルの更新されたシミュレートされた視点ビューが表示されることを示す。例えば、図５Ａ３３の更新されたシミュレートされた視点ビューでは、仮想建築モデル５０１２は、より見えなくなり、人５０６０は、図５Ａ３２よりも接近して見える。
図５Ａ３４及び図５Ａ３５は、図５Ａ３３からの遷移を示す。具体的には、図５Ａ３４及び図５Ａ３５は、車両５０５０の視点からの仮想モデルのシミュレートされたビューから仮想の人５０６０の視点からの仮想モデルのシミュレートされたビューへの遷移を示す。図５Ａ３４は、人５０６０に対応する位置で検出された入力５０６２を示す。図５Ａ３５は、入力５０６２を検出したことに応じて表示された、人５０６０の視点からの仮想モデルのシミュレートされたビューを示す。いくつかの実施形態では、デバイス１００は、車両５０５０からのシミュレートされた視点ビューと人５０６０からのシミュレートされた視点ビューとの間のアニメーション化された遷移を表示する（例えば、ユーザが車両５０５０の（例えば、車両５０５０内の）位置から人５０６０の位置まで移動しているかのように）。
図５Ａ３６及び図５Ａ３７は、図５Ａ３５からの遷移を示す。具体的には、図５Ａ３６及び図５Ａ３７は、（例えば、物理的空間内の）デバイス１００の移動に応じて、人５０６０（例えば、選択された仮想オブジェクト）の視点からの仮想モデルのビューを変更することを示す。
図５Ａ３６は、左に向かうデバイス１００の移動及びｚ軸周りのデバイス１００の回転を示す矢印５０６４を示す（例えば、それにより、デバイス１００の右縁部がユーザにより接近して移動し、デバイス１００の左縁部がユーザからより遠く離れて移動する）。図５Ａ３７は、デバイス１００の移動を検出したことに応じて表示された、人５０６０の視点からの仮想モデルの更新されたシミュレートされた視点ビューを示す。図５Ａ３７の更新されたシミュレートされた視点ビューは、図５Ａ３６の人の位置に対して人５０６０が左に向かって移動し右に向かってわずかに人の頭を回転させた場合の仮想モデルのビューに対応する。図５Ａ３７の参照ボックス５０１９は、デバイス１００が矢印５０６４によって示すように移動された後の、物理的建築モデル５００６に対するデバイス１００の新たな位置を示す。
いくつかの実施形態では、コントロール５０５４（例えば、図５Ａ３１に示すが、図５Ａ３５、図５Ａ３６には示されない）は、人５０６０の視点からのシミュレートされたビューを表示している間に表示され、それにより、人５０６０の視点からのシミュレートされたビューが表示されている間に（例えば、図５Ａ３５）、ユーザは、コントロール５０５４上の矢印を使用して仮想モデル内の人５０６０の移動を制御することができる。
図５Ａ３８〜図５Ａ４０は、図５Ａ３７からの遷移を示す。具体的には、図５Ａ３８〜図５Ａ４０は、図５Ａ３７に示すシミュレートされた視点ビューから拡張現実環境のビューに戻る遷移を示す。
図５Ａ３８は、入力５０６６を示す。５Ａ３８に示す実施例では、入力５０６６は、（例えば、仮想モデルのシミュレートされた視点ビューの最小ズームレベルからの）ピンチジェスチャである。いくつかの実施形態では、入力５０６６は、仮想モデル内の「空の」位置（例えば、芝生の部分などの、シミュレートされた視点ビューが利用できない位置）上のジェスチャ（例えば、タップ）である。いくつかの実施形態では、入力５０６６は、拡張現実環境を表示する、又は再表示するためのアフォーダンス（例えば、シミュレートされた視点ビューを出るための「Ｘ」などのアイコン）上のジェスチャ（例えば、タップ）である。
図５Ａ３９及び図５Ａ４０は、入力５０６６を検出したことに応じて表示される、人５０６０の視点からの仮想モデルのシミュレートされたビューから拡張現実環境のビューへの遷移を示す。具体的には、図５Ａ３９は、図５Ａ３８に示すビューから拡張現実環境のビューへのアニメーション化された遷移の間にデバイス１００上に示されるビューを示し、図５Ａ４０は、拡張現実環境のビューを示す。いくつかの実施形態では、シミュレートされた視点ビューから拡張現実環境のビューへの遷移は、仮想オブジェクトの位置（シミュレートされた視点ビューが示される）から拡張現実環境を閲覧する位置への飛行のアニメーションを任意選択的に含む、アニメーション化された遷移を含む。
デバイス１００が図５Ａ３８〜図５Ａ４０では物理的建築モデル５００６に対して図５Ａ２８〜図５Ａ３０とは異なる位置にあるため、図５Ａ４０に示すような拡張現実のビューは、デバイス１００の新しい位置に対応し、図５Ａ２８に示すものとは異なる。同様に、図５Ａ３９は、ユーザがデバイス１００を移動しなかったとしても、図５Ａ３８の人５０６０の位置と図５Ａ４０のユーザの位置との間（例えば、アニメーション化された遷移を通る途中）の位置からの仮想モデルのビューを示す（例えば、参照ボックス５０１９に示すような物理的建築モデル５００６に対するデバイス１００の位置は、図５Ａ３８〜図５Ａ４０のそれぞれにおいて同じである）。
図５Ａ２９〜図５Ａ３１を参照して上述したシミュレートされた視点ビューへのアニメーション化された遷移と同様に、いくつかの実施形態では、シミュレートされた視点ビューから拡張現実環境のビューへのアニメーション化された遷移の間に、デバイス１００（例えば、デバイス１００のカメラ）の視野の部分は見える。例えば、図５Ａ３９に示すように、壁紙５００７は、シミュレートされた視点ビューからのアニメーション化された遷移の間に表示される（例えば、人５０６０の位置と図５Ａ４０のユーザの位置との間の、図５Ａ３９に示すビューに対応する位置から見たかのように）。いくつかの実施形態では、カメラの視野は、拡張現実環境のビューへのアニメーション化された遷移の間に表示されることを停止する（例えば、壁紙５００７は、アニメーション化された遷移の間に表示されず、任意選択的に、仮想モデルの対応する部分が代わりに表示される）。
図５Ｂ１〜図５Ｂ４１は、いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作のためのシステム及びユーザインタフェースの例を示す。これらの図におけるユーザインタフェースは、図６Ａ〜図６Ｄ、図７Ａ〜図７Ｃ、及び図８Ａ〜図８Ｃにおけるプロセスを含む、後述するプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。同様に、類似の動作は、任意選択的に、フォーカスインジケータとともに、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ｂ２に示すような）上で実行される。
図５Ｂ１〜図５Ｂ４は、図５Ｂ５〜図５Ｂ４１に関して説明するユーザインタフェースが使用される状況を示す。
図５Ｂ１は、ユーザ５２０２及びテーブル５２０４が位置する物理的空間５２００を示す。デバイス１００は、ユーザ５２０２によってユーザの手５２０６に保持される。基準マット５２０８は、テーブル５２０４上に位置する。
図５Ｂ２は、デバイス１００のディスプレイ１１２上に表示された仮想３次元空間のビューを示す。基準マット５２０８は、デバイス１００の１つ以上のカメラ（例えば、光センサ１６４）（以下、「カメラ」と呼び、デバイス１００の１つ以上のカメラを示す）の視野内にある。ディスプレイ１１２は、物理的基準マット５２０８ａの表示されたバージョン５２０８ｂを含む、カメラによってキャプチャされたときの物理的空間５２００のライブビューを示す。仮想ユーザインタフェースオブジェクト（仮想ボックス５２１０）は、ディスプレイ１１２上に表示された仮想３次元空間内に表示される。いくつかの実施形態では、仮想ボックス５２１０は、基準マット５２０８ｂに固定され、それにより、基準マットの表示されたビュー５２０８ｂが物理的空間５２００内の基準マット５２０８ａの移動に応じて変化するにつれて、仮想ボックス５２１０のビューが変化する（例えば、図５Ｂ２〜図５Ｂ３に示すように）。同様に、仮想ボックス５２１０のビューは、表示されたバージョン５２０８ｂのビューが基準マット５２０８ａに対するデバイス１００の移動に応じて変化するにつれて、変化する。
図５Ｂ３では、基準マット５２０８は、回転されており、それにより、基準マット５２０８ａのより長い辺がデバイス１００に隣接している（図５Ｂ２では、基準マット５２０８ａのより短い辺は、デバイス１００に隣接していた）。図５Ｂ２から図５Ｂ３への基準マットの表示されたバージョン５２０８ｂの回転は、物理的空間５２００内の基準マット５２０８ａの回転の結果として生じる。
図５Ｂ３及び図５Ｂ４では、デバイス１００は、基準マット５２０８ａに接近して移動している。結果として、基準マットの表示されたバージョン５２０８ｂ及び仮想ボックス５２１０のサイズは、増大している。
図５Ｂ５〜図５Ｂ４１は、デバイス１００のより大きなビューを示して、ディスプレイ１１２上に表示されたユーザインタフェースの全ビューを提供し、ユーザの手５２０６を示さない。
図５Ｂ５は、ディスプレイ１１２上に表示された、仮想ユーザインタフェースオブジェクトを作成及び調整するためのユーザインタフェースを示す。ユーザインタフェースは、アバター５２１２と、（例えば、仮想現実表示モードと拡張現実表示モードとの間でトグルするための）トグル５２１４と、（例えば、ディスプレイ１１２によって表示される仮想３次元空間に新しいオブジェクト５２１６を追加するための）新規オブジェクトコントロール５２１６と、（例えば、仮想オブジェクトの色を選択するための）利用可能な色に対応する多数のコントロールを含む色選択パレット５２１８と、（例えば、仮想３次元空間から仮想ユーザインタフェースオブジェクトを除去するための）削除コントロール５２２０と、を含む。図５Ｂ５では、トグル５２１４は、現在の表示モードが拡張現実表示モードであることを示す（例えば、ディスプレイ１１２は、仮想ボックス５２１０、及びデバイス１００のカメラによってキャプチャされたときの物理的空間５２００のビューを表示している）。図５Ｂ３７〜図５Ｂ３９は、仮想現実表示モードを示す。図５Ｂ３７〜図５Ｂ３９では、トグル５２１４の外観は、変更されて、仮想現実表示モードがアクティブであること（及びトグル５２１４での入力が仮想現実表示モードから拡張現実表示モードへの遷移を引き起こすことになること）を示す。
図５Ｂ６〜図５Ｂ１７は、仮想ボックス５２１０の移動を引き起こす入力を示す。
図５Ｂ６では、接触５２２２（例えば、タッチ感知ディスプレイ１１２との接触）による入力（例えば、選択及び移動の入力）が、仮想ボックス５２１０の第１の表面５２２４上で検出される。仮想ボックス５２１０の表面が選択されると、仮想ボックス５２１０の移動は、選択された表面に平行な平面内の移動に制限される。仮想ボックス５２１０の第１の表面５２２４を選択する接触５２２２の検出に応じて、移動投影５２２６が仮想ボックス５２１０から延びて示されて、仮想ボックス５２１０の移動平面（例えば、仮想ボックス５２１０の選択された第１の表面５２２４に平行な移動の平面）を示す。
図５Ｂ６及び図５Ｂ７では、接触５２２２は、矢印５２２８によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動している。接触５２２２の移動に応じて、仮想ボックス５２１０は、矢印５２２８によって示す方向に移動投影５２２６によって示す平面内で移動している。図５Ｂ７及び図５Ｂ８では、接触５２２２は、矢印５２３０によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動している。接触５２２２の移動に応じて、仮想ボックス５２１０は、矢印５２３０によって示す方向に移動投影５２２６によって示す平面内で移動している。図５Ｂ９では、接触５２２２は、タッチ感知ディスプレイ１１２からリフトオフしており、移動投影５２２６は、もはや表示されない。
図５Ｂ１０では、接触５２３２による入力（例えば、選択及び移動の入力）が、仮想ボックス５２１０の第２の表面５２３４上で検出される。仮想ボックス５２１０の第２の表面５２３４を選択する接触５２３２の検出に応じて、移動投影５２３６が仮想ボックス５２１０から延びて示されて、仮想ボックス５２１０の移動平面（例えば、仮想ボックス５２１０の選択された第２の表面５２３４に平行な移動の平面）を示す。
図５Ｂ１０及び図５Ｂ１１では、接触５２３２は、矢印５２３８によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動している。接触５２３２の移動に応じて、仮想ボックス５２１０は、矢印５２３８によって示す方向に移動投影５２３６によって示す平面内で移動している。表示された基準マット５２０８ｂの上にホバリングしているように仮想ボックス５２１０が上方に移動すると、仮想ボックス５２１０の影５２４０が表示されて、仮想ボックス５２１０がホバリングしていることを示す。
図５Ｂ１１及び図５Ｂ１２では、接触５２３２は、矢印５２４２によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動している。接触５２３２の移動に応じて、仮想ボックス５２１０は、矢印５２４２によって示す方向に移動投影５２３６によって示す平面内で移動している。図５Ｂ１３では、接触５２３２は、タッチ感知ディスプレイ１１２からリフトオフしており、移動投影５２３６は、もはや表示されない。
図５Ｂ１４では、接触５２３３による入力（例えば、選択及び移動の入力）が、仮想ボックス５２１０の第１の表面５２２４上で検出される。仮想ボックス５２１０の第１の表面５２２４を選択する接触５２３３の検出に応じて、移動投影５２３７が仮想ボックス５２１０から延びて示されて、仮想ボックス５２１０の移動平面（例えば、仮想ボックス５２１０の選択された第１の表面５２２４に平行な移動の平面）を示す。
図５Ｂ１４及び図５Ｂ１５では、接触５２３３は、矢印５２３９によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動している。接触５２３３の移動に応じて、仮想ボックス５２１０は、矢印５２３８によって示す方向に移動投影５２３７によって示す平面内で移動している。図５Ｂ１０及び図５Ｂ１１に示す接触５２３２の移動は、図５Ｂ１４及び図５Ｂ１５に示す接触５２３３の移動と同じ方向である。仮想ボックス５２１０の第２の表面５２３４が選択されている間に接触５２３２の移動が生じるため、図５Ｂ１０及び図５Ｂ１１の仮想ボックス５２１０の移動平面は、仮想ボックス５２１０の第１の表面５２２４が選択されている間に接触５２３３の移動が生じる、図５Ｂ１４及び図５Ｂ１５の仮想ボックス５２１０の移動平面とは異なる。このように、入力の同じ移動方向を有する選択及び移動の入力は、選択された仮想ボックス５２１０の表面に応じて、仮想ボックス５２１０の異なる移動を引き起こす。
図５Ｂ１５及び図５Ｂ１６では、接触５２３３は、矢印５２４３によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動している。接触５２３３の移動に応じて、仮想ボックス５２１０は、矢印５２４３によって示す方向に移動投影５２３７によって示す平面内で移動している。図５Ｂ１７では、接触５２３３は、タッチ感知ディスプレイ１１２からリフトオフしており、移動投影５２３７は、もはや表示されない。
図５Ｂ１８〜図５Ｂ２１は、仮想ボックス５２１０のサイズ変更を引き起こす入力を示す。
図５Ｂ１８では、接触５２４４による入力（例えば、サイズ変更入力）が、仮想ボックス５２１０の第１の表面５２２４上で検出される。いくつかの実施形態では、接触がサイズ変更時間閾値を上回って増加する期間にわたって仮想オブジェクトの表面に対応する位置に留まるとき、接触のその後の移動（及び／又はデバイス１００の移動）は、仮想オブジェクトのサイズ変更を引き起こす。図５Ｂ１９では、接触５２４４は、サイズ変更時間閾値を上回って増加した期間にわたって仮想ボックス５２１０の第１の表面５２２４と接触したままであり、サイズ変更投影５２４６が示されて、接触５２４４の後続の移動に応じて仮想ボックス５２１０がサイズ変更されることになる軸（選択された第１の表面５２２４に垂直である）を示す。
図５Ｂ１９及び図５Ｂ２０では、接触５２４４は、矢印５２４８によって示す経路に沿って移動している。接触５２４４の移動に応じて、仮想ボックス５２１０のサイズは、矢印５２４８によって示す方向にサイズ変更投影５２４６によって示す軸に沿って増大している。図５Ｂ２１では、接触５２４４は、タッチ感知ディスプレイ１１２からリフトオフしており、投影５２４６は、もはや表示されない。
図５Ｂ２２〜図５Ｂ２７は、挿入カーソルを使用した、オブジェクト挿入カーソルの配置及び仮想ボックスの配置を示す。
図５Ｂ２２では、接触５２５０による入力（例えば、タップ入力）が、物理的基準マット５２０８ａの表示されたバージョン５２０８ｂに対応する位置で検出される。接触５２５０の検出に応じて、接触５２５０に対応するディスプレイ１１２上の位置に、挿入カーソル５２５２が表示され、図５Ｂ２３では、接触５２５０は、タッチ感知ディスプレイ１１２からリフトオフしており、挿入カーソル５２５２が示される。いくつかの実施形態では、挿入カーソル５２５２は、所定の期間後に表示されることを停止する。図５Ｂ２４では、挿入カーソル５２５２は、表示されることを停止しており、（図５Ｂ２３に示すような）挿入カーソル５２５２が示されていた位置とは異なる位置で、接触５２５４による入力（例えば、タップ入力）が検出される。接触５２５４の検出に応じて、接触５２５４に対応するディスプレイ１１２上の位置に、新しい挿入カーソル５２５６が表示される。図５Ｂ２５では、接触５２５４は、タッチ感知ディスプレイ１１２からリフトオフしており、挿入カーソル５２５６が示される。
図５Ｂ２６では、挿入カーソル５２５６は、表示されることを停止しており、（図５Ｂ２５に示すような）挿入カーソル５２５６が示されていた位置に対応する位置で、接触５２５８による入力（例えば、タップ入力）が検出される。挿入カーソルが配置されていた位置での接触５２５８の検出に応じて、新しい仮想ユーザインタフェースオブジェクト（仮想ボックス５２６０）が、接触５２５８に対応する位置にディスプレイ１１２上で表示される。図５Ｂ２７では、接触５２５８は、タッチ感知ディスプレイ１１２からリフトオフしている。
図５Ｂ２８〜図５Ｂ３１は、デバイス１００の移動による仮想ボックス５２６０のサイズ変更を示す。
図５Ｂ２８では、タッチ感知ディスプレイ１１２との接触５２６２による入力（例えば、サイズ変更入力）が、仮想ボックス５２６０の表面５２６４上で検出される。図５Ｂ２９では、接触５２６２は、サイズ変更時間閾値を上回って増加した期間にわたって仮想ボックス５２６０の表面５２６４と接触したままであり、サイズ変更投影５２６６が示されて、デバイス１００の後続の移動に応じて仮想ボックス５２６０がサイズ変更されることになる軸（選択された表面５２６４に垂直である）を示す。図５Ｂ２９及び図５Ｂ３０では、デバイス１００は、接触５２６２がタッチ感知ディスプレイ１１２と接触したままである間に、矢印５２６８によって示す経路に沿って移動する。デバイス１００の移動に応じて、仮想ボックス５２６０のサイズは、図５Ｂ３０に示すように、サイズ変更投影５２６６によって示す軸に沿って増大する。図５Ｂ３１では、接触５２６２は、タッチ感知ディスプレイ１１２からリフトオフしており、サイズ変更投影５２６６は、もはや表示されない。
図５Ｂ３２〜図５Ｂ３５は、新規オブジェクトコントロール５２１６を使用した、新しい仮想オブジェクトの挿入を示す。
図５Ｂ３２では、接触５２７０による入力（例えば、タップ入力）が、物理的基準マット５２０８ａの表示されたバージョン５２０８ｂ上の位置で検出される。接触５２７０の検出に応じて、接触５２７０に対応するディスプレイ１１２上の位置に、挿入カーソル５２７２が表示される。図５Ｂ３３では、接触５２７０は、タッチ感知ディスプレイ１１２からリフトオフしており、挿入カーソル５２７２が示される。図５Ｂ３４では、挿入カーソル５２７２は、表示されることを停止しており、タッチ感知ディスプレイ１１２との接触５２７４による入力（例えば、タップ入力）が、新規オブジェクトコントロール５２１６に対応する位置で検出される。図５Ｂ３５では、新規オブジェクトコントロール５２１６での入力に応じて（例えば、挿入カーソル５２７２の配置の後に）、新しい仮想ユーザインタフェースオブジェクト（仮想ボックス５２７６）が、挿入カーソル５２７２が示されていた位置に対応する位置にディスプレイ１１２上で表示される。
図５Ｂ３６及び図５Ｂ３７は、拡張現実表示モードから仮想現実表示モードへの遷移を引き起こすピンチズーム入力を示す。図５Ｂ３９及び図５Ｂ４０は、仮想現実表示モードから拡張現実表示モードに戻るためのトグル５２１４での入力を示す。
図５Ｂ３６では、タッチ感知ディスプレイ１１２との接触５２７８及び５２８０が同時に検出される。図５Ｂ３６及び図５Ｂ３７に示すように、接触５２７８及び５２８０が矢印５２８２及び５２８４それぞれによって示す経路に沿って同時に移動されるピンチジェスチャが検出される。ピンチジェスチャを検出したことに応じて、仮想ボックス５２１０、５２６０、及び５２７６の表示がズームされる（例えば、ズームアウトされ、それにより、仮想ボックス５２１０、５２６０、及び５２７６の表示されたサイズがより小さくなる）。いくつかの実施形態では、ズームするためのジェスチャは、拡張現実表示モードから仮想現実表示モードへの遷移を引き起こす（例えば、ボックスのズームされたビューは、もはやデバイス１００のカメラの視野と位置が合っていないため）。いくつかの実施形態では、仮想現実表示モードでは、デバイス１００のカメラの視野内の物理的オブジェクト（例えば、基準マット５２０８）は、表示されることを停止する、又は物理的オブジェクトのうちの１つ以上の仮想（レンダリングされた）バージョンが表示される。
いくつかの実施形態では、仮想現実表示モードでは、デバイス１００によって表示された仮想オブジェクトは、デバイス１００の座標系にロックされる。図５Ｂ３７及び図５Ｂ３８では、デバイス１００の位置は、変化している。デバイス１００が仮想現実表示モードにあるため、仮想ボックス５２１０、５２６０、及び５２７６の位置は、デバイス１００の変更された位置に応じて変化していない。
図５Ｂ３９では、接触５２８６による入力（例えば、タップ入力）がトグル５２１４に対応する位置で検出される。接触５２８６による入力に応じて、仮想現実表示モードから拡張現実表示モードへの遷移が引き起こされる。図５Ｂ４０は、接触５２８６による入力に応じて拡張現実表示モードへの遷移後に、ディスプレイ１１２上に表示されたユーザインタフェースを示す。遷移は、デバイス１００のカメラの視野を再表示すること（例えば、基準マットの表示されたビュー５２０８ｂを再表示すること）を含む。いくつかの実施形態では、遷移は、仮想ボックス５２１０、５２６０、及び５２７６の表示をズームすること（例えば、ズームインすること）を含む（例えば、デバイス１００のカメラの視野とボックスを再位置合わせするために）。
いくつかの実施形態では、拡張現実表示モードでは、デバイス１００によって表示された仮想オブジェクトは、物理的空間５２００及び／又は物理的空間５２００内の物理的オブジェクト（例えば、基準マット５２０８）にロックされる。図５Ｂ４０及び図５Ｂ４１では、デバイス１００の位置は、変化している。デバイス１００が拡張現実表示モードにあるため、仮想ボックス５２１０、５２６０、及び５２７６は、基準マット５２０８ａにロックされ、ディスプレイ１１２上の仮想ボックスの位置は、デバイス１００の変更された位置に応じて変更される。
図５Ｃ１〜図５Ｃ３０は、いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移するためのシステム及びユーザインタフェースの例を示す。これらの図におけるユーザインタフェースは、図１０Ａ〜図１０Ｅにおけるプロセスを含む、後述するプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。同様に、類似の動作は、任意選択的に、フォーカスインジケータとともに、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。
図５Ｃ１及び図５Ｃ２は、図５Ｃ３〜図５Ｃ３０に関して説明するユーザインタフェースが使用される状況を示す。
図５Ｃ１は、ユーザ及びテーブル５２０４が位置する物理的空間５２００を示す。デバイス１００は、ユーザによってユーザの手５２０６に保持される。基準マット５２０８は、テーブル５２０４上に位置する。シミュレートされた環境のビューは、デバイス１００のディスプレイ１１２上に表示される。基準マット５２０８は、デバイス１００の１つ以上のカメラ（例えば、光センサ１６４）（以下、「カメラ」と呼び、デバイス１００の１つ以上のカメラを示す）の視野内にある。ディスプレイ１１２は、物理的基準マット５２０８ａの表示されたバージョン５２０８ｂを含む、カメラによってキャプチャされたときの物理的空間５２００のライブビューを示す。２つの仮想ユーザインタフェースオブジェクト（第１の仮想ボックス５３０２及び第２の仮想ボックス５３０４）は、ディスプレイ１１２上に表示されたシミュレートされた環境内に表示される。第１の閲覧モード（例えば、拡張現実閲覧モード）では、仮想ボックス５３０２及び５３０４は、基準マット５２０８ｂに固定され、それにより、物理的空間５２００内の基準マット５２０８ａの移動に応じて、基準マットの表示されたビュー５２０８ｂが変化するにつれて、仮想ボックス５３０２及び５３０４のビューが変化する（例えば、仮想ボックス５３０２及び５３０４と、基準マット５２０８ａを含む物理的環境との間で固定された空間的関係が維持される）。同様に、第１の閲覧モードでは、仮想ボックス５３０２及び５３０４のビューは、基準マット５２０８ａに対するデバイス１００の移動に応じて変化する。
図５Ｃ２では、デバイス１００は、基準マット５２０８ａに接近して移動している。結果として、基準マットの表示されたバージョン５２０８ｂ並びに仮想ボックス５３０２及び５３０４のサイズは、増大している。
図５Ｃ３〜図５Ｃ３０は、デバイス１００のより大きなビューを示して、ディスプレイ１１２上に表示されたユーザインタフェースの全ビューを提供し、ユーザの手５２０６を示さない。ユーザインタフェースの特徴は、図５Ｂ５に関して更に上述している。
図５Ｃ４〜図５Ｃ６は、仮想ボックスが拡張現実閲覧モードで表示されている間に仮想ボックス５３０２を移動させるための入力ジェスチャ（上方向スワイプ及び下方向スワイプを含む）を示す。図５Ｃ４〜図５Ｃ６に関して説明した入力ジェスチャは、モード変更基準を満たすジェスチャ（例えば、拡張現実閲覧モードから仮想現実閲覧モードに閲覧モードを変更するための）ではないため、仮想ボックス５３０２及び５３０４のビューは、図５Ｃ７及び図５Ｃ８に示すように、デバイス１００のその後の移動に応じて変化する（例えば、それにより、仮想ボックス５３０２及び５３０４と、基準マット５２０８ａを含む物理的環境との間で固定された空間的関係が維持される）。
モード変更基準を満たさないジェスチャの別の例は、（例えば、図５Ｂ１８〜図５Ｂ２１に関して上述したような）サイズ変更ジェスチャである。
図５Ｃ４では、接触５３０６による入力（例えば、選択及び移動の入力）が、仮想ボックス５３０２の表面５３０８上で検出される。仮想ボックス５３０２の表面５３０８を選択する接触５３０６の検出に応じて、移動投影５３１０が仮想ボックス５３０２から延びて示されて、仮想ボックス５３０２の移動平面（例えば、仮想ボックス５３０２の選択された表面５３０８に平行な移動の平面）を示す。
図５Ｃ４及び図５Ｃ５では、接触５３０６は、矢印５３１２によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動する。接触５３０６の移動に応じて、仮想ボックス５３０２は、矢印５３１２によって示す方向に移動投影５３１０によって示す平面内で移動している。表示された基準マット５２０８ｂの上にホバリングしているように仮想ボックス５３０２が上方に移動すると、仮想ボックス５３０２の影５３１４が表示されて、仮想ボックス５２１０がホバリングしていることを示す。
図５Ｃ５及び図５Ｃ６では、接触５３０６は、矢印５３１６によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動する。接触５３０６の移動に応じて、仮想ボックス５３０２は、矢印５３１６によって示す方向に移動投影５３１０によって示す平面内で移動している。図５Ｃ７では、接触５３０６は、タッチ感知ディスプレイ１１２からリフトオフしており、移動投影５３１０は、もはや表示されない。
図５Ｃ７及び図５Ｃ８は、矢印５３１８によって示す経路に沿ったデバイス１００の移動を示す。デバイス１００が移動されると、デバイス１００であるように表示された仮想ボックス５３０２及び５３０４の位置は、ディスプレイ１１２上で変化する（例えば、それにより、仮想ボックス５３０２及び５３０４と、デバイス１００の物理的環境内の基準マット５２０８ａとの間で固定された空間的関係が維持される）。
図５Ｃ９〜図５Ｃ１０は、モード変更基準を満たす（例えば、拡張現実閲覧モードから仮想現実閲覧モードへの閲覧モードの変更を引き起こす）入力ジェスチャ（ピンチジェスチャ）を示す。
図５Ｃ９では、タッチ感知ディスプレイ１１２で接触５３２０及び５３２４が検出される。図５Ｃ９〜図５Ｃ１１では、接触５３２０は、矢印５３２２によって示す経路に沿って移動し、接触５３２４は、矢印５３２４によって示す経路に沿って移動する。接触５３２０と接触５３２４との間の距離を減少させる接触５３２０及び５３２４の同時移動に応じて、仮想ボックス５３０２及び５３０４を含むシミュレートされた環境の表示されたビューは、ズームアウトされる（例えば、それにより、仮想ボックス５３０２及び５３０４のサイズがディスプレイ１１２上で増大する）。ズーム入力が受信されると、拡張現実閲覧モードから仮想現実閲覧モードへの遷移が引き起こされる。遷移の間に行なわれる遷移アニメーションは、物理的環境の表示されたビューの漸進的なフェードアウトを含む。例えば、デバイス１００の１つ以上のカメラによってキャプチャされたときの、テーブル５２０４の表示されたビュー及び基準マット５２０８ａの表示されたビュー５２０８ｂは、漸進的にフェードアウトする（例えば、図５Ｃ１０及び図５Ｃ１１に示すように）。遷移アニメーションは、仮想基準グリッド５３２８の仮想グリッドラインの漸進的なフェードインを含む（例えば、図５Ｃ１１及び図５Ｃ１２に示すように）。遷移の間に、（例えば、仮想現実表示モードと拡張現実表示モードとの間でトグルするための）トグル５２１４の外観は、現在の閲覧モードを示すように変更される（例えば、図５Ｃ１０及び図５Ｃ１１に示すように）。接触５３２０及び５３２４のリフトオフの後で、シミュレートされた環境内の仮想ボックス５３０２及び５３０４は、移動し続け、サイズが減少する（例えば、シミュレートされた環境の変化は、入力ジェスチャの終了後の移動を引き起こす「運動量」を有し続ける）。
図５Ｃ１２及び図５Ｃ１３では、デバイス１００は、矢印５３３０によって示す経路に沿って移動される。図５Ｃ９〜図５Ｃ１１に関して説明したピンチズーム入力ジェスチャが拡張現実閲覧モードから仮想現実閲覧モードへの変更を引き起こしたため、仮想ボックス５３０２及び５３０４の位置は、デバイス１００の移動に応じて変化しない（例えば、仮想現実閲覧モードでは、仮想ボックス５３０２及び５３０４と物理的環境との間で固定された空間的関係は維持されない）。
図５Ｃ１３及び図５Ｃ１４では、デバイス１００は、矢印５３３２によって示す経路に沿って移動される。
図５Ｃ１５〜図５Ｃ１８は、シミュレートされた環境が仮想現実閲覧モードで表示されている間に、デバイス１００上に表示されたシミュレートされた環境内に仮想ボックスを挿入するための入力を示す。
図５Ｃ１５では、タッチ感知ディスプレイ１１２上で接触５３３４による入力（例えば、タップ入力）が検出される。接触５３３４の検出に応じて、図５Ｃ１６に示すように、接触５３３４に対応するディスプレイ１１２上の位置に、挿入カーソル５３３６が表示される。図５Ｃ１７では、挿入カーソル５３３６は、表示されることを停止しており、接触５３３８による入力（例えば、タップ入力）が、新規オブジェクトコントロール５２１６に対応する位置で検出される。図５Ｃ１８では、新規オブジェクトコントロール５２１６での入力に応じて（例えば、挿入カーソル５３３６の配置の後に）、新しい仮想ユーザインタフェースオブジェクト（仮想ボックス５３４０）が、挿入カーソル５３３６が示されていた位置に対応する位置に表示される。
図５Ｃ１９及び図５Ｃ２０は、シミュレートされた環境が仮想現実閲覧モードで表示されている間に、デバイス１００上に表示されたシミュレートされた環境内の仮想ユーザインタフェースオブジェクトを操作するための入力を示す。
図５Ｃ１９では、接触５３４２による入力（例えば、選択及び移動の入力）が、仮想ボックス５３４０の表面５３４４上で検出される。仮想ボックス５３４０の表面５３４４を選択する接触５３４２の検出に応じて、移動投影５３４８が仮想ボックス５３４０から延びて示されて、仮想ボックス５３４０の移動平面（例えば、仮想ボックス５３４０の選択された表面５３４４に平行な移動の平面）を示す。図５１９４〜図５Ｃ２０では、接触５３４２は、矢印５３４６によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動する。接触５３４２の移動に応じて、仮想ボックス５３４０は、矢印５３４６によって示す方向に移動投影５３４８によって示す平面内で移動している。
図５Ｃ２１では、接触５３４２は、タッチ感知ディスプレイ１１２からリフトオフしており、移動投影５３８４は、もはや表示されない。
図５Ｃ２２及び図５Ｃ２３は、シミュレートされた環境の視点を変更するための入力ジェスチャ（例えば、回転ジェスチャ）を示す。
図５Ｃ２２では、タッチ感知ディスプレイ１１２で接触５３５０が検出される。図５Ｃ２２及び図５Ｃ２３では、接触５３５０は、矢印５３５２によって示す経路に沿って移動する。接触５３５０が移動すると、シミュレートされた環境が回転する。図５Ｃ２３では、仮想基準グリッド５３２８並びに仮想ボックス５３０２、５３０４、及び５３４０の位置は、接触５３５０による入力に応じて回転している。
図５Ｃ２４及び図５Ｃ２５では、デバイス１００は、矢印５３５４によって示す経路に沿って移動される。図５Ｃ２４及び図５Ｃ２５でディスプレイ１１２上に表示されたシミュレートされた環境が仮想現実閲覧モードで表示されているため、ディスプレイ１１２上の仮想ボックス５３０２及び５３０４の位置は、デバイス１００の移動に応じて変化しない。
図５Ｃ２６及び図５Ｃ２７は、仮想現実閲覧モードから拡張現実閲覧モードへの閲覧モードの変更を引き起こす入力ジェスチャ（デピンチジェスチャ）を示す。
図５Ｃ２６では、タッチ感知ディスプレイ１１２で接触５３５６及び５３６０が検出される。図５Ｃ２６及び図５Ｃ２７では、接触５３５６は、矢印５３５８によって示す経路に沿って移動し、接触５３６０は、矢印５３６２によって示す経路に沿って移動する。接触５３５６と接触５３６０との間の距離を増加させる接触５３５６及び５３６０の同時移動に応じて、仮想ボックス５３０２、５３０４、及び５３４０を含むシミュレートされた環境の表示されたビューは、ズームインされる（例えば、それにより、仮想ボックス５３０２、５３０４、及び５３４０のサイズがディスプレイ１１２上で増大する）。ズーム入力が受信されると、仮想現実閲覧モードから拡張現実閲覧モードへの遷移が引き起こされる。遷移の間に行なわれる遷移アニメーションは、仮想基準グリッド５３２８の漸進的なフェードアウトを含む（例えば、図５Ｃ２６及び図５Ｃ２７に示すように）。遷移アニメーションは、物理的環境のビューの漸進的なフェードインを含む。例えば、デバイス１００の１つ以上のカメラによってキャプチャされたときのテーブル５２０４及び基準マット５２０８ａは、ディスプレイ１１２上で漸進的に見えるようになる（例えば、図５Ｃ２８〜図５Ｃ３０に示すように）。遷移の間に、トグル５２１４の外観は、現在の閲覧モードを示すように変更される（例えば、図５Ｃ２７及び図５Ｃ２８に示すように）。接触５３５６及び５３６０のリフトオフの後に、シミュレートされた環境内の仮想ボックス５３０２、５３０４、及び５３４０は、図５Ｃ２８〜図５Ｃ３０に示すように、（例えば、仮想ボックス５３０２及び５３０４と基準マット５２０８ａとの間の元の空間が復元されるまで）サイズが増加し、移動し、回転し続ける。
いくつかの実施形態では、仮想現実閲覧モードがアクティブであった間に追加された仮想ボックス５３４０は、図５Ｃ３０に示すように、代替現実閲覧モードで見える。
いくつかの実施形態では、仮想現実閲覧モードから拡張現実閲覧モードへの閲覧モードの変更は、トグル５２１４に対応する位置での接触による入力（例えば、タップ入力）に応じて行なわれる。例えば、トグル５２１４に対応する位置で検出されたタップ入力に応じて、（例えば、図５Ｃ２６に示すような）仮想現実閲覧モードを表示することから（例えば、図５Ｃ３０に示すような）拡張現実閲覧モードへの遷移が行なわれる。いくつかの実施形態では、遷移の間に、５Ｃ２６〜５Ｃ３０に示すアニメーションと同じ又は類似の遷移アニメーションが表示される。
図５Ｄ１〜図５Ｄ１４は、いくつかの実施形態に係る、第１のコンピュータシステムによって表示されるシミュレートされた環境内の第２のコンピュータシステムの閲覧視点のインジケーションを更新するためのシステム及びユーザインタフェースの例を示す。これらの図におけるユーザインタフェースは、図１１Ａ〜図１１Ｃにおけるプロセスを含む、後述するプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。同様に、類似の動作は、任意選択的に、フォーカスインジケータとともに、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。
図５Ｄ１及び図５Ｄ２は、図５Ｄ３〜図５Ｄ１４に関して説明するユーザインタフェースが使用される状況を示す。
図５Ｄ１は、２人のユーザ５４０２及び５４０８並びにテーブル５４１４が位置する物理的空間５４００を示す。第１のデバイス５４０６（例えば、デバイス１００）は、第１のユーザ５４０２によって第１のユーザの手５４０４に保持される。第２のデバイス５４１２（例えば、デバイス１００）は、第２のユーザ５４０８によって第２のユーザの手５４１０に保持される。基準マット５４１６ａは、テーブル５４１４上に位置する。
図５Ｄ２は、デバイス５４０６のディスプレイ５１４８（例えば、ディスプレイ１１２）上に表示された仮想３次元空間のビューを示す。基準マット５４１６は、デバイス５４０６の１つ以上のカメラ（例えば、光センサ１６４）（以下、「カメラ」と呼び、デバイス５４０６の１つ以上のカメラを示す）の視野内にある。ディスプレイ５１４８は、物理的基準マット５４１６ａの表示されたバージョン５４１６ｂを含む、カメラによってキャプチャされたときの物理的空間５４００のライブビューを示す。シミュレートされた環境内の仮想ユーザインタフェースオブジェクト（仮想ボックス５４２０）がディスプレイ５４１８上に表示される。いくつかの実施形態では、仮想ボックス５４２０は、基準マット５４１６ｂに固定され、それにより、基準マット５４１６ａに対するデバイス１００の移動に応じて基準マットの表示されたバージョン５４１６ｂのビューが変化するにつれて、仮想ボックス５４２０のビューが変化する。ユーザインタフェースの特徴は、図５Ｂ５に関して更に上述している。
図５Ｄ３〜図５Ｄ１１は、テーブル５４１４に対する第１のデバイス５４０６及び第２のデバイス５４１２の物理的空間５４００内の向きを示す下位図「ａ」（例えば、図５Ｄ３ａに示すような）、第１のデバイス５４１２のユーザインタフェースを示す下位図「ｂ」（例えば、図５Ｄ３ｂに示すような）、並びに第２のデバイス５４１２のユーザインタフェースを示す下位図「ｃ」（例えば、図５Ｄ３ｃに示すような）を含む。ユーザインタフェースの全ビューを提供するために、図５Ｄ３〜図５Ｄ１１のユーザインタフェースは、デバイスを保持している手を示さない。また、明確にするために、図５Ｄ３〜図５Ｄ１１のユーザインタフェースは、ユーザ５４０２及び５４０８の身体を示さない。デバイス５４０６のカメラの視野内にあるユーザ５４０８の身体の任意の部分は、典型的にはデバイス５４０６上に表示されたユーザインタフェース内に見えることになる（しかし、ユーザの身体のビューは、仮想ユーザインタフェースオブジェクト又は他のユーザインタフェース要素によって遮られることがある）ことを理解されたい。例えば、図５Ｄ２では、ユーザ５４０８の身体及び手は、デバイス５４０９によって表示されたユーザインタフェース内に見える。
図５Ｄ３及び図５Ｄ４は、第２のデバイス５４１２の移動を示す。
図５Ｄ３ａでは、第２のデバイス５４１２は、テーブル５４１４に対して第１の位置（例えば、テーブルの左奥側に隣接する位置）に表示されている。
図５Ｄ３ｂでは、デバイス５４０６のユーザインタフェースは、デバイス５４０６に対応するキーアバター５４２４とデバイス５４１２に対応するキーアバター５４２６とを含む、アバターキー５４２２を含む。アバターキー５４２２は、キーアバター５４２４に対応する名前（「Ｍｅ」）及びキーアバター５４２６に対応する名前（「Ｚｏｅ」）を含む。アバターキーに示すキーアバターは、例えば、シミュレートされた環境内のアバター５４２８がユーザ「Ｚｏｅ」のデバイス５４１２に対応することをデバイス５４０６のユーザが理解するのを助けるための、可視環境内に示されるアバター（例えば、アバター５４２８）へのガイドを提供する（例えば、シミュレートされた環境内のアバター５４２８が、キーアバター５４２６と一致する猫アイコンであるため）。
デバイス５４０６のユーザインタフェース上に表示されるシミュレートされた環境は、デバイス５４０６の視点から示される仮想ボックス５４２０及び物理的基準マット５４１６ａの表示されたビュー５４１６ｂを含む。デバイス５４１２の閲覧視点は、閲覧視点インジケータ５４３２によって示される。閲覧視点インジケータ５４３２は、アバター５４２８から発して示されている。シミュレートされた環境では、デバイス５４１２の表現５４３０（例えば、デバイス５４０６のカメラによってキャプチャされたときのデバイス５４１２のビュー及び／又はデバイス５４１２のレンダリングされたバージョン）が示される。
図５Ｄ３ｃでは、デバイス５４１２のユーザインタフェースは、デバイス５４１２に対応するキーアバター５４３６とデバイス５４０６に対応するキーアバター５４６８とを含む、アバターキー５４３４を含む。アバターキー５４３４は、キーアバター５４３６に対応する名前（「Ｍｅ」）及びキーアバター５４３８に対応する名前（「Ｇａｂｅ」）を含む。アバターキーに示すキーアバターは、例えば、シミュレートされた環境内のアバター５４４０がユーザ「Ｇａｂｅ」のデバイス５４０６に対応することをデバイス５４１２のユーザが理解するのを助けるための、可視環境内に示されるアバター（例えば、アバター５４４０）へのガイドを提供する（例えば、シミュレートされた環境内のアバター５４４０が、キーアバター５４３８と一致する笑顔アイコンであるため）。
図５Ｄ４ａでは、第２のデバイス５４１２は、図５Ｄ３ａに示すテーブル５４１４に対して第１の位置からテーブル５４１４に対して第２の位置（例えば、テーブルの左手前側に隣接する位置）に移動している。図５Ｄ４ｂでは、デバイス５４０６のユーザインタフェースは、図５Ｄ３ｂから変化した位置における（アバター５４２８及びデバイスの表現５４３０によって示される）デバイス５４１２を示す。デバイス５４１２の閲覧視点の変化は、図５Ｄ３ｂから図５Ｄ４ｂへの閲覧視点インジケータ５４３２の異なる角度によって示される。デバイス５４１２の移動はまた、図５Ｄ３ｃのデバイス５４１２のユーザインタフェース内から図５Ｄ４ｃへの、変更されたビューの表示された基準マット５４１６ｂ及び仮想ボックス５４２０によって示される。
図５Ｄ５〜図５Ｄ７は、デバイス５４１２による仮想ボックス５４２０の選択及び移動を示す。
図５Ｄ５ｃでは、接触５４４６による入力（例えば、選択及び移動の入力）が、仮想ボックス５４２０の表面に対応する位置で第２のデバイス５４１２のタッチスクリーンディスプレイ上で検出される。仮想ボックス５４２０の表面を選択する接触５４４６の検出に応じて、移動投影５４４８が仮想ボックス５４２０から延びて示されて、仮想ボックス５４２０の移動平面（例えば、仮想ボックス５４２０の選択された表面に平行な移動の平面）を示す。
図５Ｄ５ｂでは、相互作用インジケータ５４５２が示されて、第２のデバイス５４１２が仮想ボックス５４２０と相互作用していることを第１のデバイス５４０６のユーザに示す。相互作用インジケータ５４５２は、アバター５４２８に対応する位置から仮想ボックス５４２０に対応する位置まで延びる。インジケーションインジケータ５４５２が仮想ボックス５４２０と交わる位置に制御ハンドル５４５４が示されている。
図５Ｄ５ｃ〜図５Ｄ６ｃでは、接触５４４６は、矢印５４５０によって示す方向にデバイス５４１２のタッチ感知ディスプレイに沿って移動する。接触５４４６の移動に応じて、仮想ボックス５４２０は、矢印５４５０によって示す方向に移動投影５４４８によって示す平面内で移動している。
図５Ｄ５ｂ〜図５Ｄ６ｂでは、仮想ボックス５４２０が第２のデバイス５４１２で検出された移動入力によって移動されると、第１のデバイス５４０６のユーザインタフェースは、相互作用インジケータ５４５２及び制御ハンドル５４５４の移動を示す（例えば、相互作用インジケータ５４５２と仮想ボックス５４２０との間の接続を維持するため）。
図５Ｄ７ｃでは、接触５４４６は、デバイス５４１２のタッチ感知ディスプレイデバイスからリフトオフしており、移動投影５４４８は、もはや表示されない。図５Ｄ７ｂでは、相互作用インジケータ５４５２及び制御ハンドル５４５４は、もはや表示されない（デバイス５４１２が仮想ボックス５４２０と相互作用していないため）。
図５Ｄ８〜図５Ｄ１１は、デバイス５４１２による仮想ボックス５４２０のサイズ変更を示す。
図５Ｄ８ｃでは、接触５４５６による入力（例えば、サイズ変更入力）が、仮想ボックス５４２０の表面に対応する位置で第２のデバイス５４１２のタッチスクリーンディスプレイ上で検出される。
図５Ｄ８ｂでは、第１のデバイス５４０６のユーザインタフェース上に相互作用インジケータ５４６２及び制御ハンドル５４６４が示されて、第２のデバイス５４１２が仮想ボックス５４２０と相互作用していることを示す。
図５Ｄ９ｃでは、接触５４５６がサイズ変更時間閾値を上回って増加する期間にわたって仮想ボックス５４２０の表面に対応する位置に留まった後に、サイズ変更投影５４５８が示されて、接触５４５６の後続の移動に応じて仮想ボックス５４２０がサイズ変更されることになる軸（仮想ボックス５４２０の選択された表面に対して垂直である）を示す。
図５Ｄ９ａ〜図５Ｄ１０ａは、仮想ボックス５４２０をサイズ変更するために、（接触５４５６が第２のデバイス５４１２のタッチスクリーンディスプレイと接触している間に）上方に移動する第２のデバイス５４１２を示す。デバイス５４１２の移動に応じて、仮想ボックス５４２０のサイズは、第２のデバイス５４１２が移動した方向にサイズ変更投影５４５８によって示す軸に沿って増大している。
図５Ｄ１１ｃでは、接触５４５６は、タッチ感知ディスプレイ１１２からリフトオフしており、投影５４５８は、もはや表示されない。
図５Ｄ１２〜図５Ｄ１４に示すように、同じ物理的空間内にいないユーザは、シミュレートされた環境内のオブジェクトを閲覧し、協働して操作することができる。例えば、第１の物理的空間内のユーザは、第１の物理的基準マット（例えば、５４１６ａ）の表示されたバージョンに固定された仮想ユーザインタフェースオブジェクト（例えば、仮想ボックス５４２０）を閲覧し、遠隔位置の異なるユーザは、第２の物理的基準マット（例えば、５４７６ａ）の表示されたバージョンに固定された同じ仮想ユーザインタフェースオブジェクトを閲覧する。
図５Ｄ１２ａは、図５Ｄ１に示したように、２人のユーザ５４０２及び５４０８並びにテーブル５４１４が位置する第１の物理的空間５４００を示す。図５Ｄ１２ｂは、第３のユーザ５４７２及びテーブル５４７４が位置する、第１の物理的空間５４００とは別個の第２の物理的空間５４７０を示す。第３のデバイス５４７８（例えば、デバイス１００）は、第３のユーザ５４７２によって保持されている。基準マット５４７６ａは、テーブル５４７４上に位置する。第３のユーザ５４７２のデバイス５４７８は、第１のユーザ５４０８のデバイス５４１２及び第２のユーザ５４０２のデバイス５４０４によって表示される同じシミュレートされた環境を表示する。
図５Ｄ１３ａは、図５Ｄ１２ａに関して説明したような第１の物理的空間５４００を示し、図５Ｄ１３ｂは、図５Ｄ１２ｂに関して説明したような第２の物理的空間５４７０を示す。
図５Ｄ１３ｃでは、第１のデバイス５４０６のユーザインタフェースは、第３のデバイス５４７８に対応するキーアバター５４８０（「Ｓｔａｎ」用の）を含むアバターキー５４２２を含む。第３のデバイス５４７８に対応するアバター５４８２（キーアバター５４８０によって示すような）は、物理的基準マット５４７６ａに対するデバイス５４７８の位置に対応する物理的基準マット５４１６ａの表示されたバージョン５４１６ｂに対する位置に、５４０６によって表示されたシミュレートされた環境内に示される。デバイス５４７８の閲覧視点は、閲覧視点インジケータ５４８６によって示される。デバイス５４７８の表現５４８４（例えば、デバイスのレンダリングされたバージョン）は、デバイス５４０６によって表示されたシミュレートされた環境内に示される。
図５Ｄ１３ｄに示すように、第２のデバイス５４１２のユーザインタフェースはまた、第３のデバイス５４７８に対応するアバター５４８２、デバイス５４７８の閲覧視点を示す閲覧視点インジケータ５４８６、及びデバイス５４７８の表現５４８４を表示する。
図５Ｄ１４ａは、図５Ｄ１２ａに関して説明したような第１の物理的空間５４００を示し、図５Ｄ１４ｂは、図５Ｄ１２ｂに関して説明したような第２の物理的空間５４７０を示す。
図５Ｄ１４ｃは、第３のデバイス５４７８のユーザインタフェースを示す。図５Ｄ１４ｃでは、仮想ボックス５４２０は、物理的基準マット５４７６ａの表示されたビュー５４７６ｂに固定されて示されている。第１のデバイス５４０６に対応するアバター５４８８は、物理的基準マット５４１６ａに対する第１のデバイス５４０６の位置に対応する物理的基準マット５４７６ａの表示されたバージョン５４７６ｂに対する位置に、第３のデバイス５４７８によって表示されたシミュレートされた環境内に示される。第１のデバイス５４０６の閲覧視点は、閲覧視点インジケータ５４９０によって示される。第１のデバイス５４０６の表現５４９０（例えば、第１のデバイスのレンダリングされたバージョン）は、第３のデバイス５４７６によって表示されたシミュレートされた環境内に示される。第２のデバイス５４１２に対応するアバター５４９４は、物理的基準マット５４１６ａに対する第２のデバイス５４１２の位置に対応する物理的基準マット５４７６ａの表示されたバージョン５４７６ｂに対する位置に、シミュレートされた環境内に示される。第２のデバイス５４１２の閲覧視点は、閲覧視点インジケータ５４９８によって示される。第２のデバイス５４１２の表現５４９６（例えば、第２のデバイスのレンダリングされたバージョン）は、第３のデバイス５４７６によって表示されたシミュレートされた環境内に示される。
図５Ｅ１〜図５Ｅ３２は、いくつかの実施形態に係る、挿入カーソルの配置のためのシステム及びユーザインタフェースの例を示す。これらの図のユーザインタフェースは、図１２Ａ〜１２Ｄのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。同様に、類似の動作は、任意選択的に、フォーカスインジケータとともに、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。
図５Ｅ１〜図５Ｅ３は、図５Ｅ４〜図５Ｅ３２に関して説明するユーザインタフェースが使用される状況を示す。
図５Ｅ１は、ユーザ５２０２及びテーブル５２０４が位置する物理的空間５２００を示す。デバイス１００は、ユーザ５２０２によってユーザの手５２０６に保持される。基準マット５２０８は、テーブル５２０４上に位置する。
図５Ｅ２は、デバイス１００のディスプレイ１１２上に表示された仮想３次元空間のビューを示す。基準マット５２０８は、デバイス１００の１つ以上のカメラ（例えば、光センサ１６４）（以下、「カメラ」と呼び、デバイス１００の１つ以上のカメラを示す）の視野内にある。ディスプレイ１１２は、物理的基準マット５２０８ａの表示されたバージョン５２０８ｂを含む、カメラによってキャプチャされたときの物理的空間５２００のライブビューを示す。
図５Ｅ３では、デバイス１００は、基準マット５２０８ａに接近して移動している。結果として、基準マットの表示されたバージョン５２０８ｂのサイズは、増大している。
図５Ｅ４〜図５Ｅ３２は、デバイス１００のより大きなビューを示して、ディスプレイ１１２上に表示されたユーザインタフェースの全ビューを提供し、ユーザの手５２０６を示さない。
図５Ｅ５及び図５Ｅ６は、第１の位置に挿入カーソルの配置を引き起こす入力を示す。
図５Ｅ５では、接触５５０２による入力（例えば、タップ入力）が、物理的基準マット５２０８ａの表示されたバージョン５２０８ｂ上の第１の位置で検出される。図５Ｅ６では、接触５５０２は、タッチ感知ディスプレイ１１２からリフトオフしており、挿入カーソル５５０４が、接触５５０２が検出された位置に示される。
図５Ｅ７及び図５Ｅ８は、第２の位置に挿入カーソルの配置を引き起こす入力を示す。図５Ｅ７では、接触５５０６による入力（例えば、タップ入力）が、挿入カーソル５５０４が表示された位置とは異なる位置で検出される。図５Ｅ８では、接触５５０６は、タッチ感知ディスプレイ１１２からリフトオフしており、挿入カーソル５５０８が、接触５５０６が検出された位置に示される。
図５Ｅ９及び図５Ｅ１０は、仮想ユーザインタフェースオブジェクトの挿入を引き起こす入力を示す。図５Ｅ９では、接触５５１０による入力（例えば、タップ入力）が、挿入カーソル５５０８の位置に対応する位置で検出される。挿入カーソルが配置されていた位置での接触５５１０の検出に応じて、仮想ユーザインタフェースオブジェクト（第１の仮想ボックス５５１２）は、接触５５１０に対応する位置にディスプレイ１１２上で表示され、挿入カーソル５５０８は、基準マット５２０８ａの表示されたビュー５２０８ｂ上のその以前の位置から第１の仮想ボックス５５１２の表面５５１４に移動される。いくつかの実施形態では、影５５２２が表示される（例えば、シミュレートされた光は、第１の仮想ボックス５５１２によって影を投じさせる）。
図５Ｅ１１及び図５Ｅ１２は、追加の仮想ユーザインタフェースオブジェクトの挿入を引き起こす仮想ユーザインタフェースオブジェクト（第１の仮想ボックス５５１２）の表面で検出された入力を示す。図５Ｅ１１では、接触５５１６による入力（例えば、タップ入力）が、挿入カーソル５５１６が表面５５１４上に位置している間に、第１の仮想ボックス５５１２の表面５５１４上の位置で検出される。接触５５１６による入力の検出に応じて、新しい仮想ユーザインタフェースオブジェクト（第２の仮想ボックス５５１８）は、接触５５１０に対応する位置にディスプレイ１１２上で表示され、挿入カーソル５５０８は、第１の仮想ボックス５５１２の表面５５１４から第２の仮想ボックス５５１８の表面５５２０に移動される。影５５２２の長さは、増大される（それにより、影は、第１の仮想ボックス５５１２及び新たに追加された第２の仮想ボックス５５１８によって投じられたように見える）。
図５Ｅ１２及び図５Ｅ１３は、物理的基準マット５２０８の回転を示す。例えば、ユーザ５２０２は、基準マット５２０８の位置及び／又は向きを手動で変更する。物理的基準マット５２０８ａが回転すると、仮想ボックス５５１２及び５５１８並びに影５５２２は、回転する（仮想ボックス５５１２及び５５１８が物理的基準マット５２０８ａの表示されたビュー５２０８ｂに固定されているため）。
図５Ｅ１４〜図５Ｅ１６は、デバイス１００の移動を示す。例えば、デバイス１００を保持しているユーザ５２０２は、デバイスの位置及び／又は向きを変更する。図５Ｅ１４及び図５Ｅ１５では、デバイス１００が移動すると、仮想ボックス５５１２及び５５１８並びに影５５２２は、移動する（仮想ボックス５５１２及び５５１８が物理的基準マット５２０８ａの表示されたビュー５２０８ｂに固定されているため）。同様に、図５Ｅ１５及び図５Ｅ１６では、デバイス１００が移動すると、仮想ボックス５５１２及び５５１８並びに影５５２２が移動する。
図５Ｅ１７及び図５Ｅ１８は、仮想ボックス５５１８上の挿入カーソル５５２６の位置を変更する入力を示す。図５Ｅ１７では、挿入カーソル５５２６が仮想ボックス５５１８２の表面５５２０上に位置している間に、接触５５２４による入力（例えば、タップ入力）が仮想ボックス５５１８の表面５５２８で検出される。図５Ｅ１８では、接触５５２４は、タッチ感知ディスプレイ１１２からリフトオフしており、挿入カーソル５５０８は、仮想ボックス５５１８の表面５５２０から仮想ボックス５５１８の表面５５２８に移動される。
図５Ｅ１９及び図５Ｅ２０は、第３の仮想ボックス５５３２の挿入を引き起こす第２の仮想ボックス５５１８の表面で検出された入力を示す。図５Ｅ１９では、接触５５３０による入力（例えば、タップ入力）が、挿入カーソル５５２６が表面５２６８上に位置している間に、第２の仮想ボックス５５１８の表面５５２８上の位置で検出される。接触５５３０による入力の検出に応じて、第３の仮想ボックス５５３２は、接触５５３０に対応する位置にディスプレイ１１２上で表示され、挿入カーソル５５２６は、第２の仮想ボックス５５１８の表面５５２８から第３の仮想ボックス５５３２の表面５５２６に移動される。影５５２２の形状は、変更される（それにより、影は、第１の仮想ボックス５５１２、第２の仮想ボックス５５１８、及び新たに追加された第３の仮想ボックス５５３２によって投じられたように見える）。
図５Ｅ２１及び図５Ｅ２２は、仮想ボックス５５３２上の挿入カーソル５５３８の位置を変更する入力を示す。図５Ｅ２１では、挿入カーソル５５２６が仮想ボックス５５３２の表面５５３４上に位置している間に、接触５５３６による入力（例えば、タップ入力）が仮想ボックス５５３２の表面５５３８で検出される。図５Ｅ２２では、接触５５３６は、タッチ感知ディスプレイ１１２からリフトオフしており、挿入カーソル５５２６は、仮想ボックス５５１８の表面５５３４から仮想ボックス５５３２の表面５５３８に移動される。
図５Ｅ２３及び図５Ｅ２４は、新規オブジェクトコントロール５２１６を使用した、新しい仮想ユーザインタフェースオブジェクトの挿入を示す。
図５Ｅ２３では、挿入カーソル５５２６が仮想ボックス５５３２の表面５５３８にある間に、接触５５４２による入力（例えば、タップ入力）が、新規オブジェクトコントロール５２１６に対応するディスプレイ１１２上の位置で検出される。図５Ｅ２４では、新規オブジェクトコントロール５２１６に対応する位置での入力に応じて、第４の仮想ボックス５５４６が、挿入カーソル５５２６が示されていた位置に対応する位置にディスプレイ１１２上で表示され、挿入カーソル５５２６は、仮想ボックス５５３２の表面５５３８から第４の仮想ボックス５５４６の表面５５４８に移動される。
図５Ｅ２５〜図５Ｅ２７は、第４の仮想ボックス５５４６の移動を引き起こす入力を示す。
図５Ｅ２５では、接触５５５０による入力（例えば、選択及び移動の入力）が、第４の仮想ボックス５５４６の表面５５５６上で検出される。第４の仮想ボックス５５４６の表面５５５６を選択する接触５５５０の検出に応じて、移動投影５５５２が仮想ボックス５５４６から延びて示されて、第４の仮想ボックス５５４６の移動平面（例えば、仮想ボックス５５４６の選択された表面５５５６に平行な移動の平面）を示す。
図５Ｅ２５及び図５Ｅ２６では、接触５５５０は、矢印５５５４によって示す方向にタッチ感知ディスプレイ１１２の表面に沿って移動している。接触５５５０の移動に応じて、第４の仮想ボックス５５４６は、矢印５５５４によって示す方向に移動投影５５５２によって示す平面内で移動している。図５Ｅ２７では、接触５５５０は、タッチ感知ディスプレイ１１２からリフトオフしており、移動投影５５５２は、もはや表示されない。
図５Ｅ２８〜図５Ｅ３２は、第４の仮想ボックス５５４６のサイズ変更を引き起こす入力を示す。
図５Ｅ２８では、接触５２５８による入力（例えば、サイズ変更入力）が、第４の仮想ボックス５５４６の表面５５５６に対応する位置でタッチスクリーンディスプレイ１１２上で検出される。
図５Ｅ２９では、接触５２５５がサイズ変更時間閾値を上回って増加する期間にわたって第４の仮想ボックス５５４６の表面５５５６に対応する位置に留まった後に、サイズ変更投影５５６０が示されて、接触５５５８の後続の移動に応じて仮想ボックス５５４６がサイズ変更されることになる軸（仮想ボックス５５４６の選択された表面に対して垂直である）を示す。
図５Ｅ３０及び図５Ｅ３１では、接触５５５８は、矢印５５６２によって示す経路に沿って、タッチスクリーンディスプレイ１１２にわたって移動する。接触５５５８の移動に応じて、仮想ボックス５５４８のサイズは、接触５５５８の移動の方向にサイズ変更投影５５６０によって示す軸に沿って増大している。
図５Ｅ３２では、接触５５５８は、タッチ感知ディスプレイ１１２からリフトオフしており、投影５５６０は、もはや表示されない。
図５Ｆ１〜図５Ｆ１７は、いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するためのシステム及びユーザインタフェースの例を示す。これらの図におけるユーザインタフェースは、図１３Ａ〜図１３Ｅにおけるプロセスを含む、後述するプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。同様に、類似の動作は、任意選択的に、フォーカスインジケータとともに、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。
図５Ｆ１及び図５Ｆ２は、図５Ｆ３〜図５Ｆ１７に関して説明するユーザインタフェースが使用される状況を示す。
図５Ｆ１は、ユーザ５２０２及びテーブル５２０４が位置する物理的空間５２００を示す。デバイス１００は、ユーザ５２０２によってユーザの手５２０６に保持される。オブジェクト（物理的ボックス５６０２）は、テーブル５２０４上に位置する。
図５Ｆ２は、デバイス１００のディスプレイ１１２によって表示された拡張現実環境を示す。テーブル５２０４（物理的空間内のテーブルに言及するときは５２０４ａとして参照する）及び物理的ボックス５６０２は、デバイス１００の１つ以上のカメラ（例えば、光センサ１６４）（以下、「カメラ」と呼び、デバイス１００の１つ以上のカメラを示す）の視野内にある。ディスプレイ１１２は、テーブル５２０４ａの表示されたバージョン５２０４ｂと、デバイス１００のカメラによって検出されたときの物理的ボックス５６０２に対応するシミュレートされた環境内の位置に表示されたレンダリングされた仮想ボックス５６０４とを含む、カメラによってキャプチャされたときの物理的空間５２００のライブビューを示す。
図５Ｆ３〜図５Ｆ１７は、テーブル５２０４ａ及び物理的ボックス５６０２に対するデバイス１００の物理的空間５２００内の向きを示す下位図「ａ」（例えば、図５Ｆ３ａに示すような）、並びにデバイス１００のユーザインタフェースを示す下位図「ｂ」（例えば、図５Ｆ３ｂに示すような）を含む。また、明確にするために、図５Ｆ３〜図５Ｆ１８は、デバイス１００のより大きなビューを示して、ディスプレイ１１２上に表示されたユーザインタフェースの全ビューを提供し、ユーザの手５２０６を示さない。
図５Ｆ３ａ〜図５Ｆ４ａは、非安定動作モードで拡張現実環境がデバイス１００によって表示されている間に（図５Ｆ３ｂ〜図５Ｆ４ｂに示すように）行なわれる、テーブル５２０４ａ及び物理的ボックス５６０２に対するデバイス１００の移動を示す。図５Ｆ３ａに示すように、デバイス１００がテーブル５２０４ａに対して第１の位置にあるとき、物理的オブジェクト５６０２のレンダリングされたバージョン５６０４は、図５Ｆ３ｂに示すユーザインタフェース内に完全に見える。図５Ｆ４ａでは、デバイス１００は、テーブル５２０４ａに対して第２の位置に移動されており、物理的オブジェクト５６０２のレンダリングされたバージョン５６０４は、図５Ｆ４ｂに示すユーザインタフェース内に部分的に見えるだけである。非安定動作モードでは、デバイス１００が移動すると、仮想ボックス５６０４のビューは、仮想ボックス５６０４と物理的ボックス５６０２との間の固定された空間的関係を維持するように変化し、デバイス１００のカメラの視野の表示された表現（例えば、表示されたテーブル５２０４ｂを含む）は、デバイスの移動に基づいて更新される。
図５Ｆ５〜図５Ｆ８は、デバイスに安定動作モードで拡張現実環境を表示させる入力（例えば、デピンチズームアウト入力）を示す。
図５Ｆ５では、デバイス１００は、テーブル５２０４に対して第１の位置にある。図５Ｆ６では、タッチ感知ディスプレイ１１２で接触５６０６及び５６０８が検出される（図５Ｆ６ｂに示すように）。図５Ｆ６ｂ〜図５Ｆ７ｂに示すように、接触５６０６は、矢印５６１０によって示す経路に沿って移動し、接触５６０８は、矢印５６１２によって示す経路に沿って移動する。接触５６０６と接触５６０８との間の距離を増加させる接触５６０６及び５６０８の同時移動に応じて、仮想ボックス５６０４を含む表示された拡張現実環境は、ズームインされる（例えば、それにより、仮想ボックス５６０４のサイズがディスプレイ１１２上で増大する）。仮想ボックス５６０４は、ズーム入力に応じて再レンダリングされる（例えば、図５Ｆ８ｂのより大きい仮想ボックス５６０４は、図５Ｆ５ｂのより小さい仮想ボックス５６０４と同じ解像度を有する）。いくつかの実施形態では、ディスプレイ１１２上に表示されたデバイス１００のカメラの視野（例えば、テーブル５２０４ａの表示されたビュー５２０４ｂ）は、ズーム入力に応じて変更されない（図５Ｆ５ｂ〜図５Ｆ８ｂに示すように）。ズーム入力が受信されると、非安定動作モードから安定動作モードへの遷移が行なわれる。図５Ｆ８では、接触５６０６及び５６０８は、タッチスクリーンディスプレイ１１２からリフトオフしている。
いくつかの実施形態では、デバイスが安定動作モードで拡張現実環境を表示している間に、デバイスの移動がデバイスカメラの視野を越えて仮想ユーザインタフェースオブジェクトを延ばさせると、仮想ユーザインタフェースオブジェクトの一部分は、表示されることを停止する。図５Ｆ８及び図５Ｆ９は、仮想ユーザインタフェースオブジェクト５３０４の一部分が表示されることを停止させる、デバイス１００が安定動作モードにある間のデバイス１００の移動を示す。図５Ｆ８ａ〜図５Ｆ９ａは、安定動作モードで拡張現実環境がデバイス１００によって表示されている間に（図５Ｆ８ｂ〜図５Ｆ９ｂに示すように）行なわれる、テーブル５２０４ａ及び物理的ボックス５６０２に対するデバイス１００の移動を示す。図５Ｆ８ａに示すように、デバイス１００がテーブル５２０４ａに対して第１の位置にあるとき、ズームされた、物理的オブジェクト５６０２のレンダリングされたバージョン５６０４は、図５Ｆ８ｂに示すユーザインタフェース内に完全に見える。図５Ｆ９ａでは、デバイス１００は、テーブル５２０４ａに対して第２の位置に移動しており、それにより、仮想ボックス５６０４のビューを更新して、仮想ボックス５６０４と物理的ボックス５６０２との間の固定された空間的関係を維持することにより、仮想ボックス５６０４をデバイス１００のカメラの視野を越えて延ばさせる。結果として、デバイス１００のカメラの視野を越えて延びる仮想ボックス５０６４の部分は、表示されない。
いくつかの実施形態では、デバイスが安定動作モードで拡張現実環境を表示しており、かつデバイスの移動が仮想ユーザインタフェースオブジェクトをデバイスカメラの視野を越えて延ばさせている間に、拡張現実環境は、ズームアウトされ、それにより、仮想ユーザインタフェースオブジェクトは、完全に表示される。例えば、図５Ｆ９ｂから図５Ｆ１０ｂまで、仮想ボックス５６０４を含む表示された拡張現実環境は、ズームアウトしており、それにより、仮想ボックス５６０４は、完全に表示される。
いくつかの実施形態では、安定動作モードで、仮想ボックス５６０４のビューを更新して、仮想ボックス５６０４と物理的ボックス５６０２との間の固定された空間的関係を維持することにより、仮想ボックス５６０４をデバイス１００のカメラの視野を越えて延ばさせると、仮想ボックス５６０４は、デバイスカメラの視野を越えて延びる仮想ボックス５０６４の部分に対応する位置のプレースホルダ画像とともに表示される。図５Ｆ１０ｂでは、物理的オブジェクト５６０２のレンダリングされたバージョン５６０４は、デバイスカメラの視野を越えて延びる仮想ボックス５０６４の部分に対応する位置のプレースホルダ画像５６１４（余白）とともに表示される。例えば、プレースホルダ画像５６１４は、カメラの視野を越えている拡張現実環境内の位置に表示され、従って、プレースホルダ画像５６１４によって占有されているスペース内に表示されることになるカメラデータは利用可能でない。
図５Ｆ１０及び図５Ｆ１１は、（図５Ｆ８及び図５Ｆ３に示すデバイス１００の位置に戻る）デバイス１００の移動を示す。
図５Ｆ１１ａ〜図５Ｆ１２ａは、（例えば、テーブル５２０４ａ及び物理的オブジェクト５６０２から離れて後退し、それにより、デバイス１００は、より大きく見える）デバイス１００の移動を示す。図５Ｆ１２ｂでは、図５Ｆ１１ａ〜図５Ｆ１２ａに示す移動の結果として、仮想オブジェクト５６０４のサイズは、図５Ｆ１１ｂの仮想オブジェクト５６０４のサイズから減少している。説明の目的でこの移動を図５Ｆ１１ａ〜図５Ｆ１２ａに示し（それにより、安定モードでの図５Ｆ１２ｂの仮想オブジェクト５６０４のサイズは、非安定モードでの図５Ｆ３ｂの仮想オブジェクト５６０４のサイズと同じである）、安定動作モードと非安定動作モードでの拡張現実環境の更新の端的な比較を提供する。
図５Ｆ１２ａ〜図５Ｆ１３ａは、安定動作モードで拡張現実環境がデバイス１００によって表示されている間に行なわれる、テーブル５２０４ａ及び物理的ボックス５６０２に対するデバイス１００の移動を示す。図５Ｆ１２ａに示すように、デバイス１００がテーブル５２０４ａに対して第１の位置にあるとき、物理的オブジェクト５６０２のレンダリングされたバージョン５６０４は、図５Ｆ１２ｂに示すユーザインタフェース内に完全に見える。図５Ｆ１３ａでは、デバイス１００は、テーブル５２０４ａに対して第２の位置に移動されており、物理的オブジェクト５６０２のレンダリングされたバージョン５６０４は、図５Ｆ１３ｂに示すユーザインタフェース内に部分的に見えるだけである。いくつかの実施形態では、安定動作モードでは、デバイス１００が移動すると、仮想ボックス５６０４のビューは、仮想ボックス５６０４と物理的ボックス５６０２との間の固定された空間的関係を維持するように変化し、（例えば、表示されたテーブル５２０４ｂを含む）デバイス１００のカメラの視野の表示された表現は、非安定モードで生じる変化量未満の量だけ変化する（例えば、デバイス１００が安定動作モードにある間の図５Ｆ１２ｂから図５Ｆ１３ｂの表示されたテーブル５２０４ｂの移動量は、デバイス１００が非安定動作モードにある間の図５Ｆ４ｂから図５Ｆ５ｂへの表示されたテーブル５２０４ｂの移動量未満である）。
図５Ｆ１４〜図５Ｆ１６は、非安定動作モードから安定動作モードに遷移するための安定化トグル５６１６での入力を示す。図５Ｆ１５ｂでは、接触５６１８による入力（例えば、タップ入力）が安定化トグル５６１６に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。接触５６１８による入力に応じて、安定化トグル５６１６の外観は、図５Ｆ１６ｂに示すように、変更されて（例えば、トグルは、非陰影状態から陰影状態に変化する）、非安定動作モードから安定動作モードへの遷移が行なわれたことを示す。
図５Ｆ１６ａ〜図５Ｆ１７ａは、安定動作モードで拡張現実環境がデバイス１００によって表示されている間に行なわれる（図５Ｆ１６ａ〜図５Ｆ１７ａに示すように）、テーブル５２０４ａ及び物理的ボックス５６０２に対するデバイス１００の移動を示す。図５Ｆ１６ａに示すように、デバイス１００がテーブル５２０４ａに対して第１の位置にあるとき、物理的オブジェクト５６０２のレンダリングされたバージョン５６０４は、図５Ｆ１６ｂに示すユーザインタフェース内に完全に見える。図５Ｆ１７ａでは、デバイス１００は、テーブル５２０４ａに対して第２の位置に移動されており、物理的オブジェクト５６０２のレンダリングされたバージョン５６０４は、図５Ｆ１７ｂに示すユーザインタフェース内に部分的に見えるだけである。安定動作モードでは、デバイス１００が移動すると、仮想ボックス５６０４のビューは、仮想ボックス５６０４と物理的ボックス５６０２との間の固定された空間的関係を維持するように変化し、（例えば、表示されたテーブル５２０４ｂを含む）デバイス１００のカメラの視野の表示された表現は、非安定モードで生じる変化量未満の量だけ変化する（例えば、デバイス１００が安定動作モードにある間の図５Ｆ１５ｂから図５Ｆ１６ｂの表示されたテーブル５２０４ｂの移動量は、デバイス１００が非安定動作モードにある間の図５Ｆ４ｂから図５Ｆ５ｂへの表示されたテーブル５２０４ｂの移動量未満である）。
図６Ａ〜図６Ｄは、いくつかの実施形態に係る、拡張現実環境内の仮想ユーザインタフェースオブジェクトの外観を調整する方法６００を示すフロー図である。方法６００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、を有するコンピュータシステム（例えば、ポータブル多機能デバイス１００、図１Ａ、デバイス３００、図３Ａ、又は、ヘッドセット５００８及び入力デバイス５０１０を含むマルチコンポーネントコンピュータシステム、図５Ａ２）において実行される。いくつかの実施形態では、入力デバイス（例えば、タッチ感知面を有する）及び表示生成コンポーネントは、タッチ感知ディスプレイに統合される。図３Ｂ及び図３Ｄに関して上述したように、いくつかの実施形態では、方法６００は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、及び任意選択的に１つ以上の姿勢センサなどのそれぞれの構成要素が、それぞれ、コンピュータシステム３０１に含まれる、又はコンピュータシステム３０１と通信しているのいずれかである、コンピュータシステム３０１（例えば、コンピュータシステム３０１−ａ、３０１−ｂ、又は３０１−ｃ）で実行される。
いくつかの実施形態では、表示生成コンポーネントは、タッチスクリーンディスプレイであり、入力デバイス（例えば、タッチ感知面を有する）は、表示生成コンポーネント上にある、又はそれと統合されている。いくつかの実施形態では、表示生成コンポーネントは、入力デバイスとは別個である（例えば、図４Ｂ及び図５Ａ２に示すように）。方法６００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２及び１つ以上の一体型カメラを有するコンピュータシステム上（例えば、タッチスクリーン１１２を有するデバイス１００上）で実行される動作を参照して説明する。しかしながら、類似の動作は、任意選択的に、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。同様に、類似の動作は、任意選択的に、コンピュータシステムの１つ以上の他の構成要素（例えば、入力デバイス）とは別個に（例えば、ヘッドセット内に）実装される１つ以上のカメラを有するコンピュータシステム上で実行され、いくつかのそのような実施形態では、「コンピュータシステムの移動」は、コンピュータシステムの１つ以上のカメラの移動、又はコンピュータシステムと通信する１つ以上のカメラの移動に対応する。
後述するように、方法６００は、コンピュータシステムの移動（例えば、コンピュータシステムの１つ以上のカメラの移動）と、コンピュータシステムの入力デバイス（例えば、タッチスクリーンディスプレイ）上の接触の移動との組み合わせに基づいて、拡張現実環境（例えば、物理的世界で利用可能でない、ユーザに追加情報を提供する補足情報で、現実が拡張される）内の（コンピュータシステムのディスプレイ上の）仮想ユーザインタフェースオブジェクトの外観を調整することに関する。いくつかの実施形態では、仮想ユーザインタフェースオブジェクトの外観を調整することにより、ユーザが拡張現実環境内で補足情報にアクセスすることを可能にする。コンピュータシステムの移動とコンピュータシステムの入力デバイス上の接触の移動との組み合わせに基づいて仮想ユーザインタフェースオブジェクトの外観を調整することにより、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整するための直感的な方法を提供し（例えば、コンピュータシステムの移動のみ、入力デバイス上の接触の移動のみ、又はコンピュータシステムの移動と接触の移動との組み合わせで、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整することを可能にすることにより）、ユーザがユーザに利用可能な調整の範囲を拡張することを可能にし（例えば、接触又はコンピュータシステムの１つ以上のカメラが所望の方向に更に移動することができない場合でも、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整し続けることを可能にすることによって）、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに意図された結果を達成するために必要なステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
コンピュータシステム（例えば、デバイス１００、図５Ａ７）は、表示生成コンポーネント（例えば、タッチスクリーン１１２、図５Ａ７）を介して（例えば、図５Ａ７に示すように）拡張現実環境を表示する（６０２）。拡張現実環境を表示することは、対応する物理的オブジェクト（例えば、建物の３次元モデル、印刷されたパターンを有する一枚の紙、壁又は他の物理的オブジェクト上のポスター、表面上に置かれた像など）（例えば、物理的建築モデル５００６、図５Ａ１）を含む１つ以上のカメラの視野の少なくとも一部分の表現であって、表現は、１つ以上のカメラの視野のコンテンツが変化するにつれて更新される（例えば、表現は、１つ以上のカメラの視野の少なくとも一部分のライブプレビューであり、対応する物理的オブジェクトは、カメラの視野内に含まれ、かつ見える）表現と、１つ以上のカメラの視野の表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクト（例えば、建物の３次元モデルの仮想屋根、印刷されたパターンを有する一枚の紙によって表された表面上に駐車された仮想の自動車、ポスターに重ね合わされた対話型ロゴ、像の外形をカバーする仮想３次元マスクなど）（例えば、仮想建築モデル５０１２、図５Ａ７）であって、対応する仮想ユーザインタフェースオブジェクト（例えば、仮想建築モデル５０１２、図５Ａ７）は、１つ以上のカメラの視野内の対応する物理的オブジェクト（例えば、物理的建築モデル５００６）に基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、を同時に表示することを含む（６０４）。例えば、いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに取り付けられるように見える、又はそれをカバーするように見える、グラフィカルオブジェクト又は２次元若しくは３次元仮想オブジェクトである（例えば、仮想建築モデル５０１２は、物理建築モデル５００６をカバーするように見える３次元仮想オブジェクトである、図５Ａ７）。対応する仮想ユーザインタフェースオブジェクトの位置及び／又は向きは、１つ以上のカメラの視野内の物理的オブジェクトの位置、形状、及び／又は向きに基づいて決定される（例えば、図５Ａ３及び図５Ａ５に示すように）。拡張現実環境を表示している間に（６０６）、コンピュータシステムは、対応する仮想ユーザインタフェースオブジェクトに対応する位置（例えば、タッチスクリーンディスプレイ若しくはタッチ感知式リモートコントロール上の位置、又はカーソルが対応する仮想ユーザインタフェースオブジェクトの位置にある間のワンド若しくはユーザの手の移動）で入力を検出する（例えば、タッチスクリーンディスプレイ又はタッチ感知式リモートコントロール上の接触によるタッチ入力を検出することによってなど、入力デバイス上の入力を検出する）（例えば、デバイス１００は、仮想建築モデル５０１２の仮想屋根上の接触５０２０−ａを検出する、図５Ａ８）。
入力を検出し続けている間に（６０８）（例えば、接触がタッチスクリーンディスプレイ上又はタッチ感知式リモートコントロール上で維持されている間など、接触が入力デバイス上で維持されている間に）（例えば、接触５０２０がタッチスクリーン１１２上で維持されている間に、図５Ａ９〜図５Ａ１３）、コンピュータシステムは、１つ以上のカメラの視野内の対応する物理的オブジェクトに対する入力の移動を検出する（例えば、図５Ａ９〜図５Ａ１３に示すように）。いくつかの実施形態では、入力の移動は、任意選択的に、コンピュータシステム（例えば、デバイス１００）が物理的空間内で実質的に静止して保持されている間の、タッチスクリーンディスプレイを横切る、又はタッチ感知式リモートコントロールのタッチ感知面を横切る接触の移動を含む（例えば、図５Ａ８〜図５Ａ１１に示すように）。いくつかの実施形態では、入力の移動は、任意選択的に、接触がタッチスクリーンディスプレイ又はタッチ感知式リモートコントロール上で維持され、かつ静止したままでいる間の、物理的空間内のカメラを含むデバイスの移動を含む（例えば、図５Ａ１７及び図５Ａ１８に示すように）。いくつかの実施形態では、入力の移動は、任意選択的に、同時に起こる、タッチスクリーンディスプレイ又はタッチ感知式リモートコントロールを横切る接触の移動、及び物理的空間内のカメラを含むデバイスの移動を含む。いくつかの実施形態では、コンピュータシステムの移動は、仮想現実ディスプレイヘッドセットなどの移動などのマルチコンポーネントコンピュータシステムの構成要素の移動を含む（例えば、図５Ａ２に示すように）。加えて、入力を検出し続けている間に、かつ１つ以上のカメラの視野内の対応する物理的オブジェクトに対する入力の移動を検出したことに応じて、デバイスは、対応する物理的オブジェクトに対する入力の移動の大きさに従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整する（例えば、仮想ユーザインタフェースオブジェクトの全て又は一部（単数又は複数）を拡大する、縮小する、伸張する、一緒に押し込む、拡張する、及び／又は一緒に押すことによって）。例えば、接触が建築モデルの仮想屋根の上で検出され、次いでタッチスクリーンディスプレイを横切って移動するとき、仮想屋根は、カメラの視野のライブプレビュー内の建築モデルから離れるように持ち上げられ（例えば、図５Ａ８〜図５Ａ１１に示すように）、タッチスクリーンディスプレイ上で接触が維持されており、かつデバイスが全体として物理的空間内の建築モデルに対して移動されている間に、仮想屋根の移動は、タッチスクリーンディスプレイ上の接触の位置、並びに物理的空間内の対応する物理的オブジェクトに対するデバイスの位置及び向きの両方に基づいて決定される（例えば、カメラの視野のライブプレビュー内に示される対応する物理的オブジェクトの位置に基づいて決定されるように）（例えば、図５Ａ１１〜図５Ａ１３に示すように）。
別の例として、対応する物理的オブジェクト（例えば、印刷されたパターンを有するテーブル面又は一枚の紙）上に仮想モデルが構築される（例えば、図５Ｂ１〜図５Ｂ４１に関して更に詳細に説明したような）ブロック構築アプリケーションでは、ブロック上で接触（例えば、接触５２６２、図５Ｂ２８）が検出され（例えば、ブロック上の長い押圧入力に応じて）、かつコンピュータシステムが、どのようにブロックがスケーリングするかのガイドを表示すると（例えば、サイズ変更投影５２６６を使用して示すように、図５Ｂ２９）、ブロック上で接触が維持され、かつデバイスが全体としてブロックに対して移動されている間に（例えば、図５Ｂ２８〜図５Ｂ３０に示すように）、ブロックのスケーリング（例えば、ガイドの方向へのブロックの伸張）は、タッチスクリーンディスプレイ上の接触の位置（例えば、ブロックキューブの特定の側面又は面上の）、並びに物理的空間内の対応する物理的オブジェクトに対するデバイスの位置及び向きの両方に基づいて決定される（例えば、カメラの視野のライブプレビュー内に示される対応する物理的オブジェクトの位置に基づいて決定されるように）。
いくつかの実施形態では、対応する物理的オブジェクトに対する入力の移動の大きさに従って、対応する仮想ユーザインタフェースオブジェクト（例えば、仮想建築モデル５０１２、図５Ａ８〜図５Ａ１３）の外観を調整することは、対応する物理的オブジェクトに対する入力の移動の大きさが第１の大きさ（例えば、移動の相対的により大きい大きさ）であるとの判定に従って、第１の調整により対応する仮想ユーザインタフェースオブジェクトの外観を調整すること（例えば、より大きな相対移動量は、より大きい調整を引き起こす）（例えば、図５Ａ１０に示すように、図５Ａ９と比較して）と、対応する物理的オブジェクトに対する入力の移動の大きさが、第１の大きさとは別個の第２の大きさ（例えば、移動の相対的により小さい大きさ）であるとの判定に従って、第１の調整とは別個の第２の調整により対応する仮想ユーザインタフェースオブジェクトの外観を調整すること（例えば、より小さい相対移動量は、より小さい調整を引き起こす）（例えば、図５Ａ９に示すように、図５Ａ１０と比較して）と、を含む（６１０）。入力の移動の大きさが第１の大きさであるときに、対応する仮想ユーザインタフェースオブジェクトを第１の調整により調整すること（例えば、より大きい相対移動量は、より大きな調整を引き起こす）、及び入力の移動の大きさが第２の大きさであるときに、対応する仮想ユーザインタフェースオブジェクトを第２の調整により調整すること（例えば、より小さい相対移動量は、より小さい調整を引き起こす）により、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクト（例えば、仮想建築モデル５０１２、図５Ａ３〜図５Ａ６）は、調整することの前及び後に、１つ以上のカメラの視野内の対応する物理的オブジェクト（例えば、物理的建築モデル５００６）に固定される（６１２）。例えば、いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトをカバーするように見え、１つ以上のカメラの視野内の物理的オブジェクトの位置及び／又は向きが変化すると、対応する仮想ユーザインタフェースオブジェクトの位置及び／又は向きは、それに応じて変化する（例えば、図５Ａ３〜図５Ａ６に示すように）。いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトは、調整することの一部又は全ての間（例えば、図５Ａ３から図５Ａ５への遷移の間）、１つ以上のカメラの視野内の対応する物理的オブジェクトに固定される。対応する仮想ユーザインタフェースオブジェクトを対応する物理的オブジェクトに固定することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトの外観は、入力の移動が、入力デバイス上の入力の移動（例えば、入力デバイスが物理的空間内で実質的に静止して保持されている間の入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動）（例えば、図５Ａ９〜図５Ａ１１に示すような）、対応する物理的オブジェクトに対する１つ以上のカメラの移動（例えば、接触が入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面上で維持され、かつ静止したままでいる間の物理的空間内のカメラを含むコンピュータシステムの移動）（例えば、図５Ａ１１〜図５Ａ１３に示すような）、又は入力デバイス上の入力の移動と対応する物理的オブジェクトに対する１つ以上のカメラの移動との組み合わせ（例えば、同時に起こる、入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動、及び物理的空間内のカメラを含むコンピュータシステムの移動）に起因するかに関わらず、１つ以上のカメラの視野内の対応する物理的オブジェクトに対する入力の移動を検出したことに応じて、調整される（６１４）。入力の移動のしかたに関わらず仮想ユーザインタフェースオブジェクトの外観を調整すること（例えば、入力デバイス上の入力の移動のみ、物理的オブジェクトに対するカメラの移動のみ、又は入力及びカメラの移動の組み合わせにより、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整することを可能にすることによって）により、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整するための直感的な方法を提供し、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する物理的オブジェクトに対する入力の移動は、対応する物理的オブジェクトに対する１つ以上のカメラの視野の移動（例えば、物理的空間内のカメラを含むコンピュータシステムの移動の結果としての）（例えば、図５Ａ１１〜図５Ａ１３に示すような）、及び入力デバイス上の入力の移動（例えば、入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動）（例えば、図５Ａ８〜図５Ａ１１に示すような）に基づく（６１６）。コンピュータシステムの移動及び接触の移動によって、ユーザが対応する物理的オブジェクトに対して入力を移動させることを可能にすることにより、ユーザが入力を移動させるための直感的な方法を提供し、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する物理的オブジェクトに対する入力の移動は、入力デバイス上の入力の移動（例えば、入力デバイスが物理的空間内で実質的に静止して保持されている間の入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動）に基づき（６１８）（例えば、図５Ａ８〜図５Ａ１１に示すように）、コンピュータシステムは、対応する物理的オブジェクトに対する入力の移動の大きさに従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整した後に（例えば、図５Ａ１１に示すように）、対応する物理的オブジェクトに対する１つ以上のカメラの視野の移動（例えば、移動５０２２、図５Ａ１２）を検出し、対応する物理的オブジェクトに対する１つ以上のカメラの視野の移動を検出したことに応じて、対応する物理的オブジェクトに対する１つ以上のカメラの視野の移動の大きさに従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整し続ける（例えば、同じ方法で）（例えば、図５Ａ１３に示すように）。いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトの外観を調整することは、対応する仮想ユーザインタフェースオブジェクトの一部を移動させることを含み、移動は、仮想ユーザインタフェースオブジェクト上での接触ドラッグによって開始され、移動は、デバイスを全体として移動させることによって継続される（例えば、図５Ａ８〜図５Ａ１３に示すように）。例えば、建物の３次元モデルの仮想屋根の上で接触が検出され、かつ接触がタッチスクリーンディスプレイを横切って（例えば、上向き方向に）移動するとき、仮想屋根は、表示された拡張現実環境内の建築モデルから持ち上げられる（例えば、図５Ａ８〜図５Ａ１１に示すように）。仮想屋根が持ち上げられた後に、デバイスが全体として物理的空間内の建築モデルに対して（例えば、上向き方向に）移動されると、仮想屋根は、持ち上がり続ける（例えば、図５Ａ１１〜図５Ａ１３に示すように）（及び任意選択的に、建築モデルの床は、持ち上がり、伸長する）。いくつかの実施形態では、入力の移動の大きさに従って対応する仮想ユーザインタフェースオブジェクトの外観を調整し、次いで、１つ以上のカメラの視野の移動の大きさに従って対応する仮想ユーザインタフェースオブジェクトの外観を調整し続けることにより、接触がタッチスクリーンディスプレイ上で所望の方向に更により遠くに移動することができない場合であっても（例えば、タッチがタッチスクリーンディスプレイの縁部又はその付近にあり、かつタッチの更なる移動がタッチスクリーンディスプレイの縁部から外れてタッチを移動させることになるため）、ユーザが対応する仮想ユーザインタフェースオブジェクトの外観を調整し続けることを可能にする。例えば、仮想屋根では、接触がタッチスクリーンディスプレイの上縁部に接近するが、ユーザが依然として屋根を持ち上げ続けることを望む場合、ユーザは、接触がタッチスクリーンディスプレイ上で更により高く移動することができない場合であっても、デバイス又はカメラを移動させることにより、そのように調整し続けることができる（例えば、図５Ａ８〜図５Ａ１３に示すように）。入力の移動の大きさに従って対応する仮想ユーザインタフェースオブジェクトの外観を調整し、次いで、１つ以上のカメラの視野の移動の大きさに従って対応する仮想ユーザインタフェースオブジェクトの外観を調整し続けることにより、ユーザがユーザに利用可能な調整の範囲を拡張することを可能にし（例えば、接触がタッチスクリーンディスプレイ上の所望の方向に更により遠くに移動することができない場合でも、ユーザがコンピュータシステムの移動により対応する仮想ユーザインタフェースオブジェクトの外観を調整し続けることを可能にする）、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに意図された結果を達成するために必要なステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する物理的オブジェクトに対する入力の移動は、対応する物理的オブジェクトに対する１つ以上のカメラの視野の移動（例えば、入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面上で接触が維持され、かつ静止したままでいる間の、物理的空間内の、コンピュータシステムの１つ以上のカメラ、又はコンピュータシステムと通信する１つ以上のカメラの移動の結果としての）に基づき（６２０）（例えば、図５Ａ１７及び図５Ａ１８に示すように）、コンピュータシステムは、対応する物理的オブジェクトに対する入力の移動の大きさに従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整した後に（例えば、図５Ａ１８に示すように）、入力デバイス上の入力の移動（例えば、入力デバイスが物理的空間内で実質的に静止して保持されている間の入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る（以前に静止していた）接触の移動）を検出し（例えば、図５Ａ１９及び図５Ａ２０に示すように）、入力デバイス上の入力の移動を検出したことに応じて、入力デバイス上の入力の移動の大きさに従って、（例えば、同じ方法で）対応する仮想ユーザインタフェースオブジェクトの外観を調整し続ける（例えば、図５Ａ２０に示すように）。いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトの外観を調整することは、対応する仮想ユーザインタフェースオブジェクトの一部を移動させること（例えば、仮想屋根５０１２−ａを移動させること、図５Ａ１７〜図５Ａ２０）であって、移動は、仮想ユーザインタフェースオブジェクト上の（静止した）接触タッチによって開始される、ことと、デバイスを全体として移動させること（例えば、図５Ａ１７及び図５Ａ１８に示すように）であって、移動は、仮想ユーザインタフェースオブジェクト上の接触ドラッグによって継続される（例えば、図５Ａ１９及び図５Ａ２０に示すように）、ことと、を含む。例えば、建物の３次元モデルの仮想屋根の上で接触が検出され、かつデバイスが全体として物理的空間内の建築モデルに対して（例えば、上向き方向に）移動されると、仮想屋根は、カメラの視野のライブプレビュー内の建築モデルから持ち上げられる（例えば、図５Ａ１７及び図５Ａ１８に示すように）。仮想屋根が持ち上げられた後に、（以前に静止していた）接触がタッチスクリーンディスプレイを横切って（例えば、上向き方向に）移動すると、仮想屋根は、持ち上がり続ける（及び任意選択的に、建築モデルの床は、持ち上がり、伸長する）（例えば、図５Ａ１９及び図５Ａ２０に示すように）。１つ以上のカメラの視野の移動の大きさに従って対応する仮想ユーザインタフェースオブジェクトの外観を調整し、次いで、入力デバイス上の入力の移動の大きさに従って対応する仮想ユーザインタフェースオブジェクトの外観を調整し続けることにより、ユーザがユーザに利用可能な調整の範囲を拡張することを可能にし（例えば、コンピュータシステム（又はコンピュータシステムの、若しくはコンピュータシステムと通信する１つ以上のカメラ）が所望の方向に更により遠くに移動することができない場合でも、ユーザが入力デバイスにより対応する仮想ユーザインタフェースオブジェクトの外観を調整し続けることを可能にする）、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに意図された結果を達成するために必要なステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトに対応する位置で入力を検出することは、対応する仮想ユーザインタフェースオブジェクト上の第１の接触点で入力を検出することを含み（６２２）、コンピュータシステム（例えば、デバイス１００）は、入力の位置に対応する位置の対応する仮想ユーザインタフェースオブジェクト上の第１の接触点の表示を維持するように、対応する仮想ユーザインタフェースオブジェクトの表示を更新する（例えば、仮想ユーザインタフェースオブジェクトがタッチスクリーンデバイス上に表示されているとき、デバイスは、入力の移動が、入力デバイス上の入力の移動（例えば、入力デバイスが物理的空間内で実質的に静止して保持されている間の入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動）（例えば、図５Ａ８〜図５Ａ１１に示すような）、対応する物理的オブジェクトに対する１つ以上のカメラの移動（例えば、接触が入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面上で維持され、かつ静止したままでいる間の物理的空間内のカメラを含むコンピュータシステムの移動）（例えば、図５Ａ１１〜図５Ａ１３に示すような）、又は入力デバイス上の入力の移動と対応する物理的オブジェクトに対する１つ以上のカメラの移動との組み合わせ（例えば、同時に起こる、入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動、及び物理的空間内のカメラを含むコンピュータシステムの移動）に起因するかに関わらず、仮想ユーザインタフェースオブジェクトをユーザの指の下に保持するように、対応する仮想ユーザインタフェースオブジェクトを更新する）。例えば、（例えば、ユーザの指による）接触が建物の３次元モデルの仮想屋根「上」で検出される（例えば、建物の３次元モデルの仮想屋根が表示されている位置でタッチスクリーン１１２上で検出される）と、タッチスクリーンディスプレイ上の移動、及びコンピュータシステムの移動は、同期されて、仮想屋根上の同じ点に接触を維持する（例えば、接触がタッチスクリーンディスプレイを横切って上向き方向に移動するにつれて、仮想屋根は、持ち上がり、ユーザの指の下に留まる、デバイスが全体として物理的空間内の建築モデルに対して上向き方向に移動されるにつれて、仮想屋根は、持ち上がり、ユーザの指の下に留まる、接触の移動とデバイス全体としての移動との組み合わせに基づいて、仮想屋根は、（例えば、上昇又は下降して）ユーザの指の下に留まる）（例えば、図５Ａ８〜図５Ａ１３に示すように）。入力の位置に対応する位置に対応する仮想ユーザインタフェースオブジェクト上の接触点の表示を維持することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する物理的オブジェクトに対する入力の移動は、コンピュータシステムの移動（例えば、物理的空間内の１つ以上のカメラを含むコンピュータシステムの移動）を含み（６２４）（例えば、図５Ａ１７に示すように）、コンピュータシステムの移動は、１つ以上のカメラの視野内の１つ以上の基準点が１つ以上のカメラによってキャプチャされた連続画像間で変化していること（例えば、１つ以上のカメラの視野内の変化した場所又は位置）を示す画像解析（例えば、連続した画像フレームの比較及び画像内で識別されたオブジェクトの追跡）から導出される。いくつかの実施形態では、画像解析は、コンピュータシステムによって実行される。いくつかの実施形態では、画像解析は、カメラの視野内の３つ以上の基準点を追跡することを含む。いくつかの実施形態では、古い基準点が１つ以上のカメラの視野から外れて移動すると、新しい基準点が特定される。いくつかの実施形態では、コンピュータシステムの移動は、コンピュータシステムの慣性測定ユニット（ＩＭＵ）を使用して導出される代わりに、画像解析から導出される。いくつかの実施形態では、コンピュータシステムの移動は、コンピュータシステムのＩＭＵの１つ以上の要素（例えば、加速度計、ジャイロスコープ、及び／又は磁力計）を使用することに加えて、画像解析から導出される。画像解析からコンピュータシステムの移動を検出することにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトの外観を調整することは、対応する仮想ユーザインタフェースオブジェクトの少なくとも一部分を移動させることを含み（６２６）、対応する仮想ユーザインタフェースオブジェクトの移動は、対応する物理的オブジェクトの物理的形状に基づく（例えば、物理的モデルの形状に基づく）。例えば、いくつかの実施形態では、対応する物理的オブジェクトは、３次元ハイウェイモデルであり、対応する仮想ユーザインタフェースオブジェクトは、仮想の自動車である。この実施例では、仮想自動車の外観を調整することは、３次元ハイウェイモデル上で仮想自動車を移動させることを含み、仮想の自動車の移動は、３次元ハイウェイモデルの物理的形状に基づく（例えば、仮想自動車は、３次元ハイウェイモデルのランプ上を移動する）。別の例として、いくつかの実施形態では、対応する物理的オブジェクトは、物理的建築モデル（例えば、物理的建築モデル５００６、図５Ａ１）であり、対応する仮想ユーザインタフェースオブジェクトは、仮想建築モデル（例えば、仮想建築モデル５０１２、図５Ａ８）であり、対応する仮想ユーザインタフェースオブジェクトの外観を調整することは、対応する仮想ユーザインタフェースオブジェクトの少なくとも一部分（例えば、仮想屋根５０１２−ａ、図５Ａ９）を移動させることを含む。対応する仮想ユーザインタフェースオブジェクトを対応する物理的オブジェクトの物理的形状に基づいて移動させることにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトの外観を調整することは、対応する仮想ユーザインタフェースオブジェクトの少なくとも一部分を移動させることを含み（６２８）、対応する仮想ユーザインタフェースオブジェクトの移動は、同時に起こる、１つ以上のタッチ入力（例えば、入力デバイス上のスワイプ入力）の移動及びコンピュータシステムの移動に基づく。例えば、いくつかの実施形態では、建物の３次元モデルの仮想屋根の外観を調整することは、仮想屋根の少なくとも一部分を移動させることを含み、仮想屋根の移動は、同時に起こる、（例えば、上向き方向の）タッチスクリーンディスプレイを横切って移動する接触の移動及び（例えば、上向き方向の）物理的空間内の建築モデルに対するデバイス全体としての移動に基づく（例えば、図５Ａ１７及び図５Ａ１８のデバイス移動５０２８が、図５Ａ１９及び図５Ａ２０の接触５０２６の移動と同時に起こった場合）。別の例として、いくつかの実施形態では、仮想自動車の移動は、同時に起こる、３次元ハイウェイモデルのランプ上で仮想自動車をドラッグする移動、及びデバイスが移動しているためのディスプレイ上のモデル自体の移動に基づく。ユーザが、同時に起こるタッチ入力の移動及びコンピュータシステムの移動によって対応する仮想ユーザインタフェースオブジェクトを移動させることを可能にすることにより、ユーザが対応する仮想ユーザインタフェースオブジェクトを移動させるための直感的な方法を提供し、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトの外観を調整することは、対応する仮想ユーザインタフェースオブジェクトの静止状態の最大限界を越えて、対応する仮想ユーザインタフェースオブジェクトの少なくとも一部分を移動させること（例えば、図５Ａ１３に示すように、仮想屋根５０１２−ａをその静止状態の最大限界を越えて移動させること）（例えば、入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動、対応する物理的オブジェクトに対する１つ以上のカメラの移動、又は入力デバイス上の接触の移動と対応する物理的オブジェクトに対する１つ以上のカメラの移動との組み合わせに基づいて）を含み（６３０）、コンピュータシステムは、入力を検出し続けている間に、対応する物理的オブジェクトに対する入力の移動の大きさに従って、対応する仮想ユーザインタフェースオブジェクトの静止状態の最大限界を越える位置に、対応する仮想ユーザインタフェースオブジェクトを表示し（例えば、図５Ａ１３に示すように）、入力を検出することを停止し（例えば、図５Ａ１３の接触５０２０−ｄのリフトオフ）、入力を検出することを停止したことに応じて、対応する仮想ユーザインタフェースオブジェクトの静止状態の最大限界に対応する位置に、対応する仮想ユーザインタフェースオブジェクトを表示する（例えば、図５Ａ１４に示すように）。いくつかの実施形態では、これは、静止状態の最大限界を越える位置での対応する仮想ユーザインタフェースオブジェクトから静止状態の最大限界に対応する位置へのアニメーション化された遷移を表示すること（例えば、図５Ａ１３の位置の仮想屋根５０１２−ａから図５Ａ１４の位置の仮想屋根５０１２−ａへのアニメーション化された遷移を表示すること）を含む。いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトが入力の移動に基づいてその最大静止状態の最も遠い範囲を越えて移動する場合、対応する仮想ユーザインタフェースオブジェクトは、入力がリフトオフすると、その最大静止状態に戻る（例えば、アニメーション化された遷移で）。例えば、３次元建築モデルの仮想屋根が、３次元建築モデル上に直接静止して、建築モデルの上に１２インチまでホバリングして表示されることができる場合（例えば、仮想屋根の静止状態が建築モデルから０〜１２インチである）、ユーザが仮想屋根を建築モデルの上に１５インチ持ち上げる場合、ユーザ入力がリフトオフすると、仮想屋根は、建築モデルの上に１２インチまで戻る。入力の移動の大きさに従って対応する仮想ユーザインタフェースオブジェクトを移動させ（対応する仮想ユーザインタフェースオブジェクトの静止状態の最大限界を越える場合でも）、次いで、入力がリフトオフすると、その最大静止状態に戻る対応する仮想ユーザインタフェースオブジェクトを表示することにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、表示された拡張現実環境は、１つ以上のカメラの視野内の物理的オブジェクトに対応しない１つ以上の仮想オブジェクト（例えば、建物の物理的モデルの置き換えである仮想ビルの前を走行している仮想自動車）（例えば、図５Ａ４に示す拡張現実環境内の仮想の木、仮想の茂み、仮想の人、及び仮想自動車）、１つ以上のカメラの視野内にある１つ以上の物理的オブジェクト（例えば、建物の物理的モデルが置かれているテーブル）（例えば、テーブル５００４及び壁紙５００７、図５Ａ４）、及び、対応する１つ以上の物理的オブジェクトの少なくとも一部分を置き換える、１つ以上のカメラの視野内にある１つ以上の物理的オブジェクトの１つ以上の３次元仮想モデル（例えば、仮想建築モデル５０１２、図５Ａ４）（例えば、建物の物理的モデルの置き換え）（例えば、対応する３次元仮想モデルが対応するそれぞれの物理的マーカ上に投影される）を含む（６３２）。いくつかの実施形態では、１つ以上のカメラの視野内のそれぞれの物理的オブジェクトの対応する３次元仮想モデルは、対応するそれぞれの物理的オブジェクトの一部分（だが全てではない）を置き換える（例えば、像の頭部の３次元仮想モデルは、１つ以上のカメラの視野内の物理的像の頭部の一部分を置き換え、例えば、頭部の１／４の内部断面を示す）。いくつかの実施形態では、１つ以上のカメラの視野内のそれぞれの物理的オブジェクトの対応する３次元仮想モデルは、対応するそれぞれの物理的オブジェクトの全てを置き換える（例えば、建物の３次元仮想モデルは、１つ以上のカメラの視野内の建物の物理的モデル全体を置き換える）（例えば、仮想建築モデル５０１２は、拡張現実環境内の物理的建築モデル５００６全体を置き換える、図５Ａ４）。いくつかの実施形態では、表示された拡張現実環境は、異なる層内に上記の３つ全て（例えば、純粋な仮想オブジェクト、物理的オブジェクト、及び物理的オブジェクトの３次元仮想モデル）を含む。例えば、いくつかの実施形態では、表示された拡張現実環境は、エジプトピラミッド（例えば、像が元々表示されていた環境を示す純粋な仮想オブジェクト）を有する仮想環境内の像の頭部の３次元仮想モデル（例えば、像の内部断面を示す像の頭部の３次元仮想モデル）を有する博物館内の像（例えば、１つ以上のカメラの視野内の物理的オブジェクト）を含む。
いくつかの実施形態では、表示された拡張現実環境は、上記のサブセットを含む（例えば、１つ以上のカメラの視野内にある１つ以上の物理的オブジェクト、及び１つ以上の物理的オブジェクトの１つ以上の３次元仮想モデルを含むが、１つ以上の純粋な仮想オブジェクトを含まない）。例えば、博物館内の像の上記の例を使用して、いくつかの実施形態では、表示された拡張現実環境は、像の頭部の３次元仮想モデルを有する博物館内の像を含むが、任意の純粋な仮想オブジェクトを含まない。別の例として、いくつかの実施形態では、表示された拡張現実環境は、仮想屋外環境（例えば、建物を囲む仮想の木、建物の前を走行する仮想自動車、又は建物の周囲を歩いている仮想の人々などの仮想オブジェクトを有する）内の、建物の少なくとも一部の３次元仮想モデル（例えば、建物の内部ビューを示す建物の一部分の３次元仮想モデル）を有するテーブル又はプラットフォーム上の建物の物理的３次元モデル（例えば、１つ以上のカメラの視野内の物理的オブジェクト）を含む。建物の物理的３次元モデルが視野内で移動すると（例えば、建築モデルの物理的世界内の移動の結果として、及び／又はコンピュータシステムの移動の結果として、例えば、ユーザが物理的建築モデルの異なる側に歩き回ることによってコンピュータシステムを移動させると）（例えば、図５Ａ３〜図５Ａ６に示すように）、建物の物理的３次元モデルの１つ以上の３次元仮想モデルは、それに応じて移動する。例えば、ユーザが建物の異なる側に移動すると、建物の内部ビューを示す建物の一部分の３次元仮想モデルは、変化して、１つ以上のカメラの視野内の物理的オブジェクトの更新されたビューに対応する。仮想オブジェクト、物理的オブジェクト、及び物理的オブジェクトの３次元仮想モデルを有する拡張現実環境を表示することにより、ユーザに情報を提供する補足情報（１つ以上の仮想オブジェクト及び１つ以上の３次元仮想モデルを有する）とともに現実的なビュー（１つ以上のカメラの視野内にある１つ以上の物理的オブジェクトを有する）を提供し、それによって、デバイスの操作性を向上させ（例えば、ユーザが１つ以上のカメラの視野内にある１つ以上の物理的オブジェクトに関する補足情報に容易にアクセスすることを可能にすることによって）、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する物理的オブジェクトは、異なる角度から認識可能である３次元マーカであり、対応する仮想ユーザインタフェースオブジェクトは、１つ以上のカメラのカメラアングルに基づいて、（例えば、表示された拡張現実環境内の）対応する物理的オブジェクトに重ね合わされた３次元仮想モデルである（６３４）。いくつかの実施形態では、１つ以上のカメラのカメラアングルは、対応する物理的オブジェクトに対する１つ以上のカメラの向きに対応する。例えば、表示された拡張現実環境が像の頭部の３次元仮想モデルを有する博物館内の像を含む、上記の例を使用して、１つ以上のカメラのカメラアングルが、１つ以上のカメラの視野内に像の前面を含むように配置されるとき、表示された拡張現実環境は、像の前面及び像の頭部の前面の３次元仮想モデルを含む。カメラアングルが変化し（例えば、デバイスのユーザが１つ以上のカメラの視野内の像を閲覧している間に博物館内の像の周りを歩くと）、かつ１つ以上のカメラのカメラアングルが１つ以上のカメラの視野内に像の背面を含むように配置されると、表示された拡張現実環境は、像の背面及び像の頭部の背面の３次元仮想モデルを含む。対応する物理的オブジェクトが視野内で移動すると（例えば、対応する物理的オブジェクトの物理的世界内の移動の結果として、及び／又は、１つ以上のカメラの視野内の対応する物理的オブジェクトの移動を引き起こすコンピュータシステムの移動の結果として）、対応する物理的オブジェクトに重ね合わされた３次元仮想モデルは、それに応じて移動する（例えば、変化して、対応する物理的オブジェクトに追従する）。例えば、表示された拡張現実環境が建物内部を示す建物の一部分の３次元仮想モデルを有するテーブル上の物理的３次元建築モデル（例えば、テーブル５００４上の物理的建築モデル５００６、図５Ａ１）を含む上記の例を使用して、物理的３次元建築モデルが移動すると（例えば、１つ以上のカメラの視野内で）（例えば、ユーザ５００２が図５Ａ３に示すような位置から図５Ａ５に示すような位置まで歩くと）、物理的３次元建築モデルに重ね合わされた建物の３次元仮想モデルは、それに応じて移動する（例えば、ユーザが１つ以上のカメラの視野内の建物を閲覧している間に物理的３次元建築モデルの周囲を歩くと（例えば、物理的３次元建築モデルの前面から物理的３次元建築モデルの側面まで）、３次元仮想モデルは、変化して、ユーザの新しい位置からの１つ以上のカメラの視野内の建物の内部を表示する（例えば、物理的３次元建築モデルの前面の内部を表示することから、物理的３次元建築モデルの側面の内部を表示することに））。１つ以上のカメラのカメラアングルに基づいて対応する物理的オブジェクトに３次元仮想モデルを重ね合わせることにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
図６Ａ〜図６Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、８００、９００、１０００、１１００、１２００、及び１３００）に関して本明細書に記載される他のプロセスの詳細はまた、図６Ａ〜図６Ｄに関して上記した方法６００にも、類似の様式で適用可能であることに留意されたい。例えば、方法６００に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションは、任意選択的に、本明細書に記載の他の方法（例えば、方法７００、８００、９００、１０００、１１００、１２００、及び１３００）に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図７Ａ〜図７Ｃは、いくつかの実施形態に係る、拡張現実環境内のコンピュータシステムの１つ以上のカメラによってキャプチャされたライブ画像にフィルタを適用する方法７００を示すフロー図である。方法７００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、を有するコンピュータシステム（例えば、ポータブル多機能デバイス１００、図１Ａ、デバイス３００、図３Ａ、又は、ヘッドセット５００８及び入力デバイス５０１０を含むマルチコンポーネントコンピュータシステム、図５Ａ２）において実行される。いくつかの実施形態では、入力デバイス（例えば、タッチ感知面を有する）及び表示生成コンポーネントは、タッチ感知ディスプレイに統合される。図３Ｂ〜図３Ｄに関して上述したように、いくつかの実施形態では、方法７００は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、及び任意選択的に１つ以上の姿勢センサなどのそれぞれの構成要素が、それぞれ、コンピュータシステム３０１に含まれる、又はコンピュータシステム３０１と通信しているのいずれかである、コンピュータシステム３０１で実行される。
いくつかの実施形態では、表示生成コンポーネントは、タッチスクリーンディスプレイであり、入力デバイス（例えば、タッチ感知面を有する）は、表示生成コンポーネント上にある、又はそれと統合されている。いくつかの実施形態では、表示生成コンポーネントは、入力デバイスとは別個である（例えば、図４Ｂ及び図５Ａ２に示すように）。方法７００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するコンピュータシステム上（例えば、タッチスクリーン１１２を有するデバイス１００上）で実行される動作を参照して説明する。しかしながら、類似の動作は、任意選択的に、ヘッドセット５００８のディスプレイ上に、図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。
後述するように、方法７００は、拡張現実環境（例えば、物理的世界で利用可能ではない、ユーザに追加情報を提供する補足情報で、現実が拡張される）内のコンピュータシステムの１つ以上のカメラの視野の表現（例えば、１つ以上のカメラの視野のライブプレビュー）にフィルタを適用することに関し、フィルタは、拡張現実環境の仮想環境設定に基づいて選択される。１つ以上のカメラによってキャプチャされたライブ画像にリアルタイムでフィルタを適用することにより、ユーザが拡張現実環境と相互作用するための直感的な方法を提供し（例えば、ユーザが拡張現実環境の仮想環境設定（例えば、時刻、シーン／環境など）を容易に変更することを可能にすることによって）、ユーザが仮想環境設定になされた変更をリアルタイムで見ることを可能にし、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに、意図された結果を達成するために必要とされるステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。加えて、物理的環境のビューの外観を変更することにより、仮想モデルが配置された物理的環境に関する情報をユーザに依然として提供しながら、仮想モデルをより見えるようにする（例えば、非常に明るい背景上の暗いモデルと比較して）。
コンピュータシステム（例えば、デバイス１００、図５Ａ２１）は、表示生成コンポーネント（例えば、タッチスクリーン１１２、図５Ａ２１）を介して（例えば、図５Ａ２１に示すように）拡張現実環境を表示する（７０２）。拡張現実環境を表示することは、対応する物理的オブジェクト（例えば、建物の３次元モデル、印刷されたパターンを有する一枚の紙、壁又は他の物理的オブジェクト上のポスター、表面上に置かれた像など）（例えば、物理的建築モデル５００６、図５Ａ１）を含む１つ以上のカメラの視野の少なくとも一部分の表現であって、表現は、１つ以上のカメラの視野のコンテンツが変化するにつれて更新される（例えば、表現は、１つ以上のカメラの視野の少なくとも一部分のライブプレビューであり、対応する物理的オブジェクトは、カメラの視野内に含まれ、かつ見える）表現と、１つ以上のカメラの視野の表現内の対応する位置にある、対応する仮想ユーザインタフェースオブジェクト（例えば、建物の３次元モデルの仮想屋根、印刷されたパターンを有する一枚の紙によって表された表面上に駐車された仮想の自動車、ポスターに重ね合わされた対話型ロゴ、像の外形をカバーする仮想３次元マスクなど）（例えば、仮想建築モデル５０１２、図５Ａ２１）であって、対応する仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、を同時に表示することを含む（７０４）。例えば、いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに取り付けられるように見える、又はそれをカバーするように見える、グラフィカルオブジェクト又は２次元若しくは３次元仮想オブジェクトである（例えば、仮想建築モデル５０１２は、物理建築モデル５００６をカバーするように見える３次元仮想オブジェクトである、図５Ａ２１）。対応する仮想ユーザインタフェースオブジェクトの位置及び／又は向きは、１つ以上のカメラの視野内の物理的オブジェクトの位置、形状、及び／又は向きに基づいて決定される（例えば、図５Ａ３及び図５Ａ５に示すように）。拡張現実環境を表示している間に、コンピュータシステムは、拡張現実環境の仮想環境設定（例えば、時刻、照明角度、ストーリーなど）を変更する入力（例えば、図５Ａ２１〜図５Ａ２４に示すような、拡張現実環境内で時間を通してナビゲートするスワイプ入力）を検出する（７０６）（例えば、図５Ａ２５〜図５Ａ２７に示すように、１つ以上のカメラの視野内にある対応する物理的オブジェクトに対応する複数の表示設定間で異なる表示設定を選択する）。仮想環境設定を変更する入力を検出したことに応じて、コンピュータシステムは（７０８）、拡張現実環境の仮想環境設定になされた変更に従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整し、１つ以上のカメラの視野の表現の少なくとも一部分（例えば、対応する仮想ユーザインタフェースオブジェクトによって不明瞭化されていない１つ以上のカメラの視野の表現の部分）にフィルタを適用し、フィルタは、仮想環境設定になされた変更に基づいて選択される（例えば、全体的なカラーフィルタを適用してシーンを暗くする（例えば、図５Ａ２４に示すように）、仮想の太陽の方向に基づいて対応する物理的オブジェクト及び仮想オブジェクトの両方に影を追加する（例えば、図５Ａ２１〜図５Ａ２３に示すように）、選択されたストーリー（例えば、履歴ビュー、建設、ビューの一日など）に基づいて追加の仮想オブジェクトをシーンに追加する（及び／又はシーンから仮想オブジェクトを除去する）（例えば、図５Ａ２５〜図５Ａ２７に示すように）、並びに画像出力がカメラの視野のライブプレビュー内に表示される前にカメラの画像出力の色温度、輝度、コントラスト、鮮明度、透明度などを変更する）。
いくつかの実施形態では、１つ以上のカメラの視野の表現の少なくとも一部分にフィルタを適用することは、対応する仮想ユーザインタフェースオブジェクトの外観調整に加えて、拡張現実環境の外観調整を引き起こす（７１０）。いくつかの実施形態では、フィルタは、対応する仮想ユーザインタフェースオブジェクトによって不明瞭化されていない１つ以上のカメラの視野の表現の部分に適用される（例えば、図５Ａ２４では、フィルタは、仮想シーンによって不明瞭化されていない壁紙５００７に適用される）。例えば、建設ビューが選択されると、仮想屋根を除去して（例えば、対応する仮想ユーザインタフェースオブジェクトの外観を調整する）、物理的建築モデルの内部を示すことができ（例えば、図５Ａ２７に示すように）、建設中の建物の内部を示す仮想シーンが、物理的建築モデルのライブプレビューに重ね合わされ、周囲の物理的環境は、ぼかされる（例えば、フィルタを使用して）。タイムラプスアニメーションが数日の期間にわたる建設を示して表示されると、光フィルタが仮想シーンによって不明瞭化されていないライブプレビューの部分に適用され、それにより、それらの日全体にわたる照明変化が、ライブプレビューにも含まれる建築モデルを囲む物理的オブジェクトに適用される（例えば、壁紙５００７も夜間モードで暗くされる、図５Ａ２４）。いくつかの実施形態では、フィルタは、対応する仮想ユーザインタフェースオブジェクトを含む拡張現実環境に適用される。例えば、いくつかの実施形態では、全体的なカラーフィルタが、対応する仮想ユーザインタフェースオブジェクトによって占有される部分を含む、１つ以上のカメラの視野の表現全体に適用される。対応する仮想ユーザインタフェースオブジェクトの外観を調整することに加えて、拡張現実環境の外観を調整することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想環境設定は、夜間モードに変更され（７１２）、１つ以上のカメラの視野の表現の少なくとも一部分にフィルタを適用することは、１つ以上のカメラによってキャプチャされた画像（又は一連の画像）の輝度を低減することと、１つ以上のカメラによってキャプチャされた画像（又は一連の画像）にカラーフィルタを適用することと、を含む（例えば、図５Ａ２４に示すように）。いくつかの実施形態では、１つ以上のカメラによってキャプチャされた画像に適用されるフィルタは、動作（７２６）に関して後述するように、画像出力が１つ以上のカメラの視野のライブプレビュー内に表示される前に（例えば、１つ以上のカメラによってキャプチャされた画像が拡張現実環境内に表示される前に）適用される。夜間モード用のフィルタを適用することにより（例えば、輝度を低減し、カラーフィルタを適用することによって）、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに意図された結果を達成するために必要とされるステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想環境設定を変更する入力は、拡張現実環境内で時間を通してナビゲートするスワイプ入力（例えば、左から右に又は右から左に）である（７１４）。例えば、いくつかの実施形態では、ユーザが入力デバイス上で左から右にスワイプすると、拡張現実環境内の時刻は、昼間から夜に変化する（例えば、スワイプ入力の移動の速度及び／又は距離に従って）（例えば、図５Ａ２１〜図５Ａ２４に示すように）。ユーザがスワイプ入力を使用して拡張現実環境内で時間を通してナビゲートすることを可能にすることにより、ユーザが仮想環境設定を変更する直感的方法を提供し、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに意図された結果を達成するために必要とされるステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想環境設定を変更する入力を検出することは、仮想環境設定を変更するための入力の移動を検出することを含み（７１６）、拡張現実環境の仮想環境設定になされた変更に従って、対応する仮想ユーザインタフェースオブジェクトの外観を調整することは、仮想環境設定を変更するための入力の移動に従って、対応する仮想ユーザインタフェースオブジェクトの外観を漸進的に調整することを含み、１つ以上のカメラの視野の表現の少なくとも一部分にフィルタを適用することは、仮想環境設定を変更するための入力の移動に従って、フィルタを漸進的に適用することを含む（例えば、図５Ａ２１〜図５Ａ２４に示すように）。例えば、いくつかの実施形態では、フィルタは、入力の移動に基づいて漸進的に適用され、対応する仮想ユーザインタフェースオブジェクトの外観は、入力の移動（例えば、タッチ感知面上の接触の移動、ワンドの移動、又はコンピュータシステムのカメラのビュー内のユーザの手の移動）（例えば、タッチスクリーン１１２上の接触５０３０の移動、図５Ａ２１〜図５Ａ２４）の速度及び／又は距離に基づいて漸進的に調整される。仮想環境設定を変更するための入力の移動に従って、仮想ユーザインタフェースオブジェクトの外観を漸進的に調整し、フィルタを漸進的に適用することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに意図された結果を達成するために必要とされるステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトは、拡張現実環境内の対応する物理的オブジェクトに影を投じる（７１８）。例えば、いくつかの実施形態では、建物の３次元モデルの仮想屋根は、建物の３次元モデルに影を投じる。時刻又は照明角度が変更されると（例えば、仮想環境設定を変更することによって）、対応する仮想ユーザインタフェースオブジェクトによって対応する物理的オブジェクトに投じられた影は、それに応じて変化する。例えば、図５Ａ２１〜図５Ａ２３に示すように、時刻が変更されると、仮想建築モデル５０１２によって投じられた影は、それに応じて変化する。拡張現実環境内で（例えば、物理的オブジェクトに投じられた）影とともに仮想ユーザインタフェースオブジェクトを表示することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、拡張現実環境をより現実的にし、ユーザが仮想環境設定を変更するときにコンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する物理的オブジェクトは、拡張現実環境内の対応する仮想ユーザインタフェースオブジェクトに影を投じる（７２０）。例えば、いくつかの実施形態では、建物の３次元モデルは、建物の隣に駐車された仮想自動車に影を投じる。時刻又は照明角度が変更されると（例えば、仮想環境設定を変更することによって、又は物理的オブジェクトの移動により）、対応する物理的オブジェクトによって対応する仮想ユーザインタフェースオブジェクトに投じられた影は、それに応じて変化する。例えば、いくつかの実施形態では、拡張現実環境内の時刻が正午（例えば、拡張現実環境内のオブジェクトの対応する影が比較的小さいとき）から午前又は午後（例えば、拡張現実環境内のオブジェクトの対応する影がより長いとき）に変化すると、対応する物理的オブジェクトによって対応する仮想ユーザインタフェースオブジェクトに投じられた影は、それに応じて変化する（例えば、時刻が午前から正午に変化するにつれて、影はより小さく／短くなり、時刻が正午から午後に変化するにつれて、影はより大きく／長くなる）。いくつかの実施形態では、対応する物理的オブジェクトの３次元仮想モデルを使用して、対応する物理的オブジェクトの影が拡張現実環境内のどこにあるべきかを判定する。図５Ａ２１〜図５Ａ２４では、仮想建築モデル５０１２は、物理的建築モデル５００６を完全にカバーしているが、物理的建築モデル５００６の一部分が露出していた場合、物理的建築モデル５００６のその部分は、拡張現実環境内で時刻が変更されると、同様の影を投じることになる。拡張現実環境内で（例えば、仮想ユーザインタフェースオブジェクトに投じられた）影とともに物理的オブジェクトを表示することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、拡張現実環境をより現実的にし、ユーザが仮想環境設定を変更するときにコンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、対応する物理的オブジェクトの移動（例えば、対応する物理的オブジェクトの物理的世界内の移動の結果として、及び／又は１つ以上のカメラの視野内の対応する物理的オブジェクトの移動を引き起こすコンピュータシステムの移動の結果として）（例えば、第１の位置（例えば、図５Ａ３に示すような）から第２の位置（例えば、図５Ａ５に示すような）へのユーザ５００２の移動は、拡張現実環境内の対応する仮想ユーザインタフェースオブジェクトの外観の１つ以上の変化を引き起こす（７２２）（例えば、仮想建築モデル５０１２のビューを前面ビューから側面ビューに変更する、図５Ａ３〜図５Ａ６）。いくつかの実施形態では、対応する物理的オブジェクトが移動すると、周囲光源が対応する物理的オブジェクトに対して異なる角度にあるため、対応する物理的オブジェクトの移動は、対応する物理的オブジェクトに、対応する仮想ユーザインタフェースオブジェクトに異なるように影を投じさせる（例えば、図５Ａ３〜図５Ａ６に示すように）。物理的オブジェクトの移動に応じて拡張現実環境内の仮想ユーザインタフェースオブジェクトの外観を変更することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムの移動は、１つ以上のカメラの視野の少なくとも一部分の表現（例えば、ライブプレビュー）及び対応する仮想ユーザインタフェースオブジェクトの外観に適用される視覚効果の１つ以上の変化を引き起こす（７２４）。例えば、対応する物理的オブジェクトが物理的３次元建築モデルである場合、ユーザが物理的３次元建築モデルの異なる側に歩くことによってコンピュータシステムを移動させると、照明の角度が変化し、これにより、ライブプレビュー及び任意の仮想ユーザインタフェースオブジェクトに適用される視覚効果の変化を引き起こす（例えば、物理的３次元建築モデルによって、及び１つ以上の仮想オブジェクトによって投じられた影が変化する）（例えば、図５Ａ３〜図５Ａ６に示すように）。コンピュータシステムの移動に応じて、ライブプレビューに適用される視覚効果を変更し、仮想ユーザインタフェースオブジェクトの外観を変更することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、１つ以上のカメラの視野の表現の少なくとも一部分にフィルタを適用することは、１つ以上のカメラによってキャプチャされた画像が表示生成コンポーネントに送信される前に、画像（又は一連の画像）（例えば、１つ以上のカメラの視野内にあるコンテンツの少なくとも一部分のライブプレビュー）にフィルタを適用することを含む（７２６）（例えば、図５Ａ２１〜図５Ａ２４に示すように）。画像がディスプレイに送信される前に、カメラによってキャプチャされた画像にフィルタを適用することにより、仮想環境設定になされた変更のリアルタイムビューを提供し、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想環境設定を変更する入力は、仮想ユーザインタフェースオブジェクトの異なる仮想環境間で切り替える入力（例えば、スワイプ入力又はボタン上のタップ入力）（例えば、ボタン５０１６上の接触５０３２によるタップ入力、図５Ａ２６）であり（７２８）、異なる仮想環境は、仮想ユーザインタフェースオブジェクトを探索するための異なる相互作用に関連付けられる（例えば、第１の仮想環境から第２の仮想環境へ）（例えば、図５Ａ２５〜図５Ａ２７に示すように、風景ビューから内部ビューへ）。いくつかの実施形態では、同じ仮想ユーザインタフェースオブジェクトの異なる仮想環境は、既定の仮想環境である（例えば、図５Ａ２５〜図５Ａ２７に示すような、風景、内部、及び昼間／夜間）。例えば、異なる仮想環境ストーリーは、履歴ビュー、建設ビュー、一日ビュー、建物探索ビューなどを含み、建設ビューは、左から右へのスワイプとともに時間を通して進み、建物の建設の異なる段階を示し、一方、建物探索ビューは、上方向スワイプ入力に応じて、建物の建築設計の詳細なビューを表示する。ユーザが異なる仮想環境間で切り替える（例えば、スワイプ入力又はボタン上のタップ入力で）ことを可能にすることにより、ユーザが仮想環境設定を変更する容易かつ直感的な方法を提供し、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに意図された結果を達成するために必要とされるステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想環境設定（例えば、建設ビューなどの第１の仮想環境ストーリー）が選択されているとの判定に従って、コンピュータシステムは、拡張現実環境内に仮想オブジェクトの第１のセットを表示し（７３０）、第２の仮想環境設定（例えば、一日ビューなどの第２の仮想環境ストーリー）が選択されているとの判定に従って、コンピュータシステムは、拡張現実環境内に、仮想オブジェクトの第１のセットとは別個の仮想オブジェクトの第２のセットを表示する。いくつかの実施形態では、仮想環境設定の選択に基づいて、仮想オブジェクトの異なるセットが表示される。例えば、いくつかの実施形態では、建築ビューでは、木又は人々が表示されず、一日ビューでは、木及び人々が表示される。図５Ａ２５〜図５Ａ２７に示すように、例えば、風景ビューでは、仮想の木、仮想の人、及び仮想自動車が表示され（例えば、図５Ａ２５に）、内部ビューでは、木又は人々又は自動車が表示されない（例えば、図５Ａ２７に）。仮想環境設定の選択に基づいて仮想オブジェクトの異なるセットを表示することにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作するときに意図された結果を達成するために必要とされるステップの数を削減し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
図７Ａ〜図７Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、８００、９００、１０００、１１００、１２００、及び１３００）に関して本明細書に記載される他のプロセスの詳細はまた、図７Ａ〜図７Ｃに関して上記した方法７００にも、類似の様式で適用可能であることに留意されたい。例えば、方法７００に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションは、任意選択的に、本明細書に記載の他の方法（例えば、方法６００、８００、９００、１０００、１１００、１２００、及び１３００）に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図８Ａ〜図８Ｃは、いくつかの実施形態に係る、拡張現実環境内の仮想モデルを閲覧することと、仮想モデル内のオブジェクトの視点からの仮想モデルのシミュレートされたビューを閲覧することとの間で遷移する方法８００を示すフロー図である。方法８００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、を有するコンピュータシステム（例えば、ポータブル多機能デバイス１００、図１Ａ、デバイス３００、図３、又は、ヘッドセット５００８及び入力デバイス５０１０を含むマルチコンポーネントコンピュータシステム、図５Ａ２）において実行される。いくつかの実施形態では、入力デバイス（例えば、タッチ感知面を有する）及び表示生成コンポーネントは、タッチ感知ディスプレイに統合される。図３Ｂ〜図３Ｄに関して上述したように、いくつかの実施形態では、方法８００は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、及び任意選択的に１つ以上の姿勢センサなどのそれぞれの構成要素が、それぞれ、コンピュータシステム３０１に含まれる、又はコンピュータシステム３０１と通信しているのいずれかである、コンピュータシステム３０１で実行される。
いくつかの実施形態では、表示生成コンポーネントは、タッチスクリーンディスプレイであり、入力デバイス（例えば、タッチ感知面を有する）は、表示生成コンポーネント上にある、又はそれと統合されている。いくつかの実施形態では、表示生成コンポーネントは、入力デバイスとは別個である（例えば、図４Ｂ及び図５Ａ２に示すように）。方法８００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するコンピュータシステム上（例えば、タッチスクリーン１１２を有するデバイス１００上）で実行される動作を参照して説明する。しかしながら、類似の動作は、任意選択的に、ヘッドセット５００８のディスプレイ上に、図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。
後述するように、方法８００は、拡張現実環境（例えば、物理的世界で利用可能ではない追加情報をユーザに提供する補足情報で、現実が拡張される）内に仮想ユーザインタフェースオブジェクトとともに仮想モデル（例えば、物理的オブジェクトの）を提示すること（デバイス１００などのコンピュータシステムのディスプレイ上に、図５Ａ２８）、並びにコンピュータシステムの移動及び／又はコンピュータシステムへの検出された入力（例えば、タッチ感知面上の接触）に応じて、仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされたビューを提示すること（例えば、仮想現実環境内に）に関する。いくつかの実施形態では、ユーザが拡張現実環境内の仮想モデルを閲覧することを可能にすることにより、ユーザに仮想モデルに関する補足情報へのアクセスを提供する。いくつかの実施形態では、ユーザが仮想現実環境内の異なる視点から仮想モデルを視覚化することを可能にすることにより、仮想モデルを体験するための、より没入型かつ直感的な方法をユーザに提供する。ユーザが物理的オブジェクトに関する補足情報にアクセスすることを可能にすること、並びに没入型かつ直感的な閲覧体験を提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
コンピュータシステム（例えば、デバイス１００、図５Ａ２８）は、表示生成コンポーネントを介して、拡張現実環境（例えば、図５Ａ２８及び図５Ａ２９に示す拡張現実環境）を表示する（８０２）。拡張現実環境を表示することは、対応する物理的オブジェクト（例えば、建物の３次元モデル、印刷されたパターンを有する一枚の紙、壁又は他の物理的オブジェクト上のポスター、表面上に置かれた像など）を含む１つ以上のカメラの視野の少なくとも一部分の表現であって、表現は、１つ以上のカメラの視野のコンテンツが変化するにつれて更新される（例えば、表現は、１つ以上のカメラの視野の少なくとも一部分のライブプレビューであり、対応する物理的オブジェクトは、カメラの視野内に含まれ、かつ見える）表現と、１つ以上のカメラの視野の表現内の対応する位置に表示された仮想モデル内の第１の仮想ユーザインタフェースオブジェクト（例えば、３次元建築モデルのレンダリングされた３次元モデル、印刷されたパターンを有する一枚の紙によって表される表面上に配置された建物の仮想３次元モデル、ポスターを有する壁又は物理的オブジェクトの反対側の別の壁又は物理的オブジェクトのレンダリングされた仮想モデルに取り付けられた仮想カメラ、仮想モデルの付近（例えば、建物の仮想モデルの隣、又は表面上に置かれた像の仮想モデルの隣）に立っている仮想の人など）であって、第１の仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに基づいて決定される位置を有する、第１の仮想ユーザインタフェースオブジェクトと、を同時に表示することを含む（８０４）。例えば、いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに取り付けられるように見える、又はそれをカバーするように見える、グラフィカルオブジェクト又は２次元若しくは３次元仮想オブジェクトである。対応する仮想ユーザインタフェースオブジェクトの位置及び／又は向きは、１つ以上のカメラの視野内の物理的オブジェクトの位置、形状、及び／又は向きに基づいて決定される。例えば、図５Ａ２８を参照して上述したように、拡張現実環境を表示することは、壁紙５００７及びテーブル５００４の縁部（単数又は複数）、並びにまたカメラの視野内にある、物理的建築モデル５００６（図５Ａ２に示すような）を含む、カメラの視野の一部分の表現と、仮想車両５０５０である第１の仮想ユーザインタフェースオブジェクトと、を同時に表示することを含む。拡張現実環境を表示している間に（例えば、第１の仮想ユーザインタフェースオブジェクトが、１つ以上のカメラの視野の少なくとも一部分に重ね合わされた状態で）、コンピュータシステムは、第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力（例えば、第１の仮想ユーザインタフェースオブジェクト上のタップ、又はカーソルによる第１の仮想ユーザインタフェースオブジェクトの選択など）を検出する（８０６）。例えば、図５Ａ２９を参照して上述したように、デバイス１００は、車両５０５０の選択に対応する入力５０５２を検出する。第１の仮想ユーザインタフェースオブジェクト（例えば、車両５０５０、図５Ａ２９）の選択に対応する第１の入力（例えば、入力５０５２、図５Ａ２９）を検出したことに応じて、コンピュータシステムは、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野を表示する（８０８）（例えば、図５Ａ３１に示し、図５Ａ３１を参照して上述したように）（及び任意選択的に、動作８１０を参照して本明細書に記載されるように、１つ以上のカメラの視野の表現を表示することを停止する）。例えば、ユーザが物理的３次元建築モデル（例えば、物理的建築モデル５００６、図５Ａ１）のレンダリングされた３次元モデル（例えば、図５Ａ２９に示す仮想モデル）内の仮想自動車（例えば、車両５０５０、図５Ａ２９）を選択すると、デバイスは、仮想自動車の視点からのレンダリングされた３次元建築モデルのビューを表示する（例えば、ユーザが仮想自動車内の人（例えば、ドライバ）の視点から建築モデルを見ているかのように）。いくつかの実施形態では、コンピュータシステムはまた、カメラの視野の表現及び第１の仮想ユーザインタフェースオブジェクトを表示することを停止することを含めて、拡張現実環境を表示することを停止する。別の実施例では、表面上に置かれた像の仮想モデルの隣に立っている仮想の人の上でタップすると、デバイスは、仮想の人を表示することを停止し、像の仮想モデルの隣に立っている仮想の人の視点からの像の仮想モデルを表示する。
いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出したことに応じて、コンピュータシステムは、１つ以上のカメラの視野の表現（例えば、コンピュータシステムが第１の仮想オブジェクトの視点からの仮想モデルのビューを表示することに切り替えたときに、第１の入力を検出する前に表示されていた１つ以上のカメラの視野内のコンテンツ）を表示することを停止する（８１０）（例えば、図５Ａ３０を参照して上述したように、壁紙５００７及び／又はテーブル５００４の縁部を表示することを停止する）。（例えば、仮想現実環境内の）選択された仮想ユーザインタフェースオブジェクトの視点から仮想モデルを閲覧することに遷移するときに、カメラ（単数又は複数）の視野内にあるものを表示することを停止することにより、ユーザがもはやＡＲモードにはないことを示し、ユーザが仮想モデル及び仮想環境に集中することを可能にする、より没入型の閲覧体験をユーザに提供する。仮想モデルのより没入型かつ直感的な閲覧体験をユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善し、並びに背景ユーザインタフェースをキャプチャし、シミュレートするために必要とされるエネルギ及び処理リソースを削減する。
いくつかの実施形態では、拡張現実環境を表示している間に１つ以上のカメラの視野を変更する、コンピュータシステムの少なくとも一部分の移動（例えば、１つ以上のカメラ又は入力デバイスなどのコンピュータシステムの１つ以上の構成要素の移動）を検出したことに応じて、コンピュータシステムは、１つ以上のカメラの視野の表現を更新する（８１２）。例えば、図５Ａ１５及び図５Ａ１６を参照して上述したように、デバイス１００は、デバイス１００の移動に応じて、デバイス１００のカメラの視野を変更する。カメラ（単数又は複数）の視野を変更する移動に応じて、拡張現実環境内に表示されているものを更新することにより、表示されているものと、物理的世界内のコンピュータシステム（又はより具体的には、カメラ（単数又は複数））の配置に基づいてユーザが見ることを期待することになるものとの間の一貫性を提供し、従って、ユーザに提供される視覚的フィードバックを改善する（例えば、コンピュータシステムをユーザ入力及びカメラ位置／方向に対してより反応するように見せることによって）。より直感的な閲覧体験をユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、拡張現実環境を表示している間に、１つ以上のカメラの視野のコンテンツの視点を変更するコンピュータシステムの少なくとも一部分の移動（例えば、１つ以上のカメラ又は入力デバイスなどのコンピュータシステムの構成要素の移動）を検出したことに応じて、コンピュータシステムは、視野のコンテンツの視点の変更に従って、１つ以上のカメラの視野の表現及び仮想モデルを更新する（８１４）（例えば、コンピュータシステムは、画像解析を使用して、物理的オブジェクトに対する１つ以上のカメラの更新された向きを判定し、判定された向きを使用して、表現を更新する）。例えば、図５Ａ３〜図５Ａ６を参照して上述したように、デバイス１００は、ユーザ５００２が第１の視点を有する第１の位置から（例えば、図５Ａ３及び図５Ａ４に示すようなテーブル５００４の前面から）第２の視点を有する第２の位置に（例えば、図５Ａ５及び図５Ａ６に示すようなテーブル５００４の側面から）移動すると、拡張現実の異なるビューを表示する。カメラ（単数又は複数）の視点を変更する移動に応じて、拡張現実環境内に表示されているものを更新することにより、表示されているものと、物理的世界内のコンピュータシステム（又はより具体的には、カメラ（単数又は複数））の配置に基づいてユーザが見ることを期待することになるものとの間の一貫性を提供し、ユーザに提供される視覚的フィードバックを改善する（例えば、コンピュータシステムをユーザ入力及びカメラ位置／方向に対してより反応するように見せることによって）。より直感的な閲覧体験をユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出したことに応じて、コンピュータシステムは、拡張現実環境から仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野へのアニメーション化された遷移（例えば、表示されているような拡張現実環境のビューを有する初期位置からシミュレートされた視野を有する仮想モデル内の第１のユーザインタフェースオブジェクトの位置に移動する（例えば、飛行する）閲覧者の視点からのアニメーション）を表示する（８１６）。例えば、図５Ａ２９〜図５Ａ３１を参照して上述したように、デバイス１００は、拡張現実環境（図５Ａ２９）から車両５０５の視点からの仮想モデルのシミュレートされた視野（図５Ａ３１）へのアニメーション化された遷移を表示する。拡張現実環境のビューと（例えば、仮想現実環境内の）仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされたビューとの間のアニメーション化された遷移（例えば、飛行のアニメーション）を表示することにより、ビュー間のより滑らかな遷移をユーザに提供し、ユーザが状況を維持することを支援しながら、物理的世界（又は物理的世界に対応する拡張現実環境）から仮想現実環境に入る印象をユーザに与える。その閲覧体験に入る及び出るより滑らかな遷移を伴うより没入型の閲覧体験をユーザに提供し、ユーザが閲覧体験中に状況を維持することを支援することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野を表示している間に、コンピュータシステムは、拡張現実環境を表示する要求（例えば、拡張現実環境に戻るためのアフォーダンスの選択などの、又は仮想モデルの関連する視点ビューを有さない仮想モデル内の位置の選択などの、仮想現実環境を出る要求）に対応する第２の入力を検出し（８１８）、拡張現実環境を表示する要求に対応する第２の入力に応じて、コンピュータシステムは、仮想モデルのシミュレートされた視野から拡張現実環境へのアニメーション化された遷移（例えば、シミュレートされた視野を有する仮想モデル内の第１のユーザインタフェースオブジェクトの位置から拡張現実環境のビューを有する位置に移動する（例えば、飛行する）閲覧者の視点からのアニメーション）を表示し、拡張現実環境を表示する。例えば、図５Ａ３７〜図５Ａ４０を参照して上述したように、人５０６０の視点からのシミュレートされた視野を表示している間に（図５Ａ３７）、デバイス１００は、拡張現実環境を表示する要求に対応する入力５０６６を検出し（図５Ａ３８）、それに応じて、拡張現実環境へのアニメーション化された遷移を表示する（図５Ａ３９〜図５Ａ４０）。（例えば、仮想現実環境内の）仮想ユーザインタフェースオブジェクトの視点からの、仮想モデルのシミュレートされたビューと拡張現実環境のビューとの間のアニメーション化された遷移（例えば、飛行のアニメーション）を表示することにより、ビュー間のより滑らかな遷移をユーザに提供し、ユーザが状況を維持することを支援しながら、仮想現実環境を出て物理的世界（又は物理的世界に対応する拡張現実環境）に戻る印象をユーザに与える。その閲覧体験に入る及び出るより滑らかな遷移を伴うより没入型かつ直感的な閲覧体験をユーザに提供し、ユーザが閲覧体験中に状況を維持することを支援することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の入力に応じて拡張現実環境を表示することは、第２の入力を検出した後に１つ以上のカメラの視野に従って拡張現実環境を表示することを含む（８２０）（例えば、第１の入力を検出してから１つ以上のカメラの視野が変化した場合、表示された拡張現実環境は、第２の入力に応じて異なるビューから示されることになる）。例えば、図５Ａ３９から図５Ａ４０を参照して上述したように、図４０のカメラの視野は、入力５０５０（シミュレートされた視点ビューに切り替えるための）が検出されたときの図２８のカメラの視野から変化している。従って、図４０の拡張現実環境は、（拡張現実環境のビューに戻るための）入力５０６６に応じて異なるビューから示されている。仮想現実環境から拡張現実環境に戻るときに拡張現実環境内に表示されているものを更新することにより、表示されているものと、ユーザが拡張現実ビューに戻る時点の物理的世界内のコンピュータシステム（又はより具体的には、カメラ（単数又は複数））の配置に基づいてユーザが見ることを期待することになるものとの間の一貫性を提供し、従って、ユーザに提供される視覚的フィードバックを改善する（例えば、コンピュータシステムをユーザ入力及びカメラ位置／方向に対してより反応するように見せることによって）。より直感的な閲覧体験をユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の入力を検出した後の１つ以上のカメラの視野は、第１の入力が検出されたときの１つ以上のカメラの視野とは異なる（８２２）（例えば、１つ以上のカメラの視野は、図５Ａ２８及び図５Ａ４０並びに動作８２０を参照して本明細書に記載されているように、仮想現実環境に切り替える直前に表示されていた（又はその表現が表示されていた）視野から変化している）。仮想現実環境から拡張現実環境に戻るときに拡張現実環境内に表示されているものを更新することにより、表示されているものと、ユーザが拡張現実ビューに戻る時点の物理的世界内のコンピュータシステム（又はより具体的には、カメラ（単数又は複数））の配置に基づいてユーザが見ることを期待することになるものとの間の一貫性を提供する。具体的には、拡張現実環境に戻った時点のカメラ（単数又は複数）の視野が、ユーザが拡張現実環境を出て仮想現実環境に入る直前のカメラ（単数又は複数）の以前の視野とは異なる場合、ユーザは、拡張現実環境に戻った時点で表示される異なる視野を見ることを当然期待することがある。そのように、戻った時点で拡張現実環境の異なるビューを提示することにより、ユーザに提供される視覚フィードバックを改善する（例えば、コンピュータシステムをユーザ入力及びカメラ位置／方向により反応するように見せることによって）。より直感的な閲覧体験をユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトは、コンピュータシステムのユーザからの入力とは無関係に、仮想モデル内で移動する（８２４）。いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトは、拡張現実環境内で独立して移動する。例えば、仮想の人が（例えば、拡張現実環境内の）仮想モデル内で自律的に歩き回るとき、コンピュータシステムのユーザは、仮想モデル内の仮想の人の移動に対して制御を有さない（例えば、図５Ａ３１を参照して本明細書に記載されるように）。（例えば、拡張現実環境内で）ユーザ入力とは無関係に、仮想モデル内の仮想ユーザインタフェースオブジェクトの移動を表示することにより、仮想ユーザインタフェースオブジェクトが拡張現実環境内で自律的に移動するように見える、より直感的な閲覧体験をユーザに提示する。より直感的な閲覧体験をユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野を表示している間に、第１の仮想ユーザインタフェースオブジェクトは、コンピュータシステムのユーザからの１つ以上の入力に応じて仮想モデル内で移動する（８２６）。いくつかの実施形態では、仮想モデル内の仮想の人又は仮想車両の視点からの仮想モデルを閲覧している間に、ユーザは、仮想モデル内の仮想の人又は車両の移動（例えば、移動の方向及び／又は速度）を制御する。例えば、ユーザは、仮想モデルの環境内でどこを仮想の人が歩く（例えば、図５Ａ３５〜図５Ａ３７を参照して本明細書に記載されるように）、又はどこを仮想車両が走行する（例えば、図５Ａ３１〜図５Ａ３３を参照して本明細書に記載されるように）かを制御してもよい。ユーザが（例えば、仮想現実環境内で）仮想モデル内の仮想ユーザインタフェースオブジェクトを移動させることを可能にすることにより、ユーザが仮想モデル内に存在しているかのように、ユーザが仮想モデルに関する追加情報にアクセスすることを可能にする、より没入型の閲覧体験をユーザに提供し、ユーザに提供される視覚的フィードバックを改善する（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることによって）。より没入型の閲覧体験及び改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、シミュレートされた視野を表示している間に、コンピュータシステムは、コンピュータシステムの少なくとも一部分の移動（例えば、１つ以上のカメラ又は入力デバイスなどのコンピュータシステムの１つ以上の構成要素の移動）を検出し（８２８）、コンピュータシステムの移動を検出したことに応じて、コンピュータシステムの移動に従って、第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野を変更する。いくつかの実施形態では、仮想現実環境内のシミュレートされた視野は、コンピュータシステム又はコンピュータシステムの１つ以上の構成要素の姿勢（例えば、向き及び／又は位置）の変化に従って更新される。例えば、ユーザがコンピュータシステムを上方に持ち上げる場合、シミュレートされた視野は、仮想モデル内の仮想の人が自身の頭部を上方を見るように持ち上げたかのように、更新される。コンピュータシステムの姿勢の変化は、任意選択的に、ジャイロスコープ、磁力計、慣性測定ユニット、及び／又は１つ以上のカメラの視野内のオブジェクトに基づいてデバイスの移動を検出するデバイスの１つ以上のカメラに基づいて判定される。例えば、図５Ａ３５〜図５Ａ３７を参照して上述したように、左に向かうデバイス１００の移動及びデバイス１００の回転に応じて、人５０６０の視点からの仮想モデルの表示されたシミュレートされた視点ビューが更新される。コンピュータシステムの移動に応じて仮想ユーザインタフェースオブジェクトの視点から仮想現実環境内に表示されているものを変更することにより、ユーザが仮想モデル内に存在しているかのように、ユーザが仮想モデルに関する追加情報にアクセスすることを可能にする、より没入型の閲覧体験をユーザに提供し、ユーザに提供される視覚的フィードバックを改善する（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることによって）。より没入型の閲覧体験及び改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野（例えば、図５Ａ３３に示すような車両５０５０の視点からのシミュレートされたビュー）を表示している間に、コンピュータシステムは、仮想モデル内の第２の仮想ユーザインタフェースオブジェクト（例えば、仮想モデル内の仮想の人又は仮想車両）（例えば、人５０６０、図５Ａ３４）の選択に対応する第３の入力（例えば、入力５０６２、図５Ａ３４）を検出し（８３０）、第２の仮想ユーザインタフェースオブジェクトの選択に対応する第３の入力を検出したことに応じて、仮想モデル内の第２の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルの第２のシミュレートされた視野（例えば、図５Ａ３５に示すような人５０６０の視点からのシミュレートされたビュー）を表示する（例えば、かつ仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野を表示することを停止する）。ユーザが仮想モデル内の複数の仮想ユーザインタフェースオブジェクトの視点から仮想モデルを閲覧することを可能にし、ユーザがそのビューの対応する仮想ユーザインタフェースオブジェクトを選択することによって、様々な視点ビュー間で切り替えることを可能にすることにより、ユーザが仮想モデル内に存在しているかのように、ユーザが複数の視点から仮想モデルに関する追加情報にアクセスすることを可能にする、より没入型の閲覧体験をユーザに提供し、ユーザに提供される視覚的フィードバックを改善する（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることによって）。より没入型の閲覧体験及び改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野（例えば、図５Ａ３７に示すような人５０６０の視点からのシミュレートされたビュー）を表示している間に、コンピュータシステムは、関連するシミュレートされた視野を表示することができる仮想ユーザインタフェースオブジェクト以外の仮想モデル内の位置の選択に対応する第４の入力を検出し（８３２）（例えば、入力５０６６を参照して本明細書に記載されるように、図５Ａ３８）、第４の入力を検出したことに応じて、拡張現実環境（例えば、図５Ａ４０に示すような拡張現実環境のビュー）を再表示する（例えば、かつ仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野を表示することを停止する）。いくつかの実施形態では、仮想モデル内のいくつかの仮想ユーザインタフェースオブジェクトは、それらのオブジェクトの視点からシミュレートされた視野を表示することができるものである。いくつかの実施形態では、いくつかの仮想ユーザインタフェースオブジェクトを含む仮想モデル内の他の位置は、関連するシミュレートされた視野を有さない、又はそれらの視点からのシミュレートされた視野の表示を可能にせず、いくつかの実施形態では、ユーザは、そのような位置又はオブジェクトを選択して、仮想現実環境を出て、拡張現実環境を再表示することができる。例えば、仮想の人の選択は、仮想の人の視点からのシミュレートされた視野の表示をもたらし、芝の部分の選択は、仮想現実環境から出ること及び拡張現実環境の再表示をもたらす。いくつかの実施形態では、デバイスは、「出口」ボタン若しくはアフォーダンスの選択に応じて、又はタッチ感知面の縁部から開始する縁部スワイプジェスチャなどのジェスチャ、若しくは少なくとも所定の量だけ互いに向かう２つ以上の接触の移動を含むピンチジェスチャに応じて、拡張現実環境を再表示し、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの視点からの仮想モデルのシミュレートされた視野を表示することを停止する。対応する視点ビューが表示されない仮想モデル内の位置を選択することによって、仮想現実環境から拡張現実環境にユーザが戻ることを可能にすることにより、更なる入力又は追加の表示されたコントロールを必要とせずに、拡張現実環境に遷移して戻る直感的かつ端的な方法をユーザに提供する。動作を実行するために必要な入力の数を削減し、追加の表示されるコントロールによりユーザインタフェースを雑然とさせることなく、追加の制御オプションを提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、デバイスを操作する／デバイスと相互作用するときのユーザの混乱及び誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
図８Ａ〜８Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、９００、１０００、１１００、１２００、及び１３００）に関して本明細書に記載される他のプロセスの詳細はまた、図８Ａ〜図８Ｃに関して上記した方法８００にも、類似の様式で適用可能であることに留意されたい。例えば、方法８００に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションは、任意選択的に、本明細書に記載の他の方法（例えば、方法６００、７００、９００、１０００、１１００、１２００、及び１３００）に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図９Ａ〜図９Ｅは、いくつかの実施形態に係る、仮想ユーザインタフェースオブジェクトの３次元操作の方法９００を示すフロー図である。方法９００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、を含む（かつ／又はそれらと通信している）コンピュータシステム（例えば、ポータブル多機能デバイス１００、図１Ａ、デバイス３００、図３Ａ、又は、ヘッドセット５００８及び入力デバイス５０１０を含むマルチコンポーネントコンピュータシステム、図５Ａ２）において実行される。いくつかの実施形態では、入力デバイス（例えば、タッチ感知面を有する）及び表示生成コンポーネントは、タッチ感知ディスプレイに統合される。図３Ｂ〜図３Ｄに関して上述したように、いくつかの実施形態では、方法９００は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、及び任意選択的に１つ以上の姿勢センサなどのそれぞれの構成要素が、それぞれ、コンピュータシステム３０１に含まれる、又はコンピュータシステム３０１と通信しているのいずれかである、コンピュータシステム３０１（例えば、コンピュータシステム３０１−ａ、３０１−ｂ、又は３０１−ｃ）で実行される。
いくつかの実施形態では、表示生成コンポーネントは、タッチスクリーンディスプレイであり、入力デバイス（例えば、タッチ感知面を有する）は、表示生成コンポーネント上にある、又はそれと統合されている。いくつかの実施形態では、表示生成コンポーネントは、入力デバイスとは別個である（例えば、図４Ｂ及び図５Ａ２に示すように）。方法９００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２及び１つ以上の一体型カメラを有するコンピュータシステム上（例えば、タッチスクリーン１１２を有するデバイス１００上）で実行される動作を参照して説明する。しかしながら、類似の動作は、任意選択的に、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。同様に、類似の動作は、任意選択的に、コンピュータシステムの１つ以上の他の構成要素（例えば、入力デバイス）とは別個に（例えば、ヘッドセット内に）実装される１つ以上のカメラを有するコンピュータシステム上で実行され、いくつかのそのような実施形態では、「コンピュータシステムの移動」は、コンピュータシステムの１つ以上のカメラの移動、又はコンピュータシステムと通信する１つ以上のカメラの移動に対応する。
後述するように、方法９００は、仮想ユーザインタフェースオブジェクトの一部分の選択及び２次元での入力の移動に基づいて、拡張現実環境（例えば、物理的世界で利用可能ではない、ユーザに追加情報を提供する補足情報で、現実が拡張される）内の、本明細書で仮想オブジェクトとも呼ばれる、仮想ユーザインタフェースオブジェクトの外観を（コンピュータシステムのディスプレイ上で）調整することに関する。仮想ユーザインタフェースオブジェクトの一部分の選択及び２次元での入力の移動に基づいて仮想ユーザインタフェースオブジェクトの外観を調整すること（例えば、仮想ユーザインタフェースオブジェクトを移動させること、又は仮想ユーザインタフェースオブジェクトのサイズを調整すること）により、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整するための直感的な方法を提供し（例えば、入力デバイス上の接触の移動又はリモートコントロールの移動を介して）、それによって、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、表示されたユーザインタフェースを追加のコントロールで雑然とさせるのではなく、ユーザが仮想ユーザインタフェースオブジェクトと直接相互作用することを可能にすることによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
コンピュータシステム（例えば、デバイス１００、図５Ｂ２）は、表示生成コンポーネント（例えば、ディスプレイ１１２、図５Ｂ２）を介して、仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト５２１０、図５Ｂ２）を表示する（９０２）。例えば、いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトは、コンピュータシステムに結合された１つ以上のカメラの視野内の物理的オブジェクト（例えば、基準マット５２０８ａ、図５Ｂ２）に取り付けられる又はそれをカバーするように見える、２次元又は３次元仮想オブジェクトである。第１の仮想ユーザインタフェースオブジェクト５２１０の位置及び／又は向きは、任意選択的に、１つ以上のカメラの視野内の物理的オブジェクト５２０８ａの位置、形状、及び／又は向きに基づいて決定される。
仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクト５２１０を表示している間に（９０４）、コンピュータシステムは、入力デバイスを介して、第１の仮想ユーザインタフェースオブジェクト５２１０の対応する部分の選択及び２次元での第１の入力の移動（例えば、平面タッチ感知面を横切る接触の移動、又はリモートコントロールの周囲の３次元物理的空間の直交する２つの次元の移動成分を含むリモートコントロールの移動）を含む第１の入力を検出する。
例えば、図５Ｂ６に示すように、接触５２２２による入力は、仮想ユーザインタフェースオブジェクト５２１０の上面を選択し（仮想ボックス５２１０の移動平面を示す移動投影５２２６によって示すように）、接触５２２２は、矢印５２２８によって示すように、タッチ感知面１１２を横切って２次元で移動する。
別の実施例では、図５Ｂ１０に示すように、接触５２３２による入力は、仮想ユーザインタフェースオブジェクト５２１０の前面を選択し（移動投影５２３６によって示すように）、接触５２３２は、矢印５２３８によって示すように、タッチ感知面１１２を横切って２次元で移動する。
図５Ｂ１８〜図５Ｂ２０に示す別の実施例では、接触５２４４による入力は、仮想ユーザインタフェースオブジェクト５２１０の上面を選択し（接触の後続の移動に応じて仮想ボックス５２１０がサイズ変更されることになる軸を示すサイズ変更投影５２４６によって示すように）、接触５２４４は、矢印５２４８によって示すように、タッチ感知面１１２を横切って２次元で移動する。
図５Ｂ２８〜図５Ｂ３０に示す別の実施例では、接触５２６２による入力は、仮想ユーザインタフェースオブジェクト５２６０の前面を選択し（仮想ボックス５２６０がサイズ変更されることになる軸を示すサイズ変更投影５２６６によって示すように）、デバイス１００は、矢印５２６８によって示すように、２次元で移動する。
２次元での第１の入力の移動を含む第１の入力を検出したことに応じて（９０６）、第１の仮想ユーザインタフェースオブジェクトの対応する部分が第１の仮想ユーザインタフェースオブジェクトの第１の部分（例えば、図５Ｂ６に示すような仮想ユーザインタフェースオブジェクト５２１０の上面などの立方体オブジェクトの第１の側面）であるとの判定に従って、コンピュータシステムは、２次元での第１の入力の移動（例えば、矢印５２２８によって示すような、図５Ｂ６）及び選択された第１の仮想ユーザインタフェースオブジェクトの第１の部分に基づいて決定された第１の方向に、（例えば、サイズ変更、平行移動、及び／又は傾斜させることによって）第１の仮想ユーザインタフェースオブジェクトの外観を調整する。第１の方向の第１の仮想ユーザインタフェースオブジェクトの調整は、仮想３次元空間の２次元の第１のセット内の移動に制約される（例えば、移動投影５２２６によって示すように）。第１の仮想ユーザインタフェースオブジェクト５２１０の対応する部分が、第１の仮想ユーザインタフェースオブジェクトの第１の部分とは別個の第１の仮想ユーザインタフェースオブジェクトの第２の部分（例えば、図５Ｂ１０に示すような仮想ユーザインタフェースオブジェクト５２１０の前面などの立方体オブジェクトの第１の側面の隣の又はそれと反対側の立方体オブジェクトの第２の側面）であるとの判定に従って、コンピュータシステムは、第１の方向とは異なる第２の方向に、（例えば、サイズ変更、平行移動、及び／又は傾斜させることによって）第１の仮想ユーザインタフェースオブジェクトの外観を調整する。第２の方向は、２次元での第１の入力の移動（例えば、矢印５２３８によって示すような、図５Ｂ１０）、及び選択された第１の仮想ユーザインタフェースオブジェクトの第２の部分に基づいて決定される。第２の方向の第１の仮想ユーザインタフェースオブジェクト５２１０の調整は、仮想３次元空間の２次元の第１のセットとは異なる仮想３次元空間の２次元の第２のセット内の移動に制約される（例えば、移動投影５２３６によって示すように）。例えば、第１の方向及び第２の方向のそれぞれの方向の第１の仮想ユーザインタフェースオブジェクト５２１０の外観になされる調整量は、選択された第１の仮想ユーザインタフェースオブジェクトの対応する部分に従って選択される、仮想３次元空間の少なくとも１つの次元に制約される（例えば、移動投影によって示すように）。いくつかの実施形態では、仮想３次元空間内の立方体オブジェクトの移動は、立方体オブジェクトの選択された側面の平面に制約される（例えば、図５Ｂ６〜図５Ｂ８及び図５Ｂ１０及び図５Ｂ１１によって示すように）。いくつかの実施形態では、立方体オブジェクトの押し出しは、立方体オブジェクトの選択された側面の平面に垂直な方向に制約される（例えば、図５Ｂ１９及び図５Ｂ２０及び図５Ｂ２９及び図５Ｂ３０に示すように）。いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトが選択されている間に、第１の仮想ユーザインタフェースオブジェクトの選択の視覚的インジケーションが表示される。例えば、第１の仮想ユーザインタフェースオブジェクトの縁部に沿った１つ以上の線が強調表示され（例えば、移動投影５２２６及び５２３６によって示すように）、及び／又は第１の仮想ユーザインタフェースオブジェクトが強調表示される。いくつかの実施形態では、コンピュータシステムは、第１の仮想ユーザインタフェースオブジェクトの対応する部分の選択及び２次元での第１の入力の移動を含む複数の入力を検出し、複数の入力は、第１の仮想ユーザインタフェースオブジェクトの対応する部分が、第１の仮想ユーザインタフェースオブジェクトの第１の部分である少なくとも１つの入力と、第１の仮想ユーザインタフェースオブジェクトの対応する部分が、第１の仮想ユーザインタフェースオブジェクトの第２の部分である少なくとも１つの入力と、を含む。
いくつかの実施形態では、第１の部分は、第１の仮想ユーザインタフェースオブジェクトの第１の側面（例えば、上面５２２４、図５Ｂ６）であり（９０８）、第２の部分は、第１の仮想ユーザインタフェースオブジェクトの第２の側面（例えば、前面５２３４、図５Ｂ１０）であり、第１の側面は、第２の側面に平行ではない（例えば、第１の側面は、第２の側面に垂直である）。仮想ユーザインタフェースオブジェクトの選択された部分がオブジェクトの第１の側面、又はオブジェクトの第２の側面（第１の側面に平行ではない）であるかに応じて、仮想ユーザインタフェースの外観を異なるように調整することにより、ユーザが第１の仮想ユーザインタフェースオブジェクトの外観を調整するための直感的な方法を提供する（例えば、ユーザが特定の平面内で又は特定の軸に沿って第１の仮想ユーザインタフェースオブジェクトの外観を調整することを可能にすることによって）。ユーザが第１の仮想ユーザインタフェースオブジェクトを調整することを可能にすることにより（例えば、第１の仮想ユーザインタフェースオブジェクトの選択された部分との直接相互作用により）、追加の表示されたコントロールによりユーザインタフェースを雑然とさせることを回避し、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトの外観を調整することは、第１の仮想ユーザインタフェースオブジェクトの外観を調整し（例えば、第１の仮想ユーザインタフェースオブジェクトを移動又はサイズ変更する）、それにより、第１の仮想ユーザインタフェースオブジェクトの位置が、仮想ユーザインタフェースオブジェクトの選択された対応する部分に平行な平面にロックされること（例えば、第１の仮想ユーザインタフェースオブジェクトの位置をロックすることは、仮想ユーザインタフェースオブジェクトの選択された対応する部分に平行な平面に対してである）を含む（９１０）。例えば、図５Ｂ６〜図５Ｂ８では、仮想ユーザインタフェースオブジェクト５２１０の位置は、仮想ユーザインタフェースオブジェクト５２１０の選択された上面５２２４に平行な、移動投影５２２６によって示す平面にロックされる。いくつかの実施形態では、平行平面は、選択された対応する部分の表面に垂直な線に対して垂直であり、かつその表面と接触している。第１の入力の２次元移動は、仮想ユーザインタフェースオブジェクトの選択された対応する部分に平行な平面上の第１の仮想ユーザインタフェースオブジェクトの２次元移動に対応する（例えば、第１の入力の２次元移動を仮想ユーザインタフェースオブジェクトの選択された対応する部分に平行な平面上の第１の仮想ユーザインタフェースオブジェクトの２次元移動にマッピングすることによって）。例えば、矢印５２２８及び５２３０によって示すような接触５２２２による入力の移動は、仮想オブジェクト５２１０を移動投影５２２６によって示す平面上で移動させる。いくつかの実施形態では、第１の方向に第１の仮想インタフェースオブジェクトの外観を調整することは、第１の平面に沿って第１の仮想インタフェースオブジェクトの外観を調整することを含む（例えば、及び第２の方向に調整することは、第１の平面に平行ではない（例えば、垂直な）第２の平面に沿って調整することを含む）。例えば、図５Ｂ６〜図５Ｂ８では、仮想ユーザインタフェースオブジェクト５２１０は、移動投影５２２６によって示すように、第１の平面に沿って移動され、図５Ｂ１０及び図５Ｂ１１では、仮想ユーザインタフェースオブジェクト５２１０は、移動投影５２３６によって示すように、第２の平面に沿って移動される。第１の仮想ユーザインタフェースオブジェクトの外観を調整し、それにより、第１の仮想ユーザインタフェースオブジェクトの位置が、仮想ユーザインタフェースの選択された対応する部分に平行な平面にロックされ、それにより、第１の仮想ユーザインタフェースオブジェクトの移動がその平面上にあることにより、２次元表面（例えば、タッチ感知面１１２）上の入力を使用して、３次元空間内でオブジェクトを操作することを可能にする。２次元表面上の入力を使用して、３次元空間内でオブジェクトを操作することを可能にすることにより、ユーザが第１の仮想ユーザインタフェースオブジェクトの外観を調整するための直感的方法を提供し（例えば、第１の仮想ユーザインタフェースオブジェクトの移動を平面に制限し、それにより、第１の仮想ユーザインタフェースオブジェクトの外観が２次元での入力に応じてどのように調整されることになるかをユーザが予測し、理解することができることによって）、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトの外観を調整することは、（例えば、第１の入力が検出されている間に）仮想ユーザインタフェースオブジェクトの選択された対応する部分に平行な平面の視覚的インジケーションを含む、移動平面インジケータ（例えば、オブジェクトの縁部から延びる１つ以上の線（移動投影５２２６などの）、平面内に表示される形状輪郭、及び／又は平面内に表示されるグリッド）を表示することを含む（９１２）。仮想ユーザインタフェースオブジェクトの選択された対応する部分に平行な平面の視覚的インジケーションを表示することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、２次元での入力に応じて第１の仮想ユーザインタフェースオブジェクトの外観がどのように調整されることになるかのインジケーションを提供することによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、移動平面インジケータは、（移動投影５２２６などの）仮想ユーザインタフェースオブジェクトの選択された対応する部分に平行な平面に沿って、第１の仮想ユーザインタフェースオブジェクトから（例えば、第１の仮想ユーザインタフェースオブジェクトの表面及び／又は側面から）延びる１つ以上の投影（例えば、線）を含む（９１４）。第１の仮想ユーザインタフェースオブジェクトから延びる投影を表示すること（例えば、第１の仮想ユーザインタフェースオブジェクトが２次元での入力に応じて移動することになる平面を示すために）により、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の入力の移動を含む第１の入力を検出したことに応じて、コンピュータシステムは、第１の入力がサイズ調整基準を満たすか否かを判定する（９１６）。いくつかの実施形態では、第１の入力がサイズ調整基準を満たすか否かを判定することは、第１の入力が持続時間閾値を上回って増大する持続時間を有する（例えば、第１の入力は、長い押圧入力である）か否かを判定することを含む。いくつかの実施形態では、コンピュータシステムは、タッチ感知面との接触の強度を検出するように構成された１つ以上のセンサを含み、第１の入力がサイズ調整基準を満たすか否かを判定することは、第１の入力が強度閾値（例えば、軽い押圧強度閾値ＩＴＬ及び／又は深い押圧強度閾値ＩＴＤ）を上回って増大する特性強度（例えば、図４Ｄ及び図４Ｅに関して説明したような）を有するか否かを判定することを含む。第１の入力がサイズ調整基準を満たすとの判定に従って、コンピュータシステムは、第１の仮想ユーザインタフェースオブジェクトの外観を調整し、それにより、第１の仮想ユーザインタフェースオブジェクトの位置は、仮想３次元空間内のアンカーポイントにロックされ（例えば、第１の仮想ユーザインタフェースオブジェクトの位置は、仮想３次元空間内のアンカーポイントにロックされる）、第１の仮想ユーザインタフェースオブジェクトのサイズは、選択された対応する部分に垂直な軸に沿って調整される（例えば、軸は、第１の仮想ユーザインタフェースオブジェクトの選択された対応する部分の表面（又は選択された対応する部分の重心）に対して垂直である）。例えば、図５Ｂ１８及び図５Ｂ１９では、接触５２４４による入力が持続時間基準を満たすとの判定に従って、入力がサイズ調整基準を満たすと判定され（例えば、接触５２４４によって選択される仮想ユーザインタフェースオブジェクト５２１０の上面５２２４に垂直なサイズ変更投影５２４６の表示によって示すように）、図５Ｂ１９及び図５Ｂ２０では、仮想ユーザインタフェースオブジェクト５２１０のサイズは、サイズ変更投影５２４６によって示す軸に沿って調整される。２次元での入力の移動を含む入力に応じてユーザが仮想ユーザインタフェースオブジェクトのサイズを調整することを可能にすることにより、ユーザが仮想ユーザインタフェースオブジェクトのサイズを調整するための直感的な方法を提供し、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、アンカーポイントは、第１の仮想ユーザインタフェースオブジェクトの選択された対応する部分の反対側の第１の仮想ユーザインタフェースオブジェクトの部分上に位置する（９１８）（例えば、アンカーポイントは、仮想ユーザインタフェースオブジェクトの選択された側面とは反対側の第１の仮想ユーザインタフェースオブジェクトの側面上に位置する）。例えば、図５Ｂ１９では、仮想ユーザインタフェースオブジェクト５２１０の選択された側面は、上面５２２４であり（例えば、上面５２２４に垂直なサイズ変更投影５２４６の表示によって示すように）、アンカーポイントは、上面５２２４の反対側の仮想ユーザインタフェースオブジェクト５２１０の側面（例えば、基準マット５２０８の表示されたバージョン５２０８ｂに隣接する仮想ユーザインタフェースオブジェクト５２１０の側面）上に位置する。いくつかの実施形態では、アンカーポイントは、仮想ユーザインタフェースオブジェクトの選択された対応する部分上に位置する。第１の仮想ユーザインタフェースオブジェクトの一部分を選択された部分とは反対側の第１の仮想ユーザインタフェースオブジェクトの部分上の点に固定することにより、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整するための直感的な方法を提供し（例えば、特に第１の仮想ユーザインタフェースオブジェクトが平面に対して示されているときに、選択された表面から外向きに引っ張ることによってオブジェクトを延ばす感覚をユーザに与えることによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、アンカーポイントは、第１の仮想ユーザインタフェースオブジェクトの重心（例えば、第１の仮想ユーザインタフェースオブジェクトの位置がロックされる時の第１の仮想ユーザインタフェースオブジェクトの重心）である（９２０）。例えば、アンカーポイントは、仮想ユーザインタフェースオブジェクト５２１０の重心である。第１の仮想ユーザインタフェースオブジェクトの一部分を選択された部分とは反対側の第１の仮想ユーザインタフェースオブジェクトの重心の点に固定することにより、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整するための直感的な方法を提供し（例えば、特に第１の仮想ユーザインタフェースオブジェクトが空間内に吊り下げられているときに、選択された表面から外向きに引っ張ることによってオブジェクトを延ばす感覚をユーザに与えることによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトの外観を調整することは、（例えば、第１の入力が検出されている間に）移動軸インジケータを表示することを含み（９２２）、移動軸インジケータは、第１の仮想ユーザインタフェースオブジェクトの選択された対応する部分に垂直な軸の視覚的インジケーション（例えば、オブジェクトの縁部から延びる１つ以上の線、平面内に表示される形状輪郭、及び／又は平面内に表示されるグリッド）を含む。例えば、移動軸インジケータは、図５Ｂ１９では、接触５２４４によって選択された仮想ユーザインタフェースオブジェクトの上面５２２４に垂直である、サイズ変更投影５２４６を含む。第１の仮想ユーザインタフェースオブジェクトの選択された対応する部分に垂直な軸の移動軸インジケータを表示することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、２次元での入力に応じて第１の仮想ユーザインタフェースオブジェクトの外観がどのように調整されることになるかのインジケーションを提供することによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、移動軸インジケータは、第１の仮想ユーザインタフェースオブジェクトの対応する部分（例えば、仮想ユーザインタフェースオブジェクト５２１０の上面５２２４）に垂直な軸に平行な１つ以上の投影（例えば、サイズ変更投影５２４６、図５Ｂ１９）を含み（９２４）、１つ以上の投影は、第１の仮想ユーザインタフェースオブジェクト（の表面及び／又は側面）から延びる。第１の仮想ユーザインタフェースオブジェクトから延びる投影を表示することにより、ユーザに提供される視覚的フィードバックを改善し（例えば、第１の仮想ユーザインタフェースオブジェクトに対して配置されたインジケータを使用して、入力が第１の仮想ユーザインタフェースオブジェクトの外観をどのように変更することになるかを示すことによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、触知出力を生成するための１つ以上の触知出力生成器１６３を含む（９２６）。第１の仮想ユーザインタフェースオブジェクトの外観を対応する方向に調整している間に、コンピュータシステムは、第１の入力の移動が第１の仮想ユーザインタフェースオブジェクトの対応する部分に、仮想３次元空間内に存在する仮想要素（例えば、別の仮想ユーザインタフェースオブジェクト及び／又は基準マット５２０８の表示されたバージョン５２０８ｂのグリッドラインなどの仮想グリッドラインなどの、仮想３次元空間内に表示されている又は表示されていない仮想要素）と衝突させると判定する。第１の入力の移動が第１の仮想ユーザインタフェースオブジェクトの対応する部分に仮想要素と衝突させるとの判定に従って、コンピュータシステムは、１つ以上の触知出力生成器１６３により、触知出力を生成する。第１の仮想ユーザインタフェースオブジェクトの一部分が仮想要素と衝突させられたとの判定に従って触知出力を生成することにより、ユーザに提供されるフィードバックを改善する（例えば、第１の仮想ユーザインタフェースオブジェクトが移動した距離及び方向を示すことによって（第１の仮想ユーザインタフェースオブジェクトが仮想グリッドラインを横切って移動するとき）、及び／又は、その環境内の仮想ユーザインタフェースオブジェクトと仮想要素との相対位置の直感的な理解をユーザに与えることによって）。これによって、デバイスの操作性が向上し、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが所望の位置にオブジェクトを移動させることを支援することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想３次元空間を表示している間に（９２８）（例えば、仮想３次元空間内の第１の仮想ユーザインタフェースオブジェクトの作成及び／又は表示の前に）、コンピュータシステムは、入力デバイスを介して、仮想３次元空間内の第１の位置（例えば、第１の仮想ユーザインタフェースオブジェクトの対応する部分に対応する位置、又は第１の仮想ユーザインタフェースオブジェクトに対応しない位置）に向けられた第２の入力を検出する。例えば、図５Ｂ２４に示すように、接触５２５４による入力が検出される。第２の入力を検出したことに応じて、第２の入力が第１の入力形式を有する（例えば、第２の入力がタップ入力である）との判定に従って、コンピュータシステムは、仮想３次元空間内の第１の位置に、挿入カーソル（例えば、挿入カーソル５２５６、図５Ｂ２５）を表示する。挿入カーソルが第１の位置に表示されている間に、コンピュータシステムは、入力デバイスを介して、（例えば、接触５２５８によって示すような、図５Ｂ２６）第３の入力を検出する。第３の入力を検出したことに応じて、コンピュータシステムは、第３の入力が第１の入力形式を有し（例えば、第３の入力がタップ入力である）、かつ表示された挿入カーソルに対応する第１の位置に向けられているとの判定に従って、第２の仮想ユーザインタフェースオブジェクト（例えば、仮想ユーザインタフェースオブジェクト５２６０、図５Ｂ２６）を第１の位置に挿入する。第３の入力が第１の入力形式を有し、かつ表示された挿入カーソルに対応しない第２の位置に向けられているとの判定に従って（例えば、図５Ｂ２２〜図５Ｂ２５に示すように）、コンピュータシステムは、挿入カーソルを第２の位置に表示する。例えば、図５Ｂ２２では、接触５２５０による入力は、図５Ｂ２３に示すように、接触５２５０の位置に対応する位置に挿入カーソル５２５２を配置させる。接触５２５４による後続の入力は、挿入カーソル５２５２の位置に対応しない位置で検出される。接触５２５４の位置が挿入カーソル５２５２の位置に対応しないため、図５Ｂ２５では、接触５２５４の位置に対応する位置に挿入カーソル５２５６が表示される（かつ接触５２５４による入力に応じて、新しい仮想ユーザインタフェースオブジェクトが生成されない）。いくつかの実施形態では、コンピュータシステムは、複数の入力を検出し、複数の入力は、第１の入力形式を有し、かつ表示された挿入カーソルに対応する第１の位置に向けられた、少なくとも１つの入力と、第１の入力形式を有し、かつ表示された挿入カーソルに対応しない第２の位置に向けられた、少なくとも１つの入力と、を含む。第１のタイプの入力の位置が表示された挿入カーソルの位置に対応する、又は表示された挿入カーソルを含まない位置に対応するかに応じて、新しい仮想ユーザインタフェースオブジェクトを挿入する、又は挿入カーソルを移動させるかを判定することにより、第１のタイプの入力により異なる複数のタイプの動作の実行を可能にする。第１のタイプの入力により異なる複数のタイプの動作の実行を可能にすることにより、ユーザがこれらの動作を実行することができる効率を高め、それによって、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想３次元空間を表示している間に（９３０）、コンピュータシステムは、入力デバイスを介して、仮想３次元空間内の第３の位置に向けられた第４の入力（例えば、図５Ｂ３２に示すような接触５２７０による入力）を検出する。仮想３次元空間内の第３の位置に向けられた第４の入力を検出したことに応じて、第４の入力が第１の入力形式を有する（例えば、第４の入力がタップ入力である）との判定に従って、コンピュータシステムは、挿入カーソル（例えば、挿入カーソル５２７２、図５Ｂ３３）を第３の位置に表示する（例えば、既存の挿入カーソルを第２の位置から対応する位置に移動させる、又は第１の入力の前にシミュレートされた環境内に挿入カーソルが表示されていなかった場合、対応する位置に新しい挿入カーソルを表示する）。挿入カーソルが第３の位置に表示されている間に、コンピュータシステムは、入力デバイスを介して、アクティブ化されると、第３の位置に新しい仮想ユーザインタフェースオブジェクトの挿入を引き起こす、新規オブジェクトコントロール（例えば、新規オブジェクトコントロール５２１６）に対応する位置で第５の入力（例えば、接触５２７６による入力、図５Ｂ３４）を検出する。第５の入力を検出したことに応じて、コンピュータシステムは、第３の位置に新しい仮想ユーザインタフェースオブジェクト（例えば、仮想ユーザインタフェースオブジェクト５２７６、図５Ｂ３６）を挿入する。アクティブ化されると挿入カーソルの位置に新しい仮想ユーザインタフェースオブジェクトの挿入を引き起こす新規オブジェクトコントロールを提供することにより、ユーザが新しい仮想ユーザインタフェースオブジェクトを作成することができる効率を高める（例えば、ユーザが新規オブジェクトコントロールの位置で繰り返される入力を提供することによって一連の新しい仮想ユーザインタフェースオブジェクトを挿入することを可能にすることによって）。ユーザが新しい仮想ユーザインタフェースオブジェクトを作成することができる効率を高めることにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることにより、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、入力デバイスを介して、仮想３次元空間との相互作用に対応するジェスチャ（例えば、タッチ感知面上のピンチ又はスワイプジェスチャ）を検出する（９３２）。例えば、図５Ｂ３６及び図５Ｂ３７は、接触５２７８及び５２８０によるピンチジェスチャを示す。仮想３次元空間との相互作用に対応するジェスチャを検出したことに応じて、コンピュータシステムは、ジェスチャに対応する仮想３次元空間内の動作を実行する（例えば、オブジェクトをズームする、回転させる、移動させる、など）。例えば、図５Ｂ３６及び図５Ｂ３７に示すピンチジェスチャに応じて、ズーム動作が実行される（例えば、ズームアウト動作が行われると、仮想ユーザインタフェースオブジェクト５２１０、５２６０、及び５２７６は、サイズが低減される）。仮想３次元空間と相互作用するピンチ又はスワイプなどのジェスチャに応じて仮想３次元空間内の動作を実行することにより、ユーザが仮想３次元空間を制御するための効率的かつ直感的な方法を提供する（例えば、ユーザが仮想３次元空間の調整に対応するピンチ又はスワイプなどの動きを伴う単一の入力を使用して仮想３次元空間のビューを調整することを可能にすることによって）。仮想３次元空間のジェスチャに基づく制御をユーザに提供することにより、追加の表示されたコントロールによりユーザインタフェースを雑然とさせることを回避し、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを含み（９３４）、表示された仮想３次元空間は、１つ以上のカメラの視野内にある１つ以上の物理的オブジェクト（例えば、基準マット５２０８ａ、図５Ｂ２）と、１つ以上のカメラの視野内にある１つ以上の物理的オブジェクトの１つ以上の仮想３次元モデル（例えば、基準マット５２０８ａの表示されたバージョン５２０８ｂ）と、を含む。物理的オブジェクトの仮想３次元モデルを表示することにより、表示された仮想３次元空間に対する物理的世界内の座標系を提供する。この座標系を提供することにより、ユーザが物理的オブジェクトを操作することによって（基準マットなど、例えば、基準マットを回転させることによって）仮想３次元空間内の仮想オブジェクトのビューを変更することを可能にし、それにより、ユーザが第１の仮想ユーザインタフェースオブジェクトのビューを調整するための直感的な方法を提供し、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想ユーザインタフェースオブジェクトの外観は、第１の入力の移動が、入力デバイス上の第１の入力の移動（例えば、入力デバイスが物理的空間内で実質的に静止して保持されている間の入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動）、対応する物理的オブジェクトに対する１つ以上のカメラの移動（例えば、接触が入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面上で維持され、かつ静止したままでいる間の物理的空間内のカメラを含むコンピュータシステムの移動）、又は入力デバイス上の第１の入力の移動と対応する物理的オブジェクトに対する１つ以上のカメラの移動との組み合わせ（例えば、同時に起こる、入力デバイスのタッチスクリーンディスプレイ又はタッチ感知面を横切る接触の移動、及び物理的空間内のカメラを含むコンピュータシステムの移動）に起因するかに関わらず、１つ以上のカメラの視野内の対応する物理的オブジェクトに対する第１の入力の移動を検出したことに応じて、調整される（９３６）。例えば、図５Ｂ２９及び図５Ｂ３０に示すように、デバイス１００（例えば、１つ以上のカメラを含むコンピューティングデバイス）は、接触５２６２がタッチスクリーンディスプレイ１１２上で維持され、かつ静止したままでいる間に、基準マット５２０８ａに対して移動される。デバイス１００の移動に応じて、仮想オブジェクト５２６０のサイズが調整される。入力の移動のしかたに関わらず仮想ユーザインタフェースオブジェクトの外観を調整すること（例えば、入力デバイス上の入力の移動のみ、物理的オブジェクトに対するカメラの移動のみ、又は入力及びカメラの移動の組み合わせにより、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整することを可能にすることによって）により、ユーザが仮想ユーザインタフェースオブジェクトの外観を調整するための直感的な方法を提供し、ユーザに提供される視覚的フィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
図９Ａ〜図９Ｅにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、１０００、１１００、１２００、及び１３００）に関して本明細書に記載される他のプロセスの詳細はまた、図９Ａ〜図９Ｅに関して上記した方法９００にも、類似の様式で適用可能であることに留意されたい。例えば、方法９００に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションは、任意選択的に、本明細書に記載の他の方法（例えば、方法６００、７００、８００、１０００、１１００、１２００、及び１３００）に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１０Ａ〜図１０Ｅは、いくつかの実施形態に係る、表示されたシミュレートされた環境の閲覧モード間を遷移する方法１０００を示すフロー図である。方法１０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、を含む（かつ／又はそれらと通信している）コンピュータシステム（例えば、ポータブル多機能デバイス１００、図１Ａ、デバイス３００、図３Ａ、又は、ヘッドセット５００８及び入力デバイス５０１０を含むマルチコンポーネントコンピュータシステム、図５Ａ２）において実行される。いくつかの実施形態では、入力デバイス（例えば、タッチ感知面を有する）及び表示生成コンポーネントは、タッチ感知ディスプレイに統合される。図３Ｂ〜図３Ｄに関して上述したように、いくつかの実施形態では、方法１０００は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、及び任意選択的に１つ以上の姿勢センサなどのそれぞれの構成要素が、それぞれ、コンピュータシステム３０１に含まれる、又はコンピュータシステム３０１と通信しているのいずれかである、コンピュータシステム３０１（例えば、コンピュータシステム３０１−ａ、３０１−ｂ、又は３０１−ｃ）で実行される。
いくつかの実施形態では、表示生成コンポーネントは、タッチスクリーンディスプレイであり、入力デバイス（例えば、タッチ感知面を有する）は、表示生成コンポーネント上にある、又はそれと統合されている。いくつかの実施形態では、表示生成コンポーネントは、入力デバイスとは別個である（例えば、図４Ｂ及び図５Ａ２に示すように）。方法１０００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２及び１つ以上の一体型カメラを有するコンピュータシステム上（例えば、タッチスクリーン１１２を有するデバイス１００上）で実行される動作を参照して説明する。しかしながら、類似の動作は、任意選択的に、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。同様に、類似の動作は、任意選択的に、コンピュータシステムの１つ以上の他の構成要素（例えば、入力デバイス）とは別個に（例えば、ヘッドセット内に）実装される１つ以上のカメラを有するコンピュータシステム上で実行され、いくつかのそのような実施形態では、「コンピュータシステムの移動」は、コンピュータシステムの１つ以上のカメラの移動、又はコンピュータシステムと通信する１つ以上のカメラの移動に対応する。
後述するように、方法１０００は、コンピュータシステムの入力デバイスでジェスチャを検出することに関する。ジェスチャがモード変更基準を満たすか否かに応じて、物理的環境に対するコンピュータシステムの少なくとも一部分の姿勢（例えば、向き及び／又は位置）の後続の変化は、第１の閲覧モード（仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係が維持される）でシミュレートされた環境を表示することから第２の閲覧モード（仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係が維持されない）への遷移、又は姿勢の変化に応じて、第１の仮想ユーザインタフェースオブジェクトの外観を変更すること、のいずれかを引き起こす。第１の閲覧モードから第２の閲覧モードに遷移する、又は第１の閲覧モードでの第１の仮想ユーザインタフェースオブジェクトの外観を変更するかを判定することにより、コンピュータシステムの少なくとも一部の姿勢の変化に応じて、異なる複数のタイプの動作の実行を可能にする。姿勢の変化に応じて異なる複数のタイプの動作の実行を可能にすることにより、ユーザがこれらの動作を実行することができる効率を高め、それによって、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
第１の閲覧モードでは、コンピュータシステム（例えば、デバイス１００、図５Ｃ１）は、コンピュータシステムの表示生成コンポーネント（例えば、タッチスクリーンディスプレイ１１２）を介して、コンピュータシステムの物理的環境に対して向けられたシミュレートされた環境（例えば、仮想現実（virtual reality、ＶＲ）環境又は拡張現実（augmented reality、ＡＲ）環境）を表示する（１００２）。第１の閲覧モードでシミュレートされた環境を表示することは、コンピュータシステムの物理的環境に関連付けられたシミュレートされた環境内の第１の対応する位置に表示された仮想モデル（例えば、レンダリングされた３次元モデル）内の第１の仮想ユーザインタフェースオブジェクト（例えば、仮想ボックス５３０２）を表示することを含む。例えば、レンダリングされた３次元モデルの（例えば、サイズ、位置、及び向きに反映されたような）視覚的外観は、コンピュータシステムが物理的環境内のテーブル表面又は他の表面に対してどのように配置され、かつ向けられるかに応じて変化する。
シミュレートされた環境を表示している間に（１００４）、コンピュータシステムは、１つ以上の姿勢センサを介して、物理的環境に対するコンピュータシステムの少なくとも一部分の姿勢（例えば、向き及び／又は位置）の第１の変化（例えば、物理的環境の表現を生成するために使用される１つ以上のカメラを含むコンピュータシステムの構成要素などの、コンピュータシステムの構成要素の姿勢の変化）（例えば、タッチスクリーンディスプレイ、仮想現実ヘッドセット、又はタッチ感知式リモートコントロールの第１の移動によって引き起こされる変化）を検出する。例えば、図５Ｃ１及び図５Ｃ２は、デバイス１００の姿勢の第１の変化を示す。
コンピュータシステムの一部分の姿勢の第１の変化を検出したことに応じて（１００６）、コンピュータシステムは、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係（例えば、向き、サイズ、及び／又は位置）を維持するように、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの外観を変更する（例えば、レンダリングされた３次元モデルは、コンピュータシステムのカメラの視野内にあるテーブル表面又は他の表面の位置に直接配置され、テーブル表面又は他の表面の位置がコンピュータシステムの移動によりカメラの視野内で変化すると、テーブル表面又は他の表面と同一平面上に留まり、かつそれに貼り付けられたままである）。例えば、図５Ｃ１から図５Ｃ２まで、ディスプレイ１１２上の仮想ボックス５３０２のサイズ及び位置は、変化して、仮想ボックス５３０２と物理的基準マット５２０８ａとの間の固定された空間的関係を維持する。
コンピュータシステムの一部分の姿勢の第１の変化に基づいて第１の仮想ユーザインタフェースオブジェクトの外観を変更した後に（１００８）、コンピュータシステムは、入力デバイスを介して、シミュレートされた環境との相互作用に対応する第１のジェスチャ（例えば、タッチ感知面上のピンチジェスチャ又はスワイプジェスチャ）を検出する。図５Ｃ４〜図５Ｃ６は、（デバイス１００によって表示されたシミュレートされた環境内で仮想ボックス５３０２を移動させるための）上方向スワイプ及び下方向スワイプを含む入力の例を提供する。図５Ｃ９〜図５Ｃ１１は、（デバイス１００によって表示されたシミュレートされた環境をズームするための）ピンチジェスチャの例を提供する。
シミュレートされた環境との相互作用に対応する第１のジェスチャを検出したことに応じて（１０１０）、コンピュータシステムは、第１のジェスチャに対応するシミュレートされた環境内での動作を実行する（例えば、オブジェクトをズームする、回転させる、移動させる、など）。図５Ｃ４〜図５Ｃ６は、検出されたスワイプジェスチャに応じた仮想ボックス５３０２の移動を示す。図５Ｃ９〜図５Ｃ１１は、検出されたピンチジェスチャに応じてシミュレートされた環境をズームすることを示す。
第１のジェスチャに対応する動作を実行した後に（１０１２）、コンピュータシステムは、１つ以上の姿勢センサを介して、物理的環境に対するコンピュータシステムの一部分の姿勢（例えば、向き及び／又は位置）の第２の変化を検出する。例えば、図５Ｃ１２及び図５Ｃ１３は、物理的環境５２００内の物理的基準マット５２０８ａに対するデバイス１００の移動を含む姿勢変化を示す。
コンピュータシステムの一部分の姿勢の第２の変化を検出したことに応じて（１０１４）、第１のジェスチャがモード変更基準を満たしたとの判定に従って、コンピュータシステムは、第１の閲覧モードで仮想モデルを含むシミュレートされた環境を表示することから、第２の閲覧モードで仮想モデルを含むシミュレートされた環境を表示することに遷移する。モード変更基準は、第１のジェスチャが物理的環境に対するシミュレートされた環境の空間的パラメータ（例えば、向き、サイズ、及び／又は位置）を変更する入力（例えば、シミュレートされた環境をズームアウトするためのピンチズームジェスチャ、シミュレートされた環境を拡大するためのデピンチズームアウトジェスチャ、シミュレートされた環境を回転若しくは平行移動させるためのスワイプジェスチャ、及び／又はシミュレートされた環境を閲覧する別のデバイスの視点（point of view、ＰＯＶ）若しくは環境内の仮想オブジェクトのＰＯＶを表示するための入力）に対応するという要件を含む。例えば、図５Ｃ９〜図５Ｃ１１に示すピンチズーム入力に応じて、デバイス１００は、シミュレートされた環境を第１の閲覧モード（拡張現実閲覧モード）で表示することから、シミュレートされた環境を第２の閲覧モード（仮想現実閲覧モード）で表示することに遷移する。例えば、拡張現実モードでデバイス１００のディスプレイ１１２によって表示される物理的基準マット５２０８ａ及びテーブル５２０４などのデバイス１００のカメラの視野内の物理的オブジェクト（例えば、図５Ｃ９の）は、仮想現実閲覧モードで表示されることを停止する（例えば、図５Ｃ１２に示すように）。仮想現実閲覧モードでは、仮想グリッド５３２８が表示される（例えば、図５Ｃ１２に示すように）。第２の閲覧モードでシミュレートされた環境内に仮想モデルを表示することは、第１の仮想ユーザインタフェースオブジェクトの外観を変更して、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係（例えば、向き、サイズ、及び／又は位置）を維持することを控える（例えば、コンピュータシステムの一部分の姿勢の第２の変化を検出する前に表示されていたのと同じ向き、サイズ、及び／又は位置に、第１の仮想ユーザインタフェースオブジェクトを維持する）ことを含む。例えば、図５Ｃ１２及び図５Ｃ１３に示すように、ディスプレイ１１２に対する仮想ボックス５３０２の位置は、デバイスが仮想現実閲覧モードでシミュレートされた環境を表示している間にデバイス１００の移動に応じて、変更されない。第１のジェスチャがモード変更基準を満たさなかったとの判定に従って、コンピュータシステムは、第１の閲覧モードでシミュレートされた環境内に第１の仮想モデルを表示し続ける。例えば、図５Ｃ４〜図５Ｃ６では、仮想ボックス５３０２を移動させるためのスワイプジェスチャは、モード変更基準を満たさず、デバイス１００は、拡張現実閲覧モードでシミュレートされた環境を表示し続ける。第１の閲覧モードで仮想モデルを表示することは、物理的環境に対するコンピュータシステムの一部分の姿勢の第２の変化（例えば、物理的環境の表現を生成するために使用される１つ以上のカメラを含むコンピュータシステムの構成要素などのコンピュータシステムの構成要素の姿勢の変化）に応じて、仮想モデル内の第１の仮想ユーザインタフェースオブジェクトの外観を変更し、それにより、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係（例えば、向き、サイズ、及び／又は位置）を維持することを含む。例えば、図５Ｃ７及び図５Ｃ８に示すように、ディスプレイ１１２に対する仮想ボックス５３０２の位置は、デバイスが拡張現実閲覧モードでシミュレートされた環境を表示している間にデバイス１００の移動に応じて、変化する。いくつかの実施形態では、固定された空間的関係は、いくつかの実施形態ではコンピュータシステムの移動又はテーブル表面若しくは他の表面の移動などの物理的環境の変化に起因する、姿勢の第１の変化と姿勢の第２の変化との間の時間中に、他の入力に応じて、同じままであってもよく、又は異なってもよい。いくつかの実施形態では、コンピュータシステムは、各ジェスチャの後に物理的環境に対するコンピュータシステムの一部分の姿勢の変化が続く、シミュレートされた環境とのそれぞれの相互作用に対応する複数のジェスチャを検出する。いくつかのそのような実施形態では、複数のジェスチャ及び姿勢変化は、後続の姿勢の変化を検出したことに応じて、コンピュータシステムが第１のモードでシミュレートされた環境を表示することから第２のモードでシミュレートされた環境を表示することに遷移する、モード変更基準を満たした少なくとも１つのジェスチャを含む。加えて、複数のジェスチャ及び姿勢変化は、コンピュータシステムが第１の閲覧モードでシミュレートされた環境内に第１の仮想モデルを表示し続ける、モード変更基準を満たさなかった少なくとも１つのジェスチャを含む。
いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内にコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成する１つ以上のビデオカメラ）を含み（１０１６）、第１の閲覧モードでシミュレートされた環境を表示することは、１つ以上のカメラの視野の少なくとも一部分の表現を表示することを含む。１つ以上のカメラの視野は、物理的環境内の物理的オブジェクトの表現を含む（例えば、表現は、１つ以上のカメラの視野の少なくとも一部分のライブビューである）。例えば、デバイス１００の１つ以上のカメラは、図５Ｃ１に示すように、５２０８ｂで示すようなディスプレイ１１２上に表示された基準マット５２０８ａのライブ画像をキャプチャする。いくつかの実施形態では、物理的オブジェクトのビューは、１つ以上のカメラが移動されるにつれて、かつ／又は仮想モデルへの変更に応じて、更新される。例えば、図５Ｃ１から図５Ｃ２まで、デバイス１００の移動は、基準マット５２０８ａのビュー５２０８ｂを変化させる（例えば、デバイス１００が基準マット５２０８ａに接近して移動するにつれて、デバイス１１２上に表示されたシミュレートされた環境は、図５Ｃ１に示すような基準マット５２０８ａ全体のビュー５２０８ｂを表示することから、図５Ｃ２に示すような基準マット５２０８ａの一部分のビュー５２０８ｂに更新される）。シミュレートされた環境内に物理的オブジェクトの表現を表示することにより、物理的環境及びシミュレートされた環境に関する同時情報をユーザに提供する。物理的環境及びシミュレートされた環境に関する同時情報を提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザがデバイスに提供される入力と仮想ユーザインタフェースオブジェクトと物理的環境との間の関係を理解し、入力の誤りを回避することを支援することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、シミュレートされた環境との相互作用に対応する第１のジェスチャを検出することは、複数の接触（例えば、図５Ｃ９に示すような入力デバイスのタッチ感知面（例えば、デバイス１００のタッチ感知ディスプレイ１１２）との接触５３２４及び５３２０）を検出することを含む（１０１８）。タッチ感知面との複数の接触が検出されている間に、コンピュータシステムは、複数の接触の第２の接触の移動に対する複数の接触の第１の接触の移動（例えば、図５Ｃ９〜図５Ｃ１１に示すような矢印５３２６及び５３２２によって示す経路に沿った接触５３２４及び５３２０の移動）を検出する。例えば、複数の接触の第２の接触の移動に対する複数の接触の第１の接触の移動は、少なくとも第１の接触と第２の接触との間の距離を減少させる複数の接触の移動を含むピンチジェスチャ（例えば、図５Ｃ９〜図５Ｃ１１に示すような）、又は少なくとも第１の接触と第２の接触との間の距離を増大させる複数の接触の移動を含むデピンチジェスチャである。加えて、いくつかの実施形態では、第１のジェスチャに対応するシミュレートされた環境内での動作を実行することは、第２の接触の移動に対する第１の接触の移動に対応する量だけ第１の仮想ユーザインタフェースオブジェクト（例えば、仮想ボックス５３０２、図５Ｃ９）のサイズを変更すること（例えば、ジェスチャが互いから離れる接触の移動を含むデピンチジェスチャであるとの判定に従って、第１の仮想ユーザインタフェースオブジェクトのサイズを増大させること、及びジェスチャが互いに向かう接触の移動を含むピンチジェスチャであるとの判定に従って、第１の仮想ユーザインタフェースオブジェクトのサイズを低減すること）を含む。例えば、図５Ｃ９〜図５Ｃ１１では、接触５３２４及び５３２０が移動し、それにより接触間の距離が減少するにつれて、仮想ボックス５３０２のサイズが減少する。シミュレートされた環境と相互作用するデピンチジェスチャなどのジェスチャに応じて、シミュレートされた環境内での動作を実行することにより、ユーザが第１の仮想ユーザインタフェースオブジェクトのサイズを変更するための効率的かつ直感的な方法を提供する（例えば、ユーザが単一の入力ジェスチャを使用してシミュレートされた環境内で仮想ユーザインタフェースオブジェクトをズームすることを可能にすることによって）。シミュレートされた環境のジェスチャに基づく制御をユーザに提供することにより、追加の表示されたコントロールによりユーザインタフェースを雑然とさせることを回避し、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の閲覧モード（例えば、ＶＲモード）でシミュレートされた環境内に第１の仮想ユーザインタフェースオブジェクトを表示している間に（１０２０）、コンピュータシステムは、入力デバイスを介して、シミュレートされた環境との相互作用に対応する第２のジェスチャを検出する。第２のジェスチャは、シミュレートされた環境の視点を変更するための入力を含む。例えば、コンピュータシステムは、スワイプ又は回転ジェスチャなどのジェスチャを検出する（例えば、入力デバイスは、タッチスクリーンディスプレイを含み、ジェスチャは、タッチスクリーンディスプレイを横切る接触の移動を含む）。加えて、シミュレートされた環境との相互作用に対応する第２のジェスチャを検出したことに応じて、コンピュータシステムは、シミュレートされた環境の視点を変更するための入力に従って、シミュレートされた環境の表示される視点を更新する。例えば、コンピュータシステムは、スワイプ又は回転ジェスチャなどの第２のジェスチャの移動の方向及び量に対応する方向にかつ量だけ、シミュレートされた環境の表示される視点を変更する。図５Ｃ２２及び図５Ｃ２３は、矢印５３５２によって示す経路に沿って移動する接触５３５０による回転ジェスチャを含む入力を示す。接触５３５０による入力が受信されると、デバイス１００のディスプレイ１１２によって表示されるシミュレートされた環境は、入力に従って回転される（例えば、仮想ボックス５３０２、５３０４、及び５３４０、並びに仮想グリッド５３２８が時計回りに回転される）。シミュレートされた環境との相互作用に対応するジェスチャを検出したことに応じて、シミュレートされた環境の表示される視点を更新することにより、ユーザがシミュレートされた環境の視点を変更するための効率的かつ直感的な方法を提供する（例えば、ユーザが単一の入力ジェスチャを使用してシミュレートされた環境の視点を変更することを可能にすることによって）。シミュレートされた環境の視点のジェスチャに基づく制御をユーザに提供することにより、追加の表示されたコントロールによりユーザインタフェースを雑然とさせることを回避し、それにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の閲覧モード（例えば、ＶＲモード）でシミュレートされた環境を表示している間に（１０２２）、コンピュータシステムは、入力デバイスを介して、シミュレートされた環境内の第２の対応する位置に第２の仮想ユーザインタフェースオブジェクトを挿入するための挿入入力（例えば、（以前の入力によって作成された）挿入カーソルに対応するシミュレートされた環境内の位置に向けられた、タップ入力などの入力、及び／又は、アクティブ化されると、シミュレートされた環境内の以前に配置された挿入カーソルの位置に新しい仮想ユーザインタフェースオブジェクトの挿入を引き起こすコントロールに向けられた入力）を検出する。第２の仮想ユーザインタフェースオブジェクトを挿入するための挿入入力を検出したことに応じて、コンピュータシステムは、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係（例えば、向き、サイズ、及び／又は位置）を維持しながら、シミュレートされた環境内の第２の対応する位置に、第２の仮想ユーザインタフェースオブジェクトを表示する。例えば、接触５３３４による入力（例えば、タップ入力）は、図５Ｃ１５及び図５Ｃ１６に示すように、挿入カーソル５５３６を配置する。挿入カーソル５５３６が配置された後に、図５Ｃ１７に示すように、新規オブジェクトコントロール５２１６に対応する位置での接触５３３８による入力（例えば、タップ入力）が検出される。挿入カーソル５５３６の配置の後に新規オブジェクトコントロール５２１６に対応する位置での入力に応じて、挿入カーソル５５３６に対応する位置に仮想ボックス５３４０が表示される。仮想ユーザインタフェースオブジェクトを挿入するための入力は、方法９００に関して更に説明している。いくつかの実施形態では、第２の仮想ユーザインタフェースオブジェクトのシミュレートされた環境への挿入に応じて、対応する閲覧モードは、変更されない（例えば、仮想ユーザインタフェースオブジェクトがＶＲモードで閲覧されている場合、第２の仮想ユーザインタフェースオブジェクトの挿入に応じて、ＡＲモードへの遷移は行なわれない）。挿入入力に応じて新しい仮想ユーザインタフェースオブジェクトを挿入することにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の閲覧モード（例えば、ＶＲモード）でシミュレートされた環境を表示している間に（１０２４）、コンピュータシステムは、入力デバイスを介して、仮想モデルの対応する仮想ユーザインタフェースオブジェクトの対応する側面（例えば、仮想オブジェクト５３４０の側面５３４４）の選択、及び２次元での入力の移動（例えば、矢印５３４６によって示すような）を含む、移動入力（例えば、接触５３４２による移動入力、図５Ｃ１９）を検出する。移動を検出したことに応じて、コンピュータシステムは、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係（例えば、向き、サイズ、及び／又は位置）を維持しながら、第２の入力の移動に基づいて決定される第１の方向に、対応する仮想ユーザインタフェースオブジェクトの選択された対応する側面に平行である平面内で（例えば、移動投影５３４８によって示すように）、対応する仮想ユーザインタフェースオブジェクト５３４０を移動させる。いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトの移動の方向は、移動入力の方向に基づいて決定される（例えば、第１の方向の移動入力に対して、仮想ユーザインタフェースオブジェクトは、対応する方向に移動し、第１の方向とは異なる第２の方向の移動入力に対して、仮想ユーザインタフェースオブジェクトは、異なる対応する方向に移動する）。いくつかの実施形態では、対応する仮想ユーザインタフェースオブジェクトの移動の大きさは、移動入力の大きさに基づいて決定される（例えば、移動入力のより大きい大きさに対して、対応する仮想ユーザインタフェースオブジェクトは、より遠くに移動する）。仮想ユーザインタフェースオブジェクトを移動させるための入力は、方法９００に関して更に説明している。いくつかの実施形態では、第２の仮想ユーザインタフェースオブジェクトのシミュレートされた環境への挿入に応じて、対応する閲覧モードは、変更されない（例えば、仮想ユーザインタフェースオブジェクトがＶＲモードで閲覧されている場合、対応する仮想ユーザインタフェースオブジェクトの移動に応じて、ＡＲモードへの遷移は行なわれない）。移動入力に応じて仮想ユーザインタフェースオブジェクトを移動させることにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の閲覧モードでシミュレートされた環境を表示することから第２の閲覧モードでシミュレートされた環境を表示することに遷移している間に（１０２６）、コンピュータシステムは、遷移アニメーションを表示して、遷移の視覚的インジケーションを提供する（例えば、図５Ｃ９〜図５Ｃ１２に示すように）。第１の閲覧モード（例えば、ＡＲモード）でシミュレートされた環境を表示することから第２の閲覧モード（例えば、ＶＲモード）でシミュレートされた環境を表示することに遷移している間に遷移アニメーションを表示することにより、ユーザに提供されるフィードバックを改善し（例えば、ＡＲモードからＶＲモードへの遷移が行われているというインジケーションをユーザに提供することによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが閲覧モード遷移を引き起こす入力を理解し、所望するときに閲覧モード遷移を達成することを支援することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、遷移アニメーションを表示することは、第１の閲覧モードでは表示され、第２の閲覧モードでは表示されない、少なくとも１つの視覚要素（例えば、コンピュータシステムの１つ以上のカメラによってキャプチャされたときのライブ背景ビュー及び／又は１つ以上の物理的基準オブジェクト（又は物理的環境の任意の他の様相））を表示することを漸進的に停止することを含む（１０２８）。例えば、図５Ｃ９〜図５Ｃ１１では、テーブル５２０４及び物理的基準マット５２０８ａの表示されたビュー５２０８ｂは、ディスプレイ１１２上に表示されることを漸進的に停止する。第１の閲覧モードでシミュレートされた環境を表示することから第２の閲覧モードでシミュレートされた環境を表示することに遷移している間に、第１の閲覧モードでは表示され第２の閲覧モードでは表示されない少なくとも１つの視覚要素を表示することを漸進的に停止することにより、ユーザに提供されるフィードバックを改善し（例えば、物理的環境の様相を除去して、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係が維持されていないという視覚的合図をユーザに提供することによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが遷移の効果を理解することを支援することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、遷移アニメーションを表示することは、第１の閲覧モードで表示されない第２の閲覧モードの少なくとも１つの視覚要素（例えば、レンダリングされた背景）を漸進的に表示することを含む（１０３０）。例えば、図５Ｃ１１及び図５Ｃ１２では、仮想基準グリッド５３２８がディスプレイ１１２上に漸進的に表示される。
第１の閲覧モードでシミュレートされた環境を表示することから第２の閲覧モードでシミュレートされた環境を表示することに遷移している間に、第１の閲覧モードでは表示されない第２の閲覧モードの少なくとも１つの視覚要素を漸進的に表示することにより、ユーザに提供されるフィードバックを改善し（例えば、仮想現実環境の様相を追加して、拡張現実閲覧モードから仮想現実閲覧モードへの遷移が行われているという視覚的合図をユーザに提供することによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが遷移の効果を理解することを支援することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の閲覧モードでシミュレートされた環境を表示することから第１の閲覧モードでシミュレートされた環境を表示することに遷移している間に（例えば、モード変更入力ジェスチャに応じて）、遷移アニメーションが表示され、遷移の視覚的インジケーションを提供する（例えば、図５Ｃ２６〜図５Ｃ３０に示すように）。いくつかの実施形態では、遷移は、第２の閲覧モードの少なくとも１つの視覚要素（例えば、レンダリングされた背景）を表示することを漸進的に停止することと、第１の閲覧モードで表示される少なくとも１つの視覚要素（例えば、コンピュータシステムの１つ以上のカメラによってキャプチャされたときのライブ背景ビュー及び／又は１つ以上の物理的基準オブジェクト（又は物理的環境の任意の他の様相））を漸進的に表示することと、を含む。例えば、図５Ｃ２６及び図５Ｃ２７では、仮想基準グリッド５３２８は、表示されることを漸進的に停止し、図５Ｃ２８〜図５Ｃ３０では、テーブル５２０４及び物理的基準グリッド５２０８ａの表示されたビュー５２０８ｂは、漸進的に再表示される。
いくつかの実施形態では、シミュレートされた環境との相互作用に対応する第１のジェスチャを検出したことに応じて（１０３２）、コンピュータシステムは、第１のジェスチャに対応する入力による空間的パラメータへの変更に従って、シミュレートされた環境内の仮想モデルが表示される視点を変更する。例えば、図５Ｃ９〜図５Ｃ１１に示すピンチズームジェスチャに応じて、仮想ボックス５３０２及び５３０４の表示されるサイズは、減少する。いくつかの実施形態では、第１のジェスチャが仮想モデル上でズームインするジェスチャ（例えば、デピンチジェスチャ）である場合、シミュレートされた環境内の仮想モデルの表示される視点は、変更され、それにより、仮想モデルの表示されるサイズは、増大する。いくつかの実施形態では、第１のジェスチャが表示された仮想モデルをパンする、又は別の方法で移動させるジェスチャ（例えば、スワイプジェスチャ）である場合、シミュレートされた環境内の仮想モデルの表示される視点は、変更され、それにより、仮想モデルは、入力ジェスチャに従ってパンされる、又は別の方法で移動される。第１のジェスチャを検出したことに応じてシミュレートされた環境の視点を変更することにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のジェスチャの終了を検出した後に（１０３４）、コンピュータシステムは、シミュレートされた環境内の仮想モデルが表示される視点を変更し続けて、第１の閲覧モードでシミュレートされた環境を表示することから第２の閲覧モードでシミュレートされた環境を表示することに遷移することを示す。例えば、図５Ｃ１２及び図５Ｃ１３では、図５Ｃ９〜図５Ｃ１１で仮想ボックス５３０２及び５３０４のサイズを減少させたピンチズーム入力を提供していた接触５３２０及び５３２４のリフトオフの後に、仮想ボックス５３０２及び５３０４の表示されるサイズは、減少し続ける。いくつかの実施形態では、シミュレートされた環境内の仮想モデルが表示される視点は、コンピュータシステムの一部分の姿勢の第２の変化に応じて変更され続ける。いくつかの実施形態では、例えば、所定量だけ視点を変更するため、及び／又は第２の閲覧モードでシミュレートされた環境の所定のビューを表示するために、コンピュータシステムの一部分の姿勢の変化（又は他の入力）なしに、視点は変更され続ける。第１のジェスチャが終了した後にシミュレートされた環境の視点を変更し続けることにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、フォーカスセレクタ（単数又は複数）（例えば、１つ以上の接触）の移動に対応する視点への変更量を増加させることによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の閲覧モードでシミュレートされた環境を表示している間に（１０３６）、コンピュータシステムは、入力デバイスを介して、第２の閲覧モードから第１の閲覧モードに遷移するための入力に対応する第３のジェスチャを検出する。例えば、第３のジェスチャは、図５Ｃ２６及び図５Ｃ２７に示すような、接触５３６０及び５３５６によるデピンチジェスチャを含む入力である。第３のジェスチャを検出したことに応じて、コンピュータシステムは、第２の閲覧モードでシミュレートされた環境を表示することから、第１の閲覧モードでシミュレートされた環境を表示することに遷移する（例えば、コンピュータシステムの一部分の姿勢のその後の変化に応じて、第１の仮想ユーザインタフェースオブジェクトの外観は、第１のユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係を維持するように、物理的環境に対して変化することになる）。いくつかの実施形態では、シミュレートされた環境の第１の閲覧モードで第１の仮想ユーザインタフェースオブジェクトを表示することは、シミュレートされた環境内の仮想モデルの背景内のコンピュータシステムの１つ以上のカメラからのライブフィードを表示することを含む。ジェスチャ入力に応じて第２の閲覧モード（例えば、ＶＲモード）から第１の閲覧モード（例えば、ＡＲモード）に遷移することにより、ＶＲモードとＡＲモードとの間のトグルを制御する能力をユーザに提供する。閲覧モードのジェスチャに基づく制御をユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが提供することを望む入力のタイプに対して最も効率的である閲覧モードをユーザが選択することを可能にすることによって、及び追加の表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、入力デバイスは、タッチ感知面（例えば、デバイス１００のタッチ感知ディスプレイ１１２）を含み（１０３８）、第２の閲覧モードから第１の閲覧モードに遷移するための入力に対応する第３のジェスチャを検出することは、入力デバイスのタッチ感知面との複数の接触（例えば、接触５３５６及び５３６０）を検出することを含む。タッチ感知面との複数の接触が検出されている間に、入力デバイスは、複数の接触の第２の接触の移動に対する複数の接触の第１の接触の移動（例えば、矢印５３５８によって示す経路に沿った接触５３５６による移動、及び矢印５３６２によって示す経路に沿った接触５３６０による移動）を検出する。いくつかの実施形態では、第３のジェスチャは、第１の接触と第２の接触との間の距離を低減する複数の接触の移動を含むピンチジェスチャである。いくつかの実施形態では、第２の閲覧モードでシミュレートされた環境を表示することから、第１の閲覧モードでシミュレートされた環境を表示することに遷移することは、シミュレートされた環境内の仮想モデルのサイズを変更して、第１の閲覧モードから第２の閲覧モードへの遷移の前の仮想モデルのサイズに戻すことを含む。例えば、図５Ｃ２６〜図５Ｃ３０に示すように、接触５３５６及び５３６０によるジェスチャに応じて、仮想ボックス５３０２及び５３０４は、物理的基準マット５２０８ａに対するそれらの元の位置及びサイズに変更されて戻る。入力ジェスチャ（例えば、ピンチジェスチャ）に応じて、第２の閲覧モード（例えば、ＶＲモード）でシミュレートされた環境を表示することから第１の閲覧モード（例えば、ＡＲモード）でシミュレートされた環境を表示することに遷移することにより、ユーザが所望の閲覧モードを選択するための効率的かつ直感的な方法を提供する。閲覧モードのジェスチャに基づく制御をユーザに提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、追加の表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第３のジェスチャは、アクティブ化されると、第２の閲覧モードから第１の閲覧モードへの遷移を引き起こす、コントロールに対応する入力デバイス上の位置（例えば、ＡＲモードに関連付けられた画像及び／若しくはテキストを有する、仮想モデル並びに／又はコントロールに対応しないシミュレートされた環境内の位置）での入力（例えば、タップ入力）を含む（１０４０）。例えば、第３のジェスチャは、（例えば、仮想現実表示モードと拡張現実表示モードとの間でトグルするための）図５Ｃ２８のトグル５２１４に対応する位置での入力を含む。コントロールでの入力に応じて、第２の閲覧モード（例えば、ＶＲモード）でシミュレートされた環境を表示することから第１の閲覧モード（例えば、ＡＲモード）でシミュレートされた環境を表示することに遷移することにより、ユーザが所望の閲覧モードを選択するための効率的かつ直感的な方法を提供する。閲覧モードの遷移を引き起こすためのコントロールをユーザへ提供することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第３のジェスチャを検出したことに応じて（１０４２）、コンピュータシステムは、第１の仮想ユーザインタフェースオブジェクトと物理的環境との間の固定された空間的関係に戻すように、第１の仮想ユーザインタフェースオブジェクトの位置を物理的環境に対する現在位置から物理的環境に対する以前の位置に遷移させる（例えば、第１の仮想ユーザインタフェースオブジェクト及び仮想モデルを回転、サイズ変更、及び／又は移動させることにより）。例えば、図５Ｃ２６〜図５Ｃ３０に示すように、接触５３５６及び５３６０によるジェスチャに応じて、仮想ボックス５３０２及び５３０４は、回転、サイズ変更、及び移動され、それにより、図５Ｃ３０では、仮想オブジェクト５３０２及び５３０４は、仮想ボックス５３０２及び５３０４が図５Ｃ３（デバイス１００が拡張現実モードで仮想オブジェクト５３０２及び５３０４を表示していた）で物理的基準マット５２０８ａに対して有していた位置に戻される。いくつかの状況（例えば、第１の閲覧モードから第２の閲覧モードへの遷移のため、デバイスが物理的環境内で移動されている）では、第２の閲覧モードから第１の閲覧モードに遷移して戻った後のディスプレイ上の第１の仮想ユーザインタフェースオブジェクトの位置は、第１の閲覧モードから第２の閲覧モードに遷移する前のディスプレイ上の第１の仮想ユーザインタフェースオブジェクトの位置とは異なる（例えば、デバイスが移動しており、それにより、第１の仮想ユーザインタフェースオブジェクトの目的位置が、第１の閲覧モードから第２の閲覧モードに遷移する前にあった位置とは異なる位置にディスプレイ上にあるため）。例えば、図５Ｃ３０でのデバイス１１０の向きが図５Ｃ３でのデバイス１００の向きとは異なるため、図５Ｃ３０でのディスプレイ１１２上の仮想ボックス５３０２及び５３０４の位置は、図５Ｃ３でのディスプレイ１１２上の仮想ボックス５３０２及び５３０４の位置とは異なる（しかし、物理的基準マット５２０８ａに対する仮想ボックス５３０２及び５３０４の位置は、図５Ｃ３及び図５Ｃ３０で同じである）。仮想ユーザインタフェースオブジェクトの位置を遷移させて、オブジェクトを物理的環境との固定された空間的関係に戻すことにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、仮想ユーザインタフェースオブジェクトが、物理的環境との固定された空間的関係を有する閲覧モードへの遷移が行なわれていることをユーザが理解するのを支援するための視覚的合図を提供し、それにより、ユーザが必要な入力により意図された結果を達成するのを支援することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第３のジェスチャの終了を検出した後に（１０４４）、コンピュータシステムは、シミュレートされた環境内の仮想モデルが表示される視点を変更し続けて、第２の閲覧モードでシミュレートされた環境を表示することから第１の閲覧モードでシミュレートされた環境を表示することに遷移することを示す。例えば、図５Ｃ２８〜図５Ｃ３０では、図５Ｃ２６及び図５Ｃ２７で仮想ボックス５３０２及び５３０４のサイズを増大させたデピンチズームアウト入力を提供していた接触５３５６及び５３６０のリフトオフの後に、仮想ボックス５３０２及び５３０４の表示されるサイズは、増加し続ける。いくつかの実施形態では、例えば、所定量だけ視点を変更するため、及び／又は第２の閲覧モードでシミュレートされた環境の所定のビューを表示するために、コンピュータシステムの一部分の姿勢の変化（又は他の入力）なしに、視点は変更され続ける。第１のジェスチャが終了した後にシミュレートされた環境の視点を変更し続けることにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、フォーカスセレクタ（単数又は複数）（例えば、１つ以上の接触）の移動に対応する視点への変更量を増加させることによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
図１０Ａ〜図１０Ｅにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１１００、１２００、及び１３００）に関して本明細書に記載される他のプロセスの詳細はまた、図１０Ａ〜図１０Ｅに関して上記した方法１０００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１０００に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、フォーカスインジケータ、及び／又はアニメーションは、任意選択的に、本明細書に記載の他の方法（例えば、方法６００、７００、８００、９００、１１００、１２００、及び１３００）に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１１Ａ〜図１１Ｃは、いくつかの実施形態に係る、いくつかの実施形態に係る、第１のコンピュータシステムによって表示されるシミュレートされた環境内の第２のコンピュータシステムの閲覧視点のインジケーションを更新するための方法１１００を示すフロー図である。方法１１００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、を含む（かつ／又はそれらと通信している）コンピュータシステム（例えば、ポータブル多機能デバイス１００、図１Ａ、デバイス３００、図３Ａ、又は、ヘッドセット５００８及び入力デバイス５０１０を含むマルチコンポーネントコンピュータシステム、図５Ａ２）において実行される。いくつかの実施形態では、入力デバイス（例えば、タッチ感知面を有する）及び表示生成コンポーネントは、タッチ感知ディスプレイに統合される。図３Ｂ〜図３Ｄに関して上述したように、いくつかの実施形態では、方法１１００は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、及び任意選択的に１つ以上の姿勢センサなどのそれぞれの構成要素が、それぞれ、コンピュータシステム３０１に含まれる、又はコンピュータシステム３０１と通信しているのいずれかである、コンピュータシステム３０１（例えば、コンピュータシステム３０１−ａ、３０１−ｂ、又は３０１−ｃ）で実行される。
いくつかの実施形態では、表示生成コンポーネントは、タッチスクリーンディスプレイであり、入力デバイス（例えば、タッチ感知面を有する）は、表示生成コンポーネント上にある、又はそれと統合されている。いくつかの実施形態では、表示生成コンポーネントは、入力デバイスとは別個である（例えば、図４Ｂ及び図５Ａ２に示すように）。方法１１００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２及び１つ以上の一体型カメラを有するコンピュータシステム上（例えば、タッチスクリーン１１２を有するデバイス１００上）で実行される動作を参照して説明する。しかしながら、類似の動作は、任意選択的に、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。同様に、類似の動作は、任意選択的に、コンピュータシステムの１つ以上の他の構成要素（例えば、入力デバイス）とは別個に（例えば、ヘッドセット内に）実装される１つ以上のカメラを有するコンピュータシステム上で実行され、いくつかのそのような実施形態では、「コンピュータシステムの移動」は、コンピュータシステムの１つ以上のカメラの移動、又はコンピュータシステムと通信する１つ以上のカメラの移動に対応する。
後述するように、方法１１００は、第２のユーザの第２のコンピュータシステムの閲覧視点の視覚的インジケーションを表示する第１のユーザの第１のコンピュータシステムに関する。視覚的インジケーションは、第１のユーザの物理的環境に対して向けられたシミュレートされた環境内に表示される。第２のコンピュータシステムの閲覧視点が変化すると、閲覧視点の視覚的インジケーションは、更新される。第１のコンピュータシステムによって表示されるシミュレートされた環境内の第２のコンピュータシステムの閲覧視点の視覚的インジケーションを更新することにより、複数のコンピュータシステムのユーザ間の協働を可能にする。複数のデバイスのユーザ間の協働を可能にすることにより、第１のユーザがシミュレートされた環境内で動作を実行することができる効率を増大させ（例えば、第２のコンピュータシステムの第２のユーザがタスクに寄与することを可能にし、第１のコンピュータシステムの第１のユーザによって必要とされるタスクへの寄与量を低減することによって）、それによって、コンピュータシステムの操作性を向上させ、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
第１のコンピュータシステム（例えば、デバイス５４０６、図５Ｄ１）は、第１のコンピュータシステムの第１の表示生成コンポーネントを介して、第１のコンピュータシステムの第１の物理環境に対して向けられたシミュレートされた環境（例えば、仮想現実環境又は拡張現実環境）を表示する（１１０２）（例えば、図５Ｄ２のデバイス５４０６のディスプレイ５４１８に示すように）。シミュレートされた環境を表示することは、第１のコンピュータシステム５４０６の第１の物理的環境に関連付けられたシミュレートされた環境内の対応する位置に表示された仮想モデル（例えば、レンダリングされた３次元モデル）内の第１の仮想ユーザインタフェースオブジェクト（例えば、仮想ボックス５４２０、図５Ｄ３ｂ）（例えば、レンダリングされた３次元モデルの視覚的外観（例えば、サイズ、位置、及び向きに反映されたような）は、コンピュータシステムがどのように物理的環境内のテーブル表面又は他の表面に対して配置され、かつ向けられるかに依存して変化する）と、シミュレートされた環境の第２のコンピュータシステム５４１２の閲覧視点の視覚的インジケーション（例えば、閲覧視点インジケータ５４３２、図５Ｄ３ｂ）と、を同時に表示することを含む（１１０４）。第２のコンピュータシステム５４１２は、第２の表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、１つ以上の第２の姿勢センサ（例えば、１つ以上のカメラ、ジャイロスコープ、慣性測定ユニット、又はコンピュータシステムの物理的環境に対するコンピュータシステムの向き及び／又は位置の変化をコンピュータシステムが検出することを可能にする他のセンサ）と、第２のコンピュータシステムの第２の表示生成コンポーネントを介して、第２のコンピュータシステム５４１２の第２の物理的環境に対して向けられたシミュレートされた環境のビュー（例えば、第２のコンピュータシステムのカメラから出力されたライブ画像の少なくとも一部に重ね合わされた第１の仮想ユーザインタフェースオブジェクト５４０２を含む拡張現実ビュー）を表示している（例えば、図５Ｄ３ｃに示すように）第２の入力デバイス（例えば、タッチ感知面）と、を有するコンピュータシステムである。
第１のコンピュータシステムの第１の表示生成コンポーネントを介してシミュレートされた環境を表示している間に（１１０６）、第１のコンピュータシステム５４０６は、第２のコンピュータシステムの第２の物理的環境に対する第２のコンピュータシステムの一部分の姿勢の変化（例えば、第２のコンピュータシステムの一部分の姿勢の変化、及び／又は、第２のコンピュータシステムによってマーカとして使用される物理的オブジェクトの姿勢の変化などの物理的環境の少なくとも一部分の姿勢の変化）に基づいて、シミュレートされた環境の第２のコンピュータシステム５４１２の閲覧視点の変化を検出する（例えば、図５Ｄ３及び図５Ｄ４に示すように）。
第２のコンピュータシステムの物理的環境に対する第２のコンピュータシステム５４１２の一部分の姿勢の変化に基づいて、シミュレートされた環境の第２のコンピュータシステムの閲覧視点の変化を検出したことに応じて（１１０８）、第１のコンピュータシステム５４０６は、シミュレートされた環境の第２のコンピュータシステム５４１２の閲覧視点の変化に従って、第１のコンピュータシステム５４０６の第１の表示生成コンポーネントを介して表示された、シミュレートされた環境の第２のコンピュータシステム５４１２の閲覧視点の視覚的インジケーションを更新する。例えば、図５Ｄ３ｂに示すように、第１のコンピュータシステム５４０６のディスプレイは、第２のコンピュータシステム５４１２に対応する閲覧視点インジケータ５４３２を表示する。閲覧視点インジケータ５４３２は、第２のコンピュータシステム５４１２の位置の変化（図５Ｄ３ａ〜図５Ｄ４ａに示すような）に基づいて、図５Ｄ３ｂから図５Ｄ４ｂに更新される。
いくつかの実施形態では、第２のコンピュータシステムの閲覧視点の視覚的インジケーションは、第２のコンピュータシステムに対応するシミュレートされた環境内の位置に表示される、第２のコンピュータシステムの表現（例えば、第１のコンピュータシステムの１つ以上のカメラによって検出されたときの第２のコンピュータシステムのビュー及び／又は第２のコンピュータシステムの仮想表現）を含む（１１１０）。例えば、図５Ｄ３ｂに示すように、第１のコンピュータシステム５４０６のディスプレイは、第２のコンピュータシステム５４１２に対応するアバター５４２８を表示する。第２のコンピュータシステムに対応する位置に第２のコンピュータシステムの表現を表示することにより、第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善する（例えば、閲覧視点の視覚的インジケーションが遠隔のコンピュータシステムに対応することをユーザが理解するのを支援するために）。第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善することにより、デバイスの操作性を向上させ（例えば、ユーザが他のユーザとより効果的に協働することを可能にすることによって）、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２のコンピュータシステムの表現は、第２のコンピュータシステムに対応する識別インジケータ（例えば、テキスト、２次元画像（絵文字、又は写真など）、及び／又は３次元モデル）を含む（１１１２）。例えば、図５Ｄ３ｂに示すようなアバター５４２８は、第２のコンピュータシステム５４１２に対応する識別インジケータである。第２のコンピュータシステムに対応する位置に第２のコンピュータシステムの識別インジケータを表示することにより、第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善する。第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善することにより、ユーザ−デバイスインタフェースをより効率的にし（例えば、第１のユーザが第２のユーザの閲覧視点の視覚的インジケータと遠隔のコンピューティングシステムの他のユーザの閲覧視点の視覚的インジケータとを区別するのを支援することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２のコンピュータシステム５４１２の閲覧視点の視覚的インジケーションは、第２のコンピュータシステム５４１２に対応するシミュレートされた環境内の位置から発して（例えば、粒子の円錐などの円錐、又は１つ以上の光線として）、第２のコンピュータシステムの視線を示す、インジケータ５４３２を含む（１１１４）。いくつかの実施形態では、１つ以上の光線は、仮想モデル内の（任意の）ユーザインタフェースオブジェクトまで延びない少なくとも１つの光線を含む。例えば、１つ以上の光線は、第１の仮想ユーザインタフェースオブジェクト５４２０に接続しない。いくつかの実施形態では、視覚的インジケータ５４３２は、第２のコンピュータシステム５４１２の表現からより遠くに延びるにつれて、より広くなり、第２のコンピュータシステム５４１２の視野をより正確に表現する。インジケータを表示して第２のコンピュータシステムの視線を示すことにより、第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善する（例えば、第２のユーザが第２のコンピュータシステムのディスプレイ上で何を閲覧しているか、及び第２のユーザが潜在的に相互作用することになるそのビュー内のオブジェクトを第１のユーザが理解するのを支援するための合図を提供することによって）。第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善することにより、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが他のユーザとより効果的に協働することを可能にすることによって）、加えて、第１のユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、シミュレートされた環境を表示することは、シミュレートされた環境内の第２のコンピュータシステム５４１２が、第１の仮想ユーザインタフェースオブジェクト５４２０と相互作用しているとの判定に従って（例えば、第２のコンピュータシステムは、第１のユーザインタフェースオブジェクト５４２０を選択した、第１のユーザインタフェースオブジェクト５４２０を移動している、かつ／又は第１のユーザインタフェースオブジェクト５４２０のサイズ及び／若しくは形状を変更している）、第１のコンピュータシステム５４０６の第１の表示生成コンポーネントを介して、第１の仮想ユーザインタフェースオブジェクト５４２０に視覚的に関連付けられた相互作用インジケータ（例えば、図５Ｄ５ｂに示すような相互作用インジケータ５４５２）を表示することを含む（１１１６）。いくつかの実施形態では、シミュレートされた環境内の第２のコンピュータシステム５４１２が、第２の仮想ユーザインタフェースオブジェクトと相互作用しているとの判定に従って（例えば、第２のコンピュータシステム５４１２は、第２のユーザインタフェースオブジェクトを選択した、第２のユーザインタフェースオブジェクトを移動している、かつ／又は第２のユーザインタフェースオブジェクトのサイズ及び／若しくは形状を変更している）、第１のコンピュータシステム５４０６は、第１のコンピュータシステムの第１の表示生成コンポーネントを介して、第２の仮想ユーザインタフェースオブジェクトに視覚的に関連付けられた相互作用インジケータを表示する。第２のコンピュータシステム５４１２が、相互作用している仮想ユーザインタフェースオブジェクトを示す相互作用インジケータ５４５２を表示することにより、複数のコンピュータシステムのユーザ間の協働を改善する。複数のコンピュータシステムのユーザ間の協働を改善することにより、ユーザがシミュレートされた環境内で動作を実行する効率を増大させ（例えば、第２のコンピュータシステムの第２のユーザが仮想ユーザインタフェースオブジェクトを伴うタスクに寄与することを可能にし、第１のコンピュータシステムの第１のユーザによって必要とされるタスクへの寄与量を低減することによって）、それによって、コンピュータシステムの操作性を向上させ、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、シミュレートされた環境を表示することは、第２のコンピュータシステム５４１２の第１の仮想ユーザインタフェースオブジェクト５４２０との相互作用がオブジェクト操作入力を含むとの判定に従って、オブジェクト操作入力に従って、第１の仮想ユーザインタフェースオブジェクトの外観を変更すること（例えば、第１の仮想ユーザインタフェースオブジェクト５４２０のサイズ、形状、及び／若しくは位置を移動、拡大、縮小、並びに／又は別の方法で変更することによって）を含む（１１１８）。例えば、図５Ｄ５ｂ〜図５Ｄ６ｂでは、仮想ユーザインタフェースオブジェクト５４２０は、図５Ｄ５ｃ〜図５Ｄ６ｃに示す移動入力に応じて移動される。図５Ｄ９ｂ〜図５Ｄ１０ｂでは、仮想ユーザインタフェースオブジェクト５４２０のサイズは、図５Ｄ９ｃ〜図５Ｄ１０ｃに示すサイズ変更入力に応じて変更される。仮想ユーザインタフェースオブジェクトを操作する第２のコンピュータシステムによる入力に従って、仮想ユーザインタフェースオブジェクトの外観を変更することにより、複数のコンピュータシステムのユーザ間の協働を改善する。複数のコンピュータシステムのユーザ間の協働を改善することにより、ユーザがシミュレートされた環境内で動作を実行する効率を増大させ（例えば、仮想ユーザインタフェースオブジェクトを伴うタスクへの第２のユーザによる寄与を第１のユーザに明らかにし、第１のコンピュータシステムの第１のユーザによって必要とされるタスクへの寄与量を低減することによって）、それによって、コンピュータシステムの操作性を向上させ、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、オブジェクト操作入力に従って第１の仮想ユーザインタフェースオブジェクト５４２０の外観を変更することは、第１の仮想ユーザインタフェースオブジェクト５４２０に視覚的に関連付けられた相互作用インジケータ５４５２の移動を表示することを含み（１１２０）、相互作用インジケータの移動は、オブジェクト操作入力に対応する（例えば、図５Ｄ５ｂ〜図５Ｄ６ｂに示すように）。例えば、相互作用インジケータ５４５２の一部分（例えば、相互作用インジケータ５４５２の終点）は、第１の仮想ユーザインタフェースオブジェクト５４２０上の点に対応する位置に表示され、それにより、第１の仮想ユーザインタフェースオブジェクトの位置及び／又はサイズの変化によって第１の仮想ユーザインタフェースオブジェクト上の点が変化するにつれて、その部分が移動する。仮想ユーザインタフェースオブジェクトを操作する第２のコンピュータシステムの入力に従って相互作用インジケータを移動させることにより、第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善する（例えば、仮想ユーザインタフェースオブジェクトへの変更と第２のコンピュータシステムとの間の接続に関する視覚的合図を第１のユーザに提供し、仮想ユーザインタフェースオブジェクトが第２のコンピュータシステムで受信された入力の結果として変更されることをユーザが理解することを支援することによって）。第１のユーザに利用可能な情報を改善することにより、ユーザ−デバイスインタフェースをより効率的にし（例えば、第１のユーザが他のユーザとより効果的に協働することを可能にすることによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、相互作用インジケータ５４５２は、シミュレートされた環境内の第２のコンピュータシステムに対応する位置と第１の仮想ユーザインタフェースオブジェクトとの間の接続（例えば、線）の視覚的インジケーションを含む（１１２２）。例えば、図５Ｄ５ｂでは、相互作用インジケータ５４５２は、（第２のコンピュータシステム５４１２を識別する）アバター５４２８と仮想ボックス５４２０との間の線として示されている。第２のコンピュータシステムの表示された位置と仮想ユーザインタフェースオブジェクトとの間の接続の視覚的インジケーションを含む相互作用インジケータを表示することにより、第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善する（例えば、仮想ユーザインタフェースオブジェクトと仮想ユーザインタフェースオブジェクトと相互作用している第２のコンピュータシステムとの間の接続に関する視覚的合図を第１のユーザに提供し、第２のコンピュータシステムが仮想ユーザインタフェースオブジェクトと相互作用していることをユーザが理解することを支援することによって）。第１のユーザに利用可能な情報を改善することにより、ユーザ−デバイスインタフェースをより効率的にし（例えば、第１のユーザが他のユーザとより効果的に協働することを可能にすることによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、相互作用インジケータ５４５２は、第１のユーザインタフェースオブジェクト５４２０との相互作用点の視覚的インジケーション（例えば、制御ハンドル５４５４、図５Ｄ５ｂ）を含む（１１２４）。例えば、接続の視覚的インジケーションが第１のユーザインタフェースオブジェクト５４２０と交わる点に、接続点（例えば、ドット）が表示される。いくつかの実施形態では、接続点は、ユーザが相互作用しているオブジェクトの点、側面、制御ハンドル、又は他の部分を示す。いくつかの実施形態では、第２のコンピュータシステムが、第１のユーザインタフェースオブジェクトの異なる部分と相互作用し始めると、相互作用インジケータは、変化して、第１のユーザインタフェースオブジェクトと第２のコンピュータシステムとの間の相互作用点を示す。仮想ユーザインタフェースオブジェクトとの相互作用点の視覚的インジケーションを含む相互作用インジケータを表示することにより、第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善する（例えば、第２のコンピュータシステムが仮想ユーザインタフェースオブジェクトと相互作用している方法に関する視覚的合図を第１のユーザに提供し、ユーザが、第２のコンピュータシステムが仮想ユーザインタフェースオブジェクトとどのように相互作用しているかを理解し、第２のコンピュータシステムによってなされることになる変更を予測することを支援することによって）。第１のユーザに利用可能な情報を改善することにより、ユーザ−デバイスインタフェースをより効率的にし（例えば、第１のユーザが他のユーザとより効果的に協働することを可能にすることによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、シミュレートされた環境を表示することは、第１のコンピュータシステム５４０６を介して（例えば、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）などの第１のコンピュータシステムの１つ以上のセンサを使用して）、第１の物理的環境内の第１の物理的基準オブジェクト（例えば、第１の基準マット５４１６ａ、図５Ｄ４ａ）を検出することを含む（１１２６）。いくつかの実施形態では、物理的基準オブジェクトは、位置を検出するための１つ以上のセンサと、位置情報を送信するように構成された１つ以上の通信構成要素と、を含むデバイスである。いくつかの実施形態では、物理的基準オブジェクトの位置は、第１の物理的基準オブジェクト及び第１のコンピュータシステムから遠隔にあるデバイスによって検出される。いくつかの実施形態では、シミュレートされた環境を表示することはまた、第１のコンピュータシステムの第１の表示生成コンポーネントを介して表示されたシミュレートされた環境内に、第１の物理的基準オブジェクトに対する位置に第１の仮想ユーザインタフェースオブジェクト５４２０（例えば、第１の物理的基準オブジェクトのライブカメラビュー及び／又は第１の物理的基準オブジェクトに対応する仮想モデルなどの、第１の物理的基準オブジェクトの視覚的表現）を表示することを含む。第２のコンピュータシステム５４１２の閲覧視点の変化を検出したことに応じて、第１のコンピュータシステムは、第１の物理的基準オブジェクト５４１６ａに対する相互作用インジケータ５４６２の位置を更新する（例えば、図５Ｄ９ａ〜図５Ｄ１０ａ及び図５Ｄ９ｂ〜図５Ｄ１０ｂに示すように、位置相互作用インジケータ５４６２は、デバイス５４１２の位置が変化するにつれて変化する）。いくつかの実施形態では、第２のコンピュータシステム５４１２の閲覧視点の視覚的インジケーション５４３２もまた、更新されて、第２のコンピュータシステムの閲覧視点の変化を示す。第２のコンピュータシステムの閲覧視点が変化するにつれて、物理的基準オブジェクトに対する相互作用インジケータの位置を更新することにより、第２のコンピュータシステムに関する第１のユーザに利用可能な情報を改善する（例えば、第２のコンピュータシステム及び物理的環境の相対的な配置に関する視覚的合図を第１のユーザに提供し、第２のコンピュータシステムの第２のユーザがどのようにシミュレートされた環境を閲覧するかを第１のユーザが理解することを支援することによって）。第１のユーザに利用可能な情報を改善することにより、ユーザ−デバイスインタフェースをより効率的にし（例えば、第１のユーザが他のユーザとより効果的に協働することを可能にすることによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２のコンピュータシステムの第２の物理的環境は、第１のコンピュータシステムの第１の物理的環境とは別個である（１１２８）。例えば、図５Ｄ１２ｂは、第１の物理的環境５４００とは別個の第２の物理的環境５４７０を示す。第２のコンピュータシステム（例えば、デバイス５４７８、図５Ｄ１２ｂ）は、第２の物理的な環境５４７０内の第２の物理的基準オブジェクト（例えば、第２の基準マット５４７６ａ）を検出する（例えば、１つ以上のカメラなどの第２のコンピュータシステムの１つ以上のセンサを使用して）。いくつかの実施形態では、第１の物理的基準オブジェクト（例えば、物理的基準マット５４１６ａ、図５Ｄ１２ａ）及び第２の物理的基準オブジェクト（例えば、物理的基準マット５４７６ａ、図５Ｄ１２ｂ）は、１つ以上の共有特性（例えば、同じ面積、形状、及び／又は参照パターン）を有する。いくつかの実施形態では、第２のコンピュータシステムの第２の表示生成コンポーネントを介して表示されたシミュレートされた環境内で（例えば、図５Ｄ１４ｃに示すような）、第１の仮想ユーザインタフェースオブジェクト５４２０は、第１の物理的基準オブジェクト５４１６ａに対する第１の仮想ユーザインタフェースオブジェクト５４２０の位置の、第２の物理基準オブジェクト（例えば、第２の物理的基準オブジェクト５４７６ａのライブカメラビュー５４７６ｂ及び／又は第２の物理的基準オブジェクトに対応する（例えば、そのライブカメラビューに固定された）仮想モデルなどの、第２の物理的基準オブジェクト５４７６ａの視覚的表現５４７６ｂ）に対する位置に表示される。例えば、第２の固定位置は、第２の物理的基準オブジェクト５４７６ａの境界に対して、第１の基準オブジェクト５１４６ａの境界に対する第１の固定位置の位置と同じ位置にある（例えば、第１の固定位置が第１の物理的基準オブジェクト５１４６ａの中心にある場合、第２の固定位置は、第２の物理的基準オブジェクト５４７６ａの中心にある、及び／又はその逆も同様である）。移動入力が第１の仮想ユーザインタフェースオブジェクトの位置を第１の物理的基準オブジェクトに対して第１の経路に沿って移動させる場合、第２の表示生成コンポーネントを介して表示されるシミュレートされた環境内の第１の仮想ユーザインタフェースオブジェクトの位置は、第１の物理的基準オブジェクトに対する第１の経路と同じ軌道を有する、第２の物理的基準オブジェクトに対する第２の経路に沿って移動する。第１のコンピュータシステムによって表示された、シミュレートされた環境内で第１の物理的基準オブジェクトに対してある位置に仮想ユーザインタフェースオブジェクトを表示し、第２のコンピュータシステムによって表示された、シミュレートされた環境内で第２の物理的基準オブジェクトに対してある位置に同じ仮想ユーザインタフェースオブジェクトを表示することにより、第１のユーザ及び第２のユーザが同じ物理的位置にいない間に、第１のユーザ及び第２のユーザが共有されたシミュレートされた環境内で協働することを可能にする。第１のユーザ及び第２のユーザが同じ物理的位置にいない間に、第１のユーザ及び第２のユーザが共有されたシミュレートされた環境内で協働することを可能にすることにより、複数のコンピュータシステムのユーザ間の協働を改善し、ユーザがシミュレートされた環境内で動作を実行する効率を増大させ（例えば、仮想ユーザインタフェースオブジェクトを伴うタスクへの第２のユーザによる寄与を第１のユーザに明らかにし、第１のコンピュータシステムの第１のユーザによって必要とされるタスクへの寄与量を低減することによって）、それによって、コンピュータシステムの操作性を向上させ、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のコンピュータシステムの第１の物理的環境５４００は、第２のコンピュータシステムの第２の物理的環境の少なくとも一部を含み（１１３０）（例えば、第１のコンピュータシステム５４０８及び第２のコンピュータシステム５４１２は、図５Ｄ１に示すように、同じ（ローカル）物理的空間内にある）、第２のコンピュータシステム（例えば、第２のコンピュータシステムのライブ画像、及び／又は第２のコンピュータシステムの仮想バージョン（例えば、第２のコンピュータシステムのライブ画像の上に重ね合わされた））は、第１の表示生成コンポーネントを介して表示されたシミュレートされた環境内に見える。例えば、図５Ｄ４ｂでは、デバイス５４１２の表現５４３０（例えば、デバイス５４０６のカメラによってキャプチャされたときのデバイス５４１２のビュー及び／又はデバイス５４１２のレンダリングされたバージョン）が示される。第１のコンピュータシステム及び第２のコンピュータシステムが少なくとも部分的に同じ物理的環境内にあるときに、第１のコンピュータシステムによって表示されるシミュレートされた環境内に第２のコンピュータシステムを表示することにより、第１のコンピュータシステムの第１のユーザと第２のコンピュータシステムの第２のユーザとの間の協働を改善する（例えば、第１のユーザが第１のコンピュータシステムに対する第２のコンピュータシステムの位置を理解することを支援することによって）。第１のコンピュータシステムの第１のユーザと第２のコンピュータシステムの第２のユーザとの間の協働を改善することにより、第１のユーザがシミュレートされた環境内で動作を実行する効率を増大させ、それにより、コンピュータシステムの操作性を向上させ、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のコンピュータシステムは、第１の入力デバイス５４０６によって、遠隔デバイス視点入力（例えば、ボタン及び／又はメニュー項目などのユーザインタフェースコントロールで検出された入力、又はスワイプジェスチャなどのジェスチャ入力）を検出し（１１３２）、遠隔デバイス視点入力を検出したことに応じて、第１のコンピュータシステムは、第１のコンピュータシステムの第１の物理的環境に対して向けられたシミュレートされた環境の表示を、第２のコンピュータシステムの第２の物理的環境に対して向けられたシミュレートされた環境の表示に置き換える。例えば、入力に応じて、デバイス５４０６は、図５Ｄ４ｃに示すビューなどのデバイス５４１２のビューを表示する。第１のコンピュータシステムの第１の入力デバイスでの入力に応じて、第１のコンピュータシステムのシミュレートされた環境の表示を、第２のコンピュータシステムのシミュレートされた環境の表示に置き換えることにより、第１のコンピュータシステムの第１のユーザと第２のコンピュータシステムの第２のユーザとの間の協働を改善する（例えば、第１のユーザが別のユーザの視点を正確に視覚化することを可能にすることによって）。第１のコンピュータシステムの第１のユーザと第２のコンピュータシステムの第２のユーザとの間の協働を改善することにより、第１のユーザがシミュレートされた環境内で動作を実行する効率を増大させ（例えば、第１のユーザが第２のユーザの視点に関する情報を使用して、閲覧されているユーザインタフェースオブジェクトに関して正確に通信することを可能にすることによって）、それにより、コンピュータシステムの操作性を向上させ、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
図１１Ａ〜図１１Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１２００、及び１３００）に関して本明細書に記載される他のプロセスの詳細はまた、図１１Ａ〜図１１Ｃに関して上記した方法１１００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１１００に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、フォーカスインジケータ、及び／又はアニメーションは、任意選択的に、本明細書に記載の他の方法（例えば、方法６００、７００、８００、９００、１０００、１２００、及び１３００）に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１２Ａ〜図１２Ｄは、いくつかの実施形態に係る、挿入カーソルの配置のための方法１２００を示すフロー図である。方法１２００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、を含む（かつ／又はそれらと通信している）コンピュータシステム（例えば、ポータブル多機能デバイス１００、図１Ａ、デバイス３００、図３Ａ、又は、ヘッドセット５００８及び入力デバイス５０１０を含むマルチコンポーネントコンピュータシステム、図５Ａ２）において実行される。いくつかの実施形態では、入力デバイス（例えば、タッチ感知面を有する）及び表示生成コンポーネントは、タッチ感知ディスプレイに統合される。図３Ｂ〜図３Ｄに関して上述したように、いくつかの実施形態では、方法１２００は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、及び任意選択的に１つ以上の姿勢センサなどのそれぞれの構成要素が、それぞれ、コンピュータシステム３０１に含まれる、又はコンピュータシステム３０１と通信しているのいずれかである、コンピュータシステム３０１（例えば、コンピュータシステム３０１−ａ、３０１−ｂ、又は３０１−ｃ）で実行される。
いくつかの実施形態では、表示生成コンポーネントは、タッチスクリーンディスプレイであり、入力デバイス（例えば、タッチ感知面を有する）は、表示生成コンポーネント上にある、又はそれと統合されている。いくつかの実施形態では、表示生成コンポーネントは、入力デバイスとは別個である（例えば、図４Ｂ及び図５Ａ２に示すように）。方法１２００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２及び１つ以上の一体型カメラを有するコンピュータシステム上（例えば、タッチスクリーン１１２を有するデバイス１００上）で実行される動作を参照して説明する。しかしながら、類似の動作は、任意選択的に、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。同様に、類似の動作は、任意選択的に、コンピュータシステムの１つ以上の他の構成要素（例えば、入力デバイス）とは別個に（例えば、ヘッドセット内に）実装される１つ以上のカメラを有するコンピュータシステム上で実行され、いくつかのそのような実施形態では、「コンピュータシステムの移動」は、コンピュータシステムの１つ以上のカメラの移動、又はコンピュータシステムと通信する１つ以上のカメラの移動に対応する。
後述するように、方法１２００は、（例えば、オブジェクトの配置のためのシミュレートされた環境内の位置を示すための）挿入カーソルの配置のための入力に関する。同じタイプの入力を使用して、シミュレートされた環境内にオブジェクトを挿入することができる（例えば、入力が表示された挿入カーソルの位置に対応する位置で受信されるとき）。フォーカスセレクタの位置が表示された挿入カーソルの位置に対応するか否かに応じて、第１のタイプの入力を検出したことに応じて、フォーカスセレクタの位置に挿入カーソルを表示する、又はフォーカスセレクタの位置に第１のオブジェクトを挿入するかを判定することにより、第１のタイプの入力で異なる複数のタイプの動作の実行を可能にする。第１のタイプの入力により異なる複数のタイプの動作の実行を可能にすることにより、ユーザがこれらの動作を実行することができる効率を高め、それによって、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
コンピュータシステム（例えば、デバイス１００、図５Ｅ１）は、第１のコンピュータシステムの表示生成コンポーネントを介して、シミュレートされた環境（例えば、仮想現実環境又は拡張現実環境）を表示する（１２０２）。例えば、図５Ｅ２に示すように、デバイス１００のディスプレイ１１２上に拡張現実環境が表示される。
シミュレートされた環境を表示している間に、コンピュータシステムは、入力デバイス（例えば、デバイス１００のタッチスクリーンディスプレイ１１２）を介して、シミュレートされた環境内の対応する位置に向けられた第１の入力を検出する（１２０４）。例えば、図５Ｅ７では、タッチスクリーンディスプレイ１１２との接触５５０６による入力は、挿入カーソル（例えば、挿入カーソル５５０４）の位置に対応しない位置で検出される。例えば、図５Ｅ９では、タッチスクリーンディスプレイ１１２との接触５５１０による入力は、挿入カーソル（例えば、挿入カーソル５５０８）の位置に対応する位置で検出される。
シミュレートされた環境内の対応する位置に向けられた第１の入力を検出したことに応じて（１２０６）、第１の入力が第１の入力形式（例えば、シミュレートされた環境内の位置で検出されたタップ入力）であり、かつ第１の入力がシミュレートされた環境内の挿入カーソルの現在位置以外のシミュレートされた環境内の第１の位置で検出された（例えば、図５Ｅ７に示すような挿入カーソル５５０４の現在位置に対応しない位置での接触５５０６による入力）との判定に従って、コンピュータシステムは、挿入カーソルを第１の位置に表示する（例えば、既存の挿入カーソルを以前の位置から第１の位置に移動させる、又は第１の入力の前にシミュレートされた環境内に挿入カーソルが表示されていなかった場合、第１の位置に新しい挿入カーソルを表示する）。例えば、図５Ｅ７に示すような接触５５０６による入力に応じて、挿入カーソル５５０４は、図５Ｅ７に示す位置から、図５Ｅ８の挿入カーソル５５０８によって示すように、接触５５０６が受信された位置まで移動される。第１の入力が第１の入力形式であり、かつ第１の入力が挿入カーソルの現在位置に対応するシミュレートされた環境内の第２の位置で検出された（例えば、図５Ｅ９に示すような挿入カーソル５５０８の現在位置に対応する位置での接触５５１０による入力）との判定に従って、コンピュータシステムは、第２の位置に第１のオブジェクト（例えば、仮想ボックス５５１２）を挿入し、挿入カーソルを第１のオブジェクト上にある第３の位置に移動させる（例えば、挿入カーソル５５０８は、仮想ボックス５５１２の表面５５１４に移動される）。
いくつかの実施形態では、デバイスは、複数の連続する反復にわたって方法１２００を繰り返し実行し（１２０８）、連続する反復の第１の反復では、第１の入力は、第１のタイプであり、かつシミュレートされた環境内の第１の位置で検出され、それに応じて、挿入カーソルは、第１の位置に表示され、連続する反復の第２の反復では、第１の入力は、第１のタイプであり、かつ挿入点の現在位置に対応するシミュレートされた環境内の第２の位置で検出され、それに応じて、第１のオブジェクトは、第２の位置に挿入され、挿入カーソルは、第１のオブジェクト上にある第３の位置に移動される。フォーカスセレクタの位置が表示された挿入カーソルの位置に対応するか否かに応じて、第１のタイプの入力を検出したことに応じて、フォーカスセレクタの位置に挿入カーソルを表示する、又はフォーカスセレクタの位置に第１のオブジェクトを挿入するかを判定することにより、第１のタイプの入力で異なる複数のタイプの動作の実行を可能にする。第１のタイプの入力により異なる複数のタイプの動作の実行を可能にすることにより、ユーザがこれらの動作を実行することができる効率を高め、それによって、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のオブジェクトは、挿入カーソルの現在位置（例えば、図５Ｅ９の挿入カーソル５５０８の位置）に対応する第２の位置に隣接していない複数の非隣接側面（例えば、複数の非隣接側面のそれぞれの対応する非隣接側面は、第２の位置に隣接していない）を有し（１２１０）、第１のオブジェクト上の第３の位置は、第２の位置に隣接していない複数の非隣接側面の対応する非隣接側面上にある（例えば、第３の位置は、仮想オブジェクト５５１２の側面５５１４（図５Ｅ１０に示すような）であり、仮想オブジェクト５５１２の側面５５１４は、挿入カーソル５５０８の位置に隣接していない）。第１のオブジェクトが挿入された位置に隣接していない第１のオブジェクトの側面に挿入カーソルを移動させることにより、ユーザに提供されるフィードバックを改善し（例えば、入力カーソルの位置を変更して、第１のオブジェクトの側面上でユーザに見えるようにすることによって）、（例えば、第３の位置に新しいオブジェクトを挿入するために）必要な入力の数を削減する。新しいオブジェクトを挿入するために必要とされる入力の数を削減することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、挿入カーソルの現在位置が既存のオブジェクトの対応する側面上に位置しているとの判定に従って（１２１２）、第３の位置は、既存のオブジェクトの対応する側面に平行な第１のオブジェクトの第１の対応する側面上にある（例えば、カーソルが既存のオブジェクトの上部にある場合、カーソルは、第１のオブジェクトの上部に移動され、カーソルが既存のオブジェクトの前面上にある場合、カーソルは第１のオブジェクトの前面に移動される）。例えば、図５Ｅ１１では、挿入カーソル５５０８が既存の仮想ボックス５５１２の上面５５１４上に位置している間に、接触５５１６による入力が、挿入カーソル５５０８に対応する位置で検出される。図５Ｅ１２では、接触５５１６による入力に応じて、新しい仮想ボックス５５１８が表示され、挿入カーソル５５０８は、新しい仮想ボックス５５１８の上面５５２０に移動される。新しい仮想ボックス５５１８の上面５５２０は、既存の仮想ボックス５５１２の上面５５１４に平行である。挿入カーソルが位置していた既存のオブジェクトの側面に平行な第１のオブジェクトの側面に挿入カーソルを移動させることにより、ユーザに提供されるフィードバックを改善し（例えば、入力カーソルを、同じ軸に沿って既存のオブジェクトの継続的な拡張を可能にすることになる位置に配置することによって）、（例えば、第３の位置に新しいオブジェクトを挿入するために）必要な入力の数を削減する。新しいオブジェクトを挿入するために必要とされる入力の数を削減することにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、（１２１４）（挿入カーソルの現在位置ではない）第１の位置は、既存のオブジェクトの第１の側面上にあり、（挿入カーソルの現在位置に対応する）第２の位置は、既存のオブジェクトの第１の側面とは異なる既存のオブジェクトの第２の側面上にある。例えば、挿入カーソル５５０８が既存のオブジェクト（例えば、図５Ｅ１７の仮想ボックス５５１８）の上面上にある間に、既存のオブジェクト５５１８の前面５５２８上で選択入力（例えば、接触５５２４による）が検出される。この場合、挿入カーソル５５０８などの表示されたフォーカスインジケータは、既存のオブジェクト５５１８の前面５５２８に新しいオブジェクトを追加することなく、既存のオブジェクトの前面５５２８に移動される（図５Ｅ１８に示すように）。あるいは、挿入カーソル５５０８が既存のオブジェクトの上面（例えば、図５Ｅ１１の仮想ボックス５５１２の上面５５１４）上にある間に、選択入力（例えば、接触５５１６による）が検出され、この場合、第１のオブジェクト（例えば、仮想ボックス５５１８）は、既存のオブジェクト（例えば、仮想ボックス５５１２）の上部に追加され、挿入カーソル５５０８などの表示されたフォーカスインジケータは、ここで第１のオブジェクトを含む既存のオブジェクトの上部に移動される（例えば、図５Ｅ１２に示すように）。既存のオブジェクトの第１の側面に挿入カーソルを表示する（例えば、現在位置から既存のオブジェクトの第１の側面に挿入カーソルを移動させる）、又は既存のオブジェクトの第２の側面に第１のオブジェクトを挿入する（例えば、フォーカスセレクタが既存のオブジェクトの第２の側面にある挿入カーソルに対応する位置にある間に入力が受信されると）ことにより、第１のタイプの入力による異なる複数のタイプの動作の実行を可能にする。第１のタイプの入力により異なる複数のタイプの動作の実行を可能にすることにより、ユーザがこれらの動作を実行することができる効率を高め、それによって、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、シミュレートされた環境（例えば、図５Ｅ３のデバイス１００によって表示されるような）は、コンピュータシステムの物理的環境５２００に対して向けられ（１２１６）（例えば、物理的環境に対するシミュレートされた環境の向きは、コンピュータシステムの１つ以上の姿勢センサの向きとは無関係である）、第２の位置に第１のオブジェクト（例えば、仮想ボックス５５１２）を挿入することは、第１のオブジェクトをシミュレートされた環境（例えば、レンダリングされた３次元モデル）内に、コンピュータシステムの物理的環境５２００内の対応する物理的基準オブジェクト（例えば、物理的基準マット５２０８ａ）の対応する位置（及び任意選択的に、向き）に関連付けられたシミュレートされた環境内の位置（及び任意選択的に、向き）で挿入することを含む（例えば、第１のオブジェクトは、マットなどの物理的基準オブジェクトに固定され、かつ／又は物理的基準オブジェクトに固定された仮想オブジェクトに関連付けられる）。いくつかの実施形態では、シミュレートされた環境は、コンピュータシステムの１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）によって検出された画像（例えば、第１の仮想ユーザインタフェースオブジェクトを越えてなど、背景内の）を含む。いくつかの実施形態では、シミュレートされた環境は、シミュレートされた光源を含む。いくつかの実施形態では、シミュレートされた光源は、第１のオブジェクト５５１２（及び任意の他のオブジェクト、表示された仮想モデル）によって影（例えば、５５２２、図５Ｅ１０）を投じさせる。いくつかの実施形態では、影は、第１のオブジェクトを移動させる、及び／又は第１のオブジェクトの閲覧視点を変更する入力デバイスによって検出された移動入力に応じて、移動する（例えば、図５Ｅ１２〜図５Ｅ１４に示すように）。物理的基準に関連付けられた位置で、シミュレートされた環境内に第１のオブジェクトを挿入することにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、シミュレートされた環境内の対応する位置に向けられた第１の入力を検出したことに応じて（１２１８）、第１の入力が第２の入力形式であり（例えば、入力は、挿入コマンドを含む、又はオブジェクトを追加するボタン若しくはメニュー項目を選択する）、かつ挿入カーソルがシミュレートされた環境内の第２の位置に表示されているとの判定に従って、コンピュータシステムは、シミュレートされた環境内の第２の位置に第１のオブジェクトを挿入し、挿入カーソルを第１のオブジェクト上の第３の位置に移動させる。例えば、図５Ｅ２３及び図５Ｅ２４に示すように、新規オブジェクトコントロール５２１６に対応する位置での接触５５４２による入力は、仮想ボックス５５４６を挿入カーソル５５２６に対応する位置に表示させる。挿入カーソル５５２６は、仮想ボックス５５４６の上面５５４８に移動される。いくつかの実施形態では、シミュレートされた環境内の対応する位置に向けられた第１の入力を検出したことに応じて、第１の入力が第１の入力形式（例えば、タップ入力）であり、かつ第１の入力が挿入カーソルの現在位置に対応するシミュレートされた環境内の第２の位置で検出されたとの判定に従って、第１のオブジェクトは、第２の位置に挿入される。第１の入力が第３の入力形式であったとの判定に従って（例えば、入力は、オブジェクトの対応する表面の選択及び入力の移動を含む）、オブジェクトは、入力の移動に従って調整される（例えば、オブジェクトのサイズは、入力の移動に基づいて、オブジェクトの選択された側面に垂直な軸に沿って、調整され、及び／又はオブジェクトは、入力の移動に基づく方向に移動される）。挿入カーソルが表示されている第２の位置で、シミュレートされた環境内に第１のオブジェクトを挿入することにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１のオブジェクトの第２の対応する側面の選択及び２次元での第２の入力の移動（例えば、平面タッチ感知面を横切る接触の移動、又はリモートコントロールの周囲の３次元物理的空間の直交する２つの次元の移動成分を含むリモートコントロールの移動）を含む第２の入力を検出する（１２２０）。例えば、図５Ｅ２５及び図５Ｅ２６に示すように、接触５５５０による入力は、仮想ボックス５５４６の側面５５５６を選択し、矢印５５５４によって示す経路に沿って移動する。２次元での第２の入力の移動を含む第２の入力を検出したことに応じて（１２２２）、第２の入力が移動基準を満たす（例えば、長い押圧持続時間よりも短い持続時間を有し、かつ／又は、サイズ変更強度閾値（例えば、図４Ｄ及び図４Ｅに関して上述した軽い押圧閾値ＩＴＬ）を上回って増大しないタッチ感知面との接触の特性強度を有する）との判定に従って、コンピュータシステムは、第２の入力の移動に基づいて決定された第１の方向に、第１のオブジェクトの選択された第２の対応する側面に平行な第１の平面内で、第１のオブジェクトを移動させる。例えば、図５Ｅ２５及び図５Ｅ２６では、第２の入力は、移動基準を満たし、仮想ボックス５５４６は、移動投影５５５２によって示す平面内で移動される。第２の入力が移動基準を満たさないとの判定に従って、コンピュータシステムは、第１のオブジェクトを移動させることを控える。いくつかの実施形態では、コンピュータシステムは、第１のオブジェクトの第２の対応する側面の選択及び２次元での第２の入力の移動を含む複数の入力を検出し、複数の入力は、第２の入力が移動基準を満たす少なくとも１つの入力と、第２の入力が移動基準を満たさない少なくとも１つの入力と、を含む。いくつかの実施形態では、第１のオブジェクトの移動量は、第２の入力の移動の大きさに依存する。いくつかの実施形態では、第１のオブジェクトの移動の方向は、第２の入力の移動の方向に依存する（例えば、方法９００を参照して本明細書でより詳細に説明したように）。２次元での移動を含む入力に応じてオブジェクトを移動させることにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１のオブジェクトの第３の対応する側面の選択及び２次元での第３の入力の移動を含む第３の入力を検出する（１２２４）。例えば、図５Ｅ２８〜図５Ｅ３１では、接触５５５８による入力は、仮想ボックス５５４６の側面５５５６を選択し、矢印５５６２によって示す経路に沿って移動する。２次元での第３の入力の移動を含む第３の入力を検出したことに応じて（１２２６）、第３の入力がサイズ変更基準を満たす（例えば、長い押圧持続時間値を上回って増大する持続時間を有し、かつ／又はサイズ変更閾値（例えば、軽い押圧閾値ＩＴＬ）を上回って増大するタッチ感知面との接触の特性強度を有する）との判定に従って、コンピュータシステムは、第３の入力の移動に基づいて、第１のオブジェクトの選択された第３の対応する側面に垂直な軸（例えば、軸は、選択された対応する部分の表面に垂直であり、その表面と接触している）に沿って第１のオブジェクトのサイズを調整する。例えば、図５Ｅ２８〜図５Ｅ３１では、第２の入力は、サイズ変更基準を満たし、仮想ボックス５５４６のサイズは、サイズ変更投影５５６０によって示す軸に沿って増大される。第３の入力がサイズ変更基準を満たさないとの判定に従って、コンピュータシステムは、第１のオブジェクトのサイズを調整することを控える。いくつかの実施形態では、コンピュータシステムは、第１のオブジェクトの第３の対応する側面の選択及び２次元での第３の入力の移動を含む複数の入力を検出し、複数の入力は、第３の入力がサイズ変更基準を満たす少なくとも１つの入力と、第２の入力がサイズ変更基準を満たさない少なくとも１つの入力と、を含む。いくつかの実施形態では、２次元での第３の入力の移動を含む第３の入力を検出したことに応じて、第３の入力がサイズ変更基準を満たすとの判定に従って、第１のオブジェクトの位置は、シミュレートされた環境内のアンカーポイントにロックされる。いくつかの実施形態では、第１のオブジェクトのサイズの調整量は、第３の入力の移動の大きさに依存する。いくつかの実施形態では、第１のオブジェクトのサイズの調整の方向は、第３の入力の移動の方向に依存する（例えば、方法９００を参照して本明細書でより詳細に説明したように）。サイズ変更基準を満たし、かつ２次元での移動を含む入力に応じてオブジェクトのサイズを調整することにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１のオブジェクトの第４の対応する側面の選択及び２次元での第４の入力の移動を含む第４の入力を検出する（１２２８）。２次元での第２の入力の移動を含む第４の入力を検出したことに応じて（１２３０）、接触がサイズ変更基準を満たす（例えば、長い押圧持続時間値を上回って増大する持続時間を有し、かつ／又は、サイズ変更閾値（例えば、軽い押圧閾値ＩＴＬ）を上回って増大するタッチ感知面との接触の特性強度を有する）との判定に従って、コンピュータシステムは、第４の入力の移動に基づいて、第１のオブジェクトのサイズを調整する。例えば、図５Ｅ２８〜図５Ｅ３１では、仮想ボックス５５４６の側面５５５６を選択し、かつ矢印５５６２によって示す経路に沿って移動する接触５５５８による入力は、サイズ変更基準を満たし、仮想ボックス５５４６のサイズは、サイズ変更投影５５６０によって示す軸に沿って増大される。接触がサイズ変更基準を満たさないとの判定に従って、コンピュータシステムは、第４の入力の移動に基づいて第１のオブジェクトを移動させる。例えば、図５Ｅ２５及び図５Ｅ２６では、仮想ボックス５５４６の側面５５５６を選択し、かつ矢印５５５４によって示す経路に沿って移動する接触５５５０による入力は、移動基準を満たし、仮想ボックス５５４６は、移動投影５５５２によって示す平面内で移動される。いくつかの実施形態では、コンピュータシステムは、第１のオブジェクトの第４の対応する側面の選択及び２次元での第４の入力の移動を含む複数の入力を検出し、複数の入力は、接触が移動基準を満たす少なくとも１つの入力と、接触が移動基準を満たさない少なくとも１つの入力と、を含む。タッチ感知面を横切る接触の移動の前に、接触の特性強度が既定の遅延時間が経過する前に強度閾値を上回って増大したか否かに依存して、タッチ感知面上の接触による入力を検出したことに応じて、オブジェクトのサイズを調整する、又はオブジェクトを移動させるかを判定することにより、第１のタイプの入力により異なる複数のタイプの動作の実行を可能にする。タッチ感知面上の接触による入力により異なる複数のタイプの動作の実行を可能にすることにより、ユーザがこれらの動作を実行することができる効率を高め、それによって、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第４の入力の移動に基づいて第１のオブジェクトのサイズを調整することは、第１のオブジェクトの選択された第３の対応する側面に垂直な軸に沿って第１のオブジェクトのサイズを調整することを含む（１２３２）。例えば、図５Ｅ３０及び図５Ｅ３１では、仮想ボックス５５４６のサイズは、仮想ボックス５５４６の選択された側面５５５６に垂直なサイズ変更投影５５６０によって示す軸に沿って調整される。
いくつかの実施形態では、第４の入力の移動に基づいて第１のオブジェクトを移動させることは、第２の入力の移動に基づいて決定された第１の方向に、第１のオブジェクトの選択された第２の対応する側面に平行な第１の平面内で、第１のオブジェクトを移動させることを含む（１２３４）。例えば、図５Ｅ２５及び図５Ｅ２６に示すように、入力仮想ボックス５５４６は、仮想ボックス５５４６の選択された側面５５５６に平行な移動投影５５５２によって示す平面内で移動される。
いくつかの実施形態では、第１のオブジェクトが表示されている間に、コンピュータシステムは、第１のオブジェクト上にある第３の位置に対応しない第１のオブジェクトの対応する部分上の第５の入力を検出する（１２３６）。例えば、図５Ｅ１１及び図５Ｅ１２では、入力に応じて第１のオブジェクトが表示され（例えば、接触５５１６による入力に応じて表示される仮想ボックス５５１８）、挿入カーソル５５０８は、第３の位置（例えば、仮想ボックス５５１８の表面５５２０）に移動される。図５Ｅ１７では、接触５２２４による入力は、第３の位置に対応しない位置で検出される（例えば、仮想ボックス５５１８の表面５５２８で接触５２２４が検出される）。第５の入力を検出したことに応じて、コンピュータシステムは、挿入カーソルを第３の位置から、第１のオブジェクトの対応する部分に対応する位置に移動させる（１２３８）。例えば、図５Ｅ１８では、接触５２２４による入力に応じて、挿入カーソルは、仮想ボックス５５１８の表面５５２０から仮想ボックス５５１８の表面５５２８に移動される）。入力に応じてオブジェクト上の現在位置からオブジェクト上の異なる位置に挿入カーソルを移動させることにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
図１２Ａ〜１２Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、及び１３００）に関して本明細書に記載される他のプロセスの詳細はまた、図１２Ａ〜図１２Ｄに関して上記した方法１１００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１２００に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションは、任意選択的に、本明細書に記載の他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、及び１３００）に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１３Ａ〜図１３Ｅは、いくつかの実施形態に係る、安定動作モードで拡張現実環境を表示するための方法１３００を示すフロー図である。方法１３００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、を含む（かつ／又はそれらと通信している）コンピュータシステム（例えば、ポータブル多機能デバイス１００、図１Ａ、デバイス３００、図３Ａ、又は、ヘッドセット５００８及び入力デバイス５０１０を含むマルチコンポーネントコンピュータシステム、図５Ａ２）において実行される。いくつかの実施形態では、入力デバイス（例えば、タッチ感知面を有する）及び表示生成コンポーネントは、タッチ感知ディスプレイに統合される。図３Ｂ〜図３Ｄに関して上述したように、いくつかの実施形態では、方法１３００は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、及び任意選択的に１つ以上の姿勢センサなどのそれぞれの構成要素が、それぞれ、コンピュータシステム３０１に含まれる、又はコンピュータシステム３０１と通信しているのいずれかである、コンピュータシステム３０１（例えば、コンピュータシステム３０１−ａ、３０１−ｂ、又は３０１−ｃ）で実行される。
いくつかの実施形態では、表示生成コンポーネントは、タッチスクリーンディスプレイであり、入力デバイス（例えば、タッチ感知面を有する）は、表示生成コンポーネント上にある、又はそれと統合されている。いくつかの実施形態では、表示生成コンポーネントは、入力デバイスとは別個である（例えば、図４Ｂ及び図５Ａ２に示すように）。方法１３００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２及び１つ以上の一体型カメラを有するコンピュータシステム上（例えば、タッチスクリーン１１２を有するデバイス１００上）で実行される動作を参照して説明する。しかしながら、類似の動作は、任意選択的に、ヘッドセット５００８のディスプレイ上に図に示すユーザインタフェースを表示している間に、入力デバイス５０１０のタッチ感知面上の接触を検出したことに応じて、ヘッドセット５００８とタッチ感知面を有する別個の入力デバイス５０１０とを有するコンピュータシステム（例えば、図５Ａ２に示すような）上で実行される。同様に、類似の動作は、任意選択的に、コンピュータシステムの１つ以上の他の構成要素（例えば、入力デバイス）とは別個に（例えば、ヘッドセット内に）実装される１つ以上のカメラを有するコンピュータシステム上で実行され、いくつかのそのような実施形態では、「コンピュータシステムの移動」は、コンピュータシステムの１つ以上のカメラの移動、又はコンピュータシステムと通信する１つ以上のカメラの移動に対応する。
後述するように、方法１３００は、１つ以上のカメラの視野と同時に表示される仮想ユーザインタフェースオブジェクトを含む拡張現実環境を表示することに関する。拡張現実環境が安定モード又は非安定モードで表示されるかに応じて、（その物理的環境に対するコンピュータシステムの少なくとも一部分の姿勢の変化による）検出された移動に応じて、表示された拡張現実環境を更新することは、１つ以上のカメラの表示された視野を異なる量だけ変化させる。拡張現実環境を安定モード又は非安定モードで表示することにより、同じ検出された移動により異なる複数のタイプの動作の実行を可能にする（例えば、表示されたビューが仮想ユーザインタフェースオブジェクトの周りを中心とする視野の部分にロックされているか否かに応じて、表示された視野を異なる量だけ更新する）。検出された移動に応じて異なる複数のタイプの動作の実行を可能にすることにより、ユーザがこれらの動作を実行することができる効率を高め、それによってデバイスの操作性を向上させ、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
コンピュータシステム（例えば、デバイス１００、図５Ｆ２）は、第１のコンピュータシステムの表示生成コンポーネント１１２を介して、拡張現実環境を表示する（１３０２）。拡張現実環境を表示することは、コンピュータシステムの１つ以上のカメラの視野の少なくとも一部分の表現と、仮想ユーザインタフェースオブジェクト５６０４と、を同時に表示することを含む。１つ以上のカメラの視野の表現は、物理的オブジェクト５６０２を含む。１つ以上のカメラの視野の表現は、１つ以上のカメラの視野のコンテンツが変化するにつれて更新される（例えば、表現は、１つ以上のカメラの視野の少なくとも一部分のライブプレビューである）。仮想ユーザインタフェースオブジェクト５６０４は、１つ以上のカメラの視野の表現内の対応する位置に表示され、１つ以上のカメラの視野の表現内の仮想ユーザインタフェースオブジェクト５６０４の対応する位置は、仮想ユーザインタフェースオブジェクト５６０４と１つ以上のカメラの視野の表現に含まれる物理的オブジェクト５６０２との間の固定された空間的関係（例えば、サイズ、向き、及び／又は位置）に基づいて決定される（例えば、１つ以上のカメラの視野内の物理的オブジェクトに取り付けられる、又はそれをカバーするように見える仮想ユーザインタフェースオブジェクト）。
拡張現実環境を表示している間に、コンピュータシステムは、コンピュータシステムの１つ以上の姿勢センサを介して、コンピュータシステムの物理的環境に対する、コンピュータシステムの少なくとも一部分の姿勢（例えば、向き及び／又は位置）の第１の変化（例えば、物理的環境の表現を生成するために使用される１つ以上のカメラを含むコンピュータシステムの構成要素などのコンピュータシステムの構成要素の姿勢の変化）を検出する（１３０４）。例えば、図５Ｆ３ａ〜図５Ｆ４ａは、非安定動作モードでのデバイス１００の移動を示し、図５Ｆ８ａ〜図５Ｆ１０ａ、図５Ｆ１２ａ〜図５Ｆ１３ａ、及び図５Ｆ１６ａ〜図５Ｆ１７ａは、安定動作モードでのデバイス１００の移動を示す。
コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の変化を検出したことに応じて、コンピュータシステムは、コンピュータシステムの一部分の姿勢の第１の変化に従って、拡張現実環境を更新する（１３０６）。拡張現実環境が非安定動作モードで表示されているとの判定に従って、コンピュータシステムの一部分の姿勢の第１の変化に従って拡張現実環境を更新することは、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の変化に基づく第１の調整量だけ、１つ以上のカメラの視野の一部分の表現を更新すること（例えば、図５Ｆ３ｂ〜図５Ｆ４ｂに示すように）と、仮想ユーザインタフェースオブジェクト５６０４と１つ以上のカメラの視野の表現に含まれる物理的オブジェクト５６０２との間の固定された空間的関係（例えば、サイズ、向き、及び／又は位置）を維持するように選択された位置に、仮想ユーザインタフェースオブジェクト５６０４の対応する位置を更新することと、を含む。拡張現実環境が安定動作モードで表示されているとの判定に従って、コンピュータシステムの一部分の姿勢の第１の変化に従って拡張現実環境を更新することは、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の変化に基づき、かつ第１の調整量未満の第２の調整量だけ、１つ以上のカメラの視野の一部分の表現を更新すること（例えば、表示されたビューは、第１の仮想ユーザインタフェースオブジェクトの周りを中心とする視野の副部分にロックされる）と、仮想ユーザインタフェースオブジェクト５６０４と１つ以上のカメラの視野の表現に含まれる物理的オブジェクト５６０２との間の固定された空間的関係（例えば、サイズ、向き、及び／又は位置）を維持するように選択された位置に、仮想ユーザインタフェースオブジェクト５６０４の対応する位置を更新することと、を含む。例えば、図５Ｆ１６ｂ〜図５Ｆ１７ｂでは、１つ以上のカメラの視野の一部分の表現は、図５Ｆ３ｂ〜５Ｆ４ｂで行なわれる調整量未満の調整量未満の量だけ更新される。いくつかの実施形態では、コンピュータシステムは、複数の連続する反復にわたって方法１３００を繰り返し実行し、連続する反復の第１の反復では、拡張現実環境は、非安定動作モードで表示され、連続する反復の第２の反復では、拡張現実環境は、安定動作モードで表示される。
いくつかの実施形態では、コンピュータシステムの一部分の姿勢の第１の変化に従って拡張現実環境を更新した後に、コンピュータシステムの一部分の姿勢の第１の変化（例えば、物理的環境の表現を生成するために使用される１つ以上のカメラを含むコンピュータシステムの構成要素などのコンピュータシステムの構成要素の姿勢の変化）が検出されたときに、拡張現実環境が非安定動作モードで表示されていたとき（１３０８）、コンピュータシステムは、ディスプレイ上の仮想ユーザインタフェースオブジェクトを安定化させる要求（例えば、安定化コントロール５６１６での入力）を受信する（１３０８−ａ）。ディスプレイ上の仮想ユーザインタフェースオブジェクトを安定化させる要求に応じて、コンピュータシステムは、拡張現実環境に対する安定動作モードに入る（１３０８−ｂ）。拡張現実環境に対する安定動作モードにある間に、コンピュータシステムは、１つ以上の向きセンサを介して、物理的環境に対するコンピュータシステムの一部分の姿勢の第２の変化（例えば、向き及び／又は位置）を検出し（１３０８−ｃ）（例えば、図５Ｆ１６ａ〜図５Ｆ１７ａに示すように）、物理的環境に対するコンピュータシステムの一部分の姿勢の第２の変化（例えば、物理的環境の表現を生成するために使用される１つ以上のカメラを含むコンピュータシステムの構成要素などのコンピュータシステムの構成要素の姿勢の変化）を検出したことに応じて、コンピュータシステムは、物理的環境に対するコンピュータシステムの一部分（又は物理的環境の表現を生成するために使用される１つ以上のカメラを含むコンピュータシステムの構成要素などのコンピュータシステムの構成要素）の姿勢の第２の変化の量未満だけ、１つ以上のカメラの視野の一部分の表現を更新することと、仮想ユーザインタフェースオブジェクト５６０４と１つ以上のカメラの視野内に含まれる物理的オブジェクト５６０２の表現との間の固定された空間的関係（例えば、サイズ、向き、及び／又は位置）を維持するように選択された位置に、仮想ユーザインタフェースオブジェクト５６０４を更新することと、を含めて、コンピュータシステムの一部分の姿勢の第２の変化に従って拡張現実環境を更新する。例えば、図５Ｆ１６ｂ〜図５Ｆ１７ｂでは、１つ以上のカメラの視野の一部分の表現は、図５Ｆ３ｂ〜５Ｆ４ｂで行なわれる調整量未満の調整量未満の量だけ更新される。ディスプレイ上の仮想ユーザインタフェースオブジェクトを安定化させる要求に応じて、拡張現実環境に対する安定動作モードに入ることにより、表示された拡張現実環境を改善し（例えば、１つ以上のカメラから入手可能なデータに関わらず、ユーザが仮想ユーザインタフェースオブジェクトを閲覧することを可能にすることによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、入力デバイスを含み、ディスプレイ上の仮想ユーザインタフェースオブジェクトを安定化させる要求は、入力デバイスを介して受信される、拡張現実環境の少なくとも一部分をズームするための入力（例えば、図５Ｆ６ｂ〜図５Ｆ７ｂに示すような、接触５６０６及び５６０８によるデピンチズーム入力）を含む（１３１０）。いくつかの実施形態では、ズームするための入力は、例えば、ピンチ、ダブルタップ、又はズームアフォーダンスの選択／操作である。いくつかの実施形態では、拡張現実環境の少なくとも一部分をズームするための入力を受信したことに応じて、デバイスは、拡張現実環境をズームする（例えば、図５Ｆ６ｂ〜図５Ｆ７ｂに示すように、拡張現実環境内の仮想ユーザインタフェースオブジェクト５６０４のサイズは、デピンチズーム入力に応じて増大される）。いくつかの実施形態では、ズームすることは、所定のズーム量又は所定のズームレベルにズームすることである。いくつかの実施形態では、ズームの大きさは、入力の大きさ（例えば、互いから離れる２つの接触の移動量、又はズームコントロール上の接触の移動量）に基づく。ズーム入力に応じて拡張現実環境に対する安定動作モードに入ることにより、更なるユーザ入力を必要とせずに安定モードを可能にする。更なるユーザ入力を必要とせずに安定モードに入ることにより、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ディスプレイ上の仮想ユーザインタフェースオブジェクトを安定化させる要求が表示された拡張現実環境の一部分をズームするための入力を含む、ディスプレイ上の仮想ユーザインタフェースオブジェクトを安定化させる要求に応じて、コンピュータシステムは、（例えば、１つ以上のカメラの視野の一部分の表現を再レンダリングすることなく）表示された拡張現実環境の一部分をズームするための入力の大きさに従って（例えば、より低い解像度からより高い解像度に）仮想ユーザインタフェースオブジェクトを再レンダリングする（１３１２）。例えば、図５Ｆ７ｂでは、仮想オブジェクト５６０４は、５Ｆ６ｂ〜５Ｆ７ｂで受信されたデピンチズーム入力に応じて再レンダリングされる。いくつかの実施形態では、ディスプレイ上の仮想ユーザインタフェースオブジェクトを安定化させる要求が表示された拡張現実環境をズームするための入力を含む、ディスプレイ上の仮想ユーザインタフェースオブジェクトを安定化させる要求に応じて、１つ以上のカメラの視野は、同じままである。いくつかの実施形態では、仮想ユーザインタフェースオブジェクトがズームされている間に、１つ以上のカメラのカメラズームがアクティブ化され、１つ以上のカメラの視野がズームされる。ズーム入力の大きさに従って仮想ユーザインタフェースオブジェクトを再レンダリングすることにより、ユーザに提供されるフィードバックを改善し（例えば、コンピュータシステムをユーザ入力に対してより反応するように見せることにより）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的オブジェクト５６０２は、表示された拡張現実環境内の仮想ユーザインタフェースオブジェクト５６０４によって置き換えられる（１３１４）（例えば、表示されたビューは、第１の仮想ユーザインタフェースオブジェクトの周りを中心とする視野の副部分にロックされる）。表示された拡張現実環境内の仮想ユーザインタフェースオブジェクトで物理的オブジェクトを置き換えることにより、物理的オブジェクトに関してユーザに視覚情報を提供するためのオプションの範囲を増大させ（例えば、物理的オブジェクトから利用可能でない、仮想ユーザインタフェースオブジェクト内の追加の又は向上した視覚情報を提供することにより）、ユーザ−デバイスインタフェースをより効率的にし（例えば、追加情報及び物理的オブジェクトのカメラビューを別個に表示する必要なく、物理的オブジェクトに関連して追加情報を提供することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、拡張現実環境が安定動作モードで表示されている（例えば、図５Ｆ８ａ〜図５Ｆ１０ａに示すようにデバイス１００が移動されている）間に、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の対応する変化を検出する（１３１６）。拡張現実環境が安定動作モードで表示されている間に、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の対応する変化を検出したことに応じて、コンピュータシステムは、コンピュータシステムの一部分の姿勢の対応する変化に従って、拡張現実環境を更新することであって（１３１８）、仮想ユーザインタフェースオブジェクト５６０４の更新された対応する位置が１つ以上のカメラの視野を越えて延びるとの判定に従って、（仮想ユーザインタフェースオブジェクトの周りを中心とする視野の副部分にロックされた仮想ユーザインタフェースオブジェクトを表示し続けること、及び）１つ以上のカメラの視野の一部分の表現を更新することは、１つ以上のカメラの視野を越えて延びる仮想ユーザインタフェースオブジェクトの一部分に対応する拡張現実環境内の対応する位置に、プレースホルダ画像５６１４（例えば、余白又はレンダリングされた画像）を表示することを含む（例えば、ライブカメラ画像がもはや利用可能でない仮想ユーザインタフェースオブジェクトを越えた背景を埋めるために）、ことをする。例えば、仮想ユーザインタフェースオブジェクト５６０４が１つ以上のカメラの視野を越えて延びることになる場合、仮想ユーザインタフェースオブジェクト５６０４を含む拡張現実環境は、仮想ユーザインタフェースオブジェクト５６０４が完全に表示されるようにズームアウトされる。拡張現実環境がズームアウトされると、ライブカメラ画像は、仮想ユーザインタフェースオブジェクトを越えた背景の一部分に対して、もはや利用可能ではない。いくつかの実施形態では、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第１の対応する変化を検出したことに応じて、コンピュータシステムの一部分の姿勢の第１の対応する変化に従って、拡張現実環境を更新することは、仮想ユーザインタフェースオブジェクト５６０４の更新された対応する位置が１つ以上のカメラの視野を越えて延びるか否かを判定することを含む。カメラビューを越えて延びる仮想ユーザインタフェースオブジェクトの一部分に対応する位置に拡張現実環境内にプレースホルダ画像を表示することにより、ユーザに提供されるフィードバックを改善し（例えば、仮想ユーザインタフェースオブジェクトの一部分がカメラビューを越えて延びることをユーザが理解するのを支援する視覚的合図をユーザに提供することによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、拡張現実環境が安定動作モードで表示されている（例えば、図５Ｆ８ａ〜図５Ｆ９ａに示すように、又は図５Ｆ１６ａ〜図５Ｆ１７ａに示すようにデバイス１００が移動されている）間に、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第２の対応する変化を検出する（１３２０）。拡張現実環境が安定動作モードで表示されている間に、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第２の対応する変化を検出したことに応じて、コンピュータシステムは、コンピュータシステムの一部分の姿勢の対応する変化に従って、拡張現実環境を更新することであって（１３２２）、仮想ユーザインタフェースオブジェクト５６０４の更新された対応する位置が１つ以上のカメラの視野を越えて延びるとの判定に従って、仮想ユーザインタフェースオブジェクト５６０４の少なくとも一部分を表示することを停止する（例えば、仮想ユーザインタフェースオブジェクトの周りを中心とする視野の副部分にロックされた仮想ユーザインタフェースオブジェクト５６０４を表示し続けている間に）ことを含む、ことをする。例えば、図５Ｆ９ｂ及び図５Ｆ１７ｂでは、仮想ユーザインタフェースオブジェクト５６０４は、１つ以上のカメラの視野を越えて延び、仮想ユーザインタフェースオブジェクト５６０４の一部分は、表示されない。いくつかの実施形態では、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の第２の対応する変化を検出したことに応じて、コンピュータシステムの一部分の姿勢の第２の対応する変化に従って、拡張現実環境を更新することは、仮想ユーザインタフェースオブジェクトの更新された対応する位置が１つ以上のカメラの視野を越えて延びるか否かを判定することを含む。いくつかの実施形態では、物理的環境に対するコンピュータシステムの一部分の姿勢の対応する変化が、仮想ユーザインタフェースオブジェクトを１つ以上のカメラの視野を越える位置に移動させることになるとの判定に従って、仮想ユーザインタフェースオブジェクトが１つ以上のカメラの視野に対応する位置に制約される、制約された安定モードがアクティブ化される。いくつかの実施形態では、仮想ユーザインタフェースオブジェクトが１つ以上のカメラの視野に対応する位置に制約されている間に、物理的環境に対するコンピュータシステムの少なくとも一部分の姿勢の第３の変化が検出される。物理的環境に対するコンピュータシステムの一部分の姿勢の第３の変化に応じて、物理的環境に対するコンピュータシステムの一部分の姿勢の第３の変化が仮想ユーザインタフェースオブジェクトを１つ以上のカメラの視野を越えない位置に移動させることになるとの判定に従って、制約された安定モードは、終了する。仮想ユーザインタフェースオブジェクトの仮想ユーザインタフェースオブジェクト部分の少なくとも一部分（例えば、カメラビューを越えて延びる仮想ユーザインタフェースオブジェクトの一部分）を表示することを停止することにより、ユーザに提供されるフィードバックを改善し（例えば、仮想ユーザインタフェースオブジェクトの一部分がカメラビューを越えて延びることをユーザが理解するのを支援する視覚的合図をユーザに提供することによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、拡張現実環境が安定動作モードで表示されている間に、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の対応する変化を検出したことに応じて（例えば、図５Ｆ８ａ〜図５Ｆ９ａに示すようなデバイス１００の移動を検出する）、コンピュータシステムの一部分の姿勢の対応する変化に従って、拡張現実環境を更新することは、仮想ユーザインタフェースオブジェクト５６０４の更新された対応する位置が１つ以上のカメラの視野を越えて延びるとの判定に従って、表示された拡張現実環境をズームして、表示された仮想ユーザインタフェースオブジェクトの一部分を増大させることと（例えば、図５Ｆ９ｂ〜図５Ｆ１０ｂに示すように）、仮想ユーザインタフェースオブジェクトの更新された対応する位置が１つ以上のカメラの視野を越えて延びないとの判定に従って、表示された拡張現実環境をズームすることなく仮想ユーザインタフェースオブジェクトを移動させることと、を含む（１３２４）。いくつかの実施形態では、拡張現実環境が安定動作モードで表示されている間に、コンピュータシステムは、コンピュータシステムの物理的環境に対するコンピュータシステムの一部分の姿勢の複数の変化を検出し、姿勢の複数の変化は、仮想ユーザインタフェースオブジェクトのどの更新された対応する位置が、１つ以上のカメラの視野を越えて延びるかに応じて、姿勢の少なくとも１つの変化と、仮想ユーザインタフェースオブジェクトのどの更新された対応する位置が、１つ以上のカメラの視野を越えて延びないかに応じて、姿勢の少なくとも１つの変化と、を含む。コンピュータシステムの移動が仮想ユーザインタフェースオブジェクトをカメラビューを越えて延びさせることになるときに、表示された拡張現実環境をズームして、安定モードで表示された仮想ユーザインタフェースオブジェクトの一部分を増大させることにより、ユーザに提供されるフィードバックを改善し（例えば、デバイスの移動に関わらず、ユーザが完全な仮想ユーザインタフェースオブジェクトを閲覧し続けることを可能にすることによって）、デバイスの操作性を向上させ、ユーザ−デバイスインタフェースをより効率的にし（例えば、ユーザが必要な入力により意図された結果を達成するのを支援し、デバイスを操作する／デバイスと相互作用するときのユーザの誤りを削減することによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
図１３Ａ〜図１３Ｅにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、及び１２００）に関して本明細書に記載される他のプロセスの詳細はまた、図１３Ａ〜図１３Ｅに関して上記した方法１１００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１３００に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、フォーカスインジケータ、及び／又はアニメーションは、任意選択的に、本明細書に記載の他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、及び１２００）に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、フォーカスインジケータ、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図６Ａ〜図６Ｄ、図７Ａ〜図７Ｃ、図８Ａ〜図８Ｃ、図９Ａ〜図９Ｅ、図１０Ａ〜図１０Ｅ、図１１Ａ〜図１１Ｃ、図１２Ａ〜図１２Ｄ、及び図１３Ａ〜図１３Ｅを参照して上述した動作は、任意選択的に、図１Ａ〜図１Ｂに図示した構成要素によって実施される。例えば、表示動作６０２、７０２、８０２、８０８、９０２、１００２、１０１４、１１０２、１２０２、１２０６、及び１３０２、検出動作６０６、７０６、８０６、９０４、１００４、１００８、１０１２、１１０６、１２０４、及び１３０４、検出及び調整動作６０８、調整及び適用動作７０８、調整動作９０６、変更動作１００６、実行動作１０１０、遷移動作１０１４、更新動作１１０８及び１３０６、並びに表示及び挿入動作１２０６は、任意選択的に、イベントソート部１７０、イベント認識部１８０、及びイベント処理部１９０によって実施される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１の対応するイベント認識部１８０は、そのイベント情報を対応するイベント定義１８６と比較し、タッチ感知面上の第１の位置における第１の接触（又は、デバイスの回転）が、ユーザインタフェース上のオブジェクトの選択、又は１つの向きから別の向きへのデバイスの回転などの、所定のイベント又はサブイベントに対応するかどうかを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６又はオブジェクト更新部１７７を、任意選択で使用するか又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに記される構成要素に基づいてどのように実施されるかは明らかであろう。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (177)

  1. 表示生成コンポーネントと、１つ以上のカメラと、入力デバイスとを有するコンピュータシステムにおいて、
    前記表示生成コンポーネントを介して、拡張現実環境を表示することであって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、ことと、
    前記拡張現実環境を表示している間に、前記対応する仮想ユーザインタフェースオブジェクトに対応する位置での入力を検出することと、
    前記入力を検出し続けている間に、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の移動を検出することと、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の前記移動を検出したことに応じて、前記対応する物理的オブジェクトに対する前記入力の移動の大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整することと、
    を含む、方法。
  2. 前記対応する物理的オブジェクトに対する前記入力の移動の前記大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整することが、
    前記対応する物理的オブジェクトに対する前記入力の移動の前記大きさが第１の大きさであるとの判定に従って、第１の調整により前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整することと、
    前記対応する物理的オブジェクトに対する前記入力の移動の前記大きさが、前記第１の大きさとは別個の第２の大きさであるとの判定に従って、前記第１の調整とは別個の第２の調整により前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整することと、
    を含む、請求項１に記載の方法。
  3. 前記対応する仮想ユーザインタフェースオブジェクトが、前記調整することの前及び後に、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに固定される、請求項１又は２に記載の方法。
  4. 前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の前記移動を検出したことに応じて、前記対応する仮想ユーザインタフェースオブジェクトの前記外観が調整され、前記入力の前記移動が、
    前記入力デバイス上の前記入力の移動することと、
    前記対応する物理的オブジェクトに対する前記１つ以上のカメラの移動することと、
    又は前記入力デバイス上の前記入力の前記移動と前記対応する物理的オブジェクトに対する前記１つ以上のカメラの前記移動との組み合わせることと、
    に起因するかに関わらない、請求項１から３のいずれか一項に記載の方法。
  5. 前記対応する物理的オブジェクトに対する前記入力の前記移動が、
    前記対応する物理的オブジェクトに対する前記１つ以上のカメラの前記視野の移動することと、
    及び前記入力デバイス上の前記入力の移動することと、
    に基づく、請求項１から４のいずれか一項に記載の方法。
  6. 前記対応する物理的オブジェクトに対する前記入力の前記移動が、前記入力デバイス上の前記入力の移動に基づき、前記方法が、
    前記対応する物理的オブジェクトに対する前記入力の移動の前記大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整した後に、
    前記対応する物理的オブジェクトに対する前記１つ以上のカメラの前記視野の移動を検出することと、
    前記対応する物理的オブジェクトに対する前記１つ以上のカメラの前記視野の前記移動を検出したことに応じて、前記対応する物理的オブジェクトに対する前記１つ以上のカメラの前記視野の移動の大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整し続けることと、
    を含む、請求項１から４のいずれか一項に記載の方法。
  7. 前記対応する物理的オブジェクトに対する前記入力の前記移動が、前記対応する物理的オブジェクトに対する前記１つ以上のカメラの前記視野の移動に基づき、前記方法が、
    前記対応する物理的オブジェクトに対する前記入力の移動の前記大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整した後に、
    前記入力デバイス上の前記入力の移動を検出することと、
    前記入力デバイス上の前記入力の前記移動を検出したことに応じて、前記入力デバイス上の前記入力の移動の大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整し続けることと、
    を含む、請求項１から４のいずれか一項に記載の方法。
  8. 前記対応する仮想ユーザインタフェースオブジェクトに対応する前記位置で前記入力を検出することが、前記対応する仮想ユーザインタフェースオブジェクト上の第１の接触点で前記入力を検出することを含み、
    前記コンピュータシステムが、前記入力の位置に対応する位置に前記対応する仮想ユーザインタフェースオブジェクト上の前記第１の接触点の表示を維持するように、前記対応する仮想ユーザインタフェースオブジェクトの前記表示を更新する、
    請求項１から７のいずれか一項に記載の方法。
  9. 前記対応する物理的オブジェクトに対する前記入力の移動が、前記コンピュータシステムの移動を含み、
    前記コンピュータシステムの移動が、前記１つ以上のカメラの前記視野内の１つ以上の基準点が前記１つ以上のカメラによってキャプチャされた連続画像間で変化していることを示す画像解析から導出される、
    請求項１から８のいずれか一項に記載の方法。
  10. 前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整することが、前記対応する仮想ユーザインタフェースオブジェクトの少なくとも一部分を移動させることを含み、前記対応する仮想ユーザインタフェースオブジェクトの移動が、前記対応する物理的オブジェクトの物理的形状に基づく、請求項１から９のいずれか一項に記載の方法。
  11. 前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整することが、前記対応する仮想ユーザインタフェースオブジェクトの少なくとも一部分を移動させることを含み、前記対応する仮想ユーザインタフェースオブジェクトの移動が、同時に起こる、１つ以上のタッチ入力の移動及び前記コンピュータシステムの移動に基づく、請求項１から１０のいずれか一項に記載の方法。
  12. 前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整することが、前記対応する仮想ユーザインタフェースオブジェクトの静止状態の最大限界を越えて、前記対応する仮想ユーザインタフェースオブジェクトの少なくとも一部分を移動させることを含み、前記方法が、
    前記入力を検出し続けている間に、前記対応する物理的オブジェクトに対する前記入力の移動の前記大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの前記静止状態の前記最大限界を越える位置に、前記対応する仮想ユーザインタフェースオブジェクトを表示することと、
    前記入力を検出することを停止することと、
    前記入力を検出することを停止したことに応じて、前記対応する仮想ユーザインタフェースオブジェクトの前記静止状態の前記最大限界に対応する位置に、前記対応する仮想ユーザインタフェースオブジェクトを表示することと、
    を含む、請求項１から１１のいずれか一項に記載の方法。
  13. 前記表示された拡張現実環境が、
    前記１つ以上のカメラの前記視野内の物理的オブジェクトに対応しない１つ以上の仮想オブジェクトと、
    前記１つ以上のカメラの前記視野内にある１つ以上の物理的オブジェクトと、
    前記対応する１つ以上の物理的オブジェクトの少なくとも一部分を置き換える、前記１つ以上のカメラの前記視野内にある前記１つ以上の物理的オブジェクトの１つ以上の３次元仮想モデルと、
    を含む、請求項１から１２のいずれか一項に記載の方法。
  14. 前記対応する物理的オブジェクトが、異なる角度から認識可能である３次元マーカであり、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラのカメラアングルに基づいて、前記対応する物理的オブジェクトに重ね合わされた３次元仮想モデルである、請求項１から１３のいずれか一項に記載の方法。
  15. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記表示生成コンポーネントを介して、拡張現実環境であって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    拡張現実環境を表示し、
    前記拡張現実環境を表示している間に、前記対応する仮想ユーザインタフェースオブジェクトに対応する位置での入力を検出し、
    前記入力を検出し続けている間に、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の移動を検出し、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の前記移動を検出したことに応じて、前記対応する物理的オブジェクトに対する前記入力の移動の大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整する、
    命令を含む、
    コンピュータシステム。
  16. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令は、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    前記表示生成コンポーネントを介して、拡張現実環境であって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    拡張現実環境を表示させ、
    前記拡張現実環境を表示している間に、前記対応する仮想ユーザインタフェースオブジェクトに対応する位置での入力を検出させ、
    前記入力を検出し続けている間に、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の移動を検出させ、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の前記移動を検出したことに応じて、前記対応する物理的オブジェクトに対する前記入力の移動の大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整させる、
    コンピュータ可読記憶媒体。
  17. 表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    前記表示生成コンポーネントを介して、拡張現実環境を表示する手段であって、前記拡張現実環境を表示する前記手段は、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示する手段を含む、
    手段と、
    前記拡張現実環境を表示している間に有効にされ、前記対応する仮想ユーザインタフェースオブジェクトに対応する位置での入力を検出する手段と、
    前記入力を検出し続けている間に有効にされる手段であって、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の移動を検出する手段と、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の前記移動を検出したことに応じて有効にされ、前記対応する物理的オブジェクトに対する前記入力の移動の大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整する手段と、
    を含む、手段と、
    を備える、コンピュータシステム。
  18. 表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    前記表示生成コンポーネントを介して、拡張現実環境を表示する手段であって、前記拡張現実環境を表示する前記手段は、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示する手段を含む、手段と、
    前記拡張現実環境を表示している間に有効にされ、前記対応する仮想ユーザインタフェースオブジェクトに対応する位置での入力を検出する手段と、
    前記入力を検出し続けている間に有効にされる手段であって、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の移動を検出する手段と、
    前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記入力の前記移動を検出したことに応じて有効にされ、前記対応する物理的オブジェクトに対する前記入力の移動の大きさに従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整する手段と、
    を含む、手段と、
    を備える、情報処理装置。
  19. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から１４のいずれか一項に記載の方法を実行する命令を含む、
    コンピュータシステム。
  20. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１から１４のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
  21. 表示生成コンポーネント、１つ以上のカメラ、入力デバイス、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザインタフェースであって、請求項１から１４のいずれか一項に記載の方法に従って表示されるユーザインタフェースを備える、グラフィカルユーザインタフェース。
  22. 表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    請求項１から１４のいずれか一項に記載の方法を実行する手段と、
    を備える、コンピュータシステム。
  23. 表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    請求項１から１４のいずれか一項に記載の方法を実行する手段を備える、
    情報処理装置。
  24. 表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを有するコンピュータシステムにおいて、
    前記表示生成コンポーネントを介して、拡張現実環境を表示することであって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、ことと、
    前記拡張現実環境を表示している間に、前記拡張現実環境の仮想環境設定を変更する入力を検出することと、
    前記仮想環境設定を変更する前記入力を検出したことに応じて、
    前記拡張現実環境の前記仮想環境設定になされた前記変更に従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整することと、
    前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分にフィルタを適用することであって、前記フィルタは、前記仮想環境設定になされた前記変更に基づいて選択される、ことと、
    を含む、方法。
  25. 前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分に前記フィルタを適用することが、前記対応する仮想ユーザインタフェースオブジェクトの前記外観調整に加えて、前記拡張現実環境の外観調整を引き起こす、請求項２４に記載の方法。
  26. 前記仮想環境設定が、夜間モードに変更され、
    前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分に前記フィルタを適用することが、
    前記１つ以上のカメラによってキャプチャされた画像の輝度を低減することと、
    前記１つ以上のカメラによってキャプチャされた前記画像にカラーフィルタを適用することと、
    を含む、請求項２４又は２５に記載の方法。
  27. 前記仮想環境設定を変更する前記入力が、前記拡張現実環境内で時間を通してナビゲートするスワイプ入力である、請求項２４から２６のいずれか一項に記載の方法。
  28. 前記仮想環境設定を変更する前記入力を検出することが、前記仮想環境設定を変更するための前記入力の移動を検出することを含み、
    前記拡張現実環境の前記仮想環境設定になされた前記変更に従って、前記対応する仮想ユーザインタフェースオブジェクトの前記外観を調整することが、前記仮想環境設定を変更するための前記入力の前記移動に従って、前記対応する仮想ユーザインタフェースオブジェクトの前記外観を漸進的に調整することを含み、
    前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分に前記フィルタを適用することが、前記仮想環境設定を変更するための前記入力の前記移動に従って、前記フィルタを漸進的に適用することを含む、
    請求項２４から２７のいずれか一項に記載の方法。
  29. 前記対応する仮想ユーザインタフェースオブジェクトが、前記拡張現実環境内の前記対応する物理的オブジェクトに影を投じる、請求項２４から２８のいずれか一項に記載の方法。
  30. 前記対応する物理的オブジェクトが、前記拡張現実環境内の前記対応する仮想ユーザインタフェースオブジェクトに影を投じる、請求項２４から２９のいずれか一項に記載の方法。
  31. 前記対応する物理的オブジェクトの移動が、前記拡張現実環境内の前記対応する仮想ユーザインタフェースオブジェクトの前記外観の１つ以上の変化を引き起こす、請求項２４から３０のいずれか一項に記載の方法。
  32. 前記コンピュータシステムの移動が、前記１つ以上のカメラの前記視野の少なくとも一部分の前記表現及び前記対応する仮想ユーザインタフェースオブジェクトの前記外観に適用される視覚効果の１つ以上の変化を引き起こす、請求項２４から３１のいずれか一項に記載の方法。
  33. 前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分に前記フィルタを適用することが、
    前記１つ以上のカメラによってキャプチャされた画像が前記表示生成コンポーネントに送信される前に、前記画像に前記フィルタを適用することを含む、
    請求項２４から３２のいずれか一項に記載の方法。
  34. 前記仮想環境設定を変更する前記入力が、前記仮想ユーザインタフェースオブジェクトの異なる仮想環境間で切り替える入力であり、異なる仮想環境は、前記仮想ユーザインタフェースオブジェクトを探索するための異なる相互作用に関連付けられる、請求項２４から３３のいずれか一項に記載の方法。
  35. 第１の仮想環境設定が選択されているとの判定に従って、前記拡張現実環境内に仮想オブジェクトの第１のセットを表示することと、
    第２の仮想環境設定が選択されているとの判定に従って、前記拡張現実環境内に、仮想オブジェクトの前記第１のセットとは別個の仮想オブジェクトの第２のセットを表示することと、
    を含む、請求項２４から３４のいずれか一項に記載の方法。
  36. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記表示生成コンポーネントを介して、拡張現実環境であって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    拡張現実環境を表示し、
    前記拡張現実環境を表示している間に、前記拡張現実環境の仮想環境設定を変更する入力を検出し、
    前記仮想環境設定を変更する前記入力を検出したことに応じて、
    前記拡張現実環境の前記仮想環境設定になされた前記変更に従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整し、
    前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分に、フィルタであって、前記フィルタは、前記仮想環境設定になされた前記変更に基づいて選択される、フィルタを適用する、
    命令を含む、
    コンピュータシステム。
  37. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    前記表示生成コンポーネントを介して、拡張現実環境であって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    拡張現実環境を表示させ、
    前記拡張現実環境を表示している間に、前記拡張現実環境の仮想環境設定を変更する入力を検出させ、
    前記仮想環境設定を変更する前記入力を検出したことに応じて、
    前記拡張現実環境の前記仮想環境設定になされた前記変更に従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整させ、
    前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分に、フィルタであって、前記フィルタは、前記仮想環境設定になされた前記変更に基づいて選択される、フィルタを適用させる、
    コンピュータ可読記憶媒体。
  38. 表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    前記表示生成コンポーネントを介して、拡張現実環境を表示する手段であって、前記拡張現実環境を表示する前記手段は、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示する手段を含む、
    手段と、
    前記拡張現実環境を表示している間に有効にされ、前記拡張現実環境の仮想環境設定を変更する入力を検出する手段と、
    前記仮想環境設定を変更する前記入力を検出したことに応じて有効にされる手段であって、
    前記拡張現実環境の前記仮想環境設定になされた前記変更に従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整する手段と、
    前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分にフィルタを適用する手段であって、前記フィルタが、前記仮想環境設定になされた前記変更に基づいて選択される、手段と、
    を含む、手段と、
    を備える、コンピュータシステム。
  39. 表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    前記表示生成コンポーネントを介して、拡張現実環境を表示する手段であって、前記拡張現実環境を表示する前記手段は、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある対応する仮想ユーザインタフェースオブジェクトであって、前記対応する仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、対応する仮想ユーザインタフェースオブジェクトと、
    を同時に表示する手段を含む、
    手段と、
    前記拡張現実環境を表示している間に有効にされ、前記拡張現実環境の仮想環境設定を変更する入力を検出する手段と、
    前記仮想環境設定を変更する前記入力を検出したことに応じて有効にされる手段であって、
    前記拡張現実環境の前記仮想環境設定になされた前記変更に従って、前記対応する仮想ユーザインタフェースオブジェクトの外観を調整する手段と、
    前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分にフィルタを適用する手段であって、前記フィルタが、前記仮想環境設定になされた前記変更に基づいて選択される、手段と、
    を含む、手段と、
    を備える、情報処理装置。
  40. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項２４から３５のいずれか一項に記載の方法を実行する命令を含む、
    コンピュータシステム。
  41. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項２４から３５のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
  42. 表示生成コンポーネント、１つ以上のカメラ、入力デバイス、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザインタフェースであって、請求項２４から３５のいずれか一項に記載の方法に従って表示されるユーザインタフェースを備える、グラフィカルユーザインタフェース。
  43. 表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    請求項２４から３５のいずれか一項に記載の方法を実行する手段と、
    を備える、コンピュータシステム。
  44. 表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    請求項２４から３５のいずれか一項に記載の方法を実行する手段を備える、
    情報処理装置。
  45. 表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを有するコンピュータシステムにおいて、
    前記表示生成コンポーネントを介して、拡張現実環境を表示することであって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトであって、前記第１の仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、第１の仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、ことと、
    前記拡張現実環境を表示している間に、前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出することと、
    前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する前記第１の入力を検出したことに応じて、
    前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの視点からの前記仮想モデルのシミュレートされた視野を表示することと、
    を含む、方法。
  46. 前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する前記第１の入力を検出したことに応じて、前記１つ以上のカメラの前記視野の前記表現を表示することを停止することを含む、請求項４５に記載の方法。
  47. 前記拡張現実環境を表示している間に、前記１つ以上のカメラの前記視野を変更する前記コンピュータシステムの少なくとも一部分の移動を検出したことに応じて、前記１つ以上のカメラの前記視野の前記表現を更新することを含む、請求項４５又は４６に記載の方法。
  48. 前記拡張現実環境を表示している間に、前記１つ以上のカメラの前記視野の前記コンテンツの視点を変更する前記コンピュータシステムの少なくとも一部分の移動を検出したことに応じて、前記視野の前記コンテンツの前記視点の前記変更に従って、前記１つ以上のカメラの前記視野の前記表現及び前記仮想モデルを更新することを含む、請求項４５から４７のいずれか一項に記載の方法。
  49. 前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する前記第１の入力を検出したことに応じて、前記拡張現実環境から前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの前記視点からの前記仮想モデルの前記シミュレートされた視野へのアニメーション化された遷移を表示することを含む、請求項４５から４８のいずれか一項に記載の方法。
  50. 前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの前記視点からの前記仮想モデルの前記シミュレートされた視野を表示している間に、
    前記拡張現実環境を表示する要求に対応する第２の入力を検出することと、
    前記拡張現実環境を表示する前記要求に対応する前記第２の入力に応じて、
    前記仮想モデルの前記シミュレートされた視野から前記拡張現実環境へのアニメーション化された遷移を表示することと、
    前記拡張現実環境を表示することと、
    を含む、請求項４５から４９のいずれか一項に記載の方法。
  51. 前記第２の入力に応じて前記拡張現実環境を表示することが、前記第２の入力を検出した後の前記１つ以上のカメラの前記視野に従って、前記拡張現実環境を表示することを含む、請求項５０に記載の方法。
  52. 前記第２の入力を検出した後の前記１つ以上のカメラの前記視野が、前記第１の入力が検出されたときの前記１つ以上のカメラの前記視野とは異なる、請求項５１に記載の方法。
  53. 前記第１の仮想ユーザインタフェースオブジェクトが、前記コンピュータシステムのユーザからの入力とは無関係に、前記仮想モデル内で移動する、請求項４５から５２のいずれか一項に記載の方法。
  54. 前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの前記視点からの前記仮想モデルの前記シミュレートされた視野を表示している間に、前記第１の仮想ユーザインタフェースオブジェクトが、前記コンピュータシステムのユーザからの１つ以上の入力に応じて前記仮想モデル内で移動する、請求項４５から５３のいずれか一項に記載の方法。
  55. 前記シミュレートされた視野を表示している間に、前記コンピュータシステムの少なくとも一部分の移動を検出することと、前記コンピュータシステムの前記移動を検出したことに応じて、前記コンピュータシステムの前記移動に従って、前記第１の仮想ユーザインタフェースオブジェクトの前記視点からの前記仮想モデルの前記シミュレートされた視野を変更することと、を含む、請求項４５から５４のいずれか一項に記載の方法。
  56. 前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの前記視点からの前記仮想モデルの前記シミュレートされた視野を表示している間に、前記仮想モデル内の第２の仮想ユーザインタフェースオブジェクトの選択に対応する第３の入力を検出することと、
    前記第２の仮想ユーザインタフェースオブジェクトの選択に対応する前記第３の入力を検出したことに応じて、
    前記仮想モデル内の前記第２の仮想ユーザインタフェースオブジェクトの視点からの前記仮想モデルの第２のシミュレートされた視野を表示することと、
    を含む、請求項４５から５５のいずれか一項に記載の方法。
  57. 前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの前記視点からの前記仮想モデルの前記シミュレートされた視野を表示している間に、関連するシミュレートされた視野を表示することができる仮想ユーザインタフェースオブジェクト以外の前記仮想モデル内の位置の選択に対応する第４の入力を検出することと、
    前記第４の入力を検出したことに応じて、
    前記拡張現実環境を再表示することと、
    を含む、請求項４５から５６のいずれか一項に記載の方法。
  58. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記表示生成コンポーネントを介して、拡張現実環境であって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトであって、前記第１の仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、第１の仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    拡張現実環境を表示し、
    前記拡張現実環境を表示している間に、前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出し、
    前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する前記第１の入力を検出したことに応じて、
    前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの視点からの前記仮想モデルのシミュレートされた視野を表示する、
    命令を含む、コンピュータシステム。
  59. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    前記表示生成コンポーネントを介して、拡張現実環境であって、前記拡張現実環境を表示することは、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトであって、前記第１の仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、第１の仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    拡張現実環境を表示させ、
    前記拡張現実環境を表示している間に、前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出させ、
    前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する前記第１の入力を検出したことに応じて、
    前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの視点からの前記仮想モデルのシミュレートされた視野を表示させる、
    コンピュータ可読記憶媒体。
  60. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    前記表示生成コンポーネントを介して、拡張現実環境を表示する手段であって、前記拡張現実環境を表示する前記手段は、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトであって、前記第１の仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、第１の仮想ユーザインタフェースオブジェクトと、
    を同時に表示する手段を含む、
    手段と、
    前記拡張現実環境を表示している間に有効にされ、前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出する手段と、
    前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する前記第１の入力を検出したことに応じて有効にされる手段であって、
    前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの視点からの前記仮想モデルのシミュレートされた視野を表示する手段を含む、
    手段と、
    を備える、コンピュータシステム。
  61. 表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えた電子デバイスで使用される情報処理装置であって、
    前記表示生成コンポーネントを介して、拡張現実環境を表示する手段であって、前記拡張現実環境を表示する前記手段は、
    対応する物理的オブジェクトを含む前記１つ以上のカメラの視野の少なくとも一部分の表現であって、前記表現が、前記１つ以上のカメラの前記視野のコンテンツが変化するにつれて更新される、表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトであって、前記第１の仮想ユーザインタフェースオブジェクトが、前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに基づいて決定される位置を有する、第１の仮想ユーザインタフェースオブジェクトと、
    を同時に表示する手段を含む、
    手段と、
    前記拡張現実環境を表示している間に有効にされ、前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する第１の入力を検出する手段と、
    前記第１の仮想ユーザインタフェースオブジェクトの選択に対応する前記第１の入力を検出したことに応じて有効にされる手段であって、
    前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの視点からの前記仮想モデルのシミュレートされた視野を表示する手段を含む、
    手段と、
    を備える、情報処理装置。
  62. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項４５から５７のいずれか一項に記載の方法を実行する命令を含む、
    コンピュータシステム。
  63. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項４５から５７のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
  64. 表示生成コンポーネント、１つ以上のカメラ、入力デバイス、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザインタフェースであって、請求項４５から５７のいずれか一項に記載の方法に従って表示されるユーザインタフェースを備える、グラフィカルユーザインタフェース。
  65. 表示生成コンポーネントと、
    １つ以上のカメラと、
    入力デバイスと、
    請求項４５から５７のいずれか一項に記載の方法を実行する手段と、
    を備える、コンピュータシステム。
  66. 表示生成コンポーネント、１つ以上のカメラ、及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    請求項４５から５７のいずれか一項に記載の方法を実行する手段を備える、
    情報処理装置。
  67. 表示生成コンポーネント及び入力デバイスを有するコンピュータシステムにおいて、
    前記表示生成コンポーネントを介して、仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクトを表示することと、
    前記仮想３次元空間内に前記第１の仮想ユーザインタフェースオブジェクトを表示している間に、前記入力デバイスを介して、前記第１の仮想ユーザインタフェースオブジェクトの対応する部分の選択及び２次元での第１の入力の移動を含む前記第１の入力を検出することと、
    ２次元での前記第１の入力の移動を含む前記第１の入力を検出したことに応じて、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの第１の部分であるとの判定に従って、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分に基づいて決定された第１の方向に、前記第１の仮想ユーザインタフェースオブジェクトの外観を調整することであって、前記第１の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の第１のセット内の移動に制約される、ことと、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分とは別個の前記第１の仮想ユーザインタフェースオブジェクトの第２の部分であるとの判定に従って、前記第１の方向とは異なる第２の方向に前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整することであって、前記第２の方向が、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第２の部分に基づいて決定され、前記第２の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の前記第１のセットとは異なる前記仮想３次元空間の２次元の第２のセット内の移動に制約される、ことと、
    を含む、方法。
  68. 前記第１の部分が、前記第１の仮想ユーザインタフェースオブジェクトの第１の側面であり、
    前記第２の部分が、前記第１の仮想ユーザインタフェースオブジェクトの第２の側面であり、前記第１の側面が、前記第２の側面に平行ではない、
    請求項６７に記載の方法。
  69. 前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整することが、前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整することであって、
    前記第１の仮想ユーザインタフェースオブジェクトの位置が、前記仮想ユーザインタフェースオブジェクトの前記選択された対応する部分に平行な平面にロックされ、
    前記第１の入力の前記２次元移動が、前記仮想ユーザインタフェースオブジェクトの前記選択された対応する部分に平行な前記平面上の前記第１の仮想ユーザインタフェースオブジェクトの２次元移動に対応する、
    ようになる、ことを含む、
    請求項６７又は６８に記載の方法。
  70. 前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整することが、前記仮想ユーザインタフェースオブジェクトの前記選択された対応する部分に平行な前記平面の視覚的インジケーションを含む移動平面インジケータを表示することを含む、請求項６９に記載の方法。
  71. 前記移動平面インジケータが、前記仮想ユーザインタフェースオブジェクトの前記選択された対応する部分に平行な前記平面に沿って前記第１の仮想ユーザインタフェースオブジェクトから延びる１つ以上の投影を含む、請求項７０に記載の方法。
  72. 前記第１の入力の移動を含む前記第１の入力を検出したことに応じて、前記第１の入力がサイズ調整基準を満たすか否かを判定することと、
    前記第１の入力が前記サイズ調整基準を満たすとの判定に従って、前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整することであって、
    前記第１の仮想ユーザインタフェースオブジェクトの位置が、前記仮想３次元空間内のアンカーポイントにロックされ、
    前記第１の仮想ユーザインタフェースオブジェクトのサイズが、前記第１の仮想ユーザインタフェースオブジェクトの前記選択された対応する部分に垂直な軸に沿って調整される、
    ようになる、ことと、を含む、
    請求項６７又は６８に記載の方法。
  73. 前記アンカーポイントが、前記第１の仮想ユーザインタフェースオブジェクトの前記選択された対応する部分の反対側の前記第１の仮想ユーザインタフェースオブジェクトの部分上に位置する、請求項７２に記載の方法。
  74. 前記アンカーポイントが、前記第１の仮想ユーザインタフェースオブジェクトの重心である、請求項７２に記載の方法。
  75. 前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整することが、移動軸インジケータを表示することを含み、前記移動軸インジケータが、前記第１の仮想ユーザインタフェースオブジェクトの前記選択された対応する部分に垂直な軸の視覚的インジケーションを含む、請求項７２から７４のいずれか一項に記載の方法。
  76. 前記移動軸インジケータが、前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分に垂直な前記軸に平行な１つ以上の投影を含み、前記１つ以上の投影が、前記第１の仮想ユーザインタフェースオブジェクトから延びる、請求項７５に記載の方法。
  77. 前記コンピュータシステムが、触知出力を生成するための１つ以上の触知出力生成器を含み、前記方法が、
    前記第１の仮想ユーザインタフェースオブジェクトの外観を対応する方向に調整している間に、前記第１の入力の前記移動が前記第１の仮想ユーザインタフェースオブジェクトの対応する部分に、前記仮想３次元空間内に存在する仮想要素と衝突させると判定することと、
    前記第１の入力の前記移動が前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分に前記仮想要素と衝突させるとの判定に従って、前記１つ以上の触知出力生成器を用いて触知出力を生成することと、
    を含む、請求項６７から７６のいずれか一項に記載の方法。
  78. 前記仮想３次元空間を表示している間に、前記入力デバイスを介して、前記仮想３次元空間内の第１の位置に向けられた第２の入力を検出することと、
    前記第２の入力を検出したことに応じて、前記第２の入力が第１の入力形式を有するとの判定に従って、前記仮想３次元空間内の前記第１の位置に挿入カーソルを表示することと、
    前記挿入カーソルが前記第１の位置に表示されている間に、前記入力デバイスを介して、第３の入力を検出することと、
    前記第３の入力を検出したことに応じて、
    前記第３の入力が前記第１の入力形式を有し、かつ前記表示された挿入カーソルに対応する前記第１の位置に向けられているとの判定に従って、前記第１の位置に第２の仮想ユーザインタフェースオブジェクトを挿入することと、
    前記第３の入力が前記第１の入力形式を有し、かつ前記表示された挿入カーソルに対応しない第２の位置に向けられているとの判定に従って、前記挿入カーソルを前記第２の位置に表示することと、
    を含む、請求項６７から７７のいずれか一項に記載の方法。
  79. 前記仮想３次元空間を表示している間に、前記入力デバイスを介して、前記仮想３次元空間内の第３の位置に向けられた第４の入力を検出することと、
    前記仮想３次元空間内の前記第３の位置に向けられた前記第４の入力を検出したことに応じて、前記第４の入力が前記第１の入力形式を有するとの判定に従って、前記第３の位置に挿入カーソルを表示することと、
    前記挿入カーソルが前記第３の位置に表示されている間に、前記入力デバイスを介して、アクティブ化されると、前記第３の位置に新しい仮想ユーザインタフェースオブジェクトの挿入を引き起こす新規オブジェクトコントロールに対応する位置での第５の入力を検出することと、
    前記第５の入力を検出したことに応じて、前記新しい仮想ユーザインタフェースオブジェクトを前記第３の位置に挿入することと、
    を含む、請求項６７から７８のいずれか一項に記載の方法。
  80. 前記入力デバイスを介して、前記仮想３次元空間との相互作用に対応するジェスチャを検出することと、
    前記仮想３次元空間との前記相互作用に対応する前記ジェスチャを検出したことに応じて、前記ジェスチャに対応する前記仮想３次元空間内の動作を実行することと、
    を含む、請求項６７から７９のいずれか一項に記載の方法。
  81. 前記コンピュータシステムが、１つ以上のカメラを含み、
    前記表示された仮想３次元空間が、
    前記１つ以上のカメラの視野内にある１つ以上の物理的オブジェクトと、
    前記１つ以上のカメラの前記視野内にある前記１つ以上の物理的オブジェクトの１つ以上の仮想３次元モデルと、
    を含む、請求項６７から８０のいずれか一項に記載の方法。
  82. 前記１つ以上のカメラの前記視野内の前記対応する物理的オブジェクトに対する前記第１の入力の前記移動を検出したことに応じて、前記第１の仮想ユーザインタフェースオブジェクトの前記外観が調整され、前記第１の入力の前記移動が、
    前記入力デバイス上の前記第１の入力の移動することと、
    対応する物理的オブジェクトに対する前記１つ以上のカメラの移動することと、
    又は前記入力デバイス上の前記第１の入力の前記移動と前記対応する物理的オブジェクトに対する前記１つ以上のカメラの前記移動との組み合わせることと、
    に起因するかに関わらない、請求項８１に記載の方法。
  83. コンピュータシステムであって、
    表示生成コンポーネントと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記表示生成コンポーネントを介して、仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクトを表示し、
    前記仮想３次元空間内に前記第１の仮想ユーザインタフェースオブジェクトを表示している間に、前記入力デバイスを介して、前記第１の仮想ユーザインタフェースオブジェクトの対応する部分の選択及び２次元での第１の入力の移動を含む前記第１の入力を検出し、
    ２次元での前記第１の入力の移動を含む前記第１の入力を検出したことに応じて、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの第１の部分であるとの判定に従って、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分に基づいて決定された第１の方向に、前記第１の仮想ユーザインタフェースオブジェクトの外観を調整することであって、前記第１の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の第１のセット内の移動に制約される、ことをし、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分とは別個の前記第１の仮想ユーザインタフェースオブジェクトの第２の部分であるとの判定に従って、前記第１の方向とは異なる第２の方向に前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整することであって、前記第２の方向が、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第２の部分に基づいて決定され、前記第２の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の前記第１のセットとは異なる前記仮想３次元空間の２次元の第２のセット内の移動に制約される、ことをする、
    命令を含む、コンピュータシステム。
  84. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    前記表示生成コンポーネントを介して、仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクトを表示させ、
    前記仮想３次元空間内に前記第１の仮想ユーザインタフェースオブジェクトを表示している間に、前記入力デバイスを介して、前記第１の仮想ユーザインタフェースオブジェクトの対応する部分の選択及び２次元での第１の入力の移動を含む前記第１の入力を検出させ、
    ２次元での前記第１の入力の移動を含む前記第１の入力を検出したことに応じて、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの第１の部分であるとの判定に従って、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分に基づいて決定された第１の方向に、前記第１の仮想ユーザインタフェースオブジェクトの外観を調整することであって、前記第１の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の第１のセット内の移動に制約される、ことをさせ、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分とは別個の前記第１の仮想ユーザインタフェースオブジェクトの第２の部分であるとの判定に従って、前記第１の方向とは異なる第２の方向に前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整することであって、前記第２の方向が、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第２の部分に基づいて決定され、前記第２の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の前記第１のセットとは異なる前記仮想３次元空間の２次元の第２のセット内の移動に制約される、ことをさせる、
    コンピュータ可読記憶媒体。
  85. コンピュータシステムであって、
    表示生成コンポーネントと、
    入力デバイスと、
    前記表示生成コンポーネントを介して、仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクトを表示する手段と、
    前記仮想３次元空間内に前記第１の仮想ユーザインタフェースオブジェクトを表示している間に有効にされ、前記入力デバイスを介して、前記第１の仮想ユーザインタフェースオブジェクトの対応する部分の選択及び２次元での第１の入力の移動を含む前記第１の入力を検出する手段と、
    ２次元での前記第１の入力の移動を含む前記第１の入力を検出したことに応じて有効にされる手段であって、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの第１の部分であるとの判定に従って有効にされ、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分に基づいて決定された第１の方向に、前記第１の仮想ユーザインタフェースオブジェクトの外観を調整する手段であって、前記第１の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の第１のセット内の移動に制約される、手段と、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分とは別個の前記第１の仮想ユーザインタフェースオブジェクトの第２の部分であるとの判定に従って有効にされ、前記第１の方向とは異なる第２の方向に前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整する手段であって、前記第２の方向が、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第２の部分に基づいて決定され、前記第２の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の前記第１のセットとは異なる前記仮想３次元空間の２次元の第２のセット内の移動に制約される、手段と、
    を含む、手段と、
    を備える、コンピュータシステム。
  86. 表示生成コンポーネント及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    前記表示生成コンポーネントを介して、仮想３次元空間内に第１の仮想ユーザインタフェースオブジェクトを表示する手段と、
    前記仮想３次元空間内に前記第１の仮想ユーザインタフェースオブジェクトを表示している間に有効にされ、前記入力デバイスを介して、前記第１の仮想ユーザインタフェースオブジェクトの対応する部分の選択及び２次元での第１の入力の移動を含む前記第１の入力を検出する手段と、
    ２次元での前記第１の入力の移動を含む前記第１の入力を検出したことに応じて有効にされる手段であって、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの第１の部分であるとの判定に従って有効にされ、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分に基づいて決定された第１の方向に、前記第１の仮想ユーザインタフェースオブジェクトの外観を調整する手段であって、前記第１の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の第１のセット内の移動に制約される、手段と、
    前記第１の仮想ユーザインタフェースオブジェクトの前記対応する部分が前記第１の仮想ユーザインタフェースオブジェクトの前記第１の部分とは別個の前記第１の仮想ユーザインタフェースオブジェクトの第２の部分であるとの判定に従って有効にされ、前記第１の方向とは異なる第２の方向に前記第１の仮想ユーザインタフェースオブジェクトの前記外観を調整する手段であって、前記第２の方向が、２次元での前記第１の入力の前記移動及び選択された前記第１の仮想ユーザインタフェースオブジェクトの前記第２の部分に基づいて決定され、前記第２の方向の前記第１の仮想ユーザインタフェースオブジェクトの前記調整が、前記仮想３次元空間の２次元の前記第１のセットとは異なる前記仮想３次元空間の２次元の第２のセット内の移動に制約される、手段と、
    を含む、手段と、
    を備える、情報処理装置。
  87. コンピュータシステムであって、
    表示生成コンポーネントと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項６７から８２のいずれか一項に記載の方法を実行する命令を含む、
    コンピュータシステム。
  88. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項６７から８２のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
  89. 表示生成コンポーネント、入力デバイス、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザインタフェースであって、請求項６７から８２のいずれか一項に記載の方法に従って表示されるユーザインタフェースを備える、グラフィカルユーザインタフェース。
  90. 表示生成コンポーネントと、
    入力デバイスと、
    請求項６７から８２のいずれか一項に記載の方法を実行する手段と、
    を備える、コンピュータシステム。
  91. 表示生成コンポーネント及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    請求項６７から８２のいずれか一項に記載の方法を実行する手段を備える、
    情報処理装置。
  92. 表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを有するコンピュータシステムにおいて、
    前記表示生成コンポーネントを介して、前記コンピュータシステムの物理的環境に対して向けられたシミュレートされた環境を第１の閲覧モードで表示することであって、前記シミュレートされた環境を前記第１の閲覧モードで表示することは、前記コンピュータシステムの前記物理的環境に関連付けられた前記シミュレートされた環境内の第１の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトを表示することを含む、ことと、
    前記シミュレートされた環境を表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出することと、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第１の変化を検出したことに応じて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の固定された空間的関係を維持するように、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更することと、
    前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づいて前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更した後に、前記入力デバイスを介して、前記シミュレートされた環境との相互作用に対応する第１のジェスチャを検出することと、
    前記シミュレートされた環境との前記相互作用に対応する前記第１のジェスチャを検出したことに応じて、前記第１のジェスチャに対応する前記シミュレートされた環境内での動作を実行することと、
    前記第１のジェスチャに対応する前記動作を実行した後に、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の第２の変化を検出することと、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第２の変化を検出したことに応じて、
    モード変更基準であって、前記モード変更基準は、前記第１のジェスチャが前記物理的環境に対する前記シミュレートされた環境の空間的パラメータを変更する入力に対応するという要件を含む、モード変更基準を前記第１のジェスチャが満たしたとの判定に従って、前記第１の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することから、第２の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することに遷移することであって、前記第２の閲覧モードで前記シミュレートされた環境内に前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更することを控えて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持することを含む、ことと、
    前記第１のジェスチャが前記モード変更基準を満たさなかったとの判定に従って、前記第１の閲覧モードで前記シミュレートされた環境内に前記第１の仮想モデルを表示し続けることであって、前記第１の閲覧モードで前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持するように、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第２の変化に応じて、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更することを含む、ことと、
    を含む、方法。
  93. 前記コンピュータシステムが、１つ以上のカメラを含み、
    前記第１の閲覧モードで前記シミュレートされた環境を表示することが、前記１つ以上のカメラの視野の少なくとも一部分の表現を表示することを含み、前記１つ以上のカメラの前記視野が、前記物理的環境内の物理的オブジェクトの表現を含む、
    請求項９２に記載の方法。
  94. 前記シミュレートされた環境との前記相互作用に対応する前記第１のジェスチャを検出することが、
    前記入力デバイスのタッチ感知面との複数の接触を検出することと、
    前記タッチ感知面との前記複数の接触が検出されている間に、前記複数の接触の第２の接触の移動に対する前記複数の接触の第１の接触の移動を検出することと、
    を含み、
    前記第１のジェスチャに対応する前記シミュレートされた環境内での前記動作を実行することが、前記第２の接触の前記移動に対する前記第１の接触の前記移動に対応する量だけ、前記第１の仮想ユーザインタフェースオブジェクトのサイズを変更することを含む、
    請求項９２又は９３に記載の方法。
  95. 前記第２の閲覧モードで前記シミュレートされた環境内に前記第１の仮想ユーザインタフェースオブジェクトを表示している間に、
    前記入力デバイスを介して、前記シミュレートされた環境との相互作用に対応する第２のジェスチャであって、前記第２のジェスチャが、前記シミュレートされた環境の視点を変更するための入力を含む、第２のジェスチャを検出することと、
    前記シミュレートされた環境との前記相互作用に対応する前記第２のジェスチャを検出したことに応じて、前記シミュレートされた環境の前記視点を変更するための前記入力に従って、前記シミュレートされた環境の表示される視点を更新することと、
    を含む、請求項９２から９４のいずれか一項に記載の方法。
  96. 前記第２の閲覧モードで前記シミュレートされた環境を表示している間に、
    前記入力デバイスを介して、前記シミュレートされた環境内の第２の対応する位置に第２の仮想ユーザインタフェースオブジェクトを挿入するための挿入入力を検出することと、
    前記第２の仮想ユーザインタフェースオブジェクトを挿入するための前記挿入入力を検出したことに応じて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持しながら、前記シミュレートされた環境内の前記第２の対応する位置に、前記第２の仮想ユーザインタフェースオブジェクトを表示することと、
    を含む、請求項９２から９５のいずれか一項に記載の方法。
  97. 前記第２の閲覧モードで前記シミュレートされた環境を表示している間に、
    前記入力デバイスを介して、前記仮想モデルの対応する仮想ユーザインタフェースオブジェクトの対応する側面の選択及び２次元での入力の移動を含む移動の前記入力を検出することと、
    前記移動を検出したことに応じて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持しながら、前記第２の入力の前記移動に基づいて決定される第１の方向に、前記対応する仮想ユーザインタフェースオブジェクトの前記選択された対応する側面に平行である平面内で、前記対応する仮想ユーザインタフェースオブジェクトを移動させることと、
    を含む、請求項９２から９６のいずれか一項に記載の方法。
  98. 前記第１の閲覧モードで前記シミュレートされた環境を表示することから前記第２の閲覧モードで前記シミュレートされた環境を表示することに遷移している間に、遷移アニメーションを表示して、前記遷移の視覚的インジケーションを提供することを含む、請求項９２から９７のいずれか一項に記載の方法。
  99. 前記遷移アニメーションを表示することが、前記第１の閲覧モードでは表示され前記第２の閲覧モードでは表示されない少なくとも１つの視覚要素を表示することを漸進的に停止することを含む、請求項９８に記載の方法。
  100. 前記遷移アニメーションを表示することが、前記第１の閲覧モードでは表示されない前記第２の閲覧モードの少なくとも１つの視覚要素を漸進的に表示することを含む、請求項９８又は９９に記載の方法。
  101. 前記シミュレートされた環境との前記相互作用に対応する前記第１のジェスチャを検出したことに応じて、前記第１のジェスチャに対応する前記入力による前記空間的パラメータへの前記変更に従って、前記シミュレートされた環境内の前記仮想モデルが表示される視点を変更することを含む、請求項９２から１００のいずれか一項に記載の方法。
  102. 前記第１のジェスチャの終了を検出した後に、前記シミュレートされた環境内の前記仮想モデルが表示される視点を変更し続けて、前記第１の閲覧モードで前記シミュレートされた環境を表示することから前記第２の閲覧モードで前記シミュレートされた環境を表示することに前記遷移することを示すことを含む、請求項１０１に記載の方法。
  103. 前記第２の閲覧モードで前記シミュレートされた環境を表示している間に、前記入力デバイスを介して、前記第２の閲覧モードから前記第１の閲覧モードに遷移するための入力に対応する第３のジェスチャを検出することと、
    前記第３のジェスチャを検出したことに応じて、前記第２の閲覧モードで前記シミュレートされた環境を表示することから前記第１の閲覧モードで前記シミュレートされた環境を表示することに遷移することと、
    を含む、請求項９２から１０１のいずれか一項に記載の方法。
  104. 前記入力デバイスが、タッチ感知面を含み、
    前記第２の閲覧モードから前記第１の閲覧モードに遷移するための前記入力に対応する前記第３のジェスチャを検出することが、
    前記入力デバイスの前記タッチ感知面との前記複数の接触を検出することと、
    前記タッチ感知面との前記複数の接触が検出されている間に、前記複数の接触の前記第２の接触の移動に対する前記複数の接触の前記第１の接触の移動を検出することと、
    を含み、
    前記第２の閲覧モードで前記シミュレートされた環境を表示することから前記第１の閲覧モードで前記シミュレートされた環境を表示することに遷移することが、前記シミュレートされた環境内の前記仮想モデルのサイズを変更して、前記第１の閲覧モードから前記第２の閲覧モードへの前記遷移の前の前記仮想モデルのサイズに戻すことを含む、
    請求項１０３に記載の方法。
  105. 前記第３のジェスチャが、アクティブ化されると、前記第２の閲覧モードから前記第１の閲覧モードへの前記遷移を引き起こすコントロールに対応する前記入力デバイス上の位置での入力を含む、請求項１０３に記載の方法。
  106. 前記第３のジェスチャを検出したことに応じて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係に戻すように、前記第１の仮想ユーザインタフェースオブジェクトの前記位置を前記物理的環境に対する現在位置から前記物理的環境に対する以前の位置に遷移させることを含む、
    請求項１０３から１０５のいずれか一項に記載の方法。
  107. 前記第３のジェスチャの終了を検出した後に、前記シミュレートされた環境内の前記仮想モデルが表示される視点を変更し続けて、前記第２の閲覧モードで前記シミュレートされた環境を表示することから前記第１の閲覧モードで前記シミュレートされた環境を表示することに前記遷移することを示すことを含む、請求項１０３から１０６のいずれか一項に記載の方法。
  108. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上の姿勢センサと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記表示生成コンポーネントを介して、前記コンピュータシステムの物理的環境に対して向けられたシミュレートされた環境を第１の閲覧モードで表示することであって、前記シミュレートされた環境を前記第１の閲覧モードで表示することが、前記コンピュータシステムの前記物理的環境に関連付けられた前記シミュレートされた環境内の第１の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトを表示することを含む、ことをし、
    前記シミュレートされた環境を表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出し、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第１の変化を検出したことに応じて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の固定された空間的関係を維持するように、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更し、
    前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づいて前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更した後に、前記入力デバイスを介して、前記シミュレートされた環境との相互作用に対応する第１のジェスチャを検出し、
    前記シミュレートされた環境との前記相互作用に対応する前記第１のジェスチャを検出したことに応じて、前記第１のジェスチャに対応する前記シミュレートされた環境内での動作を実行し、
    前記第１のジェスチャに対応する前記動作を実行した後に、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の第２の変化を検出し、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第２の変化を検出したことに応じて、
    モード変更基準であって、前記モード変更基準は、前記第１のジェスチャが前記物理的環境に対する前記シミュレートされた環境の空間的パラメータを変更する入力に対応するという要件を含む、モード変更基準を前記第１のジェスチャが満たしたとの判定に従って、前記第１の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することから、第２の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することに遷移することであって、前記第２の閲覧モードで前記シミュレートされた環境内に前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更することを控えて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持することを含む、ことをし、
    前記第１のジェスチャが前記モード変更基準を満たさなかったとの判定に従って、前記第１の閲覧モードで前記シミュレートされた環境内に前記第１の仮想モデルを表示し続けることであって、前記第１の閲覧モードで前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持するように、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第２の変化に応じて、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更することを含む、ことをする、
    命令を含む、コンピュータシステム。
  109. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令は、表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    前記表示生成コンポーネントを介して、前記コンピュータシステムの物理的環境に対して向けられたシミュレートされた環境を第１の閲覧モードで表示することであって、前記シミュレートされた環境を前記第１の閲覧モードで表示することが、前記コンピュータシステムの前記物理的環境に関連付けられた前記シミュレートされた環境内の第１の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトを表示することを含む、ことをさせ、
    前記シミュレートされた環境を表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出させ、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第１の変化を検出したことに応じて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の固定された空間的関係を維持するように、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更させ、
    前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づいて前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更した後に、前記入力デバイスを介して、前記シミュレートされた環境との相互作用に対応する第１のジェスチャを検出させ、
    前記シミュレートされた環境との前記相互作用に対応する前記第１のジェスチャを検出したことに応じて、前記第１のジェスチャに対応する前記シミュレートされた環境内での動作を実行させ、
    前記第１のジェスチャに対応する前記動作を実行した後に、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の第２の変化を検出させ、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第２の変化を検出したことに応じて、
    モード変更基準であって、前記モード変更基準は、前記第１のジェスチャが前記物理的環境に対する前記シミュレートされた環境の空間的パラメータを変更する入力に対応するという要件を含む、モード変更基準を前記第１のジェスチャが満たしたとの判定に従って、前記第１の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することから、第２の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することに遷移することであって、前記第２の閲覧モードで前記シミュレートされた環境内に前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更することを控えて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持することを含む、ことをさせ、
    前記第１のジェスチャが前記モード変更基準を満たさなかったとの判定に従って、前記第１の閲覧モードで前記シミュレートされた環境内に前記第１の仮想モデルを表示し続けることであって、前記第１の閲覧モードで前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持するように、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第２の変化に応じて、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更することを含む、ことをさせる、
    コンピュータ可読記憶媒体。
  110. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上の姿勢センサと、
    入力デバイスと、
    前記表示生成コンポーネントを介して、前記コンピュータシステムの物理的環境に対して向けられたシミュレートされた環境を第１の閲覧モードで表示する手段であって、前記第１の閲覧モードで前記シミュレートされた環境を表示する前記手段が、前記コンピュータシステムの前記物理的環境に関連付けられた前記シミュレートされた環境内の第１の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトを表示する手段を含む、手段と、
    前記シミュレートされた環境を表示している間に有効にされ、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出する手段と、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第１の変化を検出したことに応じて有効にされ、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の固定された空間的関係を維持するように、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更する手段と、
    前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づいて前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更した後に有効にされ、前記入力デバイスを介して、前記シミュレートされた環境との相互作用に対応する第１のジェスチャを検出する手段と、
    前記シミュレートされた環境との前記相互作用に対応する前記第１のジェスチャを検出したことに応じて有効にされ、前記第１のジェスチャに対応する前記シミュレートされた環境内での動作を実行する手段と、
    前記第１のジェスチャに対応する前記動作を実行した後に有効にされ、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の第２の変化を検出する手段と、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第２の変化を検出したことに応じて有効にされる手段であって、
    モード変更基準であって、前記モード変更基準は、前記第１のジェスチャが前記物理的環境に対する前記シミュレートされた環境の空間的パラメータを変更する入力に対応するという要件を含む、モード変更基準を前記第１のジェスチャが満たしたとの判定に従って有効にされ、前記第１の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することから、第２の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することに遷移する手段であって、前記第２の閲覧モードで前記シミュレートされた環境内に前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更することを控えて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持することを含む、手段と、
    前記第１のジェスチャが前記モード変更基準を満たさなかったとの判定に従って有効にされ、前記第１の閲覧モードで前記シミュレートされた環境内に前記第１の仮想モデルを表示し続ける手段であって、前記第１の閲覧モードで前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持するように、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第２の変化に応じて、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更することを含む、手段と、
    を含む、手段と、
    を備える、コンピュータシステム。
  111. 表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを備えた電子デバイスで使用される情報処理装置であって、
    前記表示生成コンポーネントを介して、前記コンピュータシステムの物理的環境に対して向けられたシミュレートされた環境を第１の閲覧モードで表示する手段であって、前記第１の閲覧モードで前記シミュレートされた環境を表示する前記手段が、前記コンピュータシステムの前記物理的環境に関連付けられた前記シミュレートされた環境内の第１の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトを表示する手段を含む、手段と、
    前記シミュレートされた環境を表示している間に有効にされ、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出する手段と、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第１の変化を検出したことに応じて有効にされ、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の固定された空間的関係を維持するように、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更する手段と、
    前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づいて前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更した後に有効にされ、前記入力デバイスを介して、前記シミュレートされた環境との相互作用に対応する第１のジェスチャを検出する手段と、
    前記シミュレートされた環境との前記相互作用に対応する前記第１のジェスチャを検出したことに応じて有効にされ、前記第１のジェスチャに対応する前記シミュレートされた環境内での動作を実行する手段と、
    前記第１のジェスチャに対応する前記動作を実行した後に有効にされ、前記１つ以上の姿勢センサを介して、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の第２の変化を検出する手段と、
    前記コンピュータシステムの前記一部分の前記姿勢の前記第２の変化を検出したことに応じて有効にされる手段であって、
    モード変更基準であって、前記モード変更基準は、前記第１のジェスチャが前記物理的環境に対する前記シミュレートされた環境の空間的パラメータを変更する入力に対応するという要件を含む、モード変更基準を前記第１のジェスチャが満たしたとの判定に従って有効にされ、前記第１の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することから、第２の閲覧モードで、前記仮想モデルを含む前記シミュレートされた環境を表示することに遷移する手段であって、前記第２の閲覧モードで前記シミュレートされた環境内に前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更することを控えて、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持することを含む、手段と、
    前記第１のジェスチャが前記モード変更基準を満たさなかったとの判定に従って有効にされ、前記第１の閲覧モードで前記シミュレートされた環境内に前記第１の仮想モデルを表示し続ける手段であって、前記第１の閲覧モードで前記仮想モデルを表示することが、前記第１の仮想ユーザインタフェースオブジェクトと前記物理的環境との間の前記固定された空間的関係を維持するように、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第２の変化に応じて、前記仮想モデル内の前記第１の仮想ユーザインタフェースオブジェクトの外観を変更することを含む、手段と、
    を含む、手段と、
    を備える、情報処理装置。
  112. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上の姿勢センサと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項９２から１０７のいずれか一項に記載の方法を実行する命令を含む、
    コンピュータシステム。
  113. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項９２から１０７のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
  114. 表示生成コンポーネント、１つ以上の姿勢センサ、入力デバイス、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザインタフェースであって、請求項９２から１０７のいずれか一項に記載の方法に従って表示されるユーザインタフェースを備える、グラフィカルユーザインタフェース。
  115. 表示生成コンポーネントと、
    １つ以上の姿勢センサと、
    入力デバイスと、
    請求項９２から１０７のいずれか一項に記載の方法を実行する手段と、
    を備える、コンピュータシステム。
  116. 表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    請求項９２から１０７のいずれか一項に記載の方法を実行する手段を備える、
    情報処理装置。
  117. 第１の表示生成コンポーネント、１つ以上の第１の姿勢センサ、及び第１の入力デバイスを有する第１のコンピュータシステムにおいて、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して、前記第１のコンピュータシステムの第１の物理的環境に対して向けられたシミュレートされた環境を表示することであって、前記シミュレートされた環境を表示することは、
    前記第１のコンピュータシステムの前記第１の物理的環境に関連付けられた前記シミュレートされた環境内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトと、
    前記シミュレートされた環境の第２のコンピュータシステムの閲覧視点の視覚的インジケーションであって、前記第２のコンピュータシステムが、第２の表示生成コンポーネント、１つ以上の第２の姿勢センサ、及び第２の入力デバイスを有し、前記第２のコンピュータシステムの前記第２の表示生成コンポーネントを介して、前記第２のコンピュータシステムの第２の物理的環境に対して向けられた前記シミュレートされた環境のビューを表示している、コンピュータシステムである、視覚的インジケーションと、
    を同時に表示することを含む、
    ことと、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して前記シミュレートされた環境を表示している間に、前記第２のコンピュータシステムの前記第２の物理的環境に対する前記第２のコンピュータシステムの一部分の前記姿勢の変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の変化を検出することと、
    前記第２のコンピュータシステムの前記物理的環境に対する前記第２のコンピュータシステムの前記一部分の前記姿勢の前記変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化を検出したことに応じて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化に従って、前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して表示された前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記視覚的インジケーションを更新することと、
    を含む、方法。
  118. 前記第２のコンピュータシステムの前記閲覧視点の前記視覚的インジケーションが、前記第２のコンピュータシステムに対応する前記シミュレートされた環境内の位置に表示される前記第２のコンピュータシステムの表現を含む、請求項１１７に記載の方法。
  119. 前記第２のコンピュータシステムの前記表現が、前記第２のコンピュータシステムに対応する識別インジケータを含む、請求項１１８に記載の方法。
  120. 前記第２のコンピュータシステムの前記閲覧視点の前記視覚的インジケーションが、前記第２のコンピュータシステムに対応する前記シミュレートされた環境内の位置から発して、前記第２のコンピュータシステムの視線を示す、インジケータを含む、請求項１１７から１１９のいずれか一項に記載の方法。
  121. 前記シミュレートされた環境を表示することが、
    前記シミュレートされた環境内の前記第２のコンピュータシステムが前記第１の仮想ユーザインタフェースオブジェクトと相互作用しているとの判定に従って、前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して、前記第１の仮想ユーザインタフェースオブジェクトに視覚的に関連付けられた相互作用インジケータを表示することを含む、
    請求項１１７から１２０のいずれか一項に記載の方法。
  122. 前記シミュレートされた環境を表示することが、
    前記第１の仮想ユーザインタフェースオブジェクトとの前記第２のコンピュータシステムの前記相互作用がオブジェクト操作入力を含むとの判定に従って、前記オブジェクト操作入力に従って前記第１の仮想ユーザインタフェースオブジェクトの外観を変更することを含む、
    請求項１２１に記載の方法。
  123. 前記オブジェクト操作入力に従って前記第１の仮想ユーザインタフェースオブジェクトの前記外観を変更することが、前記第１の仮想ユーザインタフェースオブジェクトに視覚的に関連付けられた前記相互作用インジケータの移動を表示することを含み、
    前記相互作用インジケータの前記移動が、前記オブジェクト操作入力に対応する、
    請求項１２２に記載の方法。
  124. 前記相互作用インジケータが、前記シミュレートされた環境内の前記第２のコンピュータシステムに対応する位置と前記第１の仮想ユーザインタフェースオブジェクトとの間の接続の視覚的インジケーションを含む、請求項１２１に記載の方法。
  125. 前記相互作用インジケータが、前記第１のユーザインタフェースオブジェクトとの相互作用点の視覚的インジケーションを含む、請求項１２１に記載の方法。
  126. 前記シミュレートされた環境を表示することが、
    前記第１のコンピュータシステムを介して、前記第１の物理的環境内の第１の物理的基準オブジェクトを検出することと、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して表示された前記シミュレートされた環境内に、前記第１の物理的基準オブジェクトに対する位置に前記第１の仮想ユーザインタフェースオブジェクトを表示することと、
    を含み、
    前記方法が、前記第２のコンピュータシステムの前記閲覧視点の前記変化を検出したことに応じて、前記第１の物理的基準オブジェクトに対する前記相互作用インジケータの前記位置を更新することを含む、
    請求項１２１に記載の方法。
  127. 前記第２のコンピュータシステムの前記第２の物理的環境が、前記第１のコンピュータシステムの前記第１の物理的環境とは別個であり、
    前記第２のコンピュータシステムが、前記第２の物理的環境内の第２の物理的基準オブジェクトを検出し、
    前記第２のコンピュータシステムの前記第２の表示生成コンポーネントを介して表示される前記シミュレートされた環境内で、前記第１の仮想ユーザインタフェースオブジェクトが、前記第１の物理的基準オブジェクトに対する前記第１の仮想ユーザインタフェースオブジェクトの位置に対応する、前記第２の物理的基準オブジェクトに対する前記位置に表示される、
    請求項１２６に記載の方法。
  128. 前記第１のコンピュータシステムの前記第１の物理的環境が、前記第２のコンピュータシステムの前記第２の物理的環境の少なくとも一部分を含み、
    前記第２のコンピュータシステムが、前記第１の表示生成コンポーネントを介して表示された前記シミュレートされた環境内に見える、
    請求項１１７から１２６のいずれか一項に記載の方法。
  129. 前記第１の入力デバイスによって、遠隔デバイス視点入力を検出することと、
    前記遠隔デバイス視点入力を検出したことに応じて、前記第１のコンピュータシステムの前記第１の物理的環境に対して向けられた前記シミュレートされた環境の表示を、前記第２のコンピュータシステムの前記第２の物理的環境に対して向けられた前記シミュレートされた環境の表示に置き換えることと、
    を含む、請求項１１７から１２８のいずれか一項に記載の方法。
  130. 第１のコンピュータシステムであって、
    第１の表示生成コンポーネントと、
    １つ以上の第１の姿勢センサと、
    第１の入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して、前記第１のコンピュータシステムの第１の物理的環境に対して向けられたシミュレートされた環境を表示することであって、前記シミュレートされた環境を表示することは、
    前記第１のコンピュータシステムの前記第１の物理的環境に関連付けられた前記シミュレートされた環境内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトと、
    前記シミュレートされた環境の第２のコンピュータシステムの閲覧視点の視覚的インジケーションであって、前記第２のコンピュータシステムが、第２の表示生成コンポーネント、１つ以上の第２の姿勢センサ、及び第２の入力デバイスを有し、前記第２のコンピュータシステムの前記第２の表示生成コンポーネントを介して、前記第２のコンピュータシステムの第２の物理的環境に対して向けられた前記シミュレートされた環境のビューを表示している、コンピュータシステムである、視覚的インジケーションと、
    を同時に表示することを含む、
    ことをし、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して前記シミュレートされた環境を表示している間に、前記第２のコンピュータシステムの前記第２の物理的環境に対する前記第２のコンピュータシステムの一部分の前記姿勢の変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の変化を検出し、
    前記第２のコンピュータシステムの前記物理的環境に対する前記第２のコンピュータシステムの前記一部分の前記姿勢の前記変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化を検出したことに応じて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化に従って、前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して表示された前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記視覚的インジケーションを更新する、
    命令を含む、
    第１のコンピュータシステム。
  131. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、第１の表示生成コンポーネント、１つ以上の第１の姿勢センサ、及び第１の入力デバイスを備えた第１のコンピュータシステムによって実行されたときに、前記第１のコンピュータシステムに、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して、前記第１のコンピュータシステムの第１の物理的環境に対して向けられたシミュレートされた環境を表示することであって、前記シミュレートされた環境を表示することは、
    前記第１のコンピュータシステムの前記第１の物理的環境に関連付けられた前記シミュレートされた環境内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトと、
    前記シミュレートされた環境の第２のコンピュータシステムの閲覧視点の視覚的インジケーションであって、前記第２のコンピュータシステムが、第２の表示生成コンポーネント、１つ以上の第２の姿勢センサ、及び第２の入力デバイスを有し、前記第２のコンピュータシステムの前記第２の表示生成コンポーネントを介して、前記第２のコンピュータシステムの第２の物理的環境に対して向けられた前記シミュレートされた環境のビューを表示している、コンピュータシステムである、視覚的インジケーションと、
    を同時に表示することを含む、
    ことをさせ、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して前記シミュレートされた環境を表示している間に、前記第２のコンピュータシステムの前記第２の物理的環境に対する前記第２のコンピュータシステムの一部分の前記姿勢の変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の変化を検出させ、
    前記第２のコンピュータシステムの前記物理的環境に対する前記第２のコンピュータシステムの前記一部分の前記姿勢の前記変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化を検出したことに応じて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化に従って、前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して表示された前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記視覚的インジケーションを更新させる、
    コンピュータ可読記憶媒体。
  132. 第１のコンピュータシステムであって、
    第１の表示生成コンポーネントと、
    １つ以上の第１の姿勢センサと、
    第１の入力デバイスと、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して、前記第１のコンピュータシステムの第１の物理的環境に対して向けられたシミュレートされた環境を表示する手段であって、前記シミュレートされた環境を表示する前記手段が、
    前記第１のコンピュータシステムの前記第１の物理的環境に関連付けられた前記シミュレートされた環境内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトと、
    前記シミュレートされた環境の第２のコンピュータシステムの閲覧視点の視覚的インジケーションであって、前記第２のコンピュータシステムが、第２の表示生成コンポーネント、１つ以上の第２の姿勢センサ、及び第２の入力デバイスを有し、前記第２のコンピュータシステムの前記第２の表示生成コンポーネントを介して、前記第２のコンピュータシステムの第２の物理的環境に対して向けられた前記シミュレートされた環境のビューを表示している、コンピュータシステムである、視覚的インジケーションと、
    を同時に表示する手段を含む、
    手段と、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して前記シミュレートされた環境を表示している間に有効にされ、前記第２のコンピュータシステムの前記第２の物理的環境に対する前記第２のコンピュータシステムの一部分の前記姿勢の変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の変化を検出する手段と、
    前記第２のコンピュータシステムの前記物理的環境に対する前記第２のコンピュータシステムの前記一部分の前記姿勢の前記変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化を検出したことに応じて有効にされ、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化に従って、前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して表示される前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記視覚的インジケーションを更新する手段と、
    を備える、第１のコンピュータシステム。
  133. 第１の表示生成コンポーネント、１つ以上の第１の姿勢センサ、及び第１の入力デバイスを備える電子デバイスで使用される情報処理装置であって、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して、前記第１のコンピュータシステムの第１の物理的環境に対して向けられたシミュレートされた環境を表示する手段であって、前記シミュレートされた環境を表示する前記手段が、
    前記第１のコンピュータシステムの前記第１の物理的環境に関連付けられた前記シミュレートされた環境内の対応する位置に表示される仮想モデル内の第１の仮想ユーザインタフェースオブジェクトと、
    前記シミュレートされた環境の第２のコンピュータシステムの閲覧視点の視覚的インジケーションであって、前記第２のコンピュータシステムが、第２の表示生成コンポーネント、１つ以上の第２の姿勢センサ、及び第２の入力デバイスを有し、前記第２のコンピュータシステムの前記第２の表示生成コンポーネントを介して、前記第２のコンピュータシステムの第２の物理的環境に対して向けられた前記シミュレートされた環境のビューを表示している、コンピュータシステムである、視覚的インジケーションと、
    を同時に表示する手段を含む、
    手段と、
    前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して前記シミュレートされた環境を表示している間に有効にされ、前記第２のコンピュータシステムの前記第２の物理的環境に対する前記第２のコンピュータシステムの一部分の前記姿勢の変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の変化を検出する手段と、
    前記第２のコンピュータシステムの前記物理的環境に対する前記第２のコンピュータシステムの前記一部分の前記姿勢の前記変化に基づいて、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化を検出したことに応じて有効にされ、前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記変化に従って、前記第１のコンピュータシステムの前記第１の表示生成コンポーネントを介して表示される前記シミュレートされた環境の前記第２のコンピュータシステムの前記閲覧視点の前記視覚的インジケーションを更新する手段と、
    を備える、情報処理装置。
  134. 第１のコンピュータシステムであって、
    第１の表示生成コンポーネントと、
    １つ以上の第１の姿勢センサと、
    第１の入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１１７から１２９のいずれか一項に記載の方法を実行する命令を含む、
    第１のコンピュータシステム。
  135. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、第１の表示生成コンポーネント、１つ以上の第１の姿勢センサ、及び第１の入力デバイスを備えた第１のコンピュータシステムによって実行されたときに、前記第１のコンピュータシステムに、請求項１１７から１２９のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
  136. 第１の表示生成コンポーネント、１つ以上の第１の姿勢センサ、第１の入力デバイス、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えた第１のコンピュータシステムのグラフィカルユーザインタフェースであって、請求項１１７から１２９のいずれか一項に記載の方法に従って表示されるユーザインタフェースを備える、グラフィカルユーザインタフェース。
  137. 第１の表示生成コンポーネントと、
    １つ以上の第１の姿勢センサと、
    第１の入力デバイスと、
    請求項１１７から１２９のいずれか一項に記載の方法を実行する手段と、
    を備える、第１のコンピュータシステム。
  138. 第１の表示生成コンポーネント、１つ以上の第１の姿勢センサ、及び第１の入力デバイスを備えた第１のコンピュータシステムで使用される情報処理装置であって、
    請求項１１７から１２９のいずれか一項に記載の方法を実行する手段を備える、
    情報処理装置。
  139. 表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを有するコンピュータシステムにおいて、
    前記表示生成コンポーネントを介して、シミュレートされた環境を表示することと、
    前記シミュレートされた環境を表示している間に、前記入力デバイスを介して、前記シミュレートされた環境内の対応する位置に向けられた第１の入力を検出することと、
    前記シミュレートされた環境内の前記対応する位置に向けられた前記第１の入力を検出したことに応じて、
    前記第１の入力が第１の入力形式であり、かつ前記第１の入力が前記シミュレートされた環境内の挿入カーソルの現在位置以外の前記シミュレートされた環境内の第１の位置で検出されたとの判定に従って、前記挿入カーソルを前記第１の位置に表示することと、
    前記第１の入力が前記第１の入力形式であり、かつ前記第１の入力が前記挿入カーソルの前記現在位置に対応する前記シミュレートされた環境内の第２の位置で検出されたとの判定に従って、前記第２の位置に第１のオブジェクトを挿入し、前記挿入カーソルを前記第１のオブジェクト上にある第３の位置に移動させることと、
    を含む、方法。
  140. 複数の連続する反復にわたって前記方法を繰り返し実行することを含み、
    前記連続する反復の第１の反復では、前記第１の入力が前記第１のタイプであり、かつ前記シミュレートされた環境内の前記第１の位置で検出され、それに応じて、前記挿入カーソルが前記第１の位置に表示され、
    前記連続する反復の第２の反復では、前記第１の入力が前記第１のタイプであり、かつ前記挿入点の前記現在位置に対応する前記シミュレートされた環境内の前記第２の位置で検出され、それに応じて、前記第１のオブジェクトが前記第２の位置に挿入され、前記挿入カーソルが前記第１のオブジェクト上にある前記第３の位置に移動される、
    請求項１３９に記載の方法。
  141. 前記第１のオブジェクトが、前記挿入カーソルの前記現在位置に対応する前記第２の位置に隣接していない複数の非隣接側面を有し、
    前記第１のオブジェクト上の前記第３の位置が、前記第２の位置に隣接していない前記複数の非隣接側面の対応する非隣接側面上にある、
    請求項１３９又は１４０に記載の方法。
  142. 挿入カーソルの前記現在位置が既存のオブジェクトの対応する側面上に位置するとの判定に従って、前記第３の位置が、前記既存のオブジェクトの前記対応する側面に平行な前記第１のオブジェクトの第１の対応する側面上にある、請求項１３９から１４１のいずれか一項に記載の方法。
  143. 前記第１の位置が、前記既存のオブジェクトの第１の側面上にあり、前記第２の位置が、前記既存のオブジェクトの前記第１の側面とは異なる前記既存のオブジェクトの第２の側面上にある、請求項１４２に記載の方法。
  144. 前記シミュレートされた環境が、前記コンピュータシステムの物理的環境に対して向けられ、
    前記第２の位置に前記第１のオブジェクトを挿入することが、前記コンピュータシステムの前記物理的環境内の対応する物理的基準オブジェクトの対応する位置に関連付けられた前記シミュレートされた環境内の位置に、前記シミュレートされた環境内に前記第１のオブジェクトを挿入することを含む、
    請求項１３９から１４３のいずれか一項に記載の方法。
  145. 前記シミュレートされた環境内の前記対応する位置に向けられた前記第１の入力を検出したことに応じて、前記第１の入力が第２の入力形式であり、かつ前記挿入カーソルが前記シミュレートされた環境内の前記第２の位置に表示されているとの判定に従って、前記シミュレートされた環境内の前記第２の位置に前記第１のオブジェクトを挿入し、前記挿入カーソルを前記第１のオブジェクト上の前記第３の位置に移動させることを含む、
    請求項１３９から１４４のいずれか一項に記載の方法。
  146. 前記第１のオブジェクトの第２の対応する側面の選択及び２次元での第２の入力の移動を含む前記第２の入力を検出することと、
    ２次元での前記第２の入力の移動を含む前記第２の入力を検出したことに応じて、
    前記第２の入力が移動基準を満たすとの判定に従って、前記第２の入力の前記移動に基づいて決定された第１の方向に、前記第１のオブジェクトの前記選択された第２の対応する側面に平行な第１の平面内で、前記第１のオブジェクトを移動させることと、
    前記第２の入力が移動基準を満たさないとの判定に従って、前記第１のオブジェクトを移動させることを控えることと、
    を含む、請求項１３９から１４５のいずれか一項に記載の方法。
  147. 前記第１のオブジェクトの第３の対応する側面の選択及び２次元での第３の入力の移動を含む前記第３の入力を検出することと、
    ２次元での前記第３の入力の移動を含む前記第３の入力を検出したことに応じて、
    前記第３の入力がサイズ変更基準を満たすとの判定に従って、前記第３の入力の前記移動に基づいて、前記第１のオブジェクトの前記選択された第３の対応する側面に垂直な軸に沿って前記第１のオブジェクトのサイズを調整することと、
    前記第３の入力がサイズ変更基準を満たさないとの判定に従って、前記第１のオブジェクトの前記サイズを調整することを控えることと、
    を含む、請求項１３９から１４６のいずれか一項に記載の方法。
  148. 前記第１のオブジェクトの第４の対応する側面の選択及び２次元での第４の入力の移動を含む前記第４の入力を検出し、
    ２次元での前記第２の入力の移動を含む前記第４の入力を検出したことに応じて、
    前記接触がサイズ変更基準を満たすとの判定に従って、前記第４の入力の前記移動に基づいて、前記第１のオブジェクトのサイズを調整し、
    前記接触がサイズ変更基準を満たさないとの判定に従って、前記第４の入力の前記移動に基づいて、前記第１のオブジェクトを移動させる、
    請求項１３９から１４７のいずれか一項に記載の方法。
  149. 前記第４の入力の前記移動に基づいて前記第１のオブジェクトの前記サイズを調整することが、前記第１のオブジェクトの前記選択された第３の対応する側面に垂直な軸に沿って前記第１のオブジェクトの前記サイズを調整することを含む、請求項１４８に記載の方法。
  150. 前記第４の入力の前記移動に基づいて前記第１のオブジェクトを移動させることが、前記第２の入力の前記移動に基づいて決定された第１の方向に、前記第１のオブジェクトの前記選択された第２の対応する側面に平行な第１の平面内で、前記第１のオブジェクトを移動させることを含む、請求項１４８又は１４９に記載の方法。
  151. 前記第１のオブジェクトが表示されている間に、前記第１のオブジェクト上にある前記第３の位置に対応しない前記第１のオブジェクトの対応する部分上の第５の入力を検出することと、
    前記第５の入力を検出したことに応じて、前記挿入カーソルを前記第３の位置から、前記第１のオブジェクトの前記対応する部分に対応する位置に移動させることと、
    を含む、請求項１３９から１５０のいずれか一項に記載の方法。
  152. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上の姿勢センサと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記表示生成コンポーネントを介して、シミュレートされた環境を表示し、
    前記シミュレートされた環境を表示している間に、前記入力デバイスを介して、前記シミュレートされた環境内の対応する位置に向けられた第１の入力を検出し、
    前記シミュレートされた環境内の前記対応する位置に向けられた前記第１の入力を検出したことに応じて、
    前記第１の入力が第１の入力形式であり、かつ前記第１の入力が前記シミュレートされた環境内の挿入カーソルの現在位置以外の前記シミュレートされた環境内の第１の位置で検出されたとの判定に従って、前記挿入カーソルを前記第１の位置に表示し、
    前記第１の入力が前記第１の入力形式であり、かつ前記第１の入力が前記挿入カーソルの前記現在位置に対応する前記シミュレートされた環境内の第２の位置で検出されたとの判定に従って、前記第２の位置に第１のオブジェクトを挿入し、前記挿入カーソルを前記第１のオブジェクト上にある第３の位置に移動させる、
    命令を含む、
    コンピュータシステム。
  153. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    前記表示生成コンポーネントを介して、シミュレートされた環境を表示させ、
    前記シミュレートされた環境を表示している間に、前記入力デバイスを介して、前記シミュレートされた環境内の対応する位置に向けられた第１の入力を検出させ、
    前記シミュレートされた環境内の前記対応する位置に向けられた前記第１の入力を検出したことに応じて、
    前記第１の入力が第１の入力形式であり、かつ前記第１の入力が前記シミュレートされた環境内の挿入カーソルの現在位置以外の前記シミュレートされた環境内の第１の位置で検出されたとの判定に従って、前記挿入カーソルを前記第１の位置に表示させ、
    前記第１の入力が前記第１の入力形式であり、かつ前記第１の入力が前記挿入カーソルの前記現在位置に対応する前記シミュレートされた環境内の第２の位置で検出されたとの判定に従って、前記第２の位置に第１のオブジェクトを挿入させ、前記挿入カーソルを前記第１のオブジェクト上にある第３の位置に移動させる、
    コンピュータ可読記憶媒体。
  154. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上の姿勢センサと、
    入力デバイスと、
    前記表示生成コンポーネントを介して、シミュレートされた環境を表示する手段と、
    前記シミュレートされた環境を表示している間に、前記入力デバイスを介して、前記シミュレートされた環境内の対応する位置に向けられた第１の入力を検出するように有効にされる手段と、
    前記シミュレートされた環境内の前記対応する位置に向けられた前記第１の入力を検出したことに応じて、
    前記第１の入力が第１の入力形式であり、かつ前記第１の入力が前記シミュレートされた環境内の挿入カーソルの現在位置以外の前記シミュレートされた環境内の第１の位置で検出されたとの判定に従って、前記挿入カーソルを前記第１の位置に表示し、
    前記第１の入力が前記第１の入力形式であり、かつ前記第１の入力が前記挿入カーソルの前記現在位置に対応する前記シミュレートされた環境内の第２の位置で検出されたとの判定に従って、前記第２の位置に第１のオブジェクトを挿入し、前記挿入カーソルを前記第１のオブジェクト上にある第３の位置に移動させる、
    ように有効にされる手段と、
    を備える、コンピュータシステム。
  155. 表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを備えた電子デバイスで使用される情報処理装置であって、
    前記表示生成コンポーネントを介して、シミュレートされた環境を表示する手段と、
    前記シミュレートされた環境を表示している間に、前記入力デバイスを介して、前記シミュレートされた環境内の対応する位置に向けられた第１の入力を検出するように有効にされる手段と、
    前記シミュレートされた環境内の前記対応する位置に向けられた前記第１の入力を検出したことに応じて、
    前記第１の入力が第１の入力形式であり、かつ前記第１の入力が前記シミュレートされた環境内の挿入カーソルの現在位置以外の前記シミュレートされた環境内の第１の位置で検出されたとの判定に従って、前記挿入カーソルを前記第１の位置に表示し、
    前記第１の入力が前記第１の入力形式であり、かつ前記第１の入力が前記挿入カーソルの前記現在位置に対応する前記シミュレートされた環境内の第２の位置で検出されたとの判定に従って、前記第２の位置に第１のオブジェクトを挿入し、前記挿入カーソルを前記第１のオブジェクト上にある第３の位置に移動させる、
    ように有効にされる手段と、
    を備える、情報処理装置。
  156. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上の姿勢センサと、
    入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１３９から１５１のいずれか一項に記載の方法を実行する命令を含む、
    コンピュータシステム。
  157. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１３９から１５１のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
  158. 表示生成コンポーネント、１つ以上の姿勢センサ、入力デバイス、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザインタフェースであって、請求項１３９から１５１のいずれか一項に記載の方法に従って表示されるユーザインタフェースを備える、グラフィカルユーザインタフェース。
  159. 表示生成コンポーネントと、
    １つ以上の姿勢センサと、
    入力デバイスと、
    請求項１３９から１５１のいずれか一項に記載の方法を実行する手段と、
    を備える、
    コンピュータシステム。
  160. 表示生成コンポーネント、１つ以上の姿勢センサ、及び入力デバイスを備えたコンピュータシステムで使用される情報処理装置であって、
    請求項１３９から１５１のいずれか一項に記載の方法を実行する手段を備える、
    情報処理装置。
  161. 表示生成コンポーネント、１つ以上のカメラ、及び１つ以上の姿勢センサを有するコンピュータシステムにおいて、
    前記表示生成コンポーネントを介して、拡張現実環境を表示することであって、前記拡張現実環境を表示することは、
    物理的オブジェクトを含み、かつ前記１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、前記１つ以上のカメラの前記視野の少なくとも一部分の表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある仮想ユーザインタフェースオブジェクトであって、前記１つ以上のカメラの前記視野の前記表現内の前記仮想ユーザインタフェースオブジェクトの前記対応する位置が、前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の固定された空間的関係に基づいて決定される、仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    ことと、
    前記拡張現実環境を表示している間に、前記１つ以上の姿勢センサを介して、前記コンピュータシステムの物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出することと、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することであって、
    前記拡張現実環境が非安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づく第１の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の前記固定された空間を維持するように選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含み、
    前記拡張現実環境が安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づき、かつ前記第１の調整量未満の第２の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の前記固定された空間的関係を維持するように選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含む、ことと、
    を含む、方法。
  162. 前記コンピュータシステムの前記一部分の姿勢の前記第１の変化が検出されたときに、前記拡張現実環境が前記非安定動作モードで表示されていたときに、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新した後に、
    前記ディスプレイ上の前記仮想ユーザインタフェースオブジェクトを安定化させる要求を受信し、
    前記ディスプレイ上の前記仮想ユーザインタフェースオブジェクトを安定化させる前記要求に応じて、前記拡張現実環境に対する安定動作モードに入り、
    前記拡張現実環境に対する前記安定動作モードにある間に、
    前記１つ以上の向きセンサを介して、前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の第２の変化を検出し、
    前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第２の変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記第２の変化に従って前記拡張現実環境を更新することであって、
    前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第２の変化の量未満だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野内に含まれる前記物理的オブジェクトの前記表現との間の前記固定された空間的関係を維持するように選択された位置に、前記仮想ユーザインタフェースオブジェクトを更新することと、
    を含む、
    ことをする、
    請求項１６１に記載の方法。
  163. 前記コンピュータシステムが、入力デバイスを含み、
    前記ディスプレイ上の前記仮想ユーザインタフェースオブジェクトを安定化させる前記要求が、前記拡張現実環境の少なくとも一部分をズームするための、前記入力デバイスを介して受信される入力を含む、
    請求項１６２に記載の方法。
  164. 前記ディスプレイ上の前記仮想ユーザインタフェースオブジェクトを安定化させる前記要求が前記表示された拡張現実環境の前記一部分をズームするための前記入力を含む、前記ディスプレイ上の前記仮想ユーザインタフェースオブジェクトを安定化させる前記要求に応じて、前記表示された拡張現実環境の前記一部分をズームするための前記入力の前記大きさに従って、前記仮想ユーザインタフェースオブジェクトを再レンダリングすることを含む、
    請求項１６３に記載の方法。
  165. 前記物理的オブジェクトが、前記表示された拡張現実環境内で前記仮想ユーザインタフェースオブジェクトによって置き換えられる、請求項１６１から１６４のいずれか一項に記載の方法。
  166. 前記拡張現実環境が前記安定動作モードで表示されている間に、前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の第１の対応する変化を検出することと、
    前記拡張現実環境が前記安定動作モードで表示されている間に、前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の対応する変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記対応する変化に従って、前記拡張現実環境を更新することであって、前記仮想ユーザインタフェースオブジェクトの前記更新された対応する位置が前記１つ以上のカメラの前記視野を越えて延びるとの判定に従って、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することは、前記１つ以上のカメラの前記視野を越えて延びる前記仮想ユーザインタフェースオブジェクトの前記一部分に対応する前記拡張現実環境内の対応する位置に、プレースホルダ画像を表示することを含む、ことと、
    を含む、請求項１６１から１６５のいずれか一項に記載の方法。
  167. 前記拡張現実環境が前記安定動作モードで表示されている間に、前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の第２の対応する変化を検出することと、
    前記拡張現実環境が前記安定動作モードで表示されている間に、前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第２の対応する変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記対応する変化に従って、前記拡張現実環境を更新することであって、前記仮想ユーザインタフェースオブジェクトの前記更新された対応する位置が前記１つ以上のカメラの前記視野を越えて延びるとの判定に従って、前記仮想ユーザインタフェースオブジェクトの少なくとも一部分を表示することを停止することを含む、ことと、
    を含む、請求項１６１から１６５のいずれか一項に記載の方法。
  168. 前記拡張現実環境が前記安定動作モードで表示されている間に、前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記対応する変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記対応する変化に従って、前記拡張現実環境を更新することが、
    前記仮想ユーザインタフェースオブジェクトの前記更新された対応する位置が前記１つ以上のカメラの前記視野を越えて延びるとの判定に従って、前記表示された拡張現実環境をズームして、前記表示された仮想ユーザインタフェースオブジェクトの一部分を増大させることと、
    前記仮想ユーザインタフェースオブジェクトの前記更新された対応する位置が前記１つ以上のカメラの前記視野を越えて延びないとの判定に従って、前記表示された拡張現実環境をズームすることなく、前記仮想ユーザインタフェースオブジェクトを移動させることと、
    を含む、
    ことを含む、請求項１６１から１６５のいずれか一項に記載の方法。
  169. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    １つ以上の姿勢センサと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記表示生成コンポーネントを介して、拡張現実環境を表示することであって、前記拡張現実環境を表示することは、
    物理的オブジェクトを含み、かつ前記１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、前記１つ以上のカメラの前記視野の少なくとも一部分の表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある仮想ユーザインタフェースオブジェクトであって、前記１つ以上のカメラの前記視野の前記表現内の前記仮想ユーザインタフェースオブジェクトの前記対応する位置が、前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の固定された空間的関係に基づいて決定される、仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    ことをし、
    前記拡張現実環境を表示している間に、前記１つ以上の姿勢センサを介して、前記コンピュータシステムの物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出し、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することであって、
    前記拡張現実環境が非安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づく第１の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の前記固定された空間を維持するように選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含み、
    前記拡張現実環境が安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づき、かつ前記第１の調整量未満の第２の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含む、
    ことをする、
    命令を含む、
    コンピュータシステム。
  170. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上のカメラ、及び１つ以上の姿勢センサを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    前記表示生成コンポーネントを介して、拡張現実環境を表示することであって、前記拡張現実環境を表示することは、
    物理的オブジェクトを含み、かつ前記１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、前記１つ以上のカメラの前記視野の少なくとも一部分の表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある仮想ユーザインタフェースオブジェクトであって、前記１つ以上のカメラの前記視野の前記表現内の前記仮想ユーザインタフェースオブジェクトの前記対応する位置が、前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の固定された空間的関係に基づいて決定される、仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    ことをさせ、
    前記拡張現実環境を表示している間に、前記１つ以上の姿勢センサを介して、前記コンピュータシステムの物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出させ、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することであって、
    前記拡張現実環境が非安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づく第１の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の前記固定された空間を維持するように選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含み、
    前記拡張現実環境が安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づき、かつ前記第１の調整量未満の第２の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含む、
    ことをさせる、
    コンピュータ可読記憶媒体。
  171. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    １つ以上の姿勢センサと、
    前記表示生成コンポーネントを介して、拡張現実環境を表示する手段であって、前記拡張現実環境を表示することは、
    物理的オブジェクトを含み、かつ前記１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、前記１つ以上のカメラの前記視野の少なくとも一部分の表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある仮想ユーザインタフェースオブジェクトであって、前記１つ以上のカメラの前記視野の前記表現内の前記仮想ユーザインタフェースオブジェクトの前記対応する位置が、前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の固定された空間的関係に基づいて決定される、仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    手段と、
    前記拡張現実環境を表示している間に、前記１つ以上の姿勢センサを介して、前記コンピュータシステムの物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出するように有効にされる手段と、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って、前記拡張現実環境を更新するように有効にされる手段であって、
    前記拡張現実環境が非安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づく第１の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の前記固定された空間を維持するように選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含み、
    前記拡張現実環境が安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づき、かつ前記第１の調整量未満の第２の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含む、
    手段と、
    を備える、
    コンピュータシステム。
  172. 表示生成コンポーネント、１つ以上のカメラ、及び１つ以上の姿勢センサを備えた電子デバイスで使用される情報処理装置であって、
    前記表示生成コンポーネントを介して、拡張現実環境を表示する手段であって、前記拡張現実環境を表示することは、
    物理的オブジェクトを含み、かつ前記１つ以上のカメラの視野のコンテンツが変化するにつれて更新される、前記１つ以上のカメラの前記視野の少なくとも一部分の表現と、
    前記１つ以上のカメラの前記視野の前記表現内の対応する位置にある仮想ユーザインタフェースオブジェクトであって、前記１つ以上のカメラの前記視野の前記表現内の前記仮想ユーザインタフェースオブジェクトの前記対応する位置が、前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の固定された空間的関係に基づいて決定される、仮想ユーザインタフェースオブジェクトと、
    を同時に表示することを含む、
    手段と、
    前記拡張現実環境を表示している間に、前記１つ以上の姿勢センサを介して、前記コンピュータシステムの物理的環境に対する前記コンピュータシステムの少なくとも一部分の姿勢の第１の変化を検出するように有効にされる手段と、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化を検出したことに応じて、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って、前記拡張現実環境を更新するように有効にされる手段であって、
    前記拡張現実環境が非安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づく第１の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    前記仮想ユーザインタフェースオブジェクトと前記１つ以上のカメラの前記視野の前記表現に含まれる前記物理的オブジェクトとの間の前記固定された空間を維持するように選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含み、
    前記拡張現実環境が安定動作モードで表示されているとの判定に従って、前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に従って前記拡張現実環境を更新することは、
    前記コンピュータシステムの前記物理的環境に対する前記コンピュータシステムの前記一部分の姿勢の前記第１の変化に基づき、かつ前記第１の調整量未満の第２の調整量だけ、前記１つ以上のカメラの前記視野の前記一部分の前記表現を更新することと、
    選択された位置に、前記仮想ユーザインタフェースオブジェクトの前記対応する位置を更新することと、
    を含む、
    手段と、
    を備える、情報処理装置。
  173. コンピュータシステムであって、
    表示生成コンポーネントと、
    １つ以上のカメラと、
    １つ以上の姿勢センサと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１６１から１６８のいずれか一項に記載の方法を実行する命令を含む、
    コンピュータシステム。
  174. １つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上のカメラ、及び１つ以上の姿勢センサを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１６１から１６８のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
  175. 表示生成コンポーネント、１つ以上のカメラ、１つ以上の姿勢センサ、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザインタフェースであって、請求項１６１から１６８のいずれか一項に記載の方法に従って表示されるユーザインタフェースを備える、グラフィカルユーザインタフェース。
  176. 表示生成コンポーネントと、
    １つ以上のカメラと、
    １つ以上の姿勢センサと、
    請求項１６１から１６８のいずれか一項に記載の方法を実行する手段と、
    を備える、コンピュータシステム。
  177. 表示生成コンポーネント、１つ以上のカメラ、及び１つ以上の姿勢センサを備えたコンピュータシステムで使用される情報処理装置であって、
    請求項１６１から１６８のいずれか一項に記載の方法を実行する手段を備える、
    情報処理装置。
JP2020509514A 2017-08-31 2018-08-30 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース Active JP6952877B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021158281A JP7324813B2 (ja) 2017-08-31 2021-09-28 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
JP2023124668A JP2023159124A (ja) 2017-08-31 2023-07-31 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762553063P 2017-08-31 2017-08-31
US62/553,063 2017-08-31
US201762564984P 2017-09-28 2017-09-28
US62/564,984 2017-09-28
DKPA201870548 2018-08-23
DKPA201870548A DK180470B1 (en) 2017-08-31 2018-08-23 Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US16/116,276 2018-08-29
US16/116,276 US11163417B2 (en) 2017-08-31 2018-08-29 Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
PCT/US2018/048884 WO2019046597A1 (en) 2017-08-31 2018-08-30 GRAPHIC USER SYSTEMS, METHODS AND INTERFACES FOR INTERACTING WITH ENHANCED AND VIRTUAL REALITY ENVIRONMENTS

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021158281A Division JP7324813B2 (ja) 2017-08-31 2021-09-28 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2020531985A true JP2020531985A (ja) 2020-11-05
JP6952877B2 JP6952877B2 (ja) 2021-10-27

Family

ID=63586978

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020509514A Active JP6952877B2 (ja) 2017-08-31 2018-08-30 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
JP2021158281A Active JP7324813B2 (ja) 2017-08-31 2021-09-28 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
JP2023124668A Pending JP2023159124A (ja) 2017-08-31 2023-07-31 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021158281A Active JP7324813B2 (ja) 2017-08-31 2021-09-28 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
JP2023124668A Pending JP2023159124A (ja) 2017-08-31 2023-07-31 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース

Country Status (7)

Country Link
US (3) US11163417B2 (ja)
EP (2) EP4350622A2 (ja)
JP (3) JP6952877B2 (ja)
KR (4) KR102540163B1 (ja)
CN (3) CN112034988B (ja)
AU (4) AU2018101226B4 (ja)
DK (1) DK180470B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7082698B1 (ja) 2021-02-18 2022-06-08 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP7086242B1 (ja) 2021-02-18 2022-06-17 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
US20220311950A1 (en) * 2021-03-25 2022-09-29 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100146395A1 (en) * 2008-12-08 2010-06-10 Gustavo De Los Reyes Method and System for Exploiting Interactions Via A Virtual Environment
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
EP3316222B1 (en) * 2016-11-01 2020-07-01 Previble AB Pre-visualization device
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10300373B2 (en) * 2017-09-08 2019-05-28 Niantic, Inc. Methods and systems for generating detailed datasets of an environment via gameplay
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US11099708B2 (en) * 2017-12-15 2021-08-24 Hewlett-Packard Development Company, L.P. Patterns for locations on three-dimensional objects
US11148046B2 (en) * 2018-01-16 2021-10-19 Vr Leo Usa, Inc. Chip structure of VR self-service game joy stick
DK201870346A1 (en) 2018-01-24 2019-09-12 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
JP6959529B2 (ja) * 2018-02-20 2021-11-02 富士通株式会社 入力情報管理プログラム、入力情報管理方法、および情報処理装置
US20190259201A1 (en) * 2018-02-21 2019-08-22 Tsunami VR, Inc. Systems and methods for generating or selecting different lighting data for a virtual object
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US10837788B1 (en) 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
US10809081B1 (en) 2018-05-03 2020-10-20 Zoox, Inc. User interface and augmented reality for identifying vehicles and persons
US11846514B1 (en) * 2018-05-03 2023-12-19 Zoox, Inc. User interface and augmented reality for representing vehicles and persons
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
US10919522B2 (en) * 2018-06-13 2021-02-16 Fujitsu Limited Automated exploitation of shade-giving structures
US11086124B2 (en) 2018-06-13 2021-08-10 Reavire, Inc. Detecting velocity state of a device
US10880533B2 (en) * 2018-06-25 2020-12-29 Canon Kabushiki Kaisha Image generation apparatus, image generation method, and storage medium, for generating a virtual viewpoint image
US10996831B2 (en) * 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
EP3614244B1 (en) * 2018-06-29 2023-07-12 Shenzhen Goodix Technology Co., Ltd. Touch screen adjustment method, touch chip and electronic terminal
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
US10692299B2 (en) 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10748344B2 (en) * 2018-09-12 2020-08-18 Seiko Epson Corporation Methods and devices for user interaction in augmented reality
US10956613B2 (en) * 2018-09-12 2021-03-23 Lenovo (Singapore) Pte. Ltd. Sensitive information filter
US11538205B2 (en) * 2018-09-19 2022-12-27 Chegg, Inc. Augmented reality mathematics in learning platforms
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
KR102627014B1 (ko) * 2018-10-02 2024-01-19 삼성전자 주식회사 전자 장치 및 제스처 인식 방법
KR102620702B1 (ko) * 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
US11120632B2 (en) * 2018-10-16 2021-09-14 Sony Interactive Entertainment Inc. Image generating apparatus, image generating system, image generating method, and program
USD950574S1 (en) * 2018-10-23 2022-05-03 Capital One Services, Llc Scanning device or portion thereof with a scanning user interface
JP2020086700A (ja) * 2018-11-20 2020-06-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、表示装置
CN109782901A (zh) * 2018-12-06 2019-05-21 网易（杭州）网络有限公司 增强现实交互方法、装置、计算机设备及存储介质
US11610355B1 (en) * 2019-01-23 2023-03-21 Jennifer Francis Interactive augmented reality (AR) entertainment hub
US10783714B2 (en) * 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
US10909751B2 (en) * 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content
US11150788B2 (en) 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
WO2020201998A1 (en) * 2019-04-03 2020-10-08 Purple Tambourine Limited Transitioning between an augmented reality scene and a virtual reality representation
US11055919B2 (en) * 2019-04-26 2021-07-06 Google Llc Managing content in augmented reality
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
CN110109726B (zh) * 2019-04-30 2022-08-23 网易（杭州）网络有限公司 虚拟对象的接收处理方法及传输方法、装置和存储介质
US11138798B2 (en) * 2019-05-06 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
GB2583936B (en) * 2019-05-14 2023-08-30 Bentley Motors Ltd Virtual reality head mounted display system calibration methods and apparatus
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
US11030822B2 (en) 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11039061B2 (en) * 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US10726630B1 (en) * 2019-06-28 2020-07-28 Capital One Services, Llc Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US10885716B1 (en) * 2019-07-01 2021-01-05 Microsoft Technology Licensing, Llc Mixed reality system user interface placement
US11941762B2 (en) 2019-07-15 2024-03-26 Samsung Electronics Co., Ltd. System and method for augmented reality scenes
JP2021018546A (ja) * 2019-07-18 2021-02-15 トヨタ自動車株式会社 車両用コミュニケーション装置および車両用コミュニケーションシステム
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
CN110658945A (zh) * 2019-08-08 2020-01-07 上海红星美凯龙设计云信息科技有限公司 多点触控设备的角度及位置获取驱动系统及方法
JP6726345B1 (ja) * 2019-08-30 2020-07-22 株式会社コロプラ プログラム、方法、および端末装置
JP7385733B2 (ja) * 2019-09-09 2023-11-22 アップル インコーポレイテッド 仮想カメラと物理的カメラとの位置同期
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) * 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
TWI744737B (zh) * 2019-12-11 2021-11-01 中華電信股份有限公司 擴增實境之內容控制系統、方法及電腦可讀儲存媒介
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11481930B2 (en) * 2020-01-21 2022-10-25 Trimble Inc. Accurately positioning augmented reality models within images
KR20210098130A (ko) * 2020-01-31 2021-08-10 한국전자통신연구원 현실 객체와의 상호 작용을 이용한 다중 사용자 참여 기반의 증강현실 제공 방법 및 이를 위한 장치
US11003308B1 (en) 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11263818B2 (en) * 2020-02-24 2022-03-01 Palo Alto Research Center Incorporated Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11960651B2 (en) * 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11176752B1 (en) * 2020-03-31 2021-11-16 Amazon Technologies, Inc. Visualization of a three-dimensional (3D) model in augmented reality (AR)
US20210326594A1 (en) * 2020-04-17 2021-10-21 James Patrick COSTELLO Computer-generated supplemental content for video
US11199940B1 (en) * 2020-04-21 2021-12-14 Corel Corporation Three-dimensional operations based on planar projections in graphic user interfaces
CN111429553B (zh) * 2020-04-22 2024-03-29 同济大学建筑设计研究院(集团)有限公司 动画预览方法、装置、计算机设备和存储介质
US11120639B1 (en) 2020-04-24 2021-09-14 Microsoft Technology Licensing, Llc Projecting telemetry data to visualization models
KR20210137826A (ko) 2020-05-11 2021-11-18 삼성전자주식회사 증강현실 생성장치, 증강현실 표시장치 및 증강현실 시스템
KR102214338B1 (ko) * 2020-05-25 2021-02-10 조광희 증강현실 표시를 위한 전자 장치의 제어 방법, 장치 및 프로그램
CN111583421A (zh) * 2020-06-03 2020-08-25 浙江商汤科技开发有限公司 确定展示动画的方法、装置、电子设备及存储介质
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
JP6801138B1 (ja) * 2020-07-16 2020-12-16 株式会社バーチャルキャスト 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
US11861798B2 (en) * 2020-07-24 2024-01-02 Stephen Wilkes Reactive augmented reality
US11908159B2 (en) * 2020-07-27 2024-02-20 Shopify Inc. Systems and methods for representing user interactions in multi-user augmented reality
US11527045B2 (en) 2020-07-27 2022-12-13 Shopify Inc. Systems and methods for generating multi-user augmented reality content
KR20220021757A (ko) 2020-08-14 2022-02-22 삼성전자주식회사 무선 통신 시스템에서 증강 현실 서비스를 위한 방법 및 장치
CN112148120A (zh) * 2020-08-18 2020-12-29 华为技术有限公司 一种显示虚拟界面的方法、设备以及存储介质
US20220070240A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. Ad hoc virtual communication between approaching user graphical representations
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11670144B2 (en) * 2020-09-14 2023-06-06 Apple Inc. User interfaces for indicating distance
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20220046356A (ko) * 2020-10-07 2022-04-14 삼성전자주식회사 이동 통신 시스템에서 컨텐츠를 렌더링하는 방법 및 장치
US11727643B1 (en) 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US11127223B1 (en) 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11544904B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment
US11563813B1 (en) 2020-10-16 2023-01-24 Splunk Inc. Presentation of collaboration environments for a networked remote collaboration session
US11776218B1 (en) 2020-10-16 2023-10-03 Splunk Inc. Networked remote collaboration system
US11798235B1 (en) * 2020-10-16 2023-10-24 Splunk Inc. Interactions in networked remote collaboration environments
US11899658B1 (en) * 2020-10-16 2024-02-13 Splunk Inc. Codeless anchor detection for aggregate anchors
US11551421B1 (en) 2020-10-16 2023-01-10 Splunk Inc. Mesh updates via mesh frustum cutting
US11546437B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Playback of a stored networked remote collaboration session
US11854230B2 (en) * 2020-12-01 2023-12-26 Meta Platforms Technologies, Llc Physical keyboard tracking
WO2022119759A1 (en) * 2020-12-04 2022-06-09 Magic Leap, Inc. Miscalibration detection for virtual reality and augmented reality systems
US20220198764A1 (en) * 2020-12-18 2022-06-23 Arkh, Inc. Spatially Aware Environment Relocalization
US11867904B2 (en) * 2020-12-18 2024-01-09 Samsung Electronics Co., Ltd. Method and electronic device for providing augmented reality environment
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
KR20220094988A (ko) * 2020-12-29 2022-07-06 삼성전자주식회사 증강 현실, 가상 현실, 혼합 현실 및 확장 현실 서비스를 제공하기 위한 장치 및 방법
US11561669B2 (en) * 2021-01-08 2023-01-24 Ford Global Technologies, Llc Systems and methods of using a digital twin for interacting with a city model
US20220229535A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Company, Ltd. Systems and Methods for Manipulating Views and Shared Objects in XR Space
CN112967404A (zh) * 2021-02-24 2021-06-15 深圳市慧鲤科技有限公司 控制虚拟对象移动的方法、装置、电子设备及存储介质
US11727657B2 (en) 2021-04-09 2023-08-15 Carvana, LLC Systems and methods for rendering a portion of a 3D display
US11810262B2 (en) 2021-04-09 2023-11-07 Carvana, LLC Systems and methods for rotating a 3D display
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN113426117B (zh) * 2021-06-23 2024-03-01 网易（杭州）网络有限公司 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US20230040610A1 (en) * 2021-08-06 2023-02-09 Apple Inc. Object placement for electronic devices
CN113721804A (zh) * 2021-08-20 2021-11-30 北京市商汤科技开发有限公司 一种显示方法、装置、电子设备及计算机可读存储介质
US20230087202A1 (en) * 2021-09-17 2023-03-23 Ford Global Technologies, Llc Augmented Reality And Touch-Based User Engagement Parking Assist
CN113867568B (zh) * 2021-09-29 2023-10-13 四川长虹教育科技有限公司 红外交互大屏动态检测修复红外触摸的方法
USD1021939S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution navigation interface
USD1021940S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution communication interface
USD1018580S1 (en) * 2021-10-13 2024-03-19 Degussa Bank AG Display screen with financial institution graphical user interface
US20230137265A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Dynamic camera views in a virtual environment
KR20230069433A (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 Ar 이미지의 휘도를 제어하는 방법 및 장치
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
CN114373064A (zh) * 2021-12-14 2022-04-19 聚好看科技股份有限公司 一种vrar内容编辑方法、装置、设备及介质
US20230199014A1 (en) * 2021-12-16 2023-06-22 International Business Machines Corporation Dark pattern detection and mitigation
WO2023153607A1 (ko) * 2022-02-10 2023-08-17 삼성전자주식회사 주변 조도에 기초한 ar 컨텐츠 표시 방법 및 전자 장치
US11775132B1 (en) 2022-05-18 2023-10-03 Environments by LE, Inc. System and method for the management and use of building systems, facilities, and amenities using internet of things devices and a metaverse representation
CN114839782B (zh) * 2022-06-07 2023-08-18 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统
CN114780012B (zh) * 2022-06-21 2023-06-20 荣耀终端有限公司 电子设备的锁屏壁纸的显示方法和相关装置
CN115421590B (zh) * 2022-08-15 2023-05-12 珠海视熙科技有限公司 一种手势控制方法、存储介质及摄像设备
CN115690375B (zh) * 2023-01-05 2023-04-07 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于虚拟现实技术的建筑模型修改交互方法、系统及终端
CN116303697B (zh) * 2023-05-18 2023-08-08 深圳鹏锐信息技术股份有限公司 一种基于人工智能的模型展示系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058979A (ja) * 2010-09-08 2012-03-22 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2012212345A (ja) * 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
WO2013118373A1 (ja) * 2012-02-10 2013-08-15 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2014522054A (ja) * 2011-08-02 2014-08-28 マイクロソフト コーポレーション 選択及び再配置するクロススライドジェスチャ
JP2015212946A (ja) * 2014-05-05 2015-11-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ビューポートベースの拡張現実感触覚効果のためのシステムおよび方法
JP2016038867A (ja) * 2014-08-11 2016-03-22 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106412A (ja) * 1995-10-12 1997-04-22 Sekisui House Ltd Ｃｇ画像による建築物の照明状態切換表示方法
JP3761106B2 (ja) 1996-03-04 2006-03-29 シャープ株式会社 倍率設定装置を備えた画像形成装置
US6426745B1 (en) 1997-04-28 2002-07-30 Computer Associates Think, Inc. Manipulating graphic objects in 3D scenes
US6448964B1 (en) 1999-03-15 2002-09-10 Computer Associates Think, Inc. Graphic object manipulating tool
JP4582921B2 (ja) * 2000-02-04 2010-11-17 積水化学工業株式会社 環境表示装置、それを利用した建物の仮設計方法、建物設計装置及び建物の評価方法
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2004021848A (ja) * 2002-06-19 2004-01-22 Mitsubishi Heavy Ind Ltd 建築物設計システム、プラント設計システム、及び３次元構造体観察システム。
JP2007047294A (ja) 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
BRPI0615283A2 (pt) 2005-08-29 2011-05-17 Evryx Technologies Inc interatividade por meio de reconhecimento de imagem móvel
IL174737A (en) * 2006-04-03 2014-12-31 Camero Tech Ltd Device and method for visualizing volume in broadband radar
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
KR101390126B1 (ko) * 2007-08-14 2014-04-28 엘지전자 주식회사 화상 통화시 프리뷰 이미지 제공 방법 및 이동통신단말기
US8836645B2 (en) 2008-12-09 2014-09-16 Microsoft Corporation Touch input interpretation
US9244562B1 (en) 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
US10198854B2 (en) 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
US8922583B2 (en) 2009-11-17 2014-12-30 Qualcomm Incorporated System and method of controlling three dimensional virtual objects on a portable computing device
JP5573238B2 (ja) 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
US20110296352A1 (en) 2010-05-27 2011-12-01 Microsoft Corporation Active calibration of a natural user interface
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
JP2012089112A (ja) 2010-09-22 2012-05-10 Nikon Corp 画像表示装置
CN103314344B (zh) 2010-12-10 2015-11-25 索尼爱立信移动通讯有限公司 触敏触觉显示器
JP5799521B2 (ja) 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
EP2546806B1 (en) 2011-07-11 2019-05-08 Deutsche Telekom AG Image based rendering for ar - enabling user generation of 3d content
US8581901B2 (en) 2011-07-28 2013-11-12 Adobe Systems Incorporated Methods and apparatus for interactive rotation of 3D objects using multitouch gestures
CN103890704A (zh) 2011-10-27 2014-06-25 香港科技大学 通过多点触摸输入执行三维物体约束操作的系统和方法
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US20130178257A1 (en) 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
JP5942456B2 (ja) 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2013164697A (ja) 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP5966834B2 (ja) 2012-02-29 2016-08-10 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
US20130234926A1 (en) 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US20130257856A1 (en) 2012-04-03 2013-10-03 Google Inc. Determining a View of an Object in a Three-Dimensional Image Viewer
DE112012006269T5 (de) 2012-04-26 2015-03-05 Intel Corporation Realitätsergänzender Rechner, Vorrichtung und System
JP5870958B2 (ja) * 2012-04-27 2016-03-01 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US9383895B1 (en) * 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
JP2015519656A (ja) 2012-05-09 2015-07-09 アップル インコーポレイテッド ユーザインタフェースオブジェクトを移動し、ドロップするためのデバイス、方法及びグラフィカルユーザインタフェース
US9159153B2 (en) 2012-06-05 2015-10-13 Apple Inc. Method, system and apparatus for providing visual feedback of a map view change
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
KR101917695B1 (ko) 2012-08-09 2018-11-13 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6214981B2 (ja) 2012-10-05 2017-10-18 株式会社ファイン 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US10078384B2 (en) 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
KR101984915B1 (ko) 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
JP2014115957A (ja) * 2012-12-12 2014-06-26 Hiroaki Ishihara 拡張現実型建物シミュレーション装置
US20140176745A1 (en) * 2012-12-21 2014-06-26 Nvidia Corporation Approach for camera control
KR102045169B1 (ko) 2013-02-08 2019-11-14 애플 인크. 용량성 감지에 기초한 힘 결정
US9679414B2 (en) 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US10109075B2 (en) * 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9286727B2 (en) 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9245387B2 (en) 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US10282083B2 (en) 2013-06-09 2019-05-07 Apple Inc. Device, method, and graphical user interface for transitioning between user interfaces
US10168882B2 (en) * 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
JP6144826B2 (ja) 2013-06-11 2017-06-07 クアルコム，インコーポレイテッド データベース作成のための対話型および自動的３ｄオブジェクト走査方法
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10175483B2 (en) 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
EP3047359B1 (en) 2013-09-03 2020-01-01 Apple Inc. User interface for manipulating user interface objects
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US20150135115A1 (en) 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Multi-touch input for changing text and image attributes
WO2015125213A1 (ja) 2014-02-18 2015-08-27 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
US9720934B1 (en) 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
WO2015140813A1 (en) * 2014-03-17 2015-09-24 Vats Nitin Interactive display system with screen cut-to-shape of displayed object for realistic visualization and user interaction
JP5937128B2 (ja) 2014-03-17 2016-06-22 富士フイルム株式会社 拡張現実感提供システム、方法及びプログラム
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9977844B2 (en) 2014-05-13 2018-05-22 Atheer, Inc. Method for providing a projection to align 3D objects in 2D environment
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US9646418B1 (en) 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
EP4206870A1 (en) * 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
US9589354B2 (en) 2014-06-17 2017-03-07 Chief Architect Inc. Virtual model viewing methods and apparatus
US9495008B2 (en) 2014-06-27 2016-11-15 Amazon Technologies, Inc. Detecting a primary user of a device
US10518188B2 (en) * 2014-06-30 2019-12-31 Microsoft Technology Licensing, Llc Controlling physical toys using a physics engine
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
CN107529009B (zh) 2014-09-02 2020-06-30 苹果公司 远程相机用户界面
US10070120B2 (en) 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US9436369B2 (en) 2014-09-26 2016-09-06 Disney Enterprises, Inc. Touch interface for precise rotation of an object
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
CN106663411A (zh) 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
EP3130450B1 (en) 2015-01-30 2020-11-11 Technology Research Association For Future Additive Manufacturing Three-dimensional shaping system, information processing apparatus, method for arranging three-dimensional shaping models, and program for arranging three-dimensional shaping models
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US20160329006A1 (en) 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
US10339382B2 (en) 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
US10825049B2 (en) 2015-06-09 2020-11-03 Visa International Service Association Virtual reality and augmented reality systems and methods to generate mobile alerts
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
JP6629528B2 (ja) 2015-06-16 2020-01-15 株式会社ファイン 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
EP3116212B1 (en) 2015-07-06 2023-04-19 Nokia Technologies Oy Transition from display of first camera information to display of second camera information
US10482659B2 (en) 2015-07-15 2019-11-19 Oracle International Corporation System and method for superimposing spatially correlated data over live real-world images
KR20170130582A (ko) * 2015-08-04 2017-11-28 구글 엘엘씨 가상현실에서 시선 인터렉션을 위한 호버 행동
US10134188B2 (en) 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
US11221750B2 (en) 2016-02-12 2022-01-11 Purdue Research Foundation Manipulating 3D virtual objects using hand-held controllers
TWI567691B (zh) 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
CN111329554B (zh) 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
US10176641B2 (en) 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10802695B2 (en) 2016-03-23 2020-10-13 Youar Inc. Augmented reality for the internet of things
US10088898B2 (en) * 2016-03-31 2018-10-02 Verizon Patent And Licensing Inc. Methods and systems for determining an effectiveness of content in an immersive virtual reality world
US11494547B2 (en) 2016-04-13 2022-11-08 Microsoft Technology Licensing, Llc Inputting images to electronic devices
US20170300214A1 (en) 2016-04-19 2017-10-19 SAS Automation, LLC Three Dimensional Model Launch Tools And Methods Of Use
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
EP3467620A4 (en) 2016-05-31 2019-05-22 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
JP6323960B2 (ja) 2016-08-02 2018-05-16 本田技研工業株式会社 入力装置
EP3510475A4 (en) 2016-10-11 2020-04-22 Hewlett-Packard Development Company, L.P. VISUAL NOTICE SYSTEM
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US10824294B2 (en) 2016-10-25 2020-11-03 Microsoft Technology Licensing, Llc Three-dimensional resource integration system
US20180143693A1 (en) * 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
US20180210628A1 (en) * 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US20170173262A1 (en) 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10339714B2 (en) 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
DK201870346A1 (en) 2018-01-24 2019-09-12 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058979A (ja) * 2010-09-08 2012-03-22 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2012212345A (ja) * 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
JP2014522054A (ja) * 2011-08-02 2014-08-28 マイクロソフト コーポレーション 選択及び再配置するクロススライドジェスチャ
WO2013118373A1 (ja) * 2012-02-10 2013-08-15 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2015212946A (ja) * 2014-05-05 2015-11-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ビューポートベースの拡張現実感触覚効果のためのシステムおよび方法
JP2016038867A (ja) * 2014-08-11 2016-03-22 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7082698B1 (ja) 2021-02-18 2022-06-08 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP7086242B1 (ja) 2021-02-18 2022-06-17 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022126547A (ja) * 2021-02-18 2022-08-30 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022126546A (ja) * 2021-02-18 2022-08-30 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
US20220311950A1 (en) * 2021-03-25 2022-09-29 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US11523063B2 (en) * 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface

Also Published As

Publication number Publication date
AU2018101226B4 (en) 2019-05-09
EP3635518B1 (en) 2024-04-03
US11163417B2 (en) 2021-11-02
AU2023203200A1 (en) 2023-06-15
US20230305674A1 (en) 2023-09-28
CN115562483A (zh) 2023-01-03
DK201870548A1 (en) 2019-10-16
AU2021240136B2 (en) 2023-05-11
EP4350622A2 (en) 2024-04-10
JP6952877B2 (ja) 2021-10-27
CN112034988B (zh) 2022-10-18
US20220019334A1 (en) 2022-01-20
CN111095165A (zh) 2020-05-01
CN112034988A (zh) 2020-12-04
AU2018101226A4 (en) 2018-09-27
KR20220032653A (ko) 2022-03-15
KR20230085945A (ko) 2023-06-14
AU2021240136A1 (en) 2021-10-28
JP2022008600A (ja) 2022-01-13
JP7324813B2 (ja) 2023-08-10
DK180470B1 (en) 2021-05-06
KR102373116B1 (ko) 2022-03-11
KR102606618B1 (ko) 2023-11-29
AU2018324085A1 (en) 2020-03-05
KR20200031666A (ko) 2020-03-24
AU2018324085B2 (en) 2021-09-09
US11740755B2 (en) 2023-08-29
KR102540163B1 (ko) 2023-06-08
KR20230167134A (ko) 2023-12-07
US20190065027A1 (en) 2019-02-28
EP3635518A1 (en) 2020-04-15
JP2023159124A (ja) 2023-10-31

Similar Documents

Publication Publication Date Title
JP6952877B2 (ja) 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
US20210333979A1 (en) Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
WO2019046597A1 (en) GRAPHIC USER SYSTEMS, METHODS AND INTERFACES FOR INTERACTING WITH ENHANCED AND VIRTUAL REALITY ENVIRONMENTS
EP4091142A1 (en) Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US20240053859A1 (en) Systems, Methods, and Graphical User Interfaces for Interacting with Virtual Reality Environments
KR20200110788A (ko) 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210928

R150 Certificate of patent or registration of utility model

Ref document number: 6952877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150