JP2022547930A - 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents

三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP2022547930A
JP2022547930A JP2022515137A JP2022515137A JP2022547930A JP 2022547930 A JP2022547930 A JP 2022547930A JP 2022515137 A JP2022515137 A JP 2022515137A JP 2022515137 A JP2022515137 A JP 2022515137A JP 2022547930 A JP2022547930 A JP 2022547930A
Authority
JP
Japan
Prior art keywords
physical
virtual
user
input
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022515137A
Other languages
English (en)
Inventor
ジェフリー， エム． ファウルクナー，
ヴィセント， イスラエル パストラナ
フィリップ ロッケル，
ウェスリー， エム． ホルダー，
ポル， プラ アイ． コネサ，
ニコラス， ダブリュー． ヘンダーソン，
ロバート， ティー． ティルトン，
リチャード， アール デリンジャー，
スティーブン， オー． ルメイ，
ウィリアム， エー．， サード ソレンティーノ，
ジャンカルロ ヤーキス，
ペドロ マリ，
クリスティ， イー．， エス． バウアリー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022547930A publication Critical patent/JP2022547930A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

三次元環境内の第１の空間位置に仮想オブジェクトを表示している間、コンピュータシステムは、ユーザによって実行される第１の手移動を検出する。第１の手移動が第１のジェスチャ基準を満たすという判定に従って、コンピュータシステムは、仮想オブジェクトを第１の空間位置から離れるように移動させることなく、第１の手移動に従って第１の動作を実行し、第１の手移動が第２のジェスチャ基準を満たすという判定に従って、コンピュータシステムは、仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションを表示し、ユーザによって実行される第２の手移動を更に検出する。第２の手移動が第１のジェスチャ基準を満たすという判定に従って、コンピュータシステムは、第２の手移動に従って仮想オブジェクトを第１の空間位置から第２の空間位置に移動させる。

Description

関連出願
本出願は、２０１９年９月２８日付で出願された米国特許仮出願第６２／９０７，６１４号、２０２０年９月２３日付で出願された米国特許出願第１７／０３０，２１９号に対して優先権を主張するものであり、２０２０年９月２３日付で出願された米国特許出願第１７／０３０，２１９号の継続出願である。
本開示は、概して、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成コンポーネントと、コンピュータ生成体験を提供する１つ以上の入力デバイスと、を有するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの仮想オブジェクトを含む。
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
表示生成コンポーネント及び１つ以上の入力デバイスを有するコンピュータシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力ジェネレータ及び１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのＧＵＩ又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
三次元環境と相互作用するための改善された方法及びインタフェースを備えた電子デバイスが必要とされている。そのような方法及びインタフェースは、三次元環境と相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。
コンピュータ生成環境を生成するための改善された方法及びインタフェースを備えた電子デバイスが必要とされている。そのような方法及びインタフェースは、コンピュータ生成環境を生成するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、より効率的なヒューマンマシンインタフェースを生成し、ユーザがデバイスを更に制御することを可能にし、ユーザは、より安全で、認知量が低減され、ユーザ体験が改善されたデバイスを使用することができる。
いくつかの実施形態では、方法は、表示生成コンポーネントと１つ以上の入力デバイスとを含むコンピュータシステムにおいて実行され、本方法は、
三次元環境内の第１の空間位置で仮想オブジェクトを表示することと、仮想オブジェクトを三次元環境内の第１の空間位置に表示している間に、ユーザによって実行される第１の手移動を検出することと、ユーザによって実行される第１の手移動を検出したことに応答して、第１の手移動が第１のジェスチャ基準を満たすという判定に従って、仮想オブジェクトを第１の空間位置から離れるように動かすことなく、第１の手移動に従って第１の動作を実行することと、第１の手移動が第２のジェスチャ基準を満たすという判定に従って、仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションを表示することと、仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションで仮想オブジェクトを表示している間に、ユーザによって実行される第２の手移動を検出することと、ユーザによって実行される第２の手移動を検出したことに応答して、第２の手移動が第１のジェスチャ基準を満たすという判定に従って、仮想オブジェクトを第１の空間位置から第２の手移動に従って第２の空間位置に移動させることと、を含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネントと１つ以上の入力デバイスとを含むコンピュータシステムにおいて実行され、第１の仮想オブジェクトが、第１の仮想オブジェクトの第１の部分に対応する第１の表示特性の第１の値、及び第１の仮想オブジェクトの第２の部分とは異なる第１の表示特性の第２の値とで表示され、第１の表示特性の第２の値が第１の表示特性の第１の値とは異なる、少なくとも、第１の位置に第１の仮想オブジェクトと第１の位置とは別個の第２の位置に第１の物理面とを含む三次元シーンを、表示生成コンポーネントを介して、表示することと、第１の仮想オブジェクト及び第１の物理面を含む三次元シーンを表示している間に、表示生成コンポーネントを介して、三次元シーンの第２の位置で第１の視覚的効果を生成することと、を含み、第１の視覚的効果を生成することが、三次元シーン内の第１の物理面の第１の部分の視覚的外観を、第１の仮想オブジェクトの第１の部分に対応する第１の表示特性の第１の値に従って修正することと、三次元シーン内の第１の物理面の第２の部分の視覚的外観を、第１の仮想オブジェクトの第２の部分に対応する第１の表示特性の第２の値に従って修正することと、を含み、第１の仮想オブジェクトの第１の部分の視覚的外観と第１の物理面の第２の部分の視覚的外観が、第１の物理面の第１及び第２の部分の第１の表示特性の第１の値と第２の値との差異により異なって修正される。
いくつかの実施形態によれば、方法は、表示生成コンポーネントと１つ以上の入力デバイスとを含むコンピュータシステムにおいて実行され、三次元シーンが、第１のセットの物理的要素及び第１の量の仮想要素を含み、第１のセットの物理的要素が、少なくとも、第１のクラスの物理的オブジェクトに対応する物理的要素と、第２のクラスの物理的オブジェクトに対応する物理的要素に対応する物理的要素とを含む、三次元シーンを、表示生成コンポーネントを介して、表示することと、表示生成コンポーネントを介して第１の量の仮想要素を含む三次元シーンを表示している間に、２つ以上のユーザ入力のシーケンスを検出することと、２つ以上のユーザ入力のシーケンスの連続ユーザ入力を検出したことに応答して、三次元シーンに表示される仮想要素の量を、２つ以上のユーザ入力のシーケンスの連続入力に従って連続的に増加させることであって、２つ以上のユーザ入力のシーケンスの第１のユーザ入力を検出したことに応答して、第１のユーザ入力が第１の基準を満たすという判定に従って、第２の量の仮想要素が、第１のユーザ入力の検出前に第１のクラスの物理的要素によって占められていた三次元シーンの第１の部分を含む、第１の量の仮想要素よりも三次元シーンの大きな部分を占める、少なくとも、第１のセットの１つ以上の物理的要素の第１のサブセットと第２の量の仮想要素とで三次元シーンを表示することと、２つ以上のユーザ入力のシーケンスの第２のユーザ入力を検出したことに応答して、第２のユーザ入力が第１のユーザ入力に続き、第１の基準を満たすという判定に従って、第１のユーザ入力の検出前に第１のクラスの物理的要素によって占められていた三次元シーンの第１の部分と、第２のユーザ入力の検出前に第２のクラスの物理的要素によって占められていた三次元シーンの第２の部分と、を含む、第３の量の仮想要素が第２の量の仮想要素よりも三次元シーンの大きな部分を占める、少なくとも、第１のセットの１つ以上の物理的要素の第２のサブセットと第３の量の仮想要素とで三次元シーンを表示することと、を含む、連続的に増加させることと、を含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネントと１つ以上の入力デバイスとを含むコンピュータシステムにおいて実行され、第１の物理的オブジェクトが、少なくとも第１の物理面を有し、三次元シーン内の第１の物理的オブジェクト又はその表現のそれぞれの位置が、表示生成コンポーネントを取り囲む物理的環境内の第１の物理的オブジェクトのそれぞれの位置に対応する、少なくとも第１の物理的オブジェクト又はその表現を含む三次元シーンを、表示生成コンポーネントを介して、表示することと、第１の相互作用基準が、ユーザと第１の物理的オブジェクトとの間のユーザ相互作用の第１のレベルが検出されたときに満たされる第１の基準を含む、第１の相互作用基準が、三次元シーンを表示している間に、満たされたことを検出することと、第１の相互作用基準が満たされたことを検出したことに応答して、表示生成コンポーネントを介して、三次元シーン内の第１の物理的オブジェクトの第１の物理面の位置に対応する位置に第１のユーザインタフェースを表示することと、第２の相互作用基準が、ユーザと第１の物理的オブジェクトとの間のユーザ相互作用の第１のレベルよりも高いユーザ相互作用の第２のレベルが検出されたときに満たされる第２の基準を含む、第２の相互作用基準が、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置に第１のユーザインタフェースを表示している間に、満たされることを検出することと、第２の相互作用基準が満たされたことを検出したことに応答して、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置で、第１のユーザインタフェースの表示を第２のユーザインタフェースの表示に置き換えることと、を含む。
いくつかの実施形態によれば、方法は、表示生成コンポーネントと１つ以上の入力デバイスとを含むコンピュータシステムで実行され、三次元シーンが、第１の物理面を有する少なくとも第１の物理的オブジェクトと、第１の仮想面を有する少なくとも第１の仮想オブジェクトとを含む、三次元シーンを、表示生成コンポーネントを介して、表示することと、第１の物理的オブジェクト及び第１の仮想オブジェクトを含む三次元シーンを表示している間に、音声ベース仮想アシスタントをアクティブ化するという要求を検出することと、音声ベース仮想アシスタントをアクティブ化するという要求を検出したことに応答して、音声コマンドを受信するように構成された音声ベース仮想アシスタントをアクティブ化することと、音声ベース仮想アシスタントの視覚的表現を視覚的表現の第１の表示特性の第１のセットの値で表示することを含む、三次元シーンに音声ベース仮想アシスタントの視覚的表現を表示することと、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１のセットの値に従って、第１の物理的オブジェクトの第１の物理面の少なくとも一部及び第１の仮想オブジェクトの第１の仮想面の少なくとも一部の視覚的外観を修正することと、を含む。
いくつかの実施形態によれば、コンピュータシステムは、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイなど）、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的に、タッチ感知面との接触の強度を検出するための１つ以上のセンサ）、任意選択的に１つ以上の触覚出力ジェネレータ、１つ以上のプロセッサ、及び１つ以上のプログラムを記憶するメモリを含み、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のうちのいずれかの動作を実行する、又は実行させるための命令を含む。いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が、内部に記憶されている命令を有し、命令は、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、を有するコンピュータシステムによって実行されるとき、本明細書で説明される方法のいずれかの動作をデバイスに実行させ、又は動作の実行を行わせる。いくつかの実施形態によれば、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、メモリと、メモリに記憶されている１つ以上のプログラムを実行する１つ以上のプロセッサと、を有するコンピュータシステムのグラフィカルユーザインタフェースが、本明細書で説明される方法のいずれかにおいて表示される要素のうちの１つ以上を含み、これらの要素は、本明細書で説明される方法のいずれかで説明されるように、入力に応じて更新される。いくつかの実施形態によれば、コンピュータシステムが、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段と、を含む。いくつかの実施形態によれば、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、を有するコンピュータシステムで使用するための情報処理装置が、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む。
したがって、表示生成コンポーネントを有するコンピュータシステムには、三次元環境と相互作用し、三次元環境と相互作用するときにコンピュータシステムのユーザの使用を簡易化することによって、そのようなコンピュータシステムの有効性、効率、並びにユーザの安全性及び満足度を高める改善された方法及びインタフェースが提供される。そのような方法及びインタフェースは、三次元環境と相互作用し、三次元環境と相互作用するときにコンピュータシステムのユーザの使用を容易にするための従来の方法を補完又は置換することができる。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、ＣＧＲ体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
いくつかの実施形態による、ユーザのＣＧＲ体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
いくつかの実施形態による、ＣＧＲ体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。
いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフローチャートである。
いくつかの実施形態による、コンピュータ生成三次元環境（例えば、再構成及び他の相互作用を含む）とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境（例えば、再構成及び他の相互作用を含む）とのユーザ相互作用を示すブロック図である。
いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。
いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験の没入レベルを徐々に調節することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験の没入レベルを徐々に調節することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験の没入レベルを徐々に調節することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験の没入レベルを徐々に調節することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験の没入レベルを徐々に調節することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験の没入レベルを徐々に調節することを含む）方法を示すブロック図である。
いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法を示すブロック図である。
いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。
いくつかの実施形態による、コンピュータ生成三次元環境と相互作用する（例えば、再構成及びその他の相互作用を含む）方法のフローチャートである。
いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法のフローチャートである。
いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験のレベルを徐々に調節することを含む）方法のフローチャートである。
いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法のフローチャートである。
いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法のフローチャートである。
本開示は、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）体験をユーザに提供するユーザインタフェースに関する。
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインタフェース相互作用を改善する。
いくつかの実施形態では、コンピュータシステムは、ユーザが、様々なジェスチャ入力を使用することによって、コンピュータ生成三次元環境内で仮想オブジェクトと相互作用することを可能にする。第１の所定のジェスチャ（例えば、スワイプジェスチャ、タップジェスチャ、ピンチ及びドラッグジェスチャなど）は、コンピュータシステムに仮想オブジェクトに対応する第１の動作を実行させる一方、同じ所定のジェスチャは、コンピュータ生成三次元環境内の仮想オブジェクトを、特別な修正ジェスチャ（例えば、再構成ジェスチャ）と組み合わされたときに（例えば、再構成ジェスチャの直後、同時、又は完了後）、コンピュータシステムにある位置から別の位置に移動させる。具体的には、いくつかの実施形態では、所定の再構成ジェスチャは、仮想オブジェクトを再構成モードに入らせる。再構成モードにある間、オブジェクトは、仮想オブジェクトが再構成モードにないときに仮想オブジェクトとの第１のタイプの相互作用をトリガする（例えば、仮想オブジェクトをアクティブ化する、仮想オブジェクト内でナビゲートする、又は仮想オブジェクトを回転させる）ように構成された第１のジェスチャに応答して、コンピュータ生成環境内のある位置から別の位置に移動させられる。いくつかの実施形態では、再構成ジェスチャは、仮想オブジェクトを移動させるジェスチャの一部ではなく、仮想オブジェクトは、任意選択的に、前の再構成モードの検出に応答して再構成モードに入った後、再構成モードに留まる。仮想オブジェクトが再構成モードにある間、コンピュータシステムは、任意選択的に、仮想オブジェクトを再構成モードから出させることなく、コンピュータ生成環境に向けられた他のジェスチャ入力に応答する。コンピュータシステムは、仮想オブジェクトが再構成モードにないときに、仮想オブジェクトとの第１のタイプの相互作用をトリガするようにも構成された第１のそれぞれのジェスチャに従って仮想オブジェクトを移動させる。再構成モードに入って留まる仮想オブジェクトの視覚的インジケーションは、ユーザがコンピュータ生成環境及び仮想オブジェクトの内部ステータスを理解し、所望の結果を達成するための適切な入力を提供するのを助けるために提供される。仮想オブジェクトを再構成モードに入らせる特別な再構成ジェスチャを使用すること、通常、環境を再構成し、仮想オブジェクトを移動させる別の動作をトリガするジェスチャを利用すること、及び特別な再構成ジェスチャに応答して再構成モードに入って留まる仮想オブジェクトの視覚的インジケーションを提供することによって、ユーザからの入力の数、範囲、及び／又は性質が低減されて、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態では、コンピュータシステムは、物理的オブジェクト（例えば、表示生成コンポーネントの透明又は半透明部分を介して、又は物理的環境のカメラビューで三次元環境に現れる）及び仮想オブジェクト（例えば、ユーザインタフェースオブジェクト、物理的オブジェクトを模倣するコンピュータ生成仮想オブジェクト、及び／又は現実世界で物理的類似物を有さないオブジェクト）の両方を含む三次元環境を生成する。コンピュータシステムは、模倣物理的光伝搬原理に従って、仮想オブジェクトと物理的オブジェクトとの間の模倣視覚的相互作用を生成する。具体的には、仮想オブジェクトから放射される光（例えば、輝度、色、色相、時間変動、空間パターンなどを含む）は、その環境内の物理的オブジェクト及び仮想オブジェクトの両方を照らしているように見える。コンピュータシステムは、物理面の様々な部分及び仮想面の様々な部分に、仮想オブジェクトから放射される仮想光によってもたらされる模倣照明及び影を生成する。照明及び影は、物理的光伝搬原理、並びに環境内の他の物理面及び仮想面に対する仮想オブジェクトの空間位置、仮想面の模倣物理的特性（例えば、表面テクスチャ、光学特性、形状、及び寸法など）、及び物理面の実際の物理的特性（例えば、表面テクスチャ、光学特性、形状、及び寸法など）を考慮して生成される。仮想オブジェクトの様々な部分から放射される光は、それらの位置及び物理的特性の差異のために、環境内の他の仮想オブジェクトの様々な部分及び他の物理的オブジェクトの様々な部分に異なるように影響を及ぼす。仮想オブジェクトと物理的オブジェクトとの間で現実的かつ詳細な視覚的相互作用を生成し、仮想オブジェクト及び物理的オブジェクトを仮想オブジェクトからの照明に対して同様に反応させることによって、コンピュータシステムは、三次元環境をより現実的にすることができ、ユーザがコンピュータ生成三次元環境により適切に馴染むのを助け、ユーザがコンピュータ生成三次元環境と相互作用するときのユーザの間違いを低減する。
いくつかの実施形態では、ユーザは、コンピュータシステムに、コンピュータシステムによって提供されるコンピュータ生成体験の没入度を連続的に上昇させるために、２つ以上の所定の入力のシーケンスを提供する。ユーザが、ユーザに対して所定の位置にコンピュータシステムの表示生成コンポーネントを配置する（例えば、目の前にディスプレイを置く、又はヘッドマウントデバイスを自分の頭部に置く）とき、現実世界のユーザのビューは、表示生成コンポーネントによって遮断され、表示生成コンポーネントによって提示されるコンテンツがユーザのビューを支配する。時にユーザは、現実世界からコンピュータ生成体験に移行するためのより緩やかで制御されたプロセスから恩恵を得る。したがって、表示生成コンポーネントを介してユーザにコンテンツを表示するとき、コンピュータシステムは、ユーザを取り囲む現実世界の少なくとも一部の表現を含むパススルー部分を表示し、表示生成コンポーネントを通じて可視である物理的要素に置き換わる仮想要素の量を徐々に増加させる。具体的には、２つ以上のユーザ入力のシーケンスの各連続入力に応答して、異なるクラスの物理的要素がビューから除去され、新たに表示される仮想要素によって置き換えられる（例えば、既存の仮想要素又は新たに追加された仮想要素の拡張）。ユーザの入力によって制御される没入型環境へ及びからの段階的移行は、ユーザにとって直感的かつ自然であり、コンピュータ生成没入型体験のためのコンピュータシステムを使用するときのユーザの体験及び快適性を向上させる。それぞれの入力に応答して全体として置き換えられる物理的要素を様々なクラスの物理的要素に分割することは、複数の段階的移行に対するユーザ制御を可能にしながら、更に没入型のコンピュータ生成環境への移行に必要なユーザ入力の総数を減少させる。
いくつかの実施形態では、コンピュータシステムが、物理的オブジェクトを含む三次元環境を表示するとき（例えば、物理的オブジェクトは、表示生成コンポーネントを通じて可視である）（例えば、表示生成コンポーネントによって示される物理的環境のカメラビュー内で、又は表示生成コンポーネントによってレンダリングされた模倣現実環境内の物理的オブジェクトの仮想表現として、表示生成コンポーネントの透明パススルー部分を通じて可視である）。物理的オブジェクトは、物理面（例えば、平面状面又は平滑面）を有する。物理的オブジェクトとユーザとの間の相互作用レベルが第１の所定のレベルにあるとき、コンピュータシステムは、三次元環境内の物理的オブジェクトの位置に対応する位置に（例えば、第１のユーザインタフェースが物理面に重なっている、又は物理面上に立っているように見えるように）第１のユーザインタフェースを表示する。物理的オブジェクトとユーザとの間の相互作用レベルが、第２のレベル、例えば、第１のレベルの相互作用よりも高いレベルであるとき、コンピュータシステムは、三次元環境内の物理的オブジェクトの位置に対応する位置で（例えば、第２のユーザインタフェースが物理面に重なっている、又は物理面上に立っているように見えるように）第１のユーザインタフェースを置き換える第２のユーザインタフェースを表示する。第２のユーザインタフェースは、第１のユーザインタフェースと比較して、物理的オブジェクトと関連付けられた情報及び／又は機能をより多く提供する。コンピュータシステムは、情報を受信し、第１の物理的オブジェクトを制御するための様々な手段を使用して、ユーザが第１及び第２のユーザインタフェースと相互作用することを可能にする。この技術は、コンピュータ生成環境内の位置に提供されるより多くの情報及び制御の助けを借りて、ユーザが物理的オブジェクトと相互作用することを可能にする。コンピュータ生成環境内の相互作用の位置は、現実世界内の物理的オブジェクトの物理的位置に対応する。ユーザと物理的オブジェクトとの間の相互作用の検出されたレベルに従って（例えば、異なるユーザインタフェースに提供される）制御の情報及びレベルを調節することにより、コンピュータシステムは、情報を不要に提供することがなく、又はコンピュータ生成三次元環境を乱雑にすることがなく、ユーザがコンピュータ生成環境と相互作用するときにユーザの混乱及びユーザの間違いを低減する。この技術はまた、いくつかの実施形態による、ユーザが物理的オブジェクトを遠隔で制御するために近傍の物理面を利用することを可能にする。いくつかの実施形態では、ユーザは、遠隔から物理的オブジェクトを制御する、又は物理的オブジェクトに関する情報を制御して、ユーザと物理的オブジェクト及び／又は三次元環境との相互作用をより効率的にすることができる。
いくつかの実施形態では、コンピュータシステムは、物理的オブジェクト（例えば、表示生成コンポーネントの透明又は半透明部分を介して、又は物理的環境のカメラビューで三次元環境に現れる）及び仮想オブジェクト（例えば、ユーザインタフェースオブジェクト、物理的オブジェクトを模倣するコンピュータ生成仮想オブジェクト、及び／又は現実世界で物理的類似物を有さないオブジェクト）の両方を含む三次元環境を生成する。コンピュータシステムはまた、音声ベース仮想アシスタントを提供する。音声ベース仮想アシスタントがアクティブ化されると、コンピュータシステムは、アクティブ化された仮想アシスタントの視覚的表現を表示する。コンピュータシステムはまた、環境内の物理的オブジェクト及び仮想オブジェクトの外観、並びに時にはユーザの視野又はスクリーンの周辺領域の背景を、仮想アシスタントの視覚的表現の表示特性の値に従って修正する。具体的には、仮想アシスタントの視覚的表現から放射される光（例えば、輝度、色、色相、時間変動、空間パターンなどを含む）は、環境内の物理的オブジェクト及び仮想オブジェクトの両方、及び任意選択的に、ユーザ又はスクリーンの周辺領域の視野の背景を照らしているように見える。コンピュータシステムは、仮想アシスタントの視覚的表現から放射される仮想光によってもたらされる物理面の様々な部分及び仮想面の様々な部分に模倣照明及び影を生成する。照明及び影は、物理的光伝搬原理、並びにコンピュータ生成環境内の他の物理面及び仮想面に対する仮想アシスタントの視覚的表現の空間的位置、仮想面の模倣物理的特性（例えば、表面テクスチャ、光学特性、形状、及び寸法など）、及び物理面の実際の物理的特性（例えば、表面テクスチャ、光学特性、形状、及び寸法など）を考慮して生成される。仮想アシスタントに関連付けられた照明効果は、音声ベース仮想アシスタント（例えば、アクティブ、又は休止、聴く、及び／又は応答）の状態に関する、ユーザに連続的及び動的フィードバックを提供する。コンピュータシステムは、仮想アシスタントの視覚的表現とコンピュータ生成環境内の他の仮想オブジェクト及び物理的オブジェクトとの間で現実的かつ詳細な視覚的相互作用を生成することによって、コンピュータ生成三次元環境をより現実的で情報の多いものにすることができ、これにより、ユーザがコンピュータ生成三次元環境により適切に馴染むのを助け、ユーザがコンピュータ生成三次元環境と相互作用するときのユーザの間違いを低減することができる。
図１～６は、ＣＧＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～図７Ｂは、いくつかの実施形態による、コンピュータ生成三次元環境（例えば、再構成及び他の相互作用を含む）とのユーザ相互作用を示すブロック図である。図７Ｃ～図７Ｆは、いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。図７Ｇ～図７Ｌは、いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験の没入度を徐々に調節することを含む）方法を示すブロック図である。図７Ｍ～図７Ｒは、いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法を示すブロック図である。図７Ｓ～７Ｘは、いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。図８は、いくつかの実施形態による、コンピュータ生成三次元環境と相互作用する（例えば、再構成及びその他の相互作用を含む）方法のフローチャートである。図９は、いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法のフローチャートである。図１０は、いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験のレベルを徐々に調節することを含む）方法のフローチャートである。図１１は、いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法のフローチャートである。図１２は、いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法のフローチャートである。図７Ａ～図７Ｘのユーザインタフェースは、図８～１２のプロセスを説明するために使用される。
いくつかの実施形態では、図１に示されるように、ＣＧＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、位置センサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と統合される。
ＣＧＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＣＧＲ体験を生成するコンピュータシステムに、ＣＧＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境：物理的環境とは、人々が電子システムの助け無しに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
コンピュータ生成現実：対照的に、コンピュータ生成現実（ＣＧＲ）環境とは、人々が電子システムを介して感知及び／又は相互作用する、全体的又は部分的に模倣された環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内で模倣された１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応答して行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出す音声オブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＣＧＲ環境では、人は、音声オブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。ＶＲ環境は、人が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することの模倣を通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットの模倣を通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（即ち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対する位置及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた模倣環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換される模倣環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、イメージセンサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
ハードウェア：人が様々なＣＧＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下より詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的設定／環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲ体験（例えば、ＣＧＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下より詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、頭部や手など）に装着される。したがって、表示生成コンポーネント１２０は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を着用又は保持しない状態でＣＧＲコンテンツを提示するように構成されたＣＧＲチャンバ、筐体、又は部屋である。ＣＧＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＣＧＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実装され得る。例えば、ハンドヘルド又は三脚実装デバイスの前の空間内で起こる相互作用に基づいてトリガされるＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＣＧＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実装され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚実装デバイスの移動に基づいてトリガされたＣＲＧコンテンツとの相互作用を示すユーザインタフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって引き起こされるＨＭＤと同様に実装され得る。
動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理するための命令、及びハードウェア依存タスクを実行するための命令を含む。いくつかの実施形態では、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＣＧＲ体験（例えば、１人以上のユーザに対する単一のＣＧＲ体験、又は１人以上のユーザの各グループに対する複数のＣＧＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４２、トラッキングユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８を含む。
いくつかの実施形態では、データ取得ユニット２４２は、図１の少なくとも表示生成コンポーネント１２０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット２４４は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０し、任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上の位置を追跡するように構成される。その目的で、様々な実施形態において、トラッキングユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、処理ユニット２４４は、ハンドトラッキングユニット２４３及び／又はアイトラッキングユニット２４５を含む。いくつかの実施形態では、ハンドトラッキングユニット２４３は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分の位置、及び／又はユーザの手の１つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット２４３について、図４を参照して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４５は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）の位置及び移動を追跡するように構成される。アイトラッキングユニット２４５について、図５を参照して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、及び任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、位置データなど）を少なくとも表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実施形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、ＨＭＤ１２０には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）機器及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の任意の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。
いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、磁力計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。
いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ユーザにＣＧＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、ＨＭＤ１２０は、単一のＣＧＲディスプレイを含む。別の実施例では、ＨＭＤ１２０は、ユーザの各目用のＣＧＲディスプレイを含む。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。
いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ＨＭＤ１２０が存在しない場合に、ユーザが視認するシーンに対応する画像データを取得するように前方を向くように構成される（及び、シーンカメラと称される場合がある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム３３０は、様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含む。いくつかの実施形態では、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツをユーザに提示するように構成される。そのため、様々な実施形態では、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。
いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＣＧＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置してコンピュータ生成現実を生成することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＣＧＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、位置データなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット３４２は、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実施形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、ハンドトラッキングユニット２４３（図２）によって制御されて、ユーザの手の１つ以上の部分の位置、及び／又は図１のシーン１０５に対する（例えば、ユーザを取り囲む物理的環境の一部に対する、表示生成コンポーネント１２０に対する、又はユーザの一部（例えば、ユーザの顔、目、若しくは頭部）に対する、及び／又はユーザの手に対して定義された座標系に対する）ユーザの手の１つ以上の部分の移動を追跡する。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれの位置を区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データ）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、手４０８を移動させ、手の姿勢を変化させることによって、コントローラ１１０上で動作するソフトウェアと相互作用することができる。
いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投射し、投射されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、ｘ、ｙ、ｚ軸の直交セットを定義すると想定される。あるいは、ハンドトラッキングデバイス４４０は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１つ以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄ位置を含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれ以上）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応答して、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４４０からの別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス４０２のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、即ち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特徴を有する画像の成分（即ち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重畳される。いくつかの実施形態では、手（例えば、指関節、指先、掌の中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点の位置及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図５は、アイトラッキングデバイス１３０の例示的な実施形態を示す（図１）。いくつかの実施形態では、アイトラッキングデバイス１３０は、アイトラッキングユニット２４５によって制御されて（図２）、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対するユーザの視線の位置及び移動を追跡する。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＣＧＲコンテンツを生成するコンポーネント及びＣＧＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＣＧＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＣＧＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図５に示すように、いくつかの実施形態では、視線追跡デバイス１３０は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線追跡デバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、１秒当たり６０～１２０フレーム（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、対応するアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図５に示すように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線追跡システムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射されたユーザの目５９２（単数又は複数）からのＩＲ又はＮＩＲ光を受け取るようにユーザの目（単数又は複数）５９２に向けられてもよい。
いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線追跡入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線追跡入力５４２に基づいて、ディスプレイ５１０上のユーザの視線を推定する。視線追跡入力５４２から推定された視線は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域よりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＣＧＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及びウェアラブルハウジングに取り付けられた光源（例えば、光源５３０（例えば、ＩＲ又はＮＩＲＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及び位置が用いられてもよい。
いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０の位置及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置する。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。
図５に示すような視線追跡システムの実施形態は、例えば、コンピュータ生成現実（例えば、仮想現実、及び／又は複合現実を含む）アプリケーションに使用されて、コンピュータ生成現実（例えば、仮想現実、拡張現実、及び／又は拡張仮想を含む）の体験をユーザに提供することができる。
図６は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線追跡パイプラインは、グリント支援視線追跡システム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図６に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線追跡パイプラインに入力される。要素６００に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。
６４０で、要素４１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態はいいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態ははいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視線を推定する。
図６は、特定の実装で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＣＧＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり、任意選択的に利用され得ることを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり、任意選択的に利用され得ることを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり、任意選択的に利用され得ることを理解されたい。したがって、本開示は、各実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成コンポーネント、１つ以上の入力デバイス、及び（任意選択的に）１つ又はカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図７Ａ～図７Ｂは、いくつかの実施形態による、コンピュータ生成三次元環境（例えば、再構成及び他の相互作用を含む）とのユーザ相互作用を示すブロック図である。図７Ａ～７Ｂは、図８の処理を含む、後述の処理を例示するために使用される。
いくつかの実施形態では、図７Ａ～図７Ｂを参照して説明される入力ジェスチャは、センサシステム（例えば、図１のセンサ１９０、図３の画像センサ３１４）によってキャプチャされるデータ及び信号を解析することによって検出される。いくつかの実施形態では、センサシステムは、１つ以上の撮像センサ（例えば、モーションＲＧＢカメラ、赤外線カメラ、深度カメラなどの１つ以上のカメラ）を含む。例えば、１つ以上の撮像センサは、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０（例えば、ディスプレイ及びタッチ感知面として機能するタッチスクリーンディスプレイ、立体ディスプレイ、パススルー部分を有するディスプレイなど））を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１（例えば、図７Ａ～７Ｂに示すようなポータブル電子デバイス７１００又はＨＭＤ））のコンポーネントである、又は上記コンピュータシステムにデータを提供する。いくつかの実施形態では、１つ以上の撮像センサは、デバイスのディスプレイとは反対側のデバイスの側に１つ以上の後面カメラを含む。いくつかの実施形態では、入力ジェスチャは、ヘッドマウントシステムのセンサシステム（例えば、ユーザの左目の左画像及びユーザの右目の右画像を提供する立体ディスプレイを含むＶＲヘッドセット）によって検出される。例えば、ヘッドマウントシステムのコンポーネントである１つ以上のカメラは、ヘッドマウントシステムの前側及び／又は下側に取り付けられている。いくつかの実施形態では、１つ以上の撮像センサは、撮像センサがヘッドマウントシステム及び／又はヘッドマウントシステムのユーザの画像をキャプチャするように、ヘッドマウントシステムが使用される空間に配置される（例えば、部屋内の様々な位置でヘッドマウントシステムの周りに配列される）。いくつかの実施形態では、入力ジェスチャは、ヘッドアップデバイス（例えば、ヘッドアップディスプレイ、グラフィックを表示する能力を有する自動車フロントガラス、グラフィックを表示する能力を有する窓、グラフィックを表示する能力を有するレンズ）のセンサシステムによって検出される。例えば、１つ以上の撮像センサは、自動車の内面に取り付けられる。いくつかの実施形態では、センサシステムは、１つ以上の深度センサ（例えば、センサアレイ）を含む。例えば、１つ以上の深度センサは、１つ以上の光ベースの（例えば、赤外線）センサ及び／又は１つ以上の音響ベースの（例えば、超音波）センサを含む。いくつかの実施形態では、センサシステムは、光エミッタ（例えば、赤外線エミッタ）及び／又は音声エミッタ（例えば、超音波エミッタ）などの１つ以上の信号エミッタを含む。例えば、光（例えば、所定パターンを有する赤外光エミッタアレイからの光）が手（例えば、図７Ａ～７Ｂに関して説明されるような手７２００）に投射されている間、光の照明下の手の画像が１つ以上のカメラによってキャプチャされ、キャプチャされた画像が手の位置及び／又は構成を判定するために解析される。タッチ感知面又は他の直接接触機構又は近接ベースの機構の信号を使用することと対照的に、手に向けられた画像センサからの信号を使用して入力ジェスチャを判定することで、ユーザは、特定の入力デバイス又は入力領域によって課せられる制約を経験せずに、手で入力ジェスチャを提供するときに、大きな運動を実行するか、又は相対的に静止状態を保つかを自由に選択することができる。
いくつかの実施形態では、複数のユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２（例えば、メニュー又はドック内で、又は互いに独立している）は、コンピュータ生成三次元環境（例えば、仮想環境又は複合現実環境）に表示される。複数のユーザインタフェースオブジェクトは、任意選択的に、空間内又は三次元環境内の物理的オブジェクトの上に浮遊して表示される。ユーザインタフェースオブジェクトはそれぞれ、任意選択的に、三次元環境内で実行され得る、又はコンピュータシステムと通信する物理的環境内で作用を引き起こす（例えば、デバイス７１００と通信する別のデバイス（例えば、スピーカ又はスマートランプ）を制御する）１つ以上の対応する動作を有する。いくつかの実施形態では、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２は、コンピュータシステム（例えば、デバイス７１００）の１つ以上の後面カメラによってキャプチャされた物理的環境のビューの少なくとも一部と共に（例えば、重ねて又は置換して）コンピュータシステム（例えば、デバイス７１００（図７Ａ～７Ｂ）又はＨＭＤ）のディスプレイによって表示される。いくつかの実施形態では、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２は、コンピュータシステムの透明又は半透明ディスプレイ（例えば、ヘッドアップディスプレイ、又はＨＭＤ）上に表示され、このディスプレイを通じて物理的環境が可視である。いくつかの実施形態では、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２は、仮想コンテンツによって囲まれたパススルー部分（例えば、物理的周囲が可視である透明又は半透明の部分、又は周囲の物理的環境のカメラビューを表示する部分）を含むユーザインタフェースに表示される。いくつかの実施形態では、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２は、仮想現実環境に表示される（例えば、仮想空間内に浮かぶ、又は仮想面に重なる）。
いくつかの実施形態では、手７２００の表現は、仮想現実環境において可視である（例えば、１つ以上のカメラによってキャプチャされた手７２００の画像が仮想現実設定にレンダリングされる）。いくつかの実施形態では、手７２００の表現７２００’（例えば、手７２００の漫画版）が、仮想現実設定においてレンダリングされる。いくつかの実施形態では、手７２００又はその表現は、仮想現実環境において不可視である（例えば、省略される）。いくつかの実施形態では、デバイス７１００（図７Ｃ）は、（例えば、デバイス７１００がＨＭＤであるとき）仮想現実環境において不可視である。いくつかの実施形態では、デバイス７１００の画像又はデバイス７１００の表現は、仮想現実環境において可視である。
いくつかの実施形態では、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２のうちの１つ以上は、アプリケーション起動アイコン（例えば、対応するアプリケーションを起動するための動作を実行するため、及びそれぞれのアプリケーションに対応するクイックアクションメニューを表示するための動作など）である。いくつかの実施形態では、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２のうちの１つ以上は、アプリケーション内でそれぞれの動作を実行する（例えば、ボリュームを上げる、ボリュームを下げる、再生する、休止する、早送りする、巻き戻す、リモートデバイスとの通信を開始する、リモートデバイスとの通信を終了する、リモートデバイスとの通信を伝達する、ゲームを開始するなど）ためのコントロールである。いくつかの実施形態では、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２のうちの１つ以上は、（例えば、リモートデバイスのそれぞれのユーザとの通信を開始する動作を実行するための）リモートデバイスのユーザのそれぞれの表現（例えば、アバター）である。いくつかの実施形態では、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２のうちの１つ以上は、メディアアイテム（例えば、画像、仮想オブジェクト、オーディオファイル、及び／又はビデオファイル）の表現（例えば、サムネイル、二次元画像、又はアルバムカバー）である。例えば、画像の表現であるユーザインタフェースオブジェクトをアクティブ化することにより、画像は、（例えば、１つ以上のカメラによって検出され、コンピュータ生成現実ビューに表示された表面に対応する位置（例えば、物理的環境内の表面に対応する位置、又は仮想空間に表示される表面に対応する位置に）表示される。アルバム（例えば、音楽アルバム、画像アルバム、フリップブックアルバムなど）であるユーザインタフェースオブジェクト内でナビゲートすることにより、現在再生されているか表示されたアイテムをアルバム内の別のアイテムに切り替える。
図７Ａに示されるように、２つの別個の動作が、手７２００によって提供される異なるタイプのジェスチャ入力に応答して、三次元環境においてユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２に対して実行される一方、再構成モードは、ユーザインタフェースオブジェクトのいずれに対してもアクティブ化されない。
図７Ａ（ａ－１）図７Ａ（ａ－３）では、手７２００の親指は、垂直軸に沿って移動して人差し指の側部に接触し、人差し指の側部から離れるように上方に移動することによってタップジェスチャを実行する。タップジェスチャは、現在の選択インジケータ（例えば、セレクタオブジェクト、又はオブジェクトの輪郭又は外観の変化によるオブジェクトの強調表示などの可動視覚的効果）が、ユーザインタフェースオブジェクト７２０８上に位置し、ユーザインタフェースオブジェクト７２０８の現在選択されているステータスを示している間に実行される。いくつかの実施形態では、手７２００によるタップ入力を検出したことに応答して、コンピュータシステム（例えば、デバイス７１００）は、（例えば、ユーザインタフェースオブジェクト７２０８によって表されるアプリケーションのユーザインタフェースの一部として、又はユーザインタフェースオブジェクト７２０８によって表されるコンテンツとして）仮想オブジェクト７２０２を表示させる第１の動作を実行する（例えば、ユーザインタフェースオブジェクト７２０８をアクティブ化する）。ユーザインタフェースオブジェクト７２０８の視覚的外観は、第１の動作が実行されていることを示す（例えば、アクティブ化されているが、移動していない）。
図７Ａ（ａ－１）、次いで図７Ａ（ａ－４）～図７Ａ（ａ－５）では、手７２００は、手の親指が人差し指の側部に触れた後に横方向に移動することによってドラッグジェスチャを実行する。ドラッグジェスチャは、現在の選択インジケータ（例えば、セレクタオブジェクト、又はオブジェクトの輪郭又は外観の変化によるオブジェクトの強調表示などの可動視覚的効果）が、ユーザインタフェースオブジェクト７２０８上に位置し、ユーザインタフェースオブジェクト７２０８の現在選択されているステータスを示している間に実行される。いくつかの実施形態では、手７２００によるドラッグ入力を検出したことに応答して、コンピュータシステム（例えば、デバイス７１００）は、ユーザインタフェースオブジェクト７２０８に対する第２の動作を実行する（例えば、ユーザインタフェースオブジェクト７２０８から離れてユーザインタフェースオブジェクト７２１０に向かうようにナビゲートする、又はユーザインタフェースオブジェクト７２０８内をナビゲートする）。ユーザインタフェースオブジェクトの視覚的外観は、第２の動作が実行されていることを示す（例えば、ユーザインタフェースオブジェクトのコンテンツ内又はユーザインタフェースオブジェクトから離れるナビゲーションが発生したが、オブジェクトは三次元環境内で移動していない）。
図７Ｂは、再構成ジェスチャが（例えば、他のジェスチャ入力（例えば、図７Ａに示されるジェスチャ）と組み合わせて）実行され、その結果、三次元環境が（例えば、三次元環境におけるユーザインタフェースオブジェクト７２０８の移動を伴って）再構成されるという点で、図７Ａに示されるシナリオとは全く異なるシナリオを示す。
図７Ｂ（ａ－１）～７Ｂ（ａ－４）のシーケンスに示されるように、手首フリックジェスチャが手７２００によって提供される一方、ユーザインタフェースオブジェクト７２０８は現在選択されている状態にある。この実施例では、手首フリックジェスチャは、現在選択されているユーザインタフェースオブジェクトを再構成モードに入らせる所定の再構成ジェスチャである。いくつかの実施形態では、手首フリックジェスチャを検出することは、人差し指の側部上の親指のタッチダウン、続いて手首の周りの手の上方回転を検出することを含む。任意選択的に、手首フリックジェスチャの終了時に、親指は人差し指の側部から持ち上げられる。ユーザインタフェースオブジェクト７２０８が選択されている間に、（例えば、前の入力によって、又はユーザインタフェースオブジェクト７２０８に焦点を当てた視線入力によって）手首フリックジェスチャを検出したことに応答して、コンピュータシステム（例えば、デバイス７１００）はユーザインタフェースオブジェクト７２０８の再構成モードをアクティブ化する。コンピュータシステムはまた、ユーザインタフェースオブジェクト７２０８が現在再構成モードにあることをユーザに知らせる視覚的インジケーションを表示する。いくつかの実施形態では、図７Ｂ（ｂ－３）に示されるように、ユーザインタフェースオブジェクトは、元の位置から取り外され、任意選択的に、改変された外観（例えば、半透明になる、拡大される、及び／又は浮くなど）で表示されて、ユーザインタフェースオブジェクト７２０８が再構成モードにあることを示す。いくつかの実施形態では、再構成ジェスチャの終了後、ユーザインタフェースオブジェクト７２０８は再構成モードに留まり、視覚的インジケーションは三次元環境に表示されたままである。いくつかの実施形態では、コンピュータシステムは、任意選択的に、他のユーザ入力に応答し、他のユーザ入力に従って三次元環境との相互作用を提供する一方、ユーザインタフェースオブジェクト７２０８は、再構成モードに留まる（例えば、改変された外観で元の位置に浮かんでいる）。いくつかの実施形態では、コンピュータシステムは、任意選択的に、ユーザインタフェースオブジェクト７２０８が再構成モードに留まっている間、ユーザが第２の手首フリックジェスチャを使用して、別の現在選択されているユーザインタフェースオブジェクト（例えば、ユーザが、任意選択的に、視線又はタップ入力で別のオブジェクトを選択する）を再構成モードに入らせることを可能にする。いくつかの実施形態では、コンピュータシステムは、１つ以上のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７２０８）が再構成モードに留まる間、再構成モードにおいてユーザインタフェースオブジェクトを移動させる又はユーザインタフェースオブジェクトと相互作用することなく、ユーザが目をそらす、又は三次元環境の他の部分までナビゲートすることを可能にする。いくつかの実施形態では、図７Ａ（ａ－４）～７Ａ（ａ－５）に示されるものとは対照的に、（例えば、手の親指が人差し指の側部にタッチした後、手７２００が横方向に移動することによって実行される）後続のドラッグジェスチャにより、（例えば、図７Ｂ（ａ－５）～７Ｂ（ａ－６）に示すように）再構成モードのユーザインタフェースオブジェクト７２０８は、手移動に従って三次元環境内の現在位置から別の位置に移動することができる。いくつかの実施形態では、ドラッグジェスチャに従ってユーザインタフェースオブジェクト７２０８を移動させることは、ユーザインタフェースオブジェクトを再構成モードから出させない。ユーザインタフェースオブジェクト７２０８が再構成モードに留まる間、１つ以上の追加のドラッグジェスチャが任意選択的に使用されて、三次元環境においてユーザインタフェースオブジェクト７２０８を再配置する。いくつかの実施形態では、所定の終了ジェスチャ（例えば、下方の手首フリックジェスチャ（例えば、ドラッグジェスチャの終了時に実行される下方の手首フリックジェスチャ、又は別のジェスチャの一部ではない独立した下方の手首フリックジェスチャ）は、ユーザインタフェースオブジェクト７２０８を再構成モードから出させる。いくつかの実施形態では、いったんユーザインタフェースオブジェクト７２０８が再構成モードを出ると、その外観が元の状態に復元され、再構成モード中にユーザインタフェースオブジェクトに向けられたドラッグ入力（単数又は複数）によって指定された目的位置に落ち着く。
図７Ｂ（ａ－１）－７Ｂ（ａ－２）に続く図７Ｂ（ａ－５）～７Ｂ（ａ－６）のシーケンスに示されるように、手７２００によって提供される手首フリックジェスチャは、手７２００によって提供されるドラッグジェスチャで終了する複合ジェスチャの開始部分である。手首フリックジェスチャは、ユーザインタフェースオブジェクト７２０８が現在選択されている状態にある間に検出される。この実施例では、手首フリックジェスチャは、現在選択されているユーザインタフェースオブジェクトを再構成モードに入らせ、ドラッグジェスチャの移動に従って別の位置に移動させる。いくつかの実施形態では、ユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７２０８）が再構成モードに入った後、ユーザインタフェースオブジェクトは、任意選択的に、ドラッグ入力による環境内の１つの位置から別の位置への移動後に、再構成モードに留まる。
いくつかの実施形態では、他のタイプのジェスチャが、任意選択的に、現在選択されているユーザインタフェースオブジェクトの再構成モードをアクティブ化するための再構成ジェスチャとして使用される。いくつかの実施形態では、所定のジェスチャは、三次元環境内のそれぞれのクラスのユーザインタフェースオブジェクトの再構成モードをアクティブ化して（例えば、同じクラス（例えば、アプリケーションアイコンのクラス、コンテンツアイテムのクラス、物理的オブジェクトを表すオブジェクトのクラスなど）の複数のユーザインタフェースオブジェクトを再構成モードに入らせて）、それぞれのクラスのユーザインタフェースオブジェクトを、後続の移動入力（例えば、ドラッグ入力）に従って三次元環境内で個別に又は同期して移動させることを可能にするように構成される。いくつかの実施形態では、コンピュータシステムは、（例えば、前の入力又は視線入力によって）ユーザインタフェースオブジェクトが選択されている間に（例えば、指又はコントローラ上の）タップ入力を検出したことに応答して、ユーザインタフェースオブジェクトの再構成モードをアクティブ化する。いくつかの実施形態では、コンピュータシステムは、（例えば、前の入力又は視線入力によって）ユーザインタフェースオブジェクトが選択されている間に（例えば、指又はコントローラ上の）スワイプ入力を検出したことに応答して、ユーザインタフェースオブジェクトの再構成モードをアクティブ化する。
いくつかの実施形態では、ユーザインタフェースオブジェクトが再構成モードにある間、コンピュータシステムは、ユーザの視線又は指の移動に続く視覚的インジケータ（例えば、ユーザインタフェースオブジェクトの影画像又は半透明画像）を表示して、三次元環境内のユーザインタフェースオブジェクトの目的位置を明示する。後続のコミットメント入力（例えば、下方の手首フリックジェスチャ又は指若しくはコントローラ上のタップ入力）を検出したことに応答して、コンピュータシステムは、視覚的インジケータの現在位置にユーザインタフェースオブジェクトを配置する。
いくつかの実施形態では、図７Ａ及び図７Ｂに示されるドラッグ入力は、対応する機能を実行させるための指又はコントローラ上のスワイプ入力によって置き換えられる。
いくつかの実施形態では、三次元環境内のユーザインタフェースオブジェクトの移動は、現実世界内の物理的オブジェクトの移動を模倣し、三次元環境内の仮想面及び物理面によって制約される。例えば、仮想オブジェクトが再構成モードにある間に、仮想オブジェクトがドラッグ入力に応答して移動されると、仮想オブジェクトは、三次元環境に表される物理面を横切って摺動し、任意選択的に、三次元環境内の仮想面も横切って摺動する。いくつかの実施形態では、ユーザインタフェースオブジェクトは、三次元環境内に表される物理面間で切り替わるときに飛び上がる。
いくつかの実施形態では、コンピュータシステムは、ユーザインタフェースオブジェクトが再構成モードにある間に、オーディオ出力（例えば、連続又は１つ以上の離散のオーディオ出力）を任意選択的に生成する。
図７Ｃ～図７Ｆは、いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。図７Ｃ～７Ｆは、図９の処理を含む、後述の処理を例示するために使用される。
図７Ｄ～７Ｆは、図７Ｃに示す物理的環境に対応する例示的なコンピュータ生成環境を示す。図７Ｄ～７Ｆを参照して本明細書に記載されるように、いくつかの実施形態によると、コンピュータ生成環境は、任意選択的に、物理的環境のカメラビューを含む拡張現実環境、又はコンピュータ生成環境がディスプレイの透明部分を通じて可視である物理的環境のビュー上に重ね合わされるようにディスプレイ上に表示されるコンピュータ生成環境であってもよい。図７Ｃに示すように、ユーザ７３０２は、コンピュータシステム（例えば、コンピュータシステム１０１）を動作させる物理的環境（例えば、シーン１０５）に立っている（例えば、デバイス７１００を保持している又はＨＭＤを着用している。いくつかの実施形態では、図７Ｃ～７Ｆに示される実施例のように、デバイス７１００は、ディスプレイ、タッチ感知ディスプレイなどを含むハンドヘルドデバイス（例えば、携帯電話、タブレット、又は他のモバイル電子デバイス）である。いくつかの実施形態では、デバイス７１００は、ヘッドアップディスプレイやヘッドマウントディスプレイなどを含むウェアラブルヘッドセットを表し、任意選択的に置き換えられる。いくつかの実施形態では、物理的環境は、ユーザ７３０２を取り囲む１つ以上の物理面及び物理的オブジェクト（例えば、部屋の壁、（例えば、前壁７３０４及び側壁７３０６）、床７３０８、及び家具７３１０）を含む。いくつかの実施形態では、環境内の物理的オブジェクトの１つ以上の物理面（例えば、家具７３１０の前面８３１２）は、コンピュータシステムの表示生成コンポーネントを通じて（例えば、デバイス７１００のディスプレイ上又はＨＭＤを介して）可視である。
図７Ｄ～７Ｆに示される実施例では、物理的環境（例えば、デバイス７１００の１つ以上のカメラの視野内にある、又はデバイス７１００のディスプレイの透明部分を通じて可視である物理的環境の部分）に対応するコンピュータ生成三次元環境が、デバイス７１００に表示される。物理的環境は、コンピュータシステムの表示生成コンポーネントによって示されるコンピュータ生成三次元環境に対応する表現を有する物理的オブジェクトを含む。例えば、ディスプレイ上に示されるコンピュータ生成環境において、前壁７３０４は前壁表現７３０４’によって表され、側壁７３０６は側壁表現７３０６’によって表され、床７３０８は床表現７３０８’によって表され、家具７３１０は家具表現７３１０’によって表され、家具７３１０の前面７３１２は前面表現７３１２’によって表される（例えば、コンピュータ生成環境は、デバイス７１００の１つ以上のカメラのライブビューの一部である物理的オブジェクト、又はデバイス７１００のディスプレイの透明部分を通じて可視である物理的オブジェクトの表現７３０４’、７３０６’、７３０８’、７３１０’及び７３１２’を含む拡張現実環境である）。いくつかの実施形態では、ディスプレイ上に示されるコンピュータ生成環境はまた、仮想オブジェクトを含む。いくつかの実施形態によると、デバイス７１００の物理的環境に対する視野が変化するにつれ（例えば、デバイス７１００又はデバイス７１００の１つ以上のカメラの物理的環境に対する視野角が、物理的環境内のデバイス７１００の移動及び／又は回転に応答して変化するにつれ）、それに応じて、デバイス７１００上に表示されるコンピュータ生成環境の視野が変化する（例えば、物理面及び物理的オブジェクト（例えば、壁、床、家具など）の視野の変化を含む）。
図７Ｅに示すように、第１の仮想オブジェクト（例えば、仮想窓７３３２）は、例えば、三次元環境に仮想コンテンツを追加するユーザ入力に応答して、第１の位置（例えば、物理的環境内の側壁７３０６上の位置に対応する三次元環境内の位置）に表示される。第１の仮想オブジェクト（例えば、仮想窓７３３２）は、他の物理的オブジェクト（例えば、前壁７３０４、家具７３１０、物理面７３１２、及び床７３０８）に対する側壁７３０６間のそれぞれの空間関係によって決定される、三次元環境内の物理的オブジェクトの表現（例えば、前壁表現７３０４’、家具表現７３１０’、物理面表現７３１２’、及び床表現７３０８’）に対するそれぞれの空間関係を有する。図７Ｅに示されるように、第１の仮想オブジェクト（例えば、仮想窓７３３２）は、第１の外観（例えば、第１の仮想オブジェクトの第１の部分７３３２－ｂ及び７３３２－ｃの第１の輝度値及び／又は色値、並びに第２の部分７３３２－ａ及び７３３２ーｄの第２の輝度値及び／又は色値を有する）で表示される。いくつかの実施形態では、第１の仮想オブジェクトの様々な部分内の表示特性のこれらの内部変形は、外部要因、所定条件、又は時間で変化し得る第１の仮想オブジェクトに示されるコンテンツを反映している。
図７Ｅに示されるように、コンピュータシステムは、仮想オブジェクト７３３２の様々な部分から放射される仮想光に基づいて、三次元環境内の物理的オブジェクトの表現上に模倣照明パターンを生成する。いくつかの実施形態によると、模倣照明パターンは、三次元環境内の仮想オブジェクトと物理的オブジェクトの表現との相対的空間位置、並びに仮想及び物理的オブジェクトの物理的特性（例えば、表面形状、テクスチャ、及び光学特性など）に従って生成される。図７Ｅに示すように、物理的オブジェクトの表現上で生成された照明パターンは、模倣物理的光伝搬原理を観察する。例えば、物理的オブジェクトの表現（例えば、表現７３０４’、７３１０’、７３１２’、及び７３０８’）上の照明パターン（例えば、照明パターン７３３４、７３３６、及び７３４０）の形状、輝度、色、色相などは、側壁７３０６上の仮想窓７３３２と同様の特性の実際の窓によって成されたであろう物理的オブジェクト（例えば、物理的オブジェクト／表面７３０４、７３１０、７３１２、及び７３０８）上の照明パターンを模倣している。
図７Ｅに示されるように、いくつかの実施形態では、コンピュータシステムは、第１の仮想オブジェクト７３３２の第１の部分７３３２－ｂ及び７３３２－ｃの輝度及び色値に従って、三次元シーン内の前壁表現７３０４’の第１の部分７３３４－ｂ及び７３３４－ｃの視覚的外観（例えば、輝度及び色値）を修正することによって、前壁７３０４の模倣照明パターン７３３４を生成する。同様に、コンピュータシステムは、第１の仮想オブジェクト７３３２の第１の部分７３３２－ｂ及び７３３２－ｃの輝度及び色値に従って、三次元シーン内の物理面表現７３１２’の第１の部分７３３６－ｂ及び７３３６－ｃの視覚的外観（例えば、輝度及び色値）を修正することによって、物理面７３１２の模倣照明パターン７３３６を生成する。同様に、コンピュータシステムは、第１の仮想オブジェクト７３３２の第１の部分７３３２－ｂ及び７３３２－ｃの輝度及び色値に従って、三次元シーンの床表現７３０８’の第１の部分７３４０－ｂ及び７３４０－ｃの視覚的外観（例えば、輝度及び色値）を修正することによって、床７３０８の模倣照明パターン７３４０を生成する。
図７Ｅに示されるように、物理面の第１の部分の視覚的外観及び物理面の第２の部分の視覚的外観は、例えば、第１の仮想オブジェクトと様々な物理面との間の模倣空間関係、仮想オブジェクトと様々な物理面の現実の及び模倣物理的特性、並びに第１の仮想オブジェクトの様々な部分における輝度及び色値の差異に従って、異なって修正される。
図７Ｅに示されるように、物理的環境内の物理面（例えば、前壁７３０４、家具７３１０の物理面７３１２、及び床７３０８）の位置に対応する三次元環境内の位置に模倣照明パターン７３３４、７３３６、及び７３４０を追加することに加えて、コンピュータシステムはまた、仮想オブジェクト７３３２（例えば、側壁７３０６上の実際の窓）の同じ位置及び特性で実際の光源によって照らされた場合に家具７３１０によって投じられたであろう（例えば、床７３０８上の）実際の影の位置に対応する（例えば、床表現７３３８’上の）三次元環境内の位置に模倣影７３３８を生成する。
図７Ｆは、図７Ｅと比較して、仮想オブジェクトの様々な部分の動的変化が、物理的環境の様々な部分の表現に異なる影響を与えることを示す。例えば、第１の仮想オブジェクトのサイズ及び内部コンテンツは、図７Ｅでは図７Ｆに示されるものから変化している。ここで、第１の仮想オブジェクトは仮想オブジェクト７３３２’として表されている。図７Ｅの第１の仮想オブジェクト７３３２－ｂ及び７３３２－ｃの第１の部分は、それぞれ図７Ｆの第１の部分７３３２－ｂ’及び７３３２－ｃ’になっている。図７Ｅの第２の部分７３３２－ａ及び７３３２－ｄは、それぞれ図７Ｆの第２の部分７３３２－ａ’及び７３３２－ｄ’になっている。図７Ｆの第１の部分７３３２－ｂ’及び７３３２－ｃ’並びに図７Ｆの第２の部分７３３２－ａ’及び７３３２－ｄ’の中心位置も、それぞれ図７Ｅに示される中心位置に対してシフトしている。その結果、側壁表現７３０６’上の多くの位置に関しては、第１の仮想オブジェクト７３３２上の対応する位置の輝度及び色値は、（例えば、図７Ｅに示される値から図７Ｆに示される値に）変化した。同様に、表現７３０４’、７３１２’、及び７３０８’上に投じられた照明パターン７３３４、７３３６、及び７３４０上の多くの位置に関しては、照明パターンの輝度及び色値もまた、（例えば、図７Ｅに示される値から図７Ｆに示される値に）変化した。例えば、側壁表現７３０６’上の第１の位置に関しては、第１の仮想オブジェクト（例えば、仮想窓、又は仮想動画スクリーン）上の対応する位置の輝度及び色値はそれぞれ、１から０．５に及び黄色から青色に切り替えることができ、側壁表現７３０６’上の第２の位置に関しては、第１の仮想オブジェクト上の対応する位置の輝度及び色値はそれぞれ、０．５から１に及び青色から黄色に切り替えることができる。いくつかの実施形態では、第１の仮想オブジェクトのサイズ変化又は第１の仮想オブジェクトの移動により、側壁表現７３０６’上のいくつかの位置に関しては、それらの位置に対応する輝度及び色は、第１の仮想オブジェクトがその位置に拡張又は移動したために変化する一方、側壁表現７３０６’上の他のいくつかの位置に関しても、それらの位置に対応する輝度及び色第１の仮想オブジェクトがそれらの位置から移動又は縮小したために変化する。更に、いくつかの実施形態では、第１の仮想オブジェクトの様々な部分から来る光の方向も、任意選択的に変化する（例えば、光方向は、時刻に従って、又は仮想窓に示される風景に従って変化する）。その結果、第１の仮想オブジェクト上の様々な位置における輝度及び色の変化は、近傍の物理面の表現上の様々な位置における照明に異なる変化を引き起こす。様々な関係が、第１の仮想オブジェクトの外観に基づいて近傍の物理面の表現の外観を修正するために使用される。
図７Ｆに示されるように、第１の部分７３３２－ｂ’は、前壁表現７３０４’上に照明７３３４－ｂ’をもたらすが、前面表現７３１２’上にいかなる照明ももたらさず、第２の部分７３３２－ａ’によってもたらされる照明７３３６－ａ’は、第１の部分７３３２－ｂによってもたらされる照明７３３４－ｂによって前にカバーされていた領域を覆う（図７Ｅ）。同様に、第２の部分７３３２－ｄ’は、前壁表現７３０４’上に照明７３３４－ｄ’をもたらすが、前面表現７３１２’上にいかなる照明ももたらさず、第１の部分７３３２－ｃ’によってもたらされる照明７３３６－ｃ’は、第２の部分７３３２－ｄによってもたらされる照明７３３４－ｄによって前にカバーされていた領域を覆う（図７Ｅ）。同様に、前壁表現７３０４’では、第１の部分７３３２－ｃによってもたらされる照明７３３４－ｃ及び第２の部分７３３２－ａによってもたらされる照明７３３４－ａによって前にカバーされていたいくつかの部分は、もはやどの照明によってもカバーされていない。同様に、床表現７３０８’では、第１の仮想オブジェクトが収縮しているため、第１の部分７３３２－ｃによってもたらされる照明７３３４－ｃ及び第２の部分７３３２－ａによってもたらされる照明７３３４－ａによって前にカバーされていたいくつかの部分は、もはやどの照明によってもカバーされていない。ここで、より高い照明によって前にカバーされていた床表現７３０８’上のいくつかの位置は、より低い照明によってカバーされ、ここで、下部照明によって前にカバーされていた床表現７３０８’上の他の位置は、より高い照明によってカバーされる。図７Ｆでは、床表現７３０８’上に投じられた影７３３８はまた、第１の仮想オブジェクト７３３２のサイズの縮小により照明量が低減されるため、図７Ｅの影７３０８よりも暗く見える。
いくつかの実施形態では、第１の仮想オブジェクトは、仮想風景を示す仮想窓である。仮想窓から放射される光は、仮想窓に示される仮想風景に基づく。いくつかの実施形態では、仮想窓は、（例えば、窓と物理面との間の空間関係、物理面の物理的特性、及び物理的光伝搬原理に基づいて）実際の窓からの光が近傍の物理面をどのように照らすかを模倣するように、三次元環境の近傍の物理面の表現上に照明パターンを投じる。いくつかの実施形態では、仮想窓に表示される仮想風景は、時刻、風景の位置、及び仮想窓のサイズなどのパラメータに基づいて変化する。
いくつかの実施形態では、第１の仮想オブジェクトは、動画を示す仮想スクリーン又はホログラムである。動画再生が進行すると、動画内のシーンが変化するにつれて、仮想スクリーン又はホログラムから放射される仮想光が変化する。いくつかの実施形態では、仮想スクリーン又はホログラムは、（例えば、スクリーン又はホログラムと物理面との間の空間関係、物理面の物理的特性、及び物理的光伝搬原理に基づいて）実際の動画スクリーン又はホログラムからの光が近傍の物理面をどのように照らすかを模倣するように、三次元環境の近傍の物理面の表現上に照明パターンを投じる。
いくつかの実施形態では、第１の仮想オブジェクトは仮想アシスタントであり、仮想アシスタントから放射される光は、ユーザと仮想アシスタントとの間の異なる相互作用モード中に変化する。例えば、仮想アシスタントの視覚的表現は、最初にユーザによってアクティブ化されたときに第１の色及び強度を有し、質問する又は質問に応答するときに異なる色に変化し、タスクを実行する又はタスクの完了若しくはユーザからの回答を待つときに異なる色に変更する。いくつかの実施形態では、仮想アシスタントは、（例えば、光源と物理面との間の空間関係、物理面の物理的特性、及び物理的光伝搬原理に基づいて）実際の光源からの光が近傍の物理面をどのように照らすかを模倣するように、三次元環境の近傍の物理面の表現上に照明パターンを投じる。仮想アシスタントの視覚的表現が、三次元環境内の近傍の物理的オブジェクト及び仮想オブジェクトの外観にどのように影響するかについての追加の態様は、図７Ｓ～７Ｘ及び図１２を参照して説明する。
いくつかの実施形態では、コンピュータシステムはまた、物理面近傍の仮想オブジェクトから放射される光に基づいて、物理面の表現上に仮想反射及び仮想影を生成する。
図７Ｇ～図７Ｌは、いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験の没入度を徐々に調節することを含む）方法を示すブロック図である。図７Ｇ～７Ｌは、図１０の処理を含む、後述の処理を例示するために使用される。
図７Ｇは、物理的環境に対応する例示的なコンピュータ生成環境を示す。図７Ｇを参照して本明細書に記載されるように、コンピュータ生成環境は、ディスプレイ上に表示される拡張現実環境又はコンピュータ生成環境であってもよく、コンピュータ生成環境は、ディスプレイの透明部分を通じて可視である物理的環境のビュー上に重ね合わされる。図７Ｇに示すように、ユーザ７３０２は、コンピュータシステム（例えば、コンピュータシステム１０１）を動作させる物理的環境（例えば、シーン１０５）に存在している（例えば、デバイス７１００を保持している又はＨＭＤを着用している）。いくつかの実施形態では、図７Ｇに示される実施例のように、デバイス７１００は、ディスプレイ、タッチ感知ディスプレイなどを含むハンドヘルドデバイス（例えば、携帯電話、タブレット、又は他のモバイル電子デバイス）である。いくつかの実施形態では、デバイス７１００は、ヘッドアップディスプレイやヘッドマウントディスプレイなどを含むウェアラブルヘッドセットを表し、任意選択的に置き換えられる。いくつかの実施形態では、物理的環境は、ユーザを取り囲む１つ以上の物理面及び物理的オブジェクト（例えば、部屋の壁（前壁表現７３０４’、側壁表現７３０６’によって表される）、床（例えば、床表現７３０８’によって表される）、家具（例えば、家具表現７３１０によって表される）、及び家具の物理面７３１２（例えば、物理面表現７３１２’で表される））を含む。
図７Ｇ～７Ｌに示される実施例では、物理的環境（例えば、デバイス７１００の１つ以上のカメラの視野内にある、又はデバイス７１００のディスプレイの透明部分を通じて可視である物理的環境の部分）に対応するコンピュータ生成三次元環境が、デバイス７１００に表示される。デバイス７１００上に示されるコンピュータ生成環境は三次元環境であり、いくつかの実施形態によると、デバイス７１００の物理的環境に対する視点が変化するにつれ（例えば、デバイス７１００又はデバイス７１００の１つ以上のカメラの物理的環境に対する視野角が、物理的環境内のデバイス７１００の移動及び／又は回転に応答して変化するにつれ）、それに応じて、デバイス７１００上に表示されるコンピュータ生成環境の視点が変化する（例えば、物理面及び物理的オブジェクト（例えば、壁、床、家具など）の視点の変化を含む）。
図７Ｇに示されるように、最初に、三次元環境は、前壁７３０４、側壁７３０６、床７３０８、及び家具７３１０の表現を含む、第１のセットの物理的要素と共に示される。任意選択的に、三次元環境は、第１の量の仮想要素を含んでもよい。例えば、三次元環境が最初に表示されるとき、又はコンピュータシステムの表示生成コンポーネントが最初にオンにされる又はユーザの頭部に又はユーザの目の前に着用されるとき、三次元環境において仮想要素は表示されない、又は最小量の仮想要素しか表示されない。これにより、表示生成コンポーネントがユーザの目を遮断することなく、ユーザは、現実世界の直接ビューと非常に類似している三次元環境のビューから開始することができる。
図７Ｇ及び図７Ｈに示されるように、コンピュータシステムは、三次元環境の没入度を上昇させる第１の所定のジェスチャ入力（例えば、表示生成コンポーネント上の表現７２００’によって表される、手７２００によって実行される親指フリックジェスチャ又はスワイプジェスチャ、空中での上方ウェーブジェスチャ、コントローラ上のスワイプジェスチャなど）を検出する。第１の所定のジェスチャを検出したことに応答して、コンピュータシステムは、三次元環境内の前壁７３０４のビューを遮断する仮想要素７４０２（例えば、仮想風景又は仮想窓）を表示する（例えば、仮想要素７４０２が、ディスプレイ上の前壁７３０４の表現７３０４’の表示に置き換わる、又は仮想要素７４０２が、ディスプレイの以前透明だった部分（現在、仮想要素７４０２を表示している部分）を介した前壁７３０４のビューを遮断する位置に表示される）。いくつかの実施形態では、図７Ｈに示されるように、前壁７３０４のビューが仮想要素７４０２の表示によって遮断されても、前壁７３０４の前にある家具７３１０のビューは影響を受けない。言い換えれば、第１の所定のジェスチャにより、第１のクラスの物理的オブジェクト又は物理面（例えば、前壁）は、新たに表示された仮想要素又は既存の仮想要素の新たに表示された部分によって置換又は遮断される。いくつかの実施形態では、アニメーション移行が表示されて、徐々に拡大して（例えば、図７Ｈに示される）、又はより不透明で飽和されて、前壁７３０４のビューを覆う又は遮断する（例えば、三次元環境内で表現７３０４’に置き換わる）仮想要素７４０２を示す。
いくつかの実施形態では、第１の所定のジェスチャに応答して、コンピュータシステムはまた、任意選択的に、全クラスの物理的要素を置き換えることなく、別の仮想要素（例えば、仮想オブジェクト７４０４）を三次元環境に追加する。仮想オブジェクト７４０４は、任意選択的に、メニュー（例えば、アプリケーションのメニュー、文書など）、コントロール（例えば、ディスプレイ輝度コントロール、ディスプレイ焦点コントロールなど）、又はユーザ入力によって操作することができる、又は三次元環境に情報若しくはフィードバックを提供するその他のオブジェクト（例えば、仮想アシスタント、文書、メディアアイテムなど）などのユーザインタフェースオブジェクトである。いくつかの実施形態では、図７Ｉに示されるように、仮想オブジェクト７４０４は、入力焦点を得ることなく、及び／又は三次元環境に特別に挿入される（例えば、メニューからドラッグされる、又は描画ツールによって描画される）ことなく、三次元環境に追加される（例えば、床７３０８の一部を遮断するか、又は床表現７３０８’の一部を置き換える）。いくつかの実施形態では、コンピュータシステムは、三次元環境に現在提供されているユーザインタフェースを使用して、ユーザにそれぞれの仮想要素を三次元環境に個別に導入することを可能にする（例えば、新しい家具を追加する、部屋に仮想紙吹雪を投げ入れるなど）が、このタイプの入力は、三次元環境の没入度を変化させず、単一アクションで全クラスの物理的要素のビューを置き換えない。
図７Ｈに続く図７Ｉは、前壁７３０４が仮想要素７４０２によって完全に遮断又は置換されていることを示す。前壁７３０４の前にある家具７３１０のビューは、三次元環境内に依然として示されている。仮想要素７４０４は、床表現７３０８’の一部を遮断する。側壁７３０６の表現７３０６’及び床７３０８の表現７３０８’は、仮想要素７４０２及び７４０４が第１の所定のジェスチャ入力に応答して三次元環境に追加された後、三次元環境において可視である。
図７Ｉ及び図７Ｊに示されるように、コンピュータシステムは、（例えば、図７Ｇに示される）第１の所定のジェスチャ入力を検出した後、三次元環境の没入度を高めるための第２の所定のジェスチャ入力（例えば、表示生成コンポーネント上の表現７２００’によって表される手７２００によって実行される親指フリックジェスチャ又はスワイプジェスチャ、コントローラ上のスワイプジェスチャなど）を検出する。第２の所定のジェスチャを検出したことに応答して、コンピュータシステムは、三次元環境内の前壁７３０４のビューを遮断する仮想要素７４０２（例えば、仮想風景、又は仮想窓）の表示を維持し、仮想要素７４０６を表示する。仮想要素７４０６は、三次元環境内の側壁７３０６のビューを遮断する（例えば、仮想要素７４０６は、ディスプレイ上の側壁７３０６の表現７３０６’の表示と置き換わる、又は仮想要素７４０６は、ディスプレイの以前透明であった部分（例えば、今は仮想要素７４０６を表示している部分）を介した側壁７３０６のビューを遮断する位置に表示される。図７Ｉ～図７Ｊでは、第２の所定のジェスチャにより、追加のクラスの物理的オブジェクト又は表面（例えば、側壁）が、新たに表示された仮想要素又は既存の仮想要素の新たに表示された部分によって置換又は遮断される。いくつかの実施形態では、アニメーション移行が表示されて、仮想要素７４０６が徐々に拡大し又はより不透明になり、側壁７３０６のビューを覆う又は遮断する（例えば、三次元環境で表現７３０６’と置き換わる）。
図７Ｊに続く図７Ｋは、前壁７３０４及び側壁７３０６が仮想要素７４０２及び７４０６によって完全に遮断又は置換されていることを示す。前壁７３０４の前にある家具７３１０のビューは、三次元環境内に依然として示されている。仮想要素７４０４は、床表現７３０８’の一部を遮断する。仮想要素７４０２、７４０４、及び７４０６が、第１及び第２の所定のジェスチャ入力に応答して三次元環境に追加された後、床７３０８の表現７３０８’は三次元環境において依然として可視である。
図７Ｋ及び図７Ｌに示されるように、コンピュータシステムは、（例えば、図７Ｇ及び７Ｉに示される）第１及び第２の所定のジェスチャ入力を検出した後、三次元環境の没入度を高めるための第３の所定のジェスチャ入力（例えば、表示生成コンポーネント上の表現７２００’によって表される手７２００によって実行される親指フリックジェスチャ又はスワイプジェスチャ、コントローラ上のスワイプジェスチャなど）を検出する。第３の所定のジェスチャ入力を検出したことに応答して、コンピュータシステムは、三次元環境内の前壁７３０４及び側壁７３０６のビューを遮断する仮想要素７４０２及び７４０６（例えば、仮想風景又は仮想窓）の表示を維持し、仮想要素７４０８及び７４１０を表示する。仮想要素７４０８は、三次元環境内の床７３０８のビューを遮断する（例えば、仮想要素７４０８は、ディスプレイ上の床７３０８の表現７３０８’の表示と置き換わる、又は仮想要素７４０８は、ディスプレイの以前透明であった部分（例えば、今は仮想要素７４０８を表示している部分）を介した床７３０６のビューを遮断する位置に表示される。図７Ｋ～図７Ｌでは、第３の所定のジェスチャにより、追加のクラスの物理的オブジェクト又は表面（例えば、床）が、新たに表示された仮想要素又は既存の仮想要素の新たに表示された部分によって置換又は遮断される。いくつかの実施形態では、アニメーション移行が表示されて、仮想要素７４０８が徐々に拡大し又はより不透明になり、床７３０８のビューを覆う又は遮断する（例えば、三次元環境で表現７３０８’と置き換わる）。
いくつかの実施形態では、第３の所定のジェスチャに応答して、コンピュータシステムはまた、任意選択的に、全クラスの物理的要素を置き換えることなく、別の仮想要素（例えば、仮想要素７４１０）を三次元環境に追加する。仮想要素７４１０は、任意選択的に、メニュー（例えば、アプリケーションのメニュー、文書など）、コントロール（例えば、ディスプレイ輝度コントロール、ディスプレイ焦点コントロールなど）、又はユーザ入力によって操作することができる、又は三次元環境に情報若しくはフィードバックを提供するその他のオブジェクト（例えば、仮想アシスタント、文書、メディアアイテムなど）、又は物理的オブジェクトの外観を変化させるテクスチャ（例えば、装飾特徴、写真など）などのユーザインタフェースオブジェクトである。いくつかの実施形態では、図７Ｌに示されるように、仮想オブジェクト７４１０は、三次元環境に追加される（例えば、家具７３１０の前面７３１２の一部に重なる、又は物理面表現７３１２’の一部に置き換わる）。
いくつかの実施形態では、三次元環境の没入度を高めるための所定のジェスチャタイプの連続入力ジェスチャの後、追加量の仮想要素が任意選択的に三次元環境に導入されて、三次元環境において以前に可視であった追加クラスの物理的要素のビューを置換又は遮断する。いくつかの実施形態では、三次元環境の全体が仮想要素で置き換えられ、物理世界へのビューは、三次元環境内で仮想要素のビューによって完全に置き換えられる。
いくつかの実施形態では、仮想要素７４０２及び７４０６はそれぞれ、前壁表現７３０４’及び側壁表現７３０６’の対応する部分の代わりに表示される仮想窓である。いくつかの実施形態では、仮想窓から放射される光は、三次元環境内で依然として可視である又は表される物理面（例えば、床又は家具）上に、模倣照明パターンを投じる。いくつかの実施形態による、周囲の物理面上の仮想要素からの光の影響の追加の詳細は、図７Ｃ～７Ｆ及び図９を参照して説明する。
いくつかの実施形態では、仮想要素７４０２及び７４０６のコンテンツ又は外観（例えば、仮想窓又は仮想スクリーン）は、追加のジェスチャ入力（例えば、空中での手の水平スワイプ、又は指の周りの所定方向へのスワイプ）に応答して変化する。いくつかの実施形態では、仮想要素のサイズ、仮想要素内に表示される仮想風景の位置、仮想要素内に表示されるメディアアイテムなどは、追加のジェスチャ入力に応答して変化する。
いくつかの実施形態では、三次元環境の没入度を上昇又は低下させるためのジェスチャ入力は、反対方向の垂直スワイプジェスチャである（例えば、没入度／仮想要素の量を上昇させるためには上方、及び没入度／仮想要素の量を減少させるためには下方）。いくつかの実施形態では、仮想要素のコンテンツを変更するためのジェスチャは、水平スワイプジェスチャである（例えば、水平スワイプジェスチャは、仮想要素に表示されるコンテンツを、複数の位置又は時刻を通って後方及び／又は前方に切り替える）。
いくつかの実施形態では、三次元環境の没入度を上昇させるための第１の所定のジェスチャ入力、第２の所定のジェスチャ入力、及び第３の所定のジェスチャ入力のシーケンスは、任意選択的に、１つの連続入力によって置き換えられて複数の没入度に変化させる。連続入力の各連続部分は、いくつかの実施形態による、図７Ｇ～図７Ｌに示される第１、第２、及び第３の所定のジェスチャ入力のそれぞれの入力に対応する。
いくつかの実施形態では、床７３０８又は床表現７３０８’は、壁などの他の物理面が仮想要素によって置換される又は重ね合わされる場合でも、三次元環境において常に可視のままである。これは、物理的世界を歩き回ることによって三次元環境内をナビゲートするときに、ユーザが安全を感じ転ばないように確保するのに役立つ。
いくつかの実施形態では、いくつかの家具又は家具表面の一部は、壁及び床などの他の物理面が仮想要素によって置換される又は重ね合わされる場合でも常に可視のままである。これは、ユーザが三次元環境に没入したときに、環境との違和感のない関係を維持するように確保するのに役立つ。
本実施例によると、図７Ｇ、７Ｉ、及び７Ｋでは、手７２００の表現７２００’が、コンピュータ生成環境に表示される。コンピュータ生成環境は、（例えば、右手がデバイス７１００の１つ以上のカメラの視野内にないため）ユーザの右手の表現を含まない。更に、いくつかの実施形態では、例えば、デバイス７１００がハンドヘルドデバイスである図７Ｉに示される例では、ユーザは、デバイス７１００に表示される物理的環境の任意の表現とは別に、周囲の物理的環境の部分を見ることができる。例えば、ユーザの手の部分は、デバイス７１００のディスプレイの外側でユーザに可視である。いくつかの実施形態では、これらの例におけるデバイス７１００は、周囲の物理的環境のユーザのビューを完全に遮断するディスプレイ（例えば、ヘッドマウントディスプレイ）を有するヘッドセットを表し、それに置き換えることができる。いくつかのそのような実施形態では、物理的環境はいかなる部分もユーザにとって直接視認可能ではく、その代わりに、物理的環境は、デバイスによって表示される物理的環境の部分の表現を介してユーザに可視となる。いくつかの実施形態では、ユーザの手の現在の状態がデバイスによって連続的又は定期的に監視されて、ユーザの手（単数又は複数）がジェスチャ入力を提供するための準備完了状態に入ったかどうかを判定する間、ユーザの手（単数又は複数）は、直接又はデバイス７１００のディスプレイを介してユーザに不可視である。いくつかの実施形態では、デバイスは、ユーザの手が入力ジェスチャを提供するための準備完了状態にあるかどうかのインジケータを表示し、ユーザにフィードバックを提供し、ユーザに入力ジェスチャを提供することを望む場合に手の位置を調節するようにユーザに警告する。
図７Ｍ～図７Ｒは、いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法を示すブロック図である。図７Ｍ～７Ｒは、図１１の処理を含む、後述の処理を例示するために使用される。
図７Ｎは、図７Ｍに示す物理的環境に対応する例示的なコンピュータ生成環境を示す。図７Ｍ～７Ｒを参照して本明細書に記載されるように、いくつかの実施形態によると、コンピュータ生成環境は、任意選択的に、物理的環境のカメラビューを含む拡張現実環境、又はコンピュータ生成環境がディスプレイの透明部分を通じて可視である物理的環境のビュー上に重ね合わされるようにディスプレイ上に表示されるコンピュータ生成環境であってもよい。図７Ｍに示されるように、ユーザ７３０２は、コンピュータシステム（例えば、コンピュータシステム１０１）を動作させる物理的環境（例えば、シーン１０５）に立っている（例えば、デバイス７１００を保持している又はＨＭＤを着用している。いくつかの実施形態では、図７Ｍ～７Ｒに示される実施例のように、デバイス７１００は、ディスプレイ、タッチ感知ディスプレイなどを含むハンドヘルドデバイス（例えば、携帯電話、タブレット、又は他のモバイル電子デバイス）である。いくつかの実施形態では、デバイス７１００は、ヘッドアップディスプレイやヘッドマウントディスプレイなどを含むウェアラブルヘッドセットを表し、任意選択的に置き換えられる。いくつかの実施形態では、物理的環境は、ユーザ７３０２を取り囲む１つ以上の物理面及び物理的オブジェクト（例えば、部屋の壁（例えば、前壁７３０４、側壁７３０６）、床７３０８、及びボックス７５０２及び７５０４）（例えば、テーブル、スピーカ、ランプ、器具など）を含む。いくつかの実施形態では、環境内の物理的オブジェクトの１つ以上の物理面は、コンピュータシステムの表示生成コンポーネントを通じて（例えば、デバイス７１００のディスプレイ上又はＨＭＤを介して）可視である。
図７Ｍ～７Ｒに示される実施例では、物理的環境（例えば、デバイス７１００の１つ以上のカメラの視野内にある、又はデバイス７１００のディスプレイの透明部分を通じて可視である物理的環境の部分）に対応するコンピュータ生成三次元環境が、デバイス７１００に表示される。物理的環境は、コンピュータシステムの表示生成コンポーネントによって示されるコンピュータ生成三次元環境に対応する表現を有する物理的オブジェクトを含む。例えば、前壁７３０４は、前壁表現７３０４’によって表され、側壁７３０６は、側壁表現７３０６’によって表され、床７３０８は、床表現７３０８’によって表され、ボックス７５０２及び７５０４は、ディスプレイ上に示されるコンピュータ生成環境においてボックス表現７５０２’及び７５０４’によって表されている（例えば、コンピュータ生成環境は、デバイス７１００の１つ以上のカメラのライブビューの一部としての物理的オブジェクト、又はデバイス７１００のディスプレイの透明部分を通じて可視である物理的オブジェクトの表現７３０４’、７３０６’、７３０８’、７５０２’、及び７５０４’を含む拡張現実環境である）。いくつかの実施形態では、ディスプレイ上に示されるコンピュータ生成環境はまた、仮想オブジェクトを含む。いくつかの実施形態によると、デバイス７１００の物理的環境に対する視野が変化するにつれ（例えば、デバイス７１００又はデバイス７１００の１つ以上のカメラの物理的環境に対する視野角が、物理的環境内のデバイス７１００の移動及び／又は回転に応答して変化するにつれ）、それに応じて、デバイス７１００上に表示されるコンピュータ生成環境の視野が変化する（例えば、物理面及び物理的オブジェクト（例えば、壁、床、家具など）の視野の変化を含む）。
いくつかの実施形態では、ユーザ７３０２と三次元環境との間の相互作用レベルが第１の所定のレベルを下回る場合（例えば、ユーザは、三次元環境内の特定の位置に焦点を合わせることなく単に三次元環境を見ている）、コンピュータシステムは、図７Ｎに示すように、ボックス７５０２及び７５０４の表現７５０２’及び７５０４が任意の対応するユーザインタフェース又は仮想オブジェクトと共に表示されない、三次元環境の初期状態を表示する。
図７Ｏ及び７Ｐでは、コンピュータシステムは、ユーザと三次元環境との間の相互作用のレベルが第１の所定のレベルを超えて上昇したことを検出する。特に、図７Ｏでは、視線入力が、同時ジェスチャ入力又はジェスチャ入力が提供されようとしているというインジケーションを伴わずに、ボックス７５０２の表現７５０２’（例えば、スピーカ又はテーブルトップ）上で検出される（例えば、ユーザの手は、ジェスチャ入力を提供するための準備完了状態にない）。三次元環境内のボックス７５０２の表現７５０２’上の視線入力を検出したことに応答して、コンピュータシステムは、ユーザとボックス７５０２又は表現７５０２’との間の相互作用のレベルが第１の所定のレベルに達した（しかし、第１の所定のレベルを超える第２の所定のレベルには達していない）と判定する。ボックス７５０２又は表現７５０２’との相互作用のレベルが第１の所定のレベルに達したと判定したことに応答して、コンピュータシステムは、物理的環境内のボックス７５０２の位置に対応する三次元環境内の位置に、ボックス７５０２に対応する第１のユーザインタフェース７５１０を表示する。例えば、図７Ｏに示されるように、複数のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７５０６及び７５０８）が、ボックス７５０２の上面に重なって、又は表現７５０２’の一部に置き換わって見えるように表示される。いくつかの実施形態では、ボックス７５０２はテーブルであり、ユーザインタフェースオブジェクト７５０６及び７５０８は、仮想新聞、仮想スクリーン、アプリケーション又は通信チャネルからの通知、キーボード及びディスプレイ、スケッチパッドなどのうちの１つ以上を含む。いくつかの実施形態では、ボックス７５０２はスピーカであり、ユーザインタフェースオブジェクト７５０６及び７５０８は、ボリュームインジケータ、再生／休止コントロール、現在再生されている歌／アルバムの名称、今日の天気などを含む。いくつかの実施形態では、ボックス７５０２はスマートランプ又は機器であり、ユーザインタフェースオブジェクト７５０６及び７５０８は、輝度又は温度コントロール、開始／停止又はオン／オフボタン、タイマなどのうちの１つ以上を含む。
図７Ｐでは、視線入力は、同時ジェスチャ入力又はジェスチャ入力が提供されようとしているというインジケーションを伴わずに（例えば、ユーザの手がジェスチャ入力を提供するための準備完了状態にない）、ボックス７５０２の表現７５０２’（例えば、テーブルトップ、スピーカ、スマートランプ又は機器）からボックス７５０４の表現７５０４’（例えば、スマート医薬品棚）に移っている。視線入力が三次元環境内でボックス７５０２の表現７５０２’からボックス７５０４の表現７５０４’まで移ったことを検出したことに応答して、コンピュータシステムは、ユーザとボックス７５０４又は表現７５０４’との間の相互作用のレベルが第１の所定のレベルに達した（しかし、第１の所定のレベルを上回る第２の所定のレベルには達していない）、又はユーザとボックス７５０２又は表現７５０２’との間の相互作用のレベルが第１の所定のレベル未満に低下したと判定する。ユーザとボックス７５０２又は表現７５０２’との間の相互作用のレベルが第１の所定のレベル未満に低下したとの判定に従って、コンピュータシステムは、ボックス７５０２に対応する第１のユーザインタフェース７５１０の表示を停止する。ボックス７５０４又は表現７５０４’に対する相互作用のレベルが第１の所定のレベルに達したと判定したことに応答して、コンピュータシステムは、物理的環境内のボックス７５０４の位置に対応する三次元環境内の位置に、ボックス７５０４に対応する第１のユーザインタフェース７５１２を表示する。例えば、図７Ｐに示すように、複数のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７５１４及び７５１６）は、ボックス７５０４の前面に重なる、又は表現７５０４’の一部に置き換わるように表示される。いくつかの実施形態では、ボックス７５０４はスマート医薬品棚であり、複数のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７５１４及び７５１６）は、医薬品棚のステータスのうちの１つ以上（例えば、特定の医薬品又は補給品が残り少なく、補充される必要があるというインジケータ、又は今日の日付の医薬品が服用されたかどうかのリマインダ）を含む。
図７Ｑ及び図７Ｒでは、コンピュータシステムは、ユーザと三次元環境との間の相互作用のレベルが第１の所定のレベルを超える第２の所定のレベルを超えて上昇したことを検出する。特に、図７Ｑでは、ボックス７５０２（例えば、スピーカ、又はテーブルトップ）の表現７５０２’上の視線入力を検出したことに加えて、コンピュータシステムはまた、ジェスチャ入力が提供されようとしているというインジケーションを検出する（例えば、ユーザの手が、ジェスチャ入力を提供するための準備完了状態で発見される）。ユーザとボックス７５０２又は表現７５０２’との間の相互作用レベルが第２の所定のレベルに達したと判定したことに応答して、コンピュータシステムは、任意選択的にボックス７５０２に対応する第１のユーザインタフェース７５１０の拡張バージョンである第２のユーザインタフェース７５１０’を表示する。ボックス７５０２に対応する第２のユーザインタフェース７５１０’は、物理的環境内のボックス７５０２の位置に対応する三次元環境内の位置に表示される。例えば、図７Ｑに示すように、複数のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７５０６、７５１８、７５２０、７５２２、及び７５２４）が、ボックス７５０２の上面に重なって、又は表現７５０２’の一部に置き換わって見えるように表示される。いくつかの実施形態では、ボックス７５０２はテーブルであり、ユーザインタフェースオブジェクト７５０６、７５１８、７５２０、７５２２、及び７５２４は、第１のユーザインタフェース７５１０に示されるユーザインタフェースオブジェクトのうちの１つ以上、及び第１のユーザインタフェース７５１０に含まれない他のユーザインタフェースオブジェクトのうちの１つ以上（例えば、拡張ディスプレイ、第１のユーザインタフェース７５１０では利用できなかった追加キーを有するキーボード、アプリケーションアイコン及びドキュメントリストを有する仮想デスクトップなど）を含む。いくつかの実施形態では、ボックス７５０２はスピーカであり、ユーザインタフェースオブジェクト７５０６、７５１８、７５２０、７５２２、及び７５２４は、第１のユーザインタフェース７５１０に示されるユーザインタフェースオブジェクトのうちの１つ以上、及び第１のユーザインタフェース７５１０に含まれない他のユーザインタフェースオブジェクトのうちの１つ以上（例えば、出力ルーティングコントロール、閲覧可能なメディアデータベース、対応する仮想キーボードを有する検索入力フィールドなど）を含む。いくつかの実施形態では、ボックス７５０２はスマートランプ又は機器であり、ユーザインタフェースオブジェクト７５０６、７５１８、７５２０、７５２２、及び７５２４は、第１のユーザインタフェース７５１０に示されるユーザインタフェースオブジェクトのうちの１つ以上、及び第１のユーザインタフェース７５１０に含まれない他のユーザインタフェースオブジェクトのうちの１つ以上（例えば、スマートランプ又は機器、色コントロール、スケジューリングコントロールなどの各種設定）を含む。
いくつかの実施形態では、図７Ｑが図７Ｏに続き、ユーザの視線がボックス７５０２に焦点が合っている間に、ユーザの手が準備完了状態になったことに応答して、第２のユーザインタフェース７５１０’が表示される。いくつかの実施形態では、図７Ｑが図７Ｐに続き、ユーザの手が準備完了状態になり、ユーザの視線がボックス７５０４からボックス７５０２に移ったことに応答して、ユーザインタフェースが表示される（例えば、視線入力がボックス７５０４から離れた後、第１のユーザインタフェース７５１２の表示が停止される）。
図７Ｒでは、ユーザの手がジェスチャ入力を提供するための準備完了状態にある間、視線入力は、ボックス７５０２の表現７５０２’（例えば、テーブルトップ、スピーカ、スマートランプ又は器具）からボックス７５０４の表現７５０４’（例えば、スマート医薬品棚）に移っている。視線入力が三次元環境内でボックス７５０２の表現７５０２’からボックス７５０４の表現７５０４’まで移ったことを検出したことに応答して、コンピュータシステムは、ユーザとボックス７５０４又は表現７５０４’との間の相互作用のレベルが第２の所定のレベルに達したと判定し、ユーザとボックス７５０２又は表現７５０２’との間の相互作用のレベルが第２の所定のレベル及び第１の所定のレベル未満に低下したと判定する。ユーザとボックス７５０２又は表現７５０２’との間の相互作用のレベルが第１の所定のレベル未満に低下したとの判定に従って、コンピュータシステムは、ボックス７５０２に対応する第２のユーザインタフェース７５１０’の表示を停止する。ボックス７５０４又は表現７５０４’との相互作用のレベルが第２の所定のレベルに達したと判定したことに応答して、コンピュータシステムは、物理的環境内のボックス７５０４の位置に対応する三次元環境内の位置に、ボックス７５０４に対応する第２のユーザインタフェース７５１２’を表示する。例えば、図７Ｒに示されるように、複数のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７５１４、７５１６、７５２６、７５２８、及び７５３０）が、ボックス７５０４の前面に重なって、又は表現７５０４’の一部に置き換わって見えるように表示される。いくつかの実施形態では、ボックス７５０４はスマート医薬品棚であり、複数のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７５１４及び７５１６）は、第１のユーザインタフェース７５１０に示されるユーザインタフェースオブジェクトのうちの１つ以上、及び医薬品棚内の医薬品又は補給品のリスト、本日の医薬品用のスケジューリング設定、医薬品棚の温度及び認証設定などの第１のユーザインタフェース７５１０に含まれていない１つ以上の他のユーザインタフェースオブジェクトを含む。
いくつかの実施形態では、図７Ｒが図７Ｑに続き、ユーザの手が準備完了状態に維持され、ユーザの視線がボックス７５０２からボックス７５０４に移ったことに応答して、ユーザインタフェース７５１２が表示される（例えば、視線入力がボックス７５０２から離れた後、第２のユーザインタフェース７５１２’の表示が停止される）。いくつかの実施形態では、図７Ｒが図７Ｐに続き、ユーザの視線がボックス７５０４に焦点が合っている間に、ユーザの手が準備完了状態になったことに応答して、第２のユーザインタフェース７５１２’が表示される。いくつかの実施形態では、図７Ｒが図７Ｏに続き、ユーザの手が準備完了状態になり、ユーザの視線がボックス７５０２からボックス７５０４に移ったことに応答して、ユーザインタフェース７５１２’が表示される（例えば、視線入力がボックス７５０２から離れた後、第１のユーザインタフェース７５１０の表示が停止される）。
いくつかの実施形態では、コンピュータシステムが、ユーザの手が物理的オブジェクト（例えば、ボックス７５０２又は７５０４）の上方に浮かんでいる（例えば、ユーザの指と物理的オブジェクトとの間の距離が閾値距離内にある）ことを検出すると、コンピュータシステムは、相互作用の第３のレベルに達したと判定し、物理的オブジェクトに対応する第２のユーザインタフェースよりも多くの情報及び／又はユーザインタフェースオブジェクトで、物理的オブジェクト（例えば、ボックス７５０２又は７５０４）に対応する第３のユーザインタフェースを表示する。いくつかの実施形態では、ユーザの手が物理的オブジェクトから離れて移動した（例えば、ユーザの指と物理的オブジェクトとの間の距離が閾値距離を超えて増加する）ことに応答して、第３のユーザインタフェースは縮小し、物理的オブジェクトに対応する第２のユーザインタフェースに戻る。
いくつかの実施形態では、コンピュータシステムは、物理的オブジェクト（例えば、ボックス７５０２又は７５０４）上にある物理面上に提供されるタッチ入力に応答して動作を実行する。例えば、タッチ入力は、任意選択的に、物理的オブジェクト上の物理面上のタッチセンサとは対照的に、コンピュータシステムの１つ以上のカメラなどのセンサによって検出される。いくつかの実施形態では、物理面上の入力の位置は、物理的オブジェクトに対応する第１／第２／第３のユーザインタフェース内のユーザインタフェースオブジェクトの位置にマッピングされ、それにより、コンピュータシステムは、物理面上のタッチ入力の位置に従ってどの動作を実行するかを判定することができる。
いくつかの実施形態では、ユーザは、第１／第２／第３のユーザインタフェース内の視線を用いて、物理的オブジェクト（例えば、ボックス７５０２又は７５０４）に対応する第１／第２／第３のユーザインタフェース内のユーザインタフェースオブジェクトを選択する。コンピュータは、視線入力が現在選択されているユーザインタフェースオブジェクト上にある間に検出されたユーザインタフェースオブジェクトをアクティブ化するためのジェスチャ入力に応答して、現在選択されているユーザインタフェースオブジェクトに対応する動作を実行する。
いくつかの実施形態では、ユーザは、任意選択的に近傍の物理面を利用して、ユーザから遠い物理的オブジェクトを制御する。例えば、ユーザは、近傍の物理面（例えば、ユーザの手の後側又は掌ら、アームチェアのアーム、コントローラなど）上でスワイプすることができ、ユーザのジェスチャ入力は、１つ以上のセンサ（例えば、コンピュータシステムの１つ以上のカメラ）によって検出され、現在表示されている第１／第２／第３のユーザインタフェースと相互作用するために使用される。
本実施例によると、図７Ｑ及び７Ｒでは、手７２００の表現７２００’が、コンピュータ生成環境に表示される。コンピュータ生成環境は、（例えば、右手がデバイス７１００の１つ以上のカメラの視野内にないため）ユーザの右手の表現を含まない。更に、いくつかの実施形態では、例えば、デバイス７１００がハンドヘルドデバイスである図７Ｑ及び７Ｒに示される実施例では、ユーザは、デバイス７１００に表示される物理的環境の任意の表現とは別に、周囲の物理的環境の部分を見ることができる。例えば、ユーザの手の部分は、デバイス７１００のディスプレイの外側でユーザに可視である。いくつかの実施形態では、これらの例におけるデバイス７１００は、周囲の物理的環境のユーザのビューを完全に遮断するディスプレイ（例えば、ヘッドマウントディスプレイ）を有するヘッドセットを表し、それに置き換えることができる。いくつかのそのような実施形態では、物理的環境はいかなる部分もユーザにとって直接視認可能ではく、その代わりに、物理的環境は、デバイスによって表示される物理的環境の部分の表現を介してユーザに可視となる。いくつかの実施形態では、ユーザの手の現在の状態がデバイスによって連続的又は定期的に監視されて、ユーザの手（単数又は複数）がジェスチャ入力を提供するための準備完了状態に入ったかどうかを判定する間、ユーザの手（単数又は複数）は、直接又はデバイス７１００のディスプレイを介してユーザに不可視である。いくつかの実施形態では、デバイスは、ユーザの手が入力ジェスチャを提供するための準備完了状態にあるかどうかのインジケータを表示し、ユーザにフィードバックを提供し、入力ジェスチャを提供することを望む場合に手の位置を調節するようにユーザに警告する。
図７Ｓ～７Ｘは、いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法を示すブロック図である。図７Ｓ～７Ｘは、図１２の処理を含む、後述の処理を例示するために使用される。
図７Ｔ～７Ｘは、図７Ｓに示す物理的環境に対応する例示的なコンピュータ生成環境を示す。図７Ｔ～７Ｘを参照して本明細書に記載されるように、いくつかの実施形態によると、コンピュータ生成環境は、任意選択的に、物理的環境のカメラビューを含む拡張現実環境、又はコンピュータ生成環境がディスプレイの透明部分を通じて可視である物理的環境のビュー上に重ね合わされるようにディスプレイ上に表示されるコンピュータ生成環境であってもよい。図７Ｔに示すように、ユーザ７３０２は、コンピュータシステム（例えば、コンピュータシステム１０１）を動作させる物理的環境（例えば、シーン１０５）に立っている（例えば、デバイス７１００を保持している又はＨＭＤを着用している。いくつかの実施形態では、図７Ｔ～７Ｘに示される実施例のように、デバイス７１００は、ディスプレイ、タッチ感知ディスプレイなどを含むハンドヘルドデバイス（例えば、携帯電話、タブレット、又は他のモバイル電子デバイス）である。いくつかの実施形態では、デバイス７１００は、ヘッドアップディスプレイやヘッドマウントディスプレイなどを含むウェアラブルヘッドセットを表し、任意選択的に置き換えられる。いくつかの実施形態では、物理的環境は、ユーザ７３０２を取り囲む１つ以上の物理面及び物理的オブジェクト（例えば、部屋の壁、（例えば、前壁７３０４、側壁７３０６）、床７３０８、及び家具７３１０）を含む。いくつかの実施形態では、環境内の物理的オブジェクトの１つ以上の物理面は、コンピュータシステムの表示生成コンポーネントを通じて（例えば、デバイス７１００のディスプレイ上又はＨＭＤを介して）可視である。
図７Ｔ～７Ｘに示される実施例では、物理的環境（例えば、デバイス７１００の１つ以上のカメラの視野内にある、又はデバイス７１００のディスプレイの透明部分を通じて可視である物理的環境の部分）に対応するコンピュータ生成三次元環境が、デバイス７１００に表示される。物理的環境は、コンピュータシステムの表示生成コンポーネントによって示されるコンピュータ生成三次元環境に対応する表現を有する物理的オブジェクトを含む。例えば、ディスプレイ上に示されるコンピュータ生成環境において、前壁７３０４は前壁表現７３０４’によって表され、側壁７３０６は側壁表現７３０６’によって表され、床７３０８は床表現７３０８’によって表され、家具７３１０は家具表現７３１０’によって表され、家具７３１０の前面７３１２は前面表現７３１２’によって表される（例えば、コンピュータ生成環境は、デバイス７１００の１つ以上のカメラのライブビューの一部である物理的オブジェクト、又はデバイス７１００のディスプレイの透明部分を通じて可視である物理的オブジェクトの表現７３０４’、７３０６’、７３０８’、７３１０’及び７３１２’を含む拡張現実環境である）。いくつかの実施形態では、ディスプレイ上に示されるコンピュータ生成環境はまた、仮想オブジェクト（例えば、床７３０８の床表現７３０８’の一部に対応するディスプレイの一部に静止している仮想オブジェクト７４０４）を含む。いくつかの実施形態によると、デバイス７１００の物理的環境に対する視野が変化するにつれ（例えば、デバイス７１００又はデバイス７１００の１つ以上のカメラの物理的環境に対する視野角が、物理的環境内のデバイス７１００の移動及び／又は回転に応答して変化するにつれ）、それに応じて、デバイス７１００上に表示されるコンピュータ生成環境の視野が変化する（例えば、物理面及び物理的オブジェクト（例えば、壁、床、家具など）の視野の変化を含む）。
図７Ｔでは、コンピュータシステムは、音声ベース仮想アシスタントをアクティブ化するという要求に対応する入力を検出する。例えば、ユーザは、音声ベースの起動コマンド「アシスタント！」をコンピュータシステムに提供する。いくつかの実施形態では、ユーザは、任意選択的に、向きを変えて音声ベース仮想アシスタントのホーム位置に対応する三次元環境内の所定の位置を見る、及び／又はアクティブ化入力（例えば、ユーザの指又はコントローラのタップ入力、視線入力など）を提供する。
図７Ｕ及び図７Ｗでは、三次元環境内の音声ベース仮想アシスタントをアクティブ化するという要求に対応する入力を検出したことに応答して、コンピュータシステムは、三次元環境に仮想アシスタントの視覚的表現を表示する。いくつかの実施形態では、仮想アシスタントの視覚的表現は、仮想オブジェクト７６０２である。例えば、仮想オブジェクト７６０２は、仮想アシスタントのアバター（例えば、発光楕円又はアニメーション文字など）である。いくつかの実施形態では、視覚的インジケーションは、必ずしも仮想面を有するオブジェクトではなく、ディスプレイの周辺領域、ユーザの視野の周辺領域、又は視線入力の標的領域の周辺領域の周りの照明などの視覚的効果である。いくつかの実施形態では、他の視覚的効果（例えば、仮想アシスタントの背景又はディスプレイ全体を暗くする又はぼやかせる）が、仮想アシスタントの視覚的インジケーションの表示と併せて表示される。
図７Ｕ及び図７Ｗに示すように、仮想アシスタントの視覚的表現は、仮想アシスタントがアクティブ化されたときの視覚的表現の第１の表示特性（例えば、輝度、色）の第１のセットの値を有する。例えば、視覚的表現は、視覚的表現の様々な部分にわたって第１の輝度値分布及び第１の色値分布を有する発光楕円である。コンピュータシステムは、第１の表示特性の第１のセットの値に従って、三次元環境内の物理的オブジェクト７３１０の第１の物理面７３１２の視覚的外観又はその表現７３１２’、並びに三次元環境内の仮想オブジェクト７４０４の第１の仮想面の視覚的外観を修正する。例えば、図７Ｕ及び７Ｗに示すように、コンピュータシステムは、物理世界の物理的オブジェクト７３１０の表面にマッピングされる、三次元環境内の位置に模倣照明を生成し、照明の第１の表示特性の値は、三次元世界内の仮想オブジェクト７６０２と表現７３１０’との間の空間関係、物理的オブジェクト７３１０の表面特性、及び模倣物理的光伝搬原理を考慮に入れる。図７Ｕ及び図７Ｗでは、家具表現７３１０’の前面表現７３１２’は、仮想オブジェクト７６０２によって照らされているように見え、仮想オブジェクト７６０２は三次元環境内で前面表現７３１２’の左側の方に近いため、前面表現７３１２’の左側は、前面表現７３１２’の右側よりも（例えば、仮想オブジェクト７６０２からのより高い輝度及びより高い色飽和度で）強く照らされているように見える。同様に、図７Ｕ及び７Ｗに示すように、コンピュータシステムは、三次元環境内の仮想オブジェクト７４０４の表面にマッピングされる、三次元環境内の位置に模倣照明を生成し、照明の第１の表示特性の値は、三次元世界内の仮想オブジェクト７６０２と仮想オブジェクト７４０４との間の空間関係、仮想オブジェクト７４０４の表面特性、及び模倣物理的光伝搬原理を考慮に入れる。図７Ｕ及び図７Ｗでは、仮想オブジェクト７４０４の上面は、仮想アシスタント（例えば、仮想オブジェクト７６０２）の視覚的表現によって照らされているように見え、仮想アシスタント（例えば、仮想オブジェクト７６０２）の視覚的表現は、三次元環境内の仮想オブジェクト７４０４の表面の中間部よりも上部に近いため、仮想オブジェクト７４０４の表面の中間領域は、仮想オブジェクト７４０４の上部よりも（例えば、仮想オブジェクト７６０２からのより低い輝度及びより低い色飽和度で）弱く照らされているように見える。
いくつかの実施形態では、図７Ｕ及び図７Ｗに示されるように、コンピュータシステムはまた、仮想アシスタントの視覚的表現の照明下で物理的オブジェクト及び仮想オブジェクトに対して模倣影を生成する。例えば、コンピュータは、三次元環境内の仮想オブジェクト７６０２と家具表現７３１０’との間の空間関係、家具７３１０の表面特性、及び模倣物理的光伝搬原理に基づいて、三次元環境内で家具表現７３１０’の背後に影７６０６を生成する。また、コンピュータは、三次元環境内の仮想オブジェクト７６０２と仮想オブジェクト７４０４との間の空間関係、仮想オブジェクト７４０４の模倣表面特性、及び模倣物理的光伝搬原理に基づいて、三次元世界内で仮想オブジェクト７４０４の下で影７６０４を生成する。
図７Ｕに続く図７Ｖに示されるように、いくつかの実施形態では、仮想アシスタント（例えば、仮想オブジェクト７６０２）の視覚的インジケーションの位置は、ディスプレイ（例えば、タッチ感知ディスプレイ）又は（例えば、ＨＭＤによって表される）ユーザの頭部に対して固定され、物理的世界に対するディスプレイの移動に従って、又は物理的世界に対するユーザの頭部（若しくはＨＭＤ）の移動に従って、三次元環境に対して移動する。図７Ｖでは、ユーザの頭部（例えば、三次元環境がＨＭＤを介して示される）又はディスプレイ（例えば、タッチ感知ディスプレイ）が物理的環境内で移動すると、三次元環境内の仮想アシスタント（例えば、仮想オブジェクト７６０２）の視覚的表現と、物理的オブジェクト（例えば、家具表現７３１０’）及び仮想オブジェクト（例えば、仮想オブジェクト７４０４）の表現との間の空間関係が移動に応答して変化しているため、三次元環境内の物理的オブジェクト及び仮想オブジェクト上の模倣照明が調節される。例えば、視覚的表現（仮想オブジェクト７６０２）は現在、移動前よりも前面表現７３１２’に近づいているため、家具表現７３１０’の前面表現７３１２’は（仮想アシスタント（例えば、仮想オブジェクト７６０２）の視覚的表現からより高い輝度及び色飽和度で）強く照らされている。これに対応して、視覚的表現（例えば、仮想オブジェクト７６０２）は現在、移動前よりも仮想オブジェクト７４０４から遠く離れているため、仮想オブジェクト７４０４の上面は（例えば、仮想アシスタント（例えば、仮想オブジェクト７６０２）の視覚的表現からより低い輝度及び色飽和度で）弱く照らされている。
図７Ｖに示される実施例とは対照的に、いくつかの実施形態では、仮想アシスタント（例えば、仮想オブジェクト７６０２）の視覚的インジケーションの位置は、ディスプレイ（例えば、タッチ感知ディスプレイ）又は（例えば、ＨＭＤによって表される）ユーザの頭部ではなく、三次元環境に対して固定される。したがって、仮想アシスタント（例えば、視覚的表現７６０２）の視覚的表現と、三次元環境内に表される物理的オブジェクト（例えば、家具表現７３１０’）及び仮想オブジェクト（例えば、仮想オブジェクト７４０４）との間の空間関係は、ディスプレイが物理的世界に対して移動するとき、又はユーザが身体的世界に対して自分の頭部（又はＨＭＤ）を移動させるときに変化しない。図７Ｖでは、ユーザの頭部（例えば、三次元環境がＨＭＤを介して示される）又はディスプレイ（例えば、タッチ感知ディスプレイ）が物理的環境内で移動する際、三次元環境内の仮想アシスタントの視覚的表現と、物理的オブジェクト及び仮想オブジェクトの表現との間の空間関係は移動に応答して変化しないため、三次元環境内の物理的オブジェクト及び仮想オブジェクト上の模倣照明は変化しない。しかしながら、ディスプレイに示されている三次元世界の視野は、移動のために変更される。
いくつかの実施形態では、本明細書に記載される各種実施例及び実施形態は、任意選択的に、いくつかの実施形態によると、仮想又は複合現実環境と相互作用するために、ジェスチャの直前又は最中に動作を実行するためにユーザの手全体又は腕をそれらの自然な位置（単数又は複数）及び姿勢（単数又は複数）から離れるように大きく移動させることを必要とせずに、ユーザの指（単数又は複数）を他の指（単数又は複数）又はユーザの手の一部（単数又は複数）に対して移動させることによって実行される離散の小さな運動ジェスチャを含む。
いくつかの実施形態では、入力ジェスチャは、センサシステム（例えば、図１のセンサ１９０、図３の画像センサ３１４）によってキャプチャされるデータ及び信号を解析することによって検出される。いくつかの実施形態では、センサシステムは、１つ以上の撮像センサ（例えば、モーションＲＧＢカメラ、赤外線カメラ、深度カメラなどの１つ以上のカメラ）を含む。例えば、１つ以上の撮像センサは、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０（例えば、ディスプレイ及びタッチ感知面として機能するタッチスクリーンディスプレイ、立体ディスプレイ、パススルー部分を有するディスプレイなど））を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１（例えば、ポータブル電子デバイス７１００又はＨＭＤ））のコンポーネントである、又は上記コンピュータシステムにデータを提供する。いくつかの実施形態では、１つ以上の撮像センサは、デバイスのディスプレイとは反対側のデバイスの側に１つ以上の後面カメラを含む。いくつかの実施形態では、入力ジェスチャは、ヘッドマウントシステムのセンサシステム（例えば、ユーザの左目の左画像及びユーザの右目の右画像を提供する立体ディスプレイを含むＶＲヘッドセット）によって検出される。例えば、ヘッドマウントシステムのコンポーネントである１つ以上のカメラは、ヘッドマウントシステムの前側及び／又は下側に取り付けられている。いくつかの実施形態では、１つ以上の撮像センサは、撮像センサがヘッドマウントシステム及び／又はヘッドマウントシステムのユーザの画像をキャプチャするように、ヘッドマウントシステムが使用される空間に配置される（例えば、部屋内の様々な位置でヘッドマウントシステムの周りに配列される）。いくつかの実施形態では、入力ジェスチャは、ヘッドアップデバイス（例えば、ヘッドアップディスプレイ、グラフィックを表示する能力を有する自動車フロントガラス、グラフィックを表示する能力を有する窓、グラフィックを表示する能力を有するレンズ）のセンサシステムによって検出される。例えば、１つ以上の撮像センサは、自動車の内面に取り付けられる。いくつかの実施形態では、センサシステムは、１つ以上の深度センサ（例えば、センサアレイ）を含む。例えば、１つ以上の深度センサは、１つ以上の光ベースの（例えば、赤外線）センサ及び／又は１つ以上の音響ベースの（例えば、超音波）センサを含む。いくつかの実施形態では、センサシステムは、光エミッタ（例えば、赤外線エミッタ）及び／又は音声エミッタ（例えば、超音波エミッタ）などの１つ以上の信号エミッタを含む。例えば、光（例えば、所定パターンを有する赤外光エミッタアレイからの光）が手（例えば、手７２００）に投射されている間、光の照明下の手の画像が１つ以上のカメラによってキャプチャされ、キャプチャされた画像が手の位置及び／又は構成を判定するために解析される。タッチ感知面又は他の直接接触機構又は近接ベースの機構の信号を使用することと対照的に、手に向けられた画像センサからの信号を使用して入力ジェスチャを判定することで、ユーザは、特定の入力デバイス又は入力領域によって課せられる制約を経験せずに、手で入力ジェスチャを提供するときに、大きな運動を実行するか、又は相対的に静止状態を保つかを自由に選択することができる。
いくつかの実施形態では、マイクロタップ入力は、ユーザの手の人差し指上の（例えば、親指に隣接する人差し指の側部上の）親指のタップ入力を示す。いくつかの実施形態では、人差し指の側部から親指を持ち上げる必要なく、タップ入力が検出される。いくつかの実施形態では、タップ入力は、親指の下方移動の後に親指の上方移動が続き、親指が閾値時間未満、人差し指の側部と接触しているという判定に従って検出される。いくつかの実施形態では、タップホールド入力は、親指が上昇位置からタッチダウン位置まで移動し、少なくとも第１の閾値時間（例えば、タップ時間閾値又はタップ時間閾値よりも長い別の時間閾値）、タッチダウン位置に留まるという判定に従って検出される。いくつかの実施形態では、コンピュータシステムは、人差し指上の親指によるタップホールド入力を検出するために、手全体が、少なくとも第１の閾値時間、ある位置で実質的に静止したままであることを必要とする。いくつかの実施形態では、タッチホールド入力は、手が実質的に静止したままであることを必要とせずに検出される（例えば、親指が人差し指の側部に置かれている間、手全体が移動することができる）。いくつかの実施形態では、タップホールドラッグ入力は、親指が人差し指の側部にタッチし、親指が人差し指の側部に静止している間に手全体が移動するときに検出される。
いくつかの実施形態では、マイクロフリックジェスチャは、人差し指を横切る親指の移動（例えば、人差し指の掌側から後側への）プッシュ又はフリック入力を示す。いくつかの実施形態では、親指の伸長移動は、例えば、親指による上方フリック入力のように、人差し指の側部から離れる上方移動を伴う。いくつかの実施形態では、人差し指は、親指が前方及び上方に移動する間、親指の方向と反対方向に移動する。いくつかの実施形態では、逆フリック入力は、伸長位置から後退位置に移動する親指によって実行される。いくつかの実施形態では、人差し指は、親指が後方及び下方に移動する間、親指の方向と反対方向に移動する。
いくつかの実施形態では、マイクロスワイプジェスチャは、人差し指に沿った（例えば、親指に隣接する人差し指の側部又は掌の側部に沿った）親指の移動によるスワイプ入力である。いくつかの実施形態では、人差し指は、任意選択的に、伸長状態（例えば、実質的に直線）又は屈曲状態である。いくつかの実施形態では、人差し指は、スワイプ入力ジェスチャで親指が移動する間、伸長状態と屈曲状態との間を移動する。
いくつかの実施形態では、様々な指の異なる指骨は、異なる入力に対応する。様々な指（例えば、人差し指、中指、薬指、及び任意選択的に小指）の様々な指骨にわたる親指のマイクロタップ入力は、任意選択的に、異なる動作にマッピングされる。同様に、いくつかの実施形態では、異なるプッシュ又はクリック入力が、異なる指及び／又は指の異なる部分を横切る親指によって実行されて、それぞれのユーザインタフェース接触で異なる動作をトリガすることができる。同様に、いくつかの実施形態では、異なる指に沿って、及び／又は異なる方向に（例えば、指の遠位端又は近位端に向かって）親指によって実行される異なるスワイプ入力が、それぞれのユーザインタフェースコンテキストで異なる動作をトリガする。
いくつかの実施形態では、コンピュータシステムは、タップ入力、フリック入力、及びスワイプ入力を、親指の移動のタイプに基づいて異なるタイプの入力として処理する。いくつかの実施形態では、コンピュータシステムは、所与の入力タイプ（例えば、タップ入力タイプ、フリック入力タイプ、スワイプ入力タイプなど）の異なるサブ入力タイプ（例えば、近位、中間、遠位サブタイプ、又は人差し指、中指、薬指、若しくは小指サブタイプ）として親指によってタップ、タッチ、又はスワイプされる異なる指位置を有する入力を処理する。いくつかの実施形態では、移動する指（例えば、親指）によって実行される移動量、及び／又は指の移動に関連付けられる他の移動の尺度（例えば、速度、初期速度、終了速度、持続時間、方向、移動パターンなど）が使用されて、指入力によってトリガされる動作に定量的に影響を与える。
いくつかの実施形態では、コンピュータシステムは、タップスワイプ入力（例えば、親指が他の指へのタッチダウン後に、指の側部に沿ってスワイプする）、タップフリック入力（例えば、親指が他の指へのタッチダウン後に、掌の側部から指の後部まで指を横切ってフリックする）、ダブルタップ入力（例えば、ほぼ同じ位置での指の側部上の２連続タップ）などの、親指による一連の移動を組み合わせた組み合わせ入力タイプを認識する。
いくつかの実施形態では、ジェスチャ入力は、親指の代わりに人差し指によって実行される（例えば、人差し指が親指上でタップ又はスワイプを実行するか、又は親指及び人差し指が互いに向かって動いてピンチジェスチャを実行する）。いくつかの実施形態では、手首の移動（例えば、水平方向又は垂直方向での手首のフリック）は、指の移動入力の直前、直後（例えば、閾値時間内）、又は同時に実行されて、手首の移動による修正入力のない指の移動入力と比較して、現在のユーザインタフェースコンテキストで追加の動作、異なる動作、又は修正された動作をトリガする。いくつかの実施形態では、ユーザの顔に面するユーザの掌で実行される指入力ジェスチャは、ユーザの顔と反対に面するユーザの掌で実行される指入力ジェスチャとは異なるタイプのジェスチャとして処理される。例えば、ユーザに面するユーザの掌で実行されるタップジェスチャは、ユーザの顔と反対に面するユーザの掌で実行されるタップジェスチャに応答して実行される動作（例えば、同じ動作）と比較して、プライバシー保護が追加（又は低減）された動作を実行する。
１つのタイプの指入力を使用して、本開示で提供される実施例において動作タイプをトリガすることができるが、他の実施形態では、同じタイプの動作をトリガするために、他のタイプの指入力が任意選択的に使用される。
図７Ａ～図７Ｘに関する追加の説明は、以下の図８～１２に関して記載された方法８０００、９０００、１００００、１１０００、及び１２０００を参照して以下に提供される。
図８は、いくつかの実施形態による、コンピュータ生成三次元環境と相互作用する（例えば、再構成及びその他の相互作用を含む）方法８０００のフローチャートである。いくつかの実施形態では、方法８０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上の入力デバイス（例えば、１つ以上のカメラ（例えば、ユーザの手元で下方に向く又はユーザの頭部から前方に向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法８０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法８０００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
方法８０００では、コンピュータシステムは、三次元環境（例えば、表示生成コンポーネントを通じて見える物理的環境、模倣現実環境、仮想現実環境、拡張現実環境、複合現実環境など）内の第１の空間位置で、仮想オブジェクト（例えば、図７Ａの仮想オブジェクト７２０８（ａ－１）及び７Ｂ（ａ－１））を表示する（８００２）。仮想オブジェクト（例えば、仮想オブジェクト７２０８）を三次元環境内の第１の空間位置で表示している間、コンピュータシステムは、ユーザによって実行される第１の手移動を検出する（８００４）（例えば、１つ以上のジェスチャ認識基準を満たすユーザの指及び／又は手首の移動を検出する）。ユーザによって実行される第１の手移動を検出したことに応答して（８００６）、第１の手移動が第１のジェスチャ基準を満たすという判定に従って（例えば、第１の手移動がピンチ及びドラッグジェスチャ（例えば、指のピンチ移動が、手全体を横方向に移動させることから生じる）又はスワイプジェスチャ（例えば、別の指の表面又はコントローラを横切る指によるマイクロスワイプジェスチャ）である）、コンピュータシステムは、仮想オブジェクトを第１の空間位置から移動させずに（例えば、再構成モードに入る前のピンチ及びドラッグジェスチャは、オブジェクトをある位置から別の位置へ移動させない）、第１の手移動に従って第１の動作を実行する（例えば、仮想オブジェクトを回転させる、仮想オブジェクトに関連付けられるコントロールを調節する、仮想オブジェクトをナビゲートする（仮想ブックのページをめくる）など）。これは、例えば、図７Ａ（ａ－１）～図７Ａ（ａ－３）、及び図７Ａ（ａ－１）、続いて図７Ａ（ａ－４）及び７Ａ（ａ－５）に示されている。ユーザによって実行される第１の手移動を検出したことに応答して（８００６）、第１の手移動が第２のジェスチャ基準を満たす（例えば、ピンチジェスチャと、ピンチジェスチャに続く手首フリックジェスチャ（例えば、指のピンチ移動が、手首を中心に手を回転させることから生じる（例えば、上方又は側方にフリックする））を満たすとの判定に従って、コンピュータシステムは、仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションを表示する（例えば、デバイスが仮想オブジェクトの再構成モードをアクティブ化する、仮想オブジェクトが元の位置から除去される、及び／又は半透明になり、元の位置の上方に浮かぶ）。これは、例えば、図７Ｂ（ａ－１）～７Ｂ（ａ－３）に示されている。仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションで仮想オブジェクトを表示している間、コンピュータシステムは、ユーザによって実行される第２の手移動を検出する（８００８）。ユーザによって実行される第２の手移動を検出したことに応答して、第２の手移動が第１のジェスチャ基準を満たすという判定に従って（例えば、第１の手移動がピンチ及びドラッグジェスチャである（例えば、ピンチ指の移動が、手全体が横方向に移動することから生じる））、コンピュータシステムは、第２の手移動に従って仮想オブジェクトを第１の空間位置から第２の空間位置（例えば、第１の動作を実行せずに）に移動させる（８０１０）（（例えば、いったん再構成モードに入ると、手首フリックはもはや継続する必要がなく、単純なピンチ及びドラッグジェスチャが、オブジェクトを１つの位置から別の位置に移動させる）。これは、例えば、図７Ｂ（ａ－２）に続く図７Ｂ（ａ－３）～７Ｂ（ａ－６）、又は図７Ｂ（ａ－５）及び７Ｂ（ａ－６）に示されている。
いくつかの実施形態では、方法８０００において、ユーザによって実行される第１の手移動を検出したことに応答して、第１の手移動が第３のジェスチャ基準を満たすという判定に従って（例えば、第１の手移動が、手全体の横方向移動及び回転移動のないマイクロタップジェスチャである）、コンピュータシステムは、仮想オブジェクトに対応する第２の動作を実行する（例えば、仮想オブジェクトに対応する機能をアクティブ化する（例えば、アプリケーションを起動する、通信セッション、コンテンツを表示するなど）を実行する））。いくつかの実施形態では、ユーザによって実行される第２の手移動を検出したことに応答して、第２の手移動が第３のジェスチャ基準を満たすという判定に従って（例えば、第２の手移動が、手全体の横方向移動及び回転移動のないマイクロタップジェスチャである）、デバイスは、仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションの表示を停止して、仮想オブジェクトが再構成モードを出たことを示す（例えば、デバイスは仮想オブジェクトの再構成モードを非アクティブ化し、仮想オブジェクトが移動されていない場合、仮想オブジェクトを元の位置に戻す、又は仮想オブジェクトがユーザ入力によって移動されている場合、仮想オブジェクトを新たな位置に据えて、仮想オブジェクトの元の外観を復元する）。いくつかの実施形態では、ユーザによって実行される第２の手移動を検出したことに応答して、第２の手移動が第１のジェスチャ基準を満たさないという判定に従って（例えば、第２の手移動が、指を共にピンチさせる、又は別の所定のジェスチャ基準を満たすことのない自由手移動である）、デバイスは、仮想オブジェクトを移動させることなく、仮想オブジェクトを再構成モードに維持する。言い換えれば、仮想オブジェクトが再構成モードにある間、ユーザは、仮想オブジェクトを移動させるジェスチャに対応せず、仮想オブジェクトを再構成モードから出させないような方法で、ユーザの手を移動させることができる。例えば、ユーザは、この機会を使用して、三次元環境を探索し、その後に仮想オブジェクトを移動させる適切な位置を準備することができる。
いくつかの実施形態では、第２の手移動は、第２のジェスチャ基準を満たさない（例えば、第２の手移動は、ピンチジェスチャと、ピンチジェスチャに続く手首フリックジェスチャではない（例えば、指のピンチ移動は、手首を中心に手を回転させる（例えば、上方又は側方にフリックする）ことから生じる）。
いくつかの実施形態では、第２のジェスチャ基準は、ピンチジェスチャとピンチジェスチャに続く手首フリックジェスチャによって満たされる要件を含む（例えば、手の親指と人差し指が、仮想オブジェクトの位置に対応する三次元空間内の位置に移動して互いに接触し、次いで、親指と人差し指が互いに接触し続ける間に手全体が手首を中心に回転するとき、第２のジェスチャ基準が仮想オブジェクトに関して満たされる）。
いくつかの実施形態では、第２のジェスチャ基準は、オブジェクト選択基準が満たされる間に検出される手首フリックジェスチャによって満たされる要件を含む（例えば、仮想オブジェクトが（例えば、前の選択入力（例えば、仮想オブジェクトに向けられた視線入力、仮想オブジェクトに向けられたピンチジェスチャ、仮想オブジェクトに向けられた２指タップジェスチャなど）によって）現在選択されている間に、手全体が手首を中心に素早く回転するとき、第２のジェスチャ基準が仮想オブジェクトに対して満たされる）。いくつかの実施形態では、前の選択入力は、手首フリックジェスチャが検出されたときに、進行中であってもよく（例えば、ピンチジェスチャ又は視線入力の場合）、又は終了していてもよい（例えば、仮想オブジェクトを選択するための２指タップジェスチャの場合）。
いくつかの実施形態では、第１のジェスチャ基準は、手の１つ以上の指（例えば、一斉に横方向に移動する単一の指又は複数の指）によって提供される移動入力（例えば、空中で又は表面（例えば、コントローラの表面又は手若しくは別の指の表面）を横切る指の横方向移動、又は空中で又は表面（例えば、コントローラの表面又は手若しくは別の指の表面）上の指のタップ移動）によって満たされる要件を含む。
いくつかの実施形態では、仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションで仮想オブジェクトを表示している間に、コンピュータシステムは、三次元環境内の仮想オブジェクトの目的位置を指定する所定の入力を検出する（例えば、所定の入力を検出することは、第１の空間位置から第２の空間位置へのユーザの視線の移動を検出すること、又はユーザの視線が三次元空間内の第２の空間位置に焦点が合っている間、手の指によるタップ入力を検出すること（コントローラ又は同じ手の空中又は表面上のタップ）を含む）。三次元環境内の仮想オブジェクトの目的位置を指定する所定の入力を検出したことに応答して、コンピュータシステムは、仮想オブジェクトを第１の空間位置から目的位置（例えば、第２の空間位置又は第２の空間位置とは異なる位置）に移動させる前に、目的位置に第２の視覚的インジケーション（例えば、（例えば、仮想オブジェクトの形状の）発光する又は影付きのオーバーレイ）を表示する。いくつかの実施形態では、第２の視覚的インジケーションは、仮想オブジェクトを実際に移動させる第２の手移動が検出される前に所定の入力を検出したことに応答して、目的位置に表示される。いくつかの実施形態では、第１のジェスチャ基準を満たす第２の手移動は、仮想オブジェクトが再構成モードにある間に提供される所定の入力（例えば、視線入力、タップ入力）によって仮想オブジェクトの目的位置が指定された後に検出される、タップ入力、指フリック入力、手スワイプ入力、又はピンチ及びドラッグ入力などである。いくつかの実施形態では、所定の入力は、第２の手移動が検出される前に検出される（例えば、所定の入力が仮想オブジェクトの目的位置を選択する視線入力又はタップ入力である場合（例えば、ユーザは、所定の入力を提供した後に目的位置から目をそらすことができる）、第２の手移動は、目的位置に向かう仮想オブジェクトの移動を開始する手全体の移動のない小さな指フリック又は指タップである）。いくつかの実施形態では、所定の入力は、第２の手移動と同時に検出される（例えば、所定の入力が仮想オブジェクトの目的位置に焦点が当たっている視線入力である場合（例えば、ユーザは、第２の移動（例えば、手全体の移動のない小さな指フリック又は指タップ）が目的位置に向かう仮想オブジェクトの移動を始動する間、目的位置への視線を維持する））。いくつかの実施形態では、所定の入力は、第２の手移動である（例えば、所定の入力は、仮想オブジェクトを掴み、仮想オブジェクトを目的位置までドラッグするピンチジェスチャである。
いくつかの実施形態では、三次元環境内の仮想オブジェクトの目的位置を指定する所定の入力を検出することは、所定の入力における移動（例えば、視線入力の移動、又は指のタップ前の指の移動）を検出することを含み、第２の視覚的インジケーション（例えば、（例えば、仮想オブジェクトの形状の）発光する又は影付きのオーバーレイ）を目的位置に表示することは、所定の入力の移動に基づいて第２の視覚的インジケーションの位置を更新することを含む（例えば、（例えば、仮想オブジェクトの形状の）発光する又は影付きのオーバーレイの位置は、視線入力及び／又は入力のタップ前の指の位置の移動に従って連続的かつ動的に変更される）。
いくつかの実施形態では、第１のジェスチャ基準を満たす第２の手移動の終了後、及び仮想オブジェクトが再構成モードに留まる間に（例えば、オブジェクトが第２の手移動に従って動かされた後、及び仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションで仮想オブジェクトが表示されている間）、コンピュータシステムは、第１のジェスチャ基準を満たす第３の手移動（例えば、親指が同じ手の人差し指の側部を横切ってスワイプするマイクロスワイプジェスチャ、又はコントローラのタッチ感知面上の指によるスワイプジェスチャ）を検出する。第３の手移動を検出したことに応答して、コンピュータシステムは、第３の手移動に従って仮想オブジェクトを仮想オブジェクトの現在位置から第３の空間位置に移動させる。
いくつかの実施形態では、三次元環境は、１つ以上の平面（例えば、物理的オブジェクトの表面、仮想オブジェクトの模倣表面、物理的オブジェクトを表す仮想オブジェクトの表面など）を含み、第２の手移動に従って仮想オブジェクトを第１の空間位置から第２の空間位置に移動させることは、第２の手移動に従った仮想オブジェクトの移動中、仮想オブジェクトの移動経路を１つ以上の平面の第１の平面に制約することを含む（例えば、第１の空間位置及び第２の空間位置が同じ平面上にある場合、第２の手移動の移動経路が厳密には平面をたどらないときでも、仮想オブジェクトは平面に沿って摺動する）。
請求項１から１０のいずれか一項に記載の方法。いくつかの実施形態では、三次元環境は、少なくとも第１の平面及び第２の平面（例えば、物理的オブジェクトの表面、仮想オブジェクトの模倣表面、物理的オブジェクトを表す仮想オブジェクトの表面など）を含み、第２の手移動に従って仮想オブジェクトを第１の空間位置から第２の空間位置に移動させることは、仮想オブジェクトの移動経路を第２の手移動に従った仮想オブジェクトの移動の第１の部分の間、第１の平面に制約することと、仮想オブジェクトの移動経路を第２の手移動に従った仮想オブジェクトの移動の第２の部分の間、第２の平面に制約することと、仮想オブジェクトの移動の第１の部分と第２の部分との間の仮想オブジェクトの移動の第３の部分の間、仮想オブジェクトの高度を上昇させることと（例えば、現実世界の平面間を切り替えるとき、オブジェクトが飛び上がる）、を含む。
いくつかの実施形態では、ユーザによって実行された第１の手移動を検出したことに応答して、第１の手移動が第２のジェスチャ基準を満たすという判定に従って（例えば、ピンチジェスチャとピンチジェスチャに続く手首フリックジェスチャである（例えば、指のピンチ移動が、手首の周りを回転する手から生じる（例えば、上方又は側方にフリックする））、コンピュータシステムは、仮想オブジェクトが再構成モードに移行したことを示す第１の視覚的インジケーションを表示することと併せてオーディオ出力を生成する（例えば、デバイスは、仮想オブジェクトがその元の位置から除かれたというインジケーションを提供する離散のオーディオ出力（例えば、ビープ音又はチャープ音）を生成する、及び／又は仮想オブジェクトが再構成モードに留まる間、連続的なオーディオ出力（例えば、連続音楽又は音波）を生成する）。
いくつかの実施形態では、仮想オブジェクトが再構成モードにある間、コンピュータシステムは、第２の手移動を検出し、第２の移動に従って仮想オブジェクトを移動させた後、第４の手移動を検出する。第４の手移動を検出したことに応答して、第４の手移動が第１のジェスチャ基準を満たすという判定に従って、コンピュータシステムは、第４の手移動に従って仮想オブジェクトを第２の空間位置から第３の空間位置に移動させ、第４の手移動が第４のジェスチャ基準を満たすという判定に従って（例えば、ピンチジェスチャとピンチジェスチャに続く手首フリックジェスチャ（例えば、指のピンチ移動が、手首を中心に回転する手から生じる（例えば、下方にフリックする））、コンピュータシステムは、仮想オブジェクトが再構成モードを出たことを示すために第１の視覚的インジケーションの表示を停止する。いくつかの実施形態では、デバイスは、第１の視覚的インジケーションの表示を停止すること（例えば、仮想オブジェクトの通常の外観を復元すること）と併せて、仮想オブジェクトが三次元環境内の第３の空間位置に据えられるアニメーションを表示する。
図８における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法９０００、１００００、１１０００、及び１２０００）に関して本明細書で記載された他のプロセスの詳細はまた、図８に関連して上述された方法８０００に類似の方法で適用可能であることも留意されたい。例えば、方法８０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記述した他の方法（例えば、方法９０００、１００００、１１０００、及び１２０００）を参照して本明細書に記述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図９は、いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、物理的オブジェクトと仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法９０００のフローチャートである。いくつかの実施形態では、方法９０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上の入力デバイス（例えば、カメラ（例えば、ユーザの手元で下方に向く又はユーザの頭部から前方に向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法９０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法９０００の一部の動作が任意選択的に組み合わされ、及び／又は一部の動作の順序が任意選択的に変更される。
方法９０００では、コンピュータシステムは、表示生成コンポーネントを介して、少なくとも、第１の位置（例えば、壁上の仮想窓、動画を表示している壁上の仮想スクリーン）に第１の仮想オブジェクト（例えば、図７Ｅ及び図７Ｆの仮想オブジェクト７３３２）と、第１の位置とは別個の第２の位置（例えば、壁から離れた部屋内の書棚、壁、又は部屋の床）に第１の物理面（例えば、前壁７３０４、側壁７３０６、床７３０８、家具７３１０、又はそれらの表現）と、を含む（例えば、第１の仮想オブジェクトと第１の物理面は、現実又は模倣自由空間によって分離されている）三次元シーンを表示し（９００２）、仮想オブジェクトは、仮想オブジェクトの第１の部分に対応する第１の表示特性に関する第１の値（例えば、第１の部分７３３２－ｂ及び７３３２－ｃ、並びに７３３２－ｂ’及び７３３２－ｃ’における輝度及び色値）と、仮想オブジェクトの第２の部分に対応する第１の表示特性に関する第２の値（例えば、第２の部分７３３２－ａ及び７３３２－ｄ、並びに７３３２－ａ’及び７３３２－ｄ’における輝度及び色値）とで表示され（例えば、仮想オブジェクトは、仮想オブジェクトの様々な部分において異なる輝度値又は色を有し、第１の表示特性は、仮想オブジェクトの形状又は寸法に関係しない）、第１の表示特性の第２の値は第１の表示特性の第１の値とは異なる。第１の仮想オブジェクト及び第１の物理面を含む三次元シーンを表示している間に、コンピュータシステムは、表示生成コンポーネントを介して、三次元シーンの第２の位置（例えば、シーン内の物理面の位置）に第１の視覚的効果を生成する（９００４）。第１の視覚的効果を生成することは、第１の仮想オブジェクトの第１の部分に対応する第１の表示特性の第１の値に従って、三次元シーン内の第１の物理面の第１の部分の視覚的外観を変更することと、三次元シーン内の第１の物理面の第２の部分の視覚的外観を、第１の仮想オブジェクトの第２の部分に対応する第１の表示特性の第２の値に従って修正することと、を含み、第１の物理面の第１の部分の視覚的外観及び第１の物理面の第２の部分の視覚的外観は、第１の仮想オブジェクトの第１の部分及び第２の部分における第１の表示特性の第１の値及び第２の値の差に起因して（例えば、仮想オブジェクトの様々な部分の異なる色及び輝度値は、仮想オブジェクトの様々な部分と物理面の様々な部分との間の空間関係に起因して、物理面の様々な部分の色及び輝度を異なるように変化させる）（例えば、仮想オブジェクトと物理面との間の模倣空間関係、仮想オブジェクト及び物理面の実際の及び模倣物理的特性、並びに模倣物理的原理に従って）異なって修正される。これは例えば、図７Ｅ～７Ｆに示されている。
いくつかの実施形態では、コンピュータシステムは、第１の仮想オブジェクトの第１及び第２の部分における第１の表示特性の値変化を含む、第１の仮想オブジェクトの外観の変化を検出する。第１の仮想オブジェクトの外観の変化を検出したことに応答して、コンピュータシステムは、第１の仮想オブジェクトの外観の変化に従って、第１の物理面の様々な部分において第１の物理面の視覚的外観を修正する。修正することは、第１の表示特性と第１の物理面の第１の部分の視覚的外観との間の第１の関係に従って、第１の物理面の第１の部分の視覚的外観を修正することと、第１の表示特性と第１の仮想オブジェクトの第２の部分の視覚的外観との間の第２の関係に従って、第１の物理面の第２の部分の視覚的外観を修正することとを含み、第１の関係及び第２の関係は、第１の物理面の第１及び第２の部分の異なる物理的特性に対応する。例えば、第１の関係及び第２の関係は、第１の物理面と相互作用する仮想オブジェクトから放射される光の模倣物理的法則に基づいているが、第１の物理面の様々な部分に対応する距離、形状、表面テクスチャ、及び光学特性、及び／又は第１の物理面の様々な部分と第１の仮想オブジェクトの各対応する部分との間の異なる空間関係によって異なる。
いくつかの実施形態では、第１の仮想オブジェクトは、仮想オーバーレイ（例えば、三次元シーン内の第１の位置に対応する位置にある第２の物理面（例えば、壁）上の（例えば、窓から見られる）仮想風景を示す仮想窓）を含み（第１の仮想オブジェクトは、現実世界内の物理的窓又は物理的壁の一部に対応する位置に表示される仮想窓である）、コンピュータシステムは、時刻、位置、及び仮想オーバーレイのサイズのうちの少なくとも１つを含む１つ以上のパラメータのそれぞれの値の変化に従って、仮想オーバーレイの外観を変更する（例えば、仮想オーバーレイに示される風景の外観を変更する）。例えば、現実世界又はユーザによって設定された設定において時刻が変化するにつれ、デバイスは、時刻の変化に従って、仮想オーバーレイ（例えば、仮想窓）に示される仮想風景（例えば、都市、自然、景観、工場などのビュー）を変更する。別の実施例では、ユーザ又はデバイスは、仮想オーバーレイに示される仮想風景のシーン位置を指定し、仮想風景は、シーン位置に基づいて風景のデータベースから選択される。別の実施例では、ユーザは、仮想オーバーレイのサイズを増加又は減少する（例えば、小さな仮想窓から大きな仮想窓に移行する、壁全体を仮想窓で置き換えるなど）ようにコンピュータシステムに要求し、コンピュータシステムは、仮想オーバーレイを通じて提示される仮想風景の量を変更する。
いくつかの実施形態では、第１の視覚的効果を生成することは、仮想オーバーレイの第１の部分に示されるコンテンツの変化に従って、第１の物理面（例えば、現実世界の対向する壁又は床）の第１の部分の視覚的外観を修正することと、仮想オーバーレイの第２の部分に示されるコンテンツの変化に従って、第１の物理面の第２の部分の視覚的外観を修正することと、を含む。例えば、現実世界の床面で、物理的壁上に重ね合わされた仮想窓の様々な部分から（例えば、時刻に応じて）来る光の量、光の色、並びに光の方向は、仮想窓の前の床面に異なる模倣照明を生じさせる。コンピュータシステムは、床面の様々な部分に対応する第２の仮想オーバーレイの様々な部分における照明の様々な量、色、及び方向を模倣する、床面に対する第２の仮想オーバーレイを生成する。例えば、時刻が変化するにつれ、仮想窓に対応する光の量及び光の方向が変化し、それに応じて、床上の第２の仮想オーバーレイに示される模倣照明の量も変化する（例えば、朝、正午、夕方では光の方向が異なり、光の色及び色調も異なる）。
いくつかの実施形態では、第１の仮想オブジェクトは、三次元シーン内の第１の位置に対応する位置に、メディアコンテンツ（例えば、動画又はビデオを表示する平坦な仮想スクリーン、ユーザの視点からの三次元動画又は没入ホログラフィック体験を表示する三次元空間やドーム面）を表示する仮想スクリーンを含み（例えば、仮想スクリーンは自立型であり、いかなる物理面にも取り付けられていない、又は壁若しくはテレビスクリーンなどの物理面に重ね合わされている）、コンピュータシステムは、メディアアイテムの再生進行に従って、仮想スクリーン上に示されるコンテンツを変更する。例えば、動画又はビデオ再生が進行するにつれて、動画又はビデオの現在の再生位置に従って、コンテンツが仮想スクリーン（例えば、２Ｄ又は３Ｄ、又は没入型）に示される。
請求項１８に記載の方法。いくつかの実施形態では、第１の視覚的効果を生成することは、仮想スクリーンの第１の部分に示されるコンテンツの変化に従って、第１の物理面（例えば、現実世界の対向する壁又は床）の第１の部分の視覚的外観を修正することと、仮想スクリーンの第２の部分に示されるコンテンツの変化に従って、第１の物理面の第２の部分の視覚的外観を修正することと、を含む。例えば、周囲環境の物理的オブジェクトの表面（例えば、床、壁、カウチ、ユーザの身体など）上で、仮想スクリーンの様々な部分から来る光の量、光の色、及び光の方向は、周囲環境内の物理的オブジェクトの表面に異なる模倣照明を生じさせる。デバイスは、物理面の様々な部分に対応する仮想オーバーレイの様々な部分における照明の異なる量、色、及び方向を模倣する、周囲の物理面に対する仮想オーバーレイを生成する。動画シーンが変化すると、光の量、光の色、及び光の方向も変化し、周囲の物理面上に重ね合わされた模倣照明を変更する。
いくつかの実施形態では、第１の仮想オブジェクトは、発話を介してユーザと相互作用する仮想アシスタントであり（例えば、仮想アシスタントは、様々なコンテキストでアクティブ化され、様々なタスク及び電子デバイスとの相互作用に関してユーザに支援を提供する）、コンピュータシステムは、仮想アシスタントの動作モードに従って仮想アシスタントの外観を変更する。例えば、仮想アシスタントが様々なタスクを、又は様々な動作モードで実行しているとき（例えば、待機状態、ユーザの命令を聞いている、ある位置から別の位置に移動されている、ユーザのコマンドに従ってタスクを実行中である、タスクを完了した、様々なタイプのタスクを実行しているなど）、仮想アシスタントの色、サイズ、色相、輝度などは変化する。仮想アシスタントの外観の変化の結果として、デバイスは、仮想アシスタントを取り囲む位置に対応する位置で、物理面上に模倣照明を生成する。
いくつかの実施形態では、第１の視覚的効果を生成することは、第１の物理面の第１の部分上の第１の仮想オブジェクトの模倣反射（例えば、模倣反射は、第１の物理面の第１の部分の表面特性、三次元シーン内の第１の仮想オブジェクトと第１の物理面の第１の部分との相対位置、第１の仮想オブジェクトから放射される光の模倣物理的特性、並びに光がどのように反射及び透過されるか、及びオブジェクトが現実世界の光によってどのように照らされるかを定める物理的光伝搬原理に従って生成される）に従って、第１の物理面の第１の部分の視覚的外観を修正することを含む。いくつかの実施形態では、第１の視覚的効果を生成することは、第１の物理面の第２の部分上の第１の仮想オブジェクトの模倣反射（例えば、模倣反射は、第１の物理面の第２の部分の表面特性、三次元シーン内の第１の仮想オブジェクトと第１の物理面の第２の部分との相対位置、第１の仮想オブジェクトから発せられる光の模倣物理的特性、並びに光がどのように反射及び透過されるか、及びオブジェクトが現実世界の光によってどのように照らされるかを定める物理的光伝搬原理に従って生成される）に従って、第１の物理面の第２の部分の視覚的外観を修正することを更に含む。
いくつかの実施形態では、第１の視覚的効果を生成することは、第１の物理面の第１の部分上の第１の仮想オブジェクトによって投じられた模倣影（例えば、模倣影は、第１の物理面の第１の部分の表面特性、三次元シーン内の第１の仮想オブジェクトと第１の物理面の第１の部分との相対位置、第１の仮想オブジェクトの模倣物理特性（例えば、形状、サイズなど）、実際の光源、三次元シーンに存在する模倣光源、並びに物理的光伝搬及び屈折原理に従ってデバイスによって生成される）に従って、第１の物理面（例えば、非反射物理面）の第１の部分の視覚的外観を変更することを含む。いくつかの実施形態では、第１の視覚的効果を生成することは、第１の物理面の第２の部分上の第１の仮想オブジェクトの模倣影（例えば、模倣影は、第１の物理面の第２の部分の表面特性、三次元シーン内の第１の仮想オブジェクトと第１の物理面の第２の部分との相対位置、第１の仮想オブジェクトの模倣物理的特性（例えば、形状、サイズなど）、実際の光源、三次元シーンに存在する模倣光源、並びに光がどのように反射及び透過され、オブジェクトが現実世界においてこの光によってどのように照らされるかを定める物理的光伝搬原理に従って、デバイスによって生成される）に従って、第１の物理面（例えば、非反射物理面）の第２の部分の視覚的外観を変更することを更に含む。
図９における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、１００００、１１０００、及び１２０００）に関して本明細書で記載された他のプロセスの詳細はまた、図９に関連して上述された方法９０００に類似の方法で適用可能であることも留意されたい。例えば、方法９０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記述した他の方法（例えば、方法８０００、１００００、１１０００、及び１２０００）を参照して本明細書に記述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１０は、いくつかの実施形態による、コンピュータ生成三次元環境を生成し、三次元環境とのユーザ相互作用を容易にする（例えば、ユーザ入力に基づいてコンピュータ生成体験のレベルを徐々に調整することを含む）方法１００００のフローチャートである。いくつかの実施形態では、方法１００００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上の入力デバイス（例えば、カメラ（例えば、ユーザの手元で下方に向く又はユーザの頭部から前方に向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１００００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１００００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
方法１００００では、コンピュータシステムは、表示生成コンポーネントを介して、三次元シーンを表示し（１０００２）、三次元シーンは、第１のセットの物理的要素（例えば、図７Ｇに示す物理的オブジェクト又はその表現）（例えば、表示生成コンポーネントの透明部分を通じて見える物理的オブジェクト、又は物理的オブジェクトの物理的環境のカメラビュー内のそれらの画像によって表される物理的オブジェクトであって、三次元シーン内の物理的要素のそれぞれの位置は、表示生成コンポーネントを取り囲む物理的環境内の物理的オブジェクトのそれぞれの位置に対応する）と、第１の量の仮想要素（例えば、仮想オブジェクトなし、又はユーザインタフェース要素及びコントロールを表す極簡易な仮想オブジェクト）とを含む。第１のセットの物理的要素は、少なくとも、第１のクラスの物理的オブジェクトに対応する物理的要素（例えば、壁又は表示生成コンポーネントに直接面する壁、窓など）と、第２のクラスの物理的オブジェクトに対応する物理的要素（表示生成コンポーネントに直接面する壁とは区別される側壁、壁とは区別される天井及び床、窓とは区別される壁、部屋内の物理的オブジェクト、部屋の内側にある垂直物理面、部屋の内側にある水平面、予め設定された閾値よりも大きな表面、部屋内の実際の家具の表面など）とを含む。表示生成コンポーネントを介して第１の量の仮想要素で三次元シーンを表示している間に、コンピュータシステムは、２つ以上のユーザ入力のシーケンス（例えば、２つ以上のスワイプ入力のシーケンス、２つ以上のスナップのシーケンス、ユーザがＨＭＤを頭部に装着し、続いてユーザがＨＭＤを手からに放し、続いてユーザがＨＭＤを頭部に装着した状態で腰かけたことに対応する入力）を検出する（１０００４）（例えば、２つ以上のユーザ入力は、（特定の仮想オブジェクトへの入力フォーカスによって）特定の仮想オブジェクトを三次元シーンにドラッグ及び／又はドロップするユーザ入力とは別個である）。２つ以上のユーザ入力のシーケンスの連続ユーザ入力を検出したことに応答して、コンピュータシステムは、２つ以上のユーザ入力のシーケンスの連続入力に従って、三次元シーンに表示される仮想要素の量を連続的に増加させる（１０００６）（例えば、同じタイプの連続ユーザ入力又は関連入力のシーケンス内の連続ユーザ入力に応答して、三次元シーン内の追加のクラスの物理的要素を置き換えることによって、三次元シーンの没入度を連続的に上昇させる）。具体的には、コンピュータシステムは、２つ以上のユーザ入力のシーケンスの第１のユーザ入力（例えば、図７Ｇの手７２００による入力）を検出したことに応答して、第１のユーザ入力が第１の基準（例えば、コンピュータ生成体験の没入度を増加させるジェスチャを検出するための基準）を満たすという判定に従って、三次元シーンを、少なくとも、第１のセットの１つ以上の物理的要素の第１のサブセット（例えば、第１のセットの１つ以上の物理的要素の全部ではないがいくつかが、新たに追加された仮想要素によって不明瞭にされる又は遮断される）、及び第２の量の仮想要素（例えば、図７Ｈ及び図７Ｉの仮想オブジェクト７４０２）で表示する。第２の量の仮想要素は、第１のユーザ入力の検出前に第１のクラスの物理的要素（例えば、壁）によって占有されていた三次元シーンの第１の部分を含め、三次元シーンにおいて第１の量の仮想要素よりも大きな部分を占める（例えば、三次元シーン内の第１のセットの物理面（例えば、壁など）のビューを遮断する仮想風景又は仮想窓などの仮想要素を表示する）。加えて、２つ以上のユーザ入力のシーケンスの第２のユーザ入力（例えば、図７Ｉの手７２００による入力）を検出したことに応答して、第２のユーザ入力が第１のユーザ入力に続き、第１の基準を満たすという判定に従って、コンピュータシステムは、少なくとも、第１のセットの１つ以上の物理的要素の第２のサブセット（例えば、第１のセットの１つ以上の物理的要素のうちのより多く又は全てが、新たに追加された仮想要素によって不明瞭になる又は遮断される）と、第３の量の仮想要素（例えば、図７Ｊ及び図７Ｋの仮想オブジェクト７４０２及び７４０６）と、を有する三次元シーンを表示する。第３の量の仮想要素は、第１のユーザ入力の検出前に第１のクラスの物理的要素によって占められていた三次元シーンの第１の部分と、第２のユーザ入力の検出前に第２のクラスの物理的要素によって占められていた三次元シーンの第２の部分とを含む、第２の量の仮想要素よりも三次元シーンの大きな部分を占める（例えば、三次元シーン内の第１のセットの物理面（例えば、壁など）のビューを遮断する仮想風景又は仮想窓などの仮想要素を表示し続け、第２のセットの物理面（例えば、テーブルトップ、棚や機器の表面など）のビューを遮断する仮想装飾や仮想面などの追加の仮想要素を表示する）。これは例えば、図７Ｇ～７Ｌに示されている。
いくつかの実施形態では、２つ以上のユーザ入力のシーケンスの第１のユーザ入力を検出したことに応答して第２の量の仮想要素を表示することは、三次元シーン内で量が増加する第１のクラスの物理的要素を仮想要素（新たな仮想要素及び／又は既存の仮想要素の拡張）に徐々に置き換える（例えば、バススルービデオを介して可視になるオブジェクトの表示を置き換える、又は透明若しくは部分的に透明なディスプレイを通じて直接可視になるオブジェクトを不明瞭にする）第１のアニメーション移行を表示することを含む。２つ以上のユーザ入力のシーケンスの第２のユーザ入力を検出したことに応答して第３の量の仮想要素を表示することは、第１のクラスの物理的要素を、三次元シーン内の既存の仮想要素（例えば、第２の量の仮想要素）の代わりに表示しながら、三次元シーン内で量が増加する第２のクラスの物理的要素を仮想要素（例えば、新たな仮想要素及び／又は既存の仮想要素の拡張）に徐々に置き換える第２のアニメーション移行を表示することを含む。例えば、第１の入力（例えば、コントローラ又はユーザの手上での第１のスワイプ入力）に応答して、デバイスは、三次元シーン内で可視である第１の物理的壁（例えば、表示生成コンポーネントに直接面する壁）のビューを森の仮想風景に置き換えて、他の物理的壁、物理的天井、及び物理的床を三次元シーン内で可視のまま残す。第１の物理的壁のビューを置き換えるときに、デバイスは、森の仮想風景で徐々にフェードインするアニメーション移行を表示する。第２の入力（例えば、コントローラ又はユーザの手上での第２のスワイプ入力）に応答して、デバイスは、三次元シーン内で可視である残りの物理的壁（例えば、表示生成コンポーネントに直接対向しない壁）のビューを、三次元シーン内で既に可視となっている部分から拡張する森の仮想風景に置き換えて、三次元シーン内で可視である物理的天井及び物理的床のみを残す。残りの物理的壁のビューを置き換えるとき、デバイスは、仮想森の既存のビューを、第１の物理的壁の位置から壁の残りの部分まで徐々に拡張するアニメーション移行を表示する。いくつかの実施形態では、第３の入力（例えば、コントローラ又はユーザの手上での第３のスワイプ入力）に応答して、デバイスは、三次元シーン内で依然として可視である天井（及び任意選択的に、床）のビューを、仮想森の既存のビューから周囲の物理的壁の位置から天井の中心に向かって（及び任意選択的に床の中心に向かって）徐々に延びる森の仮想風景に徐々に置き換える（例えば、仮想森の伐採から見える仮想空の一部を示す）（例えば、仮想森の伐採から見える地面の一部を示す）。第４の入力（例えば、コントローラ又はユーザの手上での第４のスワイプ入力）に応答して、デバイスは、三次元シーン内で依然として可視である他の物理的オブジェクトのビューを、物理的オブジェクトの表面上に徐々にフェードインし、段々と不透明かつ飽和される仮想オーバーレイに置き換える。
いくつかの実施形態では、２つ以上のユーザ入力のシーケンスの連続入力に従って仮想要素の量を連続的に増加させるとき、コンピュータシステムは、２つ以上のユーザ入力のシーケンスの第３のユーザ入力を検出したことに応答して、第３のユーザ入力が第２のユーザ入力に続き、第１の基準を満たすという判定に従って、第４の量の仮想要素で三次元シーンを表示する。第４の量の仮想要素は、第１のユーザ入力の検出前に第１のクラスの物理的要素（例えば、物理的窓又は表示生成コンポーネントに面する壁）によって占められていた三次元シーンの第１の部分と、第２のユーザ入力の検出前に第２のクラスの物理的要素（例えば、壁又は表示生成コンポーネントに面していない壁）によって占められていた三次元シーンの第２の部分と、第３のユーザ入力の検出前に第３のクラスの物理的要素（例えば、部屋内の物理的オブジェクト）によって占められていた三次元シーンの第３の部分とを含む、第３の量の仮想要素よりも三次元シーンの大きな部分を占める（例えば、第４の量は三次元シーンの全てを占める）。
いくつかの実施形態では、２つ以上のユーザ入力のシーケンスの第２のユーザ入力を検出したことに応答して、第２のユーザ入力が第１のユーザ入力に続き、第１の基準を満たすという判定に従って、コンピュータシステムは、第２の量の仮想要素の表示と、第３の量の仮想要素の表示との間の第３のアニメーション移行を表示する。いくつかの実施形態では、第２の量の仮想要素のレンダリングは、より人工的であり、あまり現実的ではなく、第３の量の仮想要素（前に表示されていた第２の量の仮想要素及び追加の仮想要素を含む）のレンダリングは、より現実的であり、より没入型のコンピュータ生成現実体験を提示する。
いくつかの実施形態では、第２の量の仮想要素は、少なくとも、第１のセットの１つ以上の物理的要素の第１のサブセットで表示される第１の仮想環境（例えば、異なる地理的位置のシーン（例えば、リアルタイムビデオフィード又は模倣シーン）を示す仮想窓）へのビューを含む。第１の仮想環境へのビューは、ビューに表される第１の仮想環境の一部の第１の表示特性（例えば、輝度分布、色、色相など）の第１のセットの値を有する（例えば、仮想窓は、雪山の頂上から反射したピンクの朝の光を示す）。コンピュータシステムは、第１の仮想環境へのビューに表された第１の仮想環境の部分の第１の表示特性の第１のセットの値に従って、第１のセットの１つ以上の物理的要素の第１のサブセットの少なくとも一部の視覚的外観を修正する（例えば、仮想窓に示される第１の仮想環境のビューの第１の表示特性についての第１のセットの値と第１のサブセットの物理的要素の視覚的外観の変化との間の対応関係は、光がどのように反射され透過されるか、及び、オブジェクトが現実世界においてこの光によってどのように照らされるかを定める物理的光伝搬原理などの模倣物理的原理、第１のサブセットの物理的要素の実際又は模倣表面特性、及び三次元シーン内の第１のサブセットの物理的要素に対する仮想窓の相対位置などに基づく）。
いくつかの実施形態では、少なくとも、第１のセットの１つ以上の物理的要素の第１のサブセットで表示される第１の仮想環境へのビューを含む第２の量の仮想要素（例えば、異なる地理的位置のシーン（例えば、リアルタイムビデオフィード又は模倣シーン）を示す仮想窓）を表示しながら、コンピュータシステムは、第２の基準（例えば、没入度を変更せずに、仮想環境へのビューを変更するためのナビゲーションメニューを表示するための基準）（例えば、ユーザの指又は手による長押しジェスチャを検出するための基準）を満たす入力を検出する。第１の基準とは別個の第２の基準を満たす入力（例えば、少なくとも時間閾値、維持される長押し入力）を検出したことに応答して、コンピュータシステムは、第１の仮想環境へのビューを変更するための複数の選択可能なオプション（例えば、（例えば、位置、時刻、照明、気象状態、ズームレベル、視点、季節、日付などを変更することによって）仮想窓に表される仮想環境を変更するためのメニューオプションを含む）を表示する。いくつかの実施形態では、コンピュータシステムは、表示された選択可能なオプションのうちの１つを選択する入力を検出し、それに応答して、コンピュータシステムは、第１の仮想環境へのビューを、第１の仮想環境とは異なる第２の仮想環境（例えば、海洋又は洞窟など）へのビューに置き換える、又は第１の仮想環境の外観を変更する少なくとも１つの変更されたパラメータ（例えば、時刻、季節、日付、位置、ズームレベル、視野角など）で第１の仮想環境を示すようにビューを更新する。
いくつかの実施形態では、少なくとも、第１のセットの１つ以上の物理的要素の第１のサブセットで表示される第１の仮想環境へのビューを含む第２の量の仮想要素（例えば、異なる地理的位置のシーン（例えば、リアルタイムビデオフィード又は模倣シーン）を示す仮想窓）を表示しながら、コンピュータシステムは、第３の基準（例えば、没入度を変更せずに仮想環境へのビューを変更するための基準）（例えば、ユーザの指又は手によるスワイプジェスチャを検出するための基準）を満たす入力を検出する。第３の基準を満たす入力を検出したことに応答して、コンピュータシステムは、第１の仮想環境へのビューを、第１の仮想環境とは別個の第２の仮想環境（例えば、海洋又は洞窟など）へのビューに置き換える。いくつかの実施形態では、（例えば、時刻、位置、ズームレベル、視野角、季節などの変化と共に）ビューのコンテンツが変化すると、コンピュータシステムはまた、ビューのコンテンツに表された仮想環境の部分の第１の表示特性の変更された値に従って、少なくとも、第１のセットの１つ以上の物理的要素の第１のサブセットの一部の視覚的外観を修正する（例えば、仮想窓に示される仮想環境のビューの第１の表示特性についての第１のセットの値と第１のサブセットの物理的要素の視覚的外観の変化との間の対応関係は、光がどのように反射され透過されるか、及び、オブジェクトが現実世界においてこの光によってどのように照らされるかを定める物理的光伝搬原理などの模倣物理的原理、第１のサブセットの物理的要素の実際又は模倣表面特性、及び三次元シーン内の第１のサブセットの物理的要素に対する仮想窓の相対位置などに基づく）。
いくつかの実施形態では、少なくとも、第１のセットの１つ以上の物理的要素の第１のサブセットで表示される第１の仮想環境へのビューを含む第２の量の仮想要素（例えば、異なる地理的位置のシーン（例えば、リアルタイムビデオフィード又は模倣シーン）を示す仮想窓）を表示しながら、コンピュータシステムは、第３の基準（例えば、没入度を変更せずに仮想環境へのビューを変更するための基準）（例えば、ユーザの指又は手によるスワイプジェスチャを検出するための基準）を満たす入力を検出する。第３の基準を満たす入力を検出したことに応答して、コンピュータシステムは、第１の仮想環境の外観を変更する少なくとも１つの変更されたパラメータ（例えば、時刻、季節、日付、位置、ズームレベル、視野角など）で第１の仮想環境を示すように、ビューを更新する。いくつかの実施形態では、（例えば、時刻、位置、ズームレベル、視野角、季節などの変化と共に）ビューのコンテンツが変化すると、コンピュータシステムはまた、ビューのコンテンツに表された仮想環境の部分の第１の表示特性の変更された値に従って、少なくとも、第１のセットの１つ以上の物理的要素の第１のサブセットの一部の視覚的外観を修正する（例えば、仮想窓に示される仮想環境のビューの第１の表示特性についての第１のセットの値と第１のサブセットの物理的要素の視覚的外観の変化との間の対応関係は、光がどのように反射され透過されるか、及び、オブジェクトが現実世界においてこの光によってどのように照らされるかを定める物理的光伝搬原理などの模倣物理的原理、第１のサブセットの物理的要素の実際又は模倣表面特性、及び三次元シーン内の第１のサブセットの物理的要素に対する仮想窓の相対位置などに基づく）。
いくつかの実施形態では、第１の基準は、第１の方向基準を含み（例えば、入力は水平スワイプ入力である）、第２の基準は、第１の方向基準とは別個の第２の方向基準を含む（例えば、入力は垂直スワイプ入力である）。例えば、いくつかの実施形態では、垂直スワイプジェスチャが没入度を増加又は減少させる（例えば、三次元シーン内の仮想要素の量を増加又は減少させる）間、水平スワイプジェスチャは、窓のサイズを変化させることなく仮想窓内に表されるビューを変化させる、又は（例えば、三次元シーン内の仮想要素の量を変更することなく）没入度を変更する。
いくつかの実施形態では、第１の量の仮想要素を表示することは、三次元シーン内の第１の仮想窓を表示することを含み、第２の量の仮想要素を表示することは、三次元シーン内の第１の仮想窓を拡張することを含み、第３の量の仮想要素を表示することは、１つ以上の物理的壁のビューを仮想要素に置き換えることを含む。いくつかの実施形態では、２つ以上のユーザ入力のシーケンスの追加のユーザ入力は、追加の量の仮想要素を、物理的要素によって前に占められていたシーンの部分を占める三次元シーンに導入させる。例えば、第１の基準を満たす第３の入力は、複数の残りの壁及び天井を仮想要素に置き換える。第１の基準を満たす第４の入力は、床を仮想要素に置き換える。
いくつかの実施形態では、２つ以上のユーザ入力のシーケンスは、第１の入力タイプ（例えば、垂直／上方スワイプ入力などの同じ入力タイプ）の反復入力を含む。
いくつかの実施形態では、２つ以上のユーザ入力のシーケンスは、連続入力の連続部分（例えば、第１の位置から始まり、複数の閾値位置／距離を通過する所定方向の連続移動を含む垂直／上方スワイプ入力、又は複数の強度閾値を超える連続的に強度が上がる押圧入力など）を含み、連続入力の各部分は、（例えば、複数の入力閾値の対応する入力閾値を満たすことによって）２つ以上のユーザ入力のシーケンスのそれぞれのユーザ入力に対応する。
いくつかの実施形態では、第１のセットの１つ以上の物理的要素の第１のサブセットは、少なくとも物理的環境の壁及び床を含み、第１のセットの１つ以上の物理的要素の第２のサブセットは、物理的環境の壁を含まずに物理的環境の床を含む。例えば、いくつかの実施形態では、仮想要素は、三次元シーンに表される物理的環境の１つ以上の壁を置き換えるが、物理的環境の床は置き換えない。
いくつかの実施形態では、第１のセットの１つ以上の物理的要素の第１のサブセットは、少なくとも物理的環境内の壁及び１つ以上の家具を含み、第１のセットの１つ以上の物理的要素の第２のサブセットは、物理的環境の壁を含まずに、物理的環境内の１つ以上の家具を含む。例えば、いくつかの実施形態では、仮想要素は、三次元シーンに表される物理的環境の１つ以上の壁を置き換えるが、物理的環境内の家具のうちの少なくともいくつかを置き換えない。
図１０における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１１０００、及び１２０００）に関して本明細書で記載された他のプロセスの詳細はまた、図１０に関連して上述された方法１００００に類似の方法で適用可能であることも留意されたい。例えば、方法１００００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記述した他の方法（例えば、方法８０００、９０００、１１０００、及び１２０００）を参照して本明細書に記述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１１は、いくつかの実施形態による、コンピュータ生成環境とのユーザ相互作用を容易にする（例えば、物理的面との相互作用を利用してデバイスを制御する又はコンピュータ生成環境と相互作用する）方法１１０００のフローチャートである。いくつかの実施形態では、方法１１０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上の入力デバイス（例えば、カメラ（例えば、ユーザの手元で下方を向く又はユーザの頭部から前方に向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ）、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１１０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１１０００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法１１０００では、コンピュータシステムディスプレイは、表示生成コンポーネントを介して三次元シーンを表示し（１１００２）、三次元シーンは、少なくとも第１の物理的オブジェクト（例えば、図７Ｍのボックス７５０２又はボックス７５０４）又はその表現（例えば、図７Ｎの表現７５０２’又は表現７５０４’）を含む。第１の物理的オブジェクトは、少なくとも第１の物理的（実質的に平坦な及び／又は平滑な）表面を有する（例えば、第１の物理的オブジェクトは、カメラ又は透明ディスプレイを通じて三次元シーン内で可視である）。三次元シーン内の第１の物理的オブジェクト又はその表現のそれぞれの位置は、表示生成コンポーネントを取り囲む物理的環境内の第１の物理的オブジェクトのそれぞれの位置に対応する（例えば、第１の物理的オブジェクトは、ヘッドアップディスプレイ又はＨＭＤの透明パススルー部分を通じて可視である、又は第１の物理的オブジェクトの表現は、ディスプレイ又はＨＭＤに表示される物理的環境のカメラビュー内の第１の物理的オブジェクトの画像を含む）。三次元シーンを表示している間、コンピュータシステムは、第１の相互作用基準が満たされることを検出し（１１００４）、第１の相互作用基準は、ユーザと第１の物理的オブジェクトとの間のユーザ相互作用の第１のレベルが検出されたとき（例えば、ユーザの視線が、ユーザが第１の物理的オブジェクトに対して動作を実行したいと考えていることを示す他のジェスチャ又はアクション（例えば、手移動、口頭のコマンドなど）を伴わずに第１の物理的オブジェクトに向けられているとき）に満たされる第１の基準を含む。第１の相互作用基準が満たされることを検出したことに応答して、コンピュータシステムは、表示生成コンポーネントを介して、三次元シーン内の第１の物理的オブジェクト（例えば、ボックス７５０２又はボックス７５０４）の第１の物理面の位置に対応する位置に、第１のユーザインタフェース（例えば、図７Ｏの第１のユーザインタフェース７５１０又は図７Ｐの第１のユーザインタフェース７５１６）（例えば簡素化されたユーザインタフェース又は情報インタフェース）を表示する（１１００６）（例えば、第１のユーザインタフェースが、第１の物理的オブジェクトの第１の物理面又はその表現の少なくとも一部上に、又は重なって表示される）。三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置に第１のユーザインタフェースを表示している間、コンピュータシステムは、第２の相互作用基準が満たされることを検出し（１１００８）、第２の相互作用基準は、ユーザと第１の物理的オブジェクトとの間のユーザ相互作用の第１のレベルよりも高いユーザ相互作用の第２のレベルが検出されたとき（例えば、ユーザの視線が依然として第１の物理的オブジェクトに向けられている間、ユーザ又はユーザの手が第１の物理的オブジェクトに近づくとき）に満たされる第２の基準を含む（例えば、第２の基準を満たすユーザ相互作用のレベルは第１の基準も満たすが、第１の基準を満たすユーザ相互作用のレベルは第２の基準を満たさない）。第２の相互作用基準が満たされることを検出したことに応答して、コンピュータシステムは、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置で、第１のユーザインタフェースを第２のユーザインタフェース（例えば、図７Ｑの第２のユーザインタフェース７５１０’又は図７Ｒの第２のユーザインタフェース７５１２’）（例えば、拡張ユーザインタフェース又は制御要素付きのユーザインタフェース）に置き換える（１１０１０）（例えば、第２のユーザインタフェースは、第１の物理的オブジェクトと比較して、第１の物理的オブジェクトに対応する拡張ユーザインタフェースに対応する）。いくつかの実施形態では、ユーザの手が第１の物理的オブジェクト近傍で検出される（例えば、ホバー入力が検出される）と、コンピュータシステムは、第２のユーザインタフェースに置き換わる第３のユーザインタフェースで更に多くの情報（過去／将来の歌、拡張コントロール）を表示する。いくつかの実施形態では、第１のユーザインタフェースは、キーボードのインジケーションを含み、第２のユーザインタフェースは、テキスト入力のためのキーを有するキーボードを含み、第１の物理面は、物理テーブルのテーブルトップである。キーボードのインジケーションは、ユーザがテーブルトップを見るときに表示され、キーボードは、ユーザがテーブルトップを見て、タイピングの姿勢でテーブルトップの上方に手を浮かばせると表示される。いくつかの実施形態では、キーボードのキーは、ユーザがテーブルトップの上方で手を浮かばせると、テーブルトップに対応する三次元シーン内の位置からポップアップする。いくつかの実施形態では、ユーザの指がテーブルトップを押す又はテーブルトップにタッチすると、テーブルトップ上のタッチされた位置に対応する位置でキーが押し下げられ、任意選択的に、大きくなるように見える。ユーザの指がテーブルトップから持ち上げられると、キーは元のサイズに復元される。
いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置に第２のユーザインタフェースを表示している間、コンピュータシステムは、第１の相互作用基準が満たされた（例えば、ユーザ相互作用のレベルが、ユーザ相互作用の第１のレベルに戻る）ことを検出する。第２のユーザインタフェースの表示後に第１の相互作用基準が満たされたことを検出したことに応答して、コンピュータシステムは、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置で第２のユーザインタフェースの表示を第１のユーザインタフェースの表示に置き換える。例えば、いったんユーザ相互作用のレベルが、拡張ユーザインタフェースを表示するために必要な閾値レベルを下回ったときに、拡張ユーザインタフェースの表示を停止する。いくつかの実施形態では、ユーザ相互作用のレベルが更に低下し、第１の相互作用基準も満たされない場合、コンピュータシステムは、第１のユーザインタフェースの表示も同様に停止する。
いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクト（例えば、スピーカ）の第１の物理面又はその表現の位置に対応する位置に第１のユーザインタフェース（例えば、メディア再生ユーザインタフェース）を表示している間、コンピュータは、第３の相互作用基準が満たされたことを検出し、第３の相互作用基準は、ユーザと第１の物理的オブジェクトとは別個の第２の物理的オブジェクト（例えば、スマートランプ）との間のユーザ相互作用の第１のレベル（例えば、ユーザ又はユーザの手が動かないが、ユーザの視線が第１の物理的オブジェクトから第２の物理的オブジェクトに移動しているとき）が検出されたときに満たされる第３の基準を含む。第３の相互作用基準が満たされたことを検出したことに応答して、コンピュータシステムが、三次元シーン内の第１の物理的オブジェクト（例えば、スピーカ）の第１の物理面の位置又はその表現に対応する位置で、第１のユーザインタフェース（例えば、メディア再生ユーザインタフェース）の表示を停止し、コンピュータシステムが、三次元シーン内の第２の物理的オブジェクト（例えば、スマートランプ）の第２の物理面又はその表現の位置に対応する位置に第３のユーザインタフェース（例えば、照明制御ユーザインタフェース）を表示する。例えば、ユーザの視線が第１の物理的オブジェクトから第２の物理的オブジェクトに移るとき、ユーザの手が、第１の物理的オブジェクト及び第２の物理的オブジェクトの両方の近傍での移動を伴わずに空中に浮かんでいる間、コンピュータシステムは、第１の物理的オブジェクトの表面に重なる第１の物理的オブジェクトに対応するユーザインタフェースの表示を停止し、その代わりに、三次元シーン内の第２の物理的オブジェクトの表面に重なる第２の物理的オブジェクトに対応するユーザインタフェースを表示する。
いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置に第１のユーザインタフェースを表示している間、コンピュータシステムは、第１のアクション基準を満たす第１の入力を検出し、第１のアクション基準は、第１のユーザインタフェースに含まれる第１のオプションのアクティブ化に対応する（例えば、第１のアクティブ化基準は、タップ入力を検出するための基準である）。第１のユーザインタフェースが表示されている間に第１のアクション基準を満たす第１の入力を検出したことに応答して、コンピュータシステムは、第１のユーザインタフェースに含まれる第１のオプション）に対応する第１の動作を実行する（例えば、第１の物理的オブジェクト（例えば、スピーカ又はステレオ）に関連付けられたメディアプレーヤの再生／休止機能をアクティブ化する）。いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置に第１のユーザインタフェースを表示している間、コンピュータシステムは、第２のアクション基準を満たす第２の入力を検出し、第２のアクション基準は、第１のユーザインタフェースに含まれる第２のオプションのアクティブ化に対応し（例えば、第２の動作基準は、スワイプ入力を検出するための基準、又はツイスト入力を検出するための基準である）、第１のユーザインタフェースが表示されている間に第２のアクション基準を満たす第２の入力を検出したことに応答して、コンピュータシステムは、第１のユーザインタフェースに含まれる第２のオプションに対応する第２の動作を実行する（例えば、第１の物理的オブジェクト（例えば、スピーカ又はステレオ）に関連付けられたメディアプレーヤの早送り又は巻戻し機能をアクティブ化する、又は第１の物理的オブジェクトのボリューム若しくは出力レベルを調整する）。
いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置に第２のユーザインタフェースを表示している間、コンピュータシステムは、第３のアクション基準を満たす第２の入力を検出し、第３のアクション基準は、第２のユーザインタフェースに含まれる第３のオプションのアクティブ化に対応する（例えば、第３のアクション基準は、第２のユーザインタフェースに含まれる第１のユーザインタフェースオブジェクトに向けられた視線入力と共にタップ入力を検出するための基準である）。第２のユーザインタフェースが表示されている間に第３のアクション基準を満たす第１の入力を検出したことに応答して、コンピュータシステムは、第２のユーザインタフェースに含まれる第３のオプションに対応する第３の動作を実行する（例えば、第１の物理的オブジェクト（例えば、スピーカ又はステレオ）に関連付けられたメディアプレーヤの異なるアルバムに切り替わる）。いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面又はその表現の位置に対応する位置に第２のユーザインタフェースを表示している間、コンピュータシステムは、第４のアクション基準を満たす第４の入力を検出し、第４のアクション基準は、第２のユーザインタフェースに含まれる第４のオプションのアクティブ化に対応し（例えば、第４のアクション基準は、第２のユーザインタフェースに含まれる第２のユーザインタフェースオブジェクトに向けられた視線入力を伴うスワイプ入力を検出するための基準である）、第２のユーザインタフェースが表示されている間に第４のアクション基準を満たす第４の入力を検出したことに応答して、コンピュータシステムは、第２のユーザインタフェースに含まれる第４のオプションに対応する第４の動作を実行する（例えば、第１の物理的オブジェクトの１つ以上の他の関連物理的オブジェクトをアクティブ化する（例えば、１つ以上の他の関連スピーカをアクティブ化する）、又は第１の物理的オブジェクトの出力を別の物理的オブジェクトに送る）。
いくつかの実施形態では、第１の物理的オブジェクトは、スピーカであり、第１のユーザインタフェースは、スピーカと関連付けられた１つ以上の再生制御機能の第１のセット（例えば、再生／休止制御機能、早送り機能、巻戻し機能、停止機能など）を提供する。いくつかの実施形態では、第１のユーザインタフェースは、これらの制御機能に対応するユーザインタフェースオブジェクトを含む。いくつかの実施形態では、第１のユーザインタフェースは、所与の時間に第１のユーザインタフェースに提供される制御機能の少なくともいくつかに対応するユーザインタフェースオブジェクトを含まず、第１のユーザインタフェースが表示されている間に検出されたユーザ入力に応じて、第１のユーザインタフェース上に表示されるユーザインタフェースオブジェクトが選択される。例えば、ユーザが、第１のユーザインタフェースが表示されている間にスワイプ入力を提供するとき、第１のユーザインタフェースは、スワイプ入力の方向に応じて、早送り又は巻戻し記号を表示する。ユーザが、第１のユーザインタフェースが表示されている間にタップ入力を提供するとき、第１のユーザインタフェースは、再生の現在の状態に応じて、再生／休止インジケータを表示する。ユーザが自分の指でピンチ及びツイスト入力を提供するとき、第１のユーザインタフェースは、ツイスト入力の方向に従ってスピーカのボリュームレベルを調節するボリュームコントロールを表示する。いくつかの実施形態では、第１のユーザインタフェースはまた、ユーザが選択することができる、最近再生された又は次の歌／アルバムのリストなどの情報を提供する。
いくつかの実施形態では、第１のユーザインタフェースは、第１の物理的オブジェクトに対応する１つ以上の通知を含む。例えば、ユーザが第１の物理的オブジェクトとの第１のレベルの相互作用（例えば、ユーザがスピーカ又はスマートランプを見る）を有するとき、コンピュータシステムは、第１の物理的オブジェクトの第１の物理面に重なる１つ以上の通知（例えば、スピーカ又はスマートランプに対応するステータス又は警告に関連する通知（例えば、「バッテリ残量低下」、「タイマを２０分に設定」））を表示する。
いくつかの実施形態では、第２のユーザインタフェースは、テキスト入力のための複数の文字キーを含むキーボードを含む。例えば、ユーザが第１の物理的オブジェクトとの第２のレベルの相互作用を有するとき（例えば、ユーザがスピーカを見て両手を挙げる）、コンピュータは、ユーザがスピーカに関連付けられた音楽データベースを検索するための検索キーワードを入力する検索インタフェースをキーボードと共に表示する。
いくつかの実施形態では、第１のユーザインタフェースは、第１の物理的オブジェクトの内部状態のインジケーションを表示する。例えば、ユーザが第１の物理的オブジェクトとの相互作用の第１のレベルを有するとき（例えば、ユーザがスピーカ又はスマートランプを見る）、コンピュータシステムは、第１の物理的オブジェクトの第１の物理面に重なる第１の物理的オブジェクトの内部状態（例えば、現在再生されているアルバム／曲の名称、「バッテリ残量低下」、「タイマを２０分に設定」など）を表示する。
いくつかの実施形態では、第２のユーザインタフェースは、第１のユーザインタフェースに提供される少なくともサブセットの機能又は情報を提供し、第１のユーザインタフェースで利用できない情報の少なくとも１つの機能又はアイテムを含む。例えば、ユーザが第１の物理的オブジェクトとの相互作用の第１のレベルを有するとき（例えば、ユーザは、スピーカ又はスマートランプを見る）、コンピュータシステムは、第１の物理的オブジェクトの第１の物理面に重なる第１の物理的オブジェクトの内部状態（例えば、現在再生されているアルバム／曲の名称、「バッテリ残量低下」、「タイマを２０分に設定」など）の内部状態を表示し、ユーザが第１の物理的オブジェクトとの相互作用の第２のレベルを有するとき（例えば、ユーザは、スピーカ又はスマートランプを見て、手を挙げて入力を提供するための準備完了ジェスチャを行う、又は第１の物理的オブジェクトに近づく）、コンピュータシステムは、第１の物理的オブジェクトの内部状態を表示するユーザインタフェース、並びに第１の物理的オブジェクトの内部状態を変更するための１つ以上のコントロール（例えば、現在再生されている曲／アルバムを変更するためのコントロール、出力を関連するスピーカにルーティングするための制御などである）を表示する。
いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面の位置に対応する位置に第１のユーザインタフェースが表示されている間（例えば、第１のユーザインタフェースは、第１の物理的オブジェクトの第１の物理面又はその表現の少なくとも一部上に、又は重なって表示される）、コンピュータシステムは、第１のユーザインタフェースを消すための要求に対応する第５の基準（例えば、視線入力が第１のユーザインタフェースに焦点を合わせている間に、スワイプ入力を検出するための基準）を満たすユーザ入力を検出する。第５の基準を満たすユーザ入力を検出したことに応答して、コンピュータシステムは、（例えば、第１のユーザインタフェースを第２のユーザインタフェースに置き換えることなく）第１のユーザインタフェースの表示を停止する。同様に、いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面の位置に対応する位置に第２のユーザインタフェースを表示している間（例えば、第２のユーザインタフェースは、第１の物理的オブジェクトの第１の物理面又はその表現の少なくとも一部上に、又は重なって表示される）、コンピュータシステムは、第２のユーザインタフェースを消すための要求に対応する第６の基準（例えば、視線入力が第２のユーザインタフェースに焦点を合わせている間に、スワイプ入力を検出するための基準）を満たすユーザ入力を検出し、第６の基準を満たすユーザ入力を検出したことに応答して、コンピュータシステムは、（例えば、第２のユーザインタフェースを第１のユーザインタフェースに置き換えることなく）第２のユーザインタフェースの表示を停止する。
いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面の位置に対応する位置に第１のユーザインタフェース又は第２のユーザインタフェースを表示している間に（第１／第２のユーザインタフェースは、第１の物理的オブジェクトの第１の物理面又はその表現の少なくとも一部上に、又は重なって表示される）、コンピュータシステムは、（例えば、タッチセンサ若しくは近接センサなどの物理面上の１つ以上のセンサ、及び／又はカメラ若しくは深度センサなどのデバイス上の１つ以上のセンサを用いて）第１の物理的オブジェクトの第１の物理面上のユーザ入力を検出する。第１の物理的オブジェクトの第１の物理面上のユーザ入力を検出したことに応答して、第１の物理的オブジェクトの第１の物理面上のユーザ入力が第６の基準（例えば、スワイプ入力、タップ入力、長押し入力、又はダブルタップ入力などを検出するためのそれぞれの基準セット中の第１の基準セット）を満たすという判定に従って、コンピュータシステムは、第１の物理的オブジェクトに対応する第１の動作を実行する。第１の物理的オブジェクトの第１の物理面上のユーザ入力が第６の基準（例えば、スワイプ入力、タップ入力、長押し入力、又はダブルタップ入力などを検出するためのそれぞれの基準のセット中の第２の基準セット）を満たすという判定に従って、コンピュータシステムは、第１の動作とは別個の、第１の物理的オブジェクトに対応する第２の動作を実行する。
いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面の位置に対応する位置に第１のユーザインタフェース又は第２のユーザインタフェースを表示している間に（例えば、第１／第２のユーザインタフェースは、第１の物理的オブジェクトの第１の物理面又はその表現の少なくとも一部上に、又は重なって表示される）、コンピュータシステムは、視線入力が第１の物理的オブジェクトの第１の物理面に向けられている間にジェスチャ入力（例えば、空中、コントローラ上、又はユーザの手上での手ジェスチャ）を検出する。視線入力が第１の物理的オブジェクトの第１の物理面に向けられている間に、ジェスチャ入力を検出したことに応答して、ジェスチャ入力及び視線入力が第７の基準を満たす（例えば、ジェスチャが、視線入力がユーザインタフェース内のボタン上にある間のタップ入力である）という判定に従って、コンピュータシステムは、第１の物理的オブジェクトに対応する第３の動作（例えば、ボタンと関連付けられた機能）を実行する。ジェスチャ入力及び視線入力が第８の基準を満たす（例えば、ジェスチャが、視線入力がユーザインタフェース内のスライダ上にある間のスワイプ入力である）という判定に従って、コンピュータシステムは、第３の動作とは別個の第１の物理的オブジェクトに対応する第４の動作を実行する（例えば、スライダと関連付けられた値を調節する）。
いくつかの実施形態では、三次元シーン内の第１の物理的オブジェクトの第１の物理面の位置に対応する位置に第１のユーザインタフェース又は第２のユーザインタフェースを表示している間（例えば、第１／第２のユーザインタフェースは、第１の物理的オブジェクトの第１の物理面又はその表現の少なくとも一部上に、又は重なって表示される）、コンピュータシステムは、視線入力が第１の物理的オブジェクトの第１の物理面に向けられている間に（例えば、第１の物理的オブジェクトはユーザの手から遠く離れている）、（タッチセンサ又は近接センサなどの物理面上の１つ以上のセンサ、及び／又はカメラ又は深度センサなどのデバイス上の１つ以上のセンサを用いて）第１の物理的オブジェクトとは別個の第２の物理的オブジェクト（例えば、第２の物理的オブジェクトは、ユーザの手の近傍のテーブルトップ又はコントローラである）の第２の物理面上のジェスチャ入力を検出する。視線入力が第１の物理的オブジェクトの第１の物理面に向けられている間に、第２の物理的オブジェクトの第２の物理面上のジェスチャ入力を検出したことに応答して、ジェスチャ入力及び視線入力が、第９の基準を満たす（例えば、ジェスチャが、視線入力がユーザインタフェース内のボタン上にある間のタップ入力である）という判定に従って、コンピュータシステムは、第１の物理的オブジェクトに対応する第５の動作（例えば、ボタンと関連付けられた関数）を実行し、ジェスチャ入力及び視線入力が第１０の基準を満たす（例えば、ジェスチャが、視線入力がユーザインタフェース内のスライダ上にある間のスワイプ入力である）という判定に従って、コンピュータシステムは、第５の動作とは別個の第１の物理的オブジェクトに対応する第６の動作を実行する（例えば、スライダと関連付けられた値を調節する）。
図１１における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１００００、及び１２０００）に関して本明細書で記載された他のプロセスの詳細はまた、図１１に関連して上述された方法１１０００に類似の方法で適用可能であることも留意されたい。例えば、方法１１０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記述した他の方法（例えば、方法８０００、９０００、１００００、及び１２０００）を参照して本明細書に記述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１２は、いくつかの実施形態による、コンピュータ生成三次元環境を生成する（例えば、環境内の音声ベース仮想アシスタントと物理的オブジェクト及び仮想オブジェクトとの間の視覚的相互作用を模倣することを含む）方法１２０００のフローチャートである。いくつかの実施形態では、方法１２０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上の入力デバイス（例えば、カメラ（例えば、カメラ（例えば、ユーザの手元で下方に向く又はユーザの頭部から前方に向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１２０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１２０００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法１２０００において、コンピュータシステムは、表示生成コンポーネントを介して、三次元シーンを表示し（１２００２）、三次元シーンは、少なくとも第１の物理面（例えば、図７Ｔの家具７３１０の前面７３１２）を有する（第１の物理的オブジェクト（例えば、図７Ｔの家具７３１０）（例えば、第１の物理的オブジェクトは、カメラ又は透明なディスプレイを介して三次元シーン内で可視であり、（例えば、最初の可視化され、色、テクスチャ、反射率、及び透明度などの固有の光学特性を備える）と、少なくとも第１の仮想面を有する第１の仮想オブジェクト（例えば、図７Ｔの仮想オブジェクト７４０４）（例えば、コンピュータレンダリングされた三次元花瓶又はテーブルトップなどの、模倣表面光学的特性（例えば、模倣反射率、模倣表面テクスチャなど）を有するコンピュータ生成面を有するコンピュータレンダリングされた三次元オブジェクト）と、を含む。第１の物理的オブジェクト及び第１の仮想オブジェクトを含む三次元シーンを表示している間に、コンピュータシステムは、例えば、図７Ｔに示されるように、音声ベース仮想アシスタントをアクティブ化するという要求を検出する（１２００４）。音声ベース仮想アシスタントをアクティブ化するという要求を検出したことに応答して（１２００６）、コンピュータシステムが、（例えば、三次元シーンと相互作用するため）音声コマンドを受信するように構成された音声ベース仮想アシスタントをアクティブ化する。コンピュータシステムはまた、視覚的表現の第１の表示特性（例えば、色、又は輝度）の第１のセットの値（例えば、視覚的表現の様々な部分の単一の値、連続値、又は視覚的表現の様々な部分の別個でかつ離散の値）で音声ベース仮想アシスタントの視覚的表現を表示することを含む、三次元シーン内の音声ベース仮想アシスタントの視覚的表現（例えば、図７Ｕ及び７Ｗの発光楕円７６０２）を表示する（例えば、発光楕円７６０２は第１の範囲の輝度と第１の色を有する）。コンピュータシステムは、第１の物理的オブジェクトの第１の物理面の少なくとも一部（例えば、図７Ｕ及び７Ｗの家具７３１０の前面７３１２又はその表現）と、第１の仮想オブジェクトの第１の仮想面の少なくとも一部（例えば、図７Ｕ及び図７Ｗの仮想オブジェクト７４０４の上面）との視覚的外観を、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１のセットの値に従って修正する（例えば、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１のセットの値と、第１の物理面及び第１の仮想面の視覚的外観の変化との対応関係は、光がどのように反射され透過されるか、及びオブジェクトが現実世界においてこの光によってどのように照らされるかを定める光伝搬原理などの模倣物理的原理、第１の物理面及び第１の仮想面の実際の又は模倣表面特性、並びに第１の物理面及び第１の仮想面に対する仮想アシスタントの相対位置に基づく）。例えば、図７Ｕに示されるように、音声ベースアシスタントの表現が第１のレベルの輝度で発光し始めるとき、家具７３１０の前面の外観は、音声ベースアシスタントの発光表現から放射された模倣照明で照らされて見えるように修正される。矩形ボックスの前面上の模倣照明は、音声ベースアシスタントの発光表現に近い位置ほど強く／明るくなり、音声ベースアシスタントの発光表現から遠い位置ほど弱く／暗くなる。いくつかの実施形態では、模倣照明は、現実世界内の矩形ボックスの前面の物理的特性（例えば、表面テクスチャ、反射率など）、及び三次元シーン内の音声ベースアシスタントの発光表現と矩形ボックスとの間の模倣距離に従って生成される。いくつかの実施形態では、デバイスはまた、音声ベース仮想アシスタントの発光表現によって模倣照明下で矩形ボックスによって（例えば、矩形ボックスの後ろの物理的壁上に）投じられる模倣影を矩形ボックスの隣に追加することによって、三次元シーンの外観を修正する。いくつかの実施形態では、矩形ボックスの前面の外観を修正する（例えば、物理面に対応する位置に半透明オーバーレイを使用する、又は物理面の表現の表示されたピクセル値を直接修正する）ことに加えて、デバイスはまた、音声ベースアシスタントの発光表現から放出される模倣照明によって照らされているように見えるように、仮想楕円オブジェクトの上面の外観を修正する。仮想楕円オブジェクトの上面上の模倣照明は、音声ベースアシスタントの発光表現に近い位置ほど強く／明るくなり、音声ベースアシスタントの発光表現から遠い位置ほど弱く／暗くなる。いくつかの実施形態では、模倣照明は、仮想楕円オブジェクトの上面の模倣物理的特性（例えば、表面テクスチャ、反射率など）、及び三次元シーン内の音声ベースアシスタントの発光表現と仮想楕円オブジェクトとの間の模倣距離に従って生成される。いくつかの実施形態では、デバイスはまた、仮想楕円オブジェクトの隣に模倣影を追加する、又は音声ベースアシスタントの発光表現による模倣照明に従って仮想楕円オブジェクトによって投じられる既存の模倣影を修正することによって、三次元シーンの外観を修正する。
いくつかの実施形態では、第１の仮想オブジェクトの第１の仮想面の少なくとも一部（例えば、図７Ｕ及び図７Ｗの仮想オブジェクト７４０４の上面）の視覚的外観を音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１の値のセットに従って修正することは、第１の仮想オブジェクトの第１の仮想面の少なくとも一部のそれぞれの輝度を音声ベース仮想アシスタントの視覚的表現の増加した輝度値に従って（例えば、第１の仮想オブジェクトの第１の仮想面の一部（例えば、表示生成コンポーネント上のユーザに不可視となり得る部分）に面する音声ベース仮想アシスタントの視覚的表現の一部に対応する増加した輝度値に従って）増加させることを含む。
いくつかの実施形態では、第１の仮想オブジェクトの第１の仮想面の少なくとも一部（例えば、図７Ｕ及び図７Ｗの仮想オブジェクト７４０４の上面）の視覚的外観を音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１の値のセットに従って修正することは、第１の仮想オブジェクトの第１の仮想面の少なくとも一部のそれぞれの色を音声ベース仮想アシスタントの視覚的表現の変化した色値に従って（例えば、第１の仮想オブジェクトの第１の仮想面の一部（例えば、表示生成コンポーネントに上のユーザに不可視の部分）に面する音声ベース仮想アシスタントの視覚的表現の一部に対応する変化した色値に従って）変更することを含む。
いくつかの実施形態では、第１の物理的オブジェクトの第１の物理面の少なくとも一部の視覚的外観（例えば、図７Ｕ及び図７Ｗの家具７３１０の前面７３１２又はその表現）を音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１のセットの値に従って修正することは、第１の物理的オブジェクトの第１の物理面の少なくとも一部に対応する三次元シーンの部分のそれぞれの輝度を、音声ベース仮想アシスタントの視覚的表現の増加した輝度値に従って（例えば、第１の物理的オブジェクトの第１の物理面の一部（例えば、表示生成コンポーネント上でユーザにとって不可視となり得る部分）に面する音声ベース仮想アシスタントの視覚的表現の一部に対応する輝度値の増加に従って）増加させることを含む。
いくつかの実施形態では、第１の物理的オブジェクトの第１の物理面の少なくとも一部の視覚的外観（例えば、図７Ｕ及び図７Ｗの家具７３１０の前面７３１２又はその表現）を音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１のセットの値に従って修正することは、第１の物理的オブジェクトの第１の物理面の少なくとも一部に対応する三次元シーンの部分のそれぞれの色を、音声ベース仮想アシスタントの視覚的表現の変化した色値に従って（例えば、第１の物理的オブジェクトの第１の物理面の一部（例えば、表示生成コンポーネント上でユーザにとって不可視となり得る部分）に面する音声ベース仮想アシスタントの視覚的表現の一部に対応する変化した色値に従って）変更することを含む。
いくつかの実施形態では、音声ベース仮想アシスタントをアクティブ化するという要求を検出したことに応答して、コンピュータシステムは、表示生成コンポーネントを介して現在表示されている三次元シーンの一部の周辺領域の視覚的外観を、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１の値のセットに従って修正する（例えば、周辺領域の輝度を増加させる、又は色若しくは色相を変更する）。例えば、仮想アシスタントが三次元シーン内で発光紫色楕円によって表される場合、ユーザの視野の周辺領域は、音声ベース仮想アシスタントに対する音声コマンドが、現在ユーザの視野内にある三次元シーンの部分内のオブジェクト（単数又は複数）に対して実行されることを示すために、不鮮明な発光縁部を用いて表示される。例えば、ユーザが部屋を見回すと、ユーザの視野の中央領域は透明であり、紫色のビネットで囲まれており、ユーザの視野の中央領域内のオブジェクトは音声コマンドの標的である、又は音声ベース仮想アシスタントによって検出された音声コマンドのコンテキストを提供する（例えば、「これをオンにして下さい」又は「この写真を変更して下さい」）。
いくつかの実施形態では、音声ベース仮想アシスタントをアクティブ化するという要求を検出することは、第１の基準を満たす視線入力を検出することを含み、第１の基準は、視線入力が三次元シーン内の音声ベース仮想アシスタントの視覚的表現に対応する位置に向けられたときに満たされる基準を含む（例えば、仮想アシスタントは、ユーザが仮想アシスタントの視覚的表現を見つめたときにアクティブ化される）。いくつかの実施形態では、第１の基準はまた、視線入力が所定の視線固定性及び持続時間閾値を満たすときに満たされる基準を含む。いくつかの実施形態では、音声ベース仮想アシスタントをアクティブ化するという要求は、所定のトリガコマンド「ヘイ、アシスタント」を含む。
いくつかの実施形態では、音声ベース仮想アシスタントをアクティブ化するという要求を検出したことに応答して（例えば、第１の基準を満たす視線入力を検出したことに応答して）、音声ベース仮想アシスタント（例えば、図７Ｕ及び図７Ｗの発光楕円７６０２）の視覚的表現を三次元シーンに表示することは、音声ベース仮想アシスタントの視覚的表現を三次元シーン内の第１の位置から第２の位置に移動させることを含む（例えば、ユーザが休止状態の仮想アシスタントを見つめると、仮想アシスタントは元の位置からポップアップする（例えば、ユーザの視野の中心に、又は元の位置から少し離れてアクティブ化されたことを示す））。
いくつかの実施形態では、音声ベース仮想アシスタントの視覚的表現をアクティブ化する要求を検出したことに応答して（例えば、第１の基準を満たす視線入力を検出したことに応答して）、三次元シーン内の音声ベース仮想アシスタント（例えば、図７Ｕ及び図７Ｗの発光楕円７６０２）を表示することは、三次元シーン内の音声ベース仮想アシスタントの視覚的表現のサイズを変更することを含む（例えば、ユーザが休止状態の仮想アシスタントを見つめると、仮想アシスタントはサイズが拡大し、次いで元のサイズに戻る、又は再度非アクティブ化されるまで拡大サイズを維持する）。
いくつかの実施形態では、音声ベース仮想アシスタントをアクティブ化する要求を検出したことに応答して（例えば、第１の基準を満たす視線入力を検出したことに応答して）、三次元シーン内の音声ベース仮想アシスタント（例えば、図７Ｕ及び図７Ｗの発光楕円７６０２）の視覚的表現を表示することは、三次元シーン内の音声ベース仮想アシスタントの視覚的表現の第１の表示特性の値の第１のセットを変更することを含む（例えば、ユーザが休止状態の仮想アシスタントを見つめると、仮想アシスタントは発光する、及び／又は異なる色若しくは色相を有する）。
いくつかの実施形態では、音声ベース仮想アシスタントをアクティブ化する要求を検出したことに応答して（例えば、第１の基準を満たす視線入力を検出したことに応答して）、コンピュータシステムは、音声ベース仮想アシスタントの視覚的表現を取り囲む位置で、三次元シーンの一部の第１の表示特性の値の第２のセットを変更する（例えば、仮想アシスタントが呼び出されたときに、背景（例えば、仮想アシスタントの周りの領域又はスクリーン全体の周りの領域）を不明瞭にする（ぼやかせる、暗くするなど）。
いくつかの実施形態では、音声ベース仮想アシスタントをアクティブ化するという要求を検出することは、第１の基準を満たす視線入力及び第２の基準を満たす音声入力を検出することを含み、第１の基準は、視線入力が三次元シーン内の音声ベース仮想アシスタントの視覚的表現に対応する位置に向けられるときに満たされる基準を含み、第２の基準は、視線入力が第１の基準を満たしている間に音声入力が検出されたときに満たされる基準を含む（例えば、仮想アシスタントは、ユーザが仮想アシスタントの視覚的表現を見つめ、音声コマンドを話すときにアクティブ化される）。いくつかの実施形態では、デバイスは、音声ベース仮想アシスタントがアクティブ化された後に、音声入力を処理して音声アシスタントのユーザコマンドを判定し、仮想アシスタントによる対応する動作の性能をトリガするための入力として仮想アシスタントにユーザコマンドを提供する。いくつかの実施形態では、視線入力が第１の基準又は音声入力が第２の基準を満たさない場合、仮想アシスタントは、音声入力の音声コマンドに対応する動作を実行しない。
いくつかの実施形態では、三次元シーン内に音声ベース仮想アシスタントの視覚的表現（例えば、図７Ｋ及び図７Ｌの発光楕円７６０２）を表示している間、コンピュータシステムは、音声ベースアシスタントに関する要求に対応する第１の入力を検出して第１の動作を実行し（例えば、シーン内の仮想写真フレーム内の写真を変更する、通信セッションを開始すること、アプリケーションを開始することなど）、第１の入力は、第１の期間にわたる（例えば、第１の入力は、発話入力、視線入力、ジェスチャ入力、又は上記の２つ以上の組み合わせである）。第１の入力を検出したことに応答して、コンピュータシステムは、音声ベース仮想アシスタントの視覚的表現の第１の表示特性を、第１の入力中、第１のセットの値（例えば、単一の値、視覚的表現の様々な部分についての連続的な値の範囲、又は視覚的表現の様々な部分についての離散かつ別個の値）から、第１の値のセットとは別個の第２のセットに変更する。いくつかの実施形態では、デバイスはまた、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の値が第１の入力中に変化するときに、第１の物理的オブジェクトの第１の物理面（例えば、図７Ｕ及び図７Ｗの家具７３１０の前面又はその表現）の少なくとも一部及び第１の仮想オブジェクトの第１の仮想面の少なくとも一部（例えば、図７Ｕ及び７Ｗの仮想オブジェクト７６０２の上面）の視覚的外観を、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第２のセットの値に従って修正する。例えば、ユーザが仮想アシスタントに発話している間、仮想アシスタントの視覚的表現は、脈動光、様々な色、又は動的色／光パターンで発光する。
いくつかの実施形態では、三次元シーン内の音声ベース仮想アシスタントの視覚的表現（例えば、図７Ｕ及び図７Ｗの発光楕円７６０２）を表示している間、コンピュータシステムは、音声ベースアシスタントに関する要求に対応する第２の入力を検出して第２の動作を実行する（例えば、シーン内の仮想写真フレーム内の写真を変更する、通信セッションを開始する、アプリケーションを開始するなど）（例えば、第２の入力は、発話入力、視線入力、ジェスチャ入力、又は上記のうちの２つ以上の組み合わせである）。第２の入力を検出したことに応答して、コンピュータシステムは、第２の動作の実行を開始する（例えば、アプリケーションを起動する、メディアファイルを再生する、追加情報又は質問に対する回答を求める要求などのオーディオ出力を生成する）。コンピュータシステムはまた、第２の動作の実行中、音声ベース仮想アシスタントの視覚的表現の第１の表示特性を、第１のセットの値（例えば、単一の値、視覚的表現の様々な部分についての連続的な値の範囲、又は視覚的表現の様々な部分についての別個かつ離散の値）から、第１のセットの値とは別個の第３のセットの値に変更する。いくつかの実施形態では、デバイスはまた、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の値が仮想アシスタントによる第２の動作の実行中に変化するときに、第１の物理的オブジェクトの第１の物理面（例えば、図７Ｕ及び図７Ｗの家具７３１０の前面７３１２又はその表現）の少なくとも一部及び第１の仮想オブジェクトの第１の仮想面の少なくとも一部（例えば、図７Ｕ及び７Ｗの仮想オブジェクト７４０４の上面）の視覚的外観を、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第３のセットの値に従って修正する。例えば、ユーザが仮想アシスタントに話しかけている間、仮想アシスタントの視覚的表現は、変化しない又は第１の様式で変化する。いったん仮想アシスタントが、ユーザから受信した音声コマンドで要求された動作の実行を開始すると、仮想アシスタントは、第２の様式で変化する（例えば、異なるパルス光、変動する色、又は動的な色／光パターンを発する）。いくつかの実施形態では、第２の動作は、任意選択的に、ユーザの第２の入力に応答する仮想アシスタントからの音声応答である（例えば、質問に応答する、ステータスを提供する、どんな仮想アシスタントが可能であるかを知らせる、仮想アシスタントが要求を理解し、要求された動作を実行することを通知する、ユーザにコマンドを確認するように要求するなど）。
いくつかの実施形態では、音声ベース仮想アシスタントの視覚的表現は、第１の仮想オブジェクト及び第１の物理的オブジェクトを含む三次元環境内の所定の位置を有し（例えば、三次元環境は拡張現実環境である）、音声ベース仮想アシスタントをアクティブ化するという要求は、所定の位置に向けられた入力（例えば、視線入力、ジェスチャ入力、又は両方の組み合わせ）を含む。（例えば、仮想アシスタントの視覚的表現がユーザの現在の視野内にない場合、ユーザは、向きを変えて仮想アシスタントの所定の位置を見て、を変えることができ、仮想アシスタントをアクティブ化するために必要な入力（例えば、所定の基準を満たす視線入力、ユーザの視線が所定の位置に焦点を合わせている間に、仮想アシスタントを起動する音声入力）を提供することができる。
いくつかの実施形態では、表示生成コンポーネントを介して、第１の物理的オブジェクト及び第１の仮想オブジェクトを含む三次元シーン内の音声ベース仮想アシスタントの視覚的表現を表示している間、コンピュータシステムは表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ、又はＨＭＤ）の移動を検出し、音声ベース仮想アシスタントの視覚的表現は、表示生成コンポーネントの移動の開始時に、表示生成コンポーネントの第１の部分に対応する三次元シーン内の第１の位置に表示される（例えば、仮想アシスタントの視覚的表現の位置と配向は、ＨＭＤを装着しているユーザの視野の左半分の中央、又はディスプレイの下半分の中央など、又はユーザの視野の周囲を囲む発光効果（例えば、ユーザが話す、又は仮想アシスタントが反応する際に形状、色、又は輝度を変化させるディスプレイの少なくとも一部の縁部）にある）。表示生成コンポーネントの移動を検出したことに応答して、コンピュータシステムは、音声ベース仮想アシスタントの視覚的表現を、第１の位置とは異なる三次元シーン内の第２の位置に移動させ、三次元シーン内の第２の位置は、表示生成コンポーネントの第１の部分に対応するように表示生成コンポーネントの移動に従って更新される（例えば、三次元シーンに対する仮想アシスタントの位置は、表示生成コンポーネントの移動中に連続的に更新されるため、仮想アシスタントの位置／姿勢は、表示生成コンポーネントに対して（例えば、ユーザの頭部／目に対して）変更されないままである）。いくつかの実施形態では、表示生成コンポーネントの移動中に、三次元シーン内の音声ベース仮想アシスタントの視覚的表現の位置が変化するにつれ、三次元シーン内の第１の仮想オブジェクト及び第１の物理的オブジェクトの相対位置も変化する。三次元シーン内の相対位置のこれらの変化に応答して、デバイスは、仮想アシスタントの第１の表示特性を使用して、第１の仮想オブジェクトの第１の仮想面と第１の物理的オブジェクトの第１の物理面との外観を修正するように調節する（例えば、パラメータを使用して、仮想及び物理面上の光反射及び影形成を模倣する）（例えば、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１のセットの値と、第１の物理面及び第１の仮想面の視覚的外観の変化との対応関係は、光がどのように反射され透過されるか、及びオブジェクトが現実世界においてこの光によってどのように照らされるかを定める光伝搬原理などの模倣物理的原理、第１の物理面及び第１の仮想面の実際の又は模倣表面特性、並びに第１の物理面及び第１の仮想面に対する仮想アシスタントの相対位置に基づく）。
いくつかの実施形態では、表示生成コンポーネントを介して、第１の物理的オブジェクト及び第１の仮想オブジェクトを含む三次元シーン内の音声ベース仮想アシスタントの視覚的表現を表示している間に、コンピュータシステムは、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ、又はＨＭＤ）の移動を検出し、音声ベース仮想アシスタントの視覚的表現が、表示生成コンポーネントの移動の開始時に、第１の仮想オブジェクトと第１の物理的オブジェクトに対する三次元シーン内の第１の位置に表示される（例えば、仮想アシスタントの視覚的表現の位置及び配向は、第１の仮想オブジェクトの上方であり、第１の物理的オブジェクトよりも第１の仮想オブジェクトに近い）。表示生成コンポーネントの移動を検出したことに応答して、コンピュータシステムは、三次元シーン内の第１の位置で音声ベース仮想アシスタントの視覚的表現を維持しながら、表示生成コンポーネントの移動に従って、三次元シーンに対する表示生成コンポーネントの視点を変更する（例えば、三次元シーンに対する仮想アシスタントの位置が環境に固定され、三次元環境のビューが、表示生成コンポーネントの移動中に連続的に更新される）。いくつかの実施形態では、三次元シーン内の音声ベース仮想アシスタントの視覚的表現の位置は、表示生成コンポーネントの移動中に変化しないので、デバイスは、仮想アシスタントの第１の表示特性を使用して、第１の仮想オブジェクトの第１の仮想面と第１の物理的オブジェクトの第１の物理面との外観を修正するように維持する（例えば、パラメータを使用して、仮想及び物理面上の光反射及び影形成を模倣する）（例えば、音声ベース仮想アシスタントの視覚的表現の第１の表示特性の第１のセットの値と、第１の物理面及び第１の仮想面の視覚的外観の変化との対応関係は、光がどのように反射され透過されるか、及びオブジェクトが現実世界においてこの光によってどのように照らされるかを定める光伝搬原理などの模倣物理的原理、第１の物理面及び第１の仮想面の実際の又は模倣表面特性、並びに第１の物理面及び第１の仮想面に対する仮想アシスタントの相対位置に基づく）。しかしながら、三次元シーンに対する表示生成コンポーネントの視点は、表示生成コンポーネントの移動中に変化するため、第１の物理的オブジェクト及び第１の仮想オブジェクトの外観は、表示生成コンポーネントの移動中に（例えば、オブジェクト及びそれらの表面特性などの変化ではなく、視野の変化に基づいて）異なって見える場合がある。
図１２における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１００００、及び１１０００）に関して本明細書で記載された他のプロセスの詳細はまた、図１２に関連して上述された方法１２０００に類似の方法で適用可能であることも留意されたい。例えば、方法１２０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記述した他の方法（例えば、方法８０００、９０００、１００００、及び１１０００）を参照して本明細書に記述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図８、９、１０、１１、及び１２を参照して先述した動作は、任意選択的に、図１～６に示すコンポーネントにより実施される。いくつかの実施形態では、方法８０００、９０００、１００００、１１０００、及び１２０００の態様／動作は、これらの方法の間で交換、置換、及び／又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (87)

  1. 方法であって、
    表示生成コンポーネントと１つ以上の入力デバイスとを含むコンピュータシステムにおいて、
    三次元環境内の第１の空間位置に仮想オブジェクトを表示することと、
    前記仮想オブジェクトを前記三次元環境内の前記第１の空間位置に表示している間に、ユーザによって実行される第１の手移動を検出することと、
    前記ユーザによって実行された前記第１の手移動を検出したことに応答して、
    前記第１の手移動が第１のジェスチャ基準を満たすという判定に従って、前記仮想オブジェクトを前記第１の空間位置から離れるように移動させることなく、前記第１の手移動に従って第１の動作を実行することと、
    前記第１の手移動が第２のジェスチャ基準を満たすという判定に従って、前記仮想オブジェクトが再構成モードに移行したという第１の視覚的インジケーションを表示することと、
    前記仮想オブジェクトが前記再構成モードに移行したという前記第１の視覚的インジケーションで前記仮想オブジェクトを表示している間に、前記ユーザによって実行される第２の手移動を検出することと、
    前記ユーザによって実行された前記第２の手移動を検出したことに応答して、
    前記第２の手移動が前記第１のジェスチャ基準を満たすという判定に従って、前記第２の手移動に従って前記仮想オブジェクトを前記第１の空間位置から第２の空間位置に移動させることと、
    を含む、方法。
  2. 前記ユーザによって実行された前記第１の手移動を検出したことに応答して、
    前記第１の手移動が第３のジェスチャ基準を満たすという判定に従って、前記仮想オブジェクトに対応する第２の動作を実行することを含む、請求項１に記載の方法。
  3. 前記第２の手移動が、前記第２のジェスチャ基準を満たさない、請求項１又は２に記載の方法。
  4. 前記第２のジェスチャ基準が、ピンチジェスチャと前記ピンチジェスチャに続く手首フリックジェスチャによって満たされる要件を含む、請求項１から３のいずれか一項に記載の方法。
  5. 前記第２のジェスチャ基準が、オブジェクト選択基準が満たされている間に検出される手首フリックジェスチャによって満たされる要件を含む、請求項１から３のいずれか一項に記載の方法。
  6. 前記第１のジェスチャ基準が、１つ以上の指によって提供される移動入力によって満たされる要件を含む、請求項１から５のいずれか一項に記載の方法。
  7. 前記仮想オブジェクトが前記再構成モードに移行したという前記第１の視覚的インジケーションで前記仮想オブジェクトを表示している間に、前記三次元環境内の前記仮想オブジェクトの目的位置を指定する所定の入力を検出することと、
    前記三次元環境内の前記仮想オブジェクトの前記目的位置を指定する前記所定の入力を検出したことに応答して、前記仮想オブジェクトを前記第１の空間位置から前記目的位置に移動させる前に、前記目的位置に第２の視覚的インジケーションを表示することと、
    を含む、請求項１から６のいずれか一項に記載の方法。
  8. 前記三次元環境内の前記仮想オブジェクトの前記目的位置を指定する前記所定の入力を検出することが、前記所定の入力の移動を検出することを含み、前記目的位置に前記第２の視覚的インジケーションを表示することが、前記所定の入力の前記移動に基づいて、前記第２の視覚的インジケーションの位置を更新することを含む、請求項７に記載の方法。
  9. 前記第１のジェスチャ基準を満たす前記第２の手移動の終了後、前記仮想オブジェクトが前記再構成モードに留まる間、前記第１のジェスチャ基準を満たす第３の手移動を検出することと、
    前記第３の手移動を検出したことに応答して、前記第３の手移動に従って前記仮想オブジェクトを前記仮想オブジェクトの現在位置から第３の空間位置に移動させることと、
    を含む、請求項１から８のいずれか一項に記載の方法。
  10. 前記三次元環境が、１つ以上の平面を含み、前記第２の手移動に従って前記仮想オブジェクトを前記第１の空間位置から前記第２の空間位置に移動させることが、前記第２の手移動に従った前記仮想オブジェクトの前記移動中に前記仮想オブジェクトの移動経路を前記１つ以上の平面のうちの第１の平面に制約することを含む、請求項１から９のいずれか一項に記載の方法。
  11. 前記三次元環境が、少なくとも第１の平面及び第２の平面を含み、前記第２の手移動に従って前記仮想オブジェクトを前記第１の空間位置から前記第２の空間位置に移動させることが、前記第２の手移動に従った前記仮想オブジェクトの前記移動の第１の部分の間、前記仮想オブジェクトの移動経路を前記第１の平面に制約することと、
    前記第２の手移動に従った前記仮想オブジェクトの前記移動の第２の部分の間、前記仮想オブジェクトの前記移動経路を前記第２の平面に制約することと、
    前記移動の前記第１の部分と前記仮想オブジェクトの前記移動の前記第２の部分との間の前記仮想オブジェクトの前記移動の第３の部分の間、前記仮想オブジェクトの高度を上昇させることと、を含む、請求項１から１０のいずれか一項に記載の方法。
  12. 前記ユーザによって実行された前記第１の手移動を検出したことに応答して、
    前記第１の手移動が前記第２のジェスチャ基準を満たすという判定に従って、前記仮想オブジェクトが前記再構成モードに移行したことを示す前記第１の視覚的インジケーションを表示することと併せてオーディオ出力を生成することを含む、請求項１から１１のいずれか一項に記載の方法。
  13. 前記仮想オブジェクトが前記再構成モードにある間に、前記第２の手移動を検出し、前記第２の移動に従って前記仮想オブジェクトを移動させた後に、第４の手移動を検出することと、
    前記第４の手移動を検出したことに応答して、
    前記第４の手移動が前記第１のジェスチャ基準を満たすという判定に従って、前記第４の手移動に従って前記仮想オブジェクトを前記第２の空間位置から第３の空間位置に移動させることと、
    前記第４の手移動が第４のジェスチャ基準を満たすという判定に従って、前記仮想オブジェクトが前記再構成モードを出たことを示すために前記第１の視覚的インジケーションの表示を停止することと、
    を含む、請求項１から１２のいずれか一項に記載の方法。
  14. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムによって実行されると、請求項１から１３のいずれか一項に記載の方法を前記コンピュータシステムに実行させる実行可能命令を記憶している、コンピュータ可読記憶媒体。
  15. コンピュータシステムであって、
    １つ以上のプロセッサと、
    表示生成コンポーネントと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶しているメモリと、
    を備え、前記１つ以上のプログラムが、請求項１から１３のいずれか一項に記載の方法を実行する命令を含む、
    を備える、コンピュータシステム。
  16. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムであって、
    請求項１から１３のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
  17. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムで使用する情報処理装置であって、
    請求項１から１３のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
  18. 方法であって、
    表示生成コンポーネントと１つ以上の入力デバイスとを備えたコンピュータシステムにおいて、
    第１の仮想オブジェクトが、前記第１の仮想オブジェクトの第１の部分に対応する第１の表示特性の第１の値と、前記第１の仮想オブジェクトの第２の部分に対応する前記第１の表示特性の第２の値とで表示され、前記第１の表示特性の前記第２の値が前記第１の表示特性の前記第１の値と異なる、前記表示生成コンポーネントを介して、少なくとも、第１の位置に前記第１の仮想オブジェクトと、前記第１の位置とは別個の第２の位置に第１の物理面と、を含む三次元シーンを表示することと、
    前記第１の仮想オブジェクトと前記第１の物理面とを含む前記三次元シーンを表示している間に、前記表示生成コンポーネントを介して、前記三次元シーンの前記第２の位置に第１の視覚的効果を生成することと、を含み、前記第１の視覚的効果を生成することは、
    前記三次元シーン内の前記第１の物理面の第１の部分の視覚的外観を、前記第１の仮想オブジェクトの前記第１の部分に対応する前記第１の表示特性の前記第１の値に従って修正することと、
    前記三次元シーン内の前記第１の物理面の第２の部分の視覚的外観を、前記第１の仮想オブジェクトの前記第２の部分に対応する前記第１の表示特性の前記第２の値に従って修正することと、を含み、前記第１の物理面の前記第１の部分の前記視覚的外観及び前記第１の物理面の前記第２の部分の前記視覚的外観が、前記第１の仮想オブジェクトの前記第１の部分及び前記第２の部分における前記第１の表示特性の前記第１の値と前記第２の値の差異により異なって修正される、方法。
  19. 前記第１の仮想オブジェクトの前記第１の部分及び前記第２の部分における前記第１の表示特性の値変化を含む、前記第１の仮想オブジェクトの外観の変化を検出することと、
    前記第１の仮想オブジェクトの外観の前記変化を検出したことに応答して、前記第１の物理面の様々な部分で前記第１の物理面の前記視覚的外観を、前記第１の仮想オブジェクトの前記外観の前記変化に従って修正することであって、
    前記第１の物理面の前記第１の部分の前記視覚的外観を、前記第１の物理面の前記第１の部分の前記第１の表示特性と前記視覚的外観との間の第１の関係に従って修正することと、
    前記第１の物理面の前記第２の部分の前記視覚的外観を、前記第１の仮想オブジェクトの前記第２の部分の前記第１の表示特性と前記視覚的外観との間の第２の関係に従って修正することと、を含む、ことと、
    を含み、前記第１の関係及び前記第２の関係が、前記第１の物理面の前記第１の部分及び前記第２の部分の異なる物理的特性に対応する、請求項１８に記載の方法。
  20. 前記第１の仮想オブジェクトが、前記三次元シーン内の前記第１の位置に対応する位置において第２の物理面上の仮想オーバーレイを含み、前記コンピュータシステムが、時刻、位置、及び前記仮想オーバーレイのサイズのうちの少なくとも１つを含む１つ以上のパラメータのそれぞれの値の変化に従って、前記仮想オーバーレイの外観を変更する、請求項１８又は１９に記載の方法。
  21. 前記第１の視覚的効果を生成することが、
    前記第１の物理面の前記第１の部分の前記視覚的外観を、前記仮想オーバーレイの第１の部分に示されるコンテンツの変化に従って修正することと、
    前記第１の物理面の前記第２の部分の前記視覚的外観を、前記仮想オーバーレイの第２の部分に示されるコンテンツの変化に従って修正することと、
    を含む、請求項２０に記載の方法。
  22. 前記第１の仮想オブジェクトが、前記三次元シーン内の前記第１の位置に対応する前記位置にメディアコンテンツを表示する仮想スクリーンを含み、前記コンピュータシステムが、メディアアイテムの再生進行に従って、前記仮想スクリーン上に示されるコンテンツを変更する、請求項１８又は１９に記載の方法。
  23. 前記第１の視覚的効果を生成することが、
    前記第１の物理面の前記第１の部分の前記視覚的外観を、前記仮想スクリーンの第１の部分に示されるコンテンツの変化に従って修正することと、
    前記第１の物理面の前記第２の部分の前記視覚的外観を、前記仮想スクリーンの第２の部分に示されるコンテンツの変化に従って修正することと、
    を含む、請求項２２に記載の方法。
  24. 前記第１の仮想オブジェクトが、発話を介してユーザと相互作用する仮想アシスタントであり、前記コンピュータシステムが、前記仮想アシスタントの動作モードに従って前記仮想アシスタントの前記外観を変更する、請求項１８又は１９に記載の方法。
  25. 前記第１の視覚的効果を生成することが、
    前記第１の物理面の前記第１の部分の前記視覚的外観を、前記第１の物理面の前記第１の部分上の前記第１の仮想オブジェクトの模倣反射に従って修正することと、
    前記第１の物理面の前記第２の部分の前記視覚的外観を、前記第１の物理面の前記第２の部分上の前記第１の仮想オブジェクトの模倣反射に従って修正することと、
    を含む、請求項１８から２４のいずれか一項に記載の方法。
  26. 前記第１の視覚的効果を生成することが、
    前記第１の物理面の前記第１の部分の前記視覚的外観を、前記第１の物理面の前記第１の部分上に前記第１の仮想オブジェクトによって投じられる模倣影に従って修正することと、
    前記第１の物理面の前記第２の部分の前記視覚的外観を、前記第１の物理面の前記第２の部分上の前記第１の仮想オブジェクトの模倣影に従って修正することと、
    を含む、請求項１８から２５のいずれか一項に記載の方法。
  27. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムによって実行されると、請求項１８から２６のいずれか一項に記載の方法を前記コンピュータシステムに実行させる実行可能命令を記憶している、コンピュータ可読記憶媒体。
  28. コンピュータシステムであって、
    １つ以上のプロセッサと、
    表示生成コンポーネントと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶しているメモリと、
    を備え、前記１つ以上のプログラムが、請求項１８から２６のいずれか一項に記載の方法を実行する命令を含む、
    を備える、コンピュータシステム。
  29. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムであって、
    請求項１８から２６のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
  30. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムで使用する情報処理装置であって、
    請求項１８から２６のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
  31. 方法であって、
    表示生成コンポーネントと１つ以上の入力デバイスとを備えたコンピュータシステムにおいて、
    三次元シーンが、第１のセットの物理的要素及び第１の量の仮想要素を含み、前記第１のセットの物理的要素が、少なくとも、第１のクラスの物理的オブジェクトに対応する物理的要素と第２のクラスの物理的オブジェクトに対応する物理的要素とを含む、前記三次元シーンを、前記表示生成コンポーネントを介して、表示することと、
    前記表示生成コンポーネントを介して前記第１の量の仮想要素を含む前記三次元シーンを表示している間に、２つ以上のユーザ入力のシーケンスを検出することと、
    ２つ以上のユーザ入力の前記シーケンスの連続ユーザ入力を検出したことに応答して、前記三次元シーンに表示される仮想要素の量を、２つ以上のユーザ入力のシーケンスの前記連続入力に従って連続的に増加させることであって、
    前記２つ以上のユーザ入力の前記シーケンスの第１のユーザ入力を検出したことに応答して、前記第１のユーザ入力が第１の基準を満たすという判定に従って、第２の量の仮想要素が、前記第１のユーザ入力の検出前に第１のクラスの物理的要素によって占められていた前記三次元シーンの第１の部分を含む、前記第１の量の仮想要素よりも前記三次元シーンの大きな部分を占める、少なくとも、前記第１のセットの前記１つ以上の物理的要素の第１のサブセットと前記第２の量の仮想要素とで前記三次元シーンを表示することと、
    ２つ以上のユーザ入力の前記シーケンスの第２のユーザ入力を検出したことに応答して、前記第２のユーザ入力が第１のユーザ入力に続き、前記第１の基準を満たすという判定に従って、前記第１のユーザ入力の検出前に前記第１のクラスの物理的要素によって占められていた前記三次元シーンの前記第１の部分と、前記第２のユーザ入力の検出前に第２のクラスの物理的要素によって占められていた前記三次元シーンの第２の部分と、を含む、第３の量の仮想要素が前記第２の量の仮想要素よりも前記三次元シーンの大きな部分を占める、少なくとも、前記第１のセットの前記１つ以上の物理的要素の第２のサブセットと前記第３の量の仮想要素とで前記三次元シーンを表示することと、
    を含む、ことと、を含む、方法。
  32. ２つ以上のユーザ入力の前記シーケンスの前記第１のユーザ入力を検出したことに応答して前記第２の量の仮想要素を表示することが、前記三次元シーン内の増加する量の前記第１のクラスの物理的要素を仮想要素に徐々に置き換える第１のアニメーション移行を表示することを含み、
    ２つ以上のユーザ入力の前記シーケンスの前記第２のユーザ入力を検出したことに応答して前記第３の量の仮想要素を表示することが、前記第１のクラスの物理的要素が、前記三次元シーン内の既存の仮想要素の代わりに表示されている間、前記三次元シーン内の増加する量の前記第２のクラスの物理的要素を仮想要素に徐々に置き換える第２のアニメーション移行を表示することを含む、請求項３１に記載の方法。
  33. 仮想要素の前記量を、２つ以上のユーザ入力のシーケンスの前記連続入力に従って連続的に増加させることが、
    ２つ以上のユーザ入力の前記シーケンスの第３のユーザ入力を検出したことに応答して、前記第３のユーザ入力が前記第２のユーザ入力に続き、前記第１の基準を満たすという判定に従って、第４の量の仮想要素が、前記第１のユーザ入力の検出前に前記第１のクラスの物理的要素によって占められていた前記三次元シーンの前記第１の部分と、前記第２のユーザ入力の検出前に前記第２のクラスの物理的要素によって占められていた前記三次元シーンの前記第２の部分と、前記第３のユーザ入力の検出前に第３のクラスの物理的要素によって占められていた前記三次元シーンの第３の部分と、を含む、前記第３の量の仮想要素よりも前記三次元シーンの大きな部分を占める、前記第４の量の仮想要素で前記三次元シーンを表示することを含む、請求項３１又は３２に記載の方法。
  34. ２つ以上のユーザ入力の前記シーケンスの前記第２のユーザ入力を検出したことに応答して、前記第２のユーザ入力が前記第１のユーザ入力に続き、前記第１の基準を満たすという前記判定に従って、前記第２の量の仮想要素を表示することと、前記第３の量の仮想要素を表示することとの間に第３のアニメーション移行を表示することを含む、請求項３１から３３のいずれか一項に記載の方法。
  35. 前記第２の量の仮想要素が、少なくとも、前記第１のセットの１つ以上の物理的要素の第１のサブセットで表示される第１の仮想環境へのビューを含み、前記第１の仮想環境への前記ビューが、前記ビューに表される前記第１の仮想環境の一部の第１の表示特性の第１のセットの値を有し、前記方法が、
    前記第１のセットの１つ以上の物理的要素の前記第１のサブセットの少なくとも一部の視覚的外観を、前記第１の仮想環境への前記ビューに表された前記第１の仮想環境の前記一部の前記第１の表示特性の前記第１のセットの値に従って修正することを含む、請求項３２から３４のいずれか一項に記載の方法。
  36. 少なくとも、前記第１のセットの１つ以上の物理的要素の前記第１のサブセットで表示される前記第１の仮想環境への前記ビューを含む前記第２の量の仮想要素を表示している間に、第２の基準を満たす入力を検出することと、
    前記第１の基準とは別個の前記第２の基準を満たす前記入力を検出したことに応答して、前記第１の仮想環境への前記ビューを変更するための複数の選択可能なオプションを表示することと、
    を含む、請求項３５に記載の方法。
  37. 少なくとも、前記第１のセットの前記１つ以上の物理的要素の前記第１のサブセットで表示される前記第１の仮想環境への前記ビューを含む前記第２の量の仮想要素を表示している間に、第３の基準を満たす入力を検出することと、
    前記第３の基準を満たす前記入力を検出したことに応答して、前記第１の仮想環境へのビューを、前記第１の仮想環境とは別個の第２の仮想環境へのビューに置き換えることと、
    を含む、請求項３５又は３６に記載の方法。
  38. 少なくとも、前記第１のセットの前記１つ以上の物理的要素の前記第１のサブセットで表示される前記第１の仮想環境へのビューを含む前記第２の量の仮想要素を表示している間に、第３の基準を満たす入力を検出することと、
    前記第３の基準を満たす前記入力を検出したことに応答して、前記第１の仮想環境の前記外観を変更する少なくとも１つの変更されたパラメータで前記第１の仮想環境を示すように前記ビューを更新することと、
    を含む、請求項３５又は３６に記載の方法。
  39. 前記第１の基準が、第１の方向基準を含み、前記第２の基準が、前記第１の方向基準とは別個の第２の方向基準を含む、請求項３７又は３８に記載の方法。
  40. 前記第１の量の仮想要素を表示することが、前記三次元シーン内に第１の仮想窓を表示することを含み、前記第２の量の仮想要素を表示することが、前記三次元シーン内の前記第１の仮想窓を拡張することを含み、前記第３の量の仮想要素を表示することが、１つ以上の物理的壁のビューを仮想要素に置き換えることを含む、請求項３７から３９のいずれか一項に記載の方法。
  41. ２つ以上のユーザ入力の前記シーケンスが、第１の入力タイプの反復入力を含む、請求項３１から４０のいずれか一項に記載の方法。
  42. ２つ以上のユーザ入力の前記シーケンスが、連続入力の連続する部分を含み、前記連続入力の各部分が、２つ以上のユーザ入力の前記シーケンスのそれぞれのユーザ入力に対応する、請求項３１から４０のいずれか一項に記載の方法。
  43. 前記第１のセットの１つ以上の物理的要素の前記第１のサブセットが、物理的環境の少なくとも壁及び床を含み、前記第１のセットの１つ以上の物理的要素の前記第２のサブセットが、前記物理的環境の前記壁を含むことなく、前記物理的環境の前記床を含む、請求項３１から４２のいずれか一項に記載の方法。
  44. 前記第１のセットの１つ以上の物理的要素の前記第１のサブセットが、物理的環境内の少なくとも壁及び１つ以上の家具を含み、前記第１のセットの１つ以上の物理的要素の前記第２のサブセットが、前記物理的環境の前記壁を含むことなく、前記物理的環境内の前記１つ以上の家具を含む、請求項３１から４３のいずれか一項に記載の方法。
  45. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムによって実行されると、請求項３１から４４のいずれか一項に記載の方法を前記コンピュータシステムに実行させる実行可能命令を記憶している、コンピュータ可読記憶媒体。
  46. コンピュータシステムであって、
    １つ以上のプロセッサと、
    表示生成コンポーネントと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶しているメモリと、
    を備え、前記１つ以上のプログラムが、請求項３１から４４のいずれか一項に記載の方法を実行する命令を含む、
    を備える、コンピュータシステム。
  47. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムであって、
    請求項３１から４４のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
  48. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムで使用する情報処理装置であって、
    請求項３１から４４のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
  49. 方法であって、
    表示生成コンポーネントと１つ以上の入力デバイスとを備えたコンピュータシステムにおいて、
    三次元シーンは、第１の物理的オブジェクトが、少なくとも第１の物理面を有し、前記三次元シーン内の前記第１の物理的オブジェクト又は前記第１の物理的オブジェクトの表現のそれぞれの位置が、前記表示生成コンポーネントを取り囲む物理的環境内の前記第１の物理的オブジェクトのそれぞれの位置に対応する、少なくとも前記第１の物理的オブジェクト又は前記第１の物理的オブジェクトの前記表現を含む前記三次元シーンを、前記表示生成コンポーネントを介して、表示することと、
    前記第１の相互作用基準が、ユーザと前記第１の物理的オブジェクトとの間のユーザ相互作用の第１のレベルが検出されたときに満たされる第１の基準を含む、前記三次元シーンを表示している間に、第１の相互作用基準が満たされたことを検出することと、
    前記第１の相互作用基準が満たされたことを検出したことに応答して、前記表示生成コンポーネントを介して、前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面の位置に対応する位置に第１のユーザインタフェースを表示することと、
    前記第２の相互作用基準が、前記ユーザと前記第１の物理的オブジェクトとの間のユーザ相互作用の前記第１のレベルよりも高いユーザ相互作用の第２のレベルが検出されるときに満たされる第２の基準を含む、前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面又は前記第１の物理面の表現の前記位置に対応する前記位置に前記第１のユーザインタフェースを表示している間に、第２の相互作用基準が満たされたことを検出することと、
    前記第２の相互作用基準が満たされたことを検出したことに応答して、前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面又は前記第１の物理面の前記表現の前記位置に対応する前記位置で、前記第１のユーザインタフェースの表示を第２のユーザインタフェースの表示に置き換えることと、
    を含む、方法。
  50. 前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面又は前記第１の物理面の前記表現の前記位置に対応する前記位置に前記第２のユーザインタフェースを表示している間に、第１の相互作用基準が満たされたことを検出することと、
    前記第２のユーザインタフェースの表示後に前記第１の相互作用基準が満たされたことを検出したことに応答して、前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面又は前記第１の物理面の前記表現の前記位置に対応する前記位置で、前記第２のユーザインタフェースの表示を前記第１のユーザインタフェースの表示に置き換えることと、
    を含む、請求項４９に記載の方法。
  51. 第３の相互作用基準が、前記ユーザと前記第１の物理的オブジェクトとは別個の第２の物理的オブジェクトとの間のユーザ相互作用の前記第１のレベルが検出されたときに満たされる第３の基準を含む、前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面又は前記第１の物理面の前記表現の前記位置に対応する前記位置に前記第１のユーザインタフェースを表示している間に、前記第３の相互作用基準が満たされたことを検出することと、
    前記第３の相互作用基準が満たされたことを検出したことに応答して、
    前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面又は前記第１の物理面の前記表現の前記位置に対応する前記位置での前記第１のユーザインタフェースの表示を停止することと、
    前記三次元シーン内の前記第２の物理的オブジェクトの第２の物理面又は前記第２の物理面の表現の位置に対応する位置に第３のユーザインタフェースを表示することと、
    を含む、請求項４９又は５０に記載の方法。
  52. 第１のアクション基準が、前記第１のユーザインタフェースに含まれる第１のオプションのアクティブ化に対応する、前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面又は前記第１の物理面の前記表現の前記位置に対応する前記位置に前記第１のユーザインタフェースを表示している間に、前記第１のアクション基準を満たす第１の入力を検出することと、
    前記第１のユーザインタフェースが表示されている間に前記第１のアクション基準を満たす前記第１の入力を検出したことに応答して、前記第１のユーザインタフェースに含まれる前記第１のオプションに対応する第１の動作を実行することと、
    を含む、請求項４９から５１のいずれか一項に記載の方法。
  53. 第３のアクション基準が、前記第２のユーザインタフェースに含まれる第３のオプションのアクティブ化に対応する、前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面又は前記第１の物理面の前記表現の前記位置に対応する前記位置に前記第２のユーザインタフェースを表示している間に、前記第３のアクション基準を満たす第２の入力を検出することと、
    前記第２のユーザインタフェースが表示されている間に前記第３のアクション基準を満たす前記第１の入力を検出したことに応答して、前記第２のユーザインタフェースに含まれる前記第３のオプションに対応する第３の動作を実行することと、
    を含む、請求項５２に記載の方法。
  54. 前記第１の物理的オブジェクトが、スピーカであり、前記第１のユーザインタフェースが、前記スピーカと関連付けられた第１のセットの１つ以上の再生制御機能を提供する、請求項４９から５３のいずれか一項に記載の方法。
  55. 前記第１のユーザインタフェースが、前記第１の物理的オブジェクトに対応する１つ以上の通知を含む、請求項４９から５４のいずれか一項に記載の方法。
  56. 前記第２のユーザインタフェースが、テキスト入力のための複数の文字キーを含むキーボードを含む、請求項４９から５５のいずれか一項に記載の方法。
  57. 前記第１のユーザインタフェースが、前記第１の物理的オブジェクトの内部状態のインジケーションを表示する、請求項４９から５６のいずれか一項に記載の方法。
  58. 前記第２のユーザインタフェースが、前記第１のユーザインタフェースに提供される少なくともサブセットの機能又は情報を提供し、前記第１のユーザインタフェースで利用できない情報の少なくとも１つの機能又は情報アイテムを含む、請求項４９から５７のいずれか一項に記載の方法。
  59. 前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面の前記位置に対応する前記位置に前記第１のユーザインタフェースを表示している間に、前記第１のユーザインタフェースを消すための要求に対応する第５の基準を満たすユーザ入力を検出することと、
    前記第５の基準を満たす前記ユーザ入力を検出したことに応答して、前記第１のユーザインタフェースの表示を停止することと、
    を含む、請求項４９から５８のいずれか一項に記載の方法。
  60. 前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面の前記位置に対応する前記位置に前記第１のユーザインタフェース又は前記第２のユーザインタフェースを表示している間に、前記第１の物理的オブジェクトの前記第１の物理面上のユーザ入力を検出することと、
    前記第１の物理的オブジェクトの前記第１の物理面上の前記ユーザ入力を検出したことに応答して、
    前記第１の物理的オブジェクトの前記第１の物理面上の前記ユーザ入力が第６の基準を満たすという判定に従って、前記第１の物理的オブジェクトに対応する第１の動作を実行することと、
    前記第１の物理的オブジェクトの前記第１の物理面上の前記ユーザ入力が第６の基準を満たすという判定に従って、前記第１の動作とは別個の、前記第１の物理的オブジェクトに対応する第２の動作を実行することと、
    を含む、請求項４９から５９のいずれか一項に記載の方法。
  61. 前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面の前記位置に対応する前記位置に前記第１のユーザインタフェース又は前記第２のユーザインタフェースを表示している間に、視線入力が前記第１の物理的オブジェクトの前記第１の物理面に向けられている間に、
    前記視線入力が前記第１の物理的オブジェクトの前記第１の物理面に向けられている間に前記ジェスチャ入力を検出したことに応答して、
    前記ジェスチャ入力及び前記視線入力が第７の基準を満たすという判定に従って、前記第１の物理的オブジェクトに対応する第３の動作を実行することと、
    前記ジェスチャ入力及び前記視線入力が第８の基準を満たすという判定に従って、前記第３の動作とは別個の、前記第１の物理的オブジェクトに対応する第４の動作を実行することと、
    を含む、請求項４９から５９のいずれか一項に記載の方法。
  62. 前記三次元シーン内の前記第１の物理的オブジェクトの前記第１の物理面の前記位置に対応する前記位置に前記第１のユーザインタフェース又は前記第２のユーザインタフェースを表示している間、視線入力が前記第１の物理的オブジェクトの前記第１の物理面に向けられている間に、前記第１の物理的オブジェクトとは別個の第２の物理的オブジェクトの第２の物理面上のジェスチャ入力を検出することと、
    前記視線入力が前記第１の物理的オブジェクトの前記第１の物理面に向けられている間に、前記第２の物理的オブジェクトの前記第２の物理面上の前記ジェスチャ入力を検出したことに応答して、
    前記ジェスチャ入力及び前記視線入力が第９の基準を満たすという判定に従って、前記第１の物理的オブジェクトに対応する第５の動作を実行することと、
    前記ジェスチャ入力及び前記視線入力が第１０の基準を満たすという判定に従って、前記第５の動作とは別個の、前記第１の物理的オブジェクトに対応する第６の動作を実行することと、
    を含む、請求項４９から５９のいずれか一項に記載の方法。
  63. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムによって実行されると、請求項４９から６２のいずれか一項に記載の方法を前記コンピュータシステムに実行させる実行可能命令を記憶している、コンピュータ可読記憶媒体。
  64. コンピュータシステムであって、
    １つ以上のプロセッサと、
    表示生成コンポーネントと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶しているメモリと、
    を備え、前記１つ以上のプログラムが、請求項４９から６２のいずれか一項に記載の方法を実行する命令を含む、
    を備える、コンピュータシステム。
  65. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムであって、
    請求項４９から６２のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
  66. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムで使用する情報処理装置であって、
    請求項４９から６２のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
  67. 方法であって、
    表示生成コンポーネントと１つ以上の入力デバイスとを備えたコンピュータシステムにおいて、
    三次元シーンが、少なくとも第１の物理面を有する第１の物理的オブジェクトと、少なくとも第１の仮想面を有する第１の仮想オブジェクトとを含む、前記三次元シーンを、表示生成コンポーネントを介して、表示することと、
    前記第１の物理的オブジェクト及び前記第１の仮想オブジェクトを含む前記三次元シーンを表示している間に、音声ベース仮想アシスタントをアクティブ化するという要求を検出することと、
    前記音声ベース仮想アシスタントをアクティブ化するという前記要求を検出したことに応答して、
    音声コマンドを受信するように構成された前記音声ベース仮想アシスタントをアクティブ化することと、
    前記音声ベース仮想アシスタントの視覚的表現を、前記視覚的表現の第１の表示特性の第１のセットの値で表示することを含む、前記三次元シーンに前記音声ベース仮想アシスタントの前記視覚的表現を表示することと、
    前記第１の物理的オブジェクトの前記第１の物理面の少なくとも一部及び前記第１の仮想オブジェクトの前記第１の仮想面の少なくとも一部の視覚的外観を、前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性の前記第１のセットの値に従って修正することと、
    を含む、方法。
  68. 前記第１の仮想オブジェクトの前記第１の仮想面の少なくとも一部の前記視覚的外観を、前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性の前記第１のセットの値に従って修正することが、
    前記音声ベース仮想アシスタントの前記視覚的表現の増加した輝度値に従って、前記第１の仮想オブジェクトの前記第１の仮想面の少なくとも一部の輝度を増加させることを含む、請求項６７に記載の方法。
  69. 前記第１の仮想オブジェクトの前記第１の仮想面の少なくとも一部の前記視覚的外観を、前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性の前記第１のセットの値に従って修正することが、
    前記第１の仮想オブジェクトの前記第１の仮想面の少なくとも一部の色を、前記音声ベース仮想アシスタントの前記視覚的表現の変更された色値に従って変更することを含む、請求項６７又は６８に記載の方法。
  70. 前記第１の物理的オブジェクトの前記第１の物理面の少なくとも一部の視覚的外観を、前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性の前記第１のセットの値に従って修正することが、
    前記第１の物理的オブジェクトの前記第１の物理面の少なくとも一部に対応する前記三次元シーンの一部の輝度を、前記音声ベース仮想アシスタントの前記視覚的表現の増加した輝度値に従って増加させることとを含む、請求項６７から６９のいずれか一項に記載の方法。
  71. 前記第１の物理的オブジェクトの前記第１の物理面の少なくとも一部の視覚的外観を、前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性の前記第１のセットの値に従って修正することが、
    前記第１の物理的オブジェクトの前記第１の物理面の少なくとも一部に対応する前記三次元シーンの一部の色を、前記音声ベース仮想アシスタントの前記視覚的表現の変更された色値に従って変更することを含む、請求項６７から７０のいずれか一項に記載の方法。
  72. 前記音声ベース仮想アシスタントをアクティブ化するという前記要求を検出したことに応答して、
    前記表示生成コンポーネントを介して現在表示されている前記三次元シーンの一部の周辺領域の視覚的外観を、前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性の前記第１のセットの値に従って修正することを更に含む、請求項６７から７１のいずれか一項に記載の方法。
  73. 前記音声ベース仮想アシスタントをアクティブ化するという前記要求を検出することが、
    第１の基準が、視線入力が前記三次元シーン内の前記音声ベース仮想アシスタントの前記視覚的表現に対応する位置に向けられたときに満たされる基準を含む、前記第１の基準を満たす前記視線入力を検出することを含む、請求項６７から７２のいずれか一項に記載の方法。
  74. 前記音声ベース仮想アシスタントをアクティブ化するという前記要求を検出したことに応答して、前記三次元シーン内に前記音声ベース仮想アシスタントの前記視覚的表現を表示することが、
    前記音声ベース仮想アシスタントの前記視覚的表現を、前記三次元シーン内の第１の位置から第２の位置に移動させることを含む、請求項６７から７３のいずれか一項に記載の方法。
  75. 前記音声ベース仮想アシスタントをアクティブ化するという前記要求を検出したことに応答して、前記三次元シーン内に前記音声ベース仮想アシスタントの前記視覚的表現を表示することが、
    前記三次元シーン内の前記音声ベース仮想アシスタントの前記視覚的表現のサイズを変更することを含む、請求項６７から７４のいずれか一項に記載の方法。
  76. 前記音声ベース仮想アシスタントをアクティブ化するという前記要求を検出したことに応答して、前記三次元シーン内に前記音声ベース仮想アシスタントの前記視覚的表現を表示することが、
    前記三次元シーン内の前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性についての前記第１のセットの値を変更することを含む、請求項６７から７５のいずれか一項に記載の方法。
  77. 前記音声ベース仮想アシスタントをアクティブ化するという前記要求を検出したことに応答して、前記音声ベース仮想アシスタントの前記視覚的表現を取り囲む位置で、前記三次元シーンの一部の前記第１の表示特性の第２のセットの値を変更することを含む、請求項６７から７６のいずれか一項に記載の方法。
  78. 前記音声ベース仮想アシスタントをアクティブ化するという前記要求を検出することが、
    第１の基準が、視線入力が前記三次元シーン内の前記音声ベース仮想アシスタントの前記視覚的表現に対応する位置に向けられたときに満たされる基準を含み、第２の基準が、前記視線入力が前記第１の基準を満たしている間に、音声入力が検出されたときに満たされる基準を含む、前記第１の基準を満たす前記視線入力及び前記第２の基準を満たす前記音声入力を検出することを含む、請求項６７から７７のいずれか一項に記載の方法。
  79. 第１の入力が第１の期間にわたる、前記三次元シーンに前記音声ベース仮想アシスタントの前記視覚的表現を表示している間に、第１の動作を実行するという前記音声ベースアシスタントに対する要求に対応する前記第１の入力を検出することと、
    前記第１の入力を検出したことに応答して、前記第１の入力中に前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性を、前記第１のセットの値から前記第１のセットの値とは別個の第２のセットの値に変更することと、
    を含む、請求項６７から７８のいずれか一項に記載の方法。
  80. 前記三次元シーンに前記音声ベース仮想アシスタントの前記視覚的表現を表示している間に、第２の動作を実行するという前記音声ベースアシスタントに対する要求に対応する第２の入力を検出することと、
    前記第２の入力を検出したことに応答して、
    前記第２の動作の実行を開始することと、
    前記第２の動作の実行中に、前記音声ベース仮想アシスタントの前記視覚的表現の前記第１の表示特性を、前記第１のセットの値から前記第１のセットの値とは別個の第３のセットの値に変更することと、
    を含む、請求項６７から７９のいずれか一項に記載の方法。
  81. 前記音声ベース仮想アシスタントの前記視覚的表現が、前記第１の仮想オブジェクト及び前記第１の物理的オブジェクトを含む三次元環境内の所定の位置を有し、前記音声ベース仮想アシスタントをアクティブ化するという前記要求が、前記所定の位置に向けられた入力を含む、請求項６７から８０のいずれか一項に記載の方法。
  82. 前記音声ベース仮想アシスタントの前記視覚的表現が、前記表示生成コンポーネントの移動の開始時に前記表示生成コンポーネントの第１の部分に対応する前記三次元シーン内の第１の位置に表示される、前記表示生成コンポーネントを介して、前記第１の物理的オブジェクト及び前記第１の仮想オブジェクトを含む前記三次元シーン内の前記音声ベース仮想アシスタントの前記視覚的表現を表示している間に、前記表示生成コンポーネントの前記移動を検出することと、
    前記表示生成コンポーネントの前記移動を検出したことに応答して、前記三次元シーン内の第２の位置が、前記表示生成コンポーネントの前記第１の部分に対応するように前記表示生成コンポーネントの前記移動に従って更新される、前記音声ベース仮想アシスタントの前記視覚的表現を、前記第１の位置とは異なる前記三次元シーン内の前記第２の位置に移動させることと、
    を含む、請求項６７から８１のいずれか一項に記載の方法。
  83. 前記音声ベース仮想アシスタントの前記視覚的表現が、前記表示生成コンポーネントの移動の開始時に前記第１の仮想オブジェクトと前記第１の物理的オブジェクトに対する前記三次元シーン内の第１の位置に表示される、前記表示生成コンポーネントを介して、前記第１の物理的オブジェクト及び前記第１の仮想オブジェクトを含む前記三次元シーン内の前記音声ベース仮想アシスタントの前記視覚的表現を表示している間に、前記表示生成コンポーネントの前記移動を検出することと、
    前記表示生成コンポーネントの前記移動を検出したことに応答して、
    前記三次元シーン内の前記第１の位置で前記音声ベース仮想アシスタントの前記視覚的表現を維持している間、前記三次元シーンに対する前記表示生成コンポーネントの視点を、前記表示生成コンポーネントの前記移動に従って変更することと、
    を含む、請求項６７から８１のいずれか一項に記載の方法。
  84. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムによって実行されると、請求項６７から８３のいずれか一項に記載の方法を前記コンピュータシステムに実行させる実行可能命令を記憶している、コンピュータ可読記憶媒体。
  85. コンピュータシステムであって、
    １つ以上のプロセッサと、
    表示生成コンポーネントと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶しているメモリと、
    を備え、前記１つ以上のプログラムが、請求項６７から８３のいずれか一項に記載の方法を実行する命令を含む、
    を備える、コンピュータシステム。
  86. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムであって、
    請求項６７から８３のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
  87. １つ以上のプロセッサと表示生成コンポーネントとを備えたコンピュータシステムで使用する情報処理装置であって、
    請求項６７から８３のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
JP2022515137A 2019-09-28 2020-09-25 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース Pending JP2022547930A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962907614P 2019-09-28 2019-09-28
US62/907,614 2019-09-28
US17/030,219 2020-09-23
US17/030,219 US20210097776A1 (en) 2019-09-28 2020-09-23 Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
PCT/US2020/052709 WO2021062148A1 (en) 2019-09-28 2020-09-25 Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Publications (1)

Publication Number Publication Date
JP2022547930A true JP2022547930A (ja) 2022-11-16

Family

ID=75161645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022515137A Pending JP2022547930A (ja) 2019-09-28 2020-09-25 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース

Country Status (7)

Country Link
US (1) US20210097776A1 (ja)
EP (1) EP4010789A1 (ja)
JP (1) JP2022547930A (ja)
KR (1) KR20220045977A (ja)
CN (2) CN114721470A (ja)
AU (1) AU2020356572B2 (ja)
WO (1) WO2021062148A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10599988B2 (en) 2016-03-02 2020-03-24 D-Wave Systems Inc. Systems and methods for analog processing of problem graphs having arbitrary size and/or connectivity
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
WO2019116689A1 (ja) * 2017-12-15 2019-06-20 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11593174B2 (en) 2018-10-16 2023-02-28 D-Wave Systems Inc. Systems and methods for scheduling programs for dedicated execution on a quantum processor
CN113544711A (zh) 2019-01-17 2021-10-22 D-波系统公司 用于使用聚类收缩的混合算法系统和方法
JP7262247B2 (ja) * 2019-03-01 2023-04-21 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US11593695B2 (en) 2019-03-26 2023-02-28 D-Wave Systems Inc. Systems and methods for hybrid analog and digital processing of a computational problem using mean fields
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US11714730B2 (en) 2019-08-20 2023-08-01 D-Wave Systems Inc. Systems and methods for high availability, failover and load balancing of heterogeneous resources
US11734767B1 (en) 2020-02-28 2023-08-22 State Farm Mutual Automobile Insurance Company Systems and methods for light detection and ranging (lidar) based generation of a homeowners insurance quote
US11663550B1 (en) 2020-04-27 2023-05-30 State Farm Mutual Automobile Insurance Company Systems and methods for commercial inventory mapping including determining if goods are still available
USD937850S1 (en) * 2020-04-29 2021-12-07 Htc Corporation Display screen or portion thereof with graphical user interface
WO2022005970A1 (en) * 2020-06-29 2022-01-06 Snap Inc. Eyewear with shared gaze-responsive viewing
WO2022051033A1 (en) * 2020-09-02 2022-03-10 Sterling Labs Llc Mapping a computer-generated trackpad to a content manipulation region
US20220180888A1 (en) * 2020-12-08 2022-06-09 International Business Machines Corporation Directional voice command identification
CN117980962A (zh) * 2021-09-23 2024-05-03 苹果公司 用于内容应用的设备、方法和图形用户界面
WO2023049671A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
US11789530B2 (en) * 2021-11-17 2023-10-17 Meta Platforms Technologies, Llc Gaze-based user interface with assistant features for smart glasses in immersive reality applications
US20230206409A1 (en) * 2021-12-23 2023-06-29 Dell Products L.P. Method and System of Identifying and Correcting Environmental Illumination Light Sources Reflecting onto Display Surface
WO2023149671A1 (ko) * 2022-02-03 2023-08-10 삼성전자 주식회사 입력 모드를 전환하는 증강 현실 장치 및 그 방법
WO2023177077A1 (ko) * 2022-03-15 2023-09-21 삼성전자 주식회사 전자 장치 및 그의 동작 방법
US20230315383A1 (en) * 2022-04-04 2023-10-05 Snap Inc. Wearable device ar object voice-based interaction
WO2023239663A1 (en) * 2022-06-10 2023-12-14 Apple Inc. Extended reality based digital assistant interactions
CN114783067B (zh) * 2022-06-14 2022-11-08 荣耀终端有限公司 基于手势的识别方法、设备及系统
CN115640953B (zh) * 2022-09-13 2023-08-08 深圳会邦科技有限公司 一种会务智能化数字处理方法、系统、设备及介质
WO2024064388A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Devices, methods, for interacting with graphical user interfaces
US11704014B1 (en) * 2022-11-01 2023-07-18 Dell Products L.P. Supporting micro swipes for generating custom user interface responses
US11816262B1 (en) * 2023-03-14 2023-11-14 Illuscio, Inc. Systems and methods for modifying a user interface based on eye focus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018173A (ja) * 2005-07-06 2007-01-25 Canon Inc 画像処理方法、画像処理装置
US20160012642A1 (en) * 2014-07-08 2016-01-14 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
US20170161917A1 (en) * 2014-07-24 2017-06-08 Arm Limited Graphics processing systems
US20190026936A1 (en) * 2017-07-20 2019-01-24 Qualcomm Incorporated Extended reality virtual assistant
US20190122441A1 (en) * 2018-12-14 2019-04-25 Intel Corporation Determining visually reflective properties of physical surfaces in a mixed reality environment

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4527853B2 (ja) * 2000-07-28 2010-08-18 株式会社バンダイナムコゲームス ゲームシステム及び情報記憶媒体
US8139059B2 (en) * 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US9076247B2 (en) * 2012-08-10 2015-07-07 Ppg Industries Ohio, Inc. System and method for visualizing an object in a simulated environment
US10281987B1 (en) * 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10354449B2 (en) * 2015-06-12 2019-07-16 Hand Held Products, Inc. Augmented reality lighting effects
EP3118722B1 (en) * 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
US10896538B2 (en) * 2016-11-07 2021-01-19 Koninklijke Philips N.V. Systems and methods for simulated light source positioning in rendered images
EP3607420B1 (en) * 2017-05-10 2021-06-23 Microsoft Technology Licensing, LLC Presenting applications within virtual environments
US11567627B2 (en) * 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018173A (ja) * 2005-07-06 2007-01-25 Canon Inc 画像処理方法、画像処理装置
US20160012642A1 (en) * 2014-07-08 2016-01-14 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
US20170161917A1 (en) * 2014-07-24 2017-06-08 Arm Limited Graphics processing systems
US20190026936A1 (en) * 2017-07-20 2019-01-24 Qualcomm Incorporated Extended reality virtual assistant
US20190122441A1 (en) * 2018-12-14 2019-04-25 Intel Corporation Determining visually reflective properties of physical surfaces in a mixed reality environment

Also Published As

Publication number Publication date
AU2020356572B2 (en) 2024-01-25
WO2021062148A1 (en) 2021-04-01
AU2020356572A1 (en) 2022-03-03
CN114402290A (zh) 2022-04-26
EP4010789A1 (en) 2022-06-15
CN114721470A (zh) 2022-07-08
US20210097776A1 (en) 2021-04-01
KR20220045977A (ko) 2022-04-13

Similar Documents

Publication Publication Date Title
AU2020356572B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP7465952B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US11875013B2 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
CN116324703A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
CN117032519A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN117043713A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
US11567625B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11720171B2 (en) Methods for navigating user interfaces
US11934569B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230114043A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
KR20240048522A (ko) 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
CN118056173A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240416